I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 Dec em b er   2 0 2 0 ,   p p .   5 7 5 8 ~ 5 7 7 1   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 6 . pp 5 7 5 8 - 5 7 7 1          575 8       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   G ende r clas sifica t io n using  custo m   co nv o lutiona l neural  netw o rk s a rchitec ture       F a dh la n H a f izhel m i K a m a r Z a m a n   F a c u lt y   o f   El e c tri c a En g in e e rin g ,   Un iv e rsiti   T e k n o lo g M A R A ,   M a la y sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Sep   9 ,   2 0 1 9   R ev i s ed   Ma y   2 0 ,   2020   A cc ep ted   J u n   11 ,   2 0 2 0       G e n d e c la ss i f ica ti o n   d e m o n stra tes   h ig h   a c c u ra c y   in   m a n y   p re v i o u w o rk s.   Ho w e v e r,   it   d o e n o g e n e ra li z e   v e r y   w e ll   in   u n c o n stra i n e d   s e tt in g a n d   e n v iro n m e n ts.  F u rth e rm o re ,   m a n y   p ro p o se d   c o n v o l u ti o n a n e u r a n e tw o rk   (CNN b a se d   so lu ti o n v a ry   sig n if ica n tl y   in   th e ir  c h a ra c ter isti c a n d   a rc h it e c tu re s,  w h ich   c a ll f o o p ti m a CNN   a r c h it e c tu re   f o th is  sp e c if i c   tas k .   In   th is  w o rk ,   a   h a n d - c ra f ted ,   c u sto m   CN a r c h it e c tu re   is  p ro p o se d   to   d isti n g u is h   b e tw e e n   m a le  a n d   f e m a le  f a c ial  i m a g e s.  T h is  c u s to m   CNN   re q u ires   sm a ll e in p u im a g e   re so lu ti o n a n d   sig n if ica n tl y   f e w e train a b le  p a ra m e ters   th a n   so m e   p o p u lar   sta te - of - th e - a rts  su c h   a G o o g leN e a n d   A le x Ne t.   It  a lso   e m p lo y b a tch   n o rm a li z a ti o n   lay e rs  w h ich   re su lt in   b e tt e c o m p u tatio n   e f f icie n c y .   Ba se d   o n   e x p e rim e n ts  u s in g   p u b li c ly   a v a il a b le   d a tas e ts  su c h   a L F W ,   Ce l e b a n d   IM DB - W IKI  d a tas e ts,  th e   p ro p o se d   c u sto m   CNN   d e li v e r e d   th e   f a ste s in f e re n c e   ti m e   in   a ll   tes ts,  w h e r e   it   n e e d o n ly   0 . 9 2 m to   c las sify   1 2 0 0   im a g e o n   G P U,  1 . 7 9 m o n   CP U,  a n d   2 . 5 1 m s   o n   VP U.  T h e   c u sto m   C NN   a lso   d e li v e rs  p e rf o r m a n c e   o n - p a w it h   sta te - of - th e - a rts  a n d   e v e n   su rp a ss e d   th e s e   m e th o d in   Ce leb A   g e n d e c las sif ic a ti o n   w h e re   it   d e li v e re d   th e   b e st  re su lt   a 9 6 %   a c c u ra c y .   M o re o v e r,   in   a   m o re   c h a ll e n g in g   c ro ss - d a tas e in f e re n c e ,   c u sto m   CNN   train e d   u sin g   Ce leb d a tas e g iv e th e   b e st  g e n d e c la ss if ic a ti o n   a c c u ra c y   f o tes ts  o n   IM DB  a n d   W IKI d a tas e ts at  9 7 %   a n d   9 6 %   a c c u ra c y   re sp e c ti v e l y .   K ey w o r d s :   C NN  ar ch i tectu r e   C o n v o lu tio n al  n e u r al  n e t w o r k   C r o s s - d ataset  i n f er e n ce   Dee p   lear n in g   Gen d er   class i f icatio n   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   F ad h lan   Haf iz h el m i K a m ar u   Z a m an ,   Fac u lt y   o f   E lectr ical  E n g in ee r in g ,   Un i v er s iti T ek n o lo g i M A R A ,   4 0 4 5 0 ,   Sh ah   A la m ,   Sela n g o r ,   Ma la y s ia .   E m ail:  f ad h la n @ u i t m . ed u . m y       1.   I NT RO D UCT I O N   Hu m an   f ac ia a n al y s is   h a s   b e co m e   o n o f   t h m o s s i g n if i ca n ta s k s   i n   co m p u ter   v is io n ,   s in ce   it   p lay s   a   v ital  r o le  i n   s o cial  in t er ac tio n s .   L i k o t h er   tas k s   s u ch   a s   t h c h ar ac ter izatio n   o f   ag e,   g en d er ,   f ac ial   attr ib u tes,  e x p r ess io n s ,   a n d   p er s o n alit y ,   au to m a tic  g e n d er   class i f icatio n   h as  v ar io u s   i m p o r tan ap p licatio n s   s u c h   as  in telli g en u s er   i n te r f ac es,  u s er   id en ti f icatio n ,   s o cial  in ter ac tio n ,   v i s u a s u r v eillan ce ,   co llecti n g   d em o g r ap h ic  s tatis tics   f o r   m ar k eti n g ,   b eh a v io u r   r ec o g n it io n   an d   s o   o n .   T h er ef o r e,   m an y   r e s ea r ch   e f f o r ts   h a v b ee n   d ev o ted   to   d esig n   au to m ated   s y s te m   w h ich   ca n   clas s if y   g e n d er s   [ 1 - 4 ] .   A lt h o u g h   th is   ta s k   h as  b ee n   lar g el y   ad d r ess ed   in   t h p ast,  th r ep o r ted   p e r f o r m a n ce s   ar e   f ar   f r o m   o p ti m al  esp ec ial l y   u n d er   u n co n s tr ai n ed   co n d itio n s   [ 5 ,   6 ] .     M o r eo v er ,   t h co m p lex it y   o f   th is   tas k   lar g el y   d ep en d s   o n   th co n tex o f   th ap p licatio n   an d   tr ain i n g   p r o to co ls .   Gen d er   cla s s i f icatio n   m o d el  ca n   b tr ai n ed   an d   test ed   f r o m   t h s a m d ataset,   also   k n o w n   as  i n - d atase i n f er e n ce ,   o r   f r o m   d if f er en d ataset,   a ls o   k n o w n   as  cr o s s - d ata s et  i n f er en ce .   B esid es,  f ac ia l   i m a g es  u s ed   th e s d atasets   c an   b ca p tu r ed   u n d er   co n tr o lled   o r   u n co n tr o lled /u n co n s tr ain ed   en v ir o n m en t   w h ic h   w ill  in cr ea s t h co m p lex it y   o f   th tas k .   On o f   s tate - of - t h e - ar i n   g e n d er   class if ica tio n   is   o b ta in ed   b y   J ia  an d   C r is tia n i n w h er th e y   u s ed   4   m il lio n   i m a g es  to   tr ai n   th e ir   m et h o d   ca lled   C - P eg as o s   [ 7 ]   an d   test ed   it  u s i n g   cr o s s - d ata s et  in f er e n ce   s tr ateg y   o n   u n co n s tr ain ed   L FW   d ataset.   Ho w ev er ,   m o r r ec en tl y ,   Af i f an d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Gen d er c la s s ifica tio n   u s in g   cu s to co n vo lu tio n a l n eu r a l   n etw o r k…   ( F a d h la n   Ha fiz h elmi  K a ma r u   Za ma n )   5759   A b d elh a m ed   [ 8 ]   p er f o r m ed   s i m ilar   cr o s s - d ata s et  te s ts   an d   b ased   o n   t h eir   r e s u l ts ,   it   ca n   b o b s er v ed   t h at   p o o r er   class if icatio n     p er f o r m an ce   m a y   b o b tain ed   a s   r e s u lt,  i n   w h ic h   ac co r d in g   to   th e m   i s     d u to   d i f f er en t   c o n d i t i o n s   o f   c o l l e c t i n g   i m a g e s   i n   d i f f e r e n t   d a t a s e t s ,   s u c h   a s   o c c l u s i o n s ,   i l l u m i n a t i o n   c h a n g e s ,   b a c k g r o u n d s ,   e t c .   R ec en t l y ,   d ee p   n e u r al  n et w o r k s ,   m o r s p ec i f icall y   co n v o l u tio n al  n e u r al  n e t w o r k   ( C N N)   [ 9 ]   h as   b ec o m t h g o ld en   s ta n d ar d   f o r   o b j ec r ec o g n itio n .   C NN  h av i m p r o v ed   n ea r l y   all  ar ea s   o f   co m p u ter   v i s io n   in cl u d in g   h u m a n   a ctio n   r ec o g n itio n   [ 1 0 ] ,   h an d - w r i tten   d ig it  r ec o g n itio n   [ 1 1 ] ,   f ac v er if icatio n   a n d   class i f icatio n   [ 1 2 - 1 4 ]   an d   f ac d etec tio n   [ 1 5 ] .   Ho w ev er ,   t h er ar t w o   p r o b lem s   ass o ci ated   w it h   C NN  i n   p ar ticu lar ,   w h ic h   is   ( 1 )   th e n o r m o u s   s ize  o f   d ata  r eq u ir e d   to   tr ain   t h n et w o r k   s u ch   as  in   [ 1 2 ] ,   an d   ( 2 )     th m e m o r y   r eq u ir e m en t   o f   t h n et w o r k   d u e   to   co m p u tat io n   o f   m ass iv p ar a m eter s   o f te n   li m it s     th ap p licatio n   o f   C NN   o n   em b ed d ed   p lat f o r m s   s u ch   as  i n   m o b ile  p h o n e s ,   a s   w ell   as  o n   clo u d   s er v ice s .     Fo r   ex a m p le,   t w o   s tate - o f - th e - ar ts   C NN  ar c h itect u r ca lled   Go o g leNe [ 1 6 ]     an d   A le x Net   [ 1 7 ]   b o th   co n tain s   6 , 7 9 9 , 7 0 0   an d   6 2 , 3 7 8 , 3 4 4   p a r a m eter s   r esp ec tiv el y .   An o t h er   ex a m p le,   1 6 - la y er   C NN   d escr ib ed   in   [ 1 8 ]   h a s   w ei g h f i le  b ig g er   t h a n   5 0 0 MB   an d   r eq u ir es  ab o u 3 . 1 ×1 0 10   f lo atin g   o p er atio n s   p er   i m ag e.   T h u s ,   C N ca n   b r eg ar d ed   as  h i g h - ca p ac i t y   cla s s i f ier   h a v i n g   v er y   lar g n u m b er s   o f   tr ai n ab le  p ar am eter s   th a r eq u ir e s   C NN  to   lear n   f r o m   lar g er   d atasets   [ 1 6 ]   d u to   d if f ic u lt  p r o ce s s   o f   t u n i n g   a n d   esti m ati n g   ea ch   p ar a m eter   f r o m   s m al n u m b er   o f   s a m p le s .   T o   r ed u ce   th ef f ec o f   t h ese  li m itatio n s ,   w ca n   o p ti m ize  t h C NN  to   r ed u ce     th co m p lex i t y   o f   th e   la y er s   b y   e m p lo y i n g   s e v er al  ap p r o ac h es   s u ch   as   eit h er   b y   r ed u c in g   t h n u m b er   o f   co n v o lu tio n al  la y er s ,   a n d /o r   r ed u ce   th n u m b er   o f   n e u r o n s   in   f u ll y   co n n ec ted   la y er s   a n d /o r   r ed u ce     th r eso l u tio n   o f   th e   i n p u i m ag e s .   Ho w e v er ,   it  m u s t   b d o n ca r ef u ll y   a s   to   e n s u r e   th at   th e   r es u lti n g   ar ch itect u r ca n   s ti ll  lear n   t h task   at  h an d ,   e. g .   g en d er   cl ass i f icatio n ,   an d   g e n er alize   well  o n   u n s ee n   d ata.     T h im p r o v e m e n t in   co m p u tat io n   s h o u ld   n o t c o m p r o m i s th ac cu r ac y   o f   t h clas s i f icatio n .   I n   th is   w o r k ,   t h p r o b lem   o f   g e n d er   class i f icatio n   a n d   h ig h   co m p le x it y   o f   ex iti n g   d ee p   n eu r al   n et w o r k s   is   ad d r ess ed ,   b y   f o cu s i n g   o n   r ed u cin g   t h co m p lex it y   o f   t h C NN  a n d   to   i m p r o v th m e m o r y   r eq u ir e m en as   w ell  a s   t h ti m r eq u ir ed   f o r   n et w o r k   in f e r en ce .   I n   p ar ticu lar ,   th e   g o al  o f   th is   p ap er   is   to   p r o p o s co m p lete  d esig n   o f   lo w - co m p le x it y   h an d - cr af ted   C NN,   w h er th is   n e t w o r k   w ill  b test ed   o n   g en d er   cl ass if icatio n   ta s k   u n d er   v er y   ch alle n g i n g   u n co n s tr ain ed   co n d itio n s   as  well  as  u n d er g o in g   ex p er i m e n u s i n g   cr o s s - d atas et  in f er en ce   i m p le m e n tatio n s .   T h is   r elativ el y   s i m p ler   a n d   m i n i m ized   m o d el   ac h iev ed   s tate - of - th e - ar ts   p er f o r m a n ce   an d   s h o w s   s i g n i f ica n b o o s in   in f er e n ce   ti m w h e n   co m p ar ed   ag ain s s e v er al  ex i s ti n g   C N ar ch itectu r e s .   Ho w e v er ,   h an d - cr a f ted   ar ch itect u r is   v er y   ch alle n g i n g ,     ti m e - co n s u m i n g   an d   r eq u ir e   ex p er k n o w led g d u to   lar g n u m b er   o f   ar ch itect u r al  ch o ice s   [ 1 9 ] .     T h is   p r o p o s ed   si m p li f ied   C NN  ca n   lear n   f r o m   r elati v el y   s m aller   d atase an d   p er f o r m   clas s i f icatio n   o n   lar g er   d ataset.   On o f   t h i m p o r tan w o r k   o n   g e n d er   class i f icat io n   ca l led   F ac T r ac er   [ 2 0 ]   em p lo y s   co m b in atio n   o f   A d ab o o s an d   S u p p o r Vec to r   Ma ch i n es  t h at  s elec a n d   tr ai n   o n   t h o p ti m al  s et   o f   f ea t u r es  f o r   ea ch   attr ib u te   b ased   o n   t h s alie n s tr u ct u r o f   f ac es.  Si m ilar l y ,   P A N D A - w   an d   P A ND A - 1   [ 2 ]   co m b i n e s   d ee p   lear n i n g   a n d   p ar t - b ased   m o d els  b y   tr ai n i n g   p o s e - n o r m a lized   C NN s   to   cla s s i f y   v ar io u s   h u m a n   attr ib u te s   s u c h   as  h ai r   s t y le,     g en d er ,   ex p r es s io n ,   clo t h es  s t y le,   etc  f r o m   t h at  w o r k s   well  f o r   i m ag e s   u n d er   lar g v ar iab ilit y   o f   p o s e,   ap p ea r an ce ,   v ie w p o i n t,  o cc lu s i o n ,   an d   ar ticu latio n .   L i u   et  al. ,   [ 2 1 ]   p r o p o s ed   ca s ca d e s   o f   d u al  C NNs,     ca lled   L Net   an d   A Ne t.  T h ese  C NNs   ar p r e - tr ain ed   i n   d i f f e r en s e s s io n s   b u j o in tl y   f in e - t u n ed   w i th   attr ib u te   tag s .   ANe is   p r e - tr ai n ed   f o r   attr ib u te  p r ed ictio n   u s i n g   h u g f ac id en titi e s ,   w h er ea s   L N et  is   p r e - tr ai n ed   f o r   f ac lo ca lizatio n   u s i n g   h u g e   g en er al  o b j ec ca teg o r ies.  T h is   ap p r o ac h   s u r p as s ed   th e   s ta te - of - th e - ar b y   co n s id er ab le  m ar g i n   a n d   d is clo s es  i m p o r tan f ac ts   o n   lear n in g   f ac r ep r esen tatio n .   B y   co m b i n in g     th i n ter m ed iate   la y er s   o f   d ee p   C NN  u s i n g   s ep ar ate  C NN  f o llo w ed   b y   m u lti - ta s k   lear n in g   al g o r ith m ,   H y p er f ac [ 2 2 ]   b o o s ts   u p   th eir   in d i v id u al  p er f o r m a n ce s   b y   ex p lo iti n g   th s y n er g y   am o n g   t h tas k s .     T h au th o r s   s h o w ed   th at  H y p er f ac is   ab le  to   ex tr ac b o th   h o lis tic  a n d   lo ca in f o r m a tio n   in   f ac es  a n d   th u s   o u tp er f o r m s   m an y   co m p e titi v al g o r ith m s   f o r   f ac d ete ctio n ,   p o s es ti m atio n ,   g e n d er   r ec o g n itio n   a n d   lan d m ar k s   lo ca lizatio n .   J ia  an d   C r is tian in [ 7 ]   p r esen ted   s i m p le  y et  e f f ec ti v class if ier   o f   f ac i m a g es  ca l led   C - P eg a s o s   w h ic h   i s   g en er ate d   b y   tr ain i n g   lin ea r   c lass if i ca tio n   al g o r ith m   o n   m as s i v d ataset  w h ic h   i s   au to m at icall y   a s s e m b led   an d   lab elled .   T h ey   u s ed   f o u r   m il lio n   i m a g es  a n d   m o r th a n   6 0 , 0 0 0   f ea tu r es  to   tr ai n   th ese  clas s i f ier s .   B y   e m p lo y in g   li n ea r   class i f ier s   en s e m b les,  w h e n   test ed   an   L FW   d ataset,   C - P eg a s o s   ac h iev ed   a n   ac cu r ac y   o f   9 6 . 8 6 %.   R ec en t l y ,   Af i f a n d   A b d elh a m e d   [ 8 ]   p r o p o s ed   an   ap p r o ac h   b ased   o n   t h b eh a v io u r   o f   h u m a n s   i n   g en d er   clas s i f icatio n .   T h e y   r el y   o n   f o g g y   f ac w h ich   co m b i n ed   is o lated   f ac ial  f ea t u r es  a n d   h o lis tic  f ea t u r e,   in s tead   o f   d ea li n g   w it h   t h f a ce   i m a g as  s o le  f ea t u r e.   T h en ,   th e y   u s f o g g y   f ac to   tr ai n   C N f o llo w ed   b y   s co r f u s io n   b ased   o n   A d a B o o s to   class if y   t h g e n d er   class .   An tip o v   et   al .,   [ 2 3 ]   s u g g ested   an   e n s e m b le   m o d el  o f   C NN  to   e n h a n ce   th g en d er   cla s s i f icatio n   a cc u r ac y   f r o m   f ac ial   i m ag e s   in   L FW   d atase t.    T h eir   en s e m b le   m o d el  i s   p u r p o s el y   d esi g n ed   i n   s u c h   w a y   t h at  m i n i m ized   t h m e m o r y   r eq u ir e m en ts   a n d   co m p u tatio n   ti m e.   L ik e w is e,   l o ca l d ee p   n eu r al  n et w o r k   ( L o c al - DNN)   [ 3 ]   is   p r o p o s ed   f o r   g en d er   class i f icat io n   w h er it  is   r elie s   o n   t w o   f u n d am e n tal   id ea s d ee p   ar ch i tec tu r es  a n d   lo ca f e at u r es.  o v er lap p in g   r e g io n s   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     5 7 5 8   -   5 7 7 1   5760   th v is u al  f ie ld   is   u s ed   to   tr ain   th m o d el  b y   d is cr i m in a tiv e   f ee d - f o r w ar d   n et w o r k s   b u ilt  u s in g   m u l tip le  la y er s .   T h au th o r s   s h o w ed   th at   L o ca l - DNN   o u tp er f o r m ed   o th er   d ee p - lear n i n g - b ased   m et h o d s   a n d   attai n s   s tate - of - th e - ar t r e s u lt s   i n   m u ltip le  b en c h m ar k s .   O n   t h e   o t h e r   h a n d ,   s e v e r a l   w o r k s   a r e   m o r e   f o c u s e d   o n   d e s i g n i n g   c u s t o m   o r   h a n d - c r a f t e d   a r c h i t e c t u r a d e s i g n   o f   C N N .   M o s t   o f   t h e s e   w o r k s   d i s c u s s e d   o n   C N N   d e s i g n   i s s u e s   s u c h   a s   h y p e r p a r a m e t e r s   [ 1 9 ,   2 4 ] ,     n e w   o p ti m izatio n   o f   o b j ec tiv f u n ctio n   [ 1 9 ] ,   i m p r o v ed   tr i p let  lo s s   f u n ctio n   [ 2 5 ] ,   s tr u ct u r co m p r es s io n   o f   C NN  [ 2 6 ]   an d   esti m ati n g   C N ar ch itect u r es c o m p le x it y   [ 2 7 ] .   T h ese  m et h o d s   s h ar s i m il ar   o b j ec tiv w h ic h   i s   t o   f i n d   t h e   m o s t   o p t i m i z e d   h a n d - c r a f t e d   C N N   a r c h i t e c t u r e   t h a t   p r o d u c e s   a   h i g h   r e c o g n i t i o n   p e r f o r m a n c e   w h i l e   m a i n t a i n i n g   i t s   c o m p l e x i t y   t o   b e   a s   l o w   a s   p o s s i b l e   t o   a l l o w   f a s t e r   c o m p u t a t i o n s   a n d   l e s s   m em o r y   r e q u i r e m e n t .   A d d itio n al l y ,   t h r esear ch   co m m u n it y   is   a ls o   ad d r ess in g   m u c h   m o r r ea lis tic  g en er al  p r o b lem   f o r   g en d er   c la s s i f icat io n   w h ic h   is   g en d er   cla s s i f icat io n   f r o m   f ac i al  i m ag e s   i n   th e   w ild .   Ma n y   r esear ch er s   ar e   n o f o cu s ed   o n   ex p er i m e n t s   in v o lv i n g   r ec e n an d   b ig g er   d ata b ases   th at  e n co m p a s s   m o r v ar iatio n s   in c lu d i n g   id en tit y ,   et h n icit y ,   ag e,   illu m i n atio n s ,   i m a g r eso l u t io n s   a n d   p o s v ar iatio n s .   T h is   h as  ca lled   f o r   s o lu tio n s   o n   h o w   to   ac q u ir m o d el  th a t   ca n   g en er al ize  w e ll  o n   d ataset  an d   g i v e s   g o o d   in f er e n ce   p er f o r m a n ce   o n   co m p lete l y   n e w   u n s ee n   d ata s et.   I n   d o in g   s o ,   is   v er y   i m p o r tan to   en s u r t h m o d el  d id   n o r e q u ir co n s tan t   r etr ain in g   an d   ca n   w o r k   w ell  in   ch alle n g i n g ,   u n co n s tr ai n ed   co n d itio n s .   T h u s ,   cr o s s - d ataset  test s   h av b ee n   ad o p ted   p r ev io u s l y   i n   [ 1 ,   7 ,   8 ,   2 3 ]   to   m ea s u r t h p er f o r m an ce   o f   g e n d er   class i f ier   o n   n e w   d ataset s   t h at   p r esen t h i s   t y p e   o f   ch a lle n g e.   T h r est  o f   t h i s   p ap er   is   ar r an g ed   as   f o llo w s .   I n   Sectio n   2   th p r o p o s ed   cu s to m   C NN  is   ex p lai n ed ,   w h ic h   ca n   b u s ed   to   au to m atica ll y   c la s s i f y   g en d er s .   Sectio n   3   d escr ib es  an d   an al y ze s     th r es u lts   o n   th p u b lic l y   a v ailab le  d atasets   s u c h   as  L F W ,   C eleb A   a n d   W I KI - IM DB   d atasets .   Fin all y ,   Sectio n   4   d r a w s   s o m co n cl u s io n s   an d   d is c u s s es  f u tu r w o r k .       2.   RE S E ARCH   M E T H O   T h co n v o lu t io n al  n eu r al  n et wo r k   ar ch itect u r ad o p ted   in   th i s   w o r k   i n te n d s   to   r ed u ce   t h c o m p le x it y   b y   o p ti m izi n g   t h co n v o lu ti o n al  la y er s ,   r ed u ci n g   th e   n u m b er   o f   n eu r o n s   i n   f u ll y   co n n ec ted   la y er s   an d   r ed u cin g   th r eso lu tio n   o f   t h in p u i m a g es.  I n   d esi g n in g   th i s   ar ch itect u r e,   th n et w o r k   s h o u ld   s till   b ab le  to   d eliv er   s ta te - of - th e - ar ts   p er f o r m an ce   w h ile   m ai n tai n i n g   a   v e r y   o p ti m al   s ize.   I n   d o in g   so ,   A lex Net   ar ch itect u r e   is   u s ed   as   t h e   s tar ti n g   n et w o r k   te m p late.   A le x Net   ar ch itec t u r h ad   a   v er y   s i m ilar   ar ch i te ctu r as   L e Net  b y   L eC u n   et  al .,   [ 2 8 ]   an d   it   co n tain s   ei g h m ai n   la y er s   w h er th f ir s f i v ar co n v o lu tio n al  lay er s .   So m o f   th co n v o l u tio n al   la y er s   ar f o llo w ed   b y   Ma x   P o o lin g   la y e r s ,   an d   t h f i n al  t h r ee   la y er s   ar f u ll y   co n n ec ted   la y er s .   Firstl y ,   th i n p u is   r ed u ce d   in to   s m al ler   in p u i m ag e   r eso lu tio n   f r o m   t h o r ig in al  2 2 7 ×2 7 7   t o   6 4 × 6 4 .   So m p r ev io u s   w o r k s   o n   f ac r ec o g n it io n   s h o w ed   th at   t h i s   i m a g r eso l u tio n   is   s u f f ic ie n to   ac h ie v g o o d   r esu lt s   [ 2 9 ] .   B y   ch a n g in g   t h s ize  o f   i m a g in p u la y er ,   th s ize  o f   s u b s eq u e n co n v o l u tio n   la y er s   n ee d   to   b alter ed   to o .   Fo r   m o r s tab le  an d   i m p r o v ed   lear n in g ,   2   lay er s   o f   co n v o lu tio n   la y er   h a v e   b ee n   ad d ed   to   th is   n et w o r k .   Fi n all y ,   to   r ed u ce   th tr ain ab le  p ar am eter s   f u r t h er ,   th n u m b er   o f   n eu r o n s   ar r ed u ce d   in   all  f u l l y   co n n ec ted   ( FC )   la y er s .   T h n u m b er   o f   n e u r o n s   i s   later   r ed u ce d   in   th i s   cu s to m   C N f r o m   4 0 9 6 ,   4 0 9 6 ,   an d   1 0 0 0   n eu r o n s   to   1 0 0 ,   5 0   an d   2   n e u r o n s   at   ea ch   FC   la y er ,   r es p ec tiv el y .   I t   is   i m p o r tan t   to   n o te  th at  th f i n al  FC   la y er   ac ts   as so f t m a x   la y er .   T o   s p ee d   u p   th tr ain in g ,   th n o r m aliza t io n   la y er s   i n   th n e t w o r k   w h ic h   is   b ased   o n   lo ca r esp o n s n o r m aliza t io n   ( L R N)   ar r ep lace d   to   b atch   n o r m aliza tio n   l a y er s   [ 3 0 ] .   T h b atch   n o r m a li za tio n   la y er   m ak e s   n o r m aliza t io n   p ar o f   th m o d el  ar ch itectu r an d   it  p er f o r m s   th n o r m aliza tio n   f o r   ea ch   tr ain i n g   m i n b atch .   I allo w s   th n et w o r k   to   b tr a in ed   h i g h er   lear n i n g   r ate s   th at  is   o th er w i s d if f ic u l a n d   h i g h l y   u n s tab le  w it h   n o r m al  L R la y er s .   B atch   n o r m aliza tio n   h a s   b ee n   s h o w n   t o   ac h iev e   t h s a m s tate - of - t h e - ar ts   p er f o r m an ce   w it h   1 4   ti m e s   f e w er   tr ain in g   it er atio n s   [ 3 0 ] .   T h o v er v ie w   o f   th ar c h itect u r o f   th p r o p o s ed   cu s to m   C NN  i s   s h o w n   in   F ig u r e   1.   Su b s eq u e n tl y ,   t h la y er s ,   s iz o f   k er n els,  n u m b er   o f   k er n els,  a n d   s tr id es  f o r   ea ch   la y er   u s ed     in   cu s to m   C N ar ch itect u r is   g i v en   i n   T ab le   1 .   A cc o r d in g   to   T ab le   1 ,   in   to tal,   th c u s to m   C NN  h a s   7   co n v o lu tio n   la y er s   an d   6   b atch   n o r m al izatio n   la y er s   i n   b etw ee n   o f   ea ch   co n v o l u tio n   la y er s .   I n   b et w ee n   o f   ea ch   co n v o l u tio n   la y er s ,   Ma x   P o o lin g   la y er   is   ad d e to   r ed u ce   th e   s p atial   d i m e n s io n   o f   t h in p u v o lu m e   f o r   n ex t   la y er s .   T h ac ti v atio n   f u n ct io n   u s ed   i n   t h i s   n et w o r k   is   r ec ti f ied   li n ea r   u n it   ( R e L u ) .   Sev er al   d r o p o u la y er s   ar al s o   ad d ed   w ith   t h e   R e L u   to   p r ev e n o v er f itt in g .   T o   p r o v th at  t h i s   c u s to m   C N p o s s es s es  s m aller   n u m b er   o f   p ar a m eter s   as   co m p ar ed   to   s e v er al  e x is ti n g   C NN,   t h p ar a m eter s   i n   cu s t o m   C NN  d esi g n   i s   co m p u ted .   Her it  is   s h o w n   i n   d etail  h o w   to   co m p u te  t h s ize  o f   o u tp u f ea tu r e s   o f   ea c h   co n v o lu tio n   la y er     an d   h o w   to   co m p u te  t h n u m b er   o f   p a r a m eter s   a s s o ciat ed   w i th   co n v o lu tio n   la y er s   a n d   f u ll y   co n n ec ted     la y er s   o f   C NN.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Gen d er c la s s ifica tio n   u s in g   cu s to co n vo lu tio n a l n eu r a l   n etw o r k…   ( F a d h la n   Ha fiz h elmi  K a ma r u   Za ma n )   5761       Fig u r 1 .   T h ar ch itectu r o f   t h p r o p o s ed   cu s to m   C NN,   s h o w i n g   7   co n v o l u tio n   la y er s ,   2   f u ll y   co n n ec ted   la y er s   an d   s o f t m ax   la y er .   Fo r   clar ity ,   R e L u ,   Ma x   P o o lin g ,   d r o p o u t   an d   b atch   n o r m a lizati o n   la y er s     ar n o t sh o w n .   Size  o f   o u tp u f ea t u r es a n d   ch a n n els ar i n d icate d   in   th f i g u r u s i n g     th is   f o r m at o u tp u t wi d th   × o u tp u t h eig h t ×  o u tp u t c h a n n els       T ab le  1 .   T h lay er s ,   s ize  o f   k e r n els,  n u m b er   o f   k er n e ls ,   s tr id es   an d   p ad d i ng   f o r   ea ch   la y er     L a y e r   N a me   Ty p e   K e r n e l   si z e ,   n u m b e r s o f   k e r n e l s,  st r i d e s a n d   p a d d i n g   1         'i mag e i n p u t '   I mag e   I n p u t                             6 4 x 6 4 x 1   i mag e s w i t h   'z e r o   c e n t r e ' n o r mal i z a t i o n   2                     'co n v _ 1 '                 C o n v o l u t i o n   8   3 x 3 x 1   c o n v o l u t i o n s   w i t h   s t r i d e   [ 1   1 ]   a n d   p a d d i n g   [ 0   0   0   0 ]   3             'b a t c h n o r m _ 1 '         B a t c h   N o r m   B a t c h   n o r mal i z a t i o n   w i t h   8   c h a n n e l s   4         'r e l u _ 1 '                 R e L U   R e L U   5         'max p o o l _ 1           M a x   P o o l i n g                             2 x 2   m a x   p o o l i n g   w i t h   s t r i d e   [ 2   2 ]   a n d   p a d d i n g   [ 0   0   0   0 ]   6                                 'co n v _ 2 '                 C o n v o l u t i o n   1 6   3 x 3 x 8   c o n v o l u t i o n s w i t h   s t r i d e   [ 1   1 ]   a n d   p a d d i n g   [ 0   0   0   0 ]   7         'b a t c h n o r m _ 2 '         B a t c h   N o r m   B a t c h   n o r mal i z a t i o n   w i t h   1 6   c h a n n e l s   8         'r e l u _ 2 '                 R e L U   R e L U   9         'max p o o l _ 2           M a x   P o o l i n g                             2 x 2   m a x   p o o l i n g   w i t h   s t r i d e   [ 2   2 ]   a n d   p a d d i n g   [ 0   0   0   0 ]   1 0                                   'co n v _ 3 '                 C o n v o l u t i o n   3 2   3 x 3 x 1 6   c o n v o l u t i o n s w i t h   st r i d e   [ 1   1 ]   a n d   p a d d i n g   [ 0   0   0   0 ]   1 1         'b a t c h n o r m _ 3 '         B a t c h   N o r m   B a t c h   n o r mal i z a t i o n   w i t h   3 2   c h a n n e l s   12   'r e l u _ 3 '                 R e L U   R e L U   1 3         'max p o o l _ 3           M a x   P o o l i n g                             2 x 2   m a x   p o o l i n g   w i t h   s t r i d e   [ 2   2 ]   a n d   p a d d i n g   [ 0   0   0   0 ]   1 4           'co n v _ 4 '                 C o n v o l u t i o n   6 4   3 x 3 x 3 2   c o n v o l u t i o n s w i t h   st r i d e   [ 1   1 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   15   'b a t c h n o r m _ 4 '         B a t c h   N o r m   B a t c h   n o r mal i z a t i o n   w i t h   6 4   c h a n n e l s   16   'r e l u _ 4 '                 R e L U   R e L U   1 7         'max p o o l _ 4           M a x   P o o l i n g                             2 x 2   m a x   p o o l i n g   w i t h   s t r i d e   [ 2   2 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   1 8                                   'co n v _ 5 '                 C o n v o l u t i o n   1 2 8   3 x 3 x 6 4   c o n v o l u t i o n s   w i t h   s t r i d e   [ 1   1 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   1 9                 'b a t c h n o r m _ 5 '         B a t c h   N o r m   B a t c h   n o r mal i z a t i o n   w i t h   1 2 8   c h a n n e l s   20   'r e l u _ 5 '                 R e L U   R e L U   2 1         'max p o o l _ 5           M a x   P o o l i n g                             2 x 2   m a x   p o o l i n g   w i t h   s t r i d e   [ 2   2 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   2 2                                   'co n v _ 6 '                 C o n v o l u t i o n   2 5 6   3 x 3 x 1 2 8   c o n v o l u t i o n s w i t h   s t r i d e   [ 1   1 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   2 3                   'b a t c h n o r m _ 6 '         B a t c h   N o r m   B a t c h   n o r mal i z a t i o n   w i t h   2 5 6   c h a n n e l s   24   'r e l u _ 6 '                 R e L U   R e L U   2 5         'max p o o l _ 6           M a x   P o o l i n g                             2 x 2   m a x   p o o l i n g   w i t h   s t r i d e   [ 2   2 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   2 6                                   'co n v _ 7 '                 C o n v o l u t i o n   5 1 2   3 x 3 x 2 5 6   c o n v o l u t i o n s w i t h   s t r i d e   [ 1   1 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   2 7                   'b a t c h n o r m _ 7 '         B a t c h   N o r m   B a t c h   n o r mal i z a t i o n   w i t h   5 1 2   c h a n n e l s   28   'r e l u _ 7 '                 R e L U   R e L U   2 9         'max p o o l _ 7           M a x   P o o l i n g                             2 x 2   m a x   p o o l i n g   w i t h   s t r i d e   [ 2   2 ]   a n d   p a d d i n g   [ 1   1   1   1 ]   3 0         'd r o p o u t _ 1           D r o p o u t                                     5 0 d r o p o u t   3 1         'f c _ 1 '                     F C                     1 0 0   f u l l y   c o n n e c t e d   l a y e r   32   'r e l u _ 8 '                 R e L U   R e L U   3 3                                           'd r o p o u t _ 2           D r o p o u t   5 0 d r o p o u t   3 4         'f c _ 2 '                     FC   5 0   f u l l y   c o n n e c t e d   l a y e r   35   'r e l u _ 9 '                 R e L U   R e L U   3 6                                           'd r o p o u t _ 3           D r o p o u t   5 0 d r o p o u t   3 7         'f c _ 3 '                     FC   2   f u l l y   c o n n e c t e d   l a y e r   3 8                                                         'so f t max '   S o f t max   so f t max   3 9               'cl a sso u t p u t '   C l a ssi f i c a t i o n       c r o sse n t r o p y e x   w i t h   mal e   a n d   1   o t h e r   c l a ss       2 . 1 .     Size   o f   t he  o utput   f ea t ures o f   a   co nv o lutio n la y er   a n m a x   po o lin g   la y er   T o   co m p u te  th n u m b er   o f   o u tp u f ea t u r es  o f   C NN,   let’ s   d en o te  th w id t h   o f   o u tp u i m ag as  th w id th   o f   in p u i m ag as  ,   t h w id t h   o f   co n v o lu tio n   k er n e ls   la y er   as  ,   th n u m b er   o f   k er n els  u s ed   as  th s tr id o f   th co n v o lu tio n   as  ,   th p ad d in g   as    an d   th p o o l   s ize  as  .   T h s ize  o f   th o u tp u o f   co n v o lu t io n   la y er     an d   Ma x   P o o lin g   la y er     ar g iv en   b y :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     5 7 5 8   -   5 7 7 1   5762   = + 2 + 1                     ( 1 )     = + 1                     ( 2 )     2 . 2 .     P a ra m et er s   o f   a   co nv o lutio n la y er   I n   C NN,   t h er ar t w o   p ar a m eter s   f o r   ea c h   la y er ,   n a m el y   th w ei g h ts   an d   b ia s es.  T h to tal  n u m b er   o f   p ar a m eter s   i s   t h s u m   o f   al w ei g h t s   a n d   b iase s .   L et   t h n u m b er   o f   w ei g h ts   an d   b iases   o f   th e   co n v o lu t io n   la y er   b = 2    an d   =    r esp ec tiv el y ,   w h er   is   th n u m b er   o f   ch an n el s   o f   th i n p u i m ag e.     T h u s ,   w ca n   co m p u te  th n u m b er   o f   p ar a m eter s   o f   t h co n v o lu tio n   la y er   :     = +                       ( 3 )     2 . 3 .     P a ra m et er s   o f   a n F la y er   co nn ec t ed  t o   a   c o nv o luti o n la y er   L et  t h n u m b er   o f   w ei g h t s   a n d   b ias o f   FC   L a y er   w h ic h   is   c o n n ec ted   to   co n v o l u tio n   la y er   d en o ted   as   =   2    an d    =   r esp ec tiv el y ,   w h er   is   th n u m b er   o f   n e u r o n s   i n   th FC   L a y er   an d     is     th s ize  o f   th o u tp u i m a g o f   th p r ev io u s   co n v o lu ti o n   la y er .   T h u s ,   t h n u m b er   o f   p ar am e ter s   o f     th co n v o lu tio n   la y er    ca n   b co m p u ted   f r o m :      =  +                    ( 4 )     2 . 4 .     P a ra m et er s   o f   a n F la y er   co nn ec t ed  t o   a no t her  F la y er   L et  t h n u m b er   o f   w ei g h ts   an d   b iases   o f   FC   L a y er   w h ic h   is   co n n ec ted   to   an   F C   L a y er   b e      = 1   an d    =   r esp ec tiv el y ,   w h er 1   is   th n u m b er   o f   n e u r o n s   in   t h p r ev io u s   F C   L a y er .     T h u s ,   w ca n   co m p u te  th n u m b er   o f   p ar a m eter s   o f   t h co n v o lu tio n   la y er    :      =  +                    ( 5 )     F in a l ly ,   t o t al   n u m b e r   o f   p a r am e t e r s    = +    +      c an   b e   d et e r m in e d .   I is   im p o r t an t   t o   n o t t h at   th e r a r e   n o   p a r am et e r s   as s o ci a t e d   w i th   a   p o o l in g ,   d r o p o u t ,   an d   R eL u   l ay e r s .   T h e   p o o l   s iz e ,   s t r i d e ,   an d   p a d d i n g   a r e   a l l   c o n s i d e r e d   a s   h y p e r p a r am e t e r s   w h o s e   v a lu e   i s   s et   b e f o r e   th e   l e a r n in g   p r o c e s s   b eg in s .   A l th o u g h   b e t t e r   r e s u l t s   c an   b e   a ch i ev e d   w h en   h y p e r p a r am e te r s   a r e   p r o p e r ly   a d ju s t e d   [ 2 4 ] th e s e   h y p e r p a r am e t e r s   a r c o n s i d e r e d   n o n - t r a in a b l e   a n d   ar e   e x t e r n a l   t o   th e   m o d el .   T h r o u g h o u t   th i s   w o r k ,   t h e   c o m p u t er   s y s t em   th a t   is   u s e d   i n   th e   ex p e r im en t s   r u n s   o n   I n t e l   i 7 - 6 7 0 0   C PU  @   3 . 4 0   G Hz ,   w i th   1 6 G B   o f   R A M   an d   u s e s   G T X 1 0 8 0 T i   a s   t h m a in   G PU .   T h e   h y p e r p a r am e te r s   u s e d   i n   t r a in i n g   th e   cu s t o m   C N N   a r e   as   f o l l o w s m o m en tu m   =   0 . 9 ,   m in b a t c h   s i ze   =   5 0 0 ,   L 2   r e g u l a r i z at i o n   =   0 . 0 0 1 ,   i n i t i al   l e a r n in g   r ate   =   0 . 1 ,   l e a r n   r a t e   d r o p   f a c t o r   0 . 9 ,   a n d   l e a r n   r at d r o p   p e r i o d   =   1 0 .       3.   RE SU L T S AN D I SCU SS I O N   I n   th i s   s ec tio n ,   th r es u lt s   o f   g en d er   clas s if icatio n   e x p er im en ts   o n   s ev er al  d ataset s   ar e   p r esen ted C r itical  d is c u s s io n s   o n   th p e r f o r m an ce   o f   p r o p o s ed   cu s to m   C N is   p r esen ted   i n   ter m s   o f   its   ac cu r ac y   a n d   in f er en ce   s p ee d   o n   GP U,   C P an d   an   e m b ed d ed   s y s te m .   T h p er f o r m an ce   in   g en d er   r ec o g n itio n   is   al s o   co m p ar ed   ag ai n s s tate - of - th e - ar ts   m eth o d s   s u c h   as  A lex N et  an d   Go o g leNe to   h ig h li g h th s u p er io r it y   o f     th p r o p o s ed   m eth o d .   B esid es,  th cu s to m   C N is   also   t ested   u n d er   cr o s s - d ataset  i n f er e n ce   co n s tr ai n t,   w h er cu s to m   C NN  tr ai n ed   u s in g   C eleb A   d ataset  i s   test ed   o n   I MD B   an d   W I KI   d atasets .     3 . 1 .     Da t a s et s   des cr iptio n   I n   th e x p er i m e n ts   s ev er al  p u b licl y   av a ilab le  d atasets   n a m e l y   t h lab elled   f ac es  i n   t h W ild   ( L FW )   d ataset,   C eleb Face s   Attr ib u t es  Data s et  ( C eleb A )   d ataset   an d   I MD B - W I KI   d ataset   a r u s ed .   T h L FW     d ataset  [ 3 1 ]   co n tain s   1 3 , 3 2 3   p h o to s   o f   5 , 7 4 9   ce leb r ities   ta k en   u n d er   u n co n s tr ain ed   e n v i r o n m e n ts   w h ic h   ar th en   d i v id ed   in to   1 0 - f o ld   cr o s s   v alid atio n .   E ac h   f o ld   co n tain s   b o th   m ale  a n d   f e m ale  i m a g es,  as  s u g g e s ted   b y   th r es tr icted   p r o to co l.  P er f o r m an ce   is   m ea s u r ed   u s in g   th e   r estricte d   p r o to co l,  in   w h ich   o n l y   g e n d er   lab els ar e   av ailab le  in   tr ai n i n g .   L FW   g en d er   lab els  u s ed   in   t h is   w o r k   ar d eter m i n ed   b y   Af if an d   A b d elh a m ed   [ 8 ] ,   w h er v alu e s   o f   attr ib u tes  s u g g e s ted   b y   Ku m ar   et   al. ,   [ 3 2 ]   ar u s ed   to   lab el  th e   i m ag e s   b ased   o n   g e n d er .   Su b s eq u e n tl y ,   t h e y   r e m o v in co r r ec lab els  b y   m a n u al l y   r ev ie w i n g   ea c h   ca te g o r y   o f   m ale   an d   f e m ale   i m ag e s   th r ee   ti m e s .   I n   th i s   p ap er ,   a   v ar ian o f   L FW   d ataset  ca lle d   L FW A   [ 3 3 ]   w h ich   co n tai n s   th s a m i m a g e av ailab le  i n   t h o r i g in a L F W   d ataset   is   u s ed ,   h o w e v er ,   i m a g es   in   L FW A   d atase ar alig n ed   u s i n g   co m m er cial  f ac ali g n m e n t s o f t w ar e.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Gen d er c la s s ifica tio n   u s in g   cu s to co n vo lu tio n a l n eu r a l   n etw o r k…   ( F a d h la n   Ha fiz h elmi  K a ma r u   Za ma n )   5763   C eleb A   [ 3 4 ]   is   lar g e - s ca le  d ataset  w it h   lar g f ac ial  d i v er s i ties ,   h u g q u a n tit ies,  a n d   co m p r eh en s i v e   an n o tatio n s   t h at  h as   m o r t h an   2 0 2 , 5 9 9   im a g es   f r o m   1 0 , 1 7 7   id en titi es,   h a v i n g   4 0   b in ar y   attr ib u tes   an n o tatio n s   a n d   5   la n d m ar k   l o ca tio n s   f o r   ea ch   i m a g e.   T h i m a g es  in   th is   d atase also   c o n tain s   b ac k g r o u n d   clu tter   an d   p o s v ar iatio n s .   I MD B - W I KI   d ataset  [ 3 5 ,   3 6 ]   co n tain s   5 2 4 , 2 3 0   im a g es  w h i ch   m ad it  o n o f     th lar g e s p u b lic  f ac d ataset  av ailab le.   T h ese  f ac i m a g es  ar cr a w led   f r o m   I MD B   an d   W ik ip ed ia  w eb s i tes.   T h is   d ataset  in   to tal  co n tai n s   4 6 0 , 7 2 3   f ac i m ag e s   f r o m   2 0 , 2 8 4   ce leb r ities   f r o m   I MD b   an d   6 2 , 3 2 8   f r o m   W ik ip ed ia  w it h   g e n d er   an d   ag lab els  ar s u p p lied   f o r   tr ain in g .   Fo r   I MD B - W I KI   d ataset,   o n l y   p h o to s   th at   h av e   t h s ec o n d   s tr o n g es f a ce   d etec tio n   b elo w   a   ce r tain   th r es h o ld   ar c h o s en ,   th u s   t h to tal   n u m b er   o f   i m a g es  u s ed   i n   th is   w o r k   f r o m   th i s   d ataset  ar 3 3 , 1 8 1   i m ag e s   a n d   3 , 2 1 0   im ag e s   f o r   I MD B   an d   W I KI   r esp ec tiv el y .   I n   all  ex p er i m en t s ,   all  f ac i m ag e s   ar ali g n ed ,   cr o p p e d   an d   r esized   to   6 4 × 6 4 .   So m ex a m p les o f   th i m a g es   f r o m   L FW ,   C eleb A ,   I MD B - W I KI   d atasets   ar s h o w n   i n   Fig u r e   2 .   Su b s eq u e n tl y ,   t h n u m b er   o f   m ale  an d   f e m ale  i m a g e s   f o r   ea ch   d ataset  ar s u m m ar ized   in   T ab le  2 .           Fig u r 2 .   Sa m p le  o f   m ale  ( o n   t h lef t)   an d   f e m ale  i m ag e s   ( o n   th r ig h t)   f r o m   L FW   an d     C eleb A   d ataset  r esp ec tiv e l y       T ab le  2 Nu m b er   o f   f e m ale  an d   m ale  i m a g es c o n s i s t in   t h d atasets   u s ed   in   t h i s   w o r k   D a t a se t s   F e mal e   i mag e s #   M a l e   i mag e s #   L F W   2 , 9 6 6   1 0 , 2 6 8   C e l e b A   1 1 8 , 1 6 5   8 4 , 4 3 4   I M D B   1 8 , 8 0 3   1 4 , 3 7 8   W I K I   1 , 3 7 9   1 , 8 3 1       3 . 2 .     P a ra m et er s   o f   cus t o m   CNN  a rc hite ct ure   Firstl y ,   th e   co m p le x it y   o f   t h cu s to m   C NN  ar c h itect u r ar co m p ar ed   ag ai n s Go o g l eNe an d   A le x Net  ar ch itectu r b y   co m p u tin g   th n u m b er   o f   p ar a m e ter s .   T h f ea tu r s ize  ( o u tp u t )   o f   co n v o lu tio n   la y er     an d   Ma x   P o o lin g   la y er       ar co m p u ted   u s i n g   ( 1 )   an d   ( 2 ) .   A f ter w a r d ,   t h n u m b er   o f   p ar am eter s   o f   co n v o lu tio n   la y er   ,   n u m b er   o f   p ar am eter s   o f   a n   FC   la y er   co n n ec ted   to   c o n v o lu t io n   la y er    ,   an d   n u m b er   o f   p ar a m eter s   o f   a n   F C   la y er   co n n ec ted   to   a n o th er   FC   la y er      ar ca lcu lated   u s i n g   ( 3 ) ,   ( 4 )   an d   ( 5 )   r esp ec tiv el y .   T h ese  p ar a m eter s   ar g iv e n   i n   T ab le  3 .     B ased   o n   T ab le  3 ,   th to tal   n u m b er   o f   p ar a m e ter s   o f   c u s to m   C NN   is   2 , 0 4 1 , 7 9 6   p ar a m eter s .     I t is  in ter e s ti n g   to   n o te  t h at  9 5 % o f   t h p ar a m eter s   co m e s   f r o m   t h 6 t h   a n d   7 th   co n v o lu t io n   la y er ,   a n d   t h f ir s t   FC   la y er .   T h is   n u m b er   o f   p ar am eter s   is   s u b s eq u e n tl y   co m p ar e d   ag a in s t h n u m b er   o f   p ar a m eter s   o f   Go o g leNe t a n d   A le x Net  ar ch i t ec tu r e,   w h ic h   is   g i v en   i n   T ab le  4 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     5 7 5 8   -   5 7 7 1   5764   T ab le  3 Nu m b er   o f   p ar am eter s   f o r   ea ch   la y er   in   t h p r o p o s e d   cu s to m   C NN   L a y e r   F e a t u r e   S i z e   W e i g h t s   B i a se s   P a r a me t e r s   I n p u t   I mag e   6 4 × 6 4 × 3   0   0   0   C o n v - 1   6 2 × 6 2 × 8   2 1 6   8   2 2 4   B a t c h N o r m   6 2 × 6 2 × 8   0   16   16   C o n v - 2   2 9 × 2 9 × 1 6   1 1 5 2   16   1 1 6 8   B a t c h N o r m   2 9 × 2 9 × 1 6   0   32   32   C o n v - 3   1 3 × 1 3 × 3 2   4 6 0 8   32   4 6 4 0   B a t c h N o r m   1 3 × 1 3 × 3 2   0   64   64   C o n v - 4   7 × 7 × 6 4   1 8 4 3 2   64   1 8 4 9 6   B a t c h N o r m   7 × 7 × 6 4   0   1 2 8   1 2 8   C o n v - 5   5 × 5 × 1 2 8   7 3 7 2 8   1 2 8   7 3 8 5 6   B a t c h N o r m   5 × 5 × 1 2 8   0   2 5 6   2 5 6   C o n v - 6   4 × 4 × 2 5 6   2 9 4 9 1 2   2 5 6   2 9 5 1 6 8   B a t c h N o r m   4 × 4 × 2 5 6   0   5 1 2   5 1 2   C o n v - 7   3 × 3 × 5 1 2   1 1 7 9 6 4 8   5 1 2   1 1 8 0 1 6 0   B a t c h N o r m   3 × 3 × 5 1 2   0   0   1 0 2 4   FC - 1   1 0 0 × 1   4 6 0 8 0 0   1 0 0   4 6 0 9 0 0   FC - 2   5 0 × 1   5 0 0 0   50   5 0 5 0   S o f t max   2 × 1   1 0 0   2   1 0 2   T o t a 1   P a r a me t e r #   2 0 4 1 7 9 6       T ab le  4 .   C o m p ar is o n   o n   n u m b er   o f   p ar am eter s   o f   cu s to m   C NN  ag ai n s t G o o g le Net  an d   A l ex Net   C N N   M o d e l s   I mag e   I n p u t   S i z e   M i n i   B a t c h   S i z e   M a i n   L a y e r s   P a r a me t e r s   c u s t o m C N N   6 4   ×   64   5 0 0   7   c o n v ,   3   F C   l a y e r s   2 , 0 4 1 , 7 9 6   G o o g l e N e t     2 2 4   ×   224   30   2 2   c o n v   w i t h   i n c e p t i o n   l a y e r s   6 , 7 9 9 , 7 0 0   A l e x N e t     2 2 7   ×   227   30   5   c o n v ,   3   F C   l a y e r s   6 2 , 3 7 8 , 3 4 4       A cc o r d in g   to   T a b le  4 ,   A lex Net  h as  th lar g e s n u m b er   o f   p ar am eter s   w it h   m o r th an   6 2 M   p ar am eter s   w h ile  Go o g leNe h as  6 . 8 p ar am eter s .   T h is   r en d er s   A le x Net  to   r eq u ir lar g er   m e m o r y   s p ac d u r in g   tr ai n in g   a s   co m p ar ed   to   o th er   m eth o d s .   T h p r o p o s ed   cu s to m   C NN  p o s s e s s e s   lo w e s n u m b er   o f   p ar am eter s   w h e n   co m p ar ed   ag ain s th Go o g leNe an d   A le x Net  p ar a m eter s .   I n   f ac t,  cu s to m   C NN  h a s   3   ti m es   s m al ler   n u m b er   o f   p ar a m eter s   th a n   Go o g leNe an d   3 0   ti m es   s m a ller   th a n   Alex Net.   T h is   h as  p o s iti v i m p ac t   o n   t h m e m o r y   r eq u ir e m en f o r   th i s   c u s to m   C NN   d u r i n g   tr ain i n g ,   w h ich   en ab le   th e   c u s to m   C NN  to   b tr ain ed   w ith   m i n b atch   s ize  o f   5 0 0 ,   co m p ar ed   to   Go o g leNe an d   A le x Net  w h ic h   is   s et  to   o n l y   3 0   th r o u g h o u t   th ex p er i m e n ts .   T h in p u i m ag r e s o lu tio n   f o r   cu s to m   C NN  is   al s o   s ig n i f i ca n tl y   s m all er   at  6 4 ×6 4   p ix els,   as  co m p ar ed   to   2 2 4 × 2 2 4   p i x els  a n d   2 2 7 ×2 2 7   p ix els  r eq u ir ed   b y   Go o g leNe a n d   A l ex Net  r esp ec ti v el y .     I n   to tal,   th s ize  o f   in p u f o r   cu s to m   C NN  is   9 2 s m aller   th an   i n p u f o r   Go o g leNe an d   A le x Net.   T h is   w i ll   allo w   th e   cu s to m   C N to   b tr ain ed   m u c h   f aster   a n d   ca n   b tr ain ed   o n   r elativ e l y   ch ea p e r   co m p u ter   s y s te m   w it h   le s s er   s p ec i f icatio n s .   Ne v er th ele s s ,   b ased   o n   r es u lts   p r esen ted   i n   s u b s eq u e n ce ,   th c ap ab ilit y   o f   cu s to m   C NN  to   ex tr ac an d   lear n   h i g h l y   co m p le x   p ar a m eter s   f r o m   s ig n i f ican t l y   s m aller   i m ag e s   in   m u c h   f aster   ti m e   w it h o u s ac r i f ici n g   th ac c u r a c y   is   d e m o n s tr ated .   Sin ce   tr ai n in g   lar g d ataset s   o n   C P o r   Vis u a P r o ce s s in g   Un it  ( VP U)   is   p ain f u ll y   s lo w ,   it  is   m o r ap p r o p r iate   to   s h o w   th co m p u tat io n al  ad v an ta g o f   cu s to m   C N b m ea s u r in g   t h av er ag i n f er e n ce   ti m f o r   1 2 0 0   im a g es  f r o m   1 0   f o ld s   o f   L FW   d ataset  u s in g   cu s to m   C NN,   Go o g leNe a n d   A le x Net.   T h e   in f er en ce s   ar r u n   o n   GT X1 0 8 0 T ( GP U) ,   I n tel  i7 - 6 7 0 0   @   3 . 4 0   GHz   ( C P U)   an d   Mo v id iu s   Ne u r al  C o m p u t Sti ck   ( Mo v id iu s   NC S)  ( VPU) .   T h av er ag in f er en ce   ti m m ea s u r ed   in   t h i s   ex p er i m e n t is  g i v en   i n   Fi g u r e   3.   A cc o r d in g   to   Fi g u r e   3 ,   c u s to m   C NN   r eq u ir es  o n l y   0 . 9 2 m s   to   clas s if y   1 2 0 0   i m ag e s   o n   GP U,   w h ile   Go o g leNe a n d   A le x Net  r eq u ir es  s i g n i f ica n tl y   lo n g er   in f er en ce   ti m at   4 . 4 2 m s   a n d   1 . 9 5 m s   r esp ec ti v el y .     On   C P U,   th a v er ag i n f er en c ti m f o r   cu s to m   C N is   j u s t   1 . 7 9 m s ,   w h ile  Go o g leNe a n d   A le x Net  r eq u ir e s   6 2 . 3 7 m s   a n d   2 0 . 4 1 m s   r esp ec t iv el y .   Fo r   VP U,   cu s to m   C NN   ag ai n   r eq u ir e s   leas a m o u n o f   i n f er en ce   ti m o f   j u s 2 . 5 1 m s ,   w h ile  Go o g leN et  an d   A lex Net  r eq u ir es  9 5 . 7 8 m s   an d   5 5 . 6 0 m s   r esp ec tiv el y .   T h is   p u i n to   p er s p ec tiv th at  c u s to m   C N ca p italize  o n   its   les s er   r eq u ir e m e n ts   o f   i m a g s ize  a n d   p ar am eter s   w h ich   en ab les  c u s to m   C NN   to   b i n f er r ed   at   s i g n if ican t l y   h i g h e r   s p ee d   o n   GP U,   C P an d   VP en v ir o n m en t .     T h m o s i m p o r tan tak ea w a y   is   t h i s   w ill   allo w   c u s to m   C N to   b d ep lo y ed   i n   r ea l - ti m e   tas k s   w h et h er   it  is   r u n   o n   GP U/C P U - b a s ed   s y s te m   o r   o n   co m p letel y   e m b e d d ed   s y s te m   s u c h   as  th o s e   r ely i n g   o n   m o r e     en er g y - e f f icie n VP s u c h   as   Mo v id iu s   N C S.  I n   t h f o llo win g   s ec tio n ,   it  i s   s h o w n   t h at  ev en   t h o u g h   cu s to m   C NN  w o r k s   o n   s m aller   n u m b er   o f   p ar am eter s ,   it s   p er f o r m a n ce   in   g en d er   clas s i f icatio n   i s   in   f ac o n - p ar   an d   o cc asio n all y   b etter   t h an   s tate - of - t h e - ar ts .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Gen d er c la s s ifica tio n   u s in g   cu s to co n vo lu tio n a l n eu r a l   n etw o r k…   ( F a d h la n   Ha fiz h elmi  K a ma r u   Za ma n )   5765       Fig u r 3 .   C o m p ar is o n   b et w ee n   th a v er ag i n f er en c ti m o f   1 2 0 0   im a g es  f r o m   L FW   d ataset  f o r   cu s to m   C NN,   Go o g leNe t a n d   Alex Ne t o n   d if f er e n t i n f er e n ce   e n v ir o n m e n t s     GP ( G T 1 0 8 0 T i) ,   C P ( i7 - 6 7 0 0   C P @   3 . 4 0   G Hz,   an d   VP ( Mo v id iu s   Ne u r al  C o m p u te  Sti c k )       3 . 3 .     P er f o rm a nce  i n g ender  cla s s if ica t io n   T h cu s to m   C N is   tr ain e d   to   class if y   g en d er   f r o m   f ac i m ag e s   in   L FW A   d atas et  an d   its   p er f o r m a n ce   is   e v al u ated   in   ter m s   o f   ac c u r ac y ,   t r u p o s itiv r ate  ( T P R ) ,   f alse   p o s itiv r ate  ( FP R )   an d   P r ec is io n .   T h ese  p er f o r m a n ce s   ar av er ag ed   o v er   1 0   r u n s   f r o m   1 0   f o ld s   a s   cr o s s   v alid a tio n   as  m en tio n ed   ea r lier .   T w o   v ar ia n ts   o f   i m a g e s   ar u s ed ,   n a m el y   th g r a y s ca le  an d   R GB   i m ag e s .   T h p er f o r m an ce   f o r   g en d er   class i f icatio n   u s i n g   c u s to m   C NN  is   co m p ar ed   ag ai n s t h p er f o r m an ce   o f   Go o g leNe a n d   A le x Net  cla s s i f ier s   d o in g   th s a m tas k   an d   is   s h o w n   i n   Fi g u r e s   4   an d   5.           Fig u r 4 .   C o m p ar is o n   b et w ee n   th ac c u r ac y   o f   c u s to m   C N N,   Go o g leNe t a n d   A le x Net  w i th   r esp ec to   class i f icatio n   u s i n g   g r a y s ca le  an d   R GB   i m a g es       A cc o r d in g   to   Fi g u r e   4 ,   at  leas s li g h t l y   b etter   p er f o r m an ce   i s   ac h ie v ed   u s i n g   R GB   i m a g es   co m p ar ed   w it h   g r a y s ca le  i m a g es  f o r   all   test ed   class i f ier s .   0 . 0 1   ac cu r ac y   i m p r o v e m en is   o b tain ed   b y   cu s to m   C NN,   Go o g leNe an d   A le x Net  w h en   u s in g   R GB   i m a g es  a s   o p p o s ed   to   u s in g   g r a y s ca le  i m ag es.  A cc o r d in g   to     Fig u r es   4   an d   5 ,   Go o g leNe g i v es  th b est  ac c u r ac y   f o r   R G B   im a g es  w it h   an   ac cu r ac y   o f   0 . 9 6 ,   w h ile  cu s to m   C NN  d eli v er s   0 . 9 5   ac cu r ac y ,   b etter   th a n   A le x Net  w h ic h   i s   at  0 . 9 0   ac cu r ac y .   I n   ter m s   o f   T P R ,   Go o g leNe ag ain   d eliv er s   b e s p er f o r m a n ce   at  0 . 9 8   T P R ,   w h ile  c u s to m   C NN  a n d   A le x Net  d e li v er s   0 . 9 7   an d   0 . 9 3   T P R   r esp ec tiv el y .   Si m ilar l y ,   Go o g leNe d eliv er s   b est  p er f o r m a n ce   f o r   FP R   an d   P r ec is io n ,   w h er cu s to m   C N N   d eliv er s   s ec o n d - b est  p er f o r m a n ce ,   f o llo w ed   b y   A le x Net  w it h   th w o r s p er f o r m an ce   o f   al th r ee   class i f ier s .     A   clo s er   lo o k   o n   t h a cc u r ac y   o f   test ed   cla s s i f ier s   f o r   ea ch   t est  f o ld   i n   Fi g u r e   6   s h o w s   t h a cu s to m   C NN  a n d   Go o g leNe h as  co m p ar ab le  p er f o r m an ce   a n d   m o r s tab le  w it h   j u s s li g h f l u ct u atio n s   in   ac cu r ac y   w h e n   co m p ar ed   to   A lex Net.   T h ese   ex ce lle n p er f o r m a n ce s   o f   c u s to m   C NN  ar q u ite  i m p r es s iv co n s id er in g   it s   s ig n i f ica n tl y   le s s   co m p le x   ar c h itect u r w h ic h   co n tain s   f e w e r   p ar am e ter s   a n d   i n f er r ed   at  s ig n if ican t l y   h i g h er   s p ee d   th an   s ta te - of - th e - ar ts   s u ch   as Go o g leNe t a n d   A lex Net  class i f ier s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     5 7 5 8   -   5 7 7 1   5766         ( a)     ( b )     Fig u r 5 .   P er f o r m a n ce   m ea s u r ed   in   ter m s   o f   av er ag te s t a cc u r ac y ,   tr u p o s iti v r ate,   f al s p o s itiv r ate,   an d   p r ec is io n   f o r   cu s to m   C NN,   G o o g leNe t a n d   A lex Net  f o r   ( a)   g r a y s ca le  i m a g e s ,   an d   ( b )   R GB   im a g es           Fig u r 6 .   T h p er f o r m an ce   m e asu r ed   as a cc u r ac y   f o r   cu s to m   C NN,   Go o g le Net    an d   Alex Net  f o r   ea ch   tes t f o ld   in   L FW   d ataset       Af ter w ar d s ,   t h p er f o r m a n ce   o f   g e n d er   clas s i f icatio n   f o r   L FW A   a n d   C eleb A   d ataset  is   e v alu a ted   i n   th f o r m   o f   R ec ei v er   Op er atin g   C h ar ac ter is tic s   ( R O C )   cu r v e.   I is   o n o f   t h m o s i m p o r tan ev al u atio n   m etr ics  f o r   ch ec k i n g   a n y   cla s s i f icatio n   m o d el’ s   p er f o r m a n ce .   A r ea   Un d er   th C u r v ( A U C )   is   u s ed   to   m ea s u r th p er f o r m a n ce   at  v ar io u s   th r es h o ld s   s et tin g s   u s ed   b y   t h f i n al  s o f t m ax   la y er .   T h R OC   c u r v f r o m   th is   e x p er i m e n is   s h o w n   Fi g u r 7 .   B ased   o n   Fig u r e   7 ,   f o r   L FW A   d atasets ,   Go o g leNe h as  th b est  A U C ,   f o llo w ed   cu s to m   C NN  a n d   Al ex Net.   I n ter e s ti n g l y ,   t h A U C   f o r   cu s to m   C NN  a n d   Go o g le Net  is   n o to o   m u c h   d if f er e n f r o m   o n e   an o t h er   t h u s   p r o v in g   t h at  c u s to m   C N ag ai n   ca n   d eliv er   p er f o r m an ce   o n   p ar   w it h   Go o g le Net  clas s i f ier   d esp ite  i ts   m u c h   s i m p ler   ar c h itect u r e.   Mo r eo v er ,   th A U C   o f   c u s to m   C NN  o n   C eleb d ataset  ex ce ed   th A UC   o f   Go o g leNe an d   A le x Net,   m ak in g   cu s to m   C NN  as  th b est  p e r f o r m i n g   clas s i f ier   f o r   C eleb A   d ata s et.   T h is   e x c ep tio n al  p er f o r m a n ce   o n   C e le b A   d atase also   p r o v e s   t h at  e v en   th o u g h   c u s to m   C NN  co n tai n s   f e w er   p ar a m et er s   th at  t h o th er   test ed   clas s i f ier s ,   it  ca n   lear n   to   class i f y   t h g e n d er   o f   m o r th an   2 0 0 i m a g es c o r r ec tl y   m o s t o f   th ti m e .   T h en ,   th p er f o r m a n ce   o f   th e   cu s to m   C NN  f o r   g en d er   cla s s i f icatio n   is   co m p ar ed   ag ai n s s ev er al   o th er   s tate - of - t h e - ar ts .   Si m ilar   p r o to co ls   as  u s ed   b y   t h o r ig in al  p u b licatio n s   o f   th e s m et h o d s   ar u s ed ,   an d   th r es u lts   ar g i v en   in   T ab le  5 .   Fo r   L FW A   d ata s et,   L Ne ts + A Net  [ 2 1 ]   d eliv er s   t h b est  r esu lt  w it h   9 8 %   ac cu r ac y   w h ile  c u s to m   C N d eliv er s   9 5 ac cu r ac y .   Ho w e v er ,   cu s to m C NN  d eliv er s   b etter   ac cu r ac y   co m p ar ed   to   s ev er al  m et h o d s   s u c h   as  Alex Ne t,  Face   T r ac e r   [ 2 0 ] ,   P A NDA - w   [ 2 ] ,   a n d   R C NN  Gen d er   [ 2 2 ] .     I n   f ac t,  cu s to m   C NN  d eli v er s   th e   s a m ac c u r ac y   a s   [ 3 7 ]   +A Ne t.  Fo r   C e leb d ataset,   c u s to m   C NN   d eliv er s     th b est  p er f o r m an ce ,   s u r p as s i n g   a ll  s tate - of - th e - ar ts   w it h   9 6 g e n d er   class i f icatio n   ac c u r ac y .   C u s to m   C NN  is   ev e n   3 %   b etter   th a n   Go o g l eNe an d   2 b etter   th a n   t h r ec en H y p er Face   [ 2 2 ] .   T h f o llo w i n g   Fi g u r 8   s h o w   t h ex a m p l o f   f e m a le  an d   m ale  s a m p les  w i th   i n co r r ec t c lass i f icatio n   f o r   L FW   an d   C eleb A   d ataset.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Gen d er c la s s ifica tio n   u s in g   cu s to co n vo lu tio n a l n eu r a l   n etw o r k…   ( F a d h la n   Ha fiz h elmi  K a ma r u   Za ma n )   5767       ( a)   ( b )     Fig u r 7 .   R OC   f o r   ( a)   L FW   an d   ( b )   C eleb A   d atasets       T ab le  5 .   A cc u r ac y   o f   g e n d er   class i f icatio n   f o r   co m p ar ed   ag a in s s ev er al  s tate - of - t h e - ar t s   M e t h o d   C l a ssi f i c a t i o n   A c c u r a c y   ( %)   L F W A   C e l e b A   F a c e   T r a c e r   [ 2 0 ]   91   84   P A N D A - [ 2 ]   93   86   P A N D A - [ 2 ]   97   92   [ 3 7 ] + A N e t   95   91   L N e t s+ A N e t   [ 2 1 ]   98   94   C a st r i l l o n - S a n t a n a   e t   a l   [ 1 ]   98   NA   R C N N   G e n d e r   [ 2 2 ]   95   91   M u l t i t a sk   F a c e   [ 2 2 ]   97   93   H y p e r F a c e   [ 2 2 ]   97   94   C - P e g a so [ 7 ]   97   NA   A F I F   [ 8 ]   96   NA   A l e x N e t   90   91   G o o g l e N e t   96   93   c u st o m   C N N   95   96           ( a)   ( b )     Fig u r 8 .   E x a m p les o f   f e m ale  ( to p )   an d   m ale  ( b o tto m )   s a m p l es  w i th   i n co r r ec t c lass i f icat io n   f o r ,     ( a)   L FW   d ataset   an d   ( b )   C eleb A   d ataset       A cc o r d in g   to   Fig u r e   8 ,   s o m e   o f   s u p p o s ed l y   f e m ale  s u b j ec m a y   h av m asc u li n f ea t u r es  s u c h   as   m o r a n g u lar   f ac s h ap w it h   s tr o n g   j a w li n e.   L ik e w i s e,   t h s u p p o s ed ly   m ale  s u b j ec ts   m a y   h a v f e m i n i n e   f ea t u r es  s u ch   a s   r o u n d er   f ac an d   ch ee k s .   Ot h er   f ac to r s   th at  m a y   co n tr ib u te  to   m is cl ass i f icatio n   is   p o s e   v ar iatio n s   an d   o b j ec ts   o r   o cc l u s io n s   p r esen in   f ac ial  i m a g es,  e. g . s u n g la s s es  a n d   m icr o p h o n es.  Ho w ev er ,   th ese   m is cla s s i f icatio n s   ca n   b r ed u ce d   b y   h a v in g   m o r s a m p les  o f   m ale   an d   f e m ale  p o s s ess in g   t h p o s e   v ar iatio n s   an d   o b j ec ts   o r   o cc lu s io n s   i n   tr ai n in g   d ataset.   Evaluation Warning : The document was created with Spire.PDF for Python.