I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   23 ,   No .   2 A u g u s t   2 0 2 1 ,   p p .   9 7 3 ~ 9 7 9   I SS N:  2502 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 23 .i 2 . pp 973 - 9 7 9          973       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Aug mented  binar y  multi - la bele d C NN  for  practical   f a cia a tt ribut e clas sific a tion       M o ha m m ed  B er ra ha l,  M o s t a f a   Aziz i   M ATS Re se a rc h   Lab ,   E S TO,   M o h a m m e d   F irst  Un iv e rsit y ,   Ou jd a ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   2 1 ,   2 0 21   R ev is ed   May   23 ,   2 0 21   Acc ep ted   J un   1 ,   2 0 21       Bo th   h u m a n   fa c e   re c o g n i ti o n   a n d   g e n e ra ti o n   b y   m a c h in e a re   c u rre n tl y   a n   a c ti v e   a re a   o c o m p u ter  v isio n ,   d ra win g   c u rio si ty   o re se a rc h e rs,  c a p a b le  o p e rfo rm in g   a m a z in g   ima g e   a n a l y sis,  a n d   p ro d u c i n g   a p p l ica ti o n i n   m u lt i p le  d o m a in s.  In   t h is  p a p e r,   we   p ro p o se   a   n e a p p ro a c h   fo fa c e   a tt rib u tes   c las sifica ti o n   (F AC)  tak in g   a d v a n tag e   f ro m   b o t h   b i n a ry   c las sifica ti o n   a n d   d a ta  a u g m e n tatio n .   W it h   b in a r y   c las sifica ti o n   we   c a n   re a c h   h ig h   p re d ictio n   sc o re s,  wh il e   a u g m e n ted   d a ta  p r e v e n o v e rfit ti n g   a n d   o v e rc o m e   th e   lac k   o d a ta  fo r   sk e tch e d   p h o t o s.  O u a p p ro a c h ,   n a m e d   A u g m e n ted   b in a ry   m u lt il a b e l   CNN   (ABM - CNN ),   c o n sists   o t h re e   ste p s:  i sp li tt in g   d a ta ;   ii )   tran sfo rm e d - it  to   sk e tch   (sim p li f ica ti o n   p ro c e ss ) ;   iii trai n   se p a ra tely   e a c h   a tt ri b u t e   with   two   c o n v o lu ti o n a n e u ra n e two r k s;  t h e   wh o le  p ro c e ss   in c lu d e two   n e t wo rk s:  t h e   first  (re sp .   th e   se c o n d o n e   is  t o   p re d ict  a tt ri b u tes   o n   re a ima g e (re sp .   sk e tch e s)  a in p u ts .   T h ro u g h   e x p e rime n ta ti o n ,   we   fi g u re   o u th a so m e   a tt rib u tes   g iv e   h ig h   p re d icti o n   ra tes   with   sk e tch e ra th e t h a n   with   re a l   ima g e s.  On   th e   o t h e h a n d ,   we   b u il d   a   n e fa c e   d a tas e t,   m o re   c o n siste n a n d   c o m p lete ,   b y   g e n e ra ti n g   ima g e u sin g   S t y le - G AN   m o d e l,   to   wh ich   we   a p p l y   o u m e th o d   fo e x trac ti n g   fa c e   a tt rib u tes .   As   re su lt s,  o u r   p ro p o sa l   d e m o n stra tes   m o re   p e rfo rm a n c e c o m p a re d   to   th o se   o re late d   w o r k s.   K ey w o r d s :   C NN     Data   a u g m en tatio n   Dee p   l ea r n in g     Face   a ttrib u tes     Face   s k etch   i m ag   I m ag c lass if icatio n   M u lti - lab el  lear n in g     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h am m ed   B er r a h al   Su p er io r   Sch o o l o f   T ec h n o lo g y   Ou jd ( E STO) ,   MA T SI  R esear ch   L ab   Mo h am m ed   First Un iv er s ity ,   Ou jd a,   Mo r o cc o   E m ail:  m . b er r ah al@ u m p . ac . m a       1.   I NT RO D UCT I O N   I n   ju s th p ast  f ew  y ea r s ,   ar tific ial  in tellig en ce   h as  tak en   th wo r ld   b y   s u r p r is e,   d iv in g   r ap id   p r o g r ess   esp ec ially   in   t h f iel d   o f   d ee p   lear n in g ,   FAC   an d   p atter n   r ec o g n itio n   p r o b lem   h a v s ee n   tr em en d o u s   p r o g r ess .   T h is   co n tr ib u tes  an d   p lay s   an   im p o r tan r o le  in   s ec u r ity   [ 1 ] [ 2 ]   lik e   ac ce s s   co n tr o f o r   PC s   o r   s m ar tp h o n e,   v id e o   s u r v eillan ce ,   cr im i n al  au th e n ticatio n ,   f ac s k etch   [ 3 ]   a n d   f ac p h o to   f o r   th e   law   en f o r ce m e n ap p licatio n   [ 4 ] .   T h m ain   p r o p er ty   o f   FAC   [ 5 ]   is   to   p r e d ict  m u ltip le  f ac e   f ea tu r es,  s tate  an d   em o tio n   [ 6 ]   o n   th g iv e n   im ag o r   f ac p o r tr ait.   Var i o u s   alg o r ith m s   h av r ea ch ed   a n   ex ce llen r esu lt  o n   m u ltip le  lev els  f o r   FAC ,   eith er   ap p ly   d ir ec tly   C NN  [ 7 ]   m o d els  to   ex tr ac f ac f ea tu r es,  o r   u s in g   m eth o d s   f o r   im p r o v in g   th e   lear n i n g   b y   d is tr ib u tin g   t h attr ib u tes  in to   t wo   ca teg o r ies:   o b jecti v attr i b u tes  lik we ar in g   a   h at,   ey e g lass es,  b an g an d   s u b jectiv o n es   lik s m ilin g ,   b ig   lip s   [ 8 ] S o m e   m eth o d s   f o cu s   o n   g r o u p in g   s o m e   attr ib u tes  o n   th e   b asis   o f   th eir   in ter co r r elatio n s   [ 9 ] ,   wh ile  o th er s   tar g et   d etec t in g   f ac la n d m ar k     lo ca lizatio n   [ 1 0 ]   to   r e d u ce   th e   n o is e.   Desp ite  th eir   wid ap p licatio n ,   FAC   r em ain s   ch allen g f o r   r esear ch er s .   T h e r is   s till   d i f f icu lty   to   r ec o g n ize   d if f e r en f ac attr ib u tes  o n   g i v in g   im ag e   an d   it  m ay   r eq u ir m o r atten tio n s   to   c o v er   d if f e r en t   r eg io n s   o f   th e   f ac e,   an d   l ac k   o f   lar g e   d atasets   with   h eter o g en eo u s   f ac e   im ag es  an d   s k etc h es,  o r   an y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 973   -   9 7 9   974   ad d itio n al  in f o r m atio n   t h at  ca n   h elp   to   i n cr ea s o u r   ac cu r a cy .   I n   th is   p a p er ,   we  p r esen n ew  au g m e n ted   b in ar y   m u lti - lab el  C NN - b ased   m eth o d   ( AB M - C NN)   to   d e al  with   d if f er en asp ec ts   o f   FAC   f o r   r ea f ac ial   im ag es  an d   s k etch es.  I n itially ,   we  tr an s f o r m   o u r   m u lti - lab e p r o b lem   t o   b in a r y   p r o b le m .   T o   th is   en d ,   we   d ev elo p   an   alg o r ith m   to   tr an s f o r m   o u r   p r o b lem   t o   m i n i - p r o b lem s   o f   b in ar y   class if icatio n   b y   s p litt in g   th e   d ataset  o f   ev er y   attr ib u te  to   t wo   class es  ( 0   o r   1 )   if   th attr i b u te  ex is ts   in   th im ag e,   th en   af f ec ted   1 ,   a n d   0   if   n o .   Af ter   th at  we  p er f o r m   d at au g m en tatio n   t o   m u ltip ly   d ata  f o r   s o lid   lear n in g ,   we  co n v er ev er y   im a g in   th d ataset  in to   9   im a g es  b y   ch an g in g   its   p er s p ec tiv es.  Du to   th lack   o f   s k etch es,  we  d ec id to   tr a n s f o r m   o u r   d ata  t o   s k etch es.  W r u n   o u r   C NN  m o d el  f o r   b o t h   r ea im ag es  an d   s k etch es,  th en   we  co m b i n th e   p r ed ictio n   r esu lts   f o r   ea ch   attr ib u te.   Ou r   p r ed ictio n   m o d u le  i n   AB M - C NN  o u tp u ts   4 0   f ac ial  attr ib u tes  s u ch   as   h air   co lo r ,   g en d e r   id en tific ati o n ,   s m ilin g ,   attr ac tio n ,   an d   h a o r   g lass   wea r in g .   On   th e   o t h er   h a n d ,   we  cr ea te   o u r   o wn   d ataset  b ased   o n   g en er ated   im a g es  u s in g   th s t y le - GAN  m o d el   [ 1 1 ] ,   a n d   we  u s it  to   cr ea te   g en er ated   f ac es.  Fin ally ,   we  a p p ly   o u r   AB M - C NN  m o d el  t o   ex tr ac attr ib u tes  an d   s av e   it  in   C SV  f ile,   to   s er v o u r   n ex r esear ch   in   c o m p u ter   v is io n .   T h e   r est  o f   th i s   ar ticle   is   f o r m u lated   as  f o llo ws:   I n   th s ec o n d   s ec tio n ,   we  r ec all  b ac k g r o u n d s   ab o u c o n v o lu tio n al  n e u r al  n etwo r k   ( C NN) ,   d ata  a u g m en tatio n ,   b in ar y   class if icatio n   an d   m u lti - lab el  lear n in g .   I n   th th ir d   s ec tio n ,   we  d is cu s s   th r elat ed   wo r k s .   W p r esen o u r   im p lem en tatio n   in   t h f o u r th   s ec tio n .   B ef o r co n cl u d in g ,   th f if th   s ec tio n   s u m m a r izes  o u r   r esu lts ,   an d   co m p a r es th em   with   p r ev io u s   wo r k s .       2.   B ACK G RO UND   2 . 1 .     Co nv o lutio na l neura l net wo rk   ( CNN)     On o f   th e   b est  lear n in g   alg o r ith m s   th e   u n d er s tan d in g   im ag co n ten t,   th C NN  is   a   f e ed f o r war d   m u ltil ay er ed   h ier ar ch ical   n et wo r k ,   t h lay e r s   ar e   u s in g   m u ltip le  co n v o lu tio n al   k er n els  t o   tr an s f o r m   th e   g iv e n   co r r elate d   d ata,   f o r   e x tr ac tin g   u s ef u f ea tu r es  f r o m   th e m ,   i n   th o th e r   h an d   th o u tp u o f   th co n v o lu tio n al  k er n els  is   th en   ass ig n ed   to   ac tiv atio n   f u n ctio n   h o   is   th e   n o n lin ea r   p r o ce s s in g   u n it,  to   h elp   in   lear n in g   ab s tr ac tio n s   an d   em b ed s   n o n - lin ea r ity   in   th e   f ea tu r e   s p ac e.   T h is   way   it  g en e r ates  d if f er e n p a tter n s   h elp s   in   lear n in g   o f   s em an tic  d if f er e n c es  in   im ag es  [ 7 ] .   Un til  n o th is   alg o r ith m   h as  s h o wn   an   am az in g   p er f o r m an ce   in   im ag es c lass if icatio n ,   d etec tio n ,   s eg m en tatio n ,   an d   ex tr ac t in g   f ea tu r es.     2 . 2 .     Da t a   a ug m ent a t io n   Data   Au g m en tatio n   ar m eth o d s   th at  u s ed   to   ex p an d   t h s ize  o f   d ataset  b y   cr ea te  o n o r   m u ltip le   n ew  d ata  s lig h tly   m o d if ied   o f   ea ch   ex is tin g   d ata,   th p u r p o s o f   th ese  tech n iq u es  is   to   ass is m ac h in lear n in g   alg o r ith m s   to   r e d u cin g   th o v e r   f itti n g .   I n   o u r   ca s we  u s 9   co p ies f o r   ea c h   f ac im a g es   [ 1 2 ] .     2 . 3 .     B ina ry   cla s s if ica t io n   I n   d ee p   lear n in g ,   b in ar y   class if icatio n   is   th c r ea te  m o d el   with   two   o u t p u ts   ab le  t o   p r ed i ct  tr u o r   f alse  f r o m   in p u d ata  th at  ar e   d iv id ed   in to   two   g r o u p s ,   in   g en er ally   it  ca n   s o lv ea c h   p r o b lem   with   av er a g e   d o u b le  class if ica tio n   is s u es ,   s in ce   th o u tp u is   s im p le,   th ac cu r ac y   o f   th ese  alg o r ith m s   ar h ig h er   th an   th e   o th er   class if ier s   an d   it’s e asy   f o r   th m o d el  to   p r ed ict  r esu lts   [ 1 3 ] .     2 . 4 .     M ulti - la bel  l ea rning   On o f   th e   m ajo r   p r o b lem s   o f   class if icatio n   th at  Dee p   lear n in g   tr y   t o   m o d el  is   to   ass ig n   m o r th a n   two   class es  to   m u ltip le  o u tp u t ,   th is   tech n ic  is   ca lled   th m u lt i - lab el  class if icatio n .   Mu lti - lab el  class if icatio n   is   h o to   f in d   m o d el  th at   ca n   m ap   in p u ts   to   b i n ar y   v ec to r s ,   th is   tech n ic  is   a   g en er aliz atio n   o f   b in a r y   a n d   m u lticlas s   clas s if icatio n   we  as s ig n   v alu 0   o r   1   f o r   ea ch   ele m en t in   o u tp u t   [ 1 4 ] .       3.   R E L AT E WO RK   Ma o   et  a l .,   p r o p o s n ew  al g o r ith m   to   d ea with   th f ac at tr ib u te  ex tr ac tio n   f r o m   f ac ial  i m ag e s ,   th alg o r ith m   ca lled   d ee p   m u lti - task   m u lti - lab el  C NN  ( DM M - C NN) ,   b y   d iv id i n g   th f ac ia attr ib u tes  in   two   ca teg o r ies  o b jectiv an d   s u b jectiv th ey   m an ag t o   r u n   two   d if f er en n etwo r k   ar c h itectu r e s   tak in g   ad v an tag e   o f   m u ltit ask   lear n in g ,   an d   ad o p tin g   d y n a m ic  weig h tin g   s ch em to   r eso lv th p r o b lem   o f   d iv er s lear n in g   co m p lex ities   [ 8 ] .   I n   th s am f ield   E h r lich   a n d   Sh ield s   p r o p o s th er m u ltit ask   lear n i n g   f ac ial  attr ib u tes  ap p r o ac h   [ 1 5 ] ,   wh ile  Ma n d el,   Pas ca n u   p r o p o s e   m eth o d   b ased   o n   s h ar ed   f ea tu r es  b etwe e n   th ese  attr ib u tes,   b y   u s in g   m u lti - task   r estricte d   b o ltzm an n   m ac h in ( MT - R B M)   [ 1 6 ] ,   th ey   wer a b le  to   lear n in g   jo i n f ea tu r e   r ep r esen tatio n   f r o m   f ac ial  la n d m ar k   p o in ts   f o r   all  attr ib u t es,  f o llo win g   b y   ap p r o ac h   s u b s is o f   b o tto m - u p /to p - d o wn   p ass   f o r   lea r n in g   th s h a r ed   r e p r esen tatio n   o f   m u ltit ask   m o d els,  an d   b o tto m - u p   p ass   f o r   p r ed ictio n   o f   task s .   T h is   a p p r o ac h   h as r ea ch ed   s o m e   g o o d   r e s u lt  b y   a v er ag e   o f   8 7 ac cu r a cy   f o r   all   attr ib u tes  o n   C eleb d ataset   [ 9] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       A u g men ted   b in a r mu lti - la b el ed   C N N   fo r   p r a ctica l fa cia l a ttr ib u te  cla s s ifica tio n   ( Mo h a mme d   B err a h a l )   975   Z h u an g   et   a l p r esen t   n o v e f o r   m u lti - lab el   lear n i n g   f ac i al  attr ib u tes  u s in g   d ee p   tr a n s f er   n e u r al   n etwo r k   m eth o d   n am ed   f ac m u lti - lab el  tr an s f er   n etwo r k   ( FMT Net) ,   as  it  n am es   th is   m eth o d   r esid in   3   m ajo r   n etwo r k s ,   f ac d etec tio n ,   m u lti - lab el  lear n in g   an d   tr an s f er   lear n i n g   n etwo r k ,   t h s ec o n d   n etwo r k   co n s is o f   p r ed ictin g   m u ltip le   f ac ial  attr ib u tes  s im u ltan eo u s ly ,   to   in cr ea s p er f o r m a n ce ,   a n d   r ed u ce s   f ea tu r e   r ed u n d an cy   with   th p r o p o s e d   lo s s   weig h s ch em e,   th th i r d   n etwo r k   is   th u n s u p er v is ed   lear n in g ,   f o r   th e   ad ap tatio n   o f   u n lab eled   f ac ial   attr ib u te  class if icatio n ,   th eir   m eth o d   r ea ch es  an   av er a g 8 4 . 3 4 ac c u r ac y   o n   L FW d ataset   [ 9 ] .     H.   Din g   et  a l.   p r esen t   n o v el  to   im p r o v attr i b u te  class if icatio n ,   tr u e   ca s ca d n etwo r k   lear n s   th e   lo ca tin g   o f   th f ac r eg i o n   an d   p er f o r m s   attr i b u te  class if icatio n   with o u t a lig n m en t ,   i )   T h n etwo r k   is   d esig n ed   to   au to m atica lly   d etec s p ec if ic  r eg io n s   o f   attr ib u tes ;   ii )   co n s tr u ctio n   an d   co m b i n atio n   o f   h o le  im ag e - b ased   n etwo r k   an d   a   m u lt ip le  p ar t - b ased   n etwo r k   b y   th r e g io n   s witch   lay er   f o r   f i n a attr ib u te     class if icatio n   [ 1 7 ] .   Kh an   et   a l .   p r o p o s a   f r am ewo r k   f o cu s i n g   o n   th r ee   h u m an   asp ec t s   th g en d e r ,   r ac an d   ag e,   th f r am ew o r k   u s two   C NN,   th f ir s as  s eg m en tatio n   m o d el  u s to   p ar s es  f ac in to   s ev en   d an ce   class es  th an   cr ea te  p r o b ab i lity   m ap s   f o r   ea ch   f ac class ,   th s ec o n d   m o d el  is   to   ex t r ac f ea tu r es  f r o m   p r o b a b ilit y   m ap s   o f   t h co r r esp o n d in g   class   f o r   ea c h   th r ee   a s p ec t m en tio n ed   b ef o r e   [ 1 8 ] .       4.   I M P L E M E NT A T I O O F   T H E   M E T H O D   Ou r   ap p r o ac h   u s es  b o th   h ig h   p r ed ictio n   r ate  f o r   b in ar y   class if icatio n   m o d els  an d   s im p lifie d   im ag es  in to   s k etch ,   f o r   ex tr ac t in g   s o m f ea tu r es  with   m o r v is ib le  attr ib u tes.  C o n s id er in g   o u r   g o al,   we  d ev elo p   an   alg o r ith m   th at  co n s is ts   f ir s t o   d etec th f ac o n   tr ain in g   d ata,   th en   it  tr an s f o r m s   o u r   in p u d ata  to   s k etch .   Nex t,  it  s p lit s ,   f o r   ea ch   attr ib u te,   th p r ep r o ce s s ed   d ata  i n to   1   ( f o ld er   1 )   if   th attr ib u te  ex i s ts   o r   0   ( f o ld er   0 )   if   n o t.  Af ter   th at,   we  au g m en ted   o u r   d ata   f o r   m o r ac cu r ate   tr a in in g ,   we   f ee d   two   n etwo r k s ,   o n f o r   r ea im a g es  an d   an o th er   f o r   s k etch   im a g es  as  s h o wn   in   F ig u r 1 .   As  tr ai n in g   d ata,   we  u s C E L E B [ 1 9 ]   attr ib u te   d atasets   with   m o r th a n   2 0 0 0 0 0   im a g es,  ea ch   with   4 0   attr ib u tes.  A last ,   we  g en er ate  im a g es  f r o m   th m o d el  Sty le - GAN  an d   we  ap p ly   u p o n   it o u r   m eth o d   to   cr ea te  n ew  d ataset  ab le  to   im p r o v o u r   tr ain in g   an d   o p en   th d o o r   f o r   o u r   n e x t r esear ch .       F a c e   D e te c to r T r a n s f o r m   to   s k e tc h ( 1 ) ( 2 ) 9 2 %   M a le G e n d e r   : 7 5 %   Y o u n g 7 3 %   N o _ B e a r d 4 1 %   Sm ilin g (a D a t a   P r e p r o c e s s in g (b A BM - C N N (c P r e d ic t io n   P h a s e   Fig u r 1 .   AB M - C NN  t r ain in g   m o d el       4 . 1 .    CNN  a rc hite ct ure   W in itialize   th p ar am eter s   f o r   o u r   C NN  with   b atch   s ize   with   3 2   h eig h an d   wid th   with   1 8 0 ,   s o   th in p u lay er   h as  1 8 0 * 1 8 0 * 3   n eu r o n s ,   with   1 0   in ter m ed iat h id d en   lay er s ,   3   C o n v o lu tio n 2 lay er s   ( 1 6 ,   3 2 ,   6 4 ) ,   3   Ma x _ Po o lin g 2 lay er s   ( 1 6 ,   3 2 ,   6 4 ) ,   1   Dr o p o u lay er   ( 6 4 ) ,   1   Flatten   lay er   ( 3 0 9 7 6 ) ,   2   Den s lay er s   ( 1 2 8 ,   2 ) ,   an d   2   o u tp u n eu r o n s   f o r   th b i n ar y   class ificatio n   as  s h o wn   in   F ig u r 2 .   Ou r   m o d el  was  tr ain ed   b et wee n   1 5   an d   2 0   ep o ch s ,   all  th d ata  av ailab le  is   p ass ed   th r o u g h   th n eu r al  n etwo r k   1 5   with   s o m attr ib u te  an d   2 0   tim es  with   o th er s .   W u s R elu   as  ac t iv atio n   f u n ctio n ,   wh ile  th o p tim izer   f u n ctio n   was  Ad am ,   an d   we  u s ed   Acc u r ac y   as m etr ics.  W tr ain   o v er   4   m illi o n   p a r am eter s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 973   -   9 7 9   976   C o n v 2 D   ( 1 6 ) M a x P o o l i n g 2 D C o n v 2 D   ( 3 2 ) C o n v 2 D   ( 6 4 ) M a x P o o l i n g 2 D M a x P o o l i n g 2 D D r o p o u t F l a t t e n D e n s e ( 1 2 8 ) D e n s e ( 2 )     Fig u r e   2 .   C NN  m o d el  lay e r s       4 . 2 .     Ste p o f   o ur  wo r k     F i r s t   p h a s e :   P r e p a r e   o u r   d a t a ;   S p l i t   o u r   d a t a s e t   i n t o   4 0   f o l d e r s .   E v e r y   f o l d e r   c o n t a i n s   s u b f o l d e r   a t t r i b u t e s   a n d   o p p o s i t e   a tt r i b u t es ,   a n d   e v e n   e v e r y   s u b f o l d e r   c o n t a i n s   t h r ee   s u b f o l d e r s :   t r a i n s ,   v a li d a t i o n   a n d   t e s ts .   W d i s t r i b u t e   o u r   d a ta   i n   t h e   f o l l o w i n g   f o r m :   7 0 %   f o r   t h e   t r a i n   f o l d e r ,   a n d   1 5 %   f o r   e a c h   v a l i d a ti o n   a n d   t e s t .     Seco n d   p h ase:  T r an s f o r m   d at a;  f o r   r u n n in g   alg o r ith m s   o n   b o th   r ea h u m a n   f ac p h o to s   an d   s k etch   o n es,  u n f o r t u n ately   th d ataset  av ailab le  o f   s k etch   p h o to s   is   lim ited .   Fo r   th at  r ea s o n ,   we  ar g o i n g   to   tr an s f o r m   C E L E B to   s k etch .     T h ir d   p h ase Data s et  p r e p r o ce s s in g First  o f   all,   a p p ly   th a u g m en ted   f u n ctio n   o n   d atasets r ea d   all  im a g es  in   o u r   t r ain   f o l d er   an d   tr an s f o r m - it  to   m atr ices  an d   v ec to r s   t o   tr ain   o u r   m o d el  to   r ea ch   th g o al  o f   t h b est  p er f o r m an ce .     Fo u r th   Ph ase:  B u ild   our   m o d e l s o n ce   we  f in is h   tr ain in g   o u r   m o d els,  we  s av th em .   E v er y   m o d el  is   f it  o n   tr ain in g   da taset,  th a n   th test   d ataset  is   u s ed   to   v alid ate  th ac cu r ac y   o f   o u r   f in al  m o d el.     Fifth   Ph ase:  T h E v alu ati on   o f   o u r   f i n al   m o d el  q u ality   b y   p r e d icti n g   o u ts id d ata  a n d   c o m p ar th r esu lts .     Six th   Ph ase:  W co m b in th p r ed ict  r esu lt  o n   b o th   r ea im ag an d   s k etch   im ag b y   ca lcu latin g   b est   ac cu r ac y   f o r   ea ch   attr ib u te.     Sev en th   Ph ase:  C r ea te  n ew  d ataset  th at  co n tain s   g en er ated   f ac ial  im ag es  b y   Sty le - GAN.   W also   g en er ate   C SV f ile  f o r   attr ib u te  class if icatio n   r esu lts .   T h is   will b d o n in   f u t u r wo r k .     4 . 2 .     H a rdwa re   cha ra ct er is t i cs   T o   test   o u r   DL - m o d el ,   we   u s th e   r em o tely   ac ce s s ib le  h ig h - p er f o r m an ce   c o m p u tin g   ( HPC )   in f r astru ctu r C lu s ter   HPC - MA R W AN  [ 2 0 ] :     C o m p u te  No d es: 2   *   I n tel  Xeo n   Go ld   6 1 4 8 ( 2 . 4 GHz /2 0 - co r e )   / 1 9 2   GB   R AM     GPU  No d : 2   *   NVI DI T esla P1 0 0   / 1 9 2   GB   R AM     Sto r ag No d e:  2   *   I n tel  Xeo n   Sil v er   4 1 1 4 ( 2 . 2 GHz /2 0 - co r e ) / 1 8   *   SATA   6   T B       5.   RE SU L T   AND  DI SCUS SI O N   W s tar o u r   ex p er ien ce   with   tr ain in g   an d   co m p a r in g   r esid u al  n etwo r k s   u s in g   o n   C eleb d ataset Af ter   th im p lem en tatio n   o f   A B M - C NN  alg o r ith m ,   we  ev alu ate  ea ch   n eu r al  n etwo r k   o n   ev er y   f ac ial  attr ib u te ,   b y   th eir   ef f icien cy   u s in g   ac c u r ac y ,   lo s s ,   v alid atio n   ac cu r a cy ,   v alid atio n   t r ain in g ,   ep o c h s   an d   tr ain in g   tim e.   W co n d u cted   th e x p er im e n with   7 0 o f   o u r   d ataset  f o r   tr ain in g ,   1 5 f o r   test in g   an d   th s am e   r ate  f o r   v alid atio n ,   b atch   s ize  o f   3 2 ,   an d   n u m b er   o f   e p o ch s   b etw ee n   1 5   an d   2 0 .   Fo r   all  attr ib u t es,  we  h av alm o s t     4   m illi o n   tr ain ab le  p ar am ete r s .   As  s h o wn   in   T ab le  1 ,   th r esu lts   o f   o u r   ap p r o ac h   ar p r o m is in g .   W n o tice  b etter   p er f o r m an ce ,   a n   av er a g o f   all  attr ib u tes  r ea ch in g   9 0 . 0 5 ac cu r ac y   with   r ea i m ag es  an d   8 8 . 9 3 %   ac cu r ac y   with   s k etch ,   wh ic h   g iv es   u s   v er y   g o o d   p r e d ictio n   r esu lt.  W s ee   s o m e   attr ib u tes  ex ce ed   th 9 6 ac cu r ac y   m a r k s   s u ch   as  ( g en d er ,   b ald n ess ,   ey eg lass ,   p ale  s k in ,   h air   c o lo r ) ,   wh ile  th o th er s   d o   n o g o   d o w n   to   7 4 . 6 1 ac cu r ac y th is   p er ce n t ag r etu r n s   to   th o v al  f ac att r ib u te   in   s k etch ,   wh ile  th av e r ag d u r atio n   o f   an   ep o ch   is   1 0   m in ,   o r   alm o s 4 h   f o r   2 0   ep o ch s   with   1 4 0 m s   s t ep .   T h e   r esu lt  o f   tr ain in g   r ea i m ag is   b etter   th a n   s k etch   f o r   m o s attr ib u tes.  Ho wev er ,   in   F ig u r 3   we  n o tice  i n   s o m attr ib u tes  tr ain i n g   n eu r al  with   s k etc h   th at   we  ca n   p r ed ict  b etter   r esu lts   f o r   th f o llo win g   attr ib u te  ( b al d ,   b ig   lip s ,   d o u b le  ch i n ,   ey eg l ass es,  n o   b ea r d ) .   W co n clu d e   th at  we   ca n   s k etch   m o d els  to   p r e d ict  th ese  attr ib u tes  in s tead   o f   r ea l   im ag es  m o d els.  Ou r   ac cu r ac y   ju m p s   f r o m   9 0 . 4 % to   9 0 . 5 4 %,   s u ch   r ate  g i v es m o r p r ec is ely   p r ed ictio n   th an   th e   n o r m al  m o d els.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       A u g men ted   b in a r mu lti - la b el ed   C N N   fo r   p r a ctica l fa cia l a ttr ib u te  cla s s ifica tio n   ( Mo h a mme d   B err a h a l )   977   T ab le  1 .   R esu lts   o f   tr ain in g   AB M - C NN  alg o r ith m   o n   ev er y   f ac ial  attr ib u te,   b o t h   with   c ele b d ataset   D a t a s e t   C e l e b A   R e a l   I mag e s   C e l e b a A   S k e t c h   I mag e s   A t t r i b u t e s   A c c u r a c y   %   Lo ss  %   V a l i d a t i o n   A c c u r a c y   %   V a l i d a t i o n   Lo ss  %   Ep o c h s   A c c u r a c y   %   Lo ss  %   V a l i d a t i o n   A c c u r a c y   %   V a l i d a t i o n   Lo ss  %   Ep o c h s   1 _ N o _ B e a r d _   9 4 . 7   1 3 . 1   95   1 2 . 1   20   9 5 . 4   1 1 . 9   9 5 . 8   1 0 . 9   20   2 _ W a v y   H a i r _   8 6 . 4   37   8 3 . 6   3 6 . 8   20   8 1 . 1   4 0 . 8   82   3 9 . 7   20   3 _ 5 o c l o c k S h a d o w _   94   17   9 4 . 1   1 7 . 1   15   9 1 . 8   1 8 . 7   9 2 . 1   1 8 . 2   20   4 _ A t t r a c t i v e _   81   41   80   42   15   8 0 . 3   4 1 . 1   8 0 . 5   4 1 . 2   20   5 _ B r o w n _ H a i r _   8 6 . 5   30   87   3 0 . 5   15   8 1 . 3   3 9 . 8   81   4 0 . 8   20   6 _ B a g s _ U d e r _ E y e _   8 3 . 5   35   83   38   15   8 3 . 2   3 6 . 2   8 3 . 1   3 6 . 4 5   20   7 _ S i d e b u r n s_   9 8 . 6   7 . 8   9 6 . 5   7 . 8   20   9 6 . 6   8 . 3   9 6 . 7   7 . 8   20   8 _ B i g _ Li p s _   7 7 . 4   4 8 . 2   7 7 . 7   4 7 . 5   15   8 1 . 9   3 8 . 9   8 1 . 7   0 . 3 9   20   9 _ B i g _ N o s e _   83   3 8 . 5   8 3 . 1   38   15   7 7 . 2   4 8 . 9   7 7 . 2   4 9 . 2   20   1 0 _ A r c h e d _ Ey e b r o w _   83   36   8 3 . 8   3 5 . 2   15   8 2 . 9   3 5 . 9   8 3 . 4   35   20   1 1 _ B l o n d _ H a i r _   96   1 2 . 8   9 6 . 1   1 2 . 5   15   9 3 . 6   1 5 . 5   9 3 . 8   1 5 . 5   20   1 2 _ B l u r r y _   9 5 . 8   11   9 6 . 5   1 0 . 2   15   9 5 . 7   1 1 . 7   9 5 . 3   1 8 . 2   20   1 3 _ B u s h y _ Ey e b r o w _   92   2 1 . 8   9 0 . 8   2 2 . 1   15   9 0 . 5   23   9 0 . 9   22   20   1 4 _ C h u b b y _   95   1 3 . 5   9 5 . 1   1 2 . 8   15   94   1 3 . 9   95   1 3 . 3   20   1 5 _ E y e g l a sses _   9 9 . 5   2 . 2   9 9 . 5   2   15   9 9 . 6   2 . 7   9 9 . 5   2 . 7   20   1 6 _ M o u t h _ O p e n _   93   1 9 . 5   9 3 . 5   1 8 . 5   15   9 0 . 2   2 3 . 7   9 0 . 4   2 3 . 9   20   1 7 _ M u s t a c h e _   9 7 . 2   9   9 8 . 1   8 . 7   15   9 6 . 1   9 . 7   9 6 . 1   9 . 3   20   1 8 _ N a r r o w   E y e s _   8 9 . 8   26   90   2 5 . 4   15   8 9 . 8   2 6 . 3   8 9 . 8   2 6 . 4   20   1 9 _ O v a l _ F a c e _   7 6 . 8   5 2 . 5   7 5 . 6   5 1 . 6   20   7 4 . 6   5 2 . 7   75   5 1 . 9   20   2 0 _ P a l e _ S k i n _   9 8 . 3   8 . 7   9 6 . 7   8 . 8   20   9 5 . 8   1 5 . 5   9 5 . 7   1 6 . 4   20   2 1 _ D o u b l e _ C h i n _   9 5 . 9   11   96   1 0 . 5   15   96   11   9 6 . 1   1 0 . 5   20   2 2 _ P o i n t y _ N o se _   77   4 8 . 9   7 5 . 8   0 . 4 9   20   7 5 . 5   4 9 . 7   7 5 . 7   4 9 . 7   20   2 3 _ R e c e d e   H a i r _   9 3 . 9   1 5 . 7   9 3 . 5   1 5 . 3   20   9 2 . 8   1 6 . 9   93   1 6 . 2   20   2 4 _ R o s y   C h e e k s _   9 4 . 9   1 2 . 1   95   1 2 . 2   20   9 4 . 2   1 4 . 2   9 3 . 8   1 4 . 7 9   20   2 5 _ S m i l i n g _   9 3 . 8   1 9 . 7   9 1 . 9   1 9 . 5   20   9 0 . 8   2 1 . 6   9 1 . 4   2 0 . 5   20   2 6 _ B a l d _   99   3 . 5   9 8 . 6   3 . 2   15   9 9 . 4   4   9 9 . 3   4 . 1   20   2 7 _ S t r a i g h t   H a i r _   85   3 9 . 3   8 1 . 8   3 9 . 5   20   8 0 . 9   41   8 1 . 2   4 0 . 7   20   A v e r a g e   9 0 . 4   2 3 . 3 6   8 9 . 9 4   2 1 . 4 2     8 8 . 9 3   2 4 . 9 5   8 9 . 0 9   2 3 . 5 5             Fig u r 3 .   C o m p a r is o n   o f   L o s s   an d   Acc u r ac y   f o r   ev er y   attr ib u te       5 . 1 .     Co m pa riso n ABM - CN wit h F AC  ex is t ing   m et ho ds   I n   th is   s ec tio n ,   we  co m p ar th p er f o r m an ce   o f   o u r   p r o p o s ed   m eth o d   AB M - C NN  with   v ar io u s   FAC   m eth o d s ,   lik Pan d [ 2 1 ] ,   th is   m eth o d   u s p ar b ased   m o d el s   to   ex tr ac f ea tu r es  an d   SVM  [ 2 2 ]   as  class if ier s ,   lik L Nets+A Net   wh ich   u s it  to   f o r   ea ch   attr ib u te,   b esid es  two   lo ca lizatio n   n etwo r k s   an d   o n e   attr ib u te  n etwo r k .   MO ON  [ 2 3 ]   a n   a p p r o ac h   wh ic h   u s es  co m b in atio n   o f   o p tim izatio n   m eth o d s   r eso lv in g   th is s u es  o f   im b alan ce   p r o b lem   f o r   m u lti - lab el,   as  NSA  [ 2 4 ]   an   ap p r o ac h   u s es  th s eg m en t - b ased   m eth o d s   f o r   FAC ,   MCNN - AUX   [ 2 5 ]   in   an o th er   h an d   b ased   o n   attr ib u te  lo ca ti o n   wh ich   d iv i d es  th em   in to   n i n g r o u p s ,   last   o n th MCF A   [ 2 6 ]   m eth o d   wh ic h   ex p lo its   th in h er en t   d ep e n d en cies  b etwe en   FAC   an d   a u x iliar y   task s   ( f ac e   d etec tio n   an d   FLD) .   As  s h o w n   in   T ab le  2   AB M - C NN  s u r m o u n th FAC   m eth o d s   we  ju s m en tio n ed   with   a av er ag ac c u r ac y   o f   9 0 . 5 4   %   o f   all  attr ib u tes  o n   C eleb s p ec ially   in   ce r tain   attr ib u tes  ( B ald ,   B ig _ L ip s ,   B lo n d _ Hair ,   Mu s tach e,   Nar r o w_ E y es,  Pale_ Sk in ,   Sid eb u r n s ,   Sm ilin g ,   W av y _ Hair )   wh ic h   o v er p ass   all  th e   FAC   m eth o d s ,   h o wev er ,   in   s o m attr ib u te  AB M - C N N   f ails   to   o b tain   h ig h   r ate  as  h is   co m p etito r   ( B ag s _ Un d er _ E y e ,   B ig _ No s e,   No _ B ea r d ,   R o s y _ C h ee k s ) .   On   th wh o le,   th p er f o r m an ce   co m p ar is o n   b etwe en   all  th co m p etin g   m eth o d s   s h o ws  th ef f ec tiv en ess   o f   th p r o p o s ed   m eth o d .   T h b in ar y   class if icatio n   m eth o d   h as  p r o v en   h er   h i g h   s co r p r e d ictio n   o v er   m u lti - class   o r   m u lti - lab le  u s ed   b y   r elate d   wo r k ,   in   FAC   m eth o d s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 973   -   9 7 9   978   T ab le  2 .   C o m p a r is o n   with   s tate - of - th e - ar t FAC   m eth o d s   D a t a set   C E L E B A   M o d e l s   P a n d a   LN e t s+A N e t   M O O N   N S A   M C N N - AUX   M C F A   A B M - C N N   A t t r i b u t e s   1 _ Ey e g l a ss e s   9 8 . 0 0   9 9 . 0 0   9 9 . 4 7   9 9 . 5 1   9 9 . 6 3   1 0 0 . 0   9 9 . 6 0   2 _ A r c h e d - Ey e b r o w s   7 8 . 0 0   7 9 . 0 0   8 2 . 2 6   8 2 . 5 6   8 3 . 4 2   8 3 . 0 0   8 3 . 0 0   3 _ M u st a c h e   9 3 . 0   9 5 . 0 0   9 6 . 8 2   9 5 . 8 6   9 6 . 8 8   9 7 . 0 0   9 7 . 2 0   4 _ 5 o c l o c k S h a d o w   8 8 . 0 0   9 1 . 0 0   9 4 . 0 3   9 3 . 1 3   9 4 . 5 1   9 4 . 0 0   9 4 . 0 0   5 _ B a g s _ U n d e r _ E y e   7 9 . 0 0   7 9 . 0 0   8 4 . 9 2   8 4 . 8 6   8 4 . 9 2   8 5 . 0 0   8 3 . 5 0   6 _ P o i n t y _ N o s e   7 1 . 0 0   7 2 . 0 0   7 6 . 4 6   7 6 . 4 7   7 7 . 4 7   7 7 . 0 0   7 7 . 0 0   7 _ B a l d   9 6 . 0 0   9 8 . 0 0   9 8 . 7 7   9 8 . 0 3   9 8 . 9 0   9 9 . 0 0   9 9 . 4 0   8 _ B i g _ Li p s   6 7 . 0 0   6 8 . 0 0   7 1 . 4 8   6 9 . 2 8   7 1 . 4 7   7 2 . 0 0   8 1 . 9 0   9 _ B i g _ N o s e   7 5 . 0 0   7 8 . 0 0   8 4 . 0 0   8 3 . 8 1   8 4 . 5 3   8 4 . 0 0   8 3 . 0 0   1 0 _ B l o n d _ H a i r   9 3 . 0 0   9 5 . 0 0   9 5 . 8 6   9 5 . 7 6   9 6 . 0 1   9 6 . 0 0   9 6 . 0 0   1 1 _ N a r r o w _ E y e s   8 4 . 0 0   8 1 . 0 0   8 6 . 5 2   8 6 . 8 8   8 7 . 2 3   8 7 . 0 0   8 9 . 7 5   1 2 _ B u s h y _ Ey e b r o w   8 6 . 0 0   9 0 . 0 0   9 2 . 6 2   9 2 . 6 6   9 2 . 8 4   9 2 . 0 0   9 2 . 0 0   1 3 _ A t t r a c t i v e   8 1 . 0 0   8 1 . 0 0   8 1 . 6 7   8 2 . 7 6   8 3 . 0 6   8 3 . 0 0   8 1 . 0 0   1 4 _ C h u b b y   8 6 . 0 0   9 1 . 0 0   9 5 . 4 4   9 4 . 9 4   9 5 . 6 7   9 6 . 0 0   9 5 . 0 0   1 5 _ D o u b l e _ C h i n   8 8 . 0 0   9 2 . 0 0   9 6 . 3 2   9 5 . 8 0   9 6 . 3 2   9 6 . 0 0   9 6 . 0 0   1 6 _ M o u t h - O p e n   9 3 . 0 0   9 2 . 0 0   9 3 . 5 4   9 3 . 7 8   9 3 . 7 4   9 3 . 0 0   9 3 . 0 0   1 7 _ S i d e b u r n s   9 3 . 0 0   9 6 . 0 0   9 7 . 5 9   9 7 . 1 7   9 7 . 8 5   9 8 . 0 0   9 8 . 5 0   1 8 _ B l u r r y   8 6 . 0 0   8 4 . 0 0   9 5 . 6 7   9 5 . 9 6   9 6 . 1 7   9 6 . 0 0   9 5 . 8 0   1 9 _ O v a l _ F a c e   6 5 . 0 0   6 6 . 0 0   7 5 . 7 3   7 4 . 9 3   7 5 . 8 4   7 5 . 0 0   7 5 . 6 1   2 0 _ P a l e _ S k i n   9 1 . 0 0   9 1 . 0 0   9 7 . 0 0   9 7 . 0 0   9 7 . 0 5   9 7 . 0 0   9 8 . 3 0   2 2 _ N o _ B e a r d   9 3 . 0 0   9 5 . 0 0   9 5 . 5 8   9 6 . 1 7   9 6 . 0 5   9 6 . 0 0   9 5 . 4 0   2 3 _ B r o w n _ H a i r   7 7 . 0 0   8 0 . 0 0   8 9 . 3 8   8 8 . 2 5   8 9 . 1 5   8 8 . 0 0   8 6 . 5 0   2 4 _ R e c e d e _ H a i r   8 5 . 0 0   8 9 . 0 0   9 3 . 5 6   9 2 . 2 5   9 3 . 8 1   9 4 . 0 0   9 3 . 9 0   2 5 _ R o s y _ C h e e k s   8 7 . 0 0   9 0 . 0 0   9 4 . 8 2   9 4 . 7 9   9 5 . 1 6   9 5 . 0 0   9 4 . 4 0   2 6 _ S t r a i g h t _ H a i r   6 9 . 0 0   7 3 . 0 0   8 2 . 2 6   8 0 . 4 1   8 3 . 5 8   8 5 . 0 0   8 5 . 0 0   2 7 _ S m i l i n g   9 2 . 0 0   9 2 . 0 0   9 2 . 6 0   9 2 . 7 0   9 2 . 7 3   9 3 . 0 0   9 3 . 8 0   2 8 _ W a v y _ H a i r   7 7 . 0 0   8 0 . 0 0   8 2 . 4 7   8 1 . 7 0   8 3 . 9 1   8 5 . 0 0   8 6 . 0 0   A v e r a g e   84 . 0 0   8 5 . 6 4   8 9 . 5 9   8 9 . 2 9   9 0 . 0 3   8 9 . 9 6   9 0 . 5 4       5 . 2 .     G ener a t news  im a g es a nd   predict   a t t ribute   f o new  da t a s et   I n   t h i s   p a r t ,   w e   t r y   t o   c r e a t e   a   n e w   d a t a s e t   b y   g e n e r a t i n g   i m ag e s   f r o m   S t y l e - G A N   a n d   a p p l y   o n   t h e m   A B M - C NN   f o r   t h e   e x t r a c ti o n   o f   p e r t i n e n t   at t r i b u t es   o v e r   5 0 %   p r e d i c t e d   r a t e   a n d   s a v e d - i t   i n   C SV   f i le   l i k is   s h o w n   i n   F i g u r e   4 .   W e   ci t e   f ew   r e a s o n s   w it h   a d a p t e d   AB M - C N N   t o   e x t r a c t   f e a t u r es   f o r m   G A N   m o d e ls   [ 2 7 ]   i c r e a t e   d a t a s e t   o f   h i g h   q u a l i t y   c o m p a r e d   t o   e x i s t i n g   d a t a s e t s   a n d   u n l i m i t e d   d a t a ;   ii )   c r e a t e   d a t a s e t s   w i t h   d i f f e r e n t   f a c e   p o s e s   a n d   f a c e   t r a n s f o r m a t i o n ;   i i i )   t h e   l a c k   o f   l a r g e   d a t a b a s e s   f o r   p o r t r a i t s ;   iv )   t h e   p r o b l e m   o f   p o l i c y   i n   c e r t a i n   p r i v a t e   d a t a s e t ;   v )   R e s e a r c h   i s   m o v i n g   t o w a r d s   t h e   p a t h   o f   d a t a   g e n e r a t i o n   a n d   u n s u p e r v i s e d   l e a r n i n g .           Fig u r 4 .   Pre d ict  f ac ial  attr ib u tes f r o m   g en e r ated   im ag es u s i n g   AB M - C NN       6.   CO NCLU SI O N   I n   th is   p a p er ,   we   p r o p o s n o v el  f r am ewo r k   ca lled   A u g m en ted   B in ar y   m u lti - lab el  C NN  m eth o d   ( AB M - C NN)   to   im p r o v es  th p er f o r m an ce   o f   FAC .   T h m ain   wo r k   o f   o u r   m eth o d   is   h an d lin g   ea ch   attr ib u t e   as  b in ar y   p r o b lem   “e x is ts   o r   n o e x is tin g ”,   th en   t r an s f o r m in g   th d ata  g iv e n   in   s k et ch   an d   r u n n in g   two   n eu r al  n etwo r k s .   T h f i r s o n e   is   f o r   p r ed ictin g   r ea l   im ag es  a n d   th e   s ec o n d   f o r   s k etch   im ag es.  E x p er im e n ts   o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       A u g men ted   b in a r mu lti - la b el ed   C N N   fo r   p r a ctica l fa cia l a ttr ib u te  cla s s ifica tio n   ( Mo h a mme d   B err a h a l )   979   th p u b lic  C eleb d ataset  h a v d em o n s tr ated   th at   AB M - C NN  ac h iev es  h ig h e r   p e r f o r m a n ce   co m p ar ed   with   s ev er al  r elate d   wo r k s   o n   FAC   m eth o d s .   Fin ally ,   we  g en er ate  im ag es  v ia  Sty le - GAN  a n d   ap p ly   o n   it  o u r   ap p r o ac h   to   r eso lv e   s o m ex ci tin g   p r o b lem s   th at  r esear ch er s   u s u ally   f ac in   th e   f ield .       RE F E R E NC E S   [1 ]   I.   Id rissi,   M .   B o u k a b o u s,  M .   A z izi,   O.  M o u ss a o u i,   a n d   H.  El   F a d il i,   To wa r d   a   d e e p   lea rn in g - b a se d   in tru si o n   d e tec ti o n   s y ste m   fo Io T   a g a in st b o t n e a tt a c k s,”   IAE S   In ter n a ti o n a J o u r n a l   o Arti fi c ia In tell ig e n c e   IJ - AI ,   v o l .   1 0 ,   n o .   1 ,   p p .   1 1 0 - 1 2 0 ,   2 0 2 1 ,   d o i:   1 0 . 1 1 5 9 1 /i jai. v 1 0 . i1 . p p 1 1 0 - 1 2 0 .   [2 ]   I.   Id rissi,   M .   Az izi,   a n d   O.  M o u ss a o u i,   Io se c u rit y   with   De e p   Lea rn in g - b a se d   In tru si o n   De tec ti o n   S y ste m s:  sy ste m a ti c   li tera tu re   re v iew ,   Fo u rth   I n ter n a t io n a C o n fer e n c e   o n   In telli g e n Co m p u t in g   in   D a ta   S c ien c e ICDS 2 0 2 0 ,   p p .   1 - 1 0 ,   d o i:   1 0 . 1 1 0 9 /ICD S 5 0 5 6 8 . 2 0 2 0 . 9 2 6 8 7 1 3 .     [3 ]   H.  Ha n ,   B.   F .   Kla re ,   K.  Bo n n e n ,   a n d   A.  K.  Ja in ,   M a tch i n g   C o m p o site  S k e tch e to   F a c e   P h o to s:  Co m p o n e n t - Ba se d   Ap p r o a c h ,   IEE E   T ra n s .   o n   I n f o rm a ti o n   Fo re n sic a n d   S e c u rity ,   v o l.   8 ,   n o .   1 ,   p p .   1 9 1 - 2 0 4 ,   Ja n .   2 0 1 3 ,     d o i:   1 0 . 1 1 0 9 /T IF S . 2 0 1 2 . 2 2 2 8 8 5 6 .     [4 ]   C.   D.  F r o wd ,   e a l . ,   Ca tch in g   E v e n   M o re   Offe n d e rs  wit h   E v o F I F a c ial  Co m p o sites ,   T h ir d   In t .   Co n f e re n c e   on  Eme rg in g   S e c .   T e c h . ,   2 0 1 2 ,   p p .   2 0 - 2 6 ,   d o i :   1 0 . 1 1 0 9 /E S T. 2 0 1 2 . 2 6 .     [5 ]   X.  Zh e n g ,   Y.  G u o ,   H.  Hu a n g ,   Y.  Li ,   a n d   R.   He ,   S u rv e y   o f   De e p   F a c ial  Attri b u te  An a ly sis,”   In ter n a ti o n a l   J o u rn a o Co m p u ter   Vi si o n ,   v o l.   1 2 8 ,   n o .   8 - 9 ,   p p .   2 0 0 2 - 2 0 3 4 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /s1 1 2 6 3 - 0 2 0 - 0 1 3 0 8 - z.   [6 ]   M .   Bo u k a b o u s   a n d   M .   Az izi ,   Re v iew   o Lea rn in g - Ba se d   Tec h n iq u e o S e n ti m e n An a l y si fo S e c u rit y   P u rp o se s,”   In n o v .   i n   S m a rt Ci ti e Ap p .,   v o l.   4 ,   p p .   9 6 - 1 0 9 ,   2 0 2 1 ,   d o i:   d o i. o r g / 1 0 . 1 0 0 7 /9 7 8 - 3 - 0 3 0 - 6 6 8 4 0 - 2 _ 8 .   [7 ]   A.  Kh a n ,   A.  S o h a il ,   U.  Za h o o ra ,   a n d   A.  S .   Qu re sh i ,   su rv e y   o th e   re c e n a rc h it e c tu re o d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s,”   Arti fi c ia In telli g e n c e   Rev iew V o lu me ,   v o l.   5 3 ,   n o .   8 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /s1 0 4 6 2 - 0 2 0 - 0 9 8 2 5 - 6.   [8 ]   L.   M a o ,   Y.  Ya n ,   J.   X u e ,   a n d   H.   Wan g ,   De e p   M u lt i - tas k   M u lt i - la b e CNN   fo r   Eff e c ti v e   F a c ial  Attri b u te  Clas sifica ti o n ,   IEE E   T ra n sa c ti o n s o n   Af fec ti v e   Co m p u ti n g ,   d o i:   1 0 . 1 1 0 9 /T AFF C . 2 0 2 0 . 2 9 6 9 1 8 9 .     [ 9 ]   N .   Z h u a n g ,   Y .   Y a n ,   S .   C h e n ,   H .   W a n g ,   a n d   C .   S h e n ,   M u l t i - l a b e l   L e a r n i n g   B a se d   D e e p   T r a n s f e r   N e u r a l   N e t w o r k   f o F a c i a l   A t t r i b u t e   C l a ss i f i c a t i o n ,   P a t t e r n   R e c o g n i t ,   v o l .   8 0 ,   p p .   2 2 5 - 2 4 0 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 8 . 0 3 . 0 1 8 .   [1 0 ]   Y.  Wu ,   T.   Ha ss n e r,   K.   Kim ,   G .   M e d io n i,   a n d   P .   Na tara jan ,   F a c ial  Lan d m a rk   De tec ti o n   with   Twe a k e d   Co n v o l u ti o n a Ne u ra l   Ne two rk s,   IEE T ra n s .   o n   Pa tt e rn   An a l y sis  a n d   M a c h in e   I n telli g e n c e ,   v o l.   4 0 ,   n o .   1 2 ,     p p .   3 0 6 7 - 3 0 7 4 ,   2 0 1 8 ,   d o i:   1 0 . 1 1 0 9 /T P AMI . 2 0 1 7 . 2 7 8 7 1 3 0 .     [1 1 ]   T.   Ka rra s,  S .   Lain e ,   M .   Aitt a la,  J.   He ll ste n ,   J.  Leh ti n e n ,   a n d   T .   Ail a ,   An a ly z in g   a n d   Im p ro v in g   th e   Im a g e   Qu a li ty   o S t y leG AN ,   Pro c .   o t h e   IEE E/ CVF   Co n fer e n c e   o n   C o mp u ter   Vi sio n   a n d   P a tt e rn   Rec o g n i ti o n   CV PR ,   2 0 2 0 .   [1 2 ]   C.   S h o rte n   a n d   T.   M .   K h o sh g o f t a a r,   su r v e y   o n   Im a g e   Da ta  Au g m e n tati o n   fo r   De e p   Lea rn in g ,   J o u r n a l   o f   Bi g   Da ta ,   v o l.   6 ,   n o .   1 ,   p p .   1 - 4 8 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 8 6 /s 4 0 5 3 7 - 0 1 9 - 0 1 9 7 - 0.   [1 3 ]   Bin a ry   c las sifica ti o n - Wi k i p e d ia.   [ On li n e ].   A v a il a b le:  h tt p s:// e n . wi k ip e d ia.o rg /wi k i/ Bi n a ry _ c las sifica ti o n .     [1 4 ]   A.  Bu y u k c a k ir,   H.  Bo n a b ,   a n d   F .   Ca n ,   n o v e o n l in e   sta c k e d   e n se m b le  fo m u lt i - la b e stre a m   c las sifica ti o n ,   In ter n a t io n a C o n fer e n c e   o n   In fo rm a ti o n   a n d   Kn o wled g e   M a n a g e me n t ,   2 0 1 8 ,   p p .   1 0 6 3 - 1 0 7 2 ,     d o i:   1 0 . 1 1 4 5 /3 2 6 9 2 0 6 . 3 2 7 1 7 7 4 .   [1 5 ]   M .   E h rli c h ,   T .   J.   S h ield s,   T.   Alm a e v ,   a n d   M .   R.   Am e r,   F a c ial  Attri b u tes   Clas sifica ti o n   u sin g   M u lt i - Tas k   Re p re s e n tatio n   Lea rn in g ,   Pro c .   I EE Co n f .   C o mp .   Vi si o n   a n d   P a tt e rn   Rec o g n it io n   W o rk sh o p s ,   2 0 1 6 ,   p p .   4 7 - 55.   [1 6 ]   H.  L.   Ca ,   M .   M a n d e l,   R .   P a sc a n u ,   Y.  Be n g i o ,   a n d   B.   U.  Ca ,   Lea r n in g   Alg o rit h m fo th e   Clas sific a ti o n   Re stricte d   Bo lt z m a n n   M a c h i n e ,   J o u rn a o f   M a c h i n e   L e a r n in g   Res e a rc h ,   v o l.   1 3 ,   p p .   6 4 3 - 6 6 9 ,   2 0 1 2 .   [1 7 ]   H.  Din g ,   H.  Z h o u ,   S .   K.  Zh o u ,   a n d   R.   Ch e ll a p p a ,   De e p   Ca sc a d e   Ne two rk   fo Un a li g n e d   F a c e   Attri b u te  Clas sifica ti o n ,   3 2 n d   AA AI  Co n fe re n c e   Arti fi c ia I n telli g e n c e ,   2 0 1 8 ,   p p .   6 7 8 9 - 6 7 9 6 .   [1 8 ]   K.  Kh a n ,   M .   Atti q u e ,   R .   U.   Kh a n ,   I.   S y e d ,   a n d   T.   S .   Ch u n g ,   M u lt i - Tas k   F ra m e wo rk   f o F a c ial  Attri b u tes   Clas sifica ti o n   th r o u g h   E n d - to - En d   F a c e   P a rsin g   a n d   De e p   Co n v o l u ti o n a Ne u ra Ne two rk s,”   S e n so r s ,   v o l.   2 0 ,   n o .   2 ,   d o i:   1 0 . 3 3 9 0 /s2 0 0 2 0 3 2 8 .   [1 9 ]   Z.   Li u ,   P .   Lu o ,   X.  Wan g ,   a n d   X.  Tan g ,   “L a rg e - sc a le  Ce leb F a c e A tt rib u tes   (Ce leb A)  Da tas e t.   [On li n e ].   Av a il a b le:   h tt p : // m m lab . ie.cu h k . e d u . h k / p ro jec ts/Cele b A.h tml   [2 0 ]   Hig h   P e rfo rm a n c e   Co m p u ti n g   (H P C)  &   AMD.   [On l in e ].   A v a il a b le h tt p s:// ww w.m a rwa n . m a /i n d e x . p h p   [2 1 ]   N.  Zh a n g ,   M .   P a lu r i,   M .   Ra n z a to ,   T.   Da rre ll ,   a n d   L .   Bo u rd e v ,   P AN DA P o se   Alig n e d   Ne t wo rk fo r   De e p   Attri b u te  M o d e li n g ,   Pro c . o th e   IEE Co n f.   o n   Co mp u ter   Vi si o n   a n d   P a tt e rn   Rec o g n it io n ,   p p .   1 6 3 7 - 1 6 4 4 ,   2 0 1 3 .   [2 2 ]   B.   S c h o l k o p f   a n d   A.  J.  S a m o la,   S m o la.  A:  Lea rn in g   with   Ke r n e ls - S u p p o r Ve c to M a c h i n e s,  Re g u lariz a ti o n ,   Op ti m iza ti o n   a n d   Be y o n d ,   M IT   Pre ss ,   Ca mb rid g e ,   M A,  2 0 0 1 .   [2 3 ]   E.   M .   Ru d d ,   M .   G ü n t h e r,   a n d   T .   E.   Bo u lt ,   M OO N:  m ix e d   o b jec ti v e   o p ti m iza ti o n   n e two r k   f o t h e   re c o g n it i o n   o f   fa c ial  a tt rib u tes ,   Eu r o p e a n   C o n f .   Co mp u ter   Vi sio n ,   2 0 1 6 ,   p p .   19 - 3 5 ,   d o i:   1 0 . 1 0 0 7 /9 7 8 - 3 - 3 1 9 - 4 6 4 5 4 - 1 _ 2 .   [2 4 ]   U.  M a h b u b ,   S .   S a rk a r,   a n d   R.   Ch e ll a p p a ,   S e g m e n t - Ba se d   M e t h o d s   fo r   F a c ial  Attri b u te  De tec ti o n   fro m   P a rt ial   F a c e s,”   IEE T ra n s .   Af fec .   C o mp u ti n g ,   v o l .   1 1 ,   n o .   4 ,   p p .   6 0 1 - 6 1 3 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 0 9 /T AFF C. 2 0 1 8 . 2 8 2 0 0 4 8 .     [2 5 ]   E .   M .   Ha n d   a n d   R.   Ch e ll a p p a ,   Attri b u tes   fo Im p r o v e d   Att rib u tes M u lt i - Tas k   Ne two r k   fo Attri b u te   Clas sifica ti o n ,   a rXiv C o rn e ll   U n ive rs it y ,   2 0 1 6 .   [2 6 ]   N.  Zh u a n g ,   Y.   Ya n ,   S .   C h e n ,   a n d   H.  Wa n g ,   M u l ti - tas k   Lea rn in g   o f   Ca sc a d e d   CNN   f o F a c ial  Attri b u te   Clas sifi c a ti o n ,   2 4 th   In t .   Co n f .   o n   Pa tt e rn   Rec o g n it i o n   IC PR ,   2 0 1 8 ,   d o i 1 0 . 1 1 0 9 /ICP R . 2 0 1 8 . 8 5 4 5 2 7 1 .     [2 7 ]   M .   Be rra h a l   a n d   M .   Az izi,   Re v iew   o DL - Ba se d   G e n e ra ti o n   Tec h n iq u e o Au g m e n te d   Im a g e u sin g   P o rtraits   S p e c ifi c a ti o n ,   Fo u rth   In t .   C o n f .   on   I n telli g e n t   Co m p u ti n g   in   Da t a   S c ien c e ICDS ,   2 0 2 0 ,   p p .   1 - 8 ,     d o i:   1 0 . 1 1 0 9 /ICDS 5 0 5 6 8 . 2 0 2 0 . 9 2 6 8 7 1 0 .     Evaluation Warning : The document was created with Spire.PDF for Python.