I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   25 ,   No .   3 Ma r ch   2 0 2 2 ,   p p .   1 4 8 9 ~ 1 5 0 0   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 25 .i 3 . p p 1 4 8 9 - 1 5 0 0          1489       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Linea fusio n app ro a ch t o  conv o lut io na l neural net w o rks for  facia l emo tion rec o g nition       Usen Du dek ula ,   P urna cha nd   N   S c h o o l   o f   E l e c t r o n i c En g i n e e r i n g ,   V I T - A P   U n i v e r s i t y ,   A m a r a v a t i ,   A n d h r a   P r a d e s h ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   12 2 0 2 1   R ev is ed   Dec   31 2 0 2 1   Acc ep ted   J an   21 2 0 2 2       F a c ial  e x p re ss io n   re c o g n it i o n   is  a   c h a ll e n g in g   p ro b lem   in   t h e   sc ien ti fic  field   o c o m p u ter  v isio n .   S e v e ra fa c e   e x p re ss io n   re c o g n i ti o n   (F ER)  a lg o rit h m a re   p ro p o se d   in   th e   field   o m a c h in e   lea rn i n g ,   a n d   d e e p   lea rn i n g   to   e x trac t   e x p re ss io n   k n o wle d g e   fro m   fa c ial  re p re se n tatio n s.  Ev e n   th o u g h   n u m e ro u s   a lg o rit h m h a v e   b e e n   e x a m in e d ,   se v e ra issu e li k e   li g h ti n g   c h a n g e s ,   ro tatio n a n d   o c c lu si o n s.   We   p re se n a n   e fficie n a p p r o a c h   t o   e n h a n c e   re c o g n it i o n   a c c u ra c y   i n   th is  stu d y ,   a d v o c a tes   tran sfe lea rn in g   to   fin e - tu n e   th e   p a ra m e ters   o f   th e   p re - train e d   m o d e (VG G 1 9   m o d e l)  a n d   n o n - p re - train e d   m o d e c o n v o l u ti o n a n e u ra l   n e two rk s   (CNN s)  fo r   t h e   tas k   o ima g e   c las sifica ti o n .   T h e   VG G 1 9   n e two rk   a n d   c o n v o lu t io n a n e two rk   d e riv e   tw o   c h a n n e ls  o f   e x p re ss io n   re late d   c h a ra c terist ics   fro m   th e   fa c ial  g ra y sc a le  ima g e s.  Th e   li n e a fu si o n   a l g o ri th m   c a lcu late th e   c las b y   tak in g   a n   a v e ra g e   o e a c h   c las sifica ti o n   d e c isio n   o n   train i n g   sa m p les   o b o t h   c h a n n e ls.  F in a l   re c o g n it i o n   is  c a lcu late d   u sin g   c o n v o l u ti o n   n e u ra n e two r k   a rc h it e c tu re   fo ll o we d   b y   a   so f tma x   c las sifi e r.   S e v e n   b a sic   fa c ial  e m o ti o n (BEs):  h a p p i n e ss ,   su rp r ise ,   a n g e r,   sa d n e ss ,   fe a r,   d is g u st,   a n d   n e u t ra fa c ial  e x p re ss io n c a n   b e   re c o g n ize d   b y   t h e   p ro p o se d   a l g o rit h m ,   T h e   a v e ra g e   a c c u ra c ies   fo sta n d a rd   d a ta  se t’s  CK+ ,   a n d   JA F F E,   9 8 . 3 %   a n d   9 2 . 4 % ,   re sp e c ti v e ly .   Us in g   a   d e e p   n e two rk   wit h   o n e   c h a n n e l,   th e   p ro p o se d   a lg o rit h m   c a n   a c h iev e   we ll   c o m p a ra b le p e rfo rm a n c e .   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k s   Dee p   lear n in g   Ma ch in lear n in g   T r an s f er   lear n i n g   Vis u al  g eo m etr y   g r o u p   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Pu r n ac h an d   N   Sch o o l o f   E lectr o n ics E n g i n ee r in g ,   VI T - AP U n iv e r s ity   Am ar av ati,   An d h r Pra d esh ,   I n d ia   E m ail:  ch an d u in ec e@ g m ail. co m       1.   I NT RO D UCT I O N   E m o tio n al  ex p r ess io n s   ar th e   m o s im p o r tan as  it  en c o d es   n o n - v er b al  wa y s   o f   ex p r ess in g   in ter io r   em o tio n s   an d   in ten tio n s .   T h f ac ial  ac tio n   co d in g   s y s tem   ( F AC S)  is   s u itab le  s tr u ctu r th at  u s es  ac tio n   u n its   ( AU)   to   id en tify   h u m an   f ac ial   b eh a v io r   o n   th f ace  [ 1 ] .   Mu l tifa r io u s   m eth o d s   co n f id in   t h ex tr ac tio n   o f   th f ac ial  r eg io n   [ 2 ]   o r   an   a u to m a tic  s o lu tio n   to   id e n tific atio n   [ 3 ] Prim ar y   f ac ial  r ec o g n itio n   ex tr ac tio n   m eth o d s   in clu d lo ca d ir ec tio n al  p att er n   ( L DP) ,   lin ea r   d is cr im in a n an aly s is   ( L DA) ,   lo ca b in ar y   p atter n s   ( L B P),   p r in cip al  c o m p o n en a n aly s is   ( PC A) ,   an d   co n v o l u tio n al  n e u r al  n etwo r k s   [ 4 ] .   AUs  ar co r e   in d icato r s ,   m ak in g   d ec lar atio n   ab o u th c o r r e s p o n d en em o tio n   ac tiv atio n   p o in [ 5 ] ,   [ 6 ] .   AUs  m ay   n o o n ly   b u tili ze d   to   r ev ea em o tio n s   an d   tex tu r es.  W h en   th e   f ac r ev ea ls   em o t io n   an d   m u ltip le  f ilter s   ca n   b ap p lied   f o r   t h e   ex p o s u r o f   f ac ial  em o tio n s   C o n v o lu tio n al  n e u r al  n etwo r k s   ar s p ec if ic  k in d s   o f   ar tific ial  n eu r al  n etwo r k s   an d   h a v b ee n   wo r k i n g   wi th   r ea s o n ab le  p er f o r m an ce   as  f ea tu r ex tr ac t o r   [ 7 ] .   Facial  ex p r ess io n   id en tific atio n   ty p ically   r eq u ir es  th r ee   p h ases   o f   p r ep ar atio n   co n s is tin g   o f   th e   ac q u is itio n   o f   th f ac e,   th e   r etr iev al  o f   th f ea tu r es,  an d   th class if ier   [ 8 ] .   Desp ite  r ec en r ap id   ad v an ce s ,   f ac ial  em o tio n   r ec o g n itio n   ( FER)  r em ain s   d if f icu lt  d u t o   v ar iety   o f   c h allen g es  s u c h   as  im p r o v e m en ts   in   lig h tin g   an d   ac ce s s o r ies,  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  25 ,   No .   3 Ma r ch   20 22 1 4 8 9 - 1 5 0 0   1490   p ar tial  o cc lu s io n s ,   ca p tu r in g   h ea d   d ef lectio n   o f   th e   f ac ial  a r ea s ,   th id en tific atio n   r ate   r em ain s   lo d u e   to   th in f lu en ce   o f   d if f e r en a m b ien t a s   well  as  d if f er e n ce s   in   i n d iv i d u al  p e o p le' s   tr aits .   Ma n y   c h a r ac ter is tics   m ay   b e   r etr iev ed   a n d   lear n ed   f o r   a   g o o d   f ac e   ex p r ess io n   d etec ti o n   s y s tem   u s in g   d ee p   lear n i n g   a n d   s p ec if ically   co n v o l u tio n al  n eu r al  n etwo r k s   ( C NNs).   No tewo r th y   is   th at  i n   th ca s e   o f   f ac ial  ex p r ess io n s ,   m an y   in d icatio n s   o r ig in ate  f r o m   f ew  r eg io n s   o f   th f ac e,   s u ch   as th lip s   an d   ey es,  wh ile  o th er   p o r tio n s   o f   t h f ac p lay   litt le  r o le  in   th eir   p r o d u ctio n .   As  r esu lt,  th m ac h in lear n in g   f r am ewo r k   s h o u ld   id ea lly   ju s t   f o cu s   o n   th m o s ess en tial  p o r tio n s   o f   th f ac e,   wh ile  b ein g   less   s en s itiv to   o th er   f ac ial  r eg io n s .   Han d cr a f ted   f ea tu r es  f o r   FER  ass ig n m en ts   ar n o   lo n g er   a d e q u ate.   s u b o p tim al  s o lu tio n   t o   th ese  p r o b lem s   ca n   b e   o f f e r ed   b y   d ee p   lear n in g   m eth o d o l o g ies.  I n   m o s f ield s   o f   m ac h in lear n in g   an d   co m p u ter   v is io n ,   C NN  h as  b ee n   h ig h ly   s u cc ess f u l,  th r e s e a r c h e r s   u s e   C N f o r   o b j e ct   d e t e ct i o n   i n   a   w i d e   r a n g o f   a p p l i c a t i o n s   [ 9 ] ,   [ 1 0 ] .   W e   p r ese n t   a   d e e p   l e a r n i n g - b a s e d   s y s t e m   f o r   f a c e   e x p r e s s io n   i d e n t i f i c a ti o n   i n   t h is   p a p e r   th a t   c o n s i d e r s   t h e   p r e c e d i n g   o b s e r v a t i o n .   F E R   t as k s   r e l y   o n   d e t e c t i n g   f a c i a l   e x p r e s s i o n s   a n d   i d e n t i f y i n g   f a c es   b a s e d   o n   R G B   o r   g r a y s c a l e   p i ct u r e s .   T r a d i t i o n al   F E R   t a s k s   d e p e n d   o n   h a n d - c r a f t e d   f e a t u r e s .   F e at u r e s   m a y   b e   d iv i d e d   i n t o   t h r e e   p r i m a r y   c a teg o r i e s :   a p p e a r a n ce ,   g e o m e t r y ,   a n d   m o t i o n   c h a r a c t e r i s ti c s ,   r es p e c ti v e l y .   P i x el   i n t e n s it y   [ 1 1 ] ,   G a b o r   t e x t u r e   [ 1 2 ] ,   L B P   [ 1 3 ] ,   a n d   h i s t o g r a m   o f   o r i e n t e d   g r a d i e n t s   ( H OG )   [ 1 4 ] ,   a r e   s o m e   o f   t h e   m o s t   o f t e n   u t i l i z e d   a p p e a r a n c e   c h a r a c t e r is t ic s .   T h e s e   f e a t u r es   f r o m   t h e   f u l l   f a c i a l   r e g i o n   a r e   c o n s i d e r e d ,   b u t   t h e   e y e s ,   n o s e ,   a n d   m o u t h   a r e   n o t   t a k e n   i n t o   c o n s i d e r a t i o n .   T h e r e f o r e ,   F E R   t a s k s   e m p l o y   g e o m et r i c   c h a r ac t e r i s t i cs ,   w h i c h   a r e   r e p r es e n t ed   b y   t h e   g e o m e t r ic  c o n n e c t i o n s   o f   f a c i al   la n d m a r k   p o i n t s   i d e n t i f i e d   f r o m   l o c a a r e a s   t h at   a r s i g n i f i c a n tl y   lin k e d   t o   e x p r e s s i o n   v a r i a t i o n s   [ 1 5 ] .   F u r t h e r m o r e ,   c o m b i n i n g   d i f f e r e n t   f e at u r e s   is   t r e n d   t h at   h as   g r e a p o t e n ti a l   [ 1 6 ] .   T w o - s t a g m u l t i - t as k   f r a m e w o r k   t o   e x p l o r e   F E R .   W i t h   t h e   u s e   o f   li n e a r - c h a i n   o r t i c o t r o p i n - r e l e as i n g   f ac t o r   ( C R F ) ,   h i d d e n   C R F ,   a n d   h i d d e n   l a y e r   v a r i a b le s   [ 1 7 ]   c r e a t e d   a n   i n t e r a ct i v e ,   m u l t i - d i m e n s i o n a l   m o d e l   o f   t h e   h i d d e n   l a y e r .   A s   r e s u l t   o f   t h is   m o d e ,   a   s i m il a r it y   a n a l y s is   is   u s e d   t o   d e t e r m in e   h o w   a n   e x p r e s s i o n   c h a n g e s .   A l r e a d y   e x is t i n g   m e t h o d s   f o r   f a c i a l   r ec o g n i t i o n   u s i n g   h a n d - c r a f t e d   f e a t u r es   h a v e   a   l i m it e d   r e c o g n i t i o n   c a p a b il it y .   Nu m er o u s   in v esti g atio n s   h a v e   r ec en tly   in   co n s id er atio n   o f   d ee p   lear n in g ,   s tu d ied   FER  p r o b lem s   in   p atter n   r ec o g n itio n ,   FER  h as  h ad   r em ar k a b le  s u cc ess   [ 1 8 ] .   Usi n g   d ee p   b elief   n etwo r k s   ( DB Ns),   tr ain ed   a   m u lti - lay er   p er ce p tr o n   ( ML P )   to   d etec d is tin ct  f ac ial  ex p r ess io n s   b ased   o n   th lear n in g   f ea tu r es.  ML s u r p ass es  b o th   SVM  an d   R class if ier s   [ 1 9 ] .   C NN  f o r   FE R   an d   r ep o r ted   its   s atis f ac to r y   p er f o r m an ce   in   th e   ` ` C K+ ''   d ata s et.   d ata  au g m en tatio n   s tr ateg y   was  p r o p o s ed   to   ad d r ess   th lack   o f   lab eled   s am p les  f o r   C N N   tr ain in g .   Sev er al  p r e - p r o ce s s in g   tech n o lo g ies  wer also   u s ed   to   p r eser v e x p r ess io n - r elat ed   f ea tu r es  in   f ac ial   im ag es  [ 2 0 ] .   C o m b i n ed   s ev er a C NN s   to   s tu d y   FER  [ 2 1 ] .   I was  p o s s ib le  to   co m b in th ese  C NNs   b y   lear n in g   th s et  weig h ts   o f   t h n etwo r k   r esp o n s also   tr ai n ed   s ev e r al  d ee p   C NNs  f o r   r o b u s FER  [ 2 2 ] .   AU - in s p ir ed   d ee p   n etwo r k s   ( AUDN s )   [ 2 3 ] .   As  a   r esu lt  o f   AUDN ' s   f o cu s   o n   s in g le  f ac e   p ictu r in p u m o d ality ,   its   r ec o g n itio n   ca p a b ilit ies  ar l im ited .   I n   a   h ig h ly   d ee p   n e u r al  n etwo r k   b etter   ch ar ac te r is tics   s p ec if ic  f o r   ex p r ess io n   r ep r esen tatio n .   Fo u r   in ce p tio n   lay er s   f o llo we d   m ax - p o o lin g   lay er   an d   two   co n v o l u tio n al   n etwo r k s .   Ho wev e r ,   it   is   im p o s s ib le  to   tr ain   th is   n etwo r k   with o u th e   u s o f   c o m p u tatio n a p o wer   ( esp ec ially   GPUs )   [ 2 4 ] .   No v el  f ac ial  r e co g n itio n   ap p r o ac h   u s in g   g u id ed   im ag f ilter   an d   c o n v o lu ti o n al  n e u r al   n etwo r k   [ 2 5 ] .   Han d cr a f ted   f ea tu r es  ar e   th f o u n d atio n   o f   FE R   ap p r o ac h es.  T h e   u s e   o f   f ac i al  d ep th   p ictu r es  as  an   in p u to   d ee p   n etwo r k s   is ,   u n f o r t u n ately ,   r ar e.   All  o f   th e   p r ev io u s   s tu d ies  h av m ad s u b s tan tial  p r o g r ess   in   th f ield   o f   em o tio n   id en tif icatio n   wh en   co m p ar ed   to   p r e v io u s   ef f o r ts ,   b u th ey   lack   clea r   tech n iq u f o r   id en tify in g   k e y   f ac ial  ar ea s   f o r   em o tio n   d etec tio n .   B y   u tili zin g   lin ea r   f u s io n   n etwo r k - b as ed   ar ch itectu r e,   we   attem p to   s o lv t h is   is s u b y   f o cu s in g   o n   t h em o tio n s   with   an   ac c u r ac y   o f   s tan d ar d   d at s et’ s   “CK+, ”  an d   “JAFF E , ”  9 8 . 3 an d   9 2 . 4 %,  r esp ec tiv ely .   T h is   p ap er   f o cu s es  o n   th p r o b lem s   o f   ch a r a cter is tics   ex tr ac tio n   an d   f ac ial  ex p r ess io n   d etec tio n .   First  o f   all,   b i n ar y   f ac ial  im ag ch an n els,  in clu d in g   g r a y   im ag es  an d   L B im ag es,  will  b u s ed   b y   FER   u s in g   co n v o l u tio n   n eu r al  n etwo r k s .   Seco n d ly ,   m eth o d o lo g y   f o r   f in e - t u n in g   is   u s ed   to   o p tim ize  th u s o f   a   well - tr ain ed   p r e - T r ain ed   n e t wo r k   ( VGG1 9   m o d el  o n   I m a g eNe t) .   Pro v id e d   b y   lin ea r   f u s io n   to   b o t h   ch an n e o u tp u ts .   Fin al  r ec o g n itio n   is   ca lcu lated   u s in g   co n v o lu ti o n   n eu r al  n etwo r k   ar ch itectu r f o llo wed   b y   s o f tm ax   class if ier .   Pro ce s s es  th o u tco m es  an d   d o es  f ac ial  e x p r ess io n   p r o jectio n f r o m   b e n ch m ar k   f ac ial  ex p r ess io n s   ( h ap p in ess ,   s ad n ess ,   an g er ,   s u r p r is e,   d is g u s t,  f ea r ,   an d   n at u r al) .   I m p r o v em en ts   o n   VGG1 6   le ad in g   t o   VGG1 9   o v er co m es   Alex Net’ s   lim itatio n s   an d   i m p r o v es  r ec o g n itio n   ac cu r ac y .   VGG1 9   c o n s is ts   o f   s o m u n n ec ess ar y   R eL u n its   i n   th ce n ter   o f   th n et wo r k   in   co n tr ast  to   VGG1 6   [ 1 0 ] .   O u r   an aly s is   is   s tr u ctu r ed   as  f o llo ws.  Sectio n   2   is   ab o u th in tr o d u ctio n .   Se ctio n   2   is   ab o u th e   o v er v iew  o f   th d ataset’ s   an d   also   in cl u d es  co m p r eh e n s iv C NNs  an d   s o m e   p r e - tr ai n ed   d ee p   n etwo r k   m o d els.  T h p r o p o s ed   m o d el   is   d ef in ed   in   s ec tio n   3 .   T h e   test   r esu lts   an d   in ter p r etatio n   f o r   s ec tio n   4   ar e   an n o u n ce d .   Sectio n   5   p r o v id es   th co n clu s io n   s tatem en t.       2.   DATAS E T S DE SCR I P T I O N   E m o tio n   p lay s   m ajo r   r o le  i n   in ter p er s o n al  co m m u n icatio n   an d   also   in   im p r o v in g   life s ty le.   Face   em o tio n   d etec tio n   ca n   also   ex t r ac s et  o f   f ac e - r elate d   attr ib u tes,  s u ch   as h ea d   p o s e,   ag e,   e m o tio n ,   f ac ial  h ai r ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Lin ea r   fu s io n   a p p r o a ch   to   co n vo lu tio n a l n eu r a l n etw o r ks fo r   fa cia emo tio n   r ec o g n itio n   ( Usen   Du d ek u la )   1491   an d   g lass es.  T h ese  attr ib u te s   ar co m m o n   p r ed ictio n s ,   n o au th e n tic  class if icatio n s .   W h en   u s er s   ad d   th em s elv es  to   f ac s er v ice  f e attr ib u tes  ar u s ef u l,  to   m ak s u r th at  th ap p licatio n   is   g ettin g   h ig h - q u ality   f ac d ata  ( f o r   ex am p le,   o u r   a p p licatio n   co u l d   ad v is u s er s   to   tak o f f   t h eir   s u n g lass es   if   th u s er   is   wea r in g   s u n g lass es).   T h tr ial  wa s   c o n s u m m ate  o n   two   p u b licly   ac ce s s ib le  f ac ial   ex p r ess io n   d atab ases J AFFE   ( J ap an es f em ale  f ac ial  ex p r ess io n an d   C o h n - Kan a d e   ( C K+ ) .   W test   th p r o p o s ed   m eth o d o lo g y   ex ten s iv el y   in   o u r   d ataset  in   f ac ial  e m o tio n al  ex p r ess io n   class if icatio n .   T h ex p e r im en tal  r esu lts   o f   th p r o p o s ed   m eth o d   o u tp er f o r m   th m o s s tate - of - th e - ar f ac ial  em o tio n al  ex p r es s io n   r ec o g n itio n   s y s tem s .   Data   s ets   ar u s ed   f o r   tr ain in g   an d   1 0 - f o ld   cr o s s - v alid atio n   test in g   p u r p o s es  b y   s p litt i n g   th d ata  i n to   8 0 %,  tr ai n in g ,   a n d   2 0 %,  f o r   test in g .   T h d ata  s ets’  s tatis tic s   ar s h o wn   in   Fig u r e   1 .           Fig u r 1 .   Data   s et’ s   s tatis tic s       2 . 1 .     Co nv o lutio na l neura l net wo rk s     C o m p ar ed   t o   h a n d - c r af ted   f u n ctio n alities ,   C NN  in s tan tly   m em o r izes  f u n ctio n s   f o r   lear n in g   d ee p   v is u al  v ar iatio n s   b y   u s in g   wid v ar iety   o f   tr ain in g   d ata  an d   ca n   ea s ily   eq u ate  its   test   p r o ce s s   o n   ac ce ler atio n   GPU  co r es.  T h f o llo win g   lay er s   ar in clu d ed   in   C NN  ar ch itectu r e.     2 . 1 . 1.   Co nv o lutio na la y er   Per f o r m an ce   o v er   t he   in p u is   tr an s f o r m ed   in to   g r o u n d   b r ea k in g   lay er s .   E n ab le  V k   to   b t h k er n el  s ize  n ,   m   f ilter   ad d e d   t o   th e   in p u X   an d   th e   n u m b er   o f   C NN  n eu r o n   in p u ties   is   n   an d   m .   T h r esu ltin g   lay e r   o u tp u t is d eter m i n ed   ac co r d in g ly .     ( , ) = ( , ) , / 2 = / 2 / 2 = / 2   ( 1 )     2 . 1 . 2 .   M a x   po llin g   Ma x   Po o lin g   is   co n v o lu tio n   m eth o d   in   wh ich   th Ker n el  ta k es  th h ig h est  v alu f r o m   th e   r eg io n   it  co n v o l v es.   Ma x   Po o li n g   b asically   tells   th C o n v o lu tio n al  N eu r al  Netwo r k   th at  o n ly   th at  i n f o r m atio n   will  b e   ca r r ied   f o r war d   if   it  is   th g r ea test   in f o r m atio n   av ailab le   in   ter m s   o f   am p litu d e.   B y   u s in g   th e   m ax im u m   f u n ctio n ,   wh er m   is   th f ilter   s ize  th o u tp u t is ca lcu lated   f o llo w .   Ma x   Po o lin g   r e d u ce s   X i   in p u t .     ( ) =  { + 1 , + 1 | | 2 , 2 ,   ( 2 )     2 . 1 . 3 .   Rec t if ied linea un it   ( ReLU)   T h r ec tifie d   lin ea r   ac tiv atio n   u n it,  o r   R eL U,   is   o n o f   t h f ew  lan d m ar k s   in   th d ee p   lear n in g   r ev o lu tio n .   I t' s   s im p le,   y et  it 's  f ar   s u p er io r   to   r ea m in g   ac tiv atio n   f u n ctio n s   lik s ig m o id   o r   tan h .   R eL is   k n o wn   to   b u s ed   b y   t h n eu r a l c ell  to   ca lcu late  its   X,   o u tp u u s in g   th f o ll o win g   ac tiv atio n   f u n ctio n .     R ( X)   m ax   ( 0 ,   x )   ( 3 )     2 . 1 . 4 .   F ull y   co nn ec t ed  la y er   ( F C)   T h o u t p u f r o m   th e   co n v o l u tio n al  lay er s   r e p r esen ts   h ig h - lev el  f ea tu r es  in   th d ata.   W h ile  th at   o u tp u c o u ld   b f latten e d   an d   co n n ec ted   to   th e   o u tp u lay er ,   ad d in g   f u lly - co n n ec ted   lay er   is   b est  way   o f   lear n in g   n o n - lin ea r   co m b i n atio n s   o f   th es f ea tu r es.  FC   lay er   also   ter m ed   as  m u lti - lay er   p er ce p tr o n   ( MLP b in d s   all  o f   th p r ec e d in g   l ay er s   n eu r o n s   to   ea ch   n e u r o n   o f   its   lay er .   T h n u m b e r   o f   n eu r o n s   in   th co m p letely   co n n ec ted   lay e r   w as d ef in ed   as X  with   s ize  o f   an d   l .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  25 ,   No .   3 Ma r ch   20 22 1 4 8 9 - 1 5 0 0   1492   f   ( x )   =   σ (   x)   ( 4 )     2 . 1 . 5 .   O utput   la y er   T h er ar th r ee   s o r ts   o f   lay er s   in   s tan d ar d   n eu r al  n etwo r k o n o r   m o r in p u lay er s ,   o n o r   m o r e   h id d en   la y er s ,   an d   o n e   o r   m o r o u tp u lay er s .   Mo r ad v an ce d ,   n o v el  n eu r al  n etwo r k s   m ay   in clu d e   s ev er al  lay er s   o f   an y   s o r t,   an d   ea ch   la y er   m a y   b d esig n ed   d i f f er e n t ly .   T h e   o u tp u t   lay er   is   o n e   o f   th h o t   v ec to r s   th at  r ep r esen th e   in p u im ag e   class .   T h er ef o r e,   t h n u m b e r   o f   g r o u p s   is   d im e n s io n al.   T h o u tp u v ec to r   class   is   d er iv ed .     c ( x ) = { i | ǁ A j# i x j x i }   ( 5 )     2 . 1 . 6 .   So f t m a x   la y er   n eu r al  n etwo r k ' s   ac tiv atio n   f u n ctio n   is   an   ess en tial  co m p o n en t.  n eu r al  n etwo r k   is   b a s ic  lin ea r   r eg r ess io n   m o d el  with o u an   ac tiv atio n   f u n ctio n .   T h ac t iv atio n   f u n ctio n   o f f er s   th n eu r al  n etwo r k   n o n - lin ea r ity .   T h f au lt  is   d is tr ib u ted   b ac k   o v er   th So ft - m a x .   E n ab le  to   b th in p u v ec to r   d im en s io n s   an d   s o f t - m ax   will th en   ca lcu late  m ap p in g   t o ,     ( ) = = 1     ( 6 )     2 . 2 .     P re - t ra ined  m o dels   f o cla s s if ica t io n   W d ef in p r e - tr ain ed   m o d el  ty p es  f o r   class if icatio n .   T r ain in g   wh en   we  wer allo tted   to   a   d ee p er   n etwo r k .   Fu r th e r ,   tr ain in g   d ee p er   n etwo r k   is   co m p licate d   b y   o v er f itt in g   an d   co n v er g en ce   ef f ec ts .   T h ese  ty p es  o f   is s u es  ar o p tim ally   r eso lv ed   in   th tr a n s f er   lear n in g   ar ch itectu r es.  T r an s f er   l ea r n in g   m o d els  ar d is u n ited   in to   f o u r   s tates:  in s tan c e,   p ar am ete r - b ased ,   f e atu r e - r ep r esen tatio n ,   a n d   r el atio n al - k n o wl ed g e T r an s f er   lear n i n g   d e p lo y s   p r e - ex is tin g   ar ch itectu r e,   tr ain ed   o n   lar g d ataset,   an d   f u r t h e r   p r o ce s s in g   in   t h n ex s tag es.  Ou r   wo r k   g u a r a n tees  co n s is ten cy   b y   r ed u cin g   th c o s ts   o f   tr a in i n g   with   n ew  m o d els  o f   d ee p   lear n in g .   I n   th is   ar ticle,   th to p   f iv p r e - tr ai n ed   m o d els  f o r   im ag class if icatio n   th at  ar s tate - of - th e - ar an d   ar wid ely   u s ed   in   th in d u s tr y   as  well   as  r esear ch .   T h in d i v id u al  m o d els  ar ex p lain ed   i n   m u ch   m o r d etail   b el o w.   T h at  is   in ce p tio n - v 3 ,   V GG - 1 6 ,   VGG - 1 9 ,   R esNet5 0   an d   E f f icien tNet.     2 . 2 . 1 .   I ncept io n   T h im ag e   d ataset  was  u s e d   in   th 2 0 1 2   lar g s ca le  v is u al  r ec o g n itio n   ch alle n g e   ( I L SVR C ) I n ce p tio n - v 3   s u p p lies   elev ated   ac cu r ac y   o u tco m es  in   co m p ar is o n   with   I n ce p tio n - v 1 an d   I n c ep tio n - v 2 .   T ab le  1   s h o ws  th ar ch itectu r o f   in ce p tio n v 3 .   C NN  is   th co n v o lu ti o n   lay er ,   is   th m ax im u m - p o o lin g   lay er ,   MX   is   th m ix ed   lay er   an d   is   th e   f u lly   co n n ec ted   lay er .   I n ce p tio n   v 3   p a r am eter s   ar e   less   th an   2 5 M,   it  e n ab les  p at h   f u s io n ,   len g t h   o f   f ea tu r 2 0 4 8 ,   an d   th tr ai n in g   s et  co n tain s   I m ag n et  1 2 6 im ag es  o f   1 k   s u b jects.       T ab le  1 .   I n ce p tio n   V3   ar ch itec tu r e   i n p u t   i ma g e   si z e   A r c h i t e c t u r e   2 2 9 x 229 x 3   C N N 0 ,   C N N 1 :   C 2 : 6 4 x 3 x 3 ,   P 0 : 3 x 3   C N N 3 : 8 0 x 1 x 1 ,   C N N 4 : 1 9 2 x 3 x 3   P 1 : 3 x 3 ,   M 0 : 3 5 x 3 5 x 2 5 6   M X 1 ,   M X 2 : 3 5 x 3 5 x 2 8 8   M X 3 ,   M X 4 : 1 7 x 1 7 x 7 6 8   M X 5 ,   M X 6 ,   M X 7 : 1 7 x 1 7 x 7 6 8 ,   M X 7 : 1 7 x 1 7 x 7 6 8 ,   M X 8 : 8 x 8 x 1 2 8 0   M X 9 ,   M X 1 0 : 8 x 8 x 1 2 8 0 ,   P 3 : 8 x 8 ,   F : 1 0 0 0       2 . 2 . 2 .   Vis ua l g eo m et r y   g r o up   ( VG G )   VGG  is   an   o b ject  r ec o g n itio n   m o d el  p r e - tr ai n ed ,   s u ch   as  I n c ep tio n - v 3 .   I n   th is   ar ticle,   we  d is cu s s   two   v ar ian ts   o f   v is u al  g eo m etr y   g r o u p   m o d els  n am ely -   VGG1 6   an d   VGG1 9 .   B o th   u s e s   f ea tu r es  ex tr ac ted   f r o m   th p r e - tr ain ed   VGG1 6   an d   VGG  1 9   n etwo r k s   tr ain e d   o n   th e   I m a g eNe d ataset  f o r   d etec tin g   f ac ial   ex p r ess io n s .   T h e   in p u g r e y s ca le  im ag es  ar e   p r e - p r o ce s s ed   d u r in g   th e   tr ain in g   s tep   b y   p er f o r m in g   s tr en g th   n o r m aliza tio n   a n d   r esizin g   o n   th p ix el  v alu es.   Ho wev er ,   VGG  s h o u ld   b d esig n ed   wit h   2 2 4 x 2 2 4 x3   i n p u ts ,   we  s p ec if y   pooling  'avg'   b ef o r e   class if icatio n   lay e r   ( th at  w ay   VGG  ca n   h an d le  i n p u ts   o f   an y   s ize) .   I n   an o th er   way ,   VGG1 6   s u p p o r ts   d o wn   to   4 8 x 4 8   im a g es  as  an   in p u t.  W e   in s tan tia te  o u r   m o d el  with   K er as.a p p licatio n s .   v g g 1 6 . VG G 16   ( in clu d e_ to p = T r u e,   weig h ts =‘ im ag en et’ ,   in p u t_ s h ap e= ( 7 2 , 7 2 , 3 ) )   an d   th e n   ad d   o wn   m o d el   h ea d   f u lly   co n v o lu tio n al   o r   d en s e.   T h ese  im ag es  ar g iv en   as  in p u to   th e   VGG  n etwo r k .   T h e   VGG  co n tain s   f iv p o o lin g   la y er s .   Fin e - tu n in g   en a b les  o n e   to   u p d ate  th e   m o d el   ar ch itect u r b y   elim in atin g   th lay er   h ea d s   th at  wer e   p r e v io u s ly   en tire ly   co n n ec ted ,   o f f er in g   n ew,   n ewly   in itialized   lay er s ,   an d   t r ain in g   th n ew  FC   lay er s   to   p r ed ict  o u r   in p u t g r o u p .   T r ain in g   m in i m izes th av er ag p r ed ictio n   a n d   lo g - lo s s   af ter   th e   s o f tm ax   lay er .   C NN  is   th co n v o lu tio n   lay er ,   is   th m ax i m u m   p o o lin g   lay er ,   MX   is   th m ix ed   lay e r   an d   F   is   th f u lly   co n n ec ted   lay e r .   V GG1 6   p ar a m eter s   1 3 8 M,   it d is ab les  p ath   f u s io n ,   t h len g th   o f   f ea tu r e   4 0 9 6 ,   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Lin ea r   fu s io n   a p p r o a ch   to   co n vo lu tio n a l n eu r a l n etw o r ks fo r   fa cia emo tio n   r ec o g n itio n   ( Usen   Du d ek u la )   1493   tr ain in g   s et  co n tain in g   I m ag e Net  1 2 6   im ag es  o f   1 k   s u b je cts.  VGG1 9   h as  1 4 4 p ar am e ter s ,   it  en ab les  p ath   f u s io n ,   th len g th   o f   f ea tu r 4 0 9 6 ,   an d   th tr ain in g   s et  co n ta in s   I m ag eNe t o f   1 2 6 im ag es   o f   1 k   s u b jects.  T h e   a r ch itectu r o f   VGG1 6   an d   V GG1 9   ar ch itectu r s h o wn   in   T ab le  2   an d   T ab le  3 .       T ab le  2 .   Vg g 1 6   a r ch itectu r e   I n p u t   i m a g e   s i z e   A r c h i t e c t u r e   2 2 4   X   2 2 4   X   3   C N N 0 , 1 :   6 4 x 3 x 3   P 0 : 3 x 3 ,   C N N 2 , 3 : 1 2 8 x 1 2 8 x 3 ,   P 1 : 3 x 3   C N N 4 , 5 : 2 5 6 x 2 5 6 x 3   C N N 6 : 2 5 6 x 2 5 6 x 3 ,   C N N 7 : 5 1 2 x 5 1 2 x 3 ,   P 2 : 3 x 3   C N N 8 : 2 5 6 x 2 5 6 x 3 ,   C N N 9 : 5 1 2 x 5 1 2 x 3 ,   P 3 : 3 x 3   C N N 1 0 , 1 1 : 5 1 2 x 5 1 2 x 3   C N N 1 2 : 5 1 2 x 5 1 2 x 3 ,   F 0 ,   F 1 : 4 0 9 6 ,   F 2 : 1 0 0 0       T ab le  3 .   Vg g 1 9   a r ch itectu r e   I n p u t   i m a g e   s i z e   A r c h i t e c t u r e     2 2 4   X   2 2 4   X   3   C N N 0 , 1 :   6 4 x 3 x 3   P 0 : 3 x 3 ,   C N N 2 , 3 : 1 2 8 x 1 2 8 x 3 ,   P 1 : 3 x 3   C N N 4 , 5 , 6 , 7 : 2 5 6 x 2 5 6 x 3 P 2 : 3 x 3 ,   C N N 8 : 5 1 2 x 5 1 2 x 3 ,   C N N 9 , 1 0 : 5 1 2 x 5 1 2 x 3 ,   C N N 1 1 , 1 2 : 5 1 2 x 5 1 2 x 3 ,   P 3 : 3 x 3 C N N 1 3 , 1 4 : 5 1 2 x 5 1 2 x 3   C N N 1 5 : 5 1 2 x 5 1 2 x 3 ,   F 0 , 1 : 4 0 9 6 ,   F 2 : 1 0 0 0       2 . 2 . 3 .   ResNet - 50   R es N e t - 5 0   i s   a n   i m a g e   r e c o g n i t i o n   m o d e l   w h i c h   h a s   b e e n   p r e - t r a i n e d   d e e p   l e a r n i n g   o f   t h e   C N N ,   s u b s e t   o f   d e e p   n e u r a l   n e t w o r k s .   R e s Ne t - 5 0   i s   5 0   l a y e r s   d e e p   a n d   i s   t r a i n e d   o n   1   m i l l i o n   i m a g e s   i n   1 , 0 0 0   g r o u p s   i n   t h e   I m a g e N e t   d at a b a s e .   I n   ad d i t i o n ,   t h e   a l g o r i t h m   h as   m o r e   t h a n   2 3   m i l l i o n   w o r k a b l e   p a r a m e t e r s ,   s u g g e s ti n g   a   d e e p   a r c h i te c t u r e   t h a t   al l o ws   i m a g r e c o g n i t i o n   ea s ie r .   h i g h l y   e f f i c i e n t   s o l u t i o n   is   p r e q u a l i f i e d   m o d e l .   S p e c i f i ca l l y ,   t h e   f i v s t a g e s   o f   r e s i d u al   b l o c k s   c o n s i s t   o f   t h e   R es N e t - 5 0   m o d e l .   E v e r y   r es i d u a l   b l o c k   h as   t h r e l a y e r s   o f   1 * 1   a n d   3 * 3   c o n v o l u t i o n   b l o c k s .   E v e r y   l a y e r   is   f e d   i n t o   t h e   n e x l a y e r   i n   t r a d it i o n a l   n e u r a l   n e tw o r k s .   E a c h   l a y e r   i n   a   r e s i d u al   b l o c k   n e t w o r k   f l o w s   i n t o   t h e   n e x t   la y e r ,   c a l l e d   t h e   i d e n ti t y   c o n n ec t i o n s ;   r o u g h l y   2 h o p   a p a r t .   T h e   n o t at i o n   k   ×   k ,   n   i n   t h C N N   l a y e r   b l o c k   s h o w s   t h e   f il t e r   s iz e   k   a n d   n   c h a n n e l s .   T h c o m p l e te l y   l i n k e d   l a y e r   o f   1 0 0 0   n e u r o n s   i s   d e n o t e d   b y   f u l l y   c o n n e c t e d   ( F C )   1 0 0 0 .   D j a n g o   r e s t   f r a m e w o r k   ( D R F )   is   l i b r a r y   t h a t   c r e a t es   a   v e r s a ti l a n d   e f f i c i e n a p p l i c at i o n   p r o g r a m m i n g   i n t e r f a c e   u s i n g   Dj an g o   b a s i c   m o d e ls .   R es N e t - 5 0   a r c h it e c t u r e   i s   s h o w n   i n   F i g u r e   2 .   F r o m   t h e   e x p e r i m e n t a l   o u t c o m es ,   we   o b s e r v e d   t h a t   t h e   VG G 1 9   m o d e l   a c h i e v e d   h i g h   a cc u r a c y   o n   b o t h   d a t a   s et s   c o m p a r e d   t o   th e   R es N e t - 5 0   s i n c i t   i s   a   v e r y   d e e p   n e t w o r k   w it h   1 4 4   m i l l i o n   p a r a m e t e r s   ( t r a i n ab l e   a n d   n o n - t r a i n a b l e ) .   D u e   t o   t h i s   b e h a v i o r   V G G   n e t w o r k   e f f ic i e n t l y   c a p t u r e s   t h f e a t u r e s   ( e d g es )   b y   m i n i m i z i n g   t h e   o v e r f i t ti n g   p r o b l e m .   E f f i c ie n t N e t - B 0   t o   B 7 ,   p a r a m et e r s   ar e   5 . 3   m i l l i o n   t o   6 6   m i l l i o n ,   w e   t a k e   t o p   t h r e e   a c cu r a c y   v a l u e s   o f   e a c h   E f f i c i e n tN e t - B 0   t o   B 7 ,   t h e   a c c u r a c y   a ls o   i n c r e a s e   s e v e r a p a r a m e t e r s   i n c r e as e   m o d e l ,   t h e   p a r a m e t e r s   l i k e   t r ai n a b l e   a n d   n o n - t r a i n a b l e   c a n   c h a n g e s   a c c o r d i n g   t o   m o d e l   w e i g h t s ,   b i as ,   f o r   p r e - t r a i n e d   m o d e l   m o s t   o f   t h e   c a s es   i t   w ill   u s e   l is t e d   p a r a m e t e r s   i n   T a b le s   4   a n d   5 .   T h e   b i a s   a n d   w e i g h ts   i n i t i al l y   t a k e   r a n d o m   v a l u e s ,   t h e n   we   u p d a t u s in g   t h e   b a c k p r o p a g a t i o n   al g o r i th m .   T h e s e   l e a r n e d   p a r a m e t e r s   a r e   u p d a te d   w ei g h ts   c o r r e ct l y ,   t h e   m o d e w il l   p r e d i c t   t h e   a cc u r a t e   p r e d ic t i o n .   T h l e a r n e d   p a r a m e t e r s   a r e   n o t   u p d a t e d   p r o p e r l y ,   t h r e c o g n i t i o n   r a t e   i s   d o w n .   T h e   i n t u i t i o n   b e h i n d   s e l ec t i n g   I m a g e N e t   a n d   n o s e l e ct i n g   o t h e r   a r c h it e c t u r es   l ik e   R es N e t - 5 0 ,   M o b il e N E t ,   a n d   E f f i c i e n t N E t .   R e s N e t ,   M o b il eN E t s   a r e   f a s t e r   a n d   s m a l le r   t h a n   o t h e r   m a j o r   n e t wo r k s   l i k e   V GG - 1 9   f o r   t h e r e   i s   a   s m a ll   t r a d e - o f f   a n d   t h a t   t r ad e - o f f   i s   a c c u r a cy   c o m p a r e d   t o   I m a g e N e t ,   M o b i le N E t' s   a r e   t y p i c al l y   a r e n t   as   ac c u r a t e   b u t   r e l at i v e l y   s m a l l   ac cu r a t e   r e d u c t i o n ,   t o p   S t a t e - of - t h e - A r t   p r e - t r a i n e d   m o d e l s   f o r   i m a g e   cl a s s i f i c a t i o n.           Fig u r e   2 .   R esNet - 5 0   ar c h itectu r [ 2 6 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  25 ,   No .   3 Ma r ch   20 22 1 4 8 9 - 1 5 0 0   1494   T ab le  4 .   E f f icien t N et’ s   f am il y   ef f icien cy   o n   I m ag eNe t   M o d e l   To p   a c c u r a c y   P a r a me t e r s   Ef f i c i e n t N e t - B0   Ef f i c i e n t N e t s - B1   Ef f i c i e n t N e t s - B2   Ef f i c i e n t N e t s - B3   Ef f i c i e n t N e t s - B4   Ef f i c i e n t N e t s - B5   Ef f i c i e n t N e t s - B6   Ef f i c i e n t N e t s - B7   7 7 . 3 %   7 9 . 2 %   8 0 . 3 %   8 1 . 7 %   8 3 . 0 %   8 3 . 7 %   8 4 . 2 %   8 4 . 2 %   5 . 3 M   7 . 8 M   9 . 2 M   1 2 M   1 9 M   3 0 M   4 3 M   6 6 M       T ab le   5 .   Per tain ed   m o d els f o r   to p   ac cu r ac y   M o d e l   To p   a c c u r a c y   P a r a me t e r s   R e sN e t - 50   I n c e p t i o n _ v 3   VGG - 16   VGG - 19   7 7 . 1 5 %   7 8 . 8 %   7 8 . 2 %   8 4 . 2 %   2 5 M   2 4 M   1 3 8 M   1 4 4 M       2 . 2 . 4 .   E f f icient Net s   T h E f f icien tNet   ca teg o r y   co n s is ts   o f   eig h t   m o d els  f r o m   B 0   to   B 7 ,   ea ch   with   a   co r r esp o n d in g   n u m b er   o f   m o d els  r ef er r in g   to   v ar ian ts   with   h ig h er   p ar a m eter s   an d   g r ea ter   ac cu r ac y .   E f f icien tNet  is   a   co m m u n ity   o f   n eu r al  n etwo r k   m o d els.  Sin ce   2 0 1 2 ,   th e   I m a g eNe d ataset  h as  ex p a n d ed   a s   it  h as  g r o wn   m o r e   co m p lex .   Ho wev e r ,   m o s o f   t h em   ar n o ef f icien in   ter m s   o f   lo ad   h an d lin g .   Mo r ef f i cien m eth o d s   f o r   s m aller   m o d els  h a v b ee n   i n tr o d u ce d   in   r ec en t   y ea r s .   So   m u ch   s o   th at  wh en   s ca lin g   d o wn   th m o d el,   s ca lin g   is   p er f o r m e d   o n   d ep th ,   d is tan ce ,   an d   r eso lu tio n   f o cu s in g   o n   all  th r ee   in   c o m b in atio n   h as  y ield e d   m o r e   ef f icien t r esu lts .         3.   P RO P O SE M O D E L   T h is   wo r k   p r o p o s es  a   n ew  a p p r o ac h   f o r   f ac ial  em o tio n   r ec o g n itio n   u s in g   lin ea r   f u s io n   tech n iq u e.   T h p r o p o s ed   m eth o d   co n s is ts   o f   th e   f o llo win g   s tep s f ea t u r ex t r ac tio n   f r o m   C NN   an d   f ea tu r ex t r ac tio n   f r o m   v g g 1 9 ,   a n d   f in ally   f u s io n   o f   d if f er en o u tp u ts .   R ec o g n izin g   f ac ial  em o tio n s   with   th h el p   o f   th e   p r o p o s ed   m o d el.   W h en   it  co m es  to   f ac d etec tio n ,   th p r e s en in v esti g atio n   u s es  th wi d ely   u til i z ed   Vio la - J o n es  f r am ewo r k   [ 2 7 ] .   T h e n tire   m et ho d o lo g y   is   d ep icted   in   Fig u r 3 .   T h C K+   [ 2 8 ]   an d   th J AFFE  [ 2 9 ]   f ac ial  p ictu r es  ar u s ed   i n   b en ch m ar k in g   d atasets ,   an d   r ea en v ir o n m en ts   v ar y   in   r o tatio n ,   ev en   f o r   th e   s am e   s u b ject.   T h is   v ar iatio n   is   in d ep en d en o f   f ac ial  em o tio n s   an d   m ay   im p a ct  th ac cu r ac y   o f   FER 's  r ec o g n itio n .   T h f ac ar ea   is   alig n e d   u s in g   r o tatio n   r ec tific atio n   to   s o lv t h is   p r o b lem .       [R X,   R Y,   1 ] =[ R x ' R y ,   1 ]   = [ c os θ s in θ 0 s in θ c os θ 0 0 0 1 ]     ( 7 )           Fig u r 3 .   Pro p o s ed   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Lin ea r   fu s io n   a p p r o a ch   to   co n vo lu tio n a l n eu r a l n etw o r ks fo r   fa cia emo tio n   r ec o g n itio n   ( Usen   Du d ek u la )   1495   I n   wh ich   ( R x ,   R y )   r ep r esen t s   th in itial  p o in in   th f ac p ictu r e,   an d   ( R x ' ,   R y ' )   r ep r esen ts   th e   co o r d in ate   ( x ,   y )   af ter   th e   r o ta tio n   tr an s f o r m atio n   is   p e r f o r m ed .   θ  d en o tes  th e   an g le  o f   r o ta tio n   f r o m   o n ey e   ce n t er   to   th o th er ,   as  m ea s u r ed   f r o m   th ce n t e r   o f   th ey e .   O n   th h o r izo n tal  ax is ,   th a x is   s tar tin g   v alu e   is   ze r o ,   a ll   id en tifie d   f ac a r ea s   ar r ed u ce d   t o   7 2 × 7 2   p ix els  af ter   r o tatio n   r ec tific atio n .   W h ile  s m aller   f ac e   ar ea   m ig h t   in cr ea s t h s p ee d   o f   FER,  it  ca n   also   lea d   to   lo s in g   f ac ial   f ea tu r es,   esp ec ially   f o r   t h in f o r m atio n   ac q u ir e d   f r o m   f ac ial  L B im ag es,  r elate d   f ac ial  r eg io n s ,   s u ch   as  m o u t h s ,   ey es,  an d   e y eb r o ws,  ar e   m o r r em ar k ab le  i n   L B P im ag es th an   in   g r a y s ca le  im ag es.   Ou r   d esig n   is   to   am en d   th ex ac tn ess   o f   em o tio n   ex p r ess io n   cla s s if ica tio n   b y   m o d er n   co n v o lu tio n al   n etwo r k   ar c h itectu r e.   I n clu d in g   g r ay   im ag es  an d   L B im ag es,  will  b u s ed   b y   FER  u s in g   co n v o l u tio n   n e u r a l   n etwo r k s .   Activ atio n s   o f   r ec t if ied   lin ea r   u n it  ( R eL u )   af ter   ea ch   co n v o l u tio n   lay e r   ar e   a d d ed   a n d   s o f t - m ax   class if ie r s   ar u s ed   f o r   an   ac tiv atio n   f u n ctio n   in   th f latten in g   lay er .   T h f ir s s tep   o f   f ea t u r ex tr ac tio n   f r o m   co n v o l u tio n   n e u r al  n etwo r k   a r ch itectu r is   s h o wn   i n   T ab le   6 .   T h e n ,   VGG  1 9   is   ch o s en   f o r   Facial  f ea tu r es   ex tr ac tio n ,   a p p ly in g   tr an s f er   l ea r n in g   o u r   p ar tial  VGG1 9   n etwo r k   is   tr ain ed   o n   th Flatten   m o d el  I m ag eNe t   d ataset  with   d r o p o u r atio   o f   0 . 5 ,   6 4   d en s la y er s   o f   R eL U   ar ch itectu r e,   an d   s ev en   ac tiv atio n   p o in ts .   So f tm ax   class if ier   is   d ep lo y ed   in   th s am e.   T h in p u g r ey s ca le  im ag es  ar p r e - p r o ce s s ed   d u r in g   th tr ain in g   s tep   b y   p er f o r m in g   s tr en g th   n o r m aliza tio n   a n d   r esizin g   o n   t h p ix el   v alu es.  T h ese   im ag es  ar e   g iv en   as  in p u t   to   th VGG  n etwo r k .   T h VG co n tain s   f iv p o o lin g   la y er s .   R ath er   th an   u s in g   VGG1 6 ,   it  is   o p tim al  to   u s VGG1 9   ( VGG1 9   h as m o r m e m o r y ) ,   an d   t h b est p er f o r m a n ce .   T h in p u d ata  h as  s ize  o f   1 x 7 2 x 7 2 .   Af ter   th at,   we' ll  wo r k   o n   th f ir s f o u r   b lo c k s .   T h f if th   b lo ck   C o n v 5 _ 1 f t,  Su m m ar izes  th p ar am eter s   f o r   th la y er s   in   th is   b lo ck ,   wh ich   ar m e n tio n ed   in   T ab le  7 .   T h e   lear n in g   r ates  o f   th f if th   b lo c k ' s   lay er s   ar ( 0 . 0 0 1   u s ed   f o r   lay er s   o f   th f if th   b lo ck )   th a n   th eir   o r ig in al  v alu es   ( 0 . 0 1   u s ed   f o r   lay e r s   o f   p r ev i o u s   b lo ck s )   to   en s u r th at  th e y   ca n   lear n   m o r ef f ec tiv in f o r m atio n .   B ec au s e   we  d ec r ea s in g   1 0   tim es  th e   o r ig in al  v alu e .   W eig h d ec ay ,   wh ich   r e d u ce s   y o u r   co ef f icien ts   to   ze r o ,   g u a r an tees   th at  y o u   r ea ch   lo ca l   o p tim u m   with   s m all - m ag n itu d p a r a m eter s .   T h is   is   cr itical  to   p r e v en an   o v e r - f itti n g   s itu atio n .   I n   ad d itio n ,   b y   in cr ea s in g   th co n v ex ity   o f   th o b jectiv f u n ctio n ,   th m o d el  b ec o m es  ea s ier   to   o p tim i z e.   W h en   it  co m es  to   o p tim al  weig h d ec ay ,   it  d ep e n d s   o n   th t o tal  n u m b er   o f   b at ch   r u n s   a n d   weig h t   u p d ates.       T ab le   6 .   C NN  ar ch itectu r f o r   im ag class if icatio n   La y e r   F i l t e r s   K e r n e l   S i z e   S t r i d e   A c t i v a t i o n   F u n c t i o n   C o n v o l u t i o n ( C 1 )   64   7 x 7   4 x 4   Re LU   P o o l i n g     3 x 3   2 x 2     C o n v o l u t i o n ( C 2 )   32   5 x 5   1 x 1   Re LU   C o n v o l u t i o n ( C 3 )   64   5 x 5   1 x 1   Re LU   C o n v o l u t i o n ( C 4 )   32   5 x 5   1 x 1   Re LU   P o o l i n g     3 x 3   2 x 2     F l a t t e n         so f t m a x       T ab le   7 . P ar am eter s   f o r   th p r o p o s ed   m o d el   P a r a me t e r s   V a l u e   Le a r n i n g   r a t e   0. 00 1   W e i g h t   D e c a y   0 . 0 1   M o me n t u m   0. 0 0 1   O p t i mi z e r   A d a m       T h is   is   cr itical  to   p r e v en a n   o v er - f itti n g   s itu atio n .   I n   ad d itio n ,   b y   in cr ea s in g   th e   co n v ex ity   o f   th e   o b jectiv f u n ctio n ,   th m o d el  b ec o m es  ea s ier   to   o p tim i z e.   W h en   it  co m es  to   o p tim al  wei g h d ec a y ,   it d ep en d s   o n   th to tal  n u m b e r   o f   b atch e s   r u n s   an d   weig h u p d ates.  Acc o r d in g   to   o u r   em p ir ical  r esear ch   o f   Ad am ,   th e   lo wer   th o p tim u m   weig h t   d e ca y   is ,   th e   lo n g e r   th e   r u n tim e/ n u m b er   o f   b atc h   r u n s   ar e.   Mo m en tu m   is   u tili z ed   to   r ed u ce   wei g h c h an g e   v ar i atio n s   ac r o s s   s u cc ess iv iter atio n s ,   an d   it  s tar ted   at  ze r o   in itial  v alu e T h e   p ar tial  VGG1 9   n etwo r k   i s   u s ed   to   ex tr ac an   ex p r ess io n   r e lated   f ea tu r v ec to r   f r o m   f ac e   g r ay s ca le  im ag es.  T h C NN  is   u s ed   t o   ex t r ac f ea tu r e   v ec to r   f r o m   L B f a ce   p ictu r es.  T h er e   ar e   two   ca s ca d ed   f u ll - c o n n ec t   lay er s   o n   ea ch   f ea tu r e   v ec to r   to   r ed u ce   th e   s ize.   B o th   tr ain i n g   m o d els  o b tain   co r r esp o n d i n g   m o d el  wei g h ts .   C o r r esp o n d in g   weig h ts   to   lin ea r   f u s io n   ap p r o ac h   to   n ew  m o d el  C NN  ar ch itectu r e.   C NN  i s   th m o s co m m o n   n etwo r k   m o d el  am o n g   t h m an y   p o s s ib le  d ee p   lear n in g   m o d els.  T h f in al  C NN  ar ch itectu r is   s h o wn   in   T ab le  8 .   T h VGG  1 9   s y s tem   u s es  tu n in g   s y s te m   t o   ex tr ac em o tio n s   f r o m   g r ay - lev el  im ag es.  T h v ec to r   is   d er iv ed   b y   C NN  f r o m   L B f ac im ag es.  T h two   ca s ca d e d   f u lly   co n n ec ted   lay e r s   ar co m m u n icate d   b y   ea c h   v ec to r .   VGG1 9   an d   C NN  b o th   co n s tr u ct   f u s ed   v ec to r    = { 1 , 2 7 } .   T h f ir s elem en is   f o llo w e d     by   ( 8 ) ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  25 ,   No .   3 Ma r ch   20 22 1 4 8 9 - 1 5 0 0   1496   F u = α .   S i   ( 1   −  α )   l i   ( 8 )     w h er e   α   weig h ts   o f   th g r a y - s ca le  im ag es.  E v alu ated   b y   cr o s s - v alid atio n .   T h ca te g o r ical  p r o b ab ilit y   d is tr ib u tio n   o f   s o f t - m ax ,   th in p u t is a  s et  o f   m u lti - class .      = = 1   ( 9 )     T h co s t f u n ctio n ,   wh ich   is   d e f in ed   b y   f   ( y   k / x ) .      ( , ) = . l og ( ) = 1   ( 10 )     T r u lab el  Z i   in d icate s   an d   Y i   is   th o u tp u o f   s o f t - m ax   f u n ctio n .   B ac k p r o p ag atio n   is   b ased   o n   th e   o p tim izatio n   alg o r ith m   o f   g r a d ien t d escen t.       T ab le   8 .   Pro p o s ed   C NN  ar ch it ec tu r e   La y e r   F i l t e r s   K e r n e l   S i z e   D r o p   o u t   A c t i v a t i o n   F u n c t i o n   C o n v o l u t i o n ( C 1 )   6   5 x 5     Re LU   P o o l i n g     2 x 2       C o n v o l u t i o n ( C 2 )   16   5 x 5     Re LU   P o o l i n g     2 x 2       C o n v o l u t i o n ( C 3 )   1 2 0   5 x 5   0 . 2 5   Re LU   F l a t t e n   D e n se   ( 8 4 )       0 . 5   R e LU   D e n se   l a y e r         S o f t ma x       T h n o v elty   o f   th p r o p o s ed   m eth o d o lo g y   is   lin ea r   w eig h ted   f u s io n   is   a   p r o ce d u r wh er th e   r esu ltin g   f u s ed   p ictu r e   is   m o r in f o r m ativ an d   c o m p lete  t h an   an y   o f   th e   in p u o f   th e   p i ctu r e   b y   co m b in in g   r elev an in f o r m atio n   f r o m   s et  o f   im ag es  i n to   th e   in d iv id u al  p ictu r e.   I m ag f u s io n   tec h n iq u es  ca n   im p r o v e   th q u ality   o f   a p p licatio n   d ata.   T h m er g er   tec h n iq u was  u s ed   to   in teg r ate  VGG - 1 9   a n d   C NN  d ec is io n s .   T h f u s io n   alg o r ith m   ca lcu lates  t h class   b y   ta k in g   an   av er ag e   o f   ea ch   class if icatio n   d ec is io n   o n   tr ai n in g   s am p les.   Mo r r eliab le  ( h ig h er   p r ec is io n )   class if icatio n   is   weig h ed   an d   s ig n if ican tly   co n tr ib u tes  t o   d ec is io n   m ak in g .   W h av u s ed   th e   f u s io n   r u le   o f   th e   weig h ted   s u m   to   e v al u ate  th e   b est  o p p o r tu n ity   o f   a   f u s io n   r esu lt  o f   p ar ticu lar   em o tio n ,   co m p ar is o n   m u ltimo d al  with   u n im o d al  m o d els.   Du to   th h ig h   ca p a city   o f   d ee p   C NN,   th av er ag e   f ea tu r e   f u s io n   m o d el  im p r o v es  th p er f o r m an ce   s u b s tan tiv ely .   T ak i n g   an   a v er ag o f   m u ltip le  m o d els  wi ll  r ed u ce   th v ar ia n ce .   T h is   s h o ws  th at  m u ltimo d al  o f f er s   v er y   ef f ec tiv way   o f   im p r o v in g   ac cu r ac y   r ates,  as o r i g in ally   p r o p o s ed .       4.   E XP E R I M E N T A L   RE SUL T S AN A NALY SI S   B u ilt  o n   th T en s o r   f lo s y s t em ,   we  test   th ac h iev em en o f   th p r o p o s ed   m o d el  o n   th e   wi n d o ws  in ter n et  Go o g le  C o lab   p latf o r m .   T wo   p u b lically   av ailab le  d atasets   ar u s ed   f o r   f ac ial  em o tio n   im ag es.   T h e   r esu lts   ar illu s tr ated   in   Fig u r es  4 ( a)   an d   ( b ) .   Dis p lay in g   p r ec is io n   cu r v b y   r ed   an d   l o s s   b y   g r ee n   an d   s tab ilizes  lo s s   f o llo win g   2 5   to   5 0   ep o c h s ,   an d   th eir   test   r esu lts   ar also   s h o wn .   T h av er ag ac cu r ac y   o f   r ec o g n itio n   f o r   ' C K+   an d   J AF FE'   d ata  s ets  i s   9 8 . 3 an d   9 2 . 4 %,  r esp ec tiv ely .   W also   m ea s u r o u r   p r o ce s s   b y   ass ess in g   ac cu r ac ies  b ased   o n   s in g le - ch a n n el  f a cial  im a g es.  W test   th f ea s ib ilit y   o f   o u r   m eth o d o lo g y .   C o m p ar ed   to   o th er   C NN  r elate d   ap p r o ac h es,  o u r   a p p r o ac h   p r o d u ce s   im p r o v ed   e f f icien cy   with   f ea tu r es  lik e   h is to g r am   o f   o r ien ted   g r ad ien ts   ( HOG) ,   s u p p o r v ec to r   m ac h in e   ( SVM) ,   an d   K - NN  Ou r   m eth o d ' s   b en ef it  is   ac co m p lis h ed   b y   m ak in g   g o o d   u s o f   th c o m p lem e n tar y   o f   v ar io u s   f ac ial  im ag e   s o u r c es,  wh ile  th e   o th er   s tr ateg y   o n l y   u s es  FER  ap p r o ac h es.  C o m p ar is o n s   b etwe en   o u r   a p p r o ac h   an d   th e   o th er   s tate - of - th e - a r FER   ap p r o ac h es  ar s h o wn   in   T ab l 9 .     4 . 1 .     So m e   o f   t he  cla s s if ica t io n f a ults a re   dis cus s ed    T h SVM  alg o r ith m   is   n o s u i tab le  f o r   la r g s ets  o f   d ata.   SVM  d o es  n o t   d o   t h at  well  as  th e r is   m o r e   n o is in   th co llectio n ,   i.e .   o v er lap   o f   tar g et  g r o u p s .   I n   th s ce n ar io s   wh er th n u m b er   o f   f ea tu r es  f o r   ea c h   d ata  p o in t   ex ce ed s   th e   n u m b e r   o f   tr ain in g   d ata  s am p les,  t h e   SVM  wo u ld   b e   u n d er p e r f o r m in g .   An d   th e   SVM   Mo d el  is   r ep r esen tatio n   o f   ex am p les  as  d o ts   in   s p ac e,   m ap p ed   in   s u c h   way   th at  th ex am p les  o f   th e   Sep ar ate  ca teg o r ies  o r   class es   ar class if ied   in to   two   ca teg o r ies.  Div is io n   o f   th p lan t h at  m ax im izes  th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Lin ea r   fu s io n   a p p r o a ch   to   co n vo lu tio n a l n eu r a l n etw o r ks fo r   fa cia emo tio n   r ec o g n itio n   ( Usen   Du d ek u la )   1497   m ar g in   b etwe en   th two   th er e   is   v ar io u s   g r o u p s .   T h is   is   b ec au s th s ep ar atio n   p lan h as  th wid est  d is tan ce   to   th L o wer s ,   th cl o s est tr ain in g   d ata  p o in ts   in   an y   class .   E r r o r   in   a   g en er aliza tio n   o f   t h t o tal  class if ier .   HOG  h as  d ec en s co r f o r   h u m an   id e n tific atio n .   Ho w ev er ,   it  h as  d r awb ac k   th a is   v er y   s u s ce p tib le  to   th e   r o tatio n   o f   th im a g e.   KNN - Pre cisi o n   r elies  o n   d ata  ac c u r ac y .   W ith   lar g d ata,   t h e   p r ed ictiv s tag e   ca n   b elo n g .   R esp o n s iv to   th e   d ata   s ize  a n d   in s ig n if ican f u n ctio n s .   T h KNN  alg o r ith m ' s   d r awb ac k   is   th at   it  u s es  b o t h   E q u al  ch a r ac ter is tics   with   co r r e latio n s   in   co m p u tatio n .   T h is   c an   lead   t o   m is tak es  in   class if icatio n ,   p ar ticu lar ly   if   th er is   ju s t a   s m all  s u b s et  o f   tr aits   th at  a r h elp f u f o r   class if icatio n .         (a )       ( b )     Fig u r 4 .   J AFFE  tr ain in g   ac cu r ac y   an d   v alid atio n   l o s s ,   ( a)   an d   th e ir   test   an aly s is   test   r esu lts ,   C K+   tr ain in g   ac cu r ac y   an d   v alid atio n   lo s s   an d   ( b )   th e ir   test   an aly s is   test   r esu lts .   Nu m b er   o f   e p o ch s   in   x   a x is ,   tr ain   an d   test   lo s s ,   th eir   ac cu r ac y   ( %)  i n   y   a x is       T ab le  9 .   C o m p a r is o n   o f   r ec o g n itio n   r ate  with   s o m o f   th e x is tin g   tech n iq u es   M e t h o d   JA F F D a t a b a se   C K +   D a t a b a s e   LB P + O R B   f e a t u r e s   [ 3 0 ]   8 8 . 5 5 %     F i sh e r   f a c e   [ 3 1 ]   8 9 . 2 %     D e e p   F e a t u r e +   H O G   [ 3 2 ]   9 0 . 5 8 %     S u n   e t   a l .   [ 3 3 ]   9 2 . 0 0 %     C N N   [ 3 4 ]   7 6 . 5 %     Pr o p o sed   M o d e l   9 2 . 4 %     LB P + O R B   f e a t u r e s   [ 3 0 ]   D e e p   f e a t u r e +   H O G   [ 3 2 ]   I n c e p t i o n   [ 3 5 ]   D y n a mi c   c a sc a d e   c l a ss i f i e r   [ 3 6 ]   A t t e n t i o n a l   c o n v o l u t i o n a l   [ 3 7 ]   Pr o p o sed   M o d e l     9 3 . 2 %   9 4 . 1 7 %   9 3 . 2 %   9 7 . 8 %   9 8 . 0 %   9 8 . 3 %     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  25 ,   No .   3 Ma r ch   20 22 1 4 8 9 - 1 5 0 0   1498   4 . 2 .     Q ua lit a t iv a na ly s es o f   t he  pro po s ed  m o del   W eb ca m   f ac ial  im ag s am p les  ar o b tain ed   f o r   test in g .   T h r o b u s tn ess   o f   o u r   p r o ce d u r es  is   m ea s u r ed .   T h f ac ial  ar ea   o b s er v ed   in   ea c h   s u b - f ig u r e   is   g r ee n   r ec tan g u lar .   Fig u r e s   5 ( a )   an d   ( b ) .   Dem o n s tr ates  s o m g o o d   i d e n tific atio n   ca s es:  E x tr em ely   p r ec is f ac ial  g estu r es.  T h a cc u r ac y   o f   m u ltip le  f ac ial  ex p r ess io n s   is   o v er   0 . 9 5   lik e   an g er   an d   h ap p y ,   i n clu d in g   w h en   n o teb o o k   o cc lu d es  th to p ics   p ar tly   Fig u r 5 ( c) .   I llu s tr ates so m in s tan ce s   o f   f ailed   f ac ial  r ec o g n itio n ,   as "U n k n o wn o r   m is lab el.           ( a)     ( b )       ( c)     Fig u r 5 .   Usi n g   f ac ial  web   ca m   o f   s u cc ess f u l r ec o g n itio n   o f   f ac ial  ex p r ess io n s   with   b etter   ac cu r ac y   f o r   th e:  ( a)   h ap p y   e x p r ess io n   in   a n g r y   p ar tial o cc lu s io n s ,   ( b )   h ea d   d e f lectio n   an d   a   n o teb o o k   o cc lu d es p ar tially ,   an d   ( c)   f ailed   to   r ec o g n itio n   f ac ial  ex p r ess io n       5.   CO NCLU SI O N   In   th is   s tu d y ,   an   im p r o v ed   FER tec h n iq u ca n   p r o ce s s   b o th   g r ay s ca le  an d   L B P p ictu r es o f   th f ac at  th s am tim e.   W co n ten d   t h at  th two   p ict u r ch a n n els  n o b ein g   u tili z ed   co m p lem en o n an o th er ,   co llect  b o th   l o ca an d   g lo b al  in f o r m atio n   f r o m   f a cial  im ag es,  an d   en h an ce   r ec o g n itio n .   T o   m ak f u ll  u s o f   th e   ch ar ac ter is tics   th at  h av b ee n   r etr iev e d   f r o m   t h v a r io u s   p ictu r c h an n els,  a   weig h te d   f u s io n   m eth o d   is   p r esen ted .   T o   a u to m atica lly   ex tr ac th e   ch ar ac ter is tics   o f   f ac em o tio n s   f r o m   f ac ial  g r ay s ca le  p ictu r es,  a   p ar tial  VGG1 9   n etwo r k   is   b u ilt.  T o   tr ain   th n etwo r k   u s in g   I m ag eNe t' s   b asic   p ar am eter s ,   f in e - tu n in g   is   p er f o r m ed .   C NN  is   b u ilt  to   a u to m atica lly   ex tr ac f ac ex p r ess io n   ch ar ac ter is tics   f r o m   L B p ictu r es.  A f ter   th at,   weig h ted   f u s io n   ap p r o a ch   is   p r esen te d   to   co m b in e   th e   two   ch a r ac ter is tics   to   m ak e   m ax im u m   u s o f   th e   co m p lem en tar y   f ac in f o r m at io n .   T h r esu lts   o f   th r ec o g n itio n   ar b ased   o n   th lin ea r   f u s io n   m eth o d   to   a   n o v el  m o d el  o f   C NN  ar ch ite ctu r u s in g   co r r esp o n d i n g   w eig h ts   f r o m   s o f tm a x   cla s s if ier .   T h e   p r o p o s ed   m eth o d o l o g y   was  co m p ar ed   to   s o m o f   th p r io r   m et h o d s .   B ased   o n   th co m p ar is o n   r es u lts ,   it  ap p ea r s   th at   th p r o p o s ed   m eth o d o l o g y   o u tp er f o r m s   s o m o f   t h ex is tin g   m eth o d s .   B ased   o n   th e   o u tco m es  o f   th ex p er im en ts ,   we  m ay   in f er   th at  o u r   s u g g ested   ap p r o ac h   ca n   b u s ed   f o r   f ac ial  em o tio n s   r ec o g n itio n .   T h er ef o r m o d er n   m o d el  m u s b d e v elo p e d   th at  ca n   lo wer   tr ain i n g   tim e   an d   d e liv er y   in   r ea l - tim e   ap p licatio n s .   Ou r   wo r k   f o r   th e   f u tu r will  b t o   s im p lify   th n etwo r k   f u r th er   a n d   ac ce ler ate   th alg o r ith m .   W e   p lan   to   co n ce n tr ate  o n   o th er   f a cial  im ag es c h an n els to   ex p an d   th f u s io n   n etwo r k   f u r th er .   Evaluation Warning : The document was created with Spire.PDF for Python.