I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   22 ,   No .   3 ,  J u n e  2 0 2 1 ,   p p .   1436 ~ 1 4 4 5   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 2 2 .i 3 . pp 1 4 3 6 - 1 4 4 5          1436       J o ur na l ho m ep a g e :  h ttp : //ij ee cs.ia esco r e. co m   Custo mer’s  spo nt a neo us facia l ex p ress io n recog nitio n       G o la m   M o rsh ed,   H a m i m a h  Uj ir,   I rwa nd i H ipi ny   F a c u lt y   o f  C o m p u ter  S c ien c e   a n d   In fo rm a ti o n   Tec h n o l o g y ,   U n iv e rs it i  M a lay sia   S a ra wa k ,   M a lay sia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 1 6 ,   2 0 2 0   R ev is ed   J u n   4 ,   2 0 2 1   Acc ep ted   J u n   1 3 ,   2 0 2 1       In   th e   field   o f  c o n su m e r  sc ien c e ,   c u sto m e r  fa c ial  e x p re ss io n   is  o ften   c a teg o rize d   e it h e r  a s  n e g a ti v e   o r   p o siti v e .   C u sto m e r  wh o   p o rtray s  n e g a ti v e   e m o ti o n   to   a   sp e c ifi c   p r o d u c t  m o stly   m e a n s  t h e y   re jec t  t h e   p r o d u c t  wh il e   a   c u sto m e r  with   p o siti v e   e m o ti o n   is  m o re   li k e ly   to   p u rc h a se   th e   p ro d u c t.   To   o b se rv e   c u st o m e r  e m o ti o n ,   m a n y   re se a rc h e rs  h a v e   stu d ied   d iffere n t   p e rsp e c ti v e s  a n d   m e th o d o l o g i e s  to   o b tain   h i g h   a c c u ra c y   re su lt s.   C o n v e n t io n a l  n e u ra l  n e tw o rk   (CNN )  is  u se d   to   re c o g n ize   c u sto m e r  sp o n ta n e o u s  fa c ial  e x p re ss io n s.   Th is  p a p e r  a ims   to   re c o g n ize   c u sto m e r  sp o n ta n e o u s  e x p re ss io n s  wh il e   t h e   c u sto m e r  o b se rv e d   c e rtain   p r o d u c ts.   We  h a v e   d e v e l o p e d   a   c u sto m e r  se rv ice   sy ste m   u sin g   a   CNN   t h a t  is   train e d   t o   d e tec t  th re e   t y p e s   o f   fa c ial  e x p r e ss io n ,   i. e .   h a p p y ,   sa d ,   a n d   n e u t ra l.   F a c ial  fe a tu re s  a re   e x trac ted   to g e t h e r  with   it s  h isto g ra m   o f  g ra d ien t  a n d   sli d in g   win d o w .   T h e   re su lt s  a re   t h e n   c o m p a re d   with   th e   e x isti n g   w o rk s  a n d   it   sh o ws   a n   a c h iev e m e n t  o f  8 2 . 9 %   su c c e ss   ra te o n   a v e ra g e .   K ey w o r d s :   C u s to m er ’ s   em o tio n   Face   d etec tio n   Facial  ex p r ess io n s   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Go lam   Mo r s h ed   Facu lty   o f   C o m p u ter   Scien ce   an d   I n f o r m atio n   T ec h n o lo g y   Un iv er s iti Ma lay s ia  Sar awa k ,   Ma lay s ia   E m ail: g m r iy al@ g m ail. co m       1.   I NT RO D UCT I O N     Facial  ex p r ess io n   r ec o g n itio n   ( FER)  s y s tem s   ar e  cu r r en tl y   a d v an ce d   in   te r m s   o f   h u m an   ca p ab ilit y   in   d etec tin g   an d   r esp o n d in g   to   f ac ial  ex p r ess io n s   wh ile  in ter ac tin g   with   ea ch   o th e r .   Sev e r al  ap p r o a ch es  ar e  d ev elo p e d   to   d etec t c o n s u m e r   b eh av io r   le v els to   o b s er v e  th ei r   s atis f ac tio n   lev el   [ 1 ] ,  [ 2 ] .   T h ese  ap p r o ac h es a r e   u s ed   to   d ev elo p   ap p licatio n s   m ain ly   u s ed   in   th e  air p o r t,  m ar k et,   s h o p p in g   m all  et  ce ter a.   B y   o b s er v in g   cu s to m er ’ s   f ac ial  ex p r ess io n s   an d   an aly zin g   th em ,   th e  p r o v id er   ca n   o f f e r   th e  b e s t  s er v ice  s u itab le  f o r   th e  cu s to m er s .   T h is   r esear ch   is   m o tiv ated   b y   t h e  cu s to m er   s er v ice  co m p lain ts   r ec eiv ed ,   esp ec ially   at  th e  g o v er n m en t  o f f ices,  an d   n o   s tu d y   h as  f o cu s ed   o n   an aly s in g   th e  s eq u en ce   o f   f ac ial  ex p r ess io n s   d u r in g   t h e  in ter ac tio n   at  th e  c u s t o m er   s er v ice  d esk .   C o n s u m er ’ s   f ee lin g s   ca n   b e  o b s er v e d   f r o m   t h eir   f ac i al  ex p r ess io n s .   T h r o u g h   f a ce - to - f ac e   co m m u n icatio n ,   a  s er v ice  p r o v id er   ca n   f in d   a n   af f ec tiv e  s tate  b y   u s in g   f ac ial  ex p r ess io n s .   Ma n y   r esear ch er s   h av e  illu s tr ated   th at  f ac ial  e x p r ess io n s   ar e  an   im p er ativ e  m ar k er   o f   f ee lin g   [ 3 ] - [ 5 ] .   R esear ch er s   h av e  d is co v er ed   t h at  d is ap p o in ted   co n s u m er s   alwa y s   u n d er g o   n eg ativ e   em o tio n s .   B o th   c o m p lain t  a n d   n o n - co m p lain t  co n s u m er s   h av e  e x p er ien ce d   th e   s am e  n eg ativ e  e m o tio n s   th at  ca u s e  s er v ice  f ail u r e  [ 6 ] .   I n   a d d itio n ,   th e  attem p t a t ser v ice  r ec o v er y   alwa y s   f ails   if   th e  s er v ice  p r o v id er   is   u n ab le  to   d is co v er   th e  n eg ativ e  em o tio n s   o f   th e   co m p lain er .   Sev en - ex p r ess io n   s ch em a  [ 7 ] ,  [ 8 ]   r ar ely   o cc u r s   i n   g a r m en ts   s h o p p in g   an d   th er ef o r e  o n ly   th r ee - ex p r ess io n   s ch em a   is   u s ed .   On e   o f   th e   ex a m p les  in   th i s   f ield   o f   wo r k   is   Sen tr ib u te   [ 9 ] ,   w h ich   s im p lifie s   em o tio n al  an aly s is   to   p o s itiv e,   n eu tr al,   an d   n e g ativ e.   T o   o b s er v e  cu s to m e r   in ter est  th r o u g h   a  s p ec if ic  p r o d u ct  f r o m   th eir   ex p r ess io n   lev el,   r esear ch er s   d ev elo p   r o b u s t  FER  s y s tem s   u s in g   d ee p   lear n i n g   ar c h i tectu r e  s u ch   as  co n v o lu tio n al  n eu r al  n etwo r k s     ( C NN)   [ 1 0 ] ,  [ 1 1 ] .   C NN - b ased   FER  s y s tem s   ar e  d ev elo p e d   to   r ec o g n ize  cu s to m er s '   s e v en   k in d s   o f   f ac ial   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       C u s to mer’ s   s p o n ta n eo u s   fa cia l e xp r ess io n   r ec o g n itio n   ( Go la m  Mo r s h ed )   1437   ex p r ess io n s   f r o m   a  d if f er e n t  p er s p ec tiv e.   I n   co n s u m er   s cien ce ,   cu s to m er   em o tio n al  f ac to r s   ar e  clas s if ied   in to   two   m ain   ca teg o r ies  as  p o s it iv e  an d   n eg ativ e  [ 1 2 ] .   W h ile   o b s er v in g   a  s p ec if ic  p r o d u c t  b y   th e  cu s to m er ,   p o s itiv e  em o tio n   e n v o k es  th e   cu s to m er   to   ac ce p t  o r   p u r ch ase  it  [ 1 3 ] .   T h is   p o s itiv e  ex p r ess io n   is   o b s er v e d   f r o m   th eir   h ap p y   ex p r ess io n .   B esid es,  n eg ativ e  em o tio n s   b y   th e  cu s to m er   m o r e  lik ely   to   r ejec t  th e  p r o d u ct .  T h is   n eg ativ e  ex p r ess io n   ca n   b e  o b s er v ed   in   th eir   s ad   ex p r e s s io n .   T o   an aly ze   th e  cu s to m er   f ac ial  ex p r ess io n   b y   C NN  n etwo r k   we  ch o o s e  o n ly   th r ee   e x p r ess io n s   as h ap p y ,   s ad ,   an d   n eu tr al.   T h e  ex is tin g   m eth o d   f o r   f a cial  ex p r ess io n s   h as  s o m e  l im itatio n s .   T h e  two - d im e n s io n al   ( 2 D )   ap p ea r an ce - b ased   lo ca l  ap p r o ac h   f o r   th e   ex tr ac tio n   o f   in tr an s ien t  f ac ial  f ea tu r es  an d   r e co g n itio n   d o es  n o t   co n tain   en o u g h   f ea t u r e  p o in ts   wh ich   r esu lts   in   an   in co r r ec t  ac cu r ac y   r ate.   C u s to m er s   ten d   to   ac t  f aster   an d   ch an g e  th eir   e x p r ess io n s   s p o n tan eo u s ly .   T h e  e f f ec tiv e  way   to   u n d er s tan d   th e  cu s to m er ' s   n ee d s   is   to   an aly ze   th eir   s p o n tan eo u s   ex p r ess io n s .   Mo r eo v er ,   it  is   im p o r tan t  to   an aly ze   th e  s eq u en ce   o f   f ac i al  ex p r ess io n s   an d   r elate   th em   to   th e  ca s e  ev e n ts .   No n eth eless ,   n o   s tu d y   h as f o c u s ed   o n   th is   ar ea .   T h e  C NN - b ased   FER  s y s tem   s o lv ed   a  lo t  o f   p r o b lem s   s u ch   as  f r o n tal  f ac es,  n o is e,   an d   illu m in atio n   is s u es.  B y   im p lem en tin g   d r o p o u t  an d   c o n tr o llin g   o v er f itti n g ,   th e   C NN  n etwo r k   b ec o m es  m o r e   r o b u s t  [ 1 4 ] .   T h e  ac cu r ac y   o f   th e  C NN  n etwo r k   h ig h ly   d ep e n d ed   o n   th e  f e atu r e  ex tr ac tio n   tech n iq u e  a n d   class if ier .   I n   m o s t  o f   th e   C NN - b ased   s y s tem s ,   av ailab le  class if ier s   s u ch   as  s u p p o r t  v ec to r   m ac h in e ,   b a g g in g ,   etc  ar e   b ein g   u s ed   with   s o m e  lim itatio n s   [ 1 5 ] .   T o   tr ain   th e  C NN  n etwo r k   av ai lab le  f ac ial  ex p r ess io n   d ataset  is   b ein g   u s ed .   Du e   to   th e  lim itatio n   o f   th o s e  tech n iq u es  th e  C NN  n etwo r k   ac c u r ac y   r ate  was  r ed u ce d .   I n   th e  C NN  n etwo r k ,   th e  d ee p er   n etwo r k   ca n   h elp   to   i m p r o v e   th e  ac cu r ac y   r ate  in   t h e  tr ain in g   p r o ce s s   [ 1 6 ] .   I n   t h e  tr ain in g   p r o ce s s ,   ea ch   lay er   will  lear n   f r o m   th e   p o s s ib le  in p u t  v alu e  f r o m   th e  p r ev io u s   lay er s .   I f   th e  f ir s t  lay er   ca p tu r es  lo w - lev el  f ea tu r es,  th en   th e  n e x t  l ev el  will  also   ca p tu r e  lo w - le v el  f ea tu r es.  As  a  r esu lt,  ea c h   lay er   o f   th e  C NN  n etwo r k   is   tr ain e d   with   l o w - lev el  f ea tu r es  wh ic h   will  r ed u ce   th e  ac cu r ac y   le v el.   T o   o v e r co m e  th is   p r o b lem ,   m o r e  lay er s   n ee d   t o   b e  ad d e d   to   th e  C NN  n etwo r k   th at  will  h elp   to   lear n   f r o m   v a r io u s   lev els  o f   ab s tr ac tio n s .   I n   o u r   ex p e r im en t,  we  a p p lied   m u ltip le  lay er s   in   th e  tr ai n in g   p r o ce s s   to   im p r o v e  ac cu r ac y .     T h i s   p a p e r   p r es e n ts   f i n d i n g s   f r o m   t h e   s p o n t a n e o u s   f a c i al   e x p r e s s i o n   c l as s i f i c at i o n .   S ec t i o n   2   d e s c r i b es  t h e   r e l a te d   w o r k s   i n   t h is   f i e l d .   W e   p r es e n t   d at a   c o ll e c ti o n ,   d a ta   p r e - p r o c e s s i n g ,   a n d   o u r   f r a m e w o r k   i n   s e c t i o n   3 ,   f o l l o w e d   b y   t h e   e x p e r i m e n t   s e tt i n g ,   r e s u l ts ,   a n d   a n a l y s is   i n   s ec t i o n   4 .   F i n a ll y ,   t h e   c o n c l u s i o n s   a r e   d r a w n .       2.   B ACK G RO UND   C o n s u m er s   alwa y s   s h o w  th eir   r ea ctio n s   wh ile   b u y in g   a  p r o d u ct  o r   ex p er ien cin g   a   s er v ice .   Usu ally ,   th eir   r ea ctio n   r ef lects  s atis f a ctio n   o r   d is s atis f ac tio n .   I n   f a ce - to - f ac e  cu s to m er   s er v ice,   it   is   h ar d   to   d etec t  co n s u m er   f ee lin g s   o f   lik e  o r   d is lik e  if   th ey   co m e  f r o m   d if f er en t  co u n tr ies  an d   cu ltu r es  [ 1 7 ] .   An   et  a l .   [ 1 8 ] ,   wh en   s h o win g   d is s atis f ac tio n   to war d s   a  p r o d u ct  o r   s er v ice,   th e  co n s u m er   wh o   co m es  f r o m   ea s ter n   cu ltu r es   s h o ws  n eg ativ e  e m o ti o n s   r at h er   th a n   r aise  t h eir   v o ice.   T h u s ,   th e   im p o r tan ce   o f   u n d er s tan d in g   co n s u m er   ex p r ess io n s   h as  r ec ei v ed   s i g n if ican t  atten tio n   f r o m   r es ea r ch er s   in ten d in g   to   r ed u c e  th e  f ail u r e  r ate    o f   th e  co m p an y .   Lu   et  a l .  [ 1 9 ]   p r o p o s es  a  r ea l - tim e  au to m ated   r ec o m m en d e r   s y s tem   f o r   g ar m en ts   s ales.  T h e  v id e o - b ased   r ec o m m en d er   ( VAR)  s y s tem   is   d ev elo p ed   to   o b s er v e  t h e  cu s to m er ' s   em o tio n s   wh ile  tr y in g   th e  g ar m en t   p r o d u ct  in   f r o n t  o f   a   m ir r o r .   W ith   th e  h el p   o f   co m p u ter   v is io n   tech n iq u es  an d   cu s to m er   p r ef er en ce ,   th e   s y s tem   ca n   p r ed ict  th e  c u s to m er   d esire d   p r o d u ct  b ased   o n   th eir   f ac ial  e x p r ess io n s   also   r ec o m m e n d in g   th e  cu s to m er   p r ef e r en ce .   T h e  f ir s t  s tep   o f   th is   s y s tem   is   to   ca p tu r e  th e  c u s to m er ' s   r ea cti o n s   wh ile  tr y in g   o r   o b s er v in g   a   g ar m e n t  p r o d u ct  in   f r o n t  o f   th e  m i r r o r ,   u s in g   a  lo w - co s t  ca m er a.   T h e  n ex t  s tep   is   to   co m p ar e   cu s to m er   p r ef e r en ce   with   th e  f o ca l  cu s to m er   f r o m   an   alr ea d y   k n o wn   d atab ase.   T h e  last   s tep   is   to   r ec o m m en d   th e  cu s to m er   v a r io u s   p r o d u cts  b ased   o n   th eir   r ev iewin g .   T h e  VAR s y s tem   u s es v io la - j o n es [ 2 0 ]   f ac e  d etec to r s   to   d etec t  a  f ac e  in   ea ch   f r am e.   T o   ac h iev e  th e  b est  r esu lt,   o n ly   f r o n tal  f ac e  im ag e  f r am es  ar e  s elec ted   an d   p r o ce s s ed   to   th e  n e x t  s tep s .   Af ter   d etec tin g   th e  f ac e  f r o m   e ac h   f r am e,   t h e  f ac e  is   n o r m alize d   i n   illu m in atio n   an d   s ize  wh ich   will  b e  s e n t  f o r   f ea tu r e  ex tr ac tio n .   T h e  s u p p o r t  v ec to r   m ac h in e  ( SVM)   [ 2 1 ]   class if ier   is   u s ed   to   class if y   f ac ial  e x p r ess io n s .   T h e  ex p r ess io n   f alls   in to   t h r e e  s ch em as  as  p o s itiv e,   n e g ativ e,   an d   n e u tr al.   T h e   v o lu n teer s   f o r   th is   ex p er im en t   wer e  ask ed   to   en ac t  ea ch   ty p e  o f   f ac ial  ex p r ess io n   b ein g   h ap p y ,   u n h ap p y ,   a n d   n eu tr al  th r ee   tim es  wh ile  lo o k in g   at  th e   ca m er a.   T h en   th ey   wer e  ask ed   to   r ea d   t h e  g i v en   s en ten ce   to   ca p t u r e  th eir   f ac ial  r ea ctio n   n atu r ally .   T h e  g iv en   s en ten ce   was  p u r p o s ely   s tr u ctu r ed   to   tr ig g er   a  s p e cif ic  r ea ctio n   f r o m   th e  v o lu n teer s .   I n   th e  last   s tep ,   v o lu n teer s   wer e  ask ed   to   m a k e  a  p ar ticu lar   ex p r ess io n   ag ai n .   All  th e  s tep s   ar e   r ec o r d e d   as  a  v id eo   clip .   E ac h   v id eo   clip   was  th en   ex tr ac t ed   f r am e  b y   f r am e  an d   th e  b est  i m ag e  o f   ea ch   ex p r ess io n   was  m an u ally   p ic k ed .   T h e  ac c u r ac y   r ates  f o r   p o s itiv e,   n eu tr al,   an d   n eg ativ e  ar e  8 8 %,  8 1 %,  a n d   6 8 % r esp ec tiv ely .   L e  an d   Vea   [ 2 2 ]   d e v elo p e d   a  cu s to m er   f ac ial   ex p r ess io n   s y s tem   b y   u s in g   Kin ec t  s en s o r s .   T h ey   p r o p o s ed   two   m o d els  with   two   Kin ec t  s en s o r s   V1   an d   V2 .   T h o s e  s en s o r s   ca n   tr ac k   f ac ial  ap p ea r an ce   th r o u g h   a  t h r ee - d im en s io n al   ( 3D )   m a s k .   T h e  em o tio n   lab elin g   is   co n d u cte d   o f   th e  r ec o r d in g   o f   cu s to m er   f ac ial   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 ,  J u n e  2 0 2 1   :   1 4 3 6   -   1 4 4 5   1438   ex p r ess io n s   ev er y   5   s ec o n d s   f r o m   th eir   r ec o r d e d   v id e o .   I f   th e  cu s to m er   ex p r ess io n s   ar e  n o t  m atch ed   with   th eir   ex p ec ted   f ac ial  ex p r ess io n   th en   th ey   lev el  th is   ex p r ess io n   as  “Oth er s ”.   T o   ev alu ate  th e  s en s o r   p er f o r m an ce   f o u r   k i n d s   o f   c lass if ier s   ar e  b ein g   u s ed   s u c h   as  B ag g in g ,   J 4 8 ,   r a n d o m   f o r est,  an d   r a n d o m   c o m m ittee.   T h e   h ig h est  s u cc e s s   r ate  f o r   b o th   Kin ec t  V1   an d   Kin ec t  V2   is   ac h iev e d   u s in g   r an d o m   c o m m ittee  with   9 3 . 0 9 % a n d   8 7 . 4 4 %.    Nak an o   an d   Kato   [ 2 3 ]   d ev el o p ed   a  s y s tem   to   esti m ate  cu s to m er   e x p ec tatio n   an d   s atis f ac tio n   lev el   u s in g   a  t h r ee - d im e n s io n al  C NN.   Fro m   th e   cu s to m er ' s   f a cial  ex p r ess io n s   an d   b o d y   m o tio n s ,   th e   s y s tem   ev alu ates  th e  ex p ec tatio n   an d   s atis f ac tio n   lev el  o f   th e   c u s to m er .   T h e y   in tr o d u ce d   p e r ce p tio n   c o r r ec tio n   h y p o th eses   ( PC H)   to   ev alu at e  th e  m ar k etin g   f r o m   c o n s u m er   s atis f ac tio n   lev el.   PC H  co n d u ct  v o tin g   f o r   cu s to m er s ’   ex p ec tatio n   an d   s atis f ac tio n   lev el  b y   th e  h is to g r am .   T h e  h is to g r am   u s es  m ar k etin g   ev o l u tio n   as  a   class   an d   cu s to m er s   n u m b e r   a s   a  d eg r ee .   T h e  ex p e r im en t  o f   th e  p r o p o s ed   s y s tem   p r o v id ed   7 8 . 8 %  ac cu r ac y   f o r   cu s to m e r   ex p ec tatio n   an d   6 9 . 7 % is   o b tain e d   f r o m   th e  s at is f ac to r y   r esu lt.   Mo u lay   et   al .   [ 2 4 ]   u s ed   a  p atter n s   o f   o r ien ted   ed g e  m a g n itu d es   ( POEM )   d escr ip to r   an d   SVM   class if ier   to   r ec o g n ize  a  cu s to m er ' s   f ac ial  ex p r ess io n .   T h ey   f o cu s   o n   cu s to m er   f ac ial  ex p r ess io n s   o n   a  s p ec if ic  p r o d u ct.   T h e  ap p r o ac h   s y s tem   is   ev alu ated   u s in g   J ap an es e  f em ale  f ac ial  ex p r ess io n s   ( J AFFE )   [ 2 5 ]   d ata  s et.   J AFFE  d ata  s et  co n s i s ts   o f   2 1 3   im ag es  with   s ev en   b asic  ex p r ess io n s .   T h e  f ac es  ar e  tak e n   f r o m   1 0   J ap an ese   m o d els.  B ased   o n   th e  d if f er en t  f ac ial  ex p r ess io n s ,   th e   d atas et  is   d iv id ed   i n to   3   class es:  n eu tr al,   s atis f ied ,   an d   u n s atis f ied .   T h e  r esu lt  o b tain ed   f r o m   th is   ex p e r im en t  is   9 8 . 3 9 %  f o r   n e u tr al,   9 8 . 5 %  f o r   n o t  s atis f ied ,   an d   9 7 . 0 5 % f o r   s atis f ied .   San d ee p   d ev elo p ed   a  m o d el  to   d etec t  cu s to m er   f ac ial  ex p r e s s io n   b y   u s in g   n eu r al  n etwo r k   [ 2 6 ]   o n   a   VGG - 1 6   ar ch itectu r e.   T h e  V GG - 1 6   ar ch itectu r e   [ 2 7 ]   ca n   p r o ce s s   lar g e - s ca le  im ag e  r ec o g n itio n   a n d   ex t r ac t   f ea tu r es.  S.  K.   R am an i   [ 2 6 ] ,   th e  C NN  n etwo r k   is   co n s id er ed   as  th e  b aselin e  o f   th e  s y s t em   an d   it  u s es  th e  Go o g le  clo u d   p latf o r m   v is io n   ap p licatio n   p r o g r am m in g   i n te r f ac e   ( API )   f o r   f ac ial  ex p r ess i o n   d etec tio n   wh ic h   co u ld   also   h elp   to   m in im ize  th e  co m p u tatio n al  tim e  f o r   p r o ce s s in g   th e  im ag es.  T o   ca p tu r e  th e  co r r esp o n d i n g   ex p r ess io n   a  ca m er a  is   attac h ed   with   R asb er r y   Pi  wh ich   r e co r d s   th e  cu s to m e r ' s   f ac ial  ex p r ess io n   ev er y   f iv e   s ec o n d s .   T h e   in p u t  im ag es  a r e  u s ed   to   tr ain   th e  v is io n   AP I   an d   C NN  m o d el   to   class if y   im ag es  in to   s ev en   ex p r ess io n   ca teg o r ies.  T h e  s o f tm ax   f u n ctio n   is   wo r k ed   as  a n   o u tp u t   lay er   in   t h is   n etwo r k .   Af ter   tr ain in g   th e   n etwo r k ,   r esp o n s es  o f   th e  m o d el  will  b e  s to r ed   in   an   ar r ay .   Sin ce   weig h t  is   co n s id er ed   as  a  tim e - d ep en d en t   f u n ctio n ,   t h e  f in al  weig h t  will   b e  u s ed   as  th e  f in al  s co r e  f o r   th e  f ee d b ac k .   T h e  s co r e  is   th en   n o r m alize d   in   a  r an g e  o f   - 1   to   1 .   I f   th e  v alu e  is   o b tain ed   as  1   th en   th e  r esu lt   is   co n s id er ed   as  h ap p y ,   if   - 1   th en   th e  p er s o n   n o t   ha p p y   with   t h e  s er v ice  p r o v id ed .   On   th e  o th er   h an d ,   if   0   is   t h en   co n s id er ed   n e u tr al.   T o   o b s er v e   th e  p er f o r m an ce   o f   th e   p r o p o s ed   m o d el,   T h e   M& M  in itiativ e   ( MMI )   [ 2 8 ]   d atab ase  co n tain in g   a  s er ies  o f   v id e o s   o f   p eo p le  s h o win g   em o tio n s   is   u s ed .   2 0   im ag es  ar e  s ele cted   f r o m   ea ch   v i d eo   b y   ch an g in g   th e  tim ef r am e  to   a  s in g le  im ag e  b y   r ep ea tin g   o v er   th e  v ar ian ce s   b y   ap p ly in g   t h e   h ig h est  f ilter   f r o m   r ed u cin g   th e  f ilter   s ize  u n til  2 0   f r am es  ar e  g en er ated .   A v er ag e  ac cu r ac y   o f   8 6 . 6 %  is   o b tain ed .   2 0   m o s t  r ep r esen tativ e  im ag e s   ar e  s elec ted   b y   m in im al  ch an g es  in   t h e  tim ef r am e  as  a  s in g le  im a g e  b y   iter atin g   o v er   th e  d if f er e n ce s   u s in g   a  m a x im u m   f ilter   with   d ec r ea s in g   f ilter   s ize  u n til th e  in p u t im a g e  f r a m es a r e  o b tain ed .   Lu   et  a l .   [ 1 9 ] ,   a  co n v en tio n a l  co m p u ter   v is io n   tech n o lo g y   is   b ein g   u s ed   w h ich   is   n o t  ca p ab le  o f   d ea lin g   with   er r o n e o u s   in p u t s   an d   p ar am eter s .   I n   th e  s y s tem ,   th e  cu s to m er   p r e f er en ce s   ar e  ca lcu lated   b y   m atch in g   th e  r eg io n   o f   in ter es t  an d   g r o u p ed   th em   in to   s im ilar   r eg io n   ex p r ess io n s .   Du e  to   th e  lim itatio n   o f   th e  s y s tem ,   it  o n ly   a n aly ze s   1 0   f r am es  f o r   ea ch   s ec o n d   o f   3 0   f r am es - p er - s ec o n d   r ec o r d in g   wh ich   p r o d u ce s   er r o n e o u s   in p u ts   in   th is   s tep .   T h e  er r o r s   p r o d u ce d   in   th is   s tag e  ca n n o t  b e   r eso lv ed   as  a  C NN  n etwo r k .     L e  an d   Vea   [ 2 2 ] ,  Mo u la y   et   a l .   [ 2 4 ] ,   th e   s y s tem s   ar e  d e v elo p ed   u s in g   a  m u lticlas s   class if ier .   Sin ce   th e  s y s tem s   ar e  d ev elo p e d   u s in g   a  m u lticlas s   class if ier ,   it  r e q u ir es  m o r e  co m p u tatio n al   tim e  in   th e   tr ain in g   p r o ce s s .   Nak an o   an d   Kato   [ 2 3 ] ,   a   PC H  clas s if ier   is   in tr o d u ce d   in   th e  tr a in in g   p r o ce s s   with   a  lo w  ac cu r ac y   r ate.   T h e  m o d el  in   [ 2 6 ]   ca n   p r o ce s s   a  lar g e  s ca le  o f   d ata  b y   u s in g   3 r d   p a r ty   API   wh ich   is   n o t  cu s to m izab le  an d   n ee d s   to   p ay   f o r   ea c h   tim e   tr ain in g .       3.   RE S E ARCH   M E T H O D S    3 . 1 .    Da t a   c o llect io n a nd   p re - p ro ce s s ing   I m ag es  f o r   th r ee   ty p es  o f   f ac i al  ex p r ess io n s   ( n eu tr al,   h ap p y   an d   s ad )   ar e  co llected   in   r ea l - tim e.   T h e  m ain   ca m er a   is   p lace d   i n   f r o n t  o f   th e   s u b jects  to   e n ab le  t h e   r ea l - tim e  r ec o r d in g   o f   th e   f a cial  ex p r ess io n s   o f   th e  h u m an   f ac e  wh ile  th ey   ar e   o b s er v in g   a  s p ec if ic  p r o d u ct.   A  d ig ital c am er a  is   aim ed   d ir ec tly   at  th e  s u b ject’ s   f ac e  to   o b s er v e  th eir   ex p r ess io n .   T h e  ca m er a  is   p air ed   with   a  l in u x - b ased   o p er atin g   s y s tem   with   8 GB   R A M   an d   I n tel  i5   Pro ce s s o r .   T h e   im ag e  s eq u e n ce s   ar e  r ec o r d ed   3 0   f r am es  p er   s ec o n d .   A  t o tal  n u m b er   o f     5 3   s u b jects  p ar ticip ated   i n   th e   ex p er im en t   an d   r ec o r d ed   th ei r   th r ee   ty p es  o f   f ac ial  e x p r ess io n s .   E ac h   v id eo   is   r ec o r d e d   b etwe en   1 0 - 1 2   s ec .   T h en ,   a  v id eo   c o n tain in g   a  s p ec if ic  p r o d u ct  s lid esh o w  is   s h o wn   to   th e  s u b jects  as sh o wn   in   Fig u r e  1 .   T h e  s u b ject’ s   s p o n tan eo u s   ex p r ess io n   is   ca p tu r ed   wh ile  th ey   o b s er v e d   th e  p r o d u cts.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       C u s to mer’ s   s p o n ta n eo u s   fa cia l e xp r ess io n   r ec o g n itio n   ( Go la m  Mo r s h ed )   1439       Fig u r e  1 .   Data   g at h er in g   s etu p         T h e  wh o le  ex p er im en t  was  co n d u cted   with   m e d iu m   illu m in atio n   an d   p o s ed   o f   th e  f r o n tal   p r o f ile  s o   th at  th e  s y s tem   ca n   b e   ev alu at ed   in   d if f e r e n t  co n d itio n s .   I n   t h is   ex p er im en t,   o n ly   s p o n tan e o u s   ex p r ess io n   was  r ec o r d e d   wh ich   r e f er s   to   lo w - in ten s ity   f ac ial  ex p r ess io n s .   Ou r   p r o p o s ed   m o d el  is   d ev elo p ed   u s in g   two   d if f er en t  class if ier s   wh ich   ar e   SVM  [ 2 9 ]   an d   So f t m ax   [ 3 0 ] .   T h ese  m o d els  ar e  tr ain ed   u s in g   th e  FER2 0 1 3   d ataset  an d   co llected   r ea l - tim e  f ac ial  ex p r ess io n   im a g es  in   h ap p y ,   s ad ,   a n d   n e u r al  ca te g o r ies  as  s h o wn   in   Fig u r e s   2   an d   3 .   T h e  FER2 0 1 3   d ataset  co n s is ts   o f   b lu r r y   im ag es  an d   s o m e  o f   th e  im a g es  ar e  n o t  alig n ed   p r o p er l y   [ 3 1 ] .           Fig u r e  2 .   Data   s et  ex am p les – s ad   f ac e           Fig u r e  3 .   Data   s et  ex am p les – h ap p y   f ace   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 ,  J u n e  2 0 2 1   :   1 4 3 6   -   1 4 4 5   1440   C NN  is   o n e  o f   th e  class   o f   ar tific ial  n eu r al  n etwo r k s   wh ich   h av e  p r o v e n   an   e f f ec tiv e   an d   m o r e  ef f icien t  ter m   in   th e   ar ea   o f   i m ag e  r ec o g n itio n   a n d   class if i ca tio n .   I n   o u r   ex p er im en t,   we  p r o p o s e  two   m o d els   as  C NN - SV M  ( m o d el  A)   an d   C NN - So f tm ax   ( m o d el  B )   as  s h o wn   in   Fig u r e s   4   an d   5 .   B o th   m o d els  co n s is t  o f   a  co n v o lu tio n al  lay er ,   p o o lin g   lay er ,   r ec tifie d - lin er   f u lly   ( also   k n o wn   as  R eL u   lay er ) ,   c o n n ec ted   la y er ,   an d   class if icatio n   lay er   [ 3 2 ] .   T h e   o n ly   d if f er e n ce   in   th e  class if icatio n   lay er s   wh er e  m o d el   A  u s es  SVM  an d     m o d el  B   u s es So f tMa x   as th e  class if ier .           Fig u r e  4.   C NN - SVM  ( m o d el  A)           Fig u r e  5 .   C NN - So f tMa x   ( m o d el  B )       C o n v o lu tio n al  lay e r s   ar e  r esp o n s ib le  to   ca lcu late  th e  co n v o lu tio n   s p atially   o f   a   g r o u p   o f   n eu r o n s   alo n g   with   f ilter s   th at  ca n   b e  lear n ab le  [ 3 3 ] .   T h e  f ea tu r e  m ap s   ar e  cr ea ted   b y   ca lcu latin g   th e  d o t  p r o d u ct  o f   th e  f ilter   weig h ts   alo n g   with   th e  in p u t  n eu r o n s   th at   ar e  r esp o n s ib le  to   p ass   to   t h e  n ex t   c o r r esp o n d in g   lay e r   f o r   co m p u tatio n s   [ 3 4 ] .   E ac h   la y e r   is   f o r m ed   b ased   o n   k er n el  s ize,   d ep th ,   s tr id e,   a n d   p ad d in g .   T h e  k er n el   s ize  r ef er s   to   th e  s p atial  s ize  o f   th e  co n v o lu tio n al  f ilter .   Dep th   r e p r esen ts   th e  d ep th   o f   th e  f ilter ;  s tr id e  r ef er s   to   th e  s ize  o f   th e  s lid es  ac r o s s   a  lo c al  r eg io n   o f   t h e  in p u t  d ata  a n d   p ad d in g   r eg u lates  th e  e d g ed   p ad d e d   v alu e .   T h e   p o o lin g   lay e r   is   r esp o n s ib le  to   d ec r ea s e  th e  s p atial  d im en s io n   o f   th e  in p u t  [ 3 5 ] .   T h e  p r o ce s s   i s   o b tain ed   b y   p er f o r m in g   a  s lid in g   win d o w  o n   a  s in g le  d ep th   s lice.   T h is   tech n iq u e  is   u s ed   to   co m p u te  th e  av er ag e  o r   m ax im u m   v al u e  o f   th e  d im e n s io n al  lo ca tio n .   T h e  Re L u   l ay er   is   r esp o n s ib le  to   r em o v e   th e  n eg ativ e  v alu e   f r o m   th e  i n p u t   d ata   an d   r ep lac e  b y   th e   v alu e   ‘ 0 ’   [ 3 6 ] .   I n   t h e  f u lly   c o n n ec ted   lay e r ,   th e   n e u r o n s '   s p atial  s ize  is   d ec r ea s ed   to   1 * 1   m atr ix .   T h e   class if icatio n   lay er   is   r esp o n s ib le  to   m ea s u r e  th e   p r e d icted   p r o b ab ilit ies  an d   lab el  th em   in to   r esp ec tiv e  class es.  Ho wev er ,   o u r   m o d el  A  u s es  a  m u lticla s s   cla s s if ier   S VM   in s tead   o f   th e   s o f tm ax   f u n ctio n   d ev el o p ed   b y   Vap n ik   [ 3 7 ] .   T h e  o u tp u t  o f   th e  r esu lt  will  b e  tr an s lated   in to   ca s e     y  ∈   {− 1 ,   + 1 )   as in   [ 3 8 ] .       min 1   ‖ ‖ 2 2 + ∁   ∑ ma x ( 0 , 1 −   ′   ( + ) ) 2 = 1   ( 1 )     ( ) =   ∑ = 1   ( 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       C u s to mer’ s   s p o n ta n eo u s   fa cia l e xp r ess io n   r ec o g n itio n   ( Go la m  Mo r s h ed )   1441   I n   m o d el  B ,   th e  s o f tm ax   f u n ct io n   is   im p lem en ted   to   class if y   th e  m u ltip le  class es.  I n   th is   e x p er im en t,   th e  s o f tm ax   f u n ctio n   is   u s ed   b ec au s e  th e  s o f tm ax   is   wel l  k n o wn   n o r m alize d   f u n ctio n   to   r e ac t  with   th e  b lu r r y   im ag es  r ath er   th an   o th e r   s tan d ar d   n o r m ali za tio n .   I n   ( 2 )   r e f er s   th e  So f tMa x   f u n ctio n   [ 3 9 ] .   On ce   th e  C NN  n etwo r k   is   tr ain e d ,   o u r   p r o p o s ed   s y s tem   is   test ed   with   th e   tr ain ed   C NN  n etwo r k   an d   th e   r esu lts   ar e  as  s h o wn   in   Fig u r e s   6   an d   7 .             Fig u r e  6 .   R ea l - tim e  f ac ial  ex p r ess io n   ex p er im en t -   s ad   f ac e     Fig u r e  7 .   R ea l - tim e  f ac ial  ex p r ess io n   ex p er im en t - h ap p y   f ac e       3. 2 .     F r a m ewo r k   T h e  p r o p o s ed   m eth o d   is   d ev e lo p ed   u s in g   th e  C NN  n etwo r k   an d   tr ain ed   u s in g   o n l y   h ap p y ,   s ad ,   an d   n eu tr al  im ag es.  T h e  f ir s t step   is   im ag e  p r e - p r o ce s s in g   wh ich   i n v o lv es d ata  au g m en tatio n   an d   n o r m a lizatio n   a s   s h o wn   in   Fig u r e  8 .   T h e  d ata  au g m en tatio n   in v o lv es  s ca lin g   an d   r o tatio n   a n d   t h e  n o r m al izatio n   p r o ce s s   is   to   r ed u ce   th e  illu m in atio n   an d   p o s e  o f   th e  in p u t  im ag e.   T h e   f ac e  is   d etec ted   u s in g   Vio la - J o n es  [ 2 0 ]   al g o r ith m   d etec tio n   th en   cr o p p ed   an d   n o r m alize d   as  64 x 6 4   p ix els.  T h en   th e  f ac ial  p ar ts   ar e  ex tr a cted   an d   r esized   as     3 2 x 6 4   p i x els .   Af ter   th e   p r ep r o ce s s in g   s tep ,   th e  im ag es  ar e   f e d   to   th e   C NN  n etwo r k   t o   class if y   th e  im a g es  in to   th r ee   ca teg o r ies  as  h ap p y ,   s ad ,   an d   n e u tr al .   T h e  m ai n   co n ce p t  o f   C NN  is   th at  it  ex tr ac t s   f ac ial  in f o r m atio n   th r o u g h   its   weig h t  an d   f ield   s h ar in g   p r o ce s s .   T h e  n u m b er   o f   tr ain ed   p ar am eter s   is   r ed u ce d   in   th e  s h a r in g   p r o ce s s   an d   th e  p r o p a g atio n   o f   im ag e  in f o r m atio n   th r o u g h   t h e  lay er s   ar e  b ein g   ca lcu lated   b y   co n v o l u tio n   in   th e  tr ain in g   p r o ce s s .   I n   th e   l ast  s tag e,   th e  b ac k - p r o p ag ati o n   alg o r ith m   is   ap p lied   to   t h o s e  im ag es  w h ich   p r o v id e  a  m ax im u m   v alu e  o f   1   to   d etec t  co r r ec t  f ac ial  ex p r ess io n .   W e  to o k   th e  m ax im u m   n u m b e r   1   f o r   th e   ex p ec ted   ex p r ess io n   an d   0   f o r   o th er   ex p r ess io n s .   T h ese  v alu es  ar e  ca lcu lated   in   th e  f in al  lay er   o f   th e  s o f tm a x   f u n ctio n .   I n   th e  test in g   p h as e,   ea ch   in p u t  f r am e   will  b e   m atch ed   with   th e   g iv e n   tr ain ed   C NN  m o d el  to   r ec o g n ize  th e   f ac ial  ex p r ess io n   o f   th e   cu s to m er   wh ile  o b s er v in g   th e  p r o d u ct.           Fig u r e  8 .  Ov e r all  f r am ewo r k       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 ,  J u n e  2 0 2 1   :   1 4 3 6   -   1 4 4 5   1442   4.   RE SU L T S AN D  AN AL Y SI S   T h e  f ac e  lan d m a r k s   an d   h is to g r am   o f   o r ien ted   g r ad ien ts   ( H OG )   f ea tu r es  ar e  ex tr ac ted   an d   f ed   in to   a   m u lti - class   SVM  an d   So f tm ax   class if ier .   I n   o u r   ex p e r im en t,  we  im p lem en t  f ac ial  lan d m a r k   an d   HOG  f ea tu r e   lay er s   in   b o th   m o d els.  T ab le  1   s h o ws  th e  clas s if icatio n   r es u lts   f o r   m o d el  A  an d   m o d el  B .   B ased   o n   T ab le  1 ,   m o d el  B   g iv es  a  h ig h e r   ac cu r ac y   r esu lt  i n   co m p ar is o n   to   m o d el  A  i n   all  e x p er im e n ts .   T h e  tr ain in g   tim e  f o r   th e  o b tain ed   r esu lt  is   5 0 2 1   s ec o n d s   o n   c o r e  i5   a n d   L in u x - b ased   o p er atin g   s y s tem .   Fig u r e  9   s h o ws  th e   ac cu r ac y   r esu lt  o f   m o d el  A  a n d   m o d el  B .   T h e   x - ax is   r ep r esen ts   th e  ex p er im en t  t y p e  an d   th e  y - ax is   r ep r esen ts   th e  ac cu r ac y   r ate  o f   m o d els  A  an d   B .   B ased   o n   T ab le  1 ,   m o d el  A' s   ac cu r ac y   is   s lig h tl y   lo wer   co m p a r ed   to   m o d el  B   b y   4 . 5 %.   T h is   r esu l t  d if f er s   b ec a u s e  in   C NN  o v er f itti n g   is s u e  an d   f u lly   c o n n ec t  lay er   u n ab le  to   ex tr ac t  th e  in f o r m atio n   f r o m   p r ev io u s   lay e r s   [ 3 0 ] .   B esid es,  a d d in g   m o r e   f ea tu r es  f o r   ea ch   m o d el  ca n   im p r o v e   th e  ac cu r ac y   r ate.   I n   o u r   m o d el  B ,   o n e  ex tr a  f u lly   co n n ec te d   lay er   was  ad d ed   to   im p r o v e   th e  ac cu r ac y   lev el.   B ased   o n   Fig u r e  9 ,   w e  ch o o s e   m o d el  B   in   t h e  n e x t  ex p e r im e n t  s in ce   it  p r o v id es  m o r e   ac cu r ac y   th an   m o d el   A.   T h e  ac cu r ac y   p er ce n ta g e  is   ca lcu lated   b y   u s in g   ( 3 ) .   Fr o m   T ab le   2 ,   it  ca n   b e   co n clu d ed   th at   th e   h ap p y   ex p r ess io n   h as  t h e  h i g h est  s u cc ess   r ate  wh ich   is   8 9 %  an d   t h e  n eu t r al  ex p r ess io n   wh ich   s u cc ess   r ate  is   8 4 %  an d   th e  lo west su cc ess   r ate  is   th e  s ad   ex p r es s io n   wh ich   is   7 5 %.             Fig u r e  9 .   C o m p a r is o n   b etwe e n   m o d el  A  a n d   m o d el  B       T ab le  1 .   C lass if icatio n   r esu lt f o r   m o d el  A  an d   m o d el  B   Ex p e r i m e n t s   M o d e l   A   M o d e l   B   C N N     7 2 . 4 %   7 3 . 5 %   C N N   +   F a c i a l   La n d mar k s   7 3 . 5 %   7 4 . 4 %   C N N   +   F a c i a l   La n d mar k s  +   H O G   6 8 . 7 %   7 3 . 2 %   C N N   +   F a c i a l   La n d mar k s  +   H O G   +   S l i d i n g   W i n d o w s   7 1 . 5 %   7 5 . 5 %         =  +   +  +  +    ( 3 )       T ab le  2 .   C o n f u s io n   m atr ix   f o r   h ap p y ,   s ad   an d   n eu tr al  e x p r ess io n   F a c i a l   Ex p r e ss i o n     P r e d i c t e d   H a p p y   A c t u a l   Tr u e   N e g a t i v e   -   6   F a l se   P o s i t i v e - 4   F a l se   N e g a t i v e -   2   Tr u e   P o s i t i v e - 41   S a d   A c t u a l   Tr u e   N e g a t i v e   -   12   F a l se   P o s i t i v e - 3   F a l se   N e g a t i v e -   10   Tr u e   P o s i t i v e - 28   N e u t r a l   A c t u a l   Tr u e   N e g a t i v e   -   8   F a l se   P o s i t i v e - 5   F a l se   N e g a t i v e -   3   Tr u e   P o s i t i v e - 37       T ab le  3   s h o ws  th e  ac cu r ac y   lev el  o f   th e  cu s to m er ' s   th r ee   k in d s   o f   f ac ial  ex p r ess io n s   f o r   d if f er en t   p r o p o s ed   m o d els.  B ased   o n   t h e  tab le  t h e  a v ailab le  class if ier   is   b ein g   u s ed   to   class if y   th e  cu s to m er   f ac ial   ex p r ess io n   in to   d if f er e n t  ca teg o r ies.  L u   et  a l.   [ 1 9 ] ,   cu s t o m er   r ea ctio n   is   b ein g   o b s er v ed   to   ca p tu r e  th e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       C u s to mer’ s   s p o n ta n eo u s   fa cia l e xp r ess io n   r ec o g n itio n   ( Go la m  Mo r s h ed )   1443   cu s to m er   p r ef e r en ce s   an d   ac h iev ed   s u cc ess   r ates  f o r   p o s itiv e,   n eu tr al,   an d   n eg ativ e  a r e  8 8 %,  8 1 %,  an d   6 8 %  r esp ec tiv ely .   Nak an o   a n d   Kat o   [ 2 3 ] ,   th e  m o d el  is   d ev elo p e d   u s in g   th e  C NN  n etwo r k   an d   a ch iev ed   7 8 . 8 %  ac cu r ac y   f o r   c u s to m er   e x p ec t atio n   an d   6 9 . 7 %  f o r   s atis f ac tio n .   I n   th eir   m o d el,   th e  PC H  class if ier   was  ap p lied   in   th eir   tr ain in g   p r o ce s s   to   o b tain   th e  r esu lt.  L e  an d   Vea   [ 2 2 ] ,   Kin ec t  b ased   c u s to m ized   f ea tu r e  ex tr ac tio n   tech n iq u e  is   u s ed   i n   th eir   m o d el.   VGG - 1 6   ar c h itectu r e  is   b ein g   u s ed   with   a  C NN - b ased   f ea tu r e   ex tr ac tio n   tech n iq u e   an d   ac h iev e d   an   av er ag e  s u cc ess   r ate  o f   8 6 . 6 %   [ 2 6 ] .   I n   o u r   p r o p o s ed   m o d el,   a   f u lly   m u lti - co n n ec t   lay er   is   ap p lied   in   th e   tr ain in g   p r o ce s s   with   s o f tm ax   f u n c t io n   wh ich   h el p s   th e  m o d el  t o   o b tain   its   h ig h est  ac cu r ac y   r esu lt  f r o m   th e  g i v e n   in p u t   an d   p r o v id e  a   s u cc ess   r ate  o f   8 9   %  as  h ap p y ,   7 5 %  as  s ad ,   an d   8 4 %  as   n eu tr al.   B ased   o n   th ese  r esu lts ,   it is   p r o v en   t h at  o u r   p r o p o s ed   m o d el  h as a   b etter   p er f o r m an ce   co m p ar e d   to   th e   ex is tin g   s tu d ies m en tio n ed   in   T ab le  3 .       T ab le  3 .   C o m p a r is o n   b etwe en   o th er   m o d els   S y st e m   C l a s si f i e r   F e a t u r e   e x t r a c t i o n   A c c u r a c y   ( %)   A   v i d e o - b a se d   a u t o ma t e d   r e c o m me n d e r   ( V A R )   sy st e m f o r   g a r me n t s   [ 1 9 ] .   S V M   Lo c a l   b i n a r y   p a t t e r n   ( LB P )   H a p p y - 8 8 %,   n e u t r a l - 8 1 %  a n d   s a d   6 8 %   P o t e n t i a l i t y   o f   3 D   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s t o   e st i ma t e   c u st o mer   e x p e c t a t i o n   a n d   s a t i sf a c t i o n   [ 2 3 ] .   P e r c e p t i o n   c o r r e c t i o n   h y p o t h e s e s   ( P C H )   C N N   B a se d   f e a t u r e   e x t r a c t i o n   A v e r a g e   a c c u r a c y   l e v e l   6 9 . 7 %   A   c u s t o mer  e mo t i o n   r e c o g n i t i o n   t h r o u g h   f a c i a l   e x p r e ss i o n   u s i n g   k i n e c t   se n s o r s  v 1   a n d   v 2   [ 2 2 ]   B a g g i n g ,   J4 8 ,   R a n d o m  F o r e st ,   a n d   R a n d o m  C o mm i t t e e   K i n e c t   b a se d   c u s t o mi z e d   f e a t u r e   e x t r a c t i o n .   F o r   se n s o r   k i n e c t   v 1   u si n g   C #   a n d   k i n e c t   v 2   u s i n g   c + +   A v e r a g e   a c c u r a c y   f o r   sen s o r   V 1     B a g g i n g - 9 0 . 4 5 %   J4 8 - 8 8 . 5 4 %   R a n d o m f o r e s t - 9 1 . 8 7 %   R a n d o m  c o mm i t t e e - 9 3 . 0 8 9 %   A v e r a g e   a c c u r a c y   f o r   sen s o r   V 2     B a g g i n g - 8 3 . 0 5 %   J4 8 - 7 9 . 3 8 %   R a n d o m f o r e s t - 8 5 . 3 2 %   R a n d o m  c o mm i t t e e - 8 7 . 4 4 %   F a c i a l   e x p r e ss i o n   d e t e c t i o n   u s i n g   n e u r a l   n e t w o r k   f o r   c u st o mer - b a se d   s e r v i c e   [ 2 6 ]   S o f t ma x   C N N   b a se d   f e a t u r e   e x t r a c t i o n .   A v e r a g e   a c c u r a c y   r a t e   8 6 . 6 %   P r o p o se d   m e t h o d   S o f t ma x   F a c e   l a n d mar k ,   H O G   a n d   sl i d i n g   w i n d o w     H a p p y   -   8 9   %,   n e u t r a l   -   8 4 %,   s a d   -   7 5 %         5.   CO NCLU SI O N   T h e  m ain   p u r p o s e   o f   th is   r e s ea r ch   is   to   r ec o g n ize  h u m a n   ex p r ess io n   in   co n s u m e r   s c ien ce   an d   co m p ar e  it  to   th e  ex is tin g   m eth o d s   in   th e  f ac ial  ex p r ess io n   f ield   o f   s tu d y .   C u r r en tly ,   th e  s y s tem   is   lim i ted   to   r ec o g n ize  o n ly   th r ee   k in d s   o f   f ac ial  ex p r ess io n s   as  h ap p y ,   s ad ,   an d   n eu tr al.   F o r   f u t u r e  wo r k ,   o u r   s tu d ies  will   b e  ex ten d ed   to   m o r e  ex p r ess io n s .   I n   o u r   ex p er im en t,  we  a ch iev ed   8 9 %,   7 5 %,  an d   8 4 %  ac cu r ac y   r esu lts   in   h ap p y ,   s ad ,   a n d   n eu tr al   ex p r ess io n s   wh ich   ca n   b e  im p r o v ed   b y   u s in g   a   m u lti - class   class if ier   in   th e     tr ain in g   p r o ce s s .       A CK NO WL E DG E M E NT S   T h e  au t h o r s   f u lly   ac k n o wled g ed   Un i v er s iti  Ma lay s ia  Sar a wak   f o r   th e   s u p p o r t   wh ich   m ak es  th is   im p o r tan t stu d y   v iab le  a n d   ef f ec tiv e .       RE F E R E NC E S   [1 ]   R.   Zh i ,   X.  Hu ,   C.   Wan g ,  a n d   S .   Li u ,   “ De v e lo p m e n t  o f  a   d irec t  m a p p in g   m o d e l  b e twe e n   h e d o n ic  ra ti n g   a n d   fa c ial  re sp o n se s  b y   d y n a m ic  fa c ial  e x p re ss io n   re p re se n tatio n , ”   Fo o d   Re se a rc h   In ter n a t io n a l ,   v o l.   1 3 7 ,  No v .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j. fo o d re s. 2 0 2 0 . 1 0 9 4 1 1 .   [2 ]   S .   S .  S a m a n t ,  M .   J .  C h a p k o   a n d   H.  S e o ,   “ P re d ictin g   c o n su m e r  li k in g   a n d   p re fe re n c e   b a se d   o n   e m o ti o n a l  re sp o n se s   a n d   se n so r y   p e rc e p ti o n :  A  st u d y   with   b a sic   tas te  so lu ti o n s ,”   Fo o d   Res e a rc h   In ter n a ti o n a l,   v o l.   1 0 0 ,   p p .   3 2 5 - 3 3 4 ,  Ju l.   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 / j. fo o d re s. 2 0 1 7 . 0 7 . 0 2 1 .   [3 ]   S .   G .   M o o re ,   “ Atti tu d e   p re d ict a b il it y   a n d   h e l p fu l n e ss   in   o n l in e   re v iew s :  Th e   ro le  o f  e x p lai n e d   a c ti o n s  a n d   re a c ti o n s , ”   J o u rn a l  o f  C o n s u me r R e se a rc h ,  v o l.   4 2 ,   n o .   1 ,   p p .   3 0 - 44 ,   2 0 1 5 ,   d o i:   h tt p s:/ /d o i. o rg / 1 0 . 1 0 9 3 /j c r/ u c v 0 0 3 .   [4 ]   M .   D .   R o c k lag e . ,   a n d   R.   H .   F a z io ,   “ T h e   e n h a n c in g   v e rsu s   b a c k firi n g   e ffe c ts  o f   p o siti v e   e m o ti o n   in   c o n su m e r   re v ie ws , ”   J o u rn a l  o f  M a rk e ti n g   R e se a rc h ,   v o l .   57 ,   n o .  2 ,   p p .   3 3 2 - 3 5 2 ,   F e b .   2 0 2 0 ,   d o i:   1 0 . 1 1 7 7 /0 0 2 2 2 4 3 7 1 9 8 9 2 5 9 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 ,  J u n e  2 0 2 1   :   1 4 3 6   -   1 4 4 5   1444   [5 ]   N.  Hu ss a in ,   H.   Ujir,   I .   Hip i n y   a n d   J.   L.   M in o i. ,   “ 3 D  fa c ial  a c ti o n   u n i ts  re c o g n it i o n   f o r  e m o ti o n a l  e x p re ss io n , ”   In ter n a t io n a l  J o u rn a l  o f  Rec e n t  T e c h n o l o g y   a n d   En g i n e e rin g ,   v o l.   8 ,   n o .   2 8 ,   p p .   1 3 1 7 - 1 3 2 3 ,   2 0 1 9 .   [6 ]   L.   J.   Ha rriso n - Walk e r ,   “ T h e   e ffe c t  o f   c o n su m e r  e m o ti o n s   o n   o u tc o m e   b e h a v i o rs  f o ll o wi n g   se rv ice   f a il u re ,”   J o u rn a l   o f  S e rv ice s M a rk e ti n g ,  v o l .   33 ,   n o .   3 ,   p p .   2 8 5 – 3 0 2 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 0 8 /JS M - 04 - 2 0 1 8 - 0 1 2 4 .   [7 ]   H.  Ujir   a n d   M .   S p a n n ,   “ S u rfa c e   n o rm a ls   with   m o d u lar   a p p r o a c h   a n d   we i g h ted   v o t in g   sc h e m e   in   3 D   fa c ial  e x p re ss io n   c las sifica ti o n , ”   In ter n a ti o n a l   J o u r n a l   o f  C o mp u ter   a n d   In fo rm a ti o n   T e c h n o lo g y ,   v ol .   3 ,   n o .   5 ,     p p .   9 0 9 - 9 1 8 ,   S e p .   2 0 1 4 .   [8 ]   P .   Tarn o ws k i .,  M.  Ko l o d z iej,   A .   M a jk o ws k i   a n d   R .   J.  Ra k .,   “ E m o ti o n   re c o g n it io n   u si n g   fa c ial  e x p re ss io n s ,”   i n   ICCS ,   p p .   1 1 7 5 - 1 1 8 4 ,   Ju n .   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 /j . p ro c s. 2 0 1 7 . 0 5 . 0 2 5 .   [9 ]   J.  Yu a n .,  S.  M c d o n o u g h . ,   Q.  Y o u . ,   a n d   J.  Lu o ,   “ S e n tr ib u te:  ima g e   se n ti m e n t  a n a ly s is f r o m   a   m id - lev e l  p e rsp e c ti v e , ”   i n   Pr o c e e d in g s  o f  t h e   S e c o n d   I n te rn a ti o n a l  W o rk sh o p   o n   Iss u e s  o f   S e n ti me n t   Disc o v e ry   a n d   Op i n io n   M i n in g ,  2 0 1 3 ,   p p .   1 - 8 ,   d o i:   1 0 . 1 1 4 5 /2 5 0 2 0 6 9 . 2 5 0 2 0 7 9 .   [1 0 ]   G .   Yo lcu . ,   I.   Oz tel,   S.  K a z a n ,   C .   Oz   a n d   F .   Bu n y a k ,   “ De e p   lea rn in g - b a se d   fa c e   a n a ly sis  sy ste m   f o r  m o n it o ri n g   c u sto m e r  in tere st,”  J o u rn a l  o f  A mb ien t  In telli g e n c e   a n d   H u ma n ize d   Co mp u ti n g ,   v o l.   11 ,   n o .   1 ,   p p .   237 - 2 4 8 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /s1 2 6 5 2 - 0 1 9 - 0 1 3 1 0 - 5 .   [1 1 ]   H.  Zh a n g . ,   A.   Jo lfae i ,   a n d   M .   Ala z a b ,   “ A  fa c e   e m o ti o n   re c o g n it i o n   m e th o d   u sin g   c o n v o l u ti o n a l   n e u r a l  n e two r k   a n d   ima g e   e d g e   c o m p u t in g , ”   IEE E  Acc e ss ,   v o l .   7 ,  p p .   1 5 9 0 8 1 - 1 5 9 0 8 9 ,   Oc t.   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 /ACCE S S . 2 0 1 9 . 2 9 4 9 7 4 1 .   [1 2 ]   P .   M .   A.   De sm e t ,   “ F a c e s  o f  p ro d u c t  p lea su re :  2 5   p o siti v e   e m o ti o n s  in   h u m a n - p ro d u c t  in tera c ti o n s , ”   In ter n a t io n a l   J o u rn a l  of   De sig n ,   v o l .  6 ,   n o .   2 ,   De c .   2 0 1 2 .    [1 3 ]   M .   S .   Ba laji   a n d   A.   Qu a z i,   “ Cu sto m e rs’  e m o ti o n   re g u lat io n   stra teg ie s  in   se rv ice   fa il u re   e n c o u n t e rs,”   Eu ro p e a n   J o u rn a l  o f  M a rk e ti n g ,  v o l.   5 1 ,   n o .   5 /6 ,   p p .   9 6 0 - 9 8 2 ,   2 0 1 7 ,   d o i:   1 0 . 1 1 0 8 /E JM - 03 - 2 0 1 5 - 0 1 6 9 .   [1 4 ]   A.  D.  G a v ril o v ,   A.  J o rd a c h e ,   M.  Va sd a n i  a n d   J.  De n g ,   “ P re v e n ti n g   m o d e l  o v e rfit ti n g   a n d   u n d e rfi tt in g   i n  c o n v o lu ti o n a l  n e u ra l   n e two r k s,”   In ter n a ti o n a l   J o u r n a l   o f  S o ft wa re   S c ien c e   a n d   C o mp u ta ti o n a l  In telli g e n c e   (IJ S S CI) ,   v o l .   10 ,   n o .   4 ,   p p .   19 - 28 ,  De c .   2 0 1 8 ,   d o i :  1 0 . 4 0 1 8 /IJS S CI. 2 0 1 8 1 0 0 1 0 2 .   [1 5 ]   K.  M o h a n ,   A.  S e a l,   O.  Kre jca r  a n d   Ya z id i,   “ A.  F ER - n e t:   F a c ial  e x p re ss io n   re c o g n it io n   u si n g   d e e p   n e u ra l   n e t, ”   Ne u ra l  Co m p u t in g   a n d   Ap p li c a t io n s ,  p p .   1 - 12 ,   2 0 2 1 ,   d o i:   1 0 . 1 0 0 7 /s 0 0 5 2 1 - 0 2 0 - 0 5 6 7 6 - y .     [1 6 ]   T.  Vijay a k u m a r. ,   “ Co m p a ra ti v e   stu d y   o f  c a p su le  n e u ra l  n e two rk   in   v a rio u s  a p p li c a ti o n s,”   J o u rn a l  o f  Arti fi c ia l   In telli g e n c e ,   v o l.   1 ,   n o .   1,   p p .   19 - 27 ,   2 0 1 9 ,   d o i:   1 0 . 3 6 5 4 8 / jaic n . 2 0 1 9 . 1 . 0 0 3 .   [1 7 ]   C.   H.  S a m p a io ,  W.   J.  Lad e i ra ,   a n d   F .   D.  O.  S a n ti n i ,   “ Ap p s  fo r  m o b il e   b a n k in g   a n d   c u st o m e r  sa ti sfa c ti o n :  A  c ro ss - c u lt u ra l  st u d y ,”   I n ter n a ti o n a l   J o u rn a l   o f   Ba n k   M a rk e ti n g ,  v o l .   35 ,   n o .   7 ,   p p .   1 1 3 3 – 1 1 5 3 ,   2 0 1 7 ,    d o i:   1 0 . 1 1 0 8 /IJBM - 09 - 2 0 1 5 - 0 1 4 6     [1 8 ]   K.  An ,   M .   K.  H u i  a n d   K.  Leu n g ,   “ Wh o   s h o u ld   b e   re sp o n sib le ?   Eff e c ts  of   v o ice   a n d   c o m p e n sa ti o n   o n   re sp o n si b il it y   a tt rib u t io n ,   p e rc e iv e d   j u stice ,   a n d   p o st‐c o m p lai n t  b e h a v i o rs  a c ro ss   c u lt u re s ,”   I n ter n a t io n a l   J o u r n a l   o f   Co n fl ic t   M a n a g e me n t ,  v o l.   12 ,   n o .   4 ,   p p .   3 5 0 – 3 6 4 ,   2 0 0 1 ,   d o i:   1 0 . 1 1 0 8 /eb 0 2 2 8 6 3 .   [1 9 ]   S.  Lu ,   L.   Xia o   a n d   M .   Din g ,   “ A  v id e o - b a se d   a u t o m a ted   re c o m m e n d e r  (VA R)  sy ste m   fo r  g a rm e n ts ,”   M a rk e ti n g   S c ien c e ,  v o l.   35 ,   n o .   3 ,   p p .   4 8 4 - 5 1 0 ,   2 0 1 6 ,   d o i:   1 0 . 1 2 8 7 /mk sc . 2 0 1 6 . 0 9 8 4 .   [2 0 ]   N.  T.   De sh p a n d e   a n d   S .   Ra v ish a n k a r,   “ F a c e   d e tec ti o n   a n d   re c o g n it io n   u sin g   Vi o la - Jo n e s  a l g o r it h m   a n d   f u si o n   o f   P CA an d   AN N ,”   A d v a n c e s i n   Co mp u ta ti o n a l   S c ien c e s a n d   T e c h n o lo g y ,   v o l. 10 ,   n o .   5 ,   p p .   1 1 7 3 - 1 1 8 9 ,   2 0 1 7 .   [2 1 ]   S.  Ku m a r,   S.   S in g h   a n d   J.   Ku m a r,   “ M u lt i p le  fa c e   d e tec ti o n   u sin g   h y b ri d   fe a tu re s  wit h   S VM  c las s ifi e r ,”   i n   Da t a   a n d   Co mm u n ica ti o n   Ne two rk s ,  p p .   2 5 3 - 2 6 5 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 0 7 /9 7 8 - 9 8 1 - 13 - 2 2 5 4 - 9 _ 2 3 .   [2 2 ]   H.  T.   Le   a n d   L.   A .   Ve a ,   “ A  c u sto m e r  e m o ti o n   re c o g n it i o n   th r o u g h   fa c ial  e x p re ss io n   u sin g   k i n e c t  se n so r  v 1   a n d   v 2 :   A  c o m p e ra ti v e   a n a ly sis ,”   i n   P ro c e e d in g s  o f  t h e   1 0 th   I n ter n a t io n a l  C o n fer e n c e   o n   Ub i q u it o u s  In fo rm a ti o n   M a n a g e me n t  a n d   C o mm u n ica ti o n ,  2 0 1 9 ,   p p .   1 - 7 ,   d o i:   1 0 . 1 1 4 5 /2 8 5 7 5 4 6 . 2 8 5 7 6 2 8 .   [2 3 ]   T.  Na k a n o   a n d   S.  Ka to ,   “ P o ten ti a li ty   o f  3 D  c o n v o lu t io n a l  n e u ra l  n e two rk s  to   e stim a te  c u sto m e r  e x p e c tatio n   a n d   sa ti sfa c ti o n , ”   2 0 1 7   I EE E  6 th   Glo b a l  Co n fer e n c e   o n   Co n su m e r  El e c tro n ics   (GCCE),   2 0 1 7 ,   p p .   1 - 4,   d o i :   1 0 . 1 1 0 9 /G CCE. 2 0 1 7 . 8 2 2 9 3 9 1 .   [2 4 ]   M .   S .   Bo u z a k ra o u i ,   A.  S a d iq ,   a n d   N.  E n n e y a ,   “ A  c u sto m e r  e m o t io n   re c o g n it io n   t h ro u g h   fa c ial  e x p re ss io n   u sin g   P OE M  d e sc rip t o r  a n d   S V M   c las si fier,”   i n   Pro c e e d in g s o f  t h e   2 n d   i n ter n a ti o n a l  C o n fer e n c e   o n   Bi g   Da ta ,   Cl o u d   a n d   Ap p li c a ti o n s ,  2 0 1 7 ,   p p .   1 - 6 ,   d o i:   1 0 . 1 1 4 5 / 3 0 9 0 3 5 4 . 3 0 9 0 4 3 6 .    [2 5 ]   M .   J.   Ly o n s,   M .   Ka m a c h i ,   a n d   J.  G y o b a ,   “ Ja p a n e se   fe m a le  fa c ial  e x p re ss io n s   (JA F F E), ”   Da t a b a se   o f   d i g it a l   ima g e s ,   v o l.   3 ,  1 9 9 7 .   [2 6 ]   S .   K.  Ra m a n i ,   “ F a c ial  e x p re ss io n   d e tec ti o n   u sin g   n e u ra l  n e two rk   f o r  c u sto m e r  b a se d   se rv ice ,”   In   2 0 1 8   In ter n a ti o n a l   Co n fer e n c e   o n   C o mp u ter ,   C o mm u n ica ti o n ,   a n d   S ig n a l  Pr o c e ss in g   (ICCCS P) ,   p p .   1 - 4 ,   F e b .   2 0 1 8 ,   d o i:   1 0 . 1 1 0 9 /ICCC S P . 2 0 1 8 . 8 4 5 2 8 6 4 .   [2 7 ]   A.  Ca ro p p o ,  A.  Leo n e ,   a n d   P.  S icili a n o ,   “ Co m p a riso n   b e twe e n   d e e p   lea rn in g   m o d e ls  a n d   trad i ti o n a l  m a c h in e   lea rn in g   a p p ro a c h e s  f o r   fa c ial  e x p re ss io n   re c o g n it i o n   i n   a g e in g   a d u lt s ,”   J o u r n a l   o f   Co mp u te r  S c ien c e   a n d   T e c h n o l o g y ,   v o l.   35 ,   n o .   5 ,   p p .   1 1 2 7 - 1 1 4 6 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /s1 1 3 9 0 - 0 2 0 - 9 6 6 5 - 4 .   [2 8 ]   M .   F .   Va lstar  a n d   M .   P a n ti c . ,   “ In d u c e d   d is g u st,  h a p p in e ss   a n d   su rp rise :  a n   a d d it i o n   t o   t h e   M M I  f a c ial  e x p re ss io n   d a ta b a se , ”   i n   Pro c e e d i n g s  o f  I n ter n a ti o n a l  C o n fer e n c e   L a n g u a g e   Res o u rc e s  a n d   Eva lu a ti o n ,   W o rk sh o p   o n   EM OTION ,  2 0 1 0 ,   p p .   65 - 70 .   [2 9 ]   X.  Qi,   T.  Wan g   a n d   J.   Li u ,   “ Co m p a riso n   o f   su p p o rt  v e c to r  m a c h i n e   a n d   S o ftma x   c las sifiers   in   c o m p u ter  v isio n ,”   i n   2 0 1 7   S e c o n d   I n ter n a ti o n a l   Co n f e re n c e   o n   M e c h a n ica l,   Co n tro l   a n d   Co m p u ter   En g in e e rin g   (IC M CCE) ,  2 0 1 7 ,     p p .   1 5 1 - 1 5 5 ,   d o i:   1 0 . 1 1 0 9 /ICM C CE. 2 0 1 7 . 4 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       C u s to mer’ s   s p o n ta n eo u s   fa cia l e xp r ess io n   r ec o g n itio n   ( Go la m  Mo r s h ed )   1445   [3 0 ]   J.  S h a o   a n d   Y.  Qia n ,   “ Th re e   c o n v o l u ti o n a l  n e u ra l  n e two rk   m o d e l s  fo r  fa c ial  e x p re ss io n   re c o g n it io n   in   t h e   wild , ”   Ne u ro c o mp u ti n g ,   v o l .   3 5 5 ,  p p .   82 - 92 ,   Au g .   2 0 1 9 ,   d o i :  1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 9 . 0 5 . 0 0 5 .   [3 1 ]   G ian n o p o u lo s,   P a n a g io ti s,  I .   P e rik o s   a n d   I .   Ha tzily g e ro u d is,   “ De e p   lea rn in g   a p p ro a c h e s   fo r   fa c ial  e m o ti o n   re c o g n i ti o n :  A   c a se   stu d y   o n   F E R - 2 0 1 3 , ”   Ad v a n c e s  i n   Hy b ri d iza t io n   o f   I n telli g e n t   M e th o d s ,   p p .   1 - 1 6 ,   2 0 1 8 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 6 6 7 9 0 - 4 _ 1 .   [3 2 ]   J.  Va n   Kle e f,   “ T o wa rd s  h u m a n - li k e   p e rf o rm a n c e   fa c e   d e tec ti o n :  A  c o n v o l u ti o n a l  n e u ra l  n e tw o rk   a p p r o a c h , ”   Un ive rs it y   o f  T we n te ,  2 0 1 6 .   [3 3 ]   G .   Lin   a n d   W.  S h e n ,   “ Re se a rc h   o n   c o n v o lu t io n a l  n e u ra l  n e two rk   b a se d   o n   imp r o v e d   Re L u   p iec e wise   a c ti v a ti o n   fu n c ti o n , ”   Pr o c e d ia   c o mp u ter   sc ien c e ,   v o l .   1 3 1 ,  p p .   9 7 7 - 9 8 4 ,   2 0 1 8 ,   d o i:   1 0 . 1 0 1 6 / j. p r o c s.2 0 1 8 . 0 4 . 2 3 9 .   [3 4 ]   N.  M a ,   X.  Zh a n g ,   H.  T .   Zh e n g   a n d   J.  S u n ,   “ S h u ff len e t  v 2 :  P ra c ti c a l  g u i d e li n e s  fo r  e fficie n t  CN N  a rc h it e c tu re   d e sig n ,”   i n   Pr o c e e d in g s  o f  t h e   Eu ro p e a n   c o n fer e n c e   o n   c o mp u ter   v isio n   (ECCV ) ,  2 0 1 8 ,   p p .   1 1 6 - 1 3 1 ,     d o i:   1 0 . 1 0 0 7 /9 7 8 - 3 - 0 3 0 - 0 1 2 6 4 - 9 _ 8 .   [3 5 ]   S.  Re n ,   K.  He ,  R.   G irs h ick ,   X.  Z h a n g   a n d   J.   S u n ,   “ Ob jec t  d e tec ti o n   n e two r k s  o n   c o n v o l u ti o n a l  fe a t u r e   m a p s , ”   IEE E   Tr a n sa c ti o n s  o n   Pa tt e rn   An a l y sis  and  M a c h in e   In telli g e n c e , ”   v o l.   39 ,   n o .   7 ,   1 4 7 6 - 1 4 8 1 ,   2 0 1 6 ,  d o i:   1 0 . 1 1 0 9 / TP AMI. 2 0 1 6 . 2 6 0 1 0 9 9 .   [3 6 ]   A.  F .   Ag a ra p ,   “ De e p   lea rn in g   u si n g   re c ti fied   li n e a r  u n it s   (Re L u ), ”   a rXiv p re p ri n t  a rX iv:   1 8 0 3 . 0 8 3 7 5 ,  2 0 1 8 .   [3 7 ]   C.   Co r tes   a n d   V.   Va p n i k ,   “ S u p p o rt - v e c to r  n et wo r k s,”   M a c h i n e   L e a rn in g ,   v o l.   2 0 ,   n o .   3 ,  p p .   273 – 2 9 7 ,   1 9 9 5 ,     d o i:   1 0 . 1 0 0 7 /BF 0 0 9 9 4 0 1 8 .   [3 8 ]   T.  Zh a n g ,   W.  Zh e n g ,   Z.  C u i ,  Y.   Zo n g ,   J.   Ya n   a n d   K.  Ya n ,   “ A  d e e p   n e u ra l  n e two r k - d r iv e n   fe a tu re   l e a rn in g   m e th o d   fo r  m u lt i - v iew   fa c ial  e x p re ss io n   re c o g n it i o n , ”   IEE E   T ra n sa c ti o n s   o n   M u lt ime d i a ,   v o l.   18 ,   n o .   1 2 ,   p p .   2 5 2 8 - 2 5 3 6 ,  2 0 1 6 ,   d o i:   1 0 . 1 1 0 9 / TM M . 2 0 1 6 . 2 5 9 8 0 9 2 .   [3 9 ]   L.   Ch e n ,  M .   Zh o u ,   W.   S u ,   M .   Wu ,  J .   S h e   a n d   K.   Hir o ta,   “ S o f tma x   re g re ss io n   b a se d   d e e p   sp a r se   a u to e n c o d e r  n e two rk   fo r   fa c ial  e m o ti o n   re c o g n it i o n   i n   h u m a n - ro b o t  i n tera c ti o n , ”   I n f o rm a ti o n   S c ien c e s ,   v o l.   428 ,  p p .   49 - 61 ,  2 0 1 8 ,   d o i:   1 0 . 1 0 1 6 / j. i n s.2 0 1 7 . 1 0 . 0 4 4 .       B I O G RAP H I E S O F   AUTH O RS        G o la m   M o r shed   is   c u rre n tl y   wo rk i n g   a s  a   C h ief  Tec h n o lo g y   Offic e r  a t  H M N  g ro u p   o f   c o m p a n ies   a n d   S e n io r   S o ftwa re   En g i n e e r  a t  Ac c o u n t S o ft   E n terp r ise   S d n   B h d .   He   g ra d u a te d   fro m   Un i v e rsiti   M a lay sia   S a ra wa k   i n   2 0 1 8   wit h   a   b a c h e l o r’s  d e g re e   in   c o m p u ter  sc ien c e   (S o ftwa re   En g in e e ri n g ).         H a m im a h   Ujir   is  c u rre n tl y   a   S e n io r  Lec tu re r  a t  F C S IT,   UN IM AS.   S h e   re c e iv e d   h e r  P h D  fr o m   Un iv e rsity   o f   Birmi n g h a m ,   Un it e d   Ki n g d o m   in   2 0 1 3 .   Ha m ima h ’s  re se a rc h   in tere sts  lay   in   th e   in terd isc ip li n a ry   field   o f  c o m p u t e r  v isio n ,   with   re late d   in tere sts  b e in g   in   c o m p u ter  g ra p h ics ,   ima g e   p ro c e ss in g ,   a n d   m a th e m a ti c a l  m e th o d s.   He r  p re v io u s  a n d   c u rre n t   wo rk s   in c l u d e   3 D   p h y sic a l  sim u latio n   a n d   3 D  sta ti c   a n d   d y n a m ic  fa c ial  e x p re ss io n   a n a ly sis.  S h e   a lso   c o n d u c ted   re se a rc h   wo rk s o n   a c a d e m ic q u a li ty   i n   h i g h e r  e d u c a ti o n .           Ir wa n d i   g ra d u a ted   with   a   P h D  i n   Co m p u ter  Visio n   fro m   Un i v e rsity   o f  Brist o l  b a c k   in   2 0 1 4 .   He   a lso   h o ld s  a n   M S c   (2 0 0 7 )  a n d   a   BS c   ( 2 0 0 3 )  fr o m   Un iv e rsiti   Tek n o lo g i   M a lay sia .   He   is   c u rre n tl y   se rv in g   a s  th e   De p u ty   D e a n   o f  Un d e rg ra d u a tes   a t  th e   F a c u lt y   o f  C o m p u te r  S c ien c e   &   In fo rm a ti o n   Tec h n o lo g y ,   Un i v e rsiti   M a lay sia   S a ra wa k .   His  re se a rc h   in tere sts  a re ,   b u t  n o t   li m it e d   to ,   C o m p u ter  Visio n ,   P a tt e rn   M a tch in g   a n d   A u g m e n te d   Re a li ty .   M o re   sp e c ifi c a ll y ,   h e   is  a c ti v e ly   p u rsu i n g   re se a rc h   g ra n ts/p o stg ra d u a tes   o n   th e   to p ics   o f  Visu a l  An ima l  Bio m e tri c   a n d   t h e   u se   o f   Au g m e n te d   Re a li ty   (AR) fo r  As siste d   L iv i n g / Ed u c a ti o n .     Evaluation Warning : The document was created with Spire.PDF for Python.