T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   1 8 ,   No .   5 Octo b er   2 0 2 0 ,   p p .   2 4 6 3 ~ 2 4 7 1   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 8 i 5 . 1 6 7 1 7     2463       J o ur na ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Dev elo pment of  video - ba sed emo ti o n recog nition us i ng     deep learning   wit h G o o g le Cola b       T eddy   Su ry a   G un a wa n 1 ,   Ar s ela n Ash ra f 2 ,   B o b S ub ha Riza 3   E dy   Vict o H a ry a nto 4 ,   Rik a   Ro s nelly 5 ,   M ira   K a rt iwi 6 ,   Z uria t i J a nin 7   1, 2 De p a rtme n o El e c tri c a a n d   C o m p u ter E n g in e e rin g ,   I n tern a ti o n a Isla m ic Un iv e rsity   M a lay sia ,   M a lay sia   1, 3, 4, 5 Fa c u lt y   o f   En g in e e rin g   a n d   Co m p u ter  S c ien c e ,   Un i v e rsitas   P o ten si Ut a m a ,   In d o n e sia   6 De p a rtem e n o In f o rm a ti o n   S y st e m s,  In tern a ti o n a Isla m ic Un iv e r sity   M a lay sia ,   M a lay sia   7 F a c u lt y   o El e c tri c a E n g i n e e rin g ,   Un iv e rsit Tek n o l o g i   M ARA ,   M a lay sia         Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   17 2 0 2 0   R ev is ed   Ap r   29 2 0 2 0   Acc ep ted   May   11 2 0 2 0       Emo ti o n   re c o g n it io n   u sin g   ima g e s,  v i d e o s,   o r   sp e e c h   a s i n p u t   is co n sid e re d   a s   a   h o t   t o p ic   in   t h e   field   o re se a rc h   o v e s o m e   y e a rs.  W it h   t h e   i n tr o d u c t io n   o d e e p   lea rn i n g   tec h n iq u e s,  e . g . ,   c o n v o lu ti o n a l   n e u ra n e two rk s   (CN N),  a p p li e d   in   e m o ti o n   re c o g n i ti o n ,   h a p r o d u c e d   p r o m isin g   re su lt s.  H u m a n   fa c ial   e x p re ss io n a re   c o n sid e re d   a c rit ica c o m p o n e n ts  in   u n d e rsta n d in g   o n e ' e m o ti o n s.   T h is  p a p e sh e d li g h o n   re c o g n izi n g   t h e   e m o ti o n u sin g   d e e p   lea rn in g   tec h n i q u e fro m   t h e   v i d e o s.  T h e   m e th o d o l o g y   o t h e   r e c o g n it i o n   p ro c e ss ,   a lo n g   with   it d e sc rip t io n ,   is  p ro v id e d   in   t h is  p a p e r.   S o m e   o   th e   v i d e o - b a se d   d a tas e ts  u se d   i n   m a n y   sc h o larly   w o rk a re   a lso   e x a m in e d .   Re su lt o b tain e d   fro m   d iffere n e m o ti o n   re c o g n it i o n   m o d e ls  a re   p re se n ted   a lo n g   wit h   th e ir   p e rfo rm a n c e   p a r a m e ters .   An   e x p e rime n t   wa c a rr ied   o u t   o n   th e   fe r2 0 1 3   d a tas e i n   G o o g le C o l a b   fo r   d e p re ss io n   d e tec ti o n ,   wh ich   c a m e   o u t   to   b e   9 7 %   a c c u ra te o n   th e   train i n g   se a n d   5 7 . 4 %   a c c u ra te o n   t h e   t e stin g   se t.   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k s   Dee p   lear n in g   E m o tio n   r ec o g n itio n   Go o g le  C o lab   Ma ch in lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   T ed d y   Su r y Gu n awa n ,   Dep ar tm en t o f   E lectr ical  an d   C o m p u ter   E n g in ee r in g ,   I n ter n atio n al  I s lam ic  Un iv er s ity   Ma lay s ia,   Ma lay s ia.   E m ail:  ts g u n awa n @ iiu m . ed u . m y       1.   I NT RO D UCT I O N   I n   th p ast  f ew  y ea r s ,   em o tio n   r ec o g n itio n   h as  b ec o m o n o f   th lead in g   to p ics  in   th f ield   o f   m ac h in e   lear n in g   an d   a r tific ial  in tellig en ce .   T h tr em en d o u s   i n cr ea s in   th d ev elo p m e n o f   s o p h is ticated     h u m an - c o m p u ter   i n ter ac tio n   tech n o lo g ies  h as  f u r th er   b o o s ted   th e   p ac e   o f   p r o g r ess   in   th is   f ield .   Facial  ac tio n s   co n v ey   th em o tio n s ,   wh ich ,   i n   tu r n ,   co n v ey   p er s o n s   p er s o n ality ,   m o o d ,   a n d   i n ten tio n s .     E m o tio n s   u s u ally   d ep en d   u p o n   th f ac ial  f ea tu r es  o f   an   in d iv id u al  alo n g   with   th v o ice.   Nev er th eless ,   th er e   ar s o m o th er   f ea tu r es a s   well,   n am ely   p h y s io lo g ical  f ea tu r es,  s o cial  f ea tu r es,  p h y s ical  f ea tu r es o f   th b o d y ,   a n d   m an y   m o r e .   Mo r an d   m o r wo r k   h as  b ee n   d o n to   r ec o g n ize  em o tio n s   with   m o r ac cu r ac y   a n d   p r ec is io n .   T h tar g et  o f   em o tio n   r ec o g n itio n   ca n   b ac h iev ed   b r o ad l y   u s in g   v is u al - b ased   tech n iq u es  o r   s o u n d - b ased   tech n iq u es.   Ar tific ial  in tellig en ce   h as r ev o lu tio n ized   th f ield   o f   h u m an - co m p u ter   i n ter ac tio n   an d   p r o v id es m an y   m ac h in e   lear n in g   tec h n iq u es  t o   r ea c h   o u r   aim .   T h er e   ar e   m an y   m ac h i n lear n in g   t ec h n iq u es  to   r ec o g n ize  th e   em o tio n ,   b u th is   p ap e r   will  m o s tly   f o c u s   o n   v id e o - b ased   e m o tio n   r ec o g n itio n   u s in g   d ee p   lear n in g .   Vi d eo - b ased   e m o tio n   r ec o g n itio n   is   m u ltid is cip lin ar y   an d   in cl u d es  f ield s   lik p s y c h o lo g y ,   af f ec tiv c o m p u tin g ,   a n d   h u m an - c o m p u ter   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 8 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 6 3   -   2471   2464   i n ter ac tio n .   T h f u n d am en tal  p iece   o f   th m ess ag is   th f ac ial  ex p r ess io n ,   wh ich   estab lis h es  5 5 o f   th g e n er al   im p r ess io n   [ 1 ] .   T o   m ak well - f itted   m o d el  f o r   v id eo - b ased   em o tio n   r ec o g n i tio n ,   th er m u s b p r o p er   f ea t u r f r am es   o f   th f ac ial  ex p r ess io n   wi th in   th s co p e.   I n s tead   o f   u s in g   co n v en tio n al  tech n iq u es,  d ee p   lear n in g   p r o v id es     v ar iety   in   ter m s   o f   ac cu r ac y ,   lear n in g   r ate,   a n d   p r ed ictio n .   co n v o lu tio n al  n eu r al  n etwo r k s   ( C NN)   is   o n o f   th d ee p   lear n in g   tech n iq u es   wh ich   h av p r o v id ed   s u p p o r an d   p lat f o r m   f o r   a n aly zi n g   v is u al  im ag er y .   C o n v o lu tio n   is   th f u n d am en tal  u s o f   f ilter   to   a n   in p u t   th at  o u tco m e   in   an   ac t u atio n .   R eh ash ed   u s o f     s im ilar   f ilter   to   an   in p u b r i n g s   ab o u m ap   o f   en ac tm e n ts   ca lled   f ea tu r m ap ,   s h o win g   th ar ea s   an d   q u ality   o f   a   r ec o g n ized   ele m en in   in p u t,  f o r   e x am p le,   p ictu r e.   T h d ev el o p m e n o f   co n v o lu tio n   n eu r al  s y s tem s   is     th ca p ac ity   to   co n s eq u e n tly   g ain   p r o f icien c y   with   an   en o r m o u s   n u m b e r   o f   f ilter s   in   eq u al  ex p licit  to   tr ain in g   d ataset  u n d er   th r eq u ir em en ts   o f   p a r ticu lar   p r escien d is p lay in g   is s u e,   f o r   ex am p le,   p ictu r ch ar ac ter izatio n .   T h o u tco m is   p r o f o u n d ly   e x p licit  h ig h lig h ts   th at  ca n   b d is tin g u is h ed   an y wh e r o n   i n p u p ictu r es.  Dee p   lear n in g   h as  ac h iev e d   g r ea s u cc ess   in   r ec o g n izi n g   em o tio n s ,   an d   C NN  is   t h well - k n o wn   d ee p   lear n in g   m et h o d   th at  h as a ch iev ed   r em ar k a b le  p er f o r m an ce   in   im a g p r o ce s s in g .     T h er h as  b ee n   g r ea d ea o f   wo r k   in   v is u al  p atter n   r ec o g n itio n   f o r   f ac ial  em o tio n al  ex p r ess io n   r ec o g n itio n ,   ju s as   in   s ig n al  p r o ce s s in g   f o r   s o u n d - b ased   r e co g n itio n   o f   f ee lin g s .   Nu m er o u s   m u ltimo d al   ap p r o ac h es  ar jo in in g   th ese  p r o m p ts   [ 2 ] .   Ov er   th p ast  d ec a d es,  th er h as  b ee n   ex ten s iv r esear ch   in   co m p u ter   v is io n   o n   f ac ial  e x p r ess io n   a n aly s is   [ 3 ] .   T h e   o b jectiv e   o f   th is   p ap e r   is   to   d ev el o p   v i d eo - b ased   em o tio r ec o g n itio n   u s in g   d ee p   lear n i n g   with   Go o g le  c o llab .       2.   VIDE O - B AS E E M O T I O N   RE CO G NI T I O US I NG   D E E P   L E AR NING   A L G O RI T H M S   I n   th is   s ec tio n ,   d etails  o f   th e   g en e r al  ar c h itectu r f o r   b u ild in g   a   v i d eo - b ased   em o tio n   r ec o g n itio n   m o d el  u s in g   d ee p   l ea r n i n g   a lg o r ith m   is   d escr ib e d .   Mo r eo v er ,   th ar c h itectu r al  d ia g r am ,   alo n g   with   v ar io u s   p r e -   a n d   p o s t - p r o ce s s in g   p r o c ess es ,   ar b r ief ly   d escr ib ed .   T h o v er v iew  o f   t h s y s tem   u s in g   C NN   is   s h o wn   in   Fig u r 1 .   B ef o r e   C NN  co m es in to   ac tio n ,   t h in p u t v id eo   h as to   g o   t h r o u g h   s ev er al   p r o ce s s es.           Fig u r 1 .   Vid e o - b ased   em o tio n   r ec o g n itio n   u s in g   d ee p   lear n in g   alg o r ith m s       2 . 1 .     P re - pro ce s s ing   T h is   is   th f ir s t p r o ce s s   th at   is   ap p lied   to   th in p u v id eo   s am p le.   E m o tio n s   ar u s u ally   ca te g o r ized   as   h ap p y ,   s ad ,   a n g er ,   p r i d e,   f ea r ,   s u r p r is e,   etc.   Hen ce ,   f r am e s   ar to   b e x tr ac te d   f r o m   t h in p u v id eo   [ 4 ] .     T h n u m b er   o f   f r am es  v a r ies  f o r   d if f e r en r esear ch e r s   b ased   o n   co m p lex ity   an d   co m p u tatio n al  tim e.   T h f r a m es  ar th en   co n v er ted   to   th g r a y s ca le.   T h f r am o b tain ed   a f ter   g r a y   s ca lin g   is   s o m ewh at  b lac k   an d   wh ite  o r   g r a m o n o c h r o m e.   T h c o n tr ast  with   lo w - in ten s ity   r esu lts   in   g r ey   an d   th at  with   s tr o n g   i n ten s ity   r esu lts   in   wh ite  [ 5 ].   T h is   s tep   is   f o llo wed   b y   th e   h i s to g r am   eq u aliza tio n   o f   th f r a m es.  His to g r am   eq u aliza tio n   is   co m p u ter   p ictu r e   h an d lin g   s tr ateg y   u s ed   to   im p r o v e   co n tr ast  in   p ictu r es.   I t   ac h iev es  th is   b y   v iab l y   s p r e ad in g   o u th e   m o s s u cc ess iv in ten s ity   esteem s ,   f o r   ex am p le ,   lo o s en in g   u p   t h in ten s ity   s co p o f   th p ictu r e.   h is to g r am   is     g r ap h ical  p o r tr ay al  o f   th in ten s ity   d is s em in atio n   o f   p ictu r e.   I n   s tr aig h tf o r war d   te r m s ,   it  r ep r esen ts     th n u m b er   o f   p ix els f o r   ev er y   in ten s ity   v alu co n s id er ed   [ 6 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Dev elo p men t o f v id eo - b a s ed   e mo tio n   r ec o g n itio n   u s in g   d ee p   lea r n in g   w ith …  ( Ted d S u r y a   Gu n a w a n )   2465   2 . 2 .     F a ce   det ec t io n   E m o tio n s   ar f ea tu r ed   m ain l y   f r o m   th f ac e.   T h e r ef o r e ,   it  is   cr u cial   to   d etec th f ac t o   o b tain   f ac ial  f ea tu r es  f o r   f u r t h er   p r o ce s s in g   an d   r ec o g n itio n .   Ma n y   f ac d etec tio n   alg o r ith m s   a r u s ed   b y   m an y   r esear ch er s   lik Op en C V,   DL I B ,   E ig en f ac es,  lo ca b in ar y   p atter n s   h is to g r am s   ( L B PH) ,   an d   Vio la - J o n es  ( VJ)  [ 7 ] .   C o n v en ti o n al  alg o r ith m s   in clu d ed   f ac ac k n o wled g m e n wo r k   b y   d is tin g u is h in g   f ac ial  h ig h l ig h ts   b y   ex tr icatin g   h ig h lig h ts ,   o r   m iles to n es,  f r o m   th p ictu r o f   th f ac e.   Fo r   i n s tan ce ,   to   ex tr icate   f ac ial  h ig h lig h ts ,   ca lcu latio n   m ay   ex am in th s h ap an d   s ize  o f   th ey es,  th s ize  o f   t h n o s e,   an d   its   r elativ s itu atio n   with   th ey es.    I m ig h lik ewise  d is s ec th ch ee k b o n es  an d   jaw.   T h ese  ex tr a cted   h ig h lig h ts   wo u ld   th e n   b u tili ze d   f o r   lo o k i n g   th r o u g h   d if f er en p ictu r es  th at  h av m atch in g   f ea tu r es.  T h r o u g h o u th e   y e ar s ,   th i n d u s tr y   h as  m o v ed   to war d s   d ee p   l ea r n in g .   C NN   ha s   b ee n   u tili ze d   r ec en tly   to   im p r o v e   th ex ac tn ess   o f   f ac ac k n o wled g m en t c alcu latio n s .   T h ese  ca lcu latio n s   ac ce p p ictu r as  in f o r m atio n   an d   c o n ce n tr ate  a   p r o f o u n d ly   in tr i ca te  ar r an g e m en o f   f ea tu r e s   o u o f   th p ict u r e.   T h ese  in co r p o r ate  f ea tu r es  lik t h wid th   o f   th f ac e,   t h s tatu r o f   f ac e,   t h wid th   o f   th n o s e,   lip s ,   ey es,  p r o p o r ti o n   o f   wid th s ,   s k in   s h ad in g   to n e,   an d   s u r f ac e.   E s s en tially ,   co n v o lu ti o n al  n eu r al   n etwo r k   s ep ar ates  an   en o r m o u s   n u m b er   o f   h ig h lig h ts   f r o m   p ictu r e.   T h ese  h ig h lig h ts   ar th en   co o r d i n ated   with   th o n es p u t a wa y   in   th d atab ase.     2 . 3 .     I ma g cr o pp ing   a nd   re s izing   I n   th is   p h ase,   th f ac d etec ted   b y   th f ac d etec tio n   alg o r i th m   is   cr o p p ed   to   o b tain   b r o ad er   a n d   clea r er   lo o k   o f   th f ac ial  im ag e.   C r o p p in g   is   th ex p u ls io n   o f   u n d esira b le  ex ter n al  r eg io n s   f r o m   p h o to g r ap h i c   o r   illu s tr ated   p ictu r e.   T h p r o c ed u r e ,   as a   r u le,   co m p r is es o f   th ex p u ls io n   o f   p o r tio n   o f   th f r in g r eg i o n s   o f   p ictu r e   to   ex p el   in cid en tal   r u b b is h   f r o m   th e   im ag e,   to   im p r o v e   its   s u r r o u n d i n g ,   to   c h a n g th e   p e r s p ec tiv p r o p o r tio n ,   o r   to   h ig h lig h o r   d is en g ag th to p ic  f r o m   its   b ac k g r o u n d .   Af ter   p er f o r m i n g   cr o p p in g   o p er atio n   o n   th f r am es ,   th s ize  o f   th im a g es  v ar ies.  T h er ef o r e ,   to   attain   u n if o r m ity ,   th ese  cr o p p ed   i m ag es  ar s u b jecte d   to   r esizin g ,   s ay   f o r   o u r   ex am p le  8 0 ×8 0   p ix els.  d ig ital  im a g is   ju s in f o r m atio n   n u m b er s   s h o win g   v ar ieties  o f   r ed ,   g r ee n ,   an d   b lu at  s p e cif ic  ar ea   o n   f r am ewo r k   o f   p ix els.  Mo r o f ten   t h an   n o t,  we  s ee   th ese  p ix els as   s m aller   th an   n o r m al  s q u ar e   s h ap es  s an d wich ed   to g et h er   o n   PC   s cr ee n .   W ith   litt le  in v en tiv r ea s o n in g   an d   s o m lo wer - lev el  co n tr o o f   p ix els  with   co d e,   in   an y   ca s e,   w ca n   s h o th at  d ata  in   h o r d o f   way s .   T h s ize   o f   th f r am d eter m in es  its   p r o ce s s in g   tim e.   Hen ce ,   r esizin g   is   v er y   im p o r tan to   s h o r ten   th p r o ce s s in g   tim e.   Mo r eo v er ,   b etter   r esizin g   tech n iq u es  s h o u ld   b u s ed   to   p r eser v im ag attr ib u tes  af ter   r esizin g   [ 8 ].     T h ac cu r ac y   o f   th class if icat io n   d ep en d s   o n   wh eth er   th f e atu r es  ar well  r ep r esen tin g   th ex p r ess io n   o r   n o t .   T h er ef o r e ,   th o p tim izatio n   o f   th s elec ted   f ea tu r es will a u to m atica lly   im p r o v e   class if icati o n   ac cu r ac y   [ 9 ] .     2 . 4 .    CNN  s t ruct ure  wit h Co nv Net   C NN   is   d ee p   l ea r n i n g   al g o r ith m   t h at   ca n   tak e   in   a n   i n f o   p ictu r e,   allo ca te  s ig n if ican ce   ( lear n ab le   lo ad s   an d   b ias)  to   d if f er en v iewp o in ts   in   th p ictu r an d   h av th o p tio n   to   s ep ar ate  o n f r o m   th o th er .     T h p r e - p r e p ar in g   r eq u i r ed   in   C o n v Net  is   lo o f   lo we r   wh en   co n t r asted   with   o th e r   al g o r ith m s .   W h ile  in   cr u d e   te ch n iq u es ,   f ilter s   ar e   h an d - d esig n e d ,   with   en o u g h   p r ep ar atio n ,   C o n v Nets  ca n   g et   f am iliar   with   th ese   q u alities .   T h en g in ee r in g   o f   a   C o n v Net   is   p r etty   m u ch   s im il ar   to   th at  o f   n eu r o n s   in   th h u m an   b r ain   an d   was  en liv en ed   b y   th ass o ciatio n   o f   th Vis u al  C o r tex .   Sin g u lar   n eu r o n s   r ea ct  to   im p r o v em e n ts   ju s in   co n f in e d   lo ca le  o f   th v is u al  f ield   k n o wn   as  th r ec ep tiv f ield .   An   ass o r tm en o f   s u c h   f ield s   o v er lap s   t o   co v er     th wh o le  v is u al  zo n [ 1 0 ].   C o n v Net  is   an   ar r an g em en o f   lay er s ,   an d   ea c h   lay er   o f   a   C o n v Net  ch an g es o n v o lu m o f   in itiatio n s   to   an o t h er   t h r o u g h   d if f er en t iab le  f u n cti o n .   T h er e   ar e   th r e p r im ar y   k in d s   o f   la y er s   to   co n s tr u ct  C o n v Net   m o d els:   co n v o lu tio n al   lay er ,   p o o lin g   lay e r ,   an d   f u lly - co n n ec ted   lay er   as  s h o wn   in   Fig u r 2 .   T h g en er al  ar ch itectu r o f   th C o n v Net  c o n s is ts   o f   th f o llo win g   [ 1 1 ]:     I n p u [ 8 0 × 80 × 2 ]   will  h o l d   th r aw  p ix el   esti m atio n s   o f   t h p ictu r e,   r ig h t   n o p ictu r o f   wid t h   8 0 ,     h eig h t 8 0 .     T h c o n v o lu tio n al  la y er   will  ev alu ate  th y ield   o f   n e u r o n s   th at  ar ass o ciate d   with   n ea r b y   lo ca les  in     th in f o ,   ea ch   p r o ce s s in g   d o p r o d u ct  b etwe en   th eir   lo a d s   an d   litt le  ar ea   th e y   ar e   ass o ciate d   with     th in p u v o lu m e .   T h is   m a y   b r in g   ab o u v o lu m e,   f o r   ex am p le ,   [ 8 0 × 80 × 1 2 ]   i f   we  ch o s to   u t ilize  1 2   f ilter s .       R E L lay er   will  b ap p l ied   f o r   an   elem en t - wis ac tu atio n   w o r k ,   f o r   ex a m p le,   th m ax   ( 0 ,   x )   th r esh o l d in g   at  ze r o .   T h is   leav es th s ize  o f   th v o lu m u n alter e d   [ 8 0 × 80 × 1 2 ] .       POOL   lay er   will  p lay   o u d o wn s am p lin g   ac tiv ity   alo n g   w ith   th s p atial  m ea s u r em en ts ,   b r in g in g   ab o u t   v o lu m e,   f o r   e x am p le,   [ 4 0 × 40 × 1 2 ] .       Fu lly   co n n ec ted   la y er   ( FC )   w ill  p r o ce s s   th class   s co r es.  T h in p u t o   th is   lay er   is   all  th o u tp u ts   f r o m     th p r ev io u s   la y er   to   all  th in d iv id u al   n e u r o n s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 8 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 6 3   -   2471   2466       Fig u r 2 .   Gen e r al  Ar ch itectu r a l stru ctu r o f   c o n v o lu tio n al  n e u r al  n etwo r k s       3.   VIDE O   E M O T I O DA T A B ASE S   T h is   is   o n o f   th cr itical   s tep s   in   b u ild in g   m o d el.   T h d at in v o lv ed   in   th f o r m   o f   v id e o s   s h o u ld     b ef f ec tiv e   in   ter m s   o f   d etailin g   an d   u s ab ilit y .   T h e r a r m an y   d atasets   av ailab le  th at   c an   b e   u s ed   to   f r am e     th v id eo - b ased   em o ti o n   r ec o g n itio n   m o d els.  Fo r   e x am p le,   r ea l - w o r ld   af f e ctiv f ac es  d atab ase    ( R AFD B )   [ 1 2 ] ,   w h ich   g at h e r s   r ea l - wo r ld   p ictu r es  f r o m   v ast   n u m b er   o f   p e o p le,   h as  b ee n   d is ch ar g ed     to   en er g ize  m o r t r u e   r esear ch   o n   f ac ial  em o tio n   r ec o g n itio n .   R AF - D B   co n tain s   ar o u n d   1 2 2 7 1   tr ai n in g   s am p les  an d   3 0 6 8   test   d ata  d o wn l o a d ed   f r o m   th I n te r n et,   g iv i n g   u n co n s tr ain ed   ar ticu latio n s   u n d er   d is tin ctiv   n atu r al  co n d itio n s .         T ab le  1 .   Vid eo   d atasets   a v ailab le  f o r   e m o tio n   r ec o g n itio n   D a t a b a s e   F a c i a l   e x p r e ss i o n   N u mb e r   o f   S u b j e c t s   N u mb e r   o f   i m a g e s/ v i d e o s   R y e r so n   A u d i o - V i su a l   D a t a b a se   o f   Em o t i o n a l   S p e e c h   a n d   S o n g   ( R A V D ESS )   C a l m,  h a p p y ,   sa d ,   a n g r y ,   f e a r f u l ,   su r p r i se,   d i s g u st ,   a n d   n e u t r a l .   24   7 3 5 6   v i d e o   a n d   a u d i o   f i l e s   F - M   F A C S   3 . 0   ( ED U ,   P R O   X Y v e r s i o n s)     N e u t r a l ,   sa d n e ss,   su r p r i s e ,   h a p p i n e ss ,   f e a r ,   a n g e r ,   c o n t e m p t   a n d   d i s g u st   10   4 8 7 7   v i d e o a n d   i ma g e s   seq u e n c e s   Jap a n e se  F e ma l e   F a c i a l   Ex p r e ssi o n s (JA F F E)   n e u t r a l ,   sa d n e ss,   su r p r i se ,   h a p p i n e ss,   f e a r ,   a n g e r ,   a n d   d i s g u s t   10   2 1 3   s t a t i c   i ma g e s   M M I   D a t a b a se   -   43   1 2 8 0   v i d e o a n d   o v e r   2 5 0   i m a g e s   D I S F A   -   27   4 , 8 4 5   v i d e o   f r a mes   M u l t i me d i a   U n d e r st a n d i n g   G r o u p   ( M U G )   N e u t r a l ,   sa d n e ss,   su r p r i s e ,   h a p p i n e ss ,   f e a r ,   a n g e r ,   a n d   d i s g u s t   86   1 4 6 2   se q u e n c e s   I n d i a n   S p o n t a n e o u s   E x p r e s si o n   D a t a b a s e   ( I S ED )   S a d n e ss ,   s u r p r i s e ,   h a p p i n e ss ,   a n d   d i s g u st   50   4 2 8   v i d e o s   R e a l - W o r l d   A f f e c t i v e   F a c e s   D a t a b a s e   ( R A F D B )   S u r p r i s e ,   f e a r f u l ,   d i sg u s t e d ,   h a p p y ,   sa d ,   a n g r y ,   f e a r f u l l y   su r p r i s e d ,   sa d l y   a n g r y ,   sad l y   f e a r f u l ,   a n g r i l y   d i s g u st e d ,   a n g r i l y   su r p r i se d ,   s a d l y   d i s g u s t e d ,   f e a r f u l l y   d i s g u st e d ,   d i s g u s t e d l y   s u r p r i se d ,   h a p p i l y   su r p r i s e d ,   s a d l y   s u r p r i s e d ,   f e a r f u l l y   a n g r y ,   h a p p i l y   d i s g u st e d .   -   2 9 6 7 2   r e a l - w o r l d   p i c t u r e s   A c t e d   F a c i a l   E x p r e ss i o n s   i n   t h e   W i l d   ( A F EW)   -   -   1 8 0 9   v i d e o   s a mp l e s   A D F ES - B I V   A n g e r ,   d i s g u st ,   f e a r ,   sa d n e ss,   s u r p r i s e ,   h a p p i n e ss,   p r i d e ,   c o n t e m p t ,   e mb a r r a ssm e n t ,   a n d   n e u t r a l .   -   3 7 0   s h o r t   v i d e o   sam p l e s       T h o th e r   d atab ase,   ac ted   f ac i al  ex p r ess io n in   th e   W ild   ( AFEW)  [ 1 3 ] ,   is   b u ilt  u p   f o r   th em o tio n   r ec o g n itio n   in   th wild   c h allen g ( E m o tiW ) .   I co m p r is es  o f   tr ain in g   s am p les  ( 7 7 3 ) ,   v alid atio n   s am p le s   ( 3 8 3 )   an d   test   ( 6 5 3 )   v id eo   cu ts   g at h er ed   f r o m   T s h o ws  o r   m o t io n   p ictu r es.  ADFE S - B I is   an   au g m en tatio n   o f     th ADFE d ataset,   wh ich   w as  f ir s p r esen ted   b y   Van   d er   Sch alk   et  al.   [ 1 4 ] .   ADFE is   ac ted   b y   1 2   No r th   E u r o p ea n   s u b jects  ( f iv f em a les,  s ev en   g u y s )   an d   1 0   Me d iter r an ea n   en ter tain er s   ( f iv f em ales,  f iv g u y s )   co m m u n icatin g   th s ix   f u n d a m en tal  f ee lin g s   in   ad d itio n   to   th th r ee   co m p lex   f ee lin g s   o f   co n tem p t,  p r id e ,   an d   s h am e,   wh at   i s   m o r to   im p ar t ial.     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Dev elo p men t o f v id eo - b a s ed   e mo tio n   r ec o g n itio n   u s in g   d ee p   lea r n in g   w ith …  ( Ted d S u r y a   Gu n a w a n )   2467   W in g en b ac h   et  al.   [ 1 5 ]   m ad e   th ADFE S - B I d ataset  b y   alter in g   th 1 2 0   r ec o r d in g s   p lay ed   b y     th 1 2   No r th   E u r o p ea n   en ter tai n er s   to   in clu d t h r ee   d e g r ee s   o f   f o r ce .   T h ey   m ad th r ee   n ew  r ec o r d in g s ,   s h o win g     s im ilar   f ee lin g   at  th r ee   u n iq u d eg r ee s   o f   f o r ce   -   lo w,   m ed i u m ,   an d   h i g h - ,   f o r   s u m   o f   3 6 0   r ec o r d i n g s .   E ac h   tap o f   ADFE S - B I b eg in s   w ith   n eu tr al  a r ticu latio n   a n d   c lo s u r es  with   th e   m o s elev ate d   ex p r ess iv ca s in g .   An o th er   d ata  s et  is   W SEF F E P ,   wh ich   co n tain s   2 1 0   h ig h - q u ality   p ictu r es  f r o m   3 0   p e o p le  [ 1 6 ] .   So m o f     th well - k n o wn   v id eo   d atab as es  f o r   em o tio n   r ec o g n itio n   a r e   lis ted   in   T ab le  1 .       4.   RE L AT E R E SE ARCH   W O RK S   I n tr o d u cin g   d ee p   lear n in g   tech n iq u es  in   th f ield   o f   em o tio n   r ec o g n itio n   with   v id eo s ,   im ag es,  v o ice ,   o r   h an d wr itten   wo r d s   as  in p u h as  ac h iev ed   p r o m is in g   r esu l t.  Mo r an d   m o r r esear ch er s   ar d ev elo p in g   th ei r   in ter ests   in   th eir   co n tr ib u tio n   to   th is   f ield .   Fig u r 3   s h o ws   th g r ap h ical  r e p r esen tatio n   o f   th r is in   th s ch o lar ly   wo r k s   in   em o tio n   r ec o g n it io n   u s in g   d ee p   lear n in g   [ 1 7 ] .   Ma n y   r esear ch er s   h av im p lem en t ed   d if f er en tr ain i n g   ar ch itectu r es  o f   C NN  to   im p r o v th eir   r ec o g n itio n   ac c u r ac i es.  I n   [ 1 8 1 9 ] ,   C NN  was  tr ain ed   with   m an y   C NN   ar ch itectu r es  o b tain ed   f r o m   th p r e   tr ain e d   m o d el  ( I m ag eNe t)   as  s h o wn   in   T ab le   2 .   T h e   r e s u lts   b ec o m m o r e   p r o m is in g   with   th e   ad v e n o f   m o r an d   m o r e   r esear ch es.   T h v id eo - b ased   e m o tio n   r ec o g n itio n   m o d els  d ev elo p e d   to   b m o r e   an d   m o r ac c u r ate.   T h p e r ce n ta g o f   ac cu r ac ies   o f   W in g en b ac h   et  al .   [ 1 5 ]   a n d     So n m ez   [ 1 6 ]   m o d el  f o r   d if f er e n t e m o tio n s   ar lis ted   in   T a b le   3.           Fig u r 3.   Yea r ly   s ch o lar ly   wo r k s   o n   em o tio n   r ec o g n itio n   u s i n g   d ee p   lear n in g   f r o m   2 0 0 9   t o   2 0 2 0       T ab le  2.   T esti n g   ac c u r ac ies f o r   C NN  ar ch itectu r es    A r c h i t e c t u r e   U s ed   Pre - Tr a i n e d   A c c u r a c y   G o o g L e N e t   W i t h   I mag e N e t   6 2 . 9 6   C a f f e N e t   W i t h   I mag e N e t   6 8 . 0 5   V G C 1 6   W i t h   I mag e N e t   6 8 . 2 4   R e si d u a l   N e t w o r k   W i t h   I mag e N e t   6 9 . 6 5       T ab le  3.    C o m p ar is o n   b etwe en   W in g en b ac h   et  al.   [ 1 5 ]   an d   So n m ez   [ 1 6 ]   ac c u r ac ies       Emo t i o n     W i n g e n b a c h   e t   a l .   ( 2 0 1 6 )   A c c u r a c y   ( %)   S o n m e z   ( 2 0 1 8 )   A c c u r a c y   ( %)    H a p p y   8 4 . 6   86   S a d   7 9 . 3   67   A n g r y   7 4 . 6   9 4 . 6   S u r p r i s e   9 2 . 3   8 3 . 3   D i sg u st   65   9 7 . 3   F e a r   6 1 . 6   61   N e u t r a l   89   36   P r i d e   4 2 . 3   9 1 . 6   C o n t e m p t   35   50   Emb a r r a ssm e n t   6 4 . 6   89     Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 8 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 6 3   -   2471   2468   5.   G O O G L E   CO L A B   I M P L E M E N T A T I O AN RE SUL T S   5 .1     E x perim ent a s et up   T h ex p er im e n was  ca r r ied   o n   th f er 2 0 1 3   d ataset.   T h d ata  c o n s is ts   o f   4 8 × 48 - p ix el  g r ay s ca le  im ag es   o f   f ac es T h is   d ataset  was  p r ep ar ed   b y   Pier r e - L u c   C ar r ier   a n d   Aar o n   C o u r v ille   as  a   p a r o f   th Kag g le   C h allen g e   n am ed   as  C h allen g es  in   R ep r esen tatio n   L ea r n in g Facial  E x p r ess io n   R ec o g n itio n   C h allen g e   in   2 0 1 3 .   I co n s is ts   o f   2 8 7 0 9   tr ain   s am p les  an d   3 5 8 9   test   s am p les.   I in clu d e d   s ev e n   em o tio n s ,   n am ely   An g r y ,   Di s g u s t,  Fear ,   Hap p y ,   Sad ,   Su r p r is e,   Neu tr al .   T h in teg r ate d   d e v elo p m e n e n v ir o n m en ( I DE )   u s ed   f o r   th p r o ce s s   was  Go o g le   C o lab o r ato r y   o r   Go o g le  C o lab   in   s h o r t.  Go o g le  C o lab   is   f r ee   J u p y ter   n o te b o o k   e n v ir o n m en t   t h at  r eq u i r e s   n o   s etu p   an d   r u n s   en tire ly   in   th clo u d .   W ith   Go o g le  C o lab ,   it  is   p o s s ib le  to   wr ite  an d   e x ec u te  co d e,   s av an d   s h ar o u r   an al y s es,  an d   ac ce s s   p o wer f u co m p u tin g   r eso u r ce s ,   all  f o r   f r ee   f r o m   t h e   b r o wser .   T h f er 2 0 1 3   d ataset  was  m o u n ted   to   th e   Go o g le  C o lab   u s in g   Go o g le  Dr iv in   th f o r m   o f   C SV  f ile.   Af ter   L o ad in g   th d ataset,   th b atch   s ize  wa s   s et   to   2 5 6 ,   an d   th tr ain in g   ep o ch s   s et  to   2 5 .   T h s o f twar u s ed   was  Py th o n   3   with   m ac h in lear n in g   lib r ar ies,  in clu d in g   K er as  2 . 1 . 6   an d   T e n s o r f lo 1 . 7 . 0 .   Af ter   in itializin g   th tr ain in g   a n d   th e   test in g   in s tan ce s ,   th d ata  was  g iv en   to   th co n v o lu tio n al   n eu r al   n et wo r k   ( C NN) ,   wh ich   co n s is ted   o f   3   co n v o lu ti o n al  lay er s   an d   o n f u lly   c o n n ec t ed   n eu r al  n etwo r k .   T h m o d el  tr ain ed   f o r   ab o u   4   h o u r s .     5 . 2 .   E x pe rim ent a re s ults   T h is   ex p er im en u s ed   2 5   ep o c h s   f o r   tr ain in g   th d ata  s am p le s .   W ith   ea ch   ep o ch ,   th tr ain in g   ac cu r ac y   in cr ea s ed   wh ile  r ed u ci n g   th l o s s .   Per f o r m an ce   ev al u atio n   i s   s h o wn   in   T ab le  4 ,   w h ile  th co n f u s io n   m atr ix   is   s h o wn   in   Fig u r 4 .   W h ile  s o m e   em o tio n   r ec o g n itio n   s am p les  ar s h o wn   in   Fig u r 5 .   T h test in g   r esu lts   wer e   m ad m o r ac cu r ate  b y   in clu d in g   th Haa r   ca s ca d f ac d etec tio n   p r o ce s s .   I is   m ac h in lear n in g   o b ject   d etec tio n   alg o r ith m   u s ed   to   id en tify   o b jects  in   an   im a g o r   v id eo .   I d ete cted   th e   f ac f r o m   th im ag to   r ed u ce   th ad d itio n al  n o is e.   I t w o r k ed   as illu s tr ated   in   Fig u r 6 .     T h er was  tr em en d o u s   in c r ea s in   ef f icien cy   a f ter   u s in g   Haa r   ca s ca d o n   r an d o m   test   im a g e,   wh ich   is   r ef lecte d   in   Fig u r 7 .   I ca n   b f o u n d   th at  b ef o r u s in g   Haa r   ca s ca d e,   as  s h o wn   in   Fi g u r 7   ( a) ,   th f ea r   em o tio n   is   m o r d o m in an t h an   h ap p y .   W h ile  af ter   u s in g   Haa r   ca s ca d e,   as  s h o wn   in   Fig u r 7   ( b ) ,   t h o n ly   em o tio n   th at  ca n   b r ec o g n iz ed   is   h a p p y .   T h er ef o r e,   it  ca n   b e   co n clu d ed   th at   th e   Haa r   ca s ca d im p r o v es  em o tio n   r ec o g n itio n   ac cu r ac y .     T h s co p f o r   f u tu r im p r o v e m en ts   is   v er y   ap p ea lin g   in   t h is   f ield .   Dif f er e n m u ltimo d el  d e ep   lear n in g   tech n iq u es  ca n   b u s ed   al o n g   with   d if f er en a r ch itectu r es  to   i m p r o v e   th p e r f o r m an ce   p ar a m eter s   [ 2 0 - 2 7 ] .   A p ar t   f r o m   r e co g n izin g   th em o tio n s   o n ly ,   th er ca n   b f u r th er   a d d i tio n   o f   in ten s ity   s ca le.   T h is   m i g h h elp   to   p r e d ict  th in ten s ity   o f   th r ec o g n ize d   em o tio n .   Als o ,   m u lti  m o d al s   ca n   b u s ed   in   f u t u r wo r k s f o r   ex am p le,   v id e o   an d   s p ee ch   ca n   b o t h   b u s ed   t o   d esig n   m o d el  alo n g   with   t h u s o f   m u lti - d atasets .       T ab le  4 .   Per f o r m an ce   ev alu ati o n   b ased   o n   tr ain i n g   an d   test in g   ac cu r ac y   an d   l o s s   P e r f o r ma n c e   P a r a m e t e r s   P e r f o r ma n c e   M e t r i c s ( %)   Tr a i n i n g   L o ss   0 . 0 9 4 8   Tr a i n i n g   A c c u r a c y   9 7 . 0 7   Te st i n g   Lo ss     2 . 6 5 7   Te st i n g   A c c u r a c y   5 7 . 5 0 9           Fig u r 4 .   C o n f u s io n   m atr i x   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Dev elo p men t o f v id eo - b a s ed   e mo tio n   r ec o g n itio n   u s in g   d ee p   lea r n in g   w ith …  ( Ted d S u r y a   Gu n a w a n )   2469       ( a)   ( b )       ( c)     Fig u r e   5 Sam p le  o f   r ec o g n ize d   em o tio n   ac cu r ac y   p er ce n tag g r ap h ( a)   s u r p r is em o tio n ,     ( b )   n e u tr al  em o tio n   an d     ( c)   s a d   em o tio n             Fig u r e   6 Haar   c ascad f ac d e tectio n   p r o ce s s     Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 8 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 6 3   -   2471   2470       ( a)   ( b )     Fig u r 7 Acc u r ac y   im p r o v e m en t u s in g   Haa r   c ascad e ( a )   b e f o r Haa r   ca s ca d a n d     ( b )   af ter   Haa r   ca s ca d e       6.   CO NCLU SI O N S   T h is   p ap er   p r esen te d   th e   d e v e lo p m en t   o f   v id eo - b ased   e m o ti o n   r ec o g n itio n   u s in g   d ee p   lea r n in g   with   Go o g le  C o lab .   T h s u cc ess   o f   th is   ap p r o ac h   in   r ec o g n izin g   em o tio n s   h as   b ee n   tr em e n d o u s ly   im p r o v in g   o v e r   tim e .   I n tr o d u ci n g   d ee p   lear n i n g   tech n iq u es  lik C NN,   DN N,   o r   o th er   m u ltimo d a m eth o d s   h as  also   b o o s te   th p ac o f   r ec o g n itio n   ac c u r ac y .   Ou r   wo r k   d em o n s tr ated   th g en e r al  ar ch itectu r al  m o d el  f o r   b u ild i n g     r ec o g n itio n   s y s tem   u s in g   d ee p   lear n in g   ( m o r p r ec i s ely   C N N) .   T h aim   was  to   an aly ze   p r e   an d   p o s p r o ce s s es   in v o lv ed   in   t h m eth o d o lo g y   o f   th m o d el.   T h er is   ex ten s iv e   wo r k   d o n o n   im ag e,   s p ee c h ,   o r   v id e o   as  in p u t   to   r ec o g n ize  th e m o tio n .   T h is   p ap er   also   co v er e d   th e   d atasets   av ailab le  f o r   t h r esear ch e r s   to   co n tr ib u te  to   t h is   f ield .   Dif f er e n p e r f o r m an ce   p ar am eter s   wer b en ch m ar k ed   on   d if f er en t   r esear ch es  t o   s h o th p r o g r ess   in   th is   s p h er e.   T h e xp e r im en tal  o b s e r v atio n   was  ca r r ied   o u o n   th e   f er 2 0 1 3   d ataset  in v o lv in g   s ev e n   em o tio n s n am ely   an g r y ,   d is g u s t,  f ea r ,   h ap p y ,   s ad ,   s u r p r is e,   n e u tr al ,   wh ic h   y iel d ed   in   th e   b e   9 7 ac c u r ac y   o n   th tr ai n in g   s et  an d   5 7 . 4 %   ac cu r ac y   o n   th test in g   s et   wh en   Haa r   ca s ca d tech n iq u is   ap p lied .       ACK NO WL E DG M E N T S   T h au th o r   wo u ld   lik e   to   e x p r e s s   th eir   g r atitu d t o   th e   Ma lay s ian   Min is tr y   o f   E d u ca tio n   ( M OE ) ,   wh ich   ha s   p r o v i d ed   r esear c h   f u n d in g   th r o u g h   th Fu n d am en tal  R esear ch   Gr an t,  FR GS1 9 - 0 7 6 - 0 6 8 4 .   T h au t h o r s   wo u ld   also   lik to   th an k   I n ter n atio n al  I s lam ic  Un iv er s ity   Ma lay s ia  ( I I UM ) ,   Un iv er s iti   T ek n o lo g MA R ( UiT M)   a nd   Un iv e r s itas   Po ten s i U tam f o r   p r o v id in g   f ac ilit i es to   s u p p o r t th e   r esear ch   wo r k .       RE F E R E NC E S   [1 ]   C.   H.  Wu ,   J.   C.   L in   a n d   W.   L.   W e i,   S u rv e y   o n   a u d io v isu a e m o ti o n   re c o g n it i o n d a tab a se s,  fe a tu re s,  a n d   d a ta f u sio n   stra teg ies ,   AP S IPA   T ra n sa c ti o n s   o n   S i g n a a n d   In f o rm a ti o n   Pro c e ss in g v o l .   3 ,   2 0 1 4 .   [2 ]   Z.   Zen g ,   M .   P a n ti c ,   G .   I.   Ro ism a n ,   a n d   T.   S .   Hu a n g ,   " S u rv e y   o f   Affe c Re c o g n it io n   M e t h o d s:  Au d io ,   Vis u a l,   a n d   S p o n tan e o u E x p re ss io n s,"   IEE T ra n sa c ti o n o n   Pa tt e r n   A n a lys is  a n d   M a c h i n e   In tel li g e n c e ,   v o l.   3 1 ,   n o .   1 ,     p p .   3 9 - 5 8 ,   2 0 0 8.   [3 ]   P.   C .   Va sa n th   a n d   K.   R.   Na tara j ,   F a c ial  E x p re ss io n   Re c o g n it i o n   u sin g   S V M   Clas sifier,”  I n d o n e sia n   J o u rn a o f   El e c trica En g in e e rin g   a n d   In f o r ma ti c s (IJEEI) v o l.   3 ,   n o .   1 p p .   1 6 - 2 0 ,   2 0 1 5 .   [ 4 ]   W .   H .   A b d u l s a l a m ,   R .   S .   A l h a m d a n i ,   a n d   M .   N .   A b d u l l a h ,   F a c i a l   E m o t i o n   R e c o g n i t i o n   f r o m   V i d e o s   U s i n g   D e e p   C o n v o l u t i o n a l   N e u r a l   N e t w o r k s ,   I n t e r n a t i o n a l   J o u r n a l   o f   M a c h i n e   L e a r n i n g   a n d   C o m p u t i n g v o l .   9 ,   n o .   1 ,   p p .   14 - 1 9 ,   2 0 1 9 .   [5 ]   S .   Jo h n so n ,   S tep h e n   Jo h n so n   o n   d ig it a l   p h o t o g ra p h y ,   O’Re il ly ,   2 0 0 6 .   [6 ]   Y.   C.   Hu m ,   K.   W.   Lai,   a n d   M .   I .   M .   S a li m ,   M u lt io b jec ti v e s   b ih ist o g ra m   e q u a li z a ti o n   fo r   ima g e   c o n tras t   e n h a n c e m e n t,   Co mp lex it y v o l.   20 ,   n o .   2 ,   p p .   2 2 - 3 6 ,   2 0 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Dev elo p men t o f v id eo - b a s ed   e mo tio n   r ec o g n itio n   u s in g   d ee p   lea r n in g   w ith …  ( Ted d S u r y a   Gu n a w a n )   2471   [7 ]   S .   Al - S u m a id a e e ,   S .   S .   Dla y ,   W .   L.   W o o ,   a n d   J.   A.  Ch a m b e rs F a c ial  e x p re ss io n   re c o g n i ti o n   u si n g   l o c a G a b o g ra d ien c o d e - h o rizo n tal  d ia g o n a d e sc rip to r ,   Pro c e e d in g o th e   2 n d   IET   I n ter n a ti o n a Co n fer e n c e   o n   In tell ig e n t   S ig n a l   Pro c e ss in g   2 0 1 5   (IS P) ,   2 0 1 5 .   [8 ]   D.  Zh o u ,   X.   S h e n ,   W.   Do n g ,   Im a g e   z o o m in g   u sin g   d irec ti o n a c u b ic  c o n v o l u ti o n   i n ter p o lat io n ,   IET   Ima g e   Pro c e ss in g v o l .   6 ,   n o .   6 ,   p p .   6 2 7 - 6 3 4 ,   2 0 1 2 .   [9 ]   H Bo u b e n n a ,   D.  Lee ,   Im a g e - b a se d   e m o ti o n   re c o g n i ti o n   u sin g   e v o lu ti o n a ry   a lg o rit h m s,”   Bi o l o g ica ll y   I n sp ire d   Co g n it ive   Arc h it e c tu re s ,   v o l.   24 ,   p p .   7 0 - 7 6 ,   2 0 1 8 .   [1 0 ]   I.   Wallac h ,   M.  Dz a m b a ,   a n d   A He ifets ,   Ato m Ne t:   D e e p   Co n v o l u ti o n a Ne u ra Ne two rk   fo Bio a c ti v it y   P re d icti o n   in   S tr u c tu re - b a se d   Dr u g   Disc o v e r y , ”  a rXiv ,   2 0 1 5 .   [ 1 1 ]   C S 2 3 1 n ,   C o n v o l u t i o n a l   N e u r a l   N e t w o r k s   f o r   V i s u a l   R e c o g n i t i o n ,   2016.   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / c s 2 3 1 n . g i t h u b . i o / c o n v o l u t i o n a l - n e t w o r k s / .     [1 2 ]   S .   Li, W .   De n g ,   a n d   J .   Du Re li a b le cro wd so u rc in g   a n d   d e e p   l o c a li ty - p re se rv i n g   lea rn i n g   f o e x p re s sio n   re c o g n it i o n   in   t h e   wild ,   Pro c e e d in g s o f   th e   I EE c o n fer e n c e   o n   c o mp u ter   v isi o n   a n d   p a tt e rn   re c o g n i ti o n p p .   2 584 - 2 5 9 3 ,   2 0 1 7 .   [1 3 ]   A .   Dh a ll ,   R .   G o e c k e ,   S .   L u c e y ,   T .   G e d e o n ,   Co ll e c ti n g   larg e ,   r ich ly   a n n o tate d   fa c ial - e x p re ss io n   d a tab a se fro m   m o v ies , ”  IEE M u lt ime d i a v o l.   3 ,   p p .   34 - 4 1 ,   2 0 1 2 .     [1 4 ]   J.   Va n   De r   S c h a lk ,   S .   T.   Ha wk ,   A.H.  F isc h e r,   a n d   B.   Do o se je M o v i n g   fa c e s,  lo o k i n g   p lac e s:  Va li d a ti o n   o t h e   Am ste r d a m   d y n a m ic fac ial  e x p re ss io n   se (AD F ES ) ,   Emo ti o n v o l .   11 ,   n o .   4 ,   p p .   9 0 7 - 9 2 0 ,   2 0 1 1 .   [1 5 ]   T.   S .   Wi n g e n b a c h ,   C.   As h win ,   a n d   M .   Br o sn a n ,   Va li d a ti o n   o f   th e   A m ste rd a m   d y n a m ic  fa c ial  e x p re ss io n   se t b a t h   in ten sit y   v a riatio n (AD F E S - BIV):  se t   o f   v i d e o s   e x p re ss in g   lo w,   in term e d iate ,   a n d   h ig h   i n ten sit y   e m o ti o n s,   Pl o S   On e ,   v o l.   11 ,   n o .   1 p p .   1 - 1 ,   2 0 1 6 .   [1 6 ]   M .   Olsz a n o ws k i ,   G .   P o c h wa tk o ,   K.  Ku k li n sk i,   M .   S c ib o r - Ry ls k i ,   P .   Lew in sk i ,   a n d   R. K.  O h m e ,   Wars a s e o e m o ti o n a l   fa c ial  e x p re ss io n   p ict u re s:  a   v a l id a ti o n   stu d y   o f   fa c ial  d is p lay   p h o t o g ra p h s,   Fr o n ti e rs   in   Psy c h o l o g y   v o l.   5 ,   2 0 1 5 .   [1 7 ]   S e a rc h   Article th e   Len -   F re e   &   Op e n   P a ten a n d   S c h o larl y   S e a rc h ,   Th e   Len -   F re e   &   Op e n   P a t e n a n d   S c h o larly   S e a rc h .   [On li n e ].   Av a il a b le:  h tt p s :/ /www . len s.o r g   [Ac c e ss e d 1 5 - F e b - 2 0 2 0 ]   [1 8 ]   Y.  Ca i,   W.   Z h e n g ,   T.   Z h a n g ,   Q.  Li ,   Z.   C u i,   a n d   J.  Ye ,   Vid e o   Ba se d   Emo ti o n   Re c o g n it i o n   U sin g   C NN   a n d   BRNN ,   Ch in e se   Co n fer e n c e   o n   Pa tt e rn   R e c o g n it i o n ,   p p .   6 7 9 - 6 9 1 ,   2 0 1 6 .   [1 9 ]   Y.  F a n ,   X.  Lu ,   D.  L i,   a n d   Y.  Li u ,   Vid e o - b a se d   e m o ti o n   re c o g n it i o n   u si n g   CNN - RNN   a n d   C3 h y b rid   n e two rk s,”   Pro c e e d in g o t h e   1 8 t h   ACM   In t e rn a ti o n a l   Co n fer e n c e   o n   M u lt im o d a In ter a c ti o n ,   p p .   4 4 5 - 4 5 0 ,   2 0 1 6 .   [2 0 ]   T.   S.  G u n a wa n ,   M.   F.  Alg h ifari,   M.   A.   M o rsh i d i,   a n d   M .   Ka rti wi,   re v iew   o n   e m o ti o n   re c o g n it i o n   a lg o rit h m u si n g   sp e e c h   a n a ly sis ,”   In d o n e sia n   J o u r n a o El e c trica En g in e e rin g   a n d   In fo rm a t ics   (IJ EE I) v o l .   6 ,   n o .   1 ,   p p .   12 - 20 ,   2 0 1 8 .   [2 1 ]   M.F.  Al g h i fa ri,   T. S .   G u n a wa n ,   a n d   M .   Ka rti wi,   S p e e c h   e m o t io n   re c o g n i ti o n   u si n g   d e e p   fe e d f o rwa rd   n e u ra n e tw o rk ,”   In d o n e sia n   J o u rn a o El e c trica En g i n e e rin g   a n d   C o mp u ter   S c ien c e v o l.   10 ,   n o .   2 ,   p p .   5 5 4 - 5 6 1 ,   2 0 1 8 .   [2 2 ]   S.   A.   A.  Qa d ri,   T.   S.   G u n a wa n ,   M.   F.  Alg h ifari,   H.  M a n so r,   M .   Ka rti wi,   a n d   Z.   Ja n in ,   c rit ica in sig h i n to     m u lt i - lan g u a g e sp e e c h   e m o ti o n   d a tab a se s ,”   Bu ll e ti n   o El e c trica En g i n e e rin g   a n d   In f o rm a ti c s v o l .   8 ,   n o .   4 ,     p p .   1 3 1 2 - 1 3 2 3 ,   2 0 1 9 .   [2 3 ]   M.   F.  Al g h ifari,   T.   S.  G u n a wa n ,   S.   A.   A.  Qa d ri,   M .   Ka rti wi,   a n d   Z.   Ja n in ,   On   th e   u se   o v o ice   a c ti v it y   d e tec ti o n   i n   sp e e c h   e m o ti o n   re c o g n it i o n ,”   B u l letin   o El e c trica En g in e e rin g   a n d   In f o rm a ti c s v o l.   8 ,   n o .   4 ,   p p .   1 3 2 4 - 1 3 3 2 ,   2 0 1 9 .   [2 4 ]   T.   S.  G u n a wa n ,   M .   Ka rti wi,   N.   A.  M a li k ,   a n d   N.  Ism a il ,   F o o d   I n tak e   Ca lo rie  P re d ictio n   u si n g   G e n e ra li z e d   Re g re ss io n   Ne u ra Ne two rk ,”   2 0 1 8   IE EE   5 t h   In ter n a t io n a l   Co n fer e n c e   o n   S ma rt I n stru me n ta ti o n ,   M e a su re me n t   a n d   A p p l ica ti o n   (ICS IM A) ,   p p .   1 - 4 ,   2 0 1 8 .   [2 5 ]   T.   S .   G u n a wa n ,   a n d   M .   Ka rti wi,   On   th e   Us e   o Ed g e   F e a tu re a n d   E x p o n e n ti a De c a y in g   N u m b e o No d e i n   t h e   Hid d e n   Lay e rs  fo Ha n d writt e n   S i g n a tu re   Re c o g n it io n ,”   In d o n e sia n   J o u rn a o El e c trica E n g i n e e rin g   a n d   C o mp u ter   S c ien c e v o l.   12 ,   n o .   2 ,   p p .   7 2 2 - 7 2 8 ,   2 0 1 8 .   [2 6 ]   E.  Ih sa n to ,   K.   Ra m li ,   D.   S u d ian a ,   a n d   T . S .   G u n a wa n ,   An   Eff icie n t   Alg o rit h m   f o Ca rd iac   Arr h y t h m i a   Clas sifica ti o n   Us in g   En se m b le  o De p t h wise   S e p a ra b le  Co n v o lu ti o n a Ne u ra Ne two rk s ,   M DPI  Ap p li e d   S c ien c e s v o l.   10 ,   n o .   2,   p p .   1 - 16,   2 0 2 0 .   [ 2 7 ]   E .   I h s a n t o ,   K .   R a m l i ,   D .   S u d i a n a ,   a n d   T .   S .   G u n a w a n ,   F a s t   a n d   A c c u r a t e   A l g o r i t h m   f o r   E C G   A u t h e n t i c a t i o n   u s i n g   R e s i d u a l   D e p t h w i s e   S e p a r a b l e   C o n v o l u t i o n a l   N e u r a l   N e t w o r k s ,   M D P I   A p p l i e d   S c i e n c e v o l .   10 ,   n o .   9 ,   p p .   1 - 1 5 ,   2020.     Evaluation Warning : The document was created with Spire.PDF for Python.