I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   15 ,   N o .   2 ,  A ugus t   20 1 9 ,   pp .   786 ~ 793   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 5 .i 2 . pp 786 - 793             786       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   E m o t i o n   r e c o g n i t i o n   u s i n g   e l e c t r o e n c e p h a l o g r a m   si g n a l       A q i l a  N u r   N ad i r a   M o h am m ad   Y o s i 1 ,  K h a i r u l   A z am i   S i d e k 2 ,  H am w i r a  S a k t i   Y aa c o b 3 ,    M ar i n i   O th m an 4 ,   A h m ad   Zam an i   Ju s o h 5   1 , 2 , 5 D e pa r t m e n t   o f   E l e c t r i c a l   a nd   C o m put e r   E ng i ne e r i ng ,   K u l l i y y a h  o f   E ng i ne e r i ng ,     I nt e r na t i o na l   I s l a m i c   U ni v e r s i t y   M a l a y s i a ,   M a l a y s i a     3 D e pa r t m e nt   o f   C o m put e r   S c i e nc e ,   K ul l i y y a h  o f   I nf o r m a t i o n  a nd   C o m m uni c a t i o n  T e c hno l o gy ,     I nt e r na t i o na l   I s l a m i c   U ni v e r s i t y   M a l a y s i a ,   M a l a y s i a   4 D e pa r t m e n t   o f   I nf o r m a t i o n  S y s t e m ,   K u l l i y y a h  of   I nf o r m a t i o n  a nd   C o m m uni c a t i o n  T e c hno l o gy ,   I nt e r na t i o na l   I s l a m i c   U ni v e r s i t y   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  O c t   2 8,   2018   R e v i s e d  J a n   23,   201 9   A c c e pt e d  M a r   5,   2019       E m o t i o n  pl a y   a n  e s s e nt i a l   r o l e   i n  hum a n ’ s   l i f e   a nd  i t   i s   no t   c o ns c i o us l y   c o nt r o l l e d .   S o m e   o f   t h e   e m o t i o n  c a n  b e   e a s i l y   e xpr e s s e d   by   f a c i a l   e xpr e s s i o ns ,   s pe e c h,   be h a v i o r   a nd   g e s t u r e   bu t   s o m e   a r e   no t .   T hi s   s t udy   i nv e s t i g a t e s   t he   e m o t i o n  r e c og ni t i o n  us i ng   e l e c t r o e nc e ph a l o g r a m   ( E E G )   s i g na l .   U n do ubt e dl y ,   E E G   s i g na l s   c a n  de t e c t   hum a n   br a i n   a c t i v i t y   a c c ur a t e l y   w i t h  h i g h  r e s o l ut i o n  da t a   a c qui s i t i o n  de v i c e   a s   c o m pa r e d  t o   o t he r   bi o l o g i c a l   s i g na l s .   C ha ng e s   i n  t he   h um a n  b r a i n ’ s   e l e c t r i c a l   a c t i v i t y   o c c ur   v e r y   qui c kl y ,   t hus   a   hi g h  r e s o l u t i o n  d e v i c e   i s   r e qu i r e d  t o   de t e r m i ne   t h e   e m o t i o n  pr e c i s e l y .   I n   t hi s   s t udy ,   w e   w i l l   pr o v e   t he   s t r e ng t h  a nd  r e l i a b i l i t y   o f   E E G   s i gna l s   a s   a n   e m o t i o n  r e c o g ni t i o n  m e c ha ni s m   f o r   f o ur   di f f e r e nt   e m o t i o ns   w h i c h  a r e   h a ppy ,   s a d ,   f e a r   a n d  c a l m .   D a t a   o f   s i x  d i f f e r e n t   s ub j e c t s   w e r e   c o l l e c t e d   by   us i ng  B r a i nM a r k e r   E X G   d e v i c e   w h i c h  c o ns i s t   o f   19  c ha n ne l s .   T h e   p r e - pr o c e s s i ng   s t a g e   w a s   p e r f o r m e d  u s i ng   s e c o nd  o r de r   o f   l o w   pa s s   B ut t e r w o r t h  f i l t e r   t o   r e m o v e   t he   unw a nt e d  s i g na l s .   T h e n ,   t w o   r a ng e s   o f   f r e que nc y   ba nds   w e r e   e xt r a c t e d  f r o m   t he   s i g na l s   w hi c h  a r e   a l ph a   a nd  be t a .   F i na l l y ,   t he s e   s a m pl e s   w i l l   be   c l a s s i f i e d  us i ng   M L P   N e ur a l   N e t w o r k .   C l a s s i f i c a t i o n  a c c ur a c y   up  t o  91%   i s   a c hi e v e d  a nd  t he   a v e r a g e   pe r c e n t a g e   o f   a c c ur a c y   f o r   c a l m ,     f e a r ,   ha ppy   a nd  s a d  a r e   83. 5 % ,   87 . 3 % ,   85 . 83 %   a nd  87 . 6 %   r e s pe c t i v e l y .   T hus ,   a   pr o o f   of   c o nc e pt ,   t h i s   s t udy   ha s   be e n  c a pa bl e   o f   pr o po s i ng   a   s y s t e m   o f   r e c og ni z i ng   f o ur   s t a t e s   o f   e m o t i o n  w hi c h  a r e   h a ppy ,   s a d,   f e a r   a n d  c a l m   b y   us i ng   E E G   s i g na l .   Ke y w or ds :   EEG   E l e c t r o e n c e ph a l o gra m   e m o t i o n   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A qi l a   N u r  N a d i r a   M o ha m m a d  Y o s i ,     D e pa rt m e n t   o f   E l e c t ri c a l   a nd  Co m p ut e r   E n g i n e e r i ng,   Int e rna t i o na l   Is l a m i c   U n i v e r s i t y   M a l a y s i a ,   J a l a n   G o m b a k  53 100 ,   K u a l a   L u m pu r,   M a l a y s i a .   E m a i l :   a q i l a n u rna di ra @ gm a i l . c o m       1.   I N TR O D U C TI O N     In   ps y c h o l o g y ,   e m o t i o n   i s   a   c o m pl e x  s t a t e   of   f e e l i ngs   t h a t   r e s ul t s   i n   p h y s i c a l   a n d  ps y c h o l o gi c a l   c h a nge s   t ha t   i n f l ue n c e   t h o ught   a n d  a c t i o n s   o f  a n   i ndi v i du a l .   E m o t i o n   c a n   b e   c o n s i de r e d  a s   a n   e xpe r i e n c e   o f  a n   i n d i v i dua l   due   t o   i n t e ra c t i o n s   w i t h   t h e   e n v i r o nm e nt .   E v e ry   da y ,   h um a n   p r o duc e   v a r i e t i e s   of   e m o t i o n s   a n d  i t   c a n   b e   r e l a t e d  t o   m a n y   p o s s i b i l i t i e s   s uc h   a s   e ve n t s ,   p e o pl e ,   ob j e c t s ,   s e l f - a ppr a i s a l   a n d  m a n y   m o r e .   E m o t i o n s   pl a y   a n   e s s e n t i a l   r o l e   i n   hum a n ’s   l i f e   a n d  i t   i s   n o t   c o n s c i o us l y   c o n t r o l l e d .   S o m e   of   t h e   e m o t i o n   c a n   b e   e a s i l y   e xpr e s s e d  by   f a c i a l   e xp r e s s i o n s ,   s pe e c h,   b e h a v i o r  a n d   ge s t u r e   b ut   s o m e   a r e   n o t   [1 ,   2] .   Co n t r o l l i n g   o f  e m o t i o n s   a r e   i m po r t a n t   e s pe c i a l l y   dur i n g  de c i s i o n   m a k i ng,   c o m m u n i c a t i o n   a n d  s u r v i v a l .   F o r   e xa m pl e ,     pe o pl e   t e n d  t o   b e   l o s e   c o n c e n t r a t i o n  i f   t h e y   a r e   t o o   i m m e rs e d  i n  t h e i r  e m o t i o n  w h i l e   d r i v i n g  o n   t h e   r o a d.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i on  r e c o gni t i on   us i n g  e l e c t r oe n c e p hal o gr am   s i g nal   ( A q i l a   Nur   Nadi r a   Mo ham m ad  Y os i )   787   S o m e   of   t h e   po s s i b i l i t i e s   t ha t   c a n  a f fe c t   e m o t i o n s   du r i ng  d ri v i n g  a r e   s t r e s s   i n  a   w o r kpl a c e ,   r e c e i v i ng  ups e t t i n g   n e w s ,   i n v o l v e   i n   a r gu m e n t s   o r   ru nn i ng  l a t e   t o   a   c e rt a i n   e v e n t .     F a i l u r e   t o   e xpr e s s   e m o t i o n s   a l s o   m a y   l e a d  a   pe r s o n  t o   e m o t i o na l   up h e a v a l .   It   c a n   b e   de f i n e d  a s   s u r ge   of   e m o t i o n   t ha t   c a us e s   m a j o r   ps y c h o l o gi c a l   di s t r e s s   f o r   a n  i n di v i du a l .   It   i s   m o r e   l i ke l y   t o   h a ppe n   due   t o   un e xpe c t e d  l i f e s t y l e   c h a n ge s   s uc h   a s   di v o r c e   o r   n e r v o u s   b r e a kdo w n   w h i c h  c a n   c a us e   a n   i n di v i du a l   t o   e xpe r i e n c e   t ra u m a   a n d  m e n t a l   i l l n e s s .   T h e r e   a r e   a   l o t   o f  f a c t o r s   t h a t   c a n   c a us e   a n  i ndi v i dua l   t o   ha v e   e m o t i o n a l   u p h e a v a l   s uc h   a s   m e n t a l   i l l n e s s   l i ke   b i po l a r   d i s o rde r ,   de p r e s s i o n   a n d  a nxi e t y .   P e o pl e   w i t h   m e nt a l   i l l n e s s   a r e   m o r e   l i ke l y   t o   h a v e   e m o t i o na l   up h e a v a l   o f   un p l e a s a n t   e m o t i o n  [3] .   T h us ,   i t   i s   pr o v e n   t ha t   i de nt i fy i n g  e m o t i o n s   o f  a n   i n d i v i dua l   i n   m o s t   of  t h e   s i t ua t i o n   i s   v i t a l .   A   l o t   of  r e s e a r c h e s   h a v e   b e e n   pe r f o r m e d  i n   o r de r   t o   r e c o gn i z e   e m o t i o n s   f r o m   s pe e c h ,   f a c i a l   e xp r e s s i o n s   o r   b o t h   [4 - 6] .   H ow e ve r ,   t h e s e   m e t h o ds   h a v e   l i m i t a t i o n s   a n d  c ha l l e n ge s   a s   n o t   a l l   e m o t i o n s   c a n   b e   o bv i o us l y   e x pr e s s e d   t hr o ugh  f a c i a l   e xp r e s s i o n ,   s pe e c h   a n d   a c t i o n s .   O ut w a r d   e xpr e s s i o n   c a n  b e   c o n t r o l l e d  due   t o   e n v i r o n m e n t   o r  s o m e   o t h e r  c i r c um s t a n c e s   [7 - 9] .     R e c e n t l y ,   b i o l o gi c a l   s i g n a l s   s uc h   a s   p h o t o pl e t h y s m o gr a m   (P P G ),   e l e c t r o e n c e pha l o g r a m   ( E E G ) ,   e l e c t r o c a r di o g r a m   (E CG )  a n d  a c c e l e r a t i o n   pl e t h y s m o gr a m   (A P G )  h a v e   b e e n   p r o po s e d  a s   t h e   m e t h o d  t o  de t e c t   e m o t i o n   v a ri a b i l i t i e s .   A l l   t h i s   i n f o r m a t i o n   c a n   b e   ob t a i n e d  t hr o ug h   p h y s i o l o gi c a l   i n s t r u m e nt s   t ha t   m e a s u r e   t h e   h e a rt   ra t e ,   b l o o d  pr e s s ur e ,   o x y ge n   s a t u ra t i o n   l e v e l s ,   b l oo d   gl uc o s e ,   n e r v e   c o n duc t i o n   a n d   b r a i n  a c t i v i t y .   H ow e v e r ,   t hi s   s t udy   w i l l   b e   fo c us   m o r e   o n   r e c o g ni z i n g  e m o t i o n s   b y   us i n g  E E G   s i g na l s .   T hi s   i s   b e c a us e   i t   c a n   de t e c t   h um a n   b r a i n   a c t i v i t y   a c c ur a t e l y   w i t h   h i g h   r e s o l ut i o n   da t a   a c qui s i t i o n   de v i c e   a s   c o m pa r e d  t o   o t h e r   b i o l o gi c a l   s i gn a l s   [10 - 12] .   C h a n ge s   i n   t h e   hum a n   b r a i n ’s   e l e c t r i c a l   a c t i v i t y   oc c ur   ve r y   qui c kl y ,   t h us   a   hi g h - r e s o l ut i o n   de v i c e   i s   r e qui r e d  t o   de t e rm i n e   t h e   e m o t i o n   p r e c i s e l y   [13,   14] .   E E G   s i g na l s   a r e   m e a s u r e d  t hr o ugh   e l e c t r i c a l   b r a i n   w a v e s   by   pl a c i n g  t h e   s c a l p  o ve r   m ul t i p l e   a r e a s   o f  t h e   b r a i n   a s   s h o w n   i n  F i gu r e   1 .           F i gu r e   1 .   R e c o r di ng  us e r ’s   b r a i n   w a v e   us i n g  E E G   [15]       T h e r e   a r e   m a n y   a dv a n t a ge s   o f   us i n g  E E G   s i g na l s   a nd  o ne   of   t h e m   i s   t ha t   e m o t i o n s   c a nn o t   b e     f r e e l y   c o n t r o l l e d  w h i c h   m a ke s   i t   m o r e   a c c ur a t e   a s   c o m pa re d  t o   o t h e r   m e t h o ds   s uc h   a s   f a c i a l   e xp r e s s i o n s ,   s pe e c h   e t c .   F u r t h e rm o r e ,   E E G   s i g n a l   i s   c o n t i n uo us l y   a v a i l a b l e   a t   a l l   t i m e ,   e v e n   t h o ug h   t h e   pe r s o n   i s   a s l e e p  o r   a w a ke   [16] .   H e n c e ,   t hi s   s t udy   pr o pos e d  a   s y s t e m   of   r e c o gn i z i n g  f o ur   s t a t e s   of   e m o t i o n   w h i c h   a r e   c a l m ,   f e a r,   ha ppy   a n d  s a d  us i ng  E E G   s i g na l .   T h e   o bj e c t i v e s   of   t h i s   s t udy   a r e ;   t o   s t udy   t h e   E E G   s i g na l s   a nd  i t s   c h a ra c t e ri s t i c s ,   t o   de ve l o p  t h e   E E G   b a s e d  r e c o gn i t i o n   s y s t e m   a s   w e l l   a s   t o  a s s e s s   t h e   pe r f o r m a n c e   of   t h e   s y s t e m .   T h e   r e s t   o f   t h i s   p a pe r   i s   o r ga ni z e d  a s   f o l l ow s .   S e c t i o n   2  s um m a r i z e s   t h e   p r e v i o us   w o r ks   t h a t   a r e   r e l a t e d  t o   t h i s   s t udy   w h i l e   S e c t i o n  3  p r e s e n t s   t h e   r e s e a r c h   m e t h o do l o g y   by   e xpl a i n i n g   t h e   da t a   a c qui s i t i o n ,   pr e p r o c e s s i n g,   f ut u r e   e xt ra c t i o n   a n d  c l a s s i f i c a t i o n  o f   e m o t i on s   p r o c e s s e s .   F urt h e r   di s c us s i o n   a nd  r e s ul t s   w i l l   b e   f ur t h e r  e l a b o r a t e d   i n  S e c t i o n   4.   F i na l l y ,   S e c t i o n   5  c o n c l ud e s   t h e   s t udy   a s   w e l l   a s   m a ppe d  t h e   f ut u r e   w o r k.       2.   R ELA TED   WO R K S     In   r e c e nt   y e a r s ,   t h e r e   ha s   b e e n   a   g r o w i n g  i nt e r e s t   f r o m   a l l   r e s e a r c h e r s   a r o un d  t h e   w o r l d  i n  r e c o gn i z i n g  v a r i a b i l i t y   of   h um a n ’s   e m o t i o n   f r o m   f a c i a l   e xp re s s i o n s ,   s pe e c h   a nd  b o t h .   H ow e ve r ,   i n   t h i s   s t udy ,   i t   i s   m o r e   f oc us e d  o n   e m o t i o n   r e c o gn i t i o n   t ha t   us e s   e l e c t r o e n c e p h a l o g r a m   ( E E G )  s i g n a l s   a s   i t   i s   r e l a t i v e l y   a   n e w   m e t h o d  us e d  by   r e s e a r c h e r s .   T h e r e   a r e   a   l o t   of   t e c h n i que s   t h a t   h a v e   be e n   us e d  i n   a na l y z i ng  t h e   E E G   s i g n a l s   a s   w e l l   a s   t o   c l a s s i fy   t h o s e   s i gna l s   i nt o   v a ri o us   t y p e s   of   e m o t i o n s .   H o r l i n gs   e t   a l .   i n   [17]   a c c e s s   h um a n   e m o t i o n   by   us i n g  E E G   s i gna l s .   T w o  s t a t e s   t ha t   h a v e   be e n   put   i n t o   a t t e nt i o n   a r e   v a l e n c e   a n d  a r o us a l .   S o m e   pi c t u r e s   a r e   s h o w e d  t o   t h e   s ub j e c t s   i n   o r de r   t o   a r o us e   e m o t i o n s .   It   i s   f o un d  o ut   t h a t   S uppo r t   V e c t o r   M a c hi n e   (S V M )  pe r f o r m s   t h e   b e s t   i n   e m o t i o n  c l a s s i f i c a t i o n   w h e r e   32%   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   2 ,  A ugus t   2 019   :     7 8 6   -   7 9 3   788   a n d  37 %  o f   c l a s s i f i c a t i o n   ra t e s   f o r   v a l e n c e   a n d   a r o us a l   a r e   a c h i e v e d  r e s pe c t i v e l y .   In   a ddi t i o n,     hi g h e r   pe r f o r m a n c e   of   c l a s s i f i c a t i o n   ra t e s   w a s   ob t a i n e d  by   u s i ng  o n l y   t h e   e xt r e m e   v a l ue s   w h e r e   t h e   ra t e s   f o r   v a l e n c e   a r e   71 %  a n d  a r o us a l   a r e   8 1%.   H ow e ve r ,   t h i s   s y s t e m   d i d  n o t   c o n s i de r  t h e   v a ri e t y   a m o n g   di f f e r e n t   pe o pl e   a n d   c o n di t i o n s   a s   n e w   s a m p l e s   t ha t   w e r e   a ppl i e d  a n d   ga v e   o n l y   35 %  c o rr e c t   a c c ura c y   r a t e .   N i e   e t   a l .   i n   [18 ]   c l a s s i f i e d  t w o  t y pe s   of   e m o t i o n s   w h i c h   a re   p o s i t i v e   a n d  n e ga t i v e ,   by   us i n g  E E G   s i g n a l s .   B a ndpa s s   f i l t e r   w a s   a ppl i e d  i n   o r de r   t o   e xt ra c t   t h e   E E G   da t a   t o   de l t a ,   t h e t a ,   a l p h a ,   b e t a   a nd  ga m m a   w a ve s .   B a s e d  o n   t h e   r e s ul t ,   a l p ha ,   b e t a   a n d  ga m m a   b a n ds   s how e d   h i g h e r   pe r f o r m a n c e   i n   de t e c t i n g  e m o t i o n s   c o m pa r e d  t o   de l t a   a n d  t h e t a   b a n ds .   T h i s   c a n   b e   c o n c l ude d  t ha t   b a n ds   w i t h   h i g h e r   f r e que n c y   a r e   e s s e n t i a l   i n  r e c o gn i z i n g  e m o t i o n s .   H ow e v e r ,   87. 53%  o f   a ve r a ge   a c c ura c y   r a t e   w a s   o b t a i n e d  w h i c h   p r o v i de d  r o o m   of  i m p r o v e m e n t   a s   12. 4 7%  e rr o r   e xi s t s .     S o l e y m a n i   e t   a l .   i n   [19]   p r o po s e d   a   di ff e r e n t   a p p r o a c h   i n   r e c o gn i z i n g  e m o t i o n   by   us i n g  E E G   s i g na l s   a n d  f a c i a l   e xp r e s s i o n s .   T h e   s t udy   us e d  f r o n t a l   v i e w   v i de o   i n  o r de r   t o   c a pt u r e   t h e   f a c i a l   e xp r e s s i o n s   f o r   e a c h  s ub j e c t .   S ubj e c t s   w e r e   a s ke d  t o   w a t c h   20  s h o rt   v i de o s   f r o m   f a m o us   c o m m e r c i a l l y   pr o duc e d  m ov i e s   t o   e v o k e   di f fe r e nt   e m o t i o n s .   U n w a nt e d  a rt i f a c t s   a n d  n o i s e   a r e   f i l t e r e d   by   pr e pr o c e s s i n g  a n d  a   s a m p l i n g  ra t e   of   256 H z   w e r e   us e d  i n   t hi s   s t udy .   L o n g  S h o r t   T e rm   M e m o r y   N e ur a l   N e t w o r ks   t e c hn o l o g y   w a s   a ppl i e d  a nd  i n   o r de r   t o   s e gm e n t   a n d   c l a s s i f y   da t a ,   Co n d i t i o n a l   R a n do m   F i e l ds   (C R F )  w a s   e m pl oy e d  i n s t e a d   o f   H i dde n   M a r ko v  M o de l s   ( H M M ).   R e s ul t s   s h o w e d  e l e c t r o de s   pos i t i o n e d  o n   t h e   f r o n t a l ,   pa ri e t a l   a n d  o c c i pi t a l   l o b e s   w i t h  h i g h  f r e que n c y   ob t a i n e d  hi g h e r   c o r r e l a t i o n   w h i c h   c a rri e s   i m po rt a n t   i n f o r m a t i o n   r e ga r d l e s s   of  t h e   c o n t a m i n a t i o n   f r o m   f a c i a l   m us c ul a r   a c t i v i t i e s .   H ow e ve r ,   t h e   r e s ul t s   w i l l   b e   a ff e c t e d  i f   t h e   s ub j e c t s   a r e   n o t   i n   s t a t i o n a r y   po s i t i o n   w h i c h   e rr o r   c a n   e a s i l y   oc c ur   a n d  de l a y   c a n   b e   e xpe r i e n c e d  due   t o   c o n t i nuo us   a nn o t a t i o n   o f   f a c i a l   e xpr e s s i o n s .   A l t h o ug h   t h e r e   a r e   qui t e   a   l o t   o f   r e s e a r c h e s   b e i n g   m a de   t o   di f fe r e nt i a t e   t h e   v a r i a b i l i t y   i n   h u m a n ’s   e m o t i o n ,   i n c l udi n g  t h e   E E G   i t s e l f ,   t h e r e   a r e   s t i l l   i m p r o v e m e nt s   t h a t   c a n   b e   m a de   i n   o r de r   t o   i n c r e a s e   t h e   ac c ur a c y   o f   t h e   r e s ul t s   o b t a i n e d.   T h us ,   t hi s   s t u dy   w i l l   p ro pos e   a n   e m o t i o n   r e c o gn i t i o n   t e c hni que   us i ng    E E G   s i g na l .       3.   R ES U LTS   A N D   A N A L Y S I S     M e t h o do l o g y   i s   t h e   a na l y s i s   of   s pe c i f i c   pr o c e dur e s   o r   m e t h o ds   us e d  t o   a n a l y z e   t h e   i n f o r m a t i o n   i n  o r de r   t o   o b t a i n   t h e   r e s ul t   r e qui r e d .   T hi s   c h a pt e r   w i l l   b r i e f l y   di s c us s   a bo ut   t h e   p r o po s e d  m e t h o do l o g y   us e d  t o  s t udy   t h e   r e c o gn i t i o n   o f   e m o t i o n   us i n g  E E G   s i g n a l .   I n   t hi s   s t ud y ,   c a l m ,   f e a r ,   h a ppy   a n d  s a d  a r e   t h e   fo ur   e m o t i o n s   t o   b e   r e c o gn i z e d.   F o ur   s t e ps   a r e   us e d  t o  de t e c t   a n d   r e c o gn i z e   e m o t i o n   v a ri a b i l i t i e s   f r o m   i n di v i du a l s   w h i c h  a r e   da t a   a c qui s i t i o n ,   p r e - p r o c e s s i n g,   f e a t u r e   e xt ra c t i o n  a n d   c l a s s i f i c a t i o n  a s   s h o w n   i n  F i gu r e   2.             F i gu r e   1 .   M e t h o d  us e d  f o r   e m o t i o n   r e c o gni t i o n   us i n g   E E G   s i gna l       3. 1 .       D at a  A c q u i s i ti o n   D a t a   a c qui s i t i o n   i s   t h e   f i r s t   pa rt   o f   t h e   p r o c e s s   w h e r e   t h e   E E G   s i g n a l s   a r e   a c qu i r e d  f r o m   s i x   di f f e r e n t   s ub j e c t s   by   us i n g  a n   E E G   de v i c e   f r o m   K ul l i y y a h   o f   Info r m a t i o n   Co m p ut e r   a n d  T e c hn o l o g y   (K ICT ),     na m e d  B r a i nm a r ke r.   T h e   de v i c e   i s   c o nn e c t e d  t o   19  e l e c t r o d e s   w h i c h   r e p r e s e n t s   t h e   19  c ha nn e l s   o f  E E G   s i g n a l s   a s   s h o w n   i n  F i gu r e   3.           F i gu r e   2 .   E E G   de v i c e   n a m e l y   b r a i nm a r ke r  E X G   [20]   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i on  r e c o gni t i on   us i n g  e l e c t r oe n c e p hal o gr am   s i g nal   ( A q i l a   Nur   Nadi r a   Mo ham m ad  Y os i )   789   A l l   s ub j e c t s   a r e   s t ude n t s   f r o m   I nt e rn a t i o na l   Is l a m i c   U n i v e r s i t y   M a l a y s i a   (IIU M )  w i t h   a ge   r a nge   f r o m   22  t o   24  y e a r s   o l d  a n d   i n  go o d  h e a l t h   c o n d i t i o n.   T h e s e   s ubj e c t s   n e e d  t o   w a t c h  f o ur   v i de o s   i n   o r de r  t o   s t i m u l a t e   c a l m ,   s a d,   f e a r   a n d  h a ppy   e m o t i o n s .   B e fo r e   t h e   v i de o s   a r e   s t a rt e d,   t h e   s ub j e c t s   w e r e   gi ve n   a   h e a d p h o n e   s o   t h a t   t h e y   w i l l   b e   m o r e   fo c us e d  o n   t h e   v i de o  w i t h o ut   a n y   e xt e r na l   d i s t ra c t i o n.   H ow e v e r ,     E E G   s i g na l   i s   v e r y   s e n s i t i v e   t o   m ov e m e n t s .   T h e r e f o r e ,   a l l   s ub j e c t s   a r e   a dv i s e d  n o t   t o   m a ke   a n y   m ov e m e n t   a n d  m i ni m i z e   e y e   b l i n ki ng  a s   i t   w i l l   g i v e   m a j o r  e ff e c t   t o   t h e   E E G   s i g na l .     3. 2 .       Pre - p r o c e s s i n g   A f t e r   t h e   E E G   s i g na l   i s   a c qui r e d ,   t h e s e   da t a   s i g n a l s   n e e d  t o   go   t hr o ug h   p r e - p r o c e s s i n g.     P r e - p r o c e s s i n g  i s   a   s t a t e   o f   pr o c e s s   t o   r e m o ve   n o i s e   f r o m   t h e   s i g na l s .   S i n c e   b ra i n  a c t i v i t y   o n l y   pr o duc e s   ve r y   w e a k  s i gna l s ,   E E G   s i g na l s   w i l l   c o n t a i n   a   l o t   of   b a c kgr o un d  n o i s e   [21] .   T h e r e   a r e   m a n y   s o ur c e s   of   n o i s e   s uc h   a s   s t a t i c   e l e c t ri c i t y   o r   e l e c t r o m a g n e t i c   f i e l ds   p r o duc e d  by   t he   n e a r by   de v i c e s ,   a r t i f a c t s   a n d  a n y   o t h e r   e xt e rn a l   i n f l ue n c e s .   I n  t hi s   s t udy ,   s e c o n d  o r de r  l o w   pa s s   B ut t e r w o r t h  f i l t e r   i s   us e d  a t   t h e   p r e - p r o c e s s i n g  s t a ge   a s   a l l   t h e   r e l e v a nt   i n f o r m a t i o n   e s pe c i a l l y   f o r   e m o t i o n   c l a s s i f i c a t i o n   a r e   f o un d  i n  t h e   f r e que n c i e s   b e l ow   30 H z .     3. 3 .       F e a tu r e   Ex tr a c ti o n   T h e   s e c o n d  s t a ge   of   t h i s   s t udy   i s   fe a t u r e   e xt r a c t i o n   w h e r e   a l l   t h e   us e f ul   i n f o r m a t i o n   f r o m   t h e   s i gna l s   w i l l   b e   e xt ra c t e d.   B a s e d  o n   p r e v i o us   s t ud y ,   h i g h   f r e que n c y   ba n ds   pl a y   a n   e s s e n t i a l   r o l e   i n   r e c o gn i z i n g  hum a n   e m o t i o n   v a r i a b i l i t i e s   [18] .   T h e r e fo r e ,   i n   t hi s   pa rt ,   E E G   s i g na l s   w i l l   b e   s e l e c t e d  b a s e d  o n   t h e i r   f r e que n c y   b a n d  w h i c h   a r e   a l p ha   b a n ds   a n d  b e t a   b a n ds .   T h e   r a nge   of   f r e que nc i e s   f o r   t h e   b a n ds   a r e   b e t w e e n   (8 - 13) H z   a n d  (13 - 30) H z   r e s pe c t i v e l y .   In   t hi s   s t u dy ,   w a v e l e t   t r a n s f o r m   i s   u s e d  i n   o r de r  t o   s pl i t   t h e   s i g na l s   i nt o   s e l e c t e d   f r e que n c y   b a n ds .   M u l t i - r e s o l ut i o n   a na l y s i s   of   “ d b 8”   w a v e l e t   f un c t i o n   i s   us e d  fo r   de c o m po s i n g  t h e   E E G   s i g n a l s   i nt o   f i v e   l e ve l s   a n d  t w o   f r e que n c y   b a n ds   w h i c h  a r e   a l pha   a n d   b e t a .       3. 4 .      C l as s i fi c at i o n   A f t e r   e xt ra c t i n g  t h e   s e l e c t e d  f e a t ur e s ,   t h e   c l a s s i f i c a t i o n   of   e m o t i o n   w i l l   b e   do n e   by   s ui t a b l e  c l a s s i f i e r s   w h e r e   t hi s   i s   t h e   l a s t   s t a ge   o f   t h i s   s t u dy .   Cl a s s i f i c a t i o n   i s   t h e   p r o c e s s   of   gr o upi n g  t h e   r e l a t e d  da t a   i n t o   a   s i n gl e   g r o up.   H e n c e   i n   t h i s   s t udy ,   M ul t i l a y e r   P e r c e pt r o n   (M L P )  i s   us e d.   I t   i s   a   f e e d f o r w a r d  a r t i f i c i a l   n e u r a l   n e t w o r k  m o de l   t ha t   pl o t s   s e t s   o f   i n put   da t a   o n t o   a   s e t   of   o ut put s .   A l l   t h e   n e t w o r k  pa ra m e t e r s   a da pt e d  a r e   s h o w n   i n  T a b l e   1.       T a b l e   1.   P a ra m e t e r  o f   N e ur a l   N e t w o r k   P a ra m e t e r s   V a l u e s   N u m b e r   o f  i n p u t   l a y e r   12   N u m b e r   o f  h i d d e n   l a y e r   2   N u m b e r   o f  o u t p u t   l a y e r   2   N u m b e r   o f  e p o c h s   1000   M e a n   s q u a re   e r ro r   0 . 1       In   t h i s   s t udy ,   t h e   r e s ul t   o f   c l a s s i f i c a t i o n   p r o c e s s   w i l l   b e   b a s e d  o n   t h e   R us s e l l ’s   Ci r c um pl e x  M o de l   of  E f fe c t   a s   i t   i s   o n e   of   t h e   c o m m o n l y   u s e d  m o d e l   of   e m o t i o n s   a s   s h o w n   i n   F i gu r e   4   [22 - 25 ] .   E a c h   e m o t i o n   i s   pl a c e d  a c c o r di n g  t o   t h e i r   l e v e l   o f   a r o us a l   a n d  v a l e n c e .   A r o us a l   ra n ge s   f r o m   e xc i t e d  t o   c a l m   w h i l e   v a l e n c e   ra n ge s   f r o m   pl e a s a nt   t o   u n p l e a s a nt .           F i gu r e   3 .  R us s e l l ' s   c i r c u m pl e x   m o de l   o f   e ffe c t   [24]   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   2 ,  A ugus t   2 019   :     7 8 6   -   7 9 3   790   4.   R ES U LTS   A N D   A N A L Y S I S   In   t h i s   s t udy ,   E E G   d a t a   w e r e   t a ke n   f r o m   s i x   di f f e r e n t   s ub j e c t s   a ge   ra n ge d  f r o m   22   t o   24  y e a r s   o l d   a n d  a l l   o f   t h e m   w e r e   i n   go o d  h e a l t h   c o n d i t i o n .   T h e y   a r e   r e qui r e d  t o   w a t c h   f o ur   di f f e r e n t   v i de o s   t o   s t i m ul a t e   c a l m ,   f e a r ,   ha ppy   a n d  s a d  e m o t i o n s .   I n   o r de r   t o   a c qui r e   t h e   E E G   d a t a ,   s ub j e c t s   w e r e   r e qui r e d  t o   w e a r   a   c a p   t h a t   c o n s i s t   of   19  e l e c t r o de s .   T h e   c a p  w a s   c o n n e c t e d  t o   a   de v i c e   a n d  a   l a pt o p.   B r a i nm a r ke r   s o f t w a r e   a r e   us e d   fo r   t h e   da t a   a c qui s i t i o n   p r o c e s s .   B a s e d  o n   p r e v i o us   r e s e a r c h ,   s o m e   of   t h e   e l e c t r o de s   ga v e   hi g h e r   a c c u r a c y   r a t e   i n   c l a s s i fy i n g  e m o t i o n s   [2 4] .   T h e r e f o r e ,   i n  t hi s   s t u dy ,   T 8,   F 3 ,   P 3   a nd  P 4  c ha nn e l s   w e r e   us e d  t o   a n a l y z e   h a ppy ,   c a l m ,   f e a r   a n d  s a d   r e s pe c t i v e l y .   T h e   n u m b e r   of   s a m pl e s   i n   e a c h   s i g na l   i s   de pe n ds   o n   t h e   t i m e   dura t i o n   o f  t h e   v i de o   c l i ps .     F i gu r e   5   a n d   F i g u r e   6   di s p l a y   t h e   r a w   da t a   o f   s ubj e c t s   1  a nd  2  r e s pe c t i v e l y   fo r   a l l   e m o t i o n  s t a t e .           F i gu r e   4 .   R a w   E E G   s i g na l   f o r   S ub j e c t   1       F i gu r e   5 .   R a w   E E G   s i g na l   f o r   S ub j e c t   2       T h e   o ut c o m e   f r o m   t h e   f i r s t   p r o c e s s   o f   t h i s   s t udy   w h i c h   i s   d a t a   a c qui s i t i o n   f r o m   6  di f f e r e n t   s ub j e c t s   s h o w e d   t h a t   di f f e r e n t   pe o pl e   h a v e   di ffe r e n t   w a v e fo r m s   f o r   e a c h   e m o t i o n .   T h e   n e xt   s t a ge   a f t e r   da t a   a c qu i s i t i o n  i s   p r e - p r o c e s s i n g .   T h e   n o i s e   o r   u n w a n t e d  s i g n a l   m a y   b e   c a us e d  due   t o   t h e   m o v e m e n t   o f   t h e   s ub j e c t s   o r   t h e   i n s t a b i l i t y   of   t h e   s ub j e c t s   duri n g  d a t a   a c qui s i t i o n  p r o c e s s .   T h e r e fo r e ,   p r e p r o c e s s i n g  i s   n e e de d  t o   ge t   t h e   s m o o t h   s i g na l   w a v e fo r m s .   I n   t h i s   s t u dy ,   s e c o n d  o r de r   l o w   pa s s   B ut t e r w o r t h   f i l t e r   w i t h  n o r m a l i z e d  c ut o ff  f r e que n c y   of   0. 25  H z   i s   us e d.   T h e   f i l t e r e d  s i g n a l   o f   s u bj e c t s   1  a n d  2  a r e   s h o w n   i n   F i g u r e   7  a n d  F i g u r e   8.     T h e   o ut put   s h o w e d  s m o o t h   w a v e f o r m s   o f   E E G   s i g n a l s .           F i gu r e   6 .   F i l t e r e d  E E G   s i g na l   f o r   S ub j e c t   1       F i gu r e   7 .   F i l t e r e d  E E G   s i g na l   f o r   S ub j e c t   2       A f t e r   un de r go i n g  t h e   p r e - p r o c e s s i n g  s t a ge ,   t h e   s i g n a l s   a r e   t h e n   e xt r a c t e d  a c c o r di n g  t o   f r e que n c y   b a n ds .   H i g h   f r e que n c y   b a n d  w h i c h   a r e   a l p ha   a n d  b e t a ,   p l a y   a n   i m po r t a nt   r o l e   i n   e m o t i o n   c l a s s i f i c a t i o n.   H e n c e ,   s i g n a l   w i t h   f r e que n c y   (8 - 13)  H z   a nd  (13 - 30 )  H z   a r e   e xt ra c t e d  t o   r e p r e s e n t   a l p ha   a n d  b e t a   r e s pe c t i v e l y   by   us i n g  W a v e l e t   T r a n s f o r m .   F i gu r e s   9  unt i l   16  s h o w   t h e   a l pha   a n d  b e t a   s i g n a l s   of   e a c h   e m o t i o n   f o r   s u b j e c t s   1  a nd  2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i on  r e c o gni t i on   us i n g  e l e c t r oe n c e p hal o gr am   s i g nal   ( A q i l a   Nur   Nadi r a   Mo ham m ad  Y os i )   791       F i gu r e   9 .   A l p h a   a nd  b e t a   s i g na l   o f   s ubj e c t   1  (Ca l m )           F i gu r e   10 .   A l p ha   a n d   b e t a   s i g na l   o f   s ubj e c t   1  (F e a r )           F i g u r e   11 .   A l p ha   a n d   b e t a   s i g na l   o f   s ubj e c t   1  (H a pp y )           F i gu r e   12 .   A l p ha   a n d   b e t a   s i g na l   o f   s ubj e c t   1  (S a d)           F i gu r e   13 .   A l p ha   a n d   b e t a   s i g na l   o f   s ubj e c t   2  (Ca l m )           F i gu r e   14 .   A l p ha   a n d   b e t a   s i g na l   o f   s ubj e c t   2  (F e a r )           F i gu r e   15 .   A l p ha   a n d   b e t a   s i g na l   o f   s ubj e c t   2  (H a pp y )       F i gu r e   16 .   A l p ha   a n d   b e t a   s i g na l   o f   s ubj e c t   2  (S a d)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   2 ,  A ugus t   2 019   :     7 8 6   -   7 9 3   792   T h e   l a s t   s t a ge   o f  t h i s   s t udy   i s   c l a s s i f i c a t i o n .   T hi s   i s   t h e   pa rt   w h e r e   a l l   t h e   s i gna l s   w i l l   b e   c l a s s i f i e d   a c c o r di n g  t o   t h e   e m o t i o n .   T h e   d a t a   e xt ra c t e d  f r o m   f e a t u r e   e xt r a c t i o n   p r o c e s s   w i l l   b e   t h e   i n pu t   f o r   t hi s   s t a ge .   In   t h i s   s t udy ,   M L P   n e ura l   n e t w o r k  i s   us e d  by   us i n g  t o o l b o x  i n   M A T L A B   R 2016a .   T h e   r e s ul t   o f   t h e   c l a s s i f i c a t i o n  p r o c e s s   fo r   s ub j e c t s   1  a n d   2   a r e   s h o w n   i n   F i gu re   17  a n d  F i gu r e   1 8  r e s pe c t i v e l y .             F i gu r e   17 .   E m o t i o n   c l a s s i f i c a t i o n   f o r   S ub j e c t   1       F i gu r e   18 .   E m o t i o n   c l a s s i f i c a t i o n   f o r   S ub j e c t   2       B a s e d  o n   t h e   r e s ul t   o f   c l as s i f i c a t i o n   p r o c e s s   i n  F i gu r e   17   u nt i l   18 ,   m a j o r i t y   of   t h e   s i g na l s   a r e   i n  t h e   ri g h t   qua d ra nt   o f   e m o t i o n   a s   r e f e r ri n g  t o   R us s e l l ’s   Ci r c um p l e x  M o de l   of   E f fe c t .   F i gur e s   4   s h o w   t h e   s c a t t e r  pl o t   of   t h e   c l a s s i f i c a t i o n   r e s ul t   a f t e r   M L P   n e u r a l   n e t w o r k  i s   a ppl i e d.   I n   e a c h   s c a t t e r   pl o t ,     fo ur   e m o t i o n s   w h i c h   a r e   ha ppy ,   fe a r,   c a l m   a n d  s a d  a r e   hi ghl i g ht e d.   F o r   ha ppy   e m o t i o n ,   i t   i s   i n d i c a t e d  a s   ha v i ng  po s i t i v e   i n t e n s i t y   fo r   b o t h   v a l e n c e   a n d  a r o us a l   w h i l e   s a d  e m o t i o n  l o c a t e d  a t   t h e   q ua d ra n t   o f   n e ga t i v e   fo r   b o t h   v a l e n c e   a n d   a r o us a l .   F o r   s a d  e m o t i o n,   a l m o s t   t h e   e nt i r e   pl o t   i ndi c a t e s   n e ga t i v e   l e v e l   of   bo t h   v a l e n c e   a n d  a r o us a l .   M e a n w h i l e ,   f e a r  e m o t i o n  c o rr e s po n ds   t o   po s i t i v e   a r o us a l   a n d   n e ga t i v e   v a l e n c e .   H ow e ve r ,   b a s e d  o n  t h e   c l a s s i f i c a t i o n  r e s ul t ,   17%  o f   s a d  e m o t i o n   w e r e   de t e c t e d  i n   qu a d ra n t   o f  po s i t i v e   a r o us a l .   D ue   t o   ps y c h o l o gi c a l   r e a s o n ,   w h e n   s o m e o n e   e xpe r i e n c e   s a d  e m o t i o n,   t h e y   t e n d  t o   h a v e   a n xi e t y   o r   ups e t   a s   w e l l .   F urt h e r m o r e ,   t h e   f e a r   o f   l o s i n g  s o m e o n e   a l s o   m a y   c o n t ri b ut e   t o   h i g h   i nt e n s i t y   o f  a r o us a l   a s   w e l l .   T a b l e   2   s h o w s   t h e   c l a s s i f i c a t i o n   a c c ur a c i e s   of   E E G   s i gna l   a c c o r di ng  t o   e m o t i o n s   fo r   a l l   s ub j e c t s .       T a b l e   1 .   C l a s s i f i c a t i o n  A c c ur a c i e s   o f   E E G   S i g na l   A c c o r di n g  t o   E m o t i o n s   f o r   A l l   S ub j e c t s   S u b j e c t s   Ca l m   F e a r   H a p p y   S a d   S u b j e c t   1   85%   92%   92%   90%   S u b j e c t   2   84%   85%   85%   59%   S u b j e c t   3   85%   81%   89%   89%   S u b j e c t   4   79%   88%   77%   90%   S u b j e c t   5   82%   89%   82%   82%   S u b j e c t   6   86%   89%   90%   86%       B a s e d  o n   t h e   t a b l e   a b ov e ,   t h e r e   a r e   v a r y i n g  c l a s s i f i c a t i o n   a c c ur a c y   r e s ul t   a s   t hi s   i s   due   t o   m u l t i pl e   e m o t i o n s   a t   t h e   s a m e   t i m e   w h i c h   c a us e s   t h e   c a t e go r i z a t i o n   o f   e m o t i o n s   t o   be   m i x  up.   H ow e ve r ,   by   us i n g  t h e   pr o po s e d  m e t h o d,   c l a s s i f i c a t i o n   a c c ura c y   up  t o  91%  i s   a c hi e v e d.   T h e   a v e r a ge   c l a s s i f i c a t i o n   a c c ura c y   fo r   c a l m ,   f e a r,   h a ppy   a n d   s a d   a r e   83 . 5% ,   8 7. 3 %,   85 . 83%   a nd  87. 6%  r e s pe c t i v e l y .         5.   C O N C LU S I O N   T h i s   s t u dy   i n s pe c t s   t h e   c a p a b i l i t y   of   E E G   s i g n a l   i n  r e c ogni z i n g  v a r i a b i l i t y   of   h um a n   e m o t i o n .     F o ur   s t e ps   a r e   us e d  t o   de t e c t   a n d   r e c o gn i z e   e m o t i o n s   w h i c h   a r e   da t a   a c qui s i t i o n,   p r e - p r o c e s s i n g ,   f e a t u r e   e xt ra c t i o n   a n d  c l a s s i f i c a t i o n   o f  e m o t i o n s .   C h a pt e r   F o ur   s h o w s   t h e   r e s ul t s   o b t a i n e d  by   us i n g  t h e   fo ur   pr o c e s s e s   m e nt i o n e d  b e fo r e .   T hi s   s t udy   pr ov e s   t h a t   M L P   n e ura l   ne t w o r k  c o n t ri b ut e s   w e l l   i n   c l a s s i fy i n g  h u m a n  e m o t i o n s .   T a k i n g  i nt o   c o n s i de ra t i o n ,   t h e   a na l y s i s   t ha t   ha s   b e e n   m a de   i n   p r e v i o us   c h a p t e r,   t hi s   s t udy   s h o w s   a n  i m p r o v i s e d  e m o t i o n   r e c o gn i t i o n ’s   s y s t e m   e s pe c i a l l y   i n   d i f f e r e n t i a t i o n   f o ur   di f f e r e n t   e m o t i o n s   w hi c h  a r e   ha ppy ,   s a d,   f e a r  a nd  c a l m .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i on  r e c o gni t i on   us i n g  e l e c t r oe n c e p hal o gr am   s i g nal   ( A q i l a   Nur   Nadi r a   Mo ham m ad  Y os i )   793   A C K N O WL ED G E M EN T   I  w o ul d  l i ke   t o   e xt e n d   m y   s i n c e r e   t ha n ks   a n d   g r a t i t ude   t o   D e pa rt m e n t   o f   E l e c t r i c a l   a nd  Co m pu t e r  E n gi n e e r i n g ,   K ul l i y y a h   of   E n gi n e e r i n g ,   IIU M   a n d  P e r v a s i v e   Co m put i n g  f o r   B r a i n   D e v e l o pm e n t   R e s e a r c h   G r o up  (P CB D G ),   K u l l i y y a h   o f   In f o r m a t i o n   a n d  S c i e n c e   T e c hn o l o g y ,   IIU M   fo r   a s s i s t i ng  m e   i n  c o m pl e t i n g   t h i s   s t udy .         R EF ER EN C ES     [ 1]   Z .   T o ng ,   K .   T o ng ,   X .   C h e n ,   a n d  E .   A l . ,   “ E m o t i o n  r e c o g ni t i o n  b a s e d  o n  pho t o pl e t hy s m og r a m   a nd   e l e c t r o e nc e pha l o g r a m , ”   201 8  4 2nd   I E E E   I n t .   C on f .   C om pu t .   So f t w .   A ppl . ,   p p.   40 2 – 40 7,   20 18.   [ 2]   C .   A .   T o r r e s - v a l e nc i a   a nd  M .   A .   A l v a r e z ,   “ C o m pa r a t i v e   a na l y s i s   o f   ph y s i o l o g i c a l   s i g na l s   a nd   E l e c t r o e nc e p ha l o g r a m   (   E E G   )   f o r   m ul t i m o da l   e m o t i o n  r e c o g ni t i o n  us i ng   g e ne r a t i v e   m o de l s , ”   20 14  X I X   Sy m p.   I m age ,   Si gna l   P r oc e s s .   A r t i f .   V i s i o n,   A r m e n . ,   pp .   1 – 5 ,   201 4.   [ 3]   M e n t a l   H e a l t h  D a i l y ,   “ E m o t i o na l   U ph e a v a l s :   C a us e s ,   S y m pt o m s ,   C o pi ng   S t r a t e g i e s , ”   2015 .   [ O nl i n e ] .   A v a i l a bl e :   ht t ps : / / m e n t a l he a l t hd a i l y . c o m / 2015/ 03 / 27 / e m o t i o na l - uphe a v a l s - c a u s e s - s y m pt o m s - c o pi ng - s t r a t e g i e s / .   [ A c c e s s e d:   12 - M a r - 2019] .   [ 4]   G .   Y a ng ,   J .   S a um e l l ,   a n d  J .   S a ni i e ,   “ E m o t i o n  R e c og ni t i o n  us i ng   D e e p  N e ur a l   N e t w o r k  w i t h  V e c t o r i z e d  F a c i a l   F e a t ur e s , ”   201 8  I E E E   I n t .   C onf .   E l e c t r o / I nf o r m a t i o n  T e c h no l . ,   pp .   3 18 – 32 2,   20 18.   [ 5]   P .   T a r no w s ki   e t   al . ,   “ E m o t i o n  r e c o g ni t i o n  us i ng   f a c i a l   e xpr e s s i o ns   E m o t i o n  r e c o g ni t i o n  us i ng   f a c i a l   e xpr e s s i o ns , ”   P r oc e di a  C om put .   Sc i . ,   v o l .   1 08 ,   p p.   11 7 5 – 1 184 ,   2017 .   [ 6]   M .   K .   A hi r w a l ,   A .   K um a r ,   N .   D .   L o ndhe ,   a n d  H .   B i kr o l ,   “ S c a l p  C o nne c t i v i t y   N e t w o r ks   f o r   A na l y s i s   o f   E E G   S i g na l   dur i ng   E m o t i o na l   S t i m u l a t i o n, ”   2 016   I n t .   C on f .   C om m u n.   S i gna l   P r oc e s s .   ( I C C SP ) ,   M e l m ar uv a t hu r ,   pp .   592 – 596 ,   2016 .   [ 7]   J. - Y .   K .   H a nm o i   S i m ,   W o n - H y ung   L e e ,   “ A   S t udy   o n  E m o t i o n  C l a s s i f i c a t i o n  u t i l i z i ng   B i o - S i g na l   (   P P G ,   G S R ,  R E S P   )   A   S t u dy   o n  E m o t i o n  C l a s s i f i c a t i o n  u t i l i z i ng   B i o - S i g na l   (   P P G ,   G S R ,   R E S P   ) , ”   I E E E   T r an s .   A u t on .   M e nt .   D e v . ,   v o l .   7 ,   no .   3 ,   p .   p p  162 - 175 ,   201 5.   [ 8]   C .   C he n  a n d  R .   E .   J a c k,   “ S c i e nc e D i r e c t   D i s c o v e r i ng   c ul t ur a l   d i f f e r e nc e s   (   a nd  s i m i l a r i t i e s   )   i n  f a c i a l   e xp r e s s i o ns   o f   e m o t i o n, ”   C ur r .   O p i n .   P s y c ho l . ,   v o l .   17 ,   pp .   61 – 6 6,   20 17 .   [ 9]   R .   E .   J a c k,   C .   B l a i s ,   C .   S c he e pe r s ,   P .   G .   S c hy ns ,   a nd  R .   C a l d a r a ,   “ R e po r t   C u l t ur a l   C o nf us i o ns   S ho w   t ha t   F a c i a l   E xpr e s s i o ns   A r e   N o t   U n i v e r s a l , ”   C u r r .   B i o l . ,   v o l .   1 9,   no .   18 ,   pp .   1 5 43 – 15 48,   2 009 .   [ 10]   N .   A r unkum a r ,   K .   R .   K um a r ,   a n d  V .   V e nka t a r a m a n,   “ E n t r o py   f e a t u r e s   f o r   f o c a l   E E G   a nd  no n  f oc a l   E E G , ”     J .   C om pu t .   S c i . ,   p p.   2 – 6,   20 18 .   [ 11]   U .   R .   A c ha r y a ,   A .   N .   G .   P e ng ,   C .   A l v i n,   a nd  R .   Y a nt i ,   “ A ppl i c a t i o n  of   N o n - l i ne a r   a nd  W a v e l e t   B a s e d  I de nt i f i c a t i o n   o f   E pi l e pt i c   E E G   S i g na l s , ”   I n t .   J .   N e ur a l   Sy s t . ,   v o l .   2 2,   no .   2 ,   2 012 .   [ 12]   R .   F .   A hm a d,   A .   S .   M a l i k ,   N .   K a m e l ,   H .   A m i n,   a nd   R .   Z a f a r ,   “ D i s c r i m i na t i ng   t h e   D i f f e r e n t   H um a n  B r a i n  S t a t e s   w i t h   E E G   S i g na l s   u s i ng   F r a c t a l   D i m e n s i o n  :   A   N o nl i ne a r   A ppr o a c h, ”   014   I E E E   I n t .   C on f .   Sm a r t   I n s t r um e nt a t i on ,   M e as .   A p pl .   ( I C SI M A ) ,   K ua l a   L um p ur ,   no .   N o v e m be r ,   p p.   25 – 27 ,   2 014.   [ 13]   B .   P a r k ,   C .   Y o o n,   E .   J a ng ,   a nd  D .   K i m ,   “ P hy s i o l o g i c a l   S i g na l s   a n d  R e c og ni t i o n  o f   N e g a t i v e   E m o t i o ns , ”   201 7  I nt .   C onf .   I n f .   C om m u n.   T e c hno l .   C o nv e r g .   ( I C T C ) ,   J e j u ,   p p.   10 74 – 1 07 6,   201 7.   [ 14]   S .   P o r i a ,   E .   C a m br i a ,   R .   B a j p a i ,   a nd   A .   H us s a i n ,   “ A   r e v i e w   o f   a f f e c t i v e   c o m put i ng   :   F r o m   uni m o da l   a n a l y s i s   t o   m ul t i m o da l   f us i o n, ”   I n f .   F us i on ,   v o l .   37 ,   pp .   9 8 – 12 5,   20 17 .   [ 15]   E ng i ne e r i ng   M e di c i n e   a nd  B i o l o gy   S o c i e t y ,   “ B i o m e di c a l   S i g na l   P r o c e s s i ng . ”   [ O nl i ne ] .   A v a i l a b l e :   ht t ps : / / w w w . e m bs . o r g / a bo ut - bi o m e d i c a l - e ng i n e e r i ng / o ur - a r e a s - of - r e s e a r c h/ b i o m e di c a l - s i g n al - pr o c e s s i ng / .   [ A c c e s s e d:   12 - M a r - 2019] .   [ 16]   H .   T j a nd r a s a ,   S .   D j a n a l i ,   a nd   F .   X .   A r una n t o ,   “ F e a t u r e   E x t r a c t i o n  U s i ng   C o m bi na t i o n  o f   I nt r i n s i c   M o de   F unc t i o ns   a nd  P o w e r   S pe c t r um   f o r   E E G   S i g na l   C l a s s i f i c a t i o n, ”   2016  9 t h  I n t .   C on gr .   I m a ge   Si gna l   P r oc e s s .   B i om e d.   E ng.   I nf or m a t i c s   ( C I SP - B M E I ) ,   D a t ong ,   pp .   1498 – 150 2,   20 16 .   [ 17]   R .   H o r l i ng s ,   D .   D a t c u ,   a nd  L .   R o t hk r a n t z ,   “ E m o t i o n  r e c o g ni t i o n  us i ng   br a i n  a c t i v i t y , ”   9t h  I n t .   C on f .   C om put .   S y s t .   T e c hnol . ,   p p.   1 – 6,   20 08.   [ 18]   D .   N i e ,   X .   W a ng ,   L .   S hi ,   a n d  B .   L .   S .   M e m be r ,   “ E E G - ba s e d  E m o t i o n  R e c o g ni t i o n  dur i ng   W a t c hi ng   M o v i e s , ”   20 11   5t h   I n t .   I E E E / E M B S   C on f .   N e ur a l   E ng .   C a nc u n ,   pp .   667 – 670 ,   201 1 .   [ 19]   M .   S o l e y m a ni ,   S .   A s g ha r i - e s f e de n ,   M .   P a nt i c ,   a n d  Y .   F u,   “ C o nt i n uo us   e m o t i o n  de t e c t i o n  us i ng   E E G   s i g na l s   a nd   f a c i a l   e xp r e s s i o ns , ”   I E E E   C on f .   M ul t i m e d.   E x po ,   v o l .   23 1287 ,   no .   2 31287 ,   pp .   3 – 8 ,   2013 .   [ 20]   H .   M .   A dna n,   H .   Y a a c o b,   W .   A bdul ,   a nd  M .   O t hm a n ,   “ R e v o l v i ng   T r a di t i o na l   E E G   D e v i c e   i nt o   M o bi l e   A r c hi t e c t ur e , ”   2016   6 t h   I n t .   C o nf .   I n f .   C om m u n.   T e c hn ol .   M u s l i m   W or l d  ( I C T 4 M ) ,   J a k ar t a ,   pp .   122 – 127 ,   2016 .   [ 21]   U .   R .   A c ha r y a ,   S .   V i dy a ,   S .   B h a t ,   H .   A de l i ,   a nd  A .   A de l i ,   “ E p i l e ps y   &   B e ha v i o r   C o m put e r - a i d e d  di a g no s i s   o f   a l c o ho l i s m - r e l a t e d   E E G   s i g na l s , ”   E p i l e ps y   B e ha v . ,   v o l .   41 ,   pp .   257 – 263 ,   2014 .   [ 22]   M .   N a r de l l i ,   G .   V a l e nz a ,   A .   G r e c o ,   A .   L a na t a ,   a nd  E .   P .   S c i l i ng o ,   “ R e c o g ni z i ng   E m o t i o ns   I nduc e d  b y   A f f e c t i v e   S o unds   t h r o ug h  H e a r t   R a t e   V a r i a b i l i t y , ”   I E E E   T r an s .   E f f .   C om pu t . ,   v o l .   6,   no .   4,   p p.   38 5 – 39 4,   20 15 .   [ 23]   N .   L i m ,   “ C u l t u r a l   D i f f e r e nc e s   i n  E m o t i o n  :   D i f f e r e nc e s   i n  E m o t i o na l   A r o us a l   L e v e l   B e t w e e n  T he   E a s t   a nd  T he   W e s t , ”   I n t e gr .   M e d.   R e s . ,   v o l .   5 ,   no .   2 ,   pp .   105 – 109 ,   2016 .   [ 24]   H .   Y a a c o b  a nd  W .   A bdul ,   “ C l a s s i f i c a t i o n  o f   E E G   S i g na l s   U s i n g   M L P   ba s e d  o n  C a t e g o r i c a l   a nd  D i m e ns i o na l   P e r c e p t i o ns   o f   E m o t i o ns , ”   20 13   5t h  I n t .   C on f .   I n f .   C om m un .   T e c hno l .   M us l i m   W or l d ,   201 3.   [ 25]   J .   A .   R us s e l l ,   “ A f f e c t i v e   S pa c e   i s   B i po l a r , ”   J .   P e r s .   S oc .   P s y c ho l . ,   v o l .   3 7,   no .   3,   p p.   34 5 – 35 6,   19 79 .     Evaluation Warning : The document was created with Spire.PDF for Python.