I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   2 A p r il   201 9 ,   p p .   1012 ~ 1 0 2 0   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 9 i 2 . pp 1 0 1 2 - 1020       1012       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Recog nition o e m o tiona l stat es us ing  EEG sign a ls    ba sed o n t i m e - fre quency  ana ly sis  and SVM  c la ss ifier       F a bia n P a rsia   G eo rg e I s t ia qu M a nn a f ee   Sh a ik a t ,   P ro m m y   S ulta na   F er da w o o s   M o ha m m a Z a v id P a rv ez ,   J ia   Uddi n   De p a rtme n o f   Co m p u ter S c ien c e   a n d   E n g in e e rin g ,   BRA Un iv e rsity ,   Dh a k a ,   Ba n g lad e sh       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A p r   1 7 ,   2 0 1 8   R ev i s ed   No v   5 ,   2 0 1 8   A cc ep ted   Dec   3 ,   2 0 1 8       T h e   re c o g n it io n   o f   e m o ti o n is  a   v a st  sig n i f ica n c e   a n d   a   h ig h   d e v e lo p in g   f ield   o f   re se a rc h   in   th e   re c e n y e a rs.  T h e   a p p li c a ti o n o f   e m o ti o n   re c o g n it io n   h a v e   le f a n   e x c e p ti o n a m a rk   in   v a rio u f ield in c lu d in g   e d u c a ti o n   a n d   re se a rc h .   T ra d it io n a a p p ro a c h e s   u se d   f a c ial  e x p re ss io n o v o ice   in to n a ti o n   to   d e tec e m o ti o n s,  h o w e v e r,   f a c i a g e stu re a n d   sp o k e n   lan g u a g e   c a n   lea d   to   b ias e d   a n d   a m b ig u o u re su lt s.  T h is  is  w h y ,   re se a rc h e rs  h a v e   sta r ted   to   u se   e lec tro e n c e p h a lo g ra m   (EE G )   tec h n i q u e   w h ich   is  w e ll   d e f in e d   m e th o d   f o e m o ti o n   re c o g n it i o n .   S o m e   a p p ro a c h e u se d   sta n d a r d   a n d   p re - d e f in e d   m e th o d o f   th e   sig n a p ro c e ss in g   a re a   a n d   so m e   w o rk e d   w it h   e i th e f e we c h a n n e ls  o f e we su b jec ts  to   re c o rd   EE G   sig n a ls  f o th e ir  re se a rc h .   T h is   p a p e p ro p o se d   a n   e m o ti o n   d e tec t io n   m e th o d   b a se d   o n   t im e - f re q u e n c y   d o m a in   sta ti stica f e a tu re s.  Bo x - a n d - w h isk e p lo is  u se d   to   se lec th e   o p ti m a l   f e a tu re s,  w h ich   a re   late f e e d   to   S V M   c las sif ier  f o train in g   a n d   t e stin g   th e   DEA P   d a tas e t,   w h e re   3 2   p a rti c i p a n ts  w it h   d if f e re n g e n d e a n d   a g e   g ro u p a re   c o n sid e re d .   T h e   e x p e rim e n tal  re su lt sh o w   th a th e   p ro p o s e d   m e th o d   e x h ib it 9 2 . 3 6 %   a c c u ra c y   f o o u tes ted   d a tas e t.   In   a d d it io n ,   th e   p ro p o se d   m e th o d   o u t p e rf o rm th a n   th e   sta te - of - a rt  m e th o d b y   e x h ib it in g   h ig h e r   a c c u ra c y .   K ey w o r d s :   A cc u r ac y   E E s ig n al   E m o tio n s   Featu r es   FFT   Fre q u en c y   b an d s   SVM   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   J ia  Ud d in ,     Dep ar t m en t o f   C o m p u ter   Scie n ce   an d   E n g i n ee r in g ,   B R AC   U n iv er s it y ,   6 6   Mo h a k h ali ,   Dh ak a - 1 2 1 2 ,   B an g lad esh .   E m ail: j ia. u d d in @ b r ac u . ac . b d       1.   I NT RO D UCT I O N   E m o tio n ,   b ein g   n o n - v er b al  v ital a p p r o ac h   f o r   s o cial  in ter ac tio n ,   is   p s y ch o lo g ical  an d   m en tal  s ta te  o f   m in d   th at   p r o v o k es  u s   to   ef f ec ti v el y   r ea ct  to   a   ce r tai n   s itu a tio n   b ased   o n   p ast   ex p er ien ce   [ 1 ] .   T h e   i m p le m en ta tio n   o f   e m o tio n   r e co g n itio n   ca n   b ap p li ed   to   v a r io u s   f ield s   s u c h   a s   ed u ca tio n ,   co g n i tiv e   s cie n ce ,   en ter tai n m e n t,  m ac h in lear n in g ,   s el f - co n tr o a n d   s ec u r it y ,   b io m ed ical  en g i n ee r in g ,   m ar k eti n g   a n d   p r o d u ctio n .   A cc o r d in g   to   R u s s ell,   a n y   d is cr ete  e m o tio n   c an   b d ed u cted   f r o m   t h eir   le v el  o f   ar o u s al  a n d   v alen ce   u s in g   h is   C ir cu m p lex   Mo d el  o f   E m o tio n   [ 2 ] .     Ma n y   e x i s ti n g   m et h o d s   i m p le m en ted   f ac ial  e x p r ess io n ,   s p e ec h   s i g n als,  a n d   s el f - r ati n g s   t o   class i f y   e m o tio n s   [ 3 ] [ 4 ] .   Ho w e v er ,   t h s y s te m s   u s ed   i n   t h ese   ex i s tin g   m et h o d s   u s u al l y   f ai to   a ck n o w led g all  th e   d etailed   e m o tio n al   in p u ts   f o r   p r o ce s s in g ,   s u ch   as  t h h a n d   g est u r es  o r   t h to n o f   t h v o ice,   th u s   lead in g   to   v ag u an d   b iased   o u tco m [ 3 ] .   So m ap p r o ac h es  u s ed   s u b j ec tiv m ea s u r e m e n t h at  ca n   a f f ec t h en d   r esu lt  as  th p r esen ce   o f   an o m a lo u s   tr ials   ca n   b s ig n if ican [ 4 ] .   Af ter   th h i g h   in f l u en ce   o f   E lec tr o en ce p h alo g r a m   ( E E G)   s ig n a ls   o n   t h f ield   o f   r esear ch ,   it  w a s   o b s er v ed   th at  h u m a n   e m o t io n   ca n   b r ep r esen ted   m o r ac cu r atel y   w ith   E E s i g n a ls   th an   w it h   f ac ia g e s t u r es,  s p ee ch   s i g n al s ,   o r   s elf - r ep o r tin g   i n f o r m atio n   [ 5 ] .   E m o tio n al  ac ti v itie s   ca u s th b r ain   to   g en er ate  s i g n a ls   i n   th f o r m s   o f   w a v es  a n d   th e   tech n iq u u s ed   to   r ec o r d   th ese  s ig n al s   is   k n o w n   as  E E [ 5 ] .   P r e d ictin g   e m o t io n s   u s in g   E E s ig n al s   w a s   f ir s in tr o d u ce d   b y   Mu s h et  a l .   [ 6 ] .   Fro m   t h en   o n w ar d ,   s tu d ies   o n   t h is   ar ea   i s   b r in g in g   m o r in ter e s i n   t h cu r r en y ea r s   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R ec o g n itio n   o f e mo tio n a l sta tes u s in g   E E s ig n a ls   b a s ed   o n   time - fr eq u en cy     ( F a b ia n   P a r s ia   Geo r g e )   1013   m ac h in lear n i n g   p u r p o s a n d   th p r o v i s io n   o f   le s s   e x p en s i v E E m ea s u r in g   d e v ices.  I n   n u m er o u s   in v e s ti g atio n s ,   e x p er i m e n t s   wer r estricte d   to   v er y   f e w   s u b j ec ts ,   b u t h m et h o d s   i m p le m en ted   f o r   s i n g le   s u b j ec w er i n ad eq u atel y   s i m p lif ied   an d   co u ld   n o t b u tili ze d   b r o ad ly   f o r   m u ltip le  s u b j ec ts   [ 7 ] .   Ma n y   s t u d ies   w er li m ited   to   f e w   c h an n els   i n   o r d er   to   av o id   h ig h   co m p le x it y   a n d   co m p u tat io n al  co s t s   n e v er th ele s s ,   t h i s   ca n   lead   to   f ee b le  r esu l d u to   l ac k   o f   ad eq u ate  in f o r m atio n   [ 8 ] .   Fo r   th f ea tu r e x tr ac tio n   p r o ce s s ,   d if f er en t   m et h o d o lo g ies  w er u s ed   to   r etr iev f ea t u r es  i n   p r ev io u s   s tu d ie s   an d   t h ese  i n cl u d ed   Sa m p le  E n tr o p y   [ 9 ] ,   Au to r eg r es s i v ( AR )   Mo d el  [ 1 0 ] ,   Dis cr ete  W av elet  T r an s f o r m   ( DW T )   [ 1 1 ] ,   an d   Fas Fo u r ier   T r an s f o r m at io n   ( FF T )   [ 1 2 ] .   C lass i f icatio n   o f   th ese   ex tr ac ted   f ea t u r es  w a s   d o n u s in g   v ar io u s   clas s i f ier s   b y   t h r esear c h er s   s u c h   as S u p p o r t V ec to r   Ma ch in ( SVM)   [ 1 3 ,   1 4 ] ,   Neu r al  Net w o r k   [ 1 5 ] ,   an d   k - n ea r est  n ei g h b o r   ( KNN)   [ 1 6 ] .     R ef er r i n g   to   th p r ev io u s l y   s p ec if ied   is s u es  [ 3 ] [ 4 ] [ 7 ] [ 8 ] ,   a   n o v el  m et h o d o lo g y ,   f o r   em o tio n   r ec o g n itio n   b ased   o n   ti m e - f r eq u en c y   a n al y s i s ,   is   p r o p o s e d   a n d   ev alu ated   w i th   E E s ig n a ls   f r o m   DE A P   d ataset  [ 1 7 ] .   I n   th p r o p o s ed   m o d el,   i n itiall y ,   th E E s i g n als  f r o m   o n l y   t h p r ef r o n tal  c o r tex   ar r etr iev ed   f o r   f u r th er   w o r k   s i n ce   e m o tio n al  ac ti v itie s   o cc u r   m ai n l y   in   th f r o n tal  a n d   te m p o r al  lo b o f   th b r ai n   [ 1 8 ] .   A d d itio n al l y ,   th i s   al s o   r ed u ce d   th to tal  n u m b er   o f   ch a n n e ls   t h at  ar to   b u s ed   i n   t h f ea t u r ex tr ac tio n   m et h o d ,   as  th ir r elev an ch a n n els  ar alr ea d y   d is ca r d ed   b ef o r eh an d .   T h is   lead   to   less   co m p u tatio n al  co s an d   th u s   in cr ea s ed   th e   ef f icie n c y   o f   t h e   al g o r ith m s   u s ed   i n   o u r   tech n iq u e   [ 1 9 ] .   E x is ti n g   m et h o d s ,   w o r k i n g   w it h   f r eq u en c y   b a n d s ,   ex tr ac ted   all  th f i v t y p es  o f   f r eq u en c y   b an d s ,   n a m el y   d elta  ( 0 . 5 - 4   H z) ,   th eta  ( 4 - 7   Hz) ,   alp h ( 7 - 1 3   Hz) ,   b eta  ( 1 3 - 3 0   Hz) ,   an d   g a m m ( 3 0 - 6 0   Hz)   [ 2 0 ] .   A cc o r d in g   to   th e   s tate - of - th e - ar m eth o d s ,   th e   e m o tio n al  a n d   co g n iti v ac tiv i ties   o f   th b r ain   ca n   b w ell  s i g n i f ied   u s i n g   t h alp h a,   b eta,   an d   th eta  f r eq u e n c y   b an d s   [ 8 ] [ 2 1 ] .   T h er ef o r e,   th ese  s p ec if ic  b an d s   w er co n s id er ed   in   th i s   p ap er .   T h d ataset  is   d is tr ib u ted   i n to   f o u r   e m o tio n a q u ad r a n ts ,   wh ich   ar h i g h   ar o u s al   -   h i g h   v ale n ce   ( H AHV) ,   lo w   ar o u s al  -   h i g h   v alen ce   ( L A HV) ,   lo w   ar o u s al  -   lo w   v alen ce   ( L AL V) ,   an d   h i g h   ar o u s al  -   lo w   v a len ce   ( H AL V) .   T h d ataset  in   ea c h   s p ec if ic  q u ad r an w as t h e n   a v er ag ed   f o r   all   p ar ticip an ts   f o r   t h s p ec i f ic  e m o tio n .   T h r ea s o n   f o r   av er a g in g   th e   s a m p les  ac co r d in g   to   th q u ad r an is   d u to   th in co n s is te n c y   i n   e m o tio n s   f elt  b y   th p ar ticip an ts .   No all  th e   p ar ticip an ts   f ee th e   s a m e m o tio n   f o r   p ar tic u lar   v id eo   w h ic h   in d icate s   t h at  s o m e   s a m p l es  in   th e   E E G   s ig n al s   ar an o m alo u s   an d   t h u s   ca n   g r ea tl y   af f ec th e n d   r esu lt.  T h p r e m is o f   av er a g i n g   is   to   r ed u ce   d ata   d ev iatio n   an d   to   s tatis tica ll y   r ea ch   clo s to   th ac tu al  v al u e.   T h is   h y p o t h esi s   m i g h i m p r o v th ac cu r ac y   o f   th clas s i f icatio n   p r o c ess .   Fi n all y ,   th s tati s tical  f ea tu r e s ,   ex tr ac ted   in   t h f r eq u e n c y   d o m ai n ,   w er t h e n   f ed   in to   th S VM   clas s i f ier   in   o r d er   to   class if y   th e m o tio n s .   T h s u b s eq u en s ec tio n s   o f   t h p ap er   h av b ee n   o r g an ize d   as  f o llo w s .   Sect io n   2   in tr o d u ce s   th e   d ataset  u s ed   i n   t h i s   p ap er ,   as  w ell   as  t h p r o p o s ed   ap p r o ac h   f o r   r ec o g n izi n g   e m o tio n .   Se ctio n   3   p r o v id es  th e   ex p er i m e n tal  r es u lts   alo n g   w i t h   th eir   a n al y s i s .   Fin a ll y ,   S ec ti o n   4   co n clu d es t h p ap er .       2.   P RO P O SE M E T H O D   T h p r o p o s ed   m o d el  illu s tr a ted   in   Fi g u r 1   r ep r esen ts   t h o v er all  f lo w   o f   o u r   w o r k .   Fo r   th i s   r esear ch ,   th E E s ig n al s   w e r f ir s ac cu m u lated   f o llo w ed   b y   d ata  p r ep r o ce s s in g .   Nex t,   b an d s   o f   s p ec if i c   f r eq u en c ies  w er e x tr ac ted   f r o m   th p r ep r o ce s s ed   d ata.   Su b s eq u en tl y ,   s u itab le  f ea t u r es  w er e x tr ac ted   an d   s elec te d   to   b f ed   in to   th clas s if ier .   Fi n all y ,   SVM  cla s s i f ier   w a s   u s ed   to   class i f y   t h ese  s ele cted   f ea tu r es.           Fig u r 1 .   W o r k f lo w   o f   th p r o p o s ed   m et h o d       2 . 1 .     Da t a   d escript io n   I n   o u r   r e s ea r ch ,   w e   u s ed   DE AP   d ataset  [ 1 7 ]   as  t h s o u r ce   o f   b r ain   s ig n al s .   I i s   a   m u l ti m o d al  d ataset   w h ic h   ca n   b u s ed   to   an al y ze   th h u m a n   af f ec ti v s ta tes.  T h d ata  co llectio n   p r o ce s s   w a s   ca r r ied   o u in   t h co n tr o lled   lig h en v ir o n m e n t.   B io s em A cti v eT w o   s y s te m   w as  u s ed   to   r ec o r d   th E E s ig n als  o f   ea ch   p ar ticip an t.  T w o   co m p u ter s   wer u s ed   w h ich   w er s y n c h r o n ized   p er io d ically   w it h   th h e lp   o f   m ar k er s   -   o n e   f o r   r ec o r d in g   th s ig n als  a n d   an o th er   f o r   p r esen ta tio n   o f   s ti m u li.  T h ex p er i m e n w a s   c ar r ied   o u u s i n g     1 - m i n u te  4 0   m u s ic   v id eo s   d is p lay ed   in   1 7 - i n c h   s cr ee n   b u ( 8 0 0 x 6 0 0 )   r eso lu tio n   w as   m ai n tain ed   to   m i n i m ize   E E G   S i g na l s   S i g na l   P r e pr o c e ss i ng   S i g na l  R e f i ni ng   B an E xt r ac t i o n   F e at ur e   E xt r ac t i o n   E m o t i o C l as si f i c at i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il   201 9   :     1 0 1 2   -   1020   1014   th e y m o v e m en ts .   Fo r   th e   ex p er i m en t,  3 2   Ag C elec tr o d es  w er u s ed   to   r ec o r d   th E E s ig n al s   at  s a m p li n g   r ate  o f   5 1 2   Hz.   1 6   m ale  an d   1 6   f e m a le  p ar ticip an ts   w ith   a g es  r an g i n g   f r o m   1 9   to   3 7   w er ch o s en   to   co n d u ct  t h e x p er i m e n t.  Af ter   2 0   v id eo   tr ials ,   t h s u b j ec ts   co u ld   tak e   b r ea k   f o r   s n ac k s .   E ac h   tr ial  last ed   f o r   6 3   s ec o n d s ,   to tal  o f   6 0 - s ec o n d   v id eo   an d   3 - s ec o n d   p r e - tr ial  b aselin e.   A th e n d   o f   ea ch   v id eo   tr ial,   m an u al   r atin g   w as   d o n b y   t h s u b j ec ts   o n   s ca le  o f   1 - 9   to   d eter m i n f o u r   d i f f er en t   e m o tio n s   ( A r o u s a l,  Do m i n an ce ,   L i k in g ,   an d   Vale n ce ) .     2 . 2 .     Sig na l p re pro ce s s ing   T h d ataset  w as  d o w n s a m p l ed   in to   1 2 8   Hz  an d   th en   E l ec tr o o cu lo g r ap h y   ( E OG)   ar ti f ac ts   w er e   r e m o v ed   d u to   e y m o v e m e n ts .   T h s ig n al s   w er th e n   f ilte r ed   w it h   m in i m u m   o f   4   Hz  an d   m a x i m u m   o f   4 5   Hz  u s i n g   b an d - p ass   f ilter .   T o   cr ea te  co m m o n   r e f er en ce ,   th d ata  w er a v er ag ed .   L a ter   o n ,   th e   d ata  w as   s eg m e n ted   in to   6 0   s ec o n d s   b y   r e m o v i n g   th 3   s ec o n d s   p r e - t r ial  b aselin a n d   w as  ar r an g e d   in   E x p er i m en t_ id   o r d er .   Fo r   o u r   r esear ch ,   w e   h a v c h o s en   p r e - p r o ce s s ed   d ata  f il es  t h at  i n cl u d ed   E E s i g n a l s   o f   ea c h   p ar ticip an t.  A l l p ar ticip an ts   f il h av t w o   ar r a y s   s u c h   as d ata   an d   lab el,   w h ich   i s   clar if ied   b elo w   i n   T ab le  1 .       T ab le  1 .   C o n ten ts   o f   ea c h   P ar ticip an t File s   N a me   S i z e   D e scri p t i o n   D a t a   4 0 × 4 0 × 8 0 6 4   V i d e o / t r i a l × C h a n n e l × D a t a   L a b e l   4 0 × 4   V i d e o / t r i a l × L a b e l   ( V a l e n c e ,   A r o u sal ,   D o mi n a n c e ,   L i k i n g )       T h d ata  ar r ay   co n tain s   E E s ig n al s   f o r   all  th p ar ticip an t s   an d   all  th v id eo s   in cl u s iv wh er ea s   th e   lab els  ar r ay   co n tai n s   th v id eo   I class if icatio n s   ac co r d in g   to   th lab el  ( v alen ce ,   ar o u s al,   d o m i n an ce ,   an d   lik i n g ) .     2 . 3   Sig na l r ef ini ng   As th f ir s t step   to w ar d s   b an d   ex tr ac tio n ,   t h d at w er f ir s t r ea r r an g ed   to   m a k it a p p r o p r ia te  f o r   th e   ex tr ac tio n   p r o ce s s .   T h p r ep r o ce s s ed   d ata  f r o m   DE A P   d at aset  w a s   u s ed   f o r   o u r   w o r k   w h ic h   co n tain ed   3 2   f iles   r ep r esen ti n g   ea c h   p ar tici p an t.  E ac h   f ile  co n tai n ed   t w o   ar r a y s :   o n w as  3 D   ar r a y ,   n a m ed   Da ta ,   o f   s ize   4 0 x 4 0 x 8 0 6 4   an d   an o th er   w as  th 2 ar r a y ,   n a m ed   La b el ,   o f   s ize  4 0 x 4 .   Fo r   o u r   s t u d y ,   t h 3 d ata  ar r ay   w a s   u s ed   th r o u g h o u t h co u r s o f   o u r   w o r k .   A   to tal  o f   4 0   ch an n els  w er u s ed   to   r ec o r d   th E E s ig n als,  o u o f   w h ic h   3 2   w er E E G   ch a n n els  an d   8   w er e   p er ip h er al  ch an n el s .   P r ev io u s   s t u d ies  i llu s tr ated   th at  th e   in f o r m atio n   r elate d   to   e m o ti o n s   ar f o cu s ed   m o s tl y   i n   th f r o n tal  an d   te m p o r al  ar ea s   o f   th b r ain   [ 1 8 ] .   Ho w e v er ,   in   o r d er   to   d ec r ea s th co m p u tatio n a co s ts   o f   o u r   p r o p o s ed   m eth o d ,   w o n l y   w o r k ed   w it h   t h ch an n el s   t h at   ar r elate d   to   t h f r o n ta lo b o f   t h b r ai n   a n d   th e s c h a n n el s   ar Fp 1 ,   F3 ,   F 7 ,   FC 5 ,   F C 1 ,   Fp 2 ,   Fz,   F4 ,   F8 ,   FC 6 ,   an d   FC 2 .   C l ass i f icatio n   an d   f ea t u r ex tr ac tio n   f r o m   3 ar r a y   w er lab o r io u s   as  it  w a s   h ar d   to   m an ip u late  t h d ata  as  p e r   o u r   r eq u ir e m e n ts .   Fo r   t h is   r ea s o n ,   th p r ep r o ce s s ed   d ata  w a s   s o r ted   to   4 0   f iles   ea ch   r ep r esen tin g   th m u s ic  v id eo   u s ed   in   th DE A P   d ataset.   E ac h   v id eo   f ile  co n tain ed   an   ar r ay   o f   s ize   8 0 6 4 x 3 5 2   w h er t h r o w s   r ep r esen t h le n g t h   o f   d ata  a n d   c o lu m n s   r ep r es en t h to tal   n u m b er   o f   c h an n el s   o f   th 3 2   p ar ticip an ts   as d escr ib ed   in   T ab le  2 .       T ab le  2 .   A r r ay   R ep r esen tat io n   o f   th Vid eo   Fil e   A r r a y   N a me   A r r a y   S i z e   ( R o w   ×   C o l u mn )   A r r a y   C o n t e n t s (Ro w   ×   C o l u mn )   V i d e o _ n o   8 0 6 4   ×   3 5 2   D a t a   ×   s u b j e c t N o _ c h a n n e l N o       2 . 4   B a nd   e x t ra ct io n   T h E E s ig n als  u s ed   f o r   o u r   r esear ch   ar o n   th ti m d o m ai n .   E x i s ted   r esear ch e s   d em o n s tr ated   th at,   in   o r d er   to   r ec o g n ize  e m o tio n al  ac tiv it ies  w it h   b etter   ac cu r ac y   t h f ea t u r es  ar ex tr ac ted   in   th f r eq u e n c y   d o m ai n   [ 2 2 ] .   T h is   is   d o n b y   ap p ly i n g   F FT   to   th ti m d o m ai n   s i g n al.   F FT   is   an   al g o r i th m   t h at  i s   u s ed   to   co n v er t a   s i g n a l f r o m   t h ti m d o m ai n   to   th f r eq u e n c y   d o m a in .     Fo r   an d   o f   len g th   n ,   th e s e   tr an s f o r m s   ar d ef i n ed   as f o ll o w s :                                                          ( 1)     w h er                is   o n o f       r o o ts   o f   u n it y   an d                               .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R ec o g n itio n   o f e mo tio n a l sta tes u s in g   E E s ig n a ls   b a s ed   o n   time - fr eq u en cy     ( F a b ia n   P a r s ia   Geo r g e )   1015   As  it   w as   d is c u s s ed   ea r lier ,   e m o tio n al   ac ti v itie s   ca u s e   th e   b r ain   to   g en er ate   s i g n als   in   t h f o r m   o f   w a v es.  T h ese  s ig n al s ,   w h ich   c an   b s u b d iv id ed   in to   5   f r eq u e n c y   b a n d s ,   h o ld   co r r elatio n   w it h   t h e m o tio n a l   ac tiv itie s .   T h ese  5   d if f er e n t y p es  o f   f r eq u e n c y   b a n d s   ar co m p r i s ed   o f   d elta,   th eta,   alp h a,   b eta,   an d   g a m m a   [ 2 1 ] .   A s   s tated   b y   [ 2 1 ] ,   th alp h a,   b eta,   an d   th eta  ca n   w ell  r ep r esen th e m o tio n a an d   co g n iti v p r o ce s s   o f   th b r ain   th a n   t h o th er   2   b an d s .   T h is   is   w h y ,   w h av e x tr ac ted   th ese  3   b an d s   u s i n g   B u t ter w o r th   b an d - p ass   f ilter   a f ter   ap p ly in g   FF T   o n   th E E s ig n als.     2 . 5 .     F e a t ure  e x t ra ct io n   T h ex p er im e n ter s   i n   [ 1 7 ]   als o   p r o v id ed   in f o r m atio n   r eg ar d in g   e m o tio n s   th at  ar s u p p o s e d   to   b f elt  af ter   w atch in g   ea ch   v id eo .   I w a s   esti m ated   t h at  ea ch   v id eo   ca n   b p lace d   in   an y   o f   th 4   e m o tio n al  q u ad r a n ts   w h ic h   ar H A HV,   L A HV,   L AL V,   an d   H AL a s   r ep r esen te d   in   Fig u r 2 .   I n d iv id u als  ca n   r esp o n d   d if f er en tl y   f o r   s p ec if ic  v id eo ,   w h ic h   ca n   r esu lt  in   t h p r ese n ce   o f   ir r eg u lar   s a m p les  i n   th E E s ig n als.  T h es e   er r o n eo u s   s a m p le s   ar r eq u ir ed   to   b e   r u led   o u o f   ea ch   q u ad r an in   o r d er   to   m in i m ize  th i n co n s is te n c y   i n   t h s a m p les.  Fo r   o u r   r esear ch ,   i n   o r d er   to   r e d u ce   th d ata  d ev iat io n ,   th e x tr ac ted   b an d   v a lu e s   o f   th v id eo s   w er e   av er ag ed   ac co r d in g   to   th e ir   co r r esp o n d in g   q u ad r an t a lo n g   w i th   s p ec i f ic  e m o tio n   as ill u s tr ated   in   T ab le  3 .             Fig u r 2 .   Fo u r   q u ad r an ts   o f   e m o tio n       T ab le  3 L is t o f   4 0   Vid eo s   ( Den o ted   b y   t h E x p er i m en t_ I d )   a n d   t h eir   C o r r esp o n d in g   Q u ad r an t   H A H V   L A H V   L A L V   H A L V   1   8   16   10   2   9   22   21   3   12   23   31   4   13   24   32   5   14   25   33   6   15   26   34   7   17   27   35   11   18   28   36   -   19   29   37   -   20   30   38       Af ter   s o r ti n g   th e   v id eo   i n   ac c o r d an ce   w it h   t h eir   q u ad r an a n d   av er a g in g   t h b an d s   o f   al th v id eo s   f r o m   ea c h   q u ad r an t,  4   v id eo   f iles   w er cr ea ted   w h ic h   co n t ain ed   o n l y   th e   a v er ag es   v a lu es  o f   t h e x tr ac ted   b an d s .   T h ese  b an d   v alu e s   w e r f u r t h er   s ca led   s o   t h a t h SVM  clas s i f ier   d o es  n o g et   i n f lu e n ce d   b y   lar g e   b an d   v alu es.  O n ce   th b an d   v alu es  w er s ca led ,   th f ea t u r es   o f   th in p u s i g n als  w er th e n   ex tr ac ted .   Fo r   o u r   w o r k ,   w e   h a v e x tr ac ted   th e   s tatis tical  f ea t u r es  m i n i m u m ,   m ax i m u m ,   v ar ian ce ,   s tan d a r d   d ev iat io n ,   w a v e   en tr o p y ,   p o w er   b an d w id th ,   s k e w n es s ,   an d   k u r to s i s   b ase d   th lo ca tio n   o r   ce n tr al  ten d en c y   ( s tati s tical     Featu r es   I ) ,   th e   d is p er s io n   o r   s p r ea d   ( Statis tical   Feat u r es   I I ) ,   an d   th e   s h ap o f   d is tr i b u tio n   ( S tatis t ical     Featu r es I I I )   as illu s tr ated   in   T ab le  4 .         Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il   201 9   :     1 0 1 2   -   1020   1016   T ab le  4 .   T y p es o f   Feat u r es E x tr ac ted   Fo r   C lass i f icatio n   S t a t i st i c a l   F e a t u r e I   S t a t i st i c a l   F e a t u r e I I   S t a t i st i c a l   F e a t u r e I I I   M i n i m u m   V a r i a n c e   S k e w n e ss   M a x i m u m   S t a n d a r d   d e v i a t i o n   K u r t o si s   M e a n   W a v e   e n t r o p y   -   -   P o w e r   b a n d w i d t h   -       2 . 6   E m o t io n c la s s if ica t io n   Nu m er o u s   m ac h i n lear n in g   a lg o r ith m s   h a v b ee n   in   th e   ex i s ted   s t u d ies,  o u t   o f   S VM   i s   m ea s u r ed   a s   o n o f   t h m o s t   ef f ic ien t   clas s if ier s   f o r   class if y i n g   e m o t io n s   [ 8 ] [ 9 ] .   T h b asic  p er ce p tio n   o f   th e   SVM   is   to   d eter m in d ec is io n   h y p er p lan in   o r d er   to   class if y   d ata  s am p les  in to   t w o   class e s .   T h o p ti m u m   h y p er p lan e   f o r   d if f er en tiat in g   t w o   g r o u p s   is   d eter m i n ed   b y   m ax i m izin g   th d is ta n ce s   b et w ee n   n ea r est   d ata  p o in o f   b o th   th class e s   an d   th h y p er p lan [ 2 3 ] .   T h class i f icatio n   p r o ce d u r e   in clu d es  p r ed ictin g   co n f u s io n   m atr i x   m o d el   b y   p ar titi o n i n g   t h s a m p le  d ata  in to   a   tr ai n in g   s et  a n d   te s s et,   f o r   tr ai n in g   a n d   v a lid atio n   r esp ec tiv el y ,   u s i n g   tech n iq u ca lled   k - f o ld   cr o s s   v alid atio n   [ 2 4 ] .   T h is   tech n iq u r an d o m l y   d i v id es  th d ata  in to   k   eq u al  s u b s et  o f   th d ata   an d   is   r ep ea ted   1 0   tim e s .   E ac h   ti m e,   o n o f   t h k   s u b s et s   is   u s ed   as  t h tes s et   an d   th o th er   k - 1   s u b s et s   ar p u t to g et h er   to   f o r m   tr ai n in g   s et  [ 2 4 ] .   I n   o u r   p ap er ,   d if f er en co m b in atio n s   o f   f ea t u r es  w er u s ed   f o r   tr ain in g   an d   test i n g   th SVM   class i f ier   i n   o r d er   to   g en er ate   th e   co n f u s io n   m atr ix   m o d el.   T h is   m o d el   w as   t h en   u s ed   t o   f i n d   t h ac c u r ac y   d ep en d in g   o n   t h e   k - f o ld   cr o s s   v alid atio n .   Her e,   w e   i n teg r at ed   SVM  w i th   1 0 - f o ld   cr o s s   f o ld   v alid atio n   w it h   th p ar a m eter s ,   k er n el  a n d   r eg u lar iza tio n ,   w h ich   w er s e lecte d   b y   t h g r id - s ea r c h   m eth o d .   I n   o r d er   to   i m p le m en SVM,   L I B SVM  l ib r ar y   i s   u s ed ,   w h ic h   is   w id el y   u s ed   lib r ar y   f o r   s u p p o r t v ec to r   m ac h i n es [ 2 5 ] .         3.   RE SU L T A ND  AN AL Y SI S   C las s i f y i n g   t h s tat is tical  f ea t u r es  f o r   o b tain in g   a   d ec en o u tco m w as  n o a n   ea s y   p r o ce s s .   Var io u s   asp ec ts   w er r eq u ir ed   to   b co n s id er ed   p r io r   to   r ea ch in g   to   a   co n clu s io n   as  th i n itia tr ials   d id   n o g en er ate  a   s atis f y in g   o u tp u t.  I n   t h i s   p ap er ,   1 0 - f o ld   cr o s s   v alid atio n   w a s   i n co r p o r ated   w i th   th e   SVM  clas s i f ier   u s i n g   t h e   r eg u lar izatio n   an d   k er n el  p ar am eter ,   w h ic h   w er s elec ted   v i g r id - s ea r ch   ap p r o ac h .   I n   o r d er   to   d eter m i n e   th ac cu r ac y   o f   k - f o ld   cr o s s   v alid atio n   f o r   th cla s s i f icatio n   tech n iq u e,   ( 2 )   w as  u s ed .     T h eq u atio n   f o r   ac cu r ac y   i s   d ef i n ed   as:                                                                      ( 2 )     w h er T P : th n u m b er   o f   tr u p o s itiv e,   T N:  th n u m b er   o f   tr u n e g ati v e,   FP : th n u m b er   o f   f al s p o s iti v e,   an d   FN: th n u m b er   o f   f alse  n eg at i v e.   A t   t h v er y   b eg i n n in g ,   p r io r   t o   av er ag i n g   t h e x tr ac ted   b a n d   v al u es  ac co r d in g   to   t h eir   co r r esp o n d in g   q u ad r an ts ,   all   th e   s tat is tical   f ea tu r es   f r o m   T ab le  4   w er f ed   in to   t h S VM   clas s i f ier   at  o n c e.   T h ey   w er u s ed   to   tr ain   an d   te s t   th e   SVM   w it h   a   s p ec i f ic  e n d   g o al  to   co n s tr u ct  t h e   co n f u s io n   m atr ix   m o d el.   T h is   m o d el  w a s   th en   u s ed   to   d eter m i n e   th ac cu r ac y   b ased   o n   th 1 0 - f o ld   cr o s s   v alid atio n .   Ho w e v er ,   th e   v er y   f ir s tr ial  d id   n o p r o v id a n   ex p ec ted   o u tp u s i n ce   th ac cu r a c y   w as  o n l y   f o u n d   to   b 2 . 0 3 %.  T h is   o c cu r r ed   b ec au s th e   f ea t u r es,  b ef o r av er ag i n g   th d ata,   d o   n o co n tain   d is tin g u i s h ab le  ch ar ac ter is tic s   as  it   ca n   b s ee n   f r o m   Fig u r 3 .   b o x - a n d - w h i s k er   p lo w a s   u s ed   to   g r ap h icall y   r ep r esen ea c h   f ea t u r t h r o u g h   th eir   q u ar tile s ,   as   s h o w n   in   F ig u r 3 ( a) .         ( a)     ( b )     Fig u r 3 .   B o x p lo t o f   th s tatis t ical  f ea t u r es: ( a)   b ef o r av er ag in g ,   ( b )   af ter   av er a g i n g   t h v id eo   d ata   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R ec o g n itio n   o f e mo tio n a l sta tes u s in g   E E s ig n a ls   b a s ed   o n   time - fr eq u en cy     ( F a b ia n   P a r s ia   Geo r g e )   1017   Af ter w ar d ,   w a v er ag ed   t h b an d   v alu e s ,   in   ac co r d an ce   w it h   t h eir   q u ad r an to   r ed u c th d ata  d ev iatio n   an d   i m p r o v th e   ac cu r ac y   o f   t h e   clas s if icatio n   p r o ce s s .   O n ce   t h d ata  w er av er ag ed ,   th e s w er e   s ca led   an d   th s tati s tical  f ea t u r es  w er e x tr ac ted   ag ai n   as  d is cu s s ed   in   S ec tio n   2 . 5 .   T h f ea t u r es  w er o n ce   m o r f ed   in to   th cla s s i f ier   a ll  at  o n ce .   T h is   ti m e,   th er w a s   s ig n i f ica n i m p r o v e m e n in   t h p er ce n ta g ac cu r ac y   f o r   class i f icatio n   as i t in cr ea s ed   d r asti ca ll y   f r o m   2 . 0 3 % to   3 2 . 1 4 %.   T h p er ce n tag o f   ac cu r ac y   b ef o r e   an d   a f ter   a v er ag i n g   t h d ata  o f   all  th e   f ea t u r es   is   s u m m ar ized   i n   T ab le   5 .   I ca n   b o b s er v ed   f r o m   th tab le   t h at  th f e at u r e s   d o   n o o f f er   s ati s f ac to r y   o u tco m p r io r   to   av er ag i n g   th d ata  b ec au s n o all  th p ar ticip an ts   f ee t h e   s a m e m o tio n   f o r   s p ec if ic  ca teg o r y   o f   v id eo .   Hen ce ,   t h SVM  cla s s i f ier   c o u ld   n o cr ea te  o u r   ex p ec ted   m o d el  d u to   th ir r eg u lar it y   in   d ata  f o r   ea ch   q u ad r an t.       T ab le   5 A cc u r ac y   f o r   C las s if i ca tio n   b ef o r an d   af ter   Av er ag in g   t h Vid eo   Data   S t a t e   o f   t h e   D a t a   A c c u r a c y   ( %)   B e f o r e   a v e r a g i n g   t h e   d a t a   2 . 0 3   A f t e r   a v e r a g i n g   t h e   d a t a   3 2 . 1 4       E v en   t h o u g h   th ac c u r ac y   f o r   class i f icatio n   i m p r o v ed   b y   ce r tain   a m o u n af ter   a v er ag i n g   th b a n d   v alu e s ,   it  s till   d id   n o p r o v id th e x p ec ted   o u tp u t.  S u b s e q u en tl y ,   w r ec o n s tr u cted   t h e   b o x p lo to   an al y ze   ea ch   f ea t u r t h at  ca n   b s ee n   f r o m   Fi g u r 3 ( b ) ,   b u th is   ti m a f ter   av er a g in g   t h d ata   ac co r d in g   to   th eir   co r r esp o n d in g   q u ad r an t s .     A   b o x - an d - w h is k er   p lo w a s   u s ed   to   d is tin g u is h   ea ch   f ea tu r o n ce   th d ata  w er av er ag ed   w i th   r esp ec to   th eir   eq u iv ale n q u a d r an ts ,   as  s h o w n   i n   Fig u r 3 ( b ) .   I ca n   b o b s er v e d   f r o m   t h f i g u r t h at  th d ata  o f   th f ea t u r es  s k e w n e s s ,   k u r t o s is ,   an d   w a v e n tr o p y   ca n   b e   ea s il y   d is ti n g u i s h ed   f r o m   ea c h   o th er   a s   th e   d ata   d o   n o o v er lap   an d   ar s ig n i f ican tl y   d ev iated .   T h s it u atio n   is   al s o   s i m ilar   f o r   th f ea t u r es  s k e w n es s   an d   p o w er   b a n d w id th   as  th e s t w o   f ea tu r e s   co n tai n ed   s i g n if i ca n d is ti n g u is h ab le  ch ar ac ter is tics .   O n   t h o th er   h an d ,   th f ea tu r es  m ea n ,   v ar ian ce   an d   s tan d ar d   d ev iatio n   wer r elativ el y   d ev iated   f r o m   e ac h   o th er ,   b u m o s t   o f   th e   d ata  w er s t ill  s ee n   to   b o v er lap p in g .   Fu r t h er m o r e ,   it  w as  s ee n   t h at  t h d i f f er e n ce   i n   t h f ea t u r es   m i n i m u m ,   m a x i m u m ,   a n d   v ar ian ce   w a s   n o as   p r o m in e n t   as   th e   d ev iatio n   i n   t h d ata  w as   v er y   i n s i g n if ican t.   B ased   o n   th ab o v p ar am e ter s ,   w s eg r e g ated   all  th f ea t u r es in to   t h f o llo w i n g   co m b in at io n s :   1 )   Featu r co m b i n atio n   A m e an ,   s ta n d ar d   d ev iatio n ,   v ar ia n c e.   2 )   Featu r co m b i n atio n   B : sk e w n es s ,   k u r to s is ,   w a v en tr o p y .   3 )   Featu r co m b i n atio n   C m i n i m u m ,   m ax i m u m ,   v ar ia n ce .   4 )   Featu r co m b i n atio n   D:  s k e w n es s ,   p o w er   b an d w id th .   I w as  o b s er v ed   th at  t h ac cu r ac y   f o r   clas s i f icatio n   i m p r o v e d   b y   s i g n i f ican a m o u n a s   i llu s tr ated   in   T ab le  6 .   I ca n   b n o ticed   th at  t h co m b i n atio n   B   p r o v id ed   b etter   r esu lt  w it h   a n   ac cu r ac y   o f   9 2 . 3 6 f o r   th q u ad r an H A HV_ L AL V   an d   8 9 . 1 1 f o r   th q u ad r a n H AL V_ L A HV,   w h er ea s   t h co m b in at io n   C   p r o v id ed   th least  r esu lt  w ith   an   ac cu r ac y   o f   1 1 . 2 3 f o r   t h q u ad r an H A HV_ L AL a n d   1 5 . 6 9 f o r   th q u ad r an t H AL V_ L AHV.       T ab le   6 A cc u r ac y   o f   t h Feat u r C o m b i n atio n s   af ter   Av er a g in g   t h Vid eo   Data   A c c u r a c y   o f   F e a t u r e   C o mb i n a t i o n s ( %)   H A H V _ L A L V   H A L V _ L A H V   A   2 5 . 3 4 ± 5 . 2 0   2 1 . 2 1 ± 3 . 2 0   B   9 2 . 3 6 ± 6 . 3 0   8 9 . 1 1 ± 8 . 3 0   C   1 1 . 2 3 ± 5 . 2 0   1 5 . 6 9 ± 3 . 5 0   D   4 4 . 3 1 ± 7 . 5 0   4 9 . 2 3 ± 8 . 3 0       T h r ea s o n   f o r   f ea t u r co m b in atio n   B   p r o v id in g   b etter   r e s u lt   is   th a t h s a m p les   o f   th f ea t u r es   s k e w n es s ,   k u r to s is ,   a n d   w a v en tr o p y   ca n   b ea s il y   d is tin g u i s h ed   f r o m   ea ch   o th er   a s   th e   d ata  ar s i g n i f ican tl y   d ev iated   ( s ee   Fi g u r 3 ( b ) .   Si m ilar l y ,   t h ac cu r ac y   f o r   f ea tu r co m b i n atio n   w as  also   s ee m ed   to   b s atis f ac to r y   f o r   th e   s a m r ea s o n .   On   th o t h er   h a n d ,   t h f e atu r co m b i n atio n s   A ,   a n d   C   co u ld   n o p r o v id a   s atis f ac to r y   r es u lt  d u to   th e   o v er lap p in g   an d   s i m ilar it y   o f   th d ata.   T h is   af f ec t s   th e   SVM  class i f ier   in   g en er ati n g   co n f u s io n   m atr ix   m o d el  th at  f ails   to   d ep ict  th b etter   ac cu r ac y .   B y   o b s er v i n g   th ab o v r esu lt s ,   w co u ld   co n cl u d t h at  t h s h ap o f   th d i s tr ib u tio n   co u ld   w ell   r ep r esen t h e m o tio n a a ctiv itie s   o f   th e   b r ain   an d   th u s   h as p r o v id ed   b etter   p er ce n tag ac cu r ac y   f o r   clas s i f icatio n .   As  DE A P   is   p u b lic  d ataset,   w to o k   s tep   f o r w ar d   to   co m p ar a n d   an a l y ze   t h e x is tin g   m eth o d s   th at  h av e   alr ea d y   u s ed   t h D E A P   d ataset  f o r   r ec o g n iz in g   e m o tio n s   w it h   o u r   p r o p o s ed   ap p r o ac h .   T ab le  7   illu s tr ates  s o m e   o f   th e   ex i s ti n g   m et h o d s   f o r   e m o tio n   r ec o g n itio n   u s i n g   t h DE A P   d atas et.   I also   p r o v id es   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il   201 9   :     1 0 1 2   -   1020   1018   in f o r m atio n   r eg ar d i n g   t h em o tio n s   id en ti f ied ,   th f ea t u r es  ex tr ac ted   an d   th ac cu r ac y   f o r   e m o tio n   class i f icatio n   b y   ea c h   m e th o d .   I ca n   b o b s er v ed   th at  m o s o f   th e x is tin g   m et h o d s   ex tr ac ted   m o r th an   o n e   t y p o f   f ea t u r es  a n d   f e w   id e n ti f ied   m o r t h a n   t w o   e m o ti o n s .   Ho w e v er ,   f o r   o u r   w o r k ,   o n l y   th e   s tati s tical   f ea t u r es  w er co n s id er ed   f o r   th f ea t u r ex tr ac tio n   p r o ce s s   an d   o n l y   t w o   s tate s   o f   e m o ti o n   w er id en t if ied ,   n a m e l y   v ale n ce   a n d   ar o u s al.   Fu r t h er m o r e,   it  ca n   b al s o   s e en   f r o m   t h tab le  th at   th e   ac c u r ac y   o f   t h e x is t in g   m et h o d o lo g ies i s   li m ited   w i th i n   8 0 %,  w h er ea s   o u r   p r o p o s ed   ap p r o ac h   p r o v id ed   an   ac cu r ac y   o f   ap p r o x i m atel y   9 2 . 3 6 %.   T h u s ,   it  ca n   b s aid   th at  o u r   ap p r o ac h   is   m o r ef f i cien in   ter m s   o f   clas s i f y in g   e m o tio n s   th a n   m a n y   o f   th e x is ti n g   ap p r o ac h es.       T ab le  7 .   A cc u r ac y   o f   E x is tin g   A p p r o ac h es b ased   o n   DE A P   Data s et   R e f e r e n c e   Emo t i o n s   F e a t u r e s   A c c u r a c y   ( %)   [ 2 6 ]   V a l e n c e   a n d   a r o u sal   D W T ,   W E,   a n d   S t a t i st i c a l   7 1 . 4 0   [ 2 7 ]   M a l e / f e mal e   v a l e n c e   a n d   m a l e / f e mal e   a r o u sal   S t a t i st i c a l ,   L i n e a r ,   a n d   N o n - st a t i s t i c a l   7 8 . 6 0   [ 2 8 ]   S t r e ss a n d   c a l m   S t a t i st i c a l ,   P S D ,   a n d   H O C   7 1 . 4 0   [ 2 9 ]   V a l e n c e ,   a r o u sal ,   a n d   d o mi n a n c e   S t a t i st i c a l   a n d   H F D   7 1 . 4 0   [ 3 0 ]   Ex c i t a t i o n ,   h a p p i n e ss,  s a d n e ss,  a n d   h a t r e d   W T   ( d b 5 ) ,   S E,   C C ,   a n d   A R   7 8 . 6 0   [ 3 1 ]   A n g e r ,   su r p r i se ,   a n d   o t h e r   H H S ,   H O C ,   a n d   S T F T   7 8 . 6 0   P r o p o se d   A p p r o a c h   V a l e n c e   a n d   a r o u sal   S t a t i st i c a l   9 2 . 3 6       4.   CO NCLU SI O N   I n   t h is   p ap er ,   th e   p r ep r o ce s s ed   E E s ig n al s   f r o m   DE A P   d ataset  w er u s ed   to   cla s s i f y   t w o   t y p es  o f   e m o tio n s ,   n a m e l y   v a len ce   an d   ar o u s al.   T h e   s a m p les   in   t h d ataset  w er e   f ir s tr an s f er r ed   f r o m   ti m e   d o m ai n   to   f r eq u en c y   d o m ain   b y   ap p l y i n g   F FT   f o llo w ed   b y   t h ex tr ac tio n   o f   t h a lp h a,   b eta,   an d   t h e ta  f r eq u e n c y   b an d s   th at  ar p ar tic u lar l y   s i g n i f ica n f o r   e m o tio n   r ec o g n i tio n .   Su b s eq u en tl y ,   t h e x tr ac ted   b an d s   w er av er a g ed   i n   co r r esp o n d en ce   to   th eir   q u ad r an f o r   ea ch   e m o tio n   a n d   t h a v er ag ed   b an d   v alu e s   w e r u s ed   to   e x tr ac t   s tat is t ical  f ea t u r es.  A f ter   th at,   th ex tr ac ted   f ea tu r e s   w er s ca led   an d   v ar io u s   f ea t u r co m b in at io n s   w er f ed   in to   t h SVM  c lass if ier   f o r   e m o tio n   r ec o g n i tio n .   I t   w as   o b s er v ed   th a o u r   ap p r o ac h   p r ed ict s   e m o tio n s   w i th   an   ac cu r ac y   o f   9 2 . 3 6 %   u s i n g   s k e w n es s ,   k u r to s is ,   a n d   w a v en t r o p y   f ea t u r es.  O u r   p r o p o s ed   m o d el  s h o w s   b etter   r esu lt s   co m p ar ed   to   th ex is tin g   m et h o d s   f o r   DE A P   d ataset.       RE F E R E NC E S   [ 1 ]   I.   B.   M a u ss   a n d   M .   D.  R o b in s o n ,   M e a su re o f   e m o ti o n A   re v ie w ,   Co g n it i o n   a n d   Em o ti o n ,   v o l.   2 3 ,   n o .   2 ,     p p .   2 0 9 2 3 7 ,   2 0 0 9 .   [ 2 ]   J.  P o sn e r,   J.   A .   Ru ss e ll ,   a n d   B.   S .   P e ters o n ,   T h e   c ircu m p lex   m o d e o f   a ff e c t:   A n   in teg ra ti v e   a p p ro a c h   to   a f fe c ti v e   n e u ro sc ien c e ,   c o g n it iv e   d e v e lo p m e n t,   a n d   p sy c h o p a th o l o g y ,   De v e lo p me n a n d   Psy c h o p a t h o l o g y ,   v o l.   1 7 ,   n o .   3 ,   2 0 0 5 .   [ 3 ]   T .   M u sh a ,   Y.  T e ra sa k i,   H.  A .   Ha q u e ,   a n d   G .   A .   Iv a m it s k y ,   F e a tu re   e x trac ti o n   f ro m   EE G a ss o c iate d   w it h   e m o ti o n s,”   Art if icia l   L if e   a n d   R o b o ti c s ,   v o l.   1 ,   n o .   1 ,   p p .   1 5 - 1 9 ,   1 9 9 7 .   [ 4 ]   N.  T h a m m a sa n ,   K.  M o riy a m a ,   K. - I.   F u k u i ,   a n d   M .   N u m a o ,   F a m il iarity   e ffe c ts  in   EE G - b a se d   e m o ti o n   re c o g n it io n ,   Bra in   I n f o rm a ti c s ,   v o l.   4 ,   n o .   1 ,   p p .   3 9 - 5 0 ,   2 0 1 6 .   [ 5 ]   P .   C.   P e tran to n a k is  a n d   L .   J.  Ha d ji leo n t iad is,   A   No v e E m o ti o n   E li c it a ti o n   I n d e x   Us in g   F ro n tal  Bra in   A s y m m e tr y   f o En h a n c e d   EE G - Ba se d   E m o ti o n   Re c o g n it i o n ,   IEE T r a n s a c ti o n o n   In f o rm a ti o n   T e c h n o l o g y   in   Bi o me d ici n e v o l.   1 5 ,   n o .   5 ,   p p .   7 3 7 - 7 4 6 ,   2 0 1 1 .   [ 6 ]   T .   M u sh a ,   Y.  T e ra sa k i,   H.  A .   Ha q u e ,   a n d   G .   A .   Iv a m it s k y ,   F e a tu re   e x trac ti o n   f ro m   EE G a ss o c iate d   w it h   e m o ti o n s,”  Art if icia l   L if e   a n d   R o b o ti c s ,   v o l.   1 ,   n o .   1 ,   p p .   1 5 - 1 9 ,   1 9 9 7 .   [ 7 ]   X ian g   L i,   Da w e S o n g ,   P e n g   Z h a n g ,   G u a n g li a n g   Yu ,   Yu e x ian   Ho u   a n d   Bi n   Hu ,   Em o ti o n   r e c o g n it io n   f ro m   m u lt ich a n n e EE G   d a ta  t h ro u g h   Co n v o l u t io n a Re c u rre n Ne u ra Ne tw o rk ,   2 0 1 6   I EE In ter n a ti o n a l   Co n fer e n c e   o n   Bi o in fo rm a t ics   a n d   Bi o me d ici n e   ( BIB M ) ,   S h e n z h e n ,   2 0 1 6 ,   p p .   3 5 2 - 3 5 9 .   [ 8 ]   D.  Hu a n g ,   S .   Z h a n g ,   a n d   Y.  Zh a n g ,   EE G - b a se d   e m o ti o n   re c o g n i ti o n   u sin g   e m p iri c a w a v e let  tran sf o r m ,   2 0 1 7   4 th   In ter n a t io n a C o n fer e n c e   o n   S y ste ms   a n d   I n f o rm a ti c s ( ICS AI) ,   2 0 1 7 .   [ 9 ]   X .   Jie ,   R.   Ca o ,   a n d   L .   L i,   E m o t io n   re c o g n it i o n   b a se d   o n   th e   sa m p le  e n tro p y   o f   EE G ,   Bio - me d ic a ma ter ia ls  a n d   e n g in e e rin g ,   v o l .   2 4 ,   n o .   1 ,   p p .   1 1 8 5 - 9 2 ,   2 0 1 4 .   [ 1 0 ]   T .   D.  P h a m ,   D.  T ra n ,   W .   M a ,   a n d   N.  T .   T r a n ,   En h a n c i n g   P e rf o rm a n c e   o f   EE G - b a se d   E m o ti o n   Re c o g n it io n   S y ste m s   Us in g   F e a tu re   S m o o th i n g ,   Ne u ra In fo rm a t io n   Pro c e ss in g   L e c tu r e   No tes   in   C o mp u ter   S c ien c e ,   p p .   9 5 - 1 0 2 ,   2 0 1 5 .   [ 1 1 ]   Z.   M o h a m m a d i,   J.  F ro u n c h i,   a n d   M .   Am iri ,   W a v e let - b a se d   e m o ti o n   re c o g n it i o n   sy ste m   u sin g   EE sig n a l,   Ne u ra Co mp u t in g   a n d   Ap p li c a t io n s ,   v o l.   2 8 ,   n o .   8 ,   p p .   1 9 8 5 - 1 9 9 0 ,   2 0 1 6 .   [ 1 2 ]   M .   M u ru g a p p a n   a n d   S .   M u r u g a p p a n ,   Hu m a n   e m o ti o n   re c o g n it io n   t h ro u g h   sh o rt   ti m e   El e c tro e n c e p h a lo g ra m   (EE G )   sig n a ls  u sin g   F a st  F o u rier  T ra n sfo rm   (F F T ),   2 0 1 3   IE EE   9 th   In ter n a ti o n a C o ll o q u iu m   o n   S ig n a l   P ro c e ss in g   a n d   it s   Ap p li c a ti o n s ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R ec o g n itio n   o f e mo tio n a l sta tes u s in g   E E s ig n a ls   b a s ed   o n   time - fr eq u en cy     ( F a b ia n   P a r s ia   Geo r g e )   1019   [ 1 3 ]   R.   Biswa s,  J.  Ud d in ,   a n d   J.  Ha sa n ,   Ne A p p ro a c h   o f   Iris  De t e c ti o n   a n d   Re c o g n it i o n ,   In ter n a t io n a l   J o u rn a o f   El e c trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   7 ,   n o .   5 ,   p p .   2 5 3 0 - 2 5 3 6 ,   2 0 1 7 .   [ 1 4 ]   N.A .   Ra k ib ,   S . Z.   F a rh a n ,   M . B.   S o b h a n ,   J.  Ud d in ,   A .   Ha b ib ,   A   No v e 2 F e a tu re   Ex trac t io n   M e th o d   f o r   F in g e rp rin ts  Us in g   M in u ti a e   P o i n ts  a n d   T h e ir  In ters e c ti o n s,”  I n t e rn a ti o n a l   J o u r n a l   o El e c trica l   a n d   Co m p u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l.   7 ,   n o .   5 ,   p p .   2 5 4 7 - 2 5 5 4 ,   2 0 1 7 .   [ 1 5 ]   X ian g   L i,   Da w e S o n g ,   P e n g   Z h a n g ,   G u a n g li a n g   Yu ,   Yu e x ian   Ho u   a n d   Bi n   Hu ,   Em o ti o n   r e c o g n it io n   f ro m   m u lt ich a n n e EE G   d a ta  t h ro u g h   Co n v o l u ti o n a Re c u rre n Ne u ra Ne tw o rk , ”  2 0 1 6   I EE In ter n a ti o n a l   Co n fer e n c e   o n   Bi o in fo rm a t ics   a n d   Bi o me d ici n e   ( BIB M ) ,   S h e n zh e n ,   2 0 1 6 ,   p p .   3 5 2 - 3 5 9 .   [ 1 6 ]   M .   M u r u g a p p a n ,   Hu m a n   e m o ti o n   c las sif ic a ti o n   u sin g   w a v e l e tran sf o r m   a n d   KN N,”  2 0 1 1   In ter n a ti o n a Co n fer e n c e   o n   P a tt e rn   An a lys is  a n d   I n telli g e n c e   Ro b o ti c s ,   2 0 1 1 .   [ 1 7 ]   S .   Ko e lstra,  C.   M u h l,   M .   S o ley m a n i,   J. - S .   L e e ,   A .   Ya z d a n i,   T .   E b r a h im i,   T .   P u n ,   A .   Nijh o lt ,   a n d   I .   P a tras ,   DE A P Da tab a se   f o Em o ti o n   A n a ly sis ;   Us in g   P h y sio lo g ica S ig n a ls,   IEE T ra n sa c ti o n o n   A ff e c ti v e   Co mp u ti n g ,   v o l.   3 ,   n o .   1 ,   p p .   1 8 - 3 1 ,   2 0 1 2 .     [ 1 8 ]   R.   Je n k e ,   A .   P e e r,   a n d   M .   Bu ss ,   F e a tu re   Ex trac ti o n   a n d   S e lec ti o n   f o Em o ti o n   Re c o g n i ti o n   f ro m   EE G ,   IEE E   T ra n sa c ti o n o n   Af fec ti v e   Co mp u t in g ,   v o l.   5 ,   n o .   3 ,   p p .   3 2 7 - 3 3 9 ,   Ja n .   2 0 1 4 .     [ 1 9 ]   J.  Ed m o n d s   a n d   R.   M .   Ka rp ,   T h e o re ti c a im p ro v e m e n ts  in   a lg o rit h m ic  e ff ici e n c y   f o n e tw o rk   f lo w   p ro b lem s,   J o u rn a o th e   ACM   ( J ACM ) ,   v o l.   1 9 ,   n o .   2 ,   p p .   2 4 8 - 2 6 4 ,   1 9 7 2 .   [ 2 0 ]   Z.   L a n ,   O.  S o u rin a ,   L .   W a n g ,   a n d   Y.   L iu ,   S tab il it y   o f   F e a tu re in   Re a l - T im e   EE G - b a se d   Em o ti o n   Re c o g n i ti o n   A l g o rit h m ,   2 0 1 4   In ter n a ti o n a C o n fer e n c e   o n   Cy b e rwo rld s ,   2 0 1 4 .   [ 2 1 ]   K.  Ka li m e ri  a n d   C.   S a it is,   Ex p lo rin g   m u lt im o d a b io sig n a f e a tu re f o stre ss   d e tec ti o n   d u ri n g   in d o o m o b il it y ,   Pro c e e d in g o t h e   1 8 t h   ACM   In t e rn a ti o n a l   Co n fer e n c e   o n   M u lt im o d a In ter a c ti o n   -   ICM 2 0 1 6 ,   2 0 1 6 .     [ 2 2 ]   V .   N.  V a p n ik ,   Dire c M e th o d in   S tatisti c a L e a rn in g   T h e o ry ,   T h e   Na tu re   o S ta ti stica L e a rn in g   T h e o ry   p p .   2 2 5 - 2 6 5 ,   2 0 0 0 .   [ 2 3 ]   A .   Ch a tch in a ra t,   K.  W .   W o n g ,   a n d   C.   C.   F u n g ,   A   c o m p a riso n   stu d y   o n   t h e   re latio n s h ip   b e tw e e n   th e   se lec ti o n   o EE G   e lec tro d e   c h a n n e ls  a n d   f re q u e n c y   b a n d u se d   i n   c las sif ica ti o n   f o e m o ti o n   re c o g n i ti o n ,   2 0 1 6   I n ter n a ti o n a Co n fer e n c e   o n   M a c h i n e   L e a rn in g   a n d   Cy b e rn e ti c s ( ICM L C) ,   2 0 1 6 .   [ 2 4 ]   G .   H.  G o lu b ,   M .   He a th ,   a n d   G .   W a h b a ,   Ge n e ra li z e d   c ro ss - v a li d a ti o n   a a   m e th o d   f o c h o o si n g   a   g o o d   rid g e   p a ra m e ter,”   T e c h n o me trics ,   v o l.   2 1 ,   n o .   2 ,   p p .   2 1 5 - 2 2 3 ,   1 9 7 9 .   [ 2 5 ]   C. - C.   Ch a n g   a n d   C . - J.  L in ,   L ib sv m ,   ACM   T ra n sa c ti o n o n   I n telli g e n S y ste ms   a n d   T e c h n o l o g y ,   v o l.   2 ,   n o .   3 ,     p p .   1 - 2 7 ,   Ja n .   2 0 1 1 .     [ 2 6 ]   M .   A li ,   A .   H.  M o sa ,   F .   A M a c h o t,   a n d   K.  Ky a m a k y a ,   EE G - b a s e d   e m o ti o n   re c o g n it io n   a p p ro a c h   f o e - h e a lt h c a re   a p p li c a ti o n s,”   in   Ub iq u it o u a n d   Fu tu re   Ne two rk ( ICUFN) ,   2 0 1 6   Ei g h th   In ter n a ti o n a Co n f e re n c e   o n ,   2 0 1 6 ,     p p .   9 4 6 - 9 5 0 IEE E .   [ 2 7 ]   J.  Ch e n ,   B.   Hu ,   P .   M o o re ,   X .   Z h a n g ,   a n d   X.  M a ,   El e c tro e n c e p h a lo g ra m - b a s e d   e m o ti o n   a ss e ss m e n s y ste m   u sin g   o n t o lo g y   a n d   d a ta m in in g   tec h n i q u e s,”  Ap p li e d   S o ft   Co m p u ti n g ,   v o l.   3 0 ,   p p .   6 6 3 - 6 7 4 ,   M a y   2 0 1 5 .   [ 2 8 ]   T .   F .   Ba sto s - F il h o ,   A .   F e rre ira,   A .   C.   A ten c io ,   S .   A rju n a n ,   a n d   D.  Ku m a r,   Ev a lu a ti o n   o f   f e a tu re   e x trac ti o n   tec h n iq u e s in   e m o ti o n a sta te rec o g n it io n ,   in   In telli g e n t   h u ma n   c o mp u ter   in ter a c ti o n   ( IHCI) ,   2 0 1 2 ,   p p .   1 - 6.   [ 2 9 ]   Y.  L iu   a n d   O.  S o u r in a ,   Re a l - ti m e   su b jec t - d e p e n d e n EE G - b a se d   e m o ti o n   re c o g n it io n   a lg o rit h m ,   T ra n sa c ti o n o n   Co mp u t a ti o n a S c ien c e   XX III:  S p rin g e r ,   p p .   1 9 9 - 2 2 3 ,   2 0 1 4 .   [ 3 0 ]   A .   V ij a y a n ,   D.  S e n ,   a n d   A .   S u d h e e r,   EE G - Ba se d   E m o ti o n   Re c o g n it io n   Us in g   S tatisti c a M e a su re a n d   A u to - Re g re ss i v e   M o d e li n g ,   in   Co mp u ta ti o n a In telli g e n c e   a n d   Co mm u n ica ti o n   T e c h n o lo g y   ( CICT ) ,   p p .   5 8 7 - 5 9 1 ,   2 0 1 5 .   [ 3 1 ]   P .   A c k e r m a n n ,   C.   Ko h lsc h e in ,   J.   A .   Bit sc h ,   K.  W e h rle,  a n d   S .   Je sc h k e ,   EE G - b a se d   a u to m a ti c   e m o ti o n   re c o g n i ti o n F e a t u re   e x trac ti o n ,   se lec ti o n   a n d   c las sif i c a ti o n   m e th o d s,”  2 0 1 6   I EE 1 8 th   In ter n a ti o n a C o n fer e n c e   o n   e - He a lt h   Ne two rk in g ,   Ap p li c a t io n s a n d   S e rv ice ( He a lt h c o m) ,   p p .   1 - 6 ,   2 0 1 6 .         B I O G RAP H I E S O F   AUTH O RS       Fa b ia n   Pa r sia   G e o r g e   p u rsu e d   h e g ra d u a ti o n   o n   Ba c h e lo o f   S c ien c e   (B. S c . in   C o m p u ter   S c ien c e   a n d   En g in e e rin g   a BR A Un iv e r sit y   in   th e   De p a rtme n o f   Co m p u ter  S c ien c e   a n d   En g in e e rin g   in   S e p tem b e 2 0 1 8 .   S h e   h a se rv e d   a a   S tu d e n T u t o (S T in   th e   De p a rtm e n o Co m p u ter  S c ien c e   a n d   En g in e e rin g   a BR A C   Un iv e r sit y .   Cu rre n tl y ,   sh e   is  w o r k in g   a s   a   T e a c h e r   in   G re e n   Da le  In tern a ti o n a S c h o o l.   S h e   a sp i re to   p u rsu e   a   c a re e in   th e   f ield   o f   M a c h in e   L e a rn in g ,   Bra in - Co m p u ter In terf a c e ,   Im a g e   P ro c e ss in g ,   a n d   Da ta  M in i n g .         I s t ia qu e   M a nn a f ee   Sh a ik a t   p u rsu e d   h is  g ra d u a ti o n   o n   Ba c h e lo o f   S c ien c e   (B. S c . in   Co m p u ter  S c ien c e   a BR A Un iv e rsit y   in   th e   De p a rtm e n o f   Co m p u ter  S c ien c e   a n d   En g i n e e rin g   in   M a y   2 0 1 8 .   C u rre n tl y ,   h e   is  w o rk in g   in   th e   d e p a rtm e n o f   Dig it a In telli g e n c e   a t   G ra m e e n p h o n e   L td . ,   Ba n g la d e sh .   He   a sp ires   to   p u rsu e   a   c a re e r   in   th e   f ield   o f   M a c h in e   L e a rn in g ,   Bra in - Co m p u ter In terf a c e ,   I m a g e   P r o c e ss in g ,   a n d   Da ta M in i n g .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il   201 9   :     1 0 1 2   -   1020   1020     Pro m m y   S u lt a n a   Fer d a w o o is  a n   u n d e rg ra d u a te  stu d e n f ro m   th e   De p a rtm e n o f   Co m p u ter   S c ien c e   a n d   En g in e e rin g   a B RA Un iv e rsit y .   S h e   w il b e   c o m p letin g   h e g ra d u a ti o n   o n   Ba c h e lo o f   S c ien c e   (B. S c . in   C o m p u ter  S c ien c e   b y   th e   e n d   o f   De c e m b e 2 0 1 8 .   S h e   a sp ires   to   p u rsu e   a   c a re e in   t h e   f ield   o f   Br a in - Co m p u ter  In terf a c e ,   Bio In f o r m a ti c s,  A rti f icia In telli g e n c e ,   Ne tw o rk in g   a n d   Im a g e   P ro c e ss in g .           Dr .   M o h a m m a d   Za v i d   P a r v e z   i s cu rre n tl y   w o r k in g   a a n   A ss ista n P ro f e ss o in   th e   De p a rtm e n t   o f   Co m p u ter  S c ien c e   a n d   E n g in e e rin g   a BRA Un iv e rsit y ,   Ba n g l a d e sh .   He   re c e iv e d   h is  P h in   Co m p u ter  S c ien c e   f ro m   Ch a rles   S tu rt  Un iv e rsity - A u stra li a ,   M S c .   De g re e   in   S ig n a P r o c e ss in g   f ro m   Ble k in g e   In stit u te  o f   T e c h n o l o g y - S we d e n ,   a n d   BS c .   En g .   (Ho n s.)  De g re e   in   Co m p u ter  S c ien c e   a n d   E n g in e e rin g   f ro m   A sia n   Un iv e rsit y   o f   Ba n g lad e sh .   M o re o v e r,   h e   w o rk e d   a a   p o std o c to ra re se a rc h e u n d e t h e   Eu ro p e a n   Un i o n ’s  H o rizo n   2 0 2 0   re se a rc h   a n d   i n n o v a ti o n   p ro g ra m m e .   P a rv e z ’s  re se a rc h   in tere sts  in c lu d e   b i o m e d ica sig n a p r o c e ss in g   a n d   m a c h in e   lea rn in g .   Dr.  P a rv e z   h a p u b li sh e d   se v e ra jo u rn a a n d   c o n f e re n c e   p a p e rs  in   t h e   a re a   o f   sig n a l   p ro c e ss in g   a n d   c o g n it iv e   ra d io .         Dr .   J ia   U d d i n   r e c e i v e d   a   B. S c .   d e g re e   in   Co m p u ter  a n d   Co m m u n ica ti o n   E n g in e e rin g   f ro m   th e   In tern a ti o n a Isla m ic  Un iv e rsit y ,   Ch it tag o n g   (IIUC),  Ba n g lad e sh ,   in   2 0 0 5 ,   a n   M S   d e g re e   in   El e c tri c a En g in e e rin g   w it h   a n   e m p h a sis  o n   T e le c o m m u n ica ti o n f ro m   th e   Blek in g e   In stit u te  o f   T e c h n o lo g y   (B T H),  S w e d e n ,   in   2 0 1 0 .   He   c o m p lete d   h is   P h . D.  ( Co m p u ter  En g in e e rin g a t   th e   Un iv e rsit y   o f   Ulsa n   (Uo U),  S o u th   Ko re a   in   2 0 1 5 .   He   is  a n   A ss o c iate   P r o f e ss o in   th e   De p a rtm e n o f   Co m p u ter  S c ien c e   a n d   En g in e e rin g   a BRAC   Un iv e rsit y ,   Ba n g lad e sh .   Hi re se a rc h   in tere sts   in c lu d e   F a u lt   Dia g n o sis,  P a ra ll e Co m p u ti n g ,   a n d   W irele ss   N e t w o rk s.  He   is  a   m e m b e o th e   IEB   a n d   t h e   IA CS IT .       Evaluation Warning : The document was created with Spire.PDF for Python.