I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.  15 ,   No .   3 J u n e   20 25 ,   p p .   3180 ~ 3 1 9 0   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 3 . p p 3 1 8 0 - 3 1 9 0          3180     J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   M a chine learning - ba sed hy brid  em o tions  rec o g nition  mo del  using  elect ro en ce pha lo g ra m sig na l s       T a run K um a r,   Ra j endra   K um a r,   Ra m   Cha nd ra   Sin g h   S h a r d a   S c h o o l   o f   B a s i c   S c i e n c e a n d   R e se a r c h ,   S h a r d a   U n i v e r si t y ,   G r e a t e r   N o i d a ,   I n d i a       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   Oct  1 5 ,   2 0 2 4   R ev is ed   Feb   7 ,   2 0 2 5   Acc ep ted   Ma r   3 ,   2 0 2 5       Th is  p a p e u se Hin d v i d e o   c li p to   p r o p o se   a n   e lec tro e n c e p h a lo g r a m   (EE G )   sig n a l - b a se d   h y b ri d   sy ste m   f o e m o ti o n   i d e n ti fica ti o n .   EE G   sig n a l c a n n o t   b e   a lt e re d ,   u n li k e   o th e fo rm o e x p re ss iv e n e ss - li k e   v o ice   a n d   fa c ia e m o ti o n .   Th e   su g g e ste d   a p p r o a c h   u se s   a   se lf - c re a ted   d a tas e u n d e th e   c o n tro l   e n v iro n m e n ts.   Ac c u ra c y   is  t h e   m a in   o b jec ti v e   o f   th e   p r o p o se d   m o d e l.   Th is  stu d y   u se d   a   se lf - c re a ted   c o n str u c ted   u sin g   a n   8 - c h a n n e u n ico r n   b l a c k   h y b rid   EE G   m a c h in e   o n   3 0   p a rti c i p a n ts  wh il e   t h e y   v iew e d   Hi n d m o v ie  v i d e o   c l ip s   m imic k in g   e m o t io n s:  h a p p y ,   fe a r fu l,   sa d ,   a n d   n e u tral.   Th e   p ro p o s e d   m o d e l   u se d   a   two - h y b rid   c las sifier  su p p o rt  v e c to m a c h in e   ( S VM )   a n d   k - n e a re st  n e ig h b o r   ( KNN ) ,   imp lem e n ted   u sin g   M ATLAB  R2 0 1 7 a .   In   t h e   p ro p o se d   imp lem e n tatio n ,   th e   fo u e m o ti o n   c las sifica ti o n   c a teg o ries   ( h a p p y ,   sa d ,   fe a r,   a n d   n e u tral)  o b se rv e d   a n   a v e ra g e   a c c u ra c y   o 6 0 . 8 3 2 % .   T h e   re su lt o t h e   p re se n ted   st u d y   we re   c o m p a re d   w it h   two   re c e n s y ste m s .   It   wa s   fo u n d   th a t   t h e   p ro p o se d   s y ste m   o b se rv e d   b e tt e a c c u ra c y   fo t h e   c a teg o r y   o NHP   fiv e   c las se s   a n d   th e   c a teg o ry   o HP   F i v e   Clas se s.   K ey w o r d s :   Acc u r ac y   E E d atasets   E lectr o en ce p h al o g r am     E m o tio n   K - n ea r est n eig h b o r   Su p p o r v ec to r   m ac h in   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   T ar u n   Ku m ar   Sh ar d Sch o o o f   B asic Scie n ce s   an d   R esear ch ,   Sh ar d Un i v er s ity   Gr ea ter   No id a UP,  I n d ia   E m ail:  tar u n k u m ar 1 2 4 @ g m ail. co m       1.   I NT RO D UCT I O N     E lectr o en ce p h al o g r am   ( E E G)   m ea s u r es  th ac tiv ity   in   th e   b r ain   b y   elec tr ical  s ig n als.  An   a n aly s is   o f   s u ch   s ig n als  in v o lv es  th f r eq u en cy   b an d s   n am ely   Delta,   T h eta,   Alp h a,   B eta,   an d   Gam m a.   Mo s b asic  em o tio n s   s u ch   as  h ap p in ess ,   f ea r ,   s ad n e s s ,   an d   n eu tr ality   h av b ee n   c lass if ied   th r o u g h   th ex tr ac tio n   o f   f ea tu r es  f r o m   th ese  s ig n als,  f o r   in s tan ce ,   u s i n g   b an d   p o wer   an d   e n tr o p y .   T h ese  ch ar ac ter is tics   allu d to   a r o u s al  an d   v alen ce ;   p atter n   s u ch   as  in cr ea s ed   B e ta  ac tiv ity   d ep icts   f ea r   o r   an x iety   an d   is   ass o ciate d   with   ca l m n ess   o r   n eu tr ali ty   with   Alp h wav es.  Fo r   r ec o g n itio n   o f   th ese  p atter n s ,   m a ch in lear n in g   tech n iq u es  ca n   u s E E s ig n als  ef f ec tiv ely   f o r   em o tio n   r ec o g n itio n   an d   a d v an ce   a p p licatio n s   in   n eu r o f ee d b ac k ,   m en tal  h ea lth ,   Par k in s o n ' s   d is ea s e,   an d   h u m a n - co m p u ter   in ter ac tio n   [ 1 ] ,   [ 2 ] .   Mo s o f   th e   r esear ch   o n   E E G - b ased   em o tio n   id e n tific atio n   i n   h ea lth y   in d i v id u als  h as  s h o wn   p o s itiv f in d in g s Usi n g   h ea r in g   lo s s   s im u lato r   an d   th e   v o ca l   m o r p h in g   ap p r o ac h ,   em o tio n   d et ec tio n   s tu d ies  wer e   p er f o r m ed   o n   b o th   el d er ly   an d   y o u n g   n o r m al   h ea r i n g   ( YNH)   s u b jects  [ 1 ] [ 3 ] .   Sp ee ch   s o u n d s   wer e   alter ed   to   s y m b o lize  f ee lin g s   b etwe en   al l p o s s ib le  co m b in atio n s   o f   jo y ,   s o r r o w,   an d   r ag e   an d   h av e   lo o k ed   at  p o p u latio n s   lik th o s with   h ea r in g   im p air m en ts   [ 4 ] ,   [ 5 ] So m s p ec ialis ts   claim   th at  b ec au s o f   th eir   h ea r in g   l o s s ,   p er s o n s   with   h ea r in g   im p air m e n ts   h av d if f icu lties   in   u n d er s tan d in g   ac cu r ate  in f o r m atio n   f r o m   th o u ts id wo r ld   as   co m p ar ed   to   p e r s o n s   with   n o r m al  h ea r in g   [ 6 ] ,   [ 7 ] .   Z h u   et  a l.   [ 8 ]   p r o p o s ed   th eo r y   o n   im ag e - s tim u lated   e m o tio n   i d en tific atio n   f o r   s u b jects  with   h ea r in g   i m p air m en ts   u s in g   E E d ata   s ig n als .   T h ey   u s ed   th r ee   d if f er e n t   class if icatio n s   n am ely   n eu tr al,   p o s itiv e,   an d   n e g ativ e;  an d   also   f iv d if f er en class if icatio n s   n am ely   n eu tr al Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g - b a s ed   h yb r id   emo tio n s   r ec o g n itio n   mo d el   u s in g   …  ( Ta r u n   K u ma r )   3181   h ap p y ,   s ad ,   an g r y ,   an d   f ea r f u to   test   em o tio n   r ec o g n itio n   ac cu r ac y T h e   r esu lts   o f   th eir   ex p er im en ts   p r esen ted   th at  th m u lti - f ea tu r f u s io n   h elp ed   h ea r in g - im p air ed   a n d   n o n - h ea r in g - im p air e d   p eo p le,   a n d   th r ec o m m en d ed   s tr ateg y   is   b etter   th an   th tr ad itio n al  f ea tu r tech n iq u e.   T h av er ag class if icatio n   ac cu r ac y   [ 9 ]   was  o b s er v ed   as  7 2 . 0 5 ( th r ee - class if icatio n s )   an d   5 1 . 5 3 ( f iv e - class if icatio n s )   f o r   h ea r in g - im p air ed   in d iv id u als  an d   5 0 . 1 5 % ( t h r ee - class if icatio n s )   f o r   n o n - h ea r in g - im p air ed   s u b j ec ts ,   r esp ec tiv ely .     J in   et  a l .   p r o p o s ed   th eo r y   b a s ed   o n   f ac e - af f ec tiv e   p h o to s tim u latio n .   Fo r   th is   p u r p o s e,   th ey   u s ed   a n   em o tio n al  s elf - cr ea ted   E E d ataset  o f   1 5   h ea r in g - im p air e d   an d   1 5   n o r m al  p eo p le.   T h d a taset   cr ea ted   b y   J in   et  a l.  [ 1 0 ]   in clu d e d   f iv d if f er en em o tio n   ty p es  ( h ap p y ,   n eu tr al,   s o r r o w,   f ea r ,   an d   r ag e) .   Pre p r o ce s s in g   f ilter s   an d   elim in ates  ar tifa cts  f r o m   th g ath er ed   E E s ig n als.  Af te r   ex tr ac tin g   tr aits   in clu d in g   p o wer   s p ec tr al  d en s ity   ( PS D) ,   d if f er en tial  en tr o p y   ( DE ) ,   an d   wa v elet  en tr o p y   ( W E ) ,   it  was   s h o wn   th at  th lin ea r   s u p p o r v ec to r   m ac h in was  th m o s ef f ec tiv class if ier   f o r   1 0 - f o ld   cr o s s - v alid atio n   f o r   em o tio n   class if i ca tio n .   As  p er   th eir   f in d in g s ,   th DE   ch ar ac ter is tic  o b s er v ed   th h ig h est  ac cu r ac y   in   id en tify in g   e m o tio n s   am o n g   r esp o n d e n ts   with   h ea r in g   im p air m en ts   ( 4 0 . 8 % )   an d   n o r m al  s u b jects  ( 4 5 . 5 %).   Yan g   et  a l.   [ 1 1 ]   e x am i n ed   th em o tio n al  r ec o g n itio n   p atter n   o f   d ea f   p e r s o n s .   T h ey   u s ed   d ee p   b elie f   n etwo r k   i n   co n j u n ctio n   with   th E E an d   f ac ial  ex p r ess io n s   to   d is tin g u is h   th r ee   ty p es   o f   em o tio n s .   to tal  o f   1 5   d ea f   p ar ticip an ts   s ig n al s   wer ca p tu r ed   as  th ey   v iewe d   th e   m o v ie  clip s .   I n   th is   s tu d y ,   a   h y b r id   s y s tem   is   p r o p o s ed   f o r   em o tio n   clas s if icatio n   an d   test ed   u s in g   s elf - cr ea ted   d ataset  [ 1 2 ] .   T h m o d el  is   b ased   o n   Hin d m o v ie  v id e o s   with   v o ice,   m u te,   an d   d ea f - b ase d   m o v ie  clip s   [ 1 3 ] T h f u r th er   s ec tio n s   i n   th p a p er   ar e   o r g an ized   as  f o llo ws:   T h p r o p o s ed   m eth o d   f o r   em o tio n   class if icatio n   is   d em o n s tr ated   in   s ec tio n   2 ,   alo n g   with   th s p ec if icatio n s   an d   d escr ip tio n   o f   th e   p r o p o s ed   m o d el.   T h e   r esu lts   an d   d is cu s s io n   ar p r esen ted   in   s ec tio n   3 ,   an d   th e   co n cl u d in g   r em ar k s   with   f u tu r e   s co p a r d es cr ib ed   in   s ec tio n   4 .       2.   M E T H O D   F O E M O T I O N   CL ASS I F I C AT I O N   B y   em p lo y in g   t h r ig h m et h o d ,   em o tio n   r ec o g n itio n   m ay   b e co m m o r s u cc ess f u l.   I n   o r d e r   to   en s u r ac cu r ac y ,   co n s is ten cy ,   an d   ac c u r ac y ,   th s ec tio n   o n   e x p er im e n ts /m eth o d s   p r o v id es  a   s u m m a r y   a n d   e x p lan atio n   o f   th m eth o d s ,   to o ls ,   p r o ce s s es,  an d   d ata  an aly s is   u s ed   in   t h is   r esear ch .   Usi n g   th Un ico r n   B lack   8 - ch an n el   E E p r o g r a m ,   3 0   p eo p le  a g ed   b etwe en   1 8   an d   5 6   p ar ticip ate d   in   th s elf - cr ea ted   d ataset.   T h p ar ticip an ts   wer s h o wn   in   s ep ar ate  Hin d v id eo   clip   s ce n es,  in   wh ich   f ea r s ,   te ar s ,   jo y s ,   an d   n eu tr al  em o ti o n s   wer r ef lecte d .   T o   en s u r u n if o r m ity   o f   d ata  c o llectio n ,   th is   p r o ce d u r w as  p er f o r m e d   s eq u en tially   f o r   ea c h   p ar ticip an t.  T h e   d o m ain   p ar am eter s   wer e   s elec ted   b ased   o n   wh at  p r ev io u s   r esear ch   h as  s h o wn   to   b e   u s ef u i n   d if f e r en tiatin g   t h e   em o tio n s   p r esen t.   I n   o r d er   to   ex p lo it  th u n iq u e   ad v a n tag e s   o f   ea ch   class if ier   with   im p r o v ed   ac c u r ac y   a n d   r o b u s tn ess ,   h y b r id   class if icatio n   s tr ateg y   was  u s ed   in   th s tu d y ,   wh ich   co m b i n ed   s u p p o r v ec to r   m ac h in e   (S VM )   an d   k - n ea r est  n eig h b o r   ( KNN )   class if ier s .   Giv en   th e   r elativ ely   s m all  s ize  o f   th d ataset,   leav e - one - o u t   cr o s s - v alid atio n   ( L OOCV)  was   u s ed   as  v alid atio n   m eth o d   t o   en s u r r eliab le  m o d el  esti m a tio n   an d   m a x im ize  th u s o f   av ailab le  d ata.   Pre - d ef in ed   s ig n al - to - n o is r atio   a n d   v is u al  ass ess m en cr iter ia  wer u s ed   to   r ejec t   tr ials   with   h ig h   n o is o r   p o o r   s ig n al  q u ality .   R aw  E E d ata  wer p re - p r o ce s s ed   u s in g   co n v en tio n al  f ilter in g   m eth o d s   to   r em o v e   n o is an d   ar tifa cts.  Sectio n   2 . 1   p r o v id e s   th d etailed   p ar a m eter s   o f   t h E E eq u ip m en t,   s u ch   as  elec tr o d lo ca tio n ,   ch an n el  s ettin g ,   an d   s am p lin g   r ate,   as  well   as   th s y n ch r o n iz atio n   p r o ce d u r f o r   em o tio n   lab elin g   an d   s tim u lu s   p r esen tatio n .   Fig u r 1   p r esen ts   th s tep s   f o r   th e   p r o p o s ed   e m o tio n   r ec o g n itio n   m o d el  a n d   t h co n n ec tio n s   b et wee n   th d if f er e n p r o ce s s es.  d etailed   d is cu s s io n   o f   ea c h   s tep   is   p r esen ted   i n   th s u b s eq u en t su b - s ec tio n s .           Fig u r 1 .   Pro p o s ed   em o tio n   r e co g n itio n   m o d el     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 3 1 8 0 - 3 1 9 0   3182   2 . 1 .    E E G   da t a   a cquis it io n   E E s ig n als  ar ca p tu r ed   f r o m   h y b r i d   Un ico r n   B lack   8 - ch a n n el  E E G   eq u ip m en to   r ec o r d   p ar ticip an ts   b r ain   ac tiv ity   as  th ey   watc h   p a r ticu lar   v id eo   s tim u li  to   g en e r ate  an   E E d ataset  f o r   em o tio n   d etec tio n .   L o w   s p atial  r eso lu tio n   n ec ess itates  ap p r o p r iate  v al id atio n   o n   v a r ied   s etu p   with   r eg ar d   t o   d iv e r s ity   in   d if f er en d ev ices  o r   p o p u lati o n s ,   b u th en h an ce d   8 - ch a n n el  Un ico r n   B lack   h y b r i d   E E m ac h in m ak es  th im p lem en tatio n   tr u ly   p o r tab le   an d   s im p le  en o u g h   f o r   r ea l - wo r ld   ap p licatio n s .   T h ir ty   p ar ticip an ts ,   r an g in g   in   ag f r o m   ei g h teen   to   f i f ty - s ix ,   v iewe d   Hin d v id eo s   in ten d ed   to   elicit  f o u r   d if f e r en em o tio n s f ea r ,   s ad ,   h ap p y ,   an d   n e u tr al.   T h r ee   d is tin ct  s tag es  wer in clu d e d   in   ea ch   r ec o r d in g   s ess io n ,   ea ch   in cl u d in g   v ar iety   o f   s tim u li  to   allo f o r   t h o r o u g h   ex am i n atio n   o f   th e   em o tio n al  r ea ctio n s .   T h p ar am eter s   o f   th e   s elf - cr ea ted   [ 1 2 ]   d ataset  ar p r esen ted   in   T ab le  1 .       T ab le  1 .   Self - cr ea te d   d ataset  d escr ip tio n     P a r a me t e r   D e t a i l s   P a r t i c i p a n t s   2 0   M a l e ,   1 0   F e m a l e   C h a n n e l s N u m b e r   08   Ty p e   o f   S i g n a l s   EEG   N u mb e r   o f   v i d e o s (f o r   e a c h   p a r t i c i p a n t )   12   S a mp l e   r a t e   f r e q u e n c y   ( a f t e r   p r e - p r o c e ssi n g )   2 5 0 H z   Th e   n u m b e r   o f   c l a s si f i c a t i o n s   f o r   t h e   d a t a se t   4   C l a s si f i c a t i o n   N a m e   H a p p y ,   F e a r ,   S a d ,   a n d   N e u t r a l   Q u a n t i t y   o f   i n f o r m a t i o n   ( . c s v   f i l e )   3 6 0   N u meri c a l   d a t a   1 2   v i d e o s × 8   c h a n n e l s × 3 0   P a r t i c i p a n t s .       2 . 1 . 1 .   E E G   equip m ent   a nd   c ha nn els   T h Un ico r n   B lack   E E 8 - ch an n el  d ev ice   is   h ig h - p er f o r m an ce   wea r ab le  B C I   d ev ice   d esig n ed   f o r   th r ea l - tim r ec o r d in g   o f   E E d ata  f r o m   t h s ca lp   u s in g   n o n - in v asiv e   elec tr o d es.   An aly zin g   m e n tal  s tates,   in clu d in g   e m o tio n al  r ea ctio n s ,   r eq u ir es  s ig n als  in d icat in g   e lectr ical  ac tiv ity   p r o d u ce d   b y   th n eu r o n s   o f   th e   b r ain .   E ig h elec tr o d es  wer p l ac ed   o n   s p ec if ic  s ca lp   s ites   ac c o r d in g   t o   th s tan d ar d   1 0 - 2 0   s y s tem   f o r   elec tr o d e   p lace m en in   E E G   r ec o r d in g   [ 5 ] .   E lectr o d es   wer p lace d   n o r m ally   ac r o s s   th e   f r o n tal,   te m p o r al,   an d   p a r ietal  r eg io n s   o f   t h b r ain   ar ea s   s en s itiv to   em o tio n al   in p u ts .   E ac h   elec tr o d e   r ec o r d ed   v a r io u s   b r ain wav f r e q u en c y   b an d s   with   d if f er en v ar ia n ts   ap p lied   to   m ea s u r s h if ts   in   d if f er en s tates  o f   em o tio n s .   Fi g u r 2   p r o v id es  th e   p o s itio n   o f   t h eig h t c h an n els  ap p lied   f o r   s ig n al  r ec o r d in g   th at  in clu d Fp 1 ,   Fp 2 ,   C 3 ,   C 4 ,   P 3 ,   P4 ,   O1 ,   a n d   O2 .             Fig u r 2 .   First Au th o r   with   Un ico r n   b lack   E E d ev ice  with   1 0 /2 0   s y s tem       2 . 1 . 2 .   P ro ce du re   f o g a t heri ng   da t a   T h s tu d y   is   d iv id e d   in to   th r e p h ases :   P h ase  1   is   th lis ten in g   s u p p o r wh ile  watc h in g   Hin d v id eo   clip s ,   Ph ase  2   is   h ea r in g - im p air ed   o r   d ea f - m u te   p er s o n s   w atch in g   Hin d i   v id e o   clip s ,   a n d   Ph ase  3   is   s ilen watc h in g   b y   p ar ticip an ts   o f   o r i g in al  Hin d i c lip s   with o u t so u n d   s u p p o r t.   Ph ase  1 : So u n d - ass is ted   Hin d i v id eo   clip s   Ph ase  1   o f   th d ata  co llectio n   p r o ce s s   in v o l v es  watc h in g   s o u n d - ass is ted   Hin d m o v ie  v i d eo   clip s   ( as  s h o wn   in   Fig u r 3 ) .   Par ticip an ts   in   th f ir s t   p h ase  s aw   f o u r   Hin d m o v ie  v id eo   clip s ,   ea ch   o f   wh ich   r ep r esen ted   o n o f   th e   f o u r   ta r g et  em o tio n s Hap p y ,   Fear ,   Sad ,   a n d   Neu t r al.   B ec au s th a u d io   i n   th ese   f ilm s   was  n o r m al,   v iewe r s   co u ld   s ee   th v is u al  m ater ial  in   ad d itio n   to   h ea r in g   it .   T h E E g ad g et  m o n ito r ed   t h b r ain   ac tiv ity   in   r esp o n s to   th ese  m u ltimo d al  in p u ts   ( au d ito r y   an d   v is u al)   d u r in g   th is   p h ase.   T h f ile  o f   th is   p h ase  was  s to r ed   as  1 . csv ,   2 . csv ,   3 . csv ,   an d   4 . csv ,   wh ich   s tan d   f o r   th f ee l in g s   o f   h ap p in ess ,   f ea r ,   s ad n ess ,   an d   n eu tr ality ,   r esp ec tiv ely .   T h is   s tag atte m p ted   to   r ec o r d   th e   p ar ticip an ts   au th en tic   em o tio n al  r e ac tio n s   d u r i n g   th eir   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g - b a s ed   h yb r id   emo tio n s   r ec o g n itio n   mo d el   u s in g   …  ( Ta r u n   K u ma r )   3183   co m p lete  im m er s io n   in   th e   v i s u al  an d   au r al  elem en ts   o f   th v id eo   clip s ,   as  b o th   v is u al  a n d   au d ito r y   s tim u li  m ig h t a f f ec b r ain wav p atter n s .           Fig u r 3 .   No r m al  Hin d m o v ie   clip s       Ph ase  2 : H ea r in g - im p air e d   o r   d ea f - m u te  i n d iv id u als v iewin g   Hin d i v id eo   clip s   Du r in g   th is   s tag e,   ea ch   p ar ti cip an was  s h o wn   f o u r   d is tin ct  Hin d v id e o   s eg m en ts   ( as   s h o wn   in     Fig u r 4 ) .   Sin ce   th ese  wer m ad f o r   d ea f   o r   d ea f - m u te  p e o p le,   it  is   lik ely   t h at  th e   v id eo   m a ter ial  r elied   less   o n   au r al  in p u a n d   was  m o s tly   v is u al,   p o ten tially   with   s u b titl es  o r   m o r e x p r ess iv v is u al   clu es.   Du r in g   th is   p h ase,   th in d iv id u als’  E E wav es  wer g ath er e d   in   o r d er   to   ex am i n th d if f e r en ce s   in   em o tio n a r ea ctio n s   wh en   th e   au d io   c o m p o n en was  eith er   m in im al  o r   m is s in g .   E E r ec o r d in g s   o f   th is   p h ase  wer s t o r ed   as  5 . csv ,   6 . csv ,   7 . csv ,   an d   8 . csv ,   wh ich   ar m o r co r r elate d   to   th f o u r   em o tio n s Hap p y ,   Fear ,   Sad ,   an d   Neu tr al.   T h ex ten t o   wh ich   au d ito r y   in p u t p la y s   r o le  in   th e m o tio n al  p r o ce s s in g   o f   t h ese  v id eo   clip s   b y   c o n tr asti n g   th o u tc o m es  o f   th is   p h ase  with   Ph ase  1   was   estab lis h ed .           Fig u r 4 .   Hin d m o v ie  clip   b as ed   o n   d ea f   p e r s o n       Ph ase  3 : M u ted / s ilen tly   watc h in g   th o r ig in al  Hin d i c lip s   P a r t i c i p an t s   r e w a t c h e d   t h f ir s t   b a t ch   o f   H i n d i   m o v ie   v i d eo   c l ip s   f r o m   P h a s e   1   in   th e   f in a l   p h a s e,   b u t   t h i s   t i m e   w i t h   t h e   s o u n d   m u t ed   ( a s   s h o wn   i n   F i g u r e   5 ) .   W i t h   j u s t   v i s u a l   s t i m u l i   a v a i la b l e   i n   th i s   s e s s i o n ,   p a r t i c ip a n t s   m a y   d e c ip h e r   th e   e m o t io n s   s h o wn   i n   th e   m o v i e s   b y   c o n c en t r a t in g   o n   b o d y   l an g u ag e ,   f a c i a e x p r e s s i o n s ,   a n d   o th e r   n o n - au d i to r y   c l u e s .   T h i s   s t a g e   o f f e r e d   im p o r t an t   in f o r m a t io n   o n   h o w   t h e   b r a i n s   e m o t io n a l r e s p o n s e   w a s   i m p ac t e d   b y   th e   la c k   o f   a u d i t o r y   i n p u t .   T h i s   s t a g e   h e l p s   i n v e s t i g a t e   h o e f f e c t i v e l y   t h e   b r a i n   c a n   r e t a in   a n d   u n d er s t a n d   e m o t io n a l   s i g n a l s   o n ly   t h r o u g h   v i s u a l   m a te r i a l   b e c au s e   t h e   p a r t i c ip an t s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 3 1 8 0 - 3 1 9 0   3184   h a d   a lr e ad y   s e en   t h e s e   f i lm s   w i t h   s o u n d .   T h i s   p h a s e s   E E G   d a t a   w a s   s t o r ed   a s   9 . c s v ,   1 0 . c s v ,   1 1 . c s v ,   an d   1 2 . c s v   f i le s .             Fig u r 5 .   Hin d m o v ie  clip   b as ed   o n   m u ted       2 . 1 . 3 .   Dig it a o r g a niza t io n   T h E E G   s ig n als  in   d ig itized   f o r m   wer e   k e p f o r   ea c h   p ar ticip an in   f o ld er   s tr u ctu r e   ar r a n g ed   as  S0 1   th r o u g h   S3 0 ,   with   o n f o ld er   f o r   ea ch   p ar ticip an t.   T welv . c s v   f iles ,   o n f o r   ea c h   o f   th t h r ee   p h ases   v a r io u s   em o tio n al  s tates,  ar e   co n tain e d   with in   ea c h   f o ld er .   Fil es  1 . c s v   to   4 . csv   co r r esp o n d   to   th e   i n itial  p h ase  ( a u d io - v is u al  s tan d ar d   with   s o u n d ) ,   f iles   5 . csv   to   8 . csv   r ep r esen th s ec o n d   p h ase  ( v i d eo s   f o r   d ea f   o r   d ea f - m u te   in d iv id u als),   a n d   f iles   9 . csv   to   1 2 . csv   co r r esp o n d   to   th e   th ir d   p h ase  ( o r i g in al  v id e o s   with   m u ted   au d i o ) .     2 . 1 . 4 .   I nte rpre t a t io n a nd   un dersta nd ing   B r ain   ac tiv ities   v ar y   as  p ar tic ip an ts   ex p er ien ce   em o tio n s   th r o u g h   d is tin ct  s en s o r y   c h an n e ls   ( au d io - v is u al,   v is u al - o n l y   f o r   d ea f   o r   m u te,   an d   v is u al - o n ly   f o llo wi n g   ex p o s u r e   to   th e   au d io - v is u al)   an d   ex am in e   th e   E E d ata  f r o m   th ese  th r ee   s ta g es.  E E d ata  f r o m   ea ch   c o n d itio n   m ay   b co m p ar ed   t o   ex tr ac t p r o p er ties ,   s u ch   as  b r ain wav e   p atter n s   o r   f r eq u en cy   b an d s ,   wh ich   ar e   u n iq u to   a   ce r tain   em o tio n al  s tate.   T o   cr ea te  r eliab le   em o tio n   d etec tio n   m o d els b ased   o n   E E d ata,   th ese  ch a r ac ter is tics   m ay   f u r th er   b an aly s e d   an d   class if ied .     2 . 1 . 5 .   Cha lleng es   Fig u r 6   d em o n s tr ates  th ex p er im en tal  s etu p   f o r   th e   s elf - cr e ated   E E d ataset.   Ma in tain in g   co n s is ten t   d ata  q u ality   a m o n g   p a r ticip an ts ,   r ed u cin g   ar tifa cts  ( in cl u d in g   e y b lin k s   an d   m u s cle  m o v em e n ts ) ,   an d   m an ag in g   in te r - s u b ject  v ar ia b ilit y   wer th ch allen g es  with   th s elf - cr ea ted   E E d atasets .   T o   g u ar an tee   r eliab ilit y ,   s tr in g en t   p r o ce d u r es  wer f o llo wed   d u r in g   th e   E E s ig n al  r ec o r d in g   p r o ce s s   s u ch   as  u n if o r m   s tim u lu s   p r esen tatio n   a n d   r eg u lated   am b ie n co n d itio n s .   Pr ep r o ce s s in g   m eth o d s   f o r   im p r o v in g   s ig n al  q u ality   wer q u ite  r eliab le.   C r o s s - v alid atin g   em o tio n   la b els  with   p ar ticip an f ee d b ac k   p r eser v ed   in ter - r ater   r eliab ilit y .   I n   o r d e r   to   en s u r th at  th m o d el  is   g en er aliza b le  ac r o s s   p ar ticip an ts   an d   s ess io n s ,   r o b u s tn ess   i s   ac h iev ed   b y   f ea tu r ex tr ac tio n   th at  c ap t u r e s   r an g o f   s ig n al  ch ar ac te r is tics   an d   L OOCV c r o s s - v alid atio n .           Fig u r 6 .   p ar ticip an t in   E E s ig n al  r ec o r d in g     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g - b a s ed   h yb r id   emo tio n s   r ec o g n itio n   mo d el   u s in g   …  ( Ta r u n   K u ma r )   3185   2 . 2 .     Da t a   pre - pro ce s s ing   S i n c e   e a c h   i n d i v i d u a l   h as   u n i q u e   i m p e d a n c e   o n   t h e le c t r o d e s   a n d   a   d is ti n c t   s i g n al   s t r e n g t h ,   n o r m a l i z a t i o n   f a l ls   w it h i n   t h e   p r e - p r o c e s s i n g   s t e p   a n d   m u s t   b e   d o n e   f i r s t .   A d d i t i o n a ll y ,   t h e r e   a r e   v a r i a t i o n s   i n   t h s i g n a l   b e t we e n   a c q u i s it i o n   d a y s   f o r   t h e   s a m e   p e r s o n .   B e f o r e   c a t e g o r i z a ti o n ,   a l l   d a t a   s h o u l d   b e   s t a n d a r d i z e d   o r   n o r m a l i z e d .   T h r e e   m a j o r   n o r m a l i z a t i o n   t e c h n i q u e s   a r e   Z - s c o r n o r m a l i z at i o n ,   M i n i m u m - M a x i m u m   n o r m a l i z a t i o n ,   a n d   d e c i m a l   s ca l i n g   n o r m a l i z a ti o n .   T h e s e   t h r e e   a p p r o a c h e s   a r e   i d e n t i c al   t o   o n e   a n o t h e r .   T h e   Z - s c o r e   N o r m a li z a ti o n   t e c h n i q u e   w as   a p p l i e d   i n   t h is   s t u d y .   T h e   s t a n d a r d   d e v ia t i o n   a n d   m e a n   w e r e   u s e d   t o   s t a n d a r d i z e   t h e   d at a .   F o r   a l l   d at a ,   t h e   s ta n d a r d   d e v i a t i o n   i s   o n e   a n d   t h e   m e a n   i s   0 .   T o   d e t e r m i n e   t h e   Z - s c o r e   o f   e a c h   v a r i a b l e ,   s u b t r a ct i o n   o f   t h e   m e a n   w as   m a d f r o m   e a c h   d at a   p o i n t   a n d   t h e n   d i v i d e d   b y   t h s t a n d a r d   d e v i at i o n .     2 . 3 .     F e a t ure   ex t r a ct io n   Af ter   E E s ig n als  d ata  p r ep r o ce s s in g ,   f ea tu r ex tr ac tio n   is   th n ex s tep .   Fre q u en c y - d o m ain   p r o p e r ties   ar v er y   im p o r tan f o r   u n d er s tan d in g   th p atter n s   o f   b r ain   a ctiv ity   r elate d   to   d if f e r en em o tio n s   d u r in g   E E G   em o tio n   d etec tio n .   T h b a n d   p o wer   r atio s   p la y   an   im p o r tan t r o le  in   th b r ain - co m p u ter   in te r f ac o r   it d ep en d s   o n   m en tal  s tates.  B y   co m p u tin g   r atio s   b etwe en   d if f er en f r eq u en cy   b a n d s   b y   an aly s in g   p o wer   d is tr ib u tio n   ac r o s s   th ese  b an d s ,   s ev e r al  e m o tio n al  s tates  ca n   b e   d etec te d   [ 1 4 ] ,   [ 1 5 ] .   T h ese  r atio s   h elp   to   d is tin g u is h   s tates  lik h ap p in ess ,   f ea r ,   s ad n ess ,   an d   n eu tr ality   as  th ey   in d icate   h o v ar y in g   th am p litu d e   o f   b r ain wav es  f o r   d if f er en em o tio n s .   T h is   m eth o d o lo g y   in cr ea s es  th r eliab ili ty   o f   id en tif y in g   em o tio n   as  m o r im p o r tan ce   is   g iv en   to   s u b tle  v ar iatio n s   b etwe en   f r eq u e n cy   d o m ain s   in   b r ain wav ac tiv ity .   Delta  ac tiv ity   p r ed o m i n ates  in   d ee p   s leep ,   th eta  b a n d   a p p ea r s   in   v er y   r elax e d ,   co n tem p lativ e,   d r o wsy ,   o r   m ed itativ s tate.     Peo p le  wh o   ar awa k an d   p a y in g   v e r y   ca lm ,   p ass iv atten tio n   ar k n o wn   t o   ex h i b it  th a lp h b an d   th at  is   m o r p r o n o u n ce d   w h e n   th eir   ey es  ar e   o p e n ed .   W h e n   f o cu s ed   o r   th i n k in g   ac tiv el y ,   th b eta  b an d   is   v is ib le.   T h b eta  b an d   is   v is ib l wh en   an x iety   is   p r ed o m in an t ,   ac tiv e,   an d   r elax ed .   C o n ce n tr atio n   m ay   b f o u n d   in   th g a m m b a n d   [ 1 6 ] ,   [ 1 7 ] .   Hig h   d elta  p o wer   in d icate s   th at  th b r ain   is   in   v er y   r elax ed   s tate  o r   th r ec o v e r y   p h ase  in   d ee p   s leep .   Hig h er   th eta  p o wer   in d icate s   r ed u ce d   al er tn ess ,   p er h ap s   in   s tate  o f   d ay d r ea m in g   o r   lig h s leep .   I n cr ea s ed   alp h a   p o wer   i s   ac co m p an ied   b y   a   ca lm ,   r ela x ed ,   b u t a wak e   s tate,   s u ch   as c lo s in g   th e y es in   a   q u iet  r o o m .   B eta  p o wer   in cr e ases   with   in cr ea s ed   m en tal  ac tiv ity ,   atten tio n ,   o r   f o cu s .   I m ig h b ass o ciate d   with   an x iety   o r   s tr ess   in   ex tr em ca s es.  Hig h   g am m p o w er   was  o f ten   s ee n   to   ac c o m p an y   h ig h   lev e ls   o f   co n ce n tr atio n ,   lear n in g ,   o r   p r o ce s s in g .   E E d ata   was  an aly s ed   f o r   th f ir s Hin d m o v ie  clip s   f o r   p ar ticip an t   S0 1 .   Af ter   p r o ce s s in g   th e   E E d ata  f r o m   0 1 . csv   in   MA T L AB   R 2 0 1 7 b ,   th e   v alu es  o f   v a r io u s   b an d   p o wer s   f o r   ea ch   ch an n el  ar d is p lay ed   in   Fig u r e.   7 .   T h X - ax is   r ep r esen ts   th ch an n el  in   Gr ap h ical  r ep r esen tatio n   a n d   th Y - ax is   r ep r esen ts   th p o wer .             Fig u r 7 .   E E b an d   p o wer   f o r   ea ch   ch an n el  f o r   S0 1     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 3 1 8 0 - 3 1 9 0   3186   2 . 4 .     Sig na cla s s if ica t io n   A f t e r   t h c o m p l et i o n   o f   f e at u r e   e x t r a ct i o n   f o r   e ac h   p a r t ic i p an t ,   t h e   p r o c e d u r o f   c l ass i f i c ati o n   c o m e s   u n d e r   c o n s i d e r a t i o n .   T h e   s a m p r o c e s s   as   m e n t i o n e d   i n   F i g u r e   7   n e e d s   t o   b e   a p p l ie d   f o r   s 0 2   t o   s 3 0   p a r t ic i p a n ts   a n d   f r e q u e n c i e s   o f   E E G   l i k e   alp h a ,   b e t a ,   t h et a ,   d e lt a ,   a n d   p o we r ;   t h e   p r o c e d u r e   o f   c l as s i f i c a tio n   b e g i n s .   V a r i o u s   c l a s s i f ie r s   a r e m p l o y e d   i n   t h e   r e s e a r c h   b as e d   o n   h o w   w el l   t h e y   f u n c t i o n   i n   E E G   a p p l i c at i o n s ,   a n d   t h e i r   e f f i c a c y   i s   as s e s s e d   t o   d i r e c t   t h e   o p t i m i z a t i o n   p r o c e d u r e   s u g g e s t e d ,   l ik e   a r t i f i ci a l   n e u r a n e t w o r k s KNN ,   l i n e a r   S V M ,   S V M   wi t h   r a d i al   b a s i s   f u n c ti o n s ,   d e c is i o n   t r e es ,   l i n ea r   d i s c r i m i n a n t   a n a l y s i s ,   a n d   n a i v e   B a y es  [ 1 8 ] .   T h is   s tu d y   o f f er s   f u s io n   o f   SVM  an d   KNN,   two   d is tin ct  ca teg o r izatio n   tech n iq u es.  SVM  an d   KNN,   two   h y b r id   class if ier s ,   wer ch o s en   d u to   th eir   co m p lem en tar y   a d v an ta g es  in   E E G - b ased   em o tio n   class if icatio n .   W h ile  KNN  s u cc ess f u lly   ca p tu r es  lo ca p atte r n s ,   SVM  is   ad ep at  h an d lin g   h ig h - d im en s io n al   d ata  with   s tr o n g   g l o b al  d ec is io n   lim its .   G r id   s ea r ch   with   L OOCV  wa s   u s ed   to   o p tim ize  t h h y p e r p ar am ete r s   f o r   KNN  an d   SVM  in   o r d er   t o   g u ar a n tee  g e n er aliza tio n .   T h h y b r i d   m o d el,   wh ich   was  ad ju s ted   f o r   b alan ce d   co n tr i b u tio n s ,   in teg r ated   t h eir   o u tp u ts   b y   weig h ted   v o tin g .   T h SVM - KNN  h y b r id   m o d el  o u tp er f o r m e d   p r ev io u s   c o m b in atio n s ,   ac co r d in g   to   em p ir ical  e v alu atio n s ,   p r o v id in g   s tr o n g   ac cu r ac y   an d   F1 - s co r es  ac r o s s   em o tio n s   ( h a p p y ,   f ea r ,   s ad ,   an d   n eu tr al )   an d   s u cc ess f u lly   h a n d lin g   p ar ticip an t a n d   s ess io n   v ar iab ilit y .   E v er y   in d iv id u al  was  ex p o s ed   to   f o u r   d if f er en t   k in d s   o f   em o tio n al  s tim u li.  On ce   th e   r aw  E E d ata  was  p r e - p r o ce s s ed ,   f ea tu r e   ex t r ac tio n   was  u s ed   t o   r etr ie v in f o r m atio n   f r o m   ev e r y   c h an n el  a ev er y   ep o c h .   Du e   to   th eir   co m p lem en tar y   ch a r ac ter is tics ,   S VM   an d   KNN   class if ier s   ar o f ten   h y b r i d ized   f o r   em o ti o n   id en tific atio n   u s in g   E E d ata.   SVM  ca n   id en tify   th id ea h y p er p lan th at  d i v id es  d if f er e n class   b o u n d ar ies.  On   th o t h er   h an d ,   KNN  is   an   i n s tan ce - b ased   l ea r n i n g   al g o r it h m   th at  d o es  n o d e p en d   o n   an y   s p ec if i s tatis tical   d is tr ib u tio n   o f   th in p u s p ac e.   Mo r eo v er ,   b ei n g   n o n - p a r am et r ic,   it  ad ap ts   to   lo ca p atter n s   a n d   ten d s   to   d o   well  with   n o is y   d ata.   As  b o th   th SVM  an d   KNN   clas s if ier s   co m p lem en ea ch   o th er   well,   th ey   ar id ea f o r   th e   class if icatio n   o f   em o tio n s   f r o m   E E d ata.   SVM  p er f o r m s   r ath er   well  in   h ig h - d im e n s io n al  en v ir o n m e n ts   b ec au s th id en tific atio n   o f   b est  d ec is io n   b o u n d ar ies  y ield s   s tab le  s ep ar atio n   b etwe en   em o tio n al  s tates.  I als o   m ak es  g o o d   u s o f   k er n el  f u n ctio n s   to   m an ag n o n - lin ea r   i n ter ac tio n s .   Alth o u g h   KNN  is   in tu itiv an d   ad a p ts   well  to   lo ca p atter n s ,   ev en   n o is y   o r   o v er lap p in g   d ata ,   s in ce   it  m ak es  d ec is io n s   b ased   o n   n ei g h b o u r in g   ex am p les,  its   h y b r id   s tr ateg y ,   wh en   co m b in e d ,   im p r o v es  class if icatio n   ac cu r ac y   f o r   th m a n y   in tr icate   p atter n s   p r esen t in   E E d ata  t o   f in d   th b alan ce   b etwe en   g lo b al  d ec is io n - m ak in g   an d   l o ca l a d ap tat io n .     2 . 4 . 1 .   Appro a ch  t o   hy brid cla s s if iers   T h ex tr ac ted   f ea tu r s et  o f   E E d ata  ca n   b r ep r esen ted   as   ( 1 ) ,     = { 1 , 2 , }   ( 1 )       r ep r esen ts   th f ea tu r v ec to r   o f   th i th  s am p le  an d   = { 1 , 2 , }   is   th c o llectio n   o f   lab els  f o r   all  th e   r elate d   em o tio n s .   T h SVM  s ee k s   to   id en tify   t h h y p er p lan e   o r   d ec is io n   b o r d er   th at  m ax im ally   d iv id es  t wo   class es ,   wh er . + = 0 .   T h f o llo win g   is   th SVM  o b jectiv f u n ctio n :     1 2 2      s u b ject   to   ( + ) 1   I     ( 2 )     w h en   th lab el  is     th weig h v ec to r   is   w ,   th in p u f ea tu r v ec to r   is     an d   th b ias  ter m   is   b .   T h d ec is io n   b o u n d ar y   n ee d ed   f o r   class if icatio n   is   p r o v i d ed   b y   th o p tim i za tio n   p r o b lem s   s o lu tio n .   KNN  u s es  th KNN   ap p r o ac h   t o   class if y   an   in p u i n s tan ce   x i .   T h m etr ic  o f   d is tan ce   ( )   is   u tili ze d   to   d eter m in th ese  n eig h b o r s ,   an d   it  is   o f ten   E u clid ea n   d is tan ce .   T h f o llo win g   f ac to r s   ar u s ed   to   ass ig n   th e   lab el  y i .     =      ( = ) (  )           ( 3 )     wh er th in d icato r   f u n ctio n   is   d en o ted   b y   I ( )   an d   th co llect io n   o f   KNN   is   r ep r esen te d   b y   N ( x i ).     2 . 4 . 2 .   T he  s t ra t eg y   o f   hy bridi za t io n     I n   th h y b r i d   m o d el,   KNN  class if ies  in s tan ce s   clo s to   th d ec is io n   b o r d e r ,   wh er e   SVM  co u ld   h a v e   tr o u b le,   t o   r ef i n th i n itial  class if icatio n   m ad b y   th SV M.   T h is   co m b i n atio n   im p r o v e s   ac cu r ac y   f o r   E E G - b ased   em o tio n   id e n tific atio n   t ask s   b y   c o m b in in g   th e   g l o b al   d ec is io n - m a k in g   p o wer   o f   S VM   with   th l o ca f lex ib ilit y   o f   KNN .   T o   im p r o v class if icatio n   ac cu r ac y ,   th i s   h y b r id   class if icatio n   m eth o d   ap p lied   SVM  an d   KNN  u s in g   th m ajo r ity   v o tin g   m eth o d .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g - b a s ed   h yb r id   emo tio n s   r ec o g n itio n   mo d el   u s in g   …  ( Ta r u n   K u ma r )   3187   2 . 5 .     Cla s s if ica t io n   o utput   I n   g en er al,   E E d atasets   ar u s u ally   m o d est  in   s ize  b u h ig h ly   d im en s io n al.   T ec h n iq u es  lik leav e - one - o u cr o s s - v alid atio n   ar e   q u ite  ef f ec tiv e   in   t h ev al u atio n   o f   th e   p er f o r m a n ce   o f   th e   m o d els  f o r   em o tio n   id en tific atio n   b ased   o n   E E s ig n als.  L OOCV  en s u r es  th at  ea ch   s am p le  o f   th E E G   s ig n al  h as  b ee n   u s ed   o n ce   as  te s p o in an d   also   as  a   tr a in in g   s et,   wh ich   c o m p letes  an   ex h au s tiv ass ess m en o f   g en er aliza b ilit y   f o r   th m o d el.   W h y   Use L OOCV to   r ec o g n ize  em o tio n s ?   E E d atasets   u s u ally   h av e   f ewe r   tr ials   an d   s u b ject   s am p les,  esp ec ially   in   th ca s o f   em o tio n   d etec tio n .   T h is   is   v ital  in   s m all  d atasets   as  L OOC [ 1 4 ]   allo ws  th m o d el  to   b tr ai n ed   o n   n - 1   s am p les,  u s in g   all  th d atasets   b o th   f o r   tr ain i n g   an d   v alid atio n T h em o tio n al  s tates  in   E E s ig n als  ar e   f ai n an d   o v e r lap p in g th u s ,   f in d in g   th em   is   n o t a n   ea s y   task .   C o m p ar ed   t o   p r ev io u s   k - f o l d   ap p r o ac h es,  L OOCV g u ar an tees th at  ea ch   s am p le  is   ev alu ated ,   g iv in g   a   m o r th o r o u g h   an d   p r ec is esti m atio n   o f   th e   class if ier s   p er f o r m an ce .   L OOCV   m in im izes  th d an g er   o f   o v e r f itti n g ,   p ar ticu lar ly   i n   s itu atio n s   wh er em o tio n - s p ec i f ic  E E s ig n als  d if f er   b etwe en   p eo p le  o r   s ess io n s ,   b y   tr ain in g   o n   alm o s t th wh o le   d ataset  f o r   ea ch   iter atio n .   Hy b r id   class if ier s ,   s u ch   as  SVM - KNN  in   co n ju n ctio n   with   L OOCV,  p r o v id ac cu r ate  i n s ig h ts   ab o u th p o ten tial  o f   th m o d el  to   g en er alize   to   n ew,   u n s ee n   d ata  f o r   em o tio n   r ec o g n itio n .   Su ch   m o d els  ca n   g en er alize   em o tio n   r ec o g n iti o n   to   f r esh   an d   u n test ed   d at a.   Af ter   ev er y   iter atio n   o f   th f in al  p er f o r m a n ce   m ea s u r es,  wh ich   in clu d th F1 - s co r e,   ac cu r ac y ,   an d   p r ec is io n ,   ar av er a g ed ,   a n d   an   o b je ctiv ass es s m en o f   th class if ier s   ca p ac ity   to   id e n tify   em o tio n s   f r o m   E E d ata   is   p r o v id ed   [ 1 9 ] [ 2 2 ] .     2 . 6 .     P er f o r m a nce  m e t ric    T h ac cu r ac y   o f   th class if ie r   in   th p r esen ted   s tu d y   was  d eter m in ed   b y   ass ess in g   it s   c ap ac ity   to   ac cu r ately   d etec em o tio n s   f r o m   E E d ata  ( 4 ) .   T h p e r ce n ta g o f   p r o p er ly   ca teg o r ized   ca s es  ac r o s s   all  s am p le s   will  b ca lcu lated .   T h is   ac cu r a cy   m etr ic  aid s   in   m ea s u r in g   h o well  th p r o p o s ed   s y s tem   r e co g n izes  em o tio n s   [ 2 3 ] .       =  +   +  +  +    ( 4 )     T h m o d el  th at  co r r ec tly   class if ies  as  p o s itiv is   ca lled   tr u p o s itiv ( T P).   I n f o r m atio n   th at  th m o d el  ac c u r ately   id en tifie s   as  n eg ativ e   is   ca lle d   tr u e   n e g ativ ( T N) .   T h e   m o d el  th at   in co r r ec tly   class if ies  f r o m   th e   n eg ativ e   ca teg o r y   as  p o s itiv is   k n o wn   as  f alse  p o s it iv ( FP ) .   Fal s n eg ativ ( FN)   d ata  is   p r o d u ce d   b y   th m o d el  wh en   it e r r o n eo u s ly   class if ies p o s iti v ca teg o r y   d ata  as n e g ativ [ 1 5 ] .         3.   RE SU L T S AN D I SCU SS I O N     T h r e s e ar c h er s   d e v e l o p e d   h y b r i d   em o t io n - id en t i f i c a t io n   s y s t e m   b a s ed   o n   K - Ne a r e s t N e i g h b o u r s   a n d   S V c l a s s i f i e r s   u s i n g   E E G   d a ta .   F o r   th s a k o f   ex p er im e n t a t io n ,   th d e v e lo p ed   s y s te m   w a s   ap p l i ed   t o   E E G   d a ta   a cq u i r e d   f r o m   th i r ty   s u b je c t s   a t   t w e lv e   tr i a l s   i n t en d ed   t o   e v o k f o u r   d i s t i n c t   em o t i o n a l   co n d i t i o n s f e a r ,   s a d n e s s ,   h a p p i n e s s ,   a n d   n eu t r a l i ty .   T h P r o p o s ed   m o d e l   wo r k e d   w i t h   th e   e i g h t   ch a n n e l s   o f   t h E E r e c o r d in g s   an d   ap p l i ed   L O OC V   f o r   t h e   a s s e s s m e n t   o f   t h e   h y b r i d   c l a s s i f i e r .   F r o m   n o r m al i z e d   E E G   d a t a ,   we  o b t a in e d   f r e q u en c y - d o m a in   ch a r a c te r i s t i c s .   T h f o u r   p r ed o m i n an t   f r eq u en c y   b a n d s   f o r   w h i c h   w e   co m p u t ed   t h e   b an d   p o w e r   ar e   d e l t a   ( 1 - 4   H z ) ,   t h e t ( 4 - 8   H z ) ,   a l p h a   ( 8 - 1 2   H z) ,   an d   b e t a   ( 1 2 - 3 0   Hz )   [ 2 4 ] ,   [ 2 5 ] .   T h e s f r e q u en c y   b a n d s   a r e   r e l a t ed   to   v ar i o u s   s t a t e s   o f   co g n i t i v e   a n d   em o t io n a l   ch an g e s ,   th e y   a r e   w e l l - k n o w n   in   E E G   r e s e a r c h .   B an d   p o w er   i n   t h e s e   f r eq u e n cy   b an d s   w a s   c al c u l a t ed   f o r   e a ch   t r i a l   an d   ch an n e l   th a t   m ad e   t h f e a t u r e   s e t   to   b e   u s ed   f o r   c l as s i f i c a t i o n .   B y   u s i n g   t h d a t as e t   o f   E E G ,   th e   h y b r id   c l a s s if i e r   i s   t e s t ed   in   t h M A T L A B   c o d e.   E E G   d a t o f   a l p a r t i c ip a n t s   i s   r e ad   f r o m   co r r e s p o n d in g   . c s v   f i l e s ,   p r e - p r o c e s s i n g ,   a n d   e x t r a c t io n   o f   ch a r a c t e r i s t i c s .   T h e   ac c u r a cy   o f   th e   s y s t e m   wa s   a s s e s s e d   u s i n g   l ea v e - o n e - o u t   c r o s s - v a l i d a t io n   ( L O O C V ) .   E a ch   d a t a s e s a m p l e   w a s   u t i l i z ed   o n ce   a s   a   te s t   s a m p l i n   L O O C V ,   w i t h   t h r em a i n in g   d a t b e i n g   u s e d   f o r   t r a in i n g .   B e c a u s i t   m a k e s   t h m o s t   u s e   o f   t h av ai l a b l d a t a,   th i s   v a l i d a t i o n   ap p r o a c h   i s   e s p e c i a l ly   h e l p f u f o r   t i n y   d a t a s e t s .   T h m o d e w a s   tr a in e d   u s in g   t h h y b r i d   S V M - K N m e th o d   f o r   e v er y   L O O C V   i t e r a t i o n .   B o t h   c l a s s i f ie r s   w er e   u s ed   to   p r e d i c em o t io n   a c cu r a cy ,   a n d   a   m a j o r i t y   v o t w as   u s e d   t o   m a k th f i n a c h o i c e.   A f t e r   t h c r o s s - v a l i d a t io n   p r o c e d u r e,   ac c u r a cy   w a s   d e t er m in e d .   T h D E AP   [ 5 ] ,   D R E A M E R   [ 1 9 ] ,   M A H N O B - H C I   [ 2 6 ] ,   SE E D   [ 2 7 ] ,   a n d   A M I G O S   [ 2 8 ]   d a t a s e t s   s e r v ed   a s   i n s p ir a t i o n   f o r   t h e   r e co r d i n g   a n d   p r o c e s s i n g   o f   a n   E E G   d a ta s e t   f o r   em o t io n   i d en t i f i ca t i o n .   E m o t io n s   s u c h   a s   h a p p i n e s s ,   s a d n e s s ,   f e ar ,   a n d   n e u tr a l i t y   we r e   ev o k ed   b y   H in d i   v i d eo   c l ip s .   T h e   U n i co r n   B l a c k   8 - c h an n e d ev i c e   w a s   u s e d   t o   r e c o r d   E E G   d a t a .   I n   M A T L A B   R 2 0 1 7 a,   al l   t h s t e p s   ar e   p er f o r m ed   to   p r e - p r o c e s s   th e   E E G   d a t a ,   ex t r a c t   f e a tu r e s ,   a n d   c l a s s i f y   th e m o t i o n a l   s t a t e s   w i t h   a lg o r i t h m s   s u ch   a s   S V a n d   K N i n v o lv ed .   T h en ,   a cc u r a cy   i s   c o m p u t ed   b y   e q u a t i o n   4 .   E E G   s i g n a l s   w e r e   a c q u i r ed   w i th   a   d e v ic e   w i t h   6 4   c h a n n e l s   f r o m   4 0   i n d i v id u a l s   i n   [ 8 ]   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 3 1 8 0 - 3 1 9 0   3188   E E G   d a t a   w a s   r e co r d e d   f r o m   3 0   p ar t i c ip a n t s   in   [ 1 0 ]   d u r i n g   t h e   d a t a - g a t h e r i n g   p r o c e s s .   T h e   co m p a r i s o n   o f   t h e   p r o p o s ed   ap p r o ac h   w i th   o t h e r   a l g o r i th m s   i s   s h o w n   i n   T a b l e   2 .       T ab le  2 .   C o m p a r is o n   o f   p r o p o s ed   m o d el   C o n t r i b u t i o n   D a t a s e t   P h y s i o l o g i c al   s i g n a l s   A v e r a g e   a c c u r a c y   M o d e l   Emo t i o n   c l a ss i f y   Zh u   e t   a l .   [ 8 ]   O w n   d a t a se t s   EEG   7 0 . 2 %   H P   Th r e e   C l a s ses   p o s i t i v e ,   n e u t r a l ,   n e g a t i v e   5 0 . 1 5 %   H P   F i v e   C l a ss e s   h a p p y ,   n e u t r a l ,   s a d ,   a n g r y ,   f e a r f u l   7 2 . 0 5 %   N H P   Th r e e   C l a ss e s   p o s i t i v e ,   n e u t r a l ,   n e g a t i v e   5 1 . 5 3 %   N H P   F i v e   C l a ss e s   h a p p y ,   n e u t r a l ,   s a d ,   a n g r y ,   f e a r f u l   Ji n   e t   a l .   [ 1 0 ]   O w n   d a t a se t s   EEG   4 0 . 8 %   H P   F i v e   C l a ss e s   h a p p i n e ss,   n e u t r a l ,   s a d n e ss,  f e a r   a n d   a n g e r   P r o p o se d   w o r k   S e l f - c r e a t e d   d a t a se t   EEG   6 0 . 8 3 2 %   N H P   F o u r   C l a sses   h a p p y ,   f e a r ,   sa d ,   a n d   n e u t r a l   * H P   st a n d s f o r   h e a r i n g - i mp a i r e d   p a r t i c i p a n t s.   * N H P   st a n d s f o r   N o n - h e a r i n g - i m p a i r e d   p a r t i c i p a n t s .         4.   CO NCLU SI O N     T h em o tio n al - v i d eo   clip - in d u ce d   E E em o tio n   r ec o g n itio n   tech n iq u was  p r esen ted   in   th is   s tu d y .   T h ir ty   v o lu n teer s '   E E s ig n als  wer r ec o r d e d   as  th ey   watc h ed   th v a r io u s   Hin d i v id eo   clip s .   W ith   f r eq u en c y - d o m ain   f ea tu r e   ex tr ac tio n ,   a   h y b r id   SVM - KNN  class if ier ,   an d   Z - s co r n o r m aliza tio n   f o r   p r ep r o ce s s in g ,   t h s u g g ested   m eth o d   p r o v e d   s u cc ess f u in   id en tify i n g   e m o tio n s ,   with   L OOCV  g u ar an teein g   a n   ac cu r ate  ac c u r ac y   esti m ate.   T ab le  2   d is p lay s   th e   p r o p o s ed   m o d el  f in d i n g s ,   wh i ch   in d icate   an   ac cu r ac y   o f   6 0 . 8 3 2 o n   av er a g f o r   th f o u r   e m o tio n al   class es - h ap p in ess ,   s ad n ess ,   f ea r ,   an d   n e u tr al.   B ased   o n   E E G   d ata  a n d   b an d   p o wer   r atio s ,   th is   ac cu r ac y   s u g g ests   m o d e s t p er f o r m an ce   l e v e l   i n   d i f f e r e n t i a t i n g   b e tw e e n   e m o t i o n s .   A l th o u g h   t h e   o u t c o m es  s h o w   t h a t h e   m et h o d   c a n   d i s t in g u i s h   b e t w e e n   d i s t i n c t   e m o t i o n a l   s ta t es   w el l ,   t h e r e   is   s t i ll   s p ac e   f o r   d e v e l o p m e n t .   F u r t h e r   r e s ea r c h   e n d e a v o r s   m ay   o p t i m i z e   f e a t u r e   e x t r a c ti o n   t ec h n i q u e s ,   i n v e s t i g a t e   m o r e   i n t r i c a t e   c at e g o r i z a ti o n   s c h e m e s ,   o r   i n t e g r a t e   s u p p l em e n t a r y   i n f o r m a t i o n   t o   a u g m e n t   e m o t i o n   i d e n t i f i c a ti o n s   g e n e r a l   p r e c i s i o n   a n d   r e s i li e n ce T h e   p l a n   i n   t h e   f u t u r e   s h o u l d   b e   t o   i n c r e a s e   t h e   s i z o f   o u r   d a t a s e t   w it h   o t h e r   l a n g u a g e   v i d e o   c l i p s   a n d   f o c u s   o n   h y b r i d   f e at u r e   e x t r ac t io n   a p p r o a c h e s   an d   class if icati o n   tech n iq u es   f o r   p eo p le  with   an d   with o u h ea r in g   p r o b lem s   in   s u b s eq u en s tu d ie s   o r   b ased   o n   v id eo   clip s ,   wh ich   ar e   b ased   o n   o th er   lo ca la n g u ag es Pro p o s ed   d atasets ,   lik s ev er al  s tan d ar d   d atasets   DR E AM E R ,   AM I G OS,   SEE D ,   an d   MA HNOB - HC I ,   m ay   b m a d p u b licly   av ailab le  f o r   r esear ch   r ea s o n s ,   esp ec ially   if   cu ttin g - ed g m eth o d s   ar u s ed .       F UNDING   I NF O R M A T I O   T h au th o r s   s tate  n o   f u n d in g   is   in v o lv ed .     AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   T ar u n   Ku m ar                               R ajen d r Ku m ar                               R am   C h an d r Sin g h                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     T h au th o r s   s tate  n o   co n f lict o f   in ter est.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g - b a s ed   h yb r id   emo tio n s   r ec o g n itio n   mo d el   u s in g   …  ( Ta r u n   K u ma r )   3189   DATA AV AI L AB I L I T Y      T h d ata  th at   s u p p o r th f in d in g s   o f   th is   s tu d y   ar o p en ly   a v ailab le  in   Me n d el ey   at  d o i:   1 0 . 1 7 6 3 2 / 5 8 r y d c6 v wc. 1 .       RE F E R E NC E S   [ 1 ]   Z.   M a o ,   X .   Zh a o ,   a n d   Y .   S o n g ,   R e se a r c h   o f   E EG - b a s e d   e mo t i o n   r e c o g n i t i o n   f o r   t h e   d e a f   w i t h   f e a t u r e   f u s i o n ,   I n t e r n a t i o n a l   J o u r n a l   o f   Bi o m e d i c a l   E n g i n e e ri n g   a n d   T e c h n o l o g y ,   v o l .   4 5 ,   n o .   3 ,   p p .   2 1 6 2 3 6 ,   2 0 2 4 ,   d o i :   1 0 . 1 5 0 4 / I JB ET . 2 0 2 4 . 1 3 8 9 7 3 .   [ 2 ]   A .   M a h m o u d   I b r a h i a n d   M .   A b e d   M o h a mm e d ,   A   c o mp r e h e n s i v e   r e v i e w   o n   a d v a n c e m e n t i n   a r t i f i c i a l   i n t e l l i g e n c e   a p p r o a c h e s   a n d   f u t u r e   p e r sp e c t i v e s   f o r   e a r l y   d i a g n o si s   o f   P a r k i n s o n s   d i se a se,   I n t e r n a t i o n a l   J o u r n a l   o f   M a t h e m a t i c s,   S t a t i s t i c s,  a n d   C o m p u t e r   S c i e n c e ,   v o l .   2 ,   p p .   1 7 3 1 8 2 ,   J a n .   2 0 2 4 ,   d o i :   1 0 . 5 9 5 4 3 / i j m scs. v 2 i . 8 9 1 5 .   [ 3 ]   F .   H o u   e t   a l . ,   D e e p   f e a t u r e   p y r a mi d   n e t w o r k   f o r   EEG   e m o t i o n   r e c o g n i t i o n ,   M e a s u rem e n t ,   v o l .   2 0 1 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . me a su r e me n t . 2 0 2 2 . 1 1 1 7 2 4 .   [ 4 ]   J.  A .   C h r i st e n s e n ,   J.   S i s,   A .   M .   K u l k a r n i ,   a n d   M .   C h a t t e r j e e ,   Ef f e c t o f   a g e   a n d   h e a r i n g   l o ss  o n   t h e   r e c o g n i t i o n   o f   e m o t i o n s   i n   sp e e c h ,   E a r &  H e a r i n g ,   v o l .   4 0 ,   n o .   5 ,   p p .   1 0 6 9 1 0 8 3 ,   S e p .   2 0 1 9 ,   d o i :   1 0 . 1 0 9 7 / A U D . 0 0 0 0 0 0 0 0 0 0 0 0 0 6 9 4 .   [ 5 ]   S .   K o e l s t r a   e t   a l . ,   D EA P :   A   d a t a b a s e   f o r   e mo t i o n   a n a l y si s  ; u s i n g   p h y si o l o g i c a l   s i g n a l s,   I E EE  T r a n sa c t i o n o n   Af f e c t i v e   C o m p u t i n g ,   v o l .   3 ,   n o .   1 ,   p p .   1 8 3 1 ,   J a n .   2 0 1 2 ,   d o i :   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 1 5 .   [ 6 ]   M .   F .   D o r m a n   e t   a l . ,   A p p r o x i ma t i o n t o   t h e   v o i c e   o f   a   c o c h l e a r   i m p l a n t :   E x p l o r a t i o n s   w i t h   s i n g l e - si d e d   d e a f   l i st e n e r s ,   T re n d s i n   H e a ri n g ,   v o l .   2 4 ,   Ja n .   2 0 2 0 ,   d o i :   1 0 . 1 1 7 7 / 2 3 3 1 2 1 6 5 2 0 9 2 0 0 7 9 .   [ 7 ]   Z.   B a i   e t   a l . ,   Em o t i o n   r e c o g n i t i o n   w i t h   r e si d u a l   n e t w o r k   d r i v e n   b y   s p a t i a l - f r e q u e n c y   c h a r a c t e r i s t i c o f   EEG   r e c o r d e d   f r o h e a r i n g - i mp a i r e d   a d u l t s   i n   r e sp o n se   t o   v i d e o   c l i p s,   C o m p u t e rs   i n   Bi o l o g y   a n d   M e d i c i n e ,   v o l .   1 5 2 ,   Ja n .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . c o mp b i o m e d . 2 0 2 2 . 1 0 6 3 4 4 .   [ 8 ]   M .   Z h u ,   H .   Ji n ,   Z.   B a i ,   Z.   L i ,   a n d   Y .   S o n g ,   I mag e - e v o k e d   e m o t i o n   r e c o g n i t i o n   f o r   h e a r i n g - i m p a i r e d   s u b j e c t s   w i t h   EEG   s i g n a l s,   S e n so rs ,   v o l .   2 3 ,   n o .   1 2 ,   Ju n .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s 2 3 1 2 5 4 6 1 .   [ 9 ]   S. - K .   K i a n d   H . - B .   K a n g ,   A n   a n a l y s i o f   smar t p h o n e   o v e r u se   r e c o g n i t i o n   i n   t e r ms  o f   e mo t i o n u si n g   b r a i n w a v e s   a n d   d e e p   l e a r n i n g ,   N e u r o c o m p u t i n g ,   v o l .   2 7 5 ,   p p .   1 3 9 3 1 4 0 6 ,   Ja n .   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 1 7 . 0 9 . 0 8 1 .   [ 1 0 ]   H .   Ji n ,   Y .   S o n g ,   Z .   M a o ,   Z.   B a i ,   Z.   Li ,   a n d   Y .   C h e n ,   R e c o g n i t i o n   a n d   r e sea r c h   o f   p i c t u r e - i n d u c e d   e m o t i o n   b a se d   o n   EEG   s i g n a l s,   i n   2 0 2 2   I EEE   I n t e r n a t i o n a l   C o n f e re n c e   o n   Me c h a t ro n i c a n d   Au t o m a t i o n   ( I C MA ) ,   2 0 2 2 ,   p p .   4 4 4 4 4 9 .   d o i :   1 0 . 1 1 0 9 / I C M A 5 4 5 1 9 . 2 0 2 2 . 9 8 5 6 3 5 7 .   [ 1 1 ]   Y .   Y a n g ,   Q .   G a o ,   Y .   S o n g ,   X .   S o n g ,   Z.   M a o ,   a n d   J.  Li u ,   I n v e st i g a t i n g   o f   d e a f   e m o t i o n   c o g n i t i o n   p a t t e r n   b y   EEG   a n d   f a c i a l   e x p r e ss i o n   c o mb i n a t i o n ,   I E EE  J o u r n a l   o f   B i o m e d i c a l   a n d   H e a l t h   I n f o r m a t i c s ,   v o l .   2 6 ,   n o .   2 ,   p p .   5 8 9 5 9 9 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 2 1 . 3 0 9 2 4 1 2 .   [ 1 2 ]   T.   K u m a r ,   R .   K u m a r ,   a n d   R .   C .   S i n g h ,   A n   EEG   d a t a s e t   f o r   b r a i n w a v e   r e c o r d i n g   d u r i n g   e m o t i o n   e l i c i t a t i o n   v i a   v i d e o   c l i p s,”   Me n d e l e y   D a t a ,   V1 ,   2 0 2 4 .   [ 1 3 ]   Z .   T i a n ,   D .   L i ,   Y .   S o n g ,   Q .   G a o ,   Q .   K a n g ,   a n d   Y .   Y a n g ,   E E G - b a s e d   e m o t i o n   r e c o g n i t i o n   o f   d e a f   s u b j e c t s   b y   i n t e g r a t e d   g e n e t i c   f i r e f l y   a l g o r i t h m ,   I E E E   T r a n s a c t i o n s   o n   I n s t r u m e n t a t i o n   a n d   M e a s u r e m e n t ,   v o l .   7 0 ,   p p .   1 1 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / T I M . 2 0 2 1 . 3 1 2 1 4 7 3 .   [ 1 4 ]   H .   Zh e n g   a n d   X .   L i ,   A n   EEG - b a s e d   f r a mew o r k   o f   E M D   a n d   C N N   f o r   a r o u sa l   a n d   v a l e n c e   r e c o g n i t i o n ,   Re se a r c h   o n   B i o m e d i c a l   En g i n e e ri n g ,   v o l .   4 0 ,   n o .   2 ,   p p .   3 8 7 3 9 5 ,   J u n .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s4 2 6 0 0 - 0 2 4 - 0 0 3 5 1 - w.   [ 1 5 ]   A .   H a g ,   D .   H a n d a y a n i ,   T.   P i l l a i ,   T .   M a n t o r o ,   M .   H .   K i t ,   a n d   F .   A l - S h a r g i e ,   EEG   me n t a l   s t r e ss   a sses sme n t   u s i n g   h y b r i d   m u l t i - d o m a i n   f e a t u r e   se t o f   f u n c t i o n a l   c o n n e c t i v i t y   n e t w o r k   a n d   t i me - f r e q u e n c y   f e a t u r e s ,   S e n s o rs ,   v o l .   2 1 ,   n o .   1 8 ,   S e p .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s 2 1 1 8 6 3 0 0 .   [ 1 6 ]   A .   A . -   S i s o d e ,   E mo t i o n s a n d   b r a i n   w a v e s,”   T h e   I n t e r n a t i o n a l   J o u r n a l   o f   I n d i a n   Ps y c h o l o g y ,   v o l .   3 ,   n o .   2 ,   p p .   1 4 1 8 ,   2 0 1 6 .   [ 1 7 ]   P .   A .   A b h a n g ,   B .   W .   G a w a l i ,   a n d   S .   C .   M e h r o t r a ,   Te c h n o l o g i c a l   b a si c o f   E EG   r e c o r d i n g   a n d   o p e r a t i o n   o f   a p p a r a t u s,”   i n   I n t r o d u c t i o n   t o   EEG -   a n d   S p e e c h - B a se d   Em o t i o n   Re c o g n i t i o n ,   E l se v i e r ,   2 0 1 6 ,   p p .   1 9 5 0 .   d o i :   1 0 . 1 0 1 6 / B 9 7 8 - 0 - 12 - 8 0 4 4 9 0 - 2 . 0 0 0 0 2 - 6.   [ 1 8 ]   Z.   A .   A .   A l y a ss e r i   e t   a l . ,   EEG   c h a n n e l   s e l e c t i o n   b a se d   u s e r   i d e n t i f i c a t i o n   v i a   i mp r o v e d   f l o w e r   p o l l i n a t i o n   a l g o r i t h m,”   S e n s o rs ,   v o l .   2 2 ,   n o .   6 ,   M a r .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / s2 2 0 6 2 0 9 2 .   [ 1 9 ]   S .   K a t s i g i a n n i s   a n d   N .   R a mza n ,   D R EA M E R :   A   d a t a b a se   f o r   e m o t i o n   r e c o g n i t i o n   t h r o u g h   E EG   a n d   E C G   s i g n a l f r o w i r e l e ss   l o w - c o st   o f f - t h e - sh e l f   d e v i c e s,”   I EE E   J o u r n a l   o f   Bi o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 2 ,   n o .   1 ,   p p .   9 8 1 0 7 ,   Ja n .   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 1 7 . 2 6 8 8 2 3 9 .   [ 2 0 ]   Z.   W a n g ,   R .   Ji a o ,   a n d   H .   J i a n g ,   Em o t i o n   r e c o g n i t i o n   u s i n g   W T - S V M   i n   h u man - c o m p u t e r   i n t e r a c t i o n ,   J o u r n a l   o f   N e w   Me d i a ,   v o l .   2 ,   n o .   3 ,   p p .   1 2 1 1 3 0 ,   2 0 2 0 ,   d o i :   1 0 . 3 2 6 0 4 / j n m . 2 0 2 0 . 0 1 0 6 7 4 .   [ 2 1 ]   A .   M e r t   a n d   A .   A k a n ,   Emo t i o n   r e c o g n i t i o n   f r o m   EEG   si g n a l s   b y   u si n g   m u l t i v a r i a t e   e m p i r i c a l   m o d e   d e c o m p o s i t i o n ,   P a t t e r n   An a l y si a n d   A p p l i c a t i o n s ,   v o l .   2 1 ,   n o .   1 ,   p p .   8 1 8 9 ,   F e b .   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 0 4 4 - 0 1 6 - 0 5 6 7 - 6.   [ 2 2 ]   T.   K u m a r ,   R .   K u m a r ,   a n d   R .   C h a n d r a   S i n g h ,   M a c h i n e   l e a r n i n g - b a s e d   e mo t i o n r e c o g n i t i o n   mo d e l   u s i n g   p e r i p h e r a l   si g n a l s,”   I n d o n e si a n   J o u r n a l   o f   E l e c t r i c a l   En g i n e e ri n g   a n d   C o m p u t e S c i e n c e ,   v o l .   3 7 ,   n o .   2 ,   p p .   9 7 6 9 8 4 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s. v 3 7 . i 2 . p p 9 7 6 - 9 8 4 .   [ 2 3 ]   R .   C .   J o y   e t   a l . ,   D e t e c t i o n   a n d   c l a ss i f i c a t i o n   o f   A D H D   f r o m   E EG   s i g n a l s   u si n g   t u n a b l e   Q - f a c t o r   w a v e l e t   t r a n sf o r m,”   J o u rn a l   o f   S e n so rs ,   v o l .   2 0 2 2 ,   p p .   1 1 7 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 3 5 9 0 9 7 3 .   [ 2 4 ]   D .   L i   e t   a l . ,   Emo t i o n   r e c o g n i t i o n   o f   su b j e c t s   w i t h   h e a r i n g   i m p a i r me n t   b a s e d   o n   f u s i o n   o f   f a c i a l   e x p r e ss i o n   a n d   EEG   t o p o g r a p h i c   map ,   I EE T r a n s a c t i o n o n   N e u ra l   S y s t e m a n d   Re h a b i l i t a t i o n   En g i n e e ri n g ,   v o l .   3 1 ,   p p .   4 3 7 4 4 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / TN S R E. 2 0 2 2 . 3 2 2 5 9 4 8 .   [ 2 5 ]   Y .   S u ,   Y .   L i u ,   Y .   X i a o ,   J .   M a ,   a n d   D .   Li ,   A   r e v i e w   o f   a r t i f i c i a l   i n t e l l i g e n c e   m e t h o d s   e n a b l e d   mu s i c - e v o k e d   EEG   e m o t i o n   r e c o g n i t i o n   a n d   t h e i r   a p p l i c a t i o n s,”   F ro n t i e rs  i n   N e u r o sc i e n c e ,   v o l .   1 8 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 3 3 8 9 / f n i n s. 2 0 2 4 . 1 4 0 0 4 4 4 .   [ 2 6 ]   M .   S o l e y ma n i ,   J.   Li c h t e n a u e r ,   T .   P u n ,   a n d   M .   P a n t i c ,   A   m u l t i m o d a l   d a t a b a se  f o r   a f f e c t   r e c o g n i t i o n   a n d   i m p l i c i t   t a g g i n g ,   I EE E   T ra n s a c t i o n o n   A f f e c t i v e   C o m p u t i n g ,   v o l .   3 ,   n o .   1 ,   p p .   4 2 5 5 ,   J a n .   2 0 1 2 ,   d o i :   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 2 5 .   [ 2 7 ]   W e i - L o n g   Z h e n g   a n d   B a o - Li a n g   Lu ,   I n v e st i g a t i n g   c r i t i c a l   f r e q u e n c y   b a n d s   a n d   c h a n n e l s   f o r   EEG - b a se d   e m o t i o n   r e c o g n i t i o n   w i t h   d e e p   n e u r a l   n e t w o r k s,”   I E EE   T ra n s a c t i o n s   o n   Au t o n o m o u s   M e n t a l   D e v e l o p m e n t ,   v o l .   7 ,   n o .   3 ,   p p .   1 6 2 1 7 5 ,   S e p .   2 0 1 5 ,   d o i :   1 0 . 1 1 0 9 / TA M D . 2 0 1 5 . 2 4 3 1 4 9 7 .   [ 2 8 ]   J.  A .   M i r a n d a - C o r r e a ,   M .   K .   A b a d i ,   N .   S e b e ,   a n d   I .   P a t r a s,  A M I G O S :   A   d a t a se t   f o r   a f f e c t ,   p e r so n a l i t y   a n d   m o o d   r e s e a r c h   o n   i n d i v i d u a l a n d   g r o u p s ,   I E EE  T r a n s a c t i o n o n   Af f e c t i v e   C o m p u t i n g ,   v o l .   1 2 ,   n o .   2 ,   p p .   4 7 9 4 9 3 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / TA F F C . 2 0 1 8 . 2 8 8 4 4 6 1 .     Evaluation Warning : The document was created with Spire.PDF for Python.