I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   4 ,   A u g u s t 2 0 2 6 ,   p p .   3 9 3 4 ~ 3 9 4 3   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 4 . p p 3 9 3 4 - 3 9 4 3           3934       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Em o tion recog nit io n of elec troence pha lo g ra m using  hybrid  co nv o lutiona l neural networks  and  v isio n t ra nsfo rme r       E s m er a lda   Co nte s s a   Dj a m a l 1 ,   Rev a n Vio   E nd ria ns y a h 1 ,   Da s wa ra   Dj a j a s a s m it a 2   1 D e p a r t me n t   o f   I n f o r mat i c s ,   F a c u l t y   o f   S c i e n c e   a n d   I n f o r ma t i c s,   U n i v e r si t a s   Jen d e r a l   A c h ma d   Y a n i ,   C i m a h i ,   I n d o n e s i a   2 M e d i c a l   E d u c a t i o n   P r o g r a m ,   F a c u l t y   o f   M e d i c i n e ,   U n i v e r si t a s J e n d e r a l   A c h ma d   Y a n i ,   C i m a h i ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 6 ,   2 0 2 5   R ev is ed   J u n   1 7 ,   2 0 2 6   Acc ep ted   J u l 9 ,   2 0 2 6       El e c tro e n c e p h a lo g ra m   (EE G )  sig n a l - b a se d   e m o ti o n   c las sifica ti o n   fa c e s  c h a ll e n g e s  in   sp a ti o - tem p o ra l  c o m p lex it y   a n d   in ter - c h a n n e l  re d u n d a n c y .   Th is  p a p e r  p r o p o se s  a   2 D  c o n v o lu ti o n a l  n e u ra l  n e two rk   (CNN )  a n d   v isio n   tran sfo rm e r  (ViT)   a p p ro a c h .   Re lev a n t  e m o ti o n s  re q u ire  si g n a l  e x trac ti o n   i n   th e   4 - 40   Hz   fre q u e n c y   b a n d   u si n g   t h e   d isc re te  wa v e let  tran sfo r m   (DWT ).   Th is  stu d y   u se s  th e   S EE D  d a t a se t  fro m   1 5   su b jec ts,  with   6 2   c h a n n e ls  re d u c e d   t o   1 2 .   E v e ry   5 - se c o n d   se g m e n t  is   d e c o m p o se d   u sin g   DW T  in to   fo u r   fre q u e n c y   b a n d s,  wh ich   a re   th e n   m a p p e d   to   a   2D   sp a ti a l  re p re se n tatio n   fo r   CNN s  a n d   ViTs.   E x p e rime n t  r e su lt s  sh o w  t h a t  th e   DW T - 2D   CNN - ViT  a c h iev e s  th e   b e st  a c c u ra c y   o f  8 7 %   wit h   a   fin a l   lo ss   o f  0 . 0 8 7 .   I n   th e   m e a n ti m e ,   th e   CNN - o n l y   m o d e l  (8 5 % ),   th e   ViT - o n ly   m o d e l  ( 7 7 % ),   a n d   th e   DWT - o n l y   m o d e l   (4 7 % ).   Tes ti n g   wit h   se v e ra l  o p ti m ize rs  a lso   s h o ws   t h a t   Ad a m W   p ro v id e s  t h e   h i g h e st  p e rfo rm a n c e   with   th e   fa ste st  train i n g   ti m e   o f   1 2 . 3 4   m in u tes .   T h e se   re su lt s  d e m o n stra te  th a t   t h is  i n teg ra ti o n   c a n   p ro d u c e   m o re   e fficie n t  a n d   sta b le  lea rn in g .   Th e se   fin d in g s  in d ica te  th a t  th e   c o m b in a ti o n   o f  DWT   a n d   th e   C NN - ViT  h y b ri d   a rc h it e c tu re   is  e ffe c ti v e   fo r  a c c u ra te,  sta b le  EE G - b a se d   e m o ti o n   re c o g n it i o n   a n d   is   p o ten ti a ll y   a p p li c a b le   to   re a l - ti m e   e m o ti o n - m o n i to ri n g   sy ste m s .   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k   E lectr o en ce p h al o g r am   E m o tio n   Vis io n   tr an s f o r m er   W av elet   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E s m er ald a  C o n tess a  Djam al   Dep ar tm en t o f   I n f o r m atics,  Facu lty   o f   Scien ce   a n d   I n f o r m atics,  Un iv er s itas   J en d er al  Ach m ad   Yan i   C im ah i,  I n d o n esia   E m ail:  esm er ald a. co n tess a@ le ctu r e. u n jan i.a c . id       1.   I NT RO D UCT I O N   Au to m atic  em o tio n   r ec o g n itio n   is   b ec o m in g   n ec ess ar y   f o r   e ar ly   d etec tio n   o f   em o tio n al  d is o r d er s   an d   th er ap y   m o n ito r in g   [ 1 ] ,   a n d   as  a  d r iv e r   o f   b r ain - c o m p u te r   in ter f ac es  ( B C I s )   [ 2 ] .   O n e  s o u r ce   o f   em o tio n al  in f o r m atio n   r ef lectin g   a  p er s o n ' s   tr u e  an d   o b jectiv e  c o n d iti o n   is   elec tr ical  s ig n als  in   th e  b r ain   [ 3 ] ,   r ec o r d e d   v ia  an   elec tr o en ce p h alo g r am   ( E E G) .   Acc o r d in g ly ,   c u r r e n t r e s ea r ch   o n   em o tio n   r ec o g n itio n   is   o f   in ter est  [ 4 ] .   T h e  ch allen g e  in   e m o tio n   r e co g n itio n   is   th at  E E G  s ig n al s   d o   n o t  h a v e  a  s tan d ar d   s h a p e  an d   ar e     non - s tatio n ar y   [ 5 ] ,   an d   ac r o s s   m u ltip le  ch an n els,  d ata  r e d u n d a n cy   in cr ea s es  th e  co m p lex ity   o f   em o tio n   id en tific atio n   f r o m   E E G  s ig n als  [ 6 ] .   Featu r e   ex tr ac tio n   is   a  cr u cial  s tep   in   em o tio n   r ec o g n itio n .   Usu ally ,   it   u s es  th e  f r eq u en cy   o r   tim e - f r e q u en cy   d o m ai n ,   co n s id er in g   t h e  f r eq u en cy   b an d s   r elev an t to   em o tio n   class   [ 7 ] .   T h is   r esear ch   u s ed   d ata  f r o m   th e  SJ T U  em o tio n   E E G  d ataset  ( SEE D) ,   p r o v id ed   b y   th e    B r ain - lik e  C o m p u tin g   an d   Ma ch in e  I n tellig en ce   ( B C MI )   l ab o r ato r y ,   with   th r ee   class es:  p o s itiv e,   n eu tr al,   an d   n eg ativ e  [ 8 ] ,   [ 9 ] .   T h ese  th r e e  class es   ex h ib it  d is tin ct  f r eq u en cy   b an d s :  th eta,   alp h a,   b eta,   an d   g am m a,     4 - 4 8   Hz  [ 8 ] ,   [ 1 0 ] .   Po s itiv e  em o tio n s   ar e  g en e r ally   ass o ciate d   with   in cr ea s es  in   b eta  an d   g am m a  co m p o n en ts ,   r esu ltin g   in   co g n itiv e  e n h an ce m en t.  Po s itiv e  em o tio n s   a r e  g en e r ally   ass o ciate d   with   i n cr ea s ed   b eta   an d   g am m a  wav es,  in d icatin g   co g n itiv e  en h an ce m en t.  Neu t r al  e m o tio n s   ar e  b alan ce d   ac r o s s   all  wav es.  Neg ativ e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a m  u s in g   h yb r id   co n vo lu tio n a l  …   ( E s mera ld a   C o n tess a   Dja ma l )   3935   em o tio n s ,   o n   th e  o th er   h a n d ,   a r e  ch ar ac ter ized   b y   in cr ea s ed   t h eta  an d   alp h a  wav es.  T h e r ef o r e,   f r eq u en cy   b a n d   ex tr ac tio n   p r o v id es  d is tin g u is h in g   f ea tu r es  f o r   em o tio n   cla s s es  [ 1 1 ] .   W av elet  tr an s f o r m s   ar e  ef f ec tiv e  f o r   an aly zin g   th e  E E G  s ig n als,  en ab lin g   tim e - f r e q u en c y   d ec o m p o s itio n .   T h is   is   ac h iev ed   b y   d ec o m p o s in g   s p ec if ic  f r eq u e n cy   b an d s   to   p r eser v e  th e   tem p o r al  d y n am ics  ess en tial  to   em o tio n .  It   p r o v id es  r o b u s tn ess   ag ain s t n o is e  [ 1 0 ] .    P r ev io u s   s tu d ies  o n   em o tio n   class if icatio n   h av e  u s ed   co n v o l u tio n al  n e u r al  n etwo r k s   ( C NN) ,   r ec u r r en t  n e u r al  n etwo r k s   [ 1 2 ] ,   an d   g r a p h   n e u r al  n etwo r k s   ( GNN) .   C NNs   ex p lo it  lo ca l  s p atial  an d   s p ec tr al  co r r elatio n s   am o n g   E E G  c h a n n els  an d   f r e q u en c y   b an d s .   C NNs  ar e  ef f ec tiv e  in   ca p tu r in g   d is cr im in ativ e   em o tio n al  p atter n s   in   E E G  s ig n als  [ 8 ] ,   f o llo wed   b y   2 D   C NNs  f o r   m u lti - c h an n el   a n aly s is   [ 1 3 ] ,   [ 1 4 ] ,  asy m m etr ic  v ar iab les  ac r o s s   ch an n el  p air s   [ 1 5 ] .   E E G  s ig n al s   f r o m   m u lti - ch a n n el  ar r ay s   o f ten   r eq u i r e  s p atial  f ea tu r e  ex tr ac tio n ,   wh ich   ca n   b e  ac co m p lis h ed   with   a  C NN.   T h er ef o r e,   h y b r id   C NN - r ec u r r en t  n eu r al  n etwo r k   ( R NN )   is   o f ten   u s ed   as  s eq u en tial  [ 1 6 ]   an d   p ar allel  [ 1 1 ]   ap p r o ac h es.  H o wev er ,   t h ese  ap p r o ac h es  a r e  s u s ce p tib le  to   f lu ctu atio n s   an d   h av e  h i g h   co m p u tatio n al  tim e .   C NNs  ar e  lim ited   to   l o ca l  r ec o g n itio n ,   wh ile  R NNs  p r o ce s s   s eq u en tial  d ata  a n d   lo s e  p ar allel   in f o r m atio n .   T r a n s f o r m er s   al lo w  ea ch   elem en t  to   b e  s i m u ltan eo u s ly   a n d   g l o b ally   s p atially   co n n ec ted ,     s im ilar   to   th e  co n n ec tio n s   o f   n eu r o n s   in   th e  b r ain   [ 1 7 ] .  T r an s f o r m er s   m o r e  ef f ec tiv ely   ca p tu r e   g lo b al     r elatio n s   th r o u g h   s elf - atten ti o n   m ec h an is m s ,   m a k in g   th e m   well - s u ited   f o r   e m o tio n   class if icatio n   f r o m     E E G  s ig n als.  Fu r th er m o r e,   tr an s f o r m er   co m p u tatio n   is   f aster   f o r   tr ain in g   an d   ca p tu r in g   s p atio - tem p o r al   p atter n s .   R esear ch   s h o ws  th at  tr an s f o r m er - b ased   m o d els  ac h iev e  s u p er io r   p er f o r m a n ce   an d   r o b u s tn ess   in   E E G  s ig n al  class if icatio n ,   allo win g   f o r   d y n am ic  g e n er ali za tio n   d u r in g   lear n in g   b y   r ed u cin g   ir r ele v an t  co m p o n en ts   o r   n o is e  [ 1 0 ] ,   [ 1 7 ] .   T h e  v is io n   tr a n s f o r m er   ( ViT )   h as  attr ac ted   atten tio n   i n   E E G - b ased   em o tio n   r ec o g n itio n   d u e  to   its   r o b u s t  s elf - atten tio n   m ec h an i s m ,   wh ich   en a b les  ef f ec tiv e   m o d elin g   o f   g lo b al  d ep e n d en cies  ac r o s s   b r ain   r eg io n s   an d   tim e  s eq u e n ce s .   W h en   th e  tim e - f r e q u en c y   f ea t u r e  ex tr ac tio n   r esu lts   ar e  p ar titi o n ed   in to   p atch es,   ViT   ca n   ca p tu r e  b r o a d   co n te x tu al  r elatio n s h ip s   th at  ar e  d if f icu lt  to   m o d el  u s in g   C NNs  o r   R NNs   [ 1 7 ] ,   [ 1 8 ] .  ViT   r elies  s o lely   o n   d ata - d r i v en   lear n in g ,   m ak in g   it  less   ef f ec tiv e  wh en   tr ain ed   o n   m ed iu m - s ized   E E G  d atasets   s u ch   as  SEE D  a n d   p r o n e  t o   o v er f itti n g .   T h is   is   esp ec ially   tr u e   wh en   in ter - s u b ject  v ar iab ilit y   is   h ig h ,   a  ch allen g e   th at  b ec o m es  cr it ical  as  ViT 's  p er f o r m an ce   d e clin es  s ig n if ican tly   [ 1 7 ] .   T h e   s im p licity   o f   ViT   co m p u tatio n   allo ws  f o r   f ast er   lear n in g .   T h is   is   d u e  to   its   f lex ib ilit y   in   h an d lin g   v ar io u s   E E G  s ig n al  r ep r esen tatio n s   b y   co n v er tin g   th em   in to   im ag e  f o r m ats,  m a k in g   it  co m p atib le  with   ViT   p atch   to k en izatio n .   T h e  p atch   s ize  is   ad ju s tab le,   allo win g   ViT   to   ef f ec tiv ely   le ar n   h ier a r ch ical  r e p r esen tatio n s   wh ile  p r eser v in g   g lo b al  s tr u ctu r al  r elatio n s h ip s   in   m u lti - ch an n el  E E G  s ig n als an d   f r eq u en cy - b an d   v a r iab ilit y .   ViT   co m p u tatio n   ca n   b e  d y n am ically   s ca led   an d   allo ws  f o r   p ar allel  co m p u tati o n   b y   p r o ce s s in g   all  in p u t  to k en s   s im u ltan eo u s ly .   T h is   m eth o d   f ac ilit ates  lo n g - ter m   tem p o r al  m o d elin g ,   ad d r ess in g   R N N  is s u es.  ViT   allo ws  m ap p in g   ac r o s s   E E G  s ig n al  ch an n els an d   f r e q u en cy   b an d s .   I t c o n tr ib u tes to   class if icatio n   in   b r ain   m ap p in g .   Pre v io u s   r esear ch   u s ed   a  s i n g le - ch an n el  ViT   [ 1 9 ] .   Ho w ev er ,   E E G  s ig n als  ar e  r ec o r d ed   f r o m   m u ltip le  ch an n els  an d   r eq u i r e  ex p lo r atio n   o f   th e  in f o r m atio n   co n tain e d   in   ea c h   f r eq u en cy   b an d   [ 1 8 ] .  T h er ef o r e,   w av elet  an d   C NN  n ee d   to   b e  co m b in ed   with   Vi T .   T h e  h y b r id   m o d el  h elp s   i m p r o v e   p atch - b ased   ViT   lear n in g .   Hen ce ,   th e  in te r p r etatio n   a n d   p h y s io lo g ical  r elev an ce   o f   t h e  lear n e d   atten t io n   m ap s   ar e  m o r e   m ea n in g f u l.  C NN - ViT   was u s ed   f o r   em o tio n   class if icatio n   o f   a  s in g le  ch an n el   [ 2 0 ] ,   [ 2 1 ] .   C NN  is   s u itab le  f o r   f ea tu r e  e x tr ac tio n ,   b u t  lear n i n g   g ets  s tu ck   o n   n e u r o n   lo ca lizatio n .   T h er ef o r e,   class if icatio n   is   p er f o r m ed   u s in g   th e   ViT   to   ca p tu r e  th e   g lo b al  co n n ec tiv ity   o f   m u lti - ch a n n el  E E G  s ig n als  an d   v ar io u s   f r eq u e n cy   b an d s   with   b r ain   c o n n ec tio n s   d u r in g   s p ec i f ic  em o tio n s .   T h e   in teg r atio n   o f   DW T ,   2 D  C NN,   an d   ViT   in   th is   p ap er   r ep r esen ts   a  n ew  s tep   to war d s   im p r o v in g   ac cu r ac y ,   tr ain in g   s tab ilit y ,   an d   ef f icien cy ,   as  well  as u n d er s tan d in g   t h e  r ele v an ce   o f   ea ch   f r eq u e n cy   b a n d   to   em o tio n s .     T h e  n o v elty   o f   th is   r esear ch   is   th e  in teg r atio n   o f   a  2 D - C NN  b ased   o n   w av elets  wit h   ViT   f o r     EEG - b ased   em o tio n   class if icatio n .   W av elets  en ab le  th e  e x tr ac tio n   o f   f r e q u en c y   b a n d s   th at  co r r esp o n d   t o   d is tin ct  em o tio n   class es.  T h e  2 D  C NN - ViT   ar ch itectu r e  allo ws  f o r   m o r e  s tab le  an d   r o b u s t  g en er aliza tio n   o f   th e  E E G  s ig n al   with   ce r tain   e m o tio n s .   A   h y b r id   C NN - tr an s f o r m er   ar ch itectu r e  h as   b ee n   a p p lied   to   th e   DE AP  d ataset  f r o m   p r ev io u s   r esear c h   [ 2 1 ] .       2.   M E T H O D   2 . 1 .     Da t a s et   des cr iptio n   T h is   s tu d y   e m p lo y s   SEE D,   a   wid ely   u s ed   b en c h m ar k   f o r   E E G - b ased   em o tio n   r ec o g n itio n   [ 8 ] ,   [ 9 ] .  T h e  SEE D  d ataset  c o n tain s   E E G  r ec o r d in g s   f r o m   1 5   s u b jec ts ,   ea ch   p a r ticip atin g   in   3   ex p er im en tal  s ess io n s .   Su b jects  wer e  ex p o s ed   to   s tim u li  elicitin g   th r e e  em o tio n a l  s tates  ( p o s itiv e,   n eu tr al,   an d   n eg ati v e)   th r o u g h   em o tio n al  f ilm   v id e o s .   E E G  s ig n als  wer e  r ec o r d ed   u s in g   6 2   ch an n els  f o llo win g   th e  in ter n atio n al     10 – 2 0   s y s tem ,   with   a  s am p lin g   r ate  o f   2 0 0   Hz.   T h e  r e d u ctio n   f r o m   6 2   c h an n els to   1 2   ch a n n els wa s   p er f o r m ed   u s in g   a  r elev a n t  r eg io n - b ased   ch an n el  s elec tio n   a p p r o ac h   [ 1 5 ] .   E m o tio n s   ar e  cl o s ely   r el ated   to   th e  f r o n tal,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3936   tem p o r al,   a n d   p ar ietal  ar ea s .   T h ey   ar e   FT7 ,   FT8 ,   T 7 ,   T 8 ,   C 5 ,   C 6 ,   T P7 ,   T P8 ,   C P5 ,   C P6 ,   P7 ,   an d   P8   [ 2 2 ] .   T h is   ap p r o ac h   m ain tain s   n eu r o p h y s io lo g ical  r elev an ce   wh ile  r ed u cin g   r ed u n d a n cy   an d   co m p u t atio n al  co m p lex ity ,   a  p ar ticu lar ly   b en ef icial  p r o p e r ty   f o r   tr an s f o r m er - b ased   ar ch itectu r es.    L et  ( ) ∈ ,   d en o te  t h e  r aw  E E G  s ig n al  am p litu d e  r ec o r d ed   f r o m   th e  ℎ   E E G  ch an n el  at  a  d is cr ete  tim e  in d ex   t,  wh er e  c  ∈   { 1 ,   2 ,   … ,   1 2 }.   An   E E G  tr ial  co n s is tin g   o f   1 2   ch an n els an d   T   =  1 0 0 0   p o i n ts   o r     5   s ec o n d s   is   r ep r esen ted   i n   ( 1 ) .     [ 1 ( 1 ) ⋯ 1 ( 1000 ) ⋮ ⋱ ⋮ 12 ( 1 ) ⋯ 12 ( 1000 ) ]   ( 1 )     2 . 2 .     M o del  d esig n   EEG - b ased   em o tio n   r ec o g n it io n   in teg r ates  tim e - f r eq u e n cy   an aly s is ,   lo ca l  s p atial - s p ec tr al  f ea tu r e   lear n in g ,   an d   g lo b al   co n tex t u al  m o d elin g .   R aw  s ig n als  ar e   ex tr ac ted   i n   th e   th eta,   alp h a,   b eta,   an d   g am m a  f r eq u e n cy   b an d s   u s in g   d is cr ete  wav elet  tr an s f o r m   ( DW T ) .   T h e  p r esen ce   o f   ea ch   o f   th ese  b an d s   is   s tr o n g ly   co r r elate d   with   e m o tio n al   s tates,  f ac ilit atin g   th e  id e n tific atio n   s tag e  [ 2 3 ] .   T h e   p r o p o s ed   m o d el,   b ased   o n   a     5 - s ec o n d   d ataset  o r   1 , 0 0 0   p o in ts ,   is   d ec o m p o s ed   u s in g   D W T .   T h en ,   th e   1 2   ch an n els  ar e  ex tr ac ted   u s in g   a     2 D  C NN  an d   m ap p e d   u s in g   V iT,   as sh o wn   in   Fig u r e  1 .         D e c om pos i t i on T h e t a A l p h a Be t a G a m m a D i s cret e  W av el et   T ran s fo rm E E G   s i g n a l s   e v e ry   5   s e c o n d s   o f  1 2   c h a n n e l s T ra i n i n g   d a t a S p a t i a l   o f  D W T   o f  3 2 x 3 2 2 D   T o p o m a p F e a t ure  e m be ddi ng V i s i o n   T ran s fo rme r M L P   H e a d S o ft   m a x N e g a t i v e N e u t r a l P o s i t i v e E m o t i o n   c l a s s E E G   s i g n a l s   e v e ry   5   s e c o n d s   o f  1 2   c h a n n e l s D W T 2 D   M a t ri x   Re p re s e n t a t i o n 2 D   C N N F e a t u r e   E m b e d i n g P ool i ng 2 D   CN N Co nv+ Re L u     Fig u r e  1 .   Hy b r id   2 D  C NN - ViT   m o d el       Fig u r e  1   d escr ib es  th e  co m p lete  ar ch itectu r e  o f   th e  p r o p o s ed   m o d el,   in clu d i n g   th e   tr ain in g   an d   id en tific atio n   s tag es.  Du r in g   th e  tr ain in g   s tag e,   E E G  d ata  f r o m   1 5   s u b jects  wer e  co llected   wh ile  th ey   v iewe d   s tim u lu s   v id eo s   f r o m   th r ee   e m o tio n   class es  ( p o s itiv e,   n eu t r al,   an d   n e g ativ e)   ac r o s s   1 2   m ain   ch an n els.  T h e   E E G  s ig n als  wer e  s eg m en te d   in to   f iv e - s ec o n d   s eg m e n ts ,   a  tim e  win d o w  d u r atio n   p r o v en   t o   p r o v id e   a n   o p tim al  b alan ce   b etwe en   te m p o r al  r eso lu tio n   an d   s tab ili ty   o f   em o tio n al  f ea tu r es  [ 2 4 ] .   T h en ,   th e y   wer e  p r o ce s s ed   u s in g   th e  DW T   to   ex tr ac t  f iv e  f r eq u e n cy   b a n d s ,   in clu d in g   th eta,   alp h a ,   b eta,   a n d   g am m a  wav es,   wh ich   r ep r esen t  co g n itiv e  an d   em o tio n al  ac tiv ity   [ 2 5 ] .   T h e  DW T   r esu lt s   ar e  ex p r ess ed   as  a  2 D  to p o m ap   m ea s u r in g   3 2   ×   3 2   p ix els  th at  d is p lay s   th e  d is tr ib u tio n   o f   f r eq u en cy   en e r g y   ag ai n s t  E E G  ch an n el  p o s itio n s ,   an   ef f ec tiv e  tech n iq u e  f o r   p r es er v in g   s p atial  in f o r m atio n   [ 2 6 ] .   T h is   to p o m ap   is   u s ed   as  in p u t  to   a  2 D  C NN  to   ex tr ac t  lo ca l  s p atial  p atter n s   ac r o s s   ch an n els  an d   f r eq u en cy   b an d s .   T h e  r esu lt  is   an   8   ×   8   ×   2 5 6   f ea tu r e  m ap ,   wh ich   is   th en   f latten ed   in to   a  f ea tu r e  em b ed d in g   ( 6 4   p atc h e s   ×  2 5 6   d im en s io n s )   an d   s en t  to   ViT .   ViT   lear n s   g lo b al  r elatio n s h i p s   b etwe en   p atch es  u s in g   a  m u lti - h ea d   s elf - atten tio n   m ec h an is m   t h at  is   s u p er io r   in   ca p tu r in g   lo n g - ter m   d ep e n d en cies  co m p ar ed   to   r ec u r r en t  m eth o d s   [ 2 7 ] .   T h e   o u tp u t  o f   Vi T   is   p ass ed   to   t h e   m u lti - lay er   p er ce p tr o n   ( ML P)   h ea d   an d   s o f tm ax   class if ier   to   d eter m in e  t h r ee   em o tio n   cla s s es.  T h e  p r o p o s ed   ar ch itectu r e  s u p p o r ts   r ea l - tim e  em o tio n   p r ed ictio n ,   as  s h o w n   b y   th e  b o tto m   p ath   in   Fig u r e  1 .   New   E E G  d ata  r ec o r d e d   in   r ea l  tim e  is   th en   p r o ce s s ed   with   DW T   →  2 D  C NN  →  ViT ,   an d   ev er y   5   s e co n d s ,   it  g en e r ates  a  lab el  f o r   o n e  o f   th e  th r ee   em o t io n   class es.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a m  u s in g   h yb r id   co n vo lu tio n a l  …   ( E s mera ld a   C o n tess a   Dja ma l )   3937   2 . 3 .     Dis cr et e  wa v ele t   t ra ns f o rm s   Af ter   b an d - p ass   f ilter in g   in   th e  r an g e  o f   4 – 4 8   Hz,   th e  E E G  s ig n al  is   ex p r ess ed   as ( 2 ) .     ̃ ( ) = ℱ 4 − 48 { ( ) }   ( 2 )     T h e  p r ep r o ce s s in g   s tag e  u s es   th e  DW T .   T h is   m eth o d   was  ch o s en   b ec au s e  it  ca n   an al y ze   n o n - s tatio n ar y   s ig n als  s u ch   as   E E G  an d   p r o v id es  d etailed   in f o r m atio n   o n   f r eq u en cy   ch a n g es  o v er   t im e.   W av elet - b ased   ap p r o ac h es  ar e  s u p er io r   at  ca p tu r in g   a b r u p t  tr an s itio n s   in   b io m ed ical  s ig n als  co m p ar ed   to   s tan d a r d     Fo u r ier - b ased   m eth o d s   [ 2 8 ] .   E ac h   E E G  s ig n al  s eg m en t  f r o m   th e  p r ev io u s   s tag e  is   d ec o m p o s ed   to   p r o d u ce   f iv e  m ain   f r eq u en cy   b an d s :  th eta  ( 4 – 8   Hz) ,   alp h a  ( 8 – 1 3   Hz) ,   b eta  ( 1 4 – 3 0   Hz) ,   an d   g am m a  ( 3 1 – 4 8   Hz)   [ 2 9 ] ,  wh ich   ar e   r elate d   t o   em o tio n a l  s tates.  Fo r   ex am p le,   th e   alp h a  b an d   o f ten   a p p ea r s   in   r elax e d   s tates,  wh ile  th e   b eta  an d   g am m a  b an d s   ar e   m o r e  d o m in an t  d u r i n g   tim es  o f   h ig h   m en tal  ac tiv ity   o r   s tr o n g   em o tio n s   [ 3 0 ] .  R ec en t  co m p u tatio n al  n e u r o p h y s io lo g y   s tu d ies  co n f ir m   th a t  p o wer   f lu ctu atio n s   in   th e  h i g h - f r e q u en c y   b an d s   ( b eta  an d   g am m a)   ar e  th e  m o s t  co n s is ten t  b io m ar k er s   f o r   d is tin g u is h in g   p o s itiv e  an d   n eg ativ e  em o tio n a l   v alen ce   [ 2 5 ] .   Ap p ly in g   th e  D W T   to   th e  f ilter ed   E E G  s ig n al  y ield s   wav elet  co ef f icien ts   as sh o wn   in   ( 3 ) .     ̃ ( ) = ∑ , ( ) , ( ) + ∑ ∑ , ( ) = 1 , ( )   ( 3 )     W h er e   , ( )   is   ch an n el  ap p r o x im a tio n   co ef f icien t  c ,  , ( )   is   d etail  co ef f icien t  o n   s ca le  j ,   an d   ( ) , ( )   ar e   s ca le  f u n ctio n   an d   wav elet .  W av elet  co ef f icien ts   ar e  g r o u p e d   in to   em o tio n - r elate d   E E G  b a n d s   as ( 4 ) .     W = [ W , W , W , W ]   ( 4 )     W h er e  θ   is   4 – 8   Hz,   α   is   8 – 1 3   Hz,   β   is   13 – 3 0   Hz,   a n d   γ   is   30 – 4 8   Hz .   T h e  DW T   d ec o m p o s itio n   r es u lts   f o r   ea ch   E E G  c h an n el   a r e  th en   ar r an g e d   in t o   a   2 D   m atr ix   th at  r ep r esen ts   th e  en er g y   d is tr ib u t io n   o f   ea ch   f r eq u e n cy   b an d   ac r o s s   th e  ch an n els.  T h is   2 D  r ep r esen tatio n   is   u s ed   as  in p u t   f o r   a   2 D - C NN  to   r ec o g n ize  s p atial  p atter n s   b etwe en   ch an n els  an d   f r e q u en cy   c h ar a cter is tics   r elate d   to   em o tio n s .   T h is   tr an s f o r m atio n   to   an   im a g e  m atr ix   f o r m at  allo ws  th e  C NN  m o d el  to   ex p l o it  s p atial  co r r elatio n s   b etwe en   elec tr o d es  th at  ar e  o f te n   lo s t  wh en   u s in g   o n ly   o n e - d im e n s io n al  v ec to r s   [ 2 6 ] .   Fo r   ea ch   tr ial,   th e  wav elet  f ea tu r es a r e  a r r an g e d   in to   a  2 D  r ep r esen tatio n   as ( 5 ) .     ∈ ℝ ×   ( 5 )     W h er e    is   1 2 ,     is   4   ( n u m b e r   o f   f r eq u e n cy   b a n d s ) ,   an d     is   ch an n el – f r eq u en cy   E E G  f ea tu r e   m ap .     2 . 4 .     H y brid 2 D  co nv o lutio n a l neura l net wo rk – v is io n t ra ns f o rm er   A  h y b r id   m o d el  co m b i n in g   C NN  an d   ViT .   At  th i s   s tag e ,   a  co n v o lu tio n   o p e r atio n   is   ap p lied   to   ex tr ac t lo ca l p atter n s   f r o m   th e   2D   DW T   r ep r esen tatio n .   T h e   co n v o l u tio n   o p er atio n   is   f o r m u lated   in   ( 6 ) .     ( , ) = ( × ) ( , ) = ∑ ∑ ( − , − ) . ( , )   ( 6 )     W h er e    is   th e  in p u t  m atr ix   r esu ltin g   f r o m   t h e  DW T   tr an s f o r m atio n ,     is   th e  co n v o lu tio n   k e r n el,   an d   ( , )   is   th e  co n v o lu tio n al  f ea tu r e  m ap .     C NNs  e x t r a ct   im p o r ta n t   e m o tio n a l  f e at u r es  in   s p ec if ic   f r e q u e n c y   b an d s   f r o m   m u l ti - c h a n n el   E E G   s ig n als .   M u lt ip le   co n v o l u ti o n a l  l a y e r s ,   ac t iv ati o n   f u n ct io n s ,   a n d   m a x   p o o li n g   o p e r a ti o n s   r e d u c e   d im en s io n a lit y   wit h o u t   l o s i n g   i n f o r m ati o n ,   w h ic h   a r e   k e y   a d v a n t a g es   o f   C NNs.   M ea n w h il e,   V iT   m o d e ls   g l o b al   r el ati o n s h ip s   am o n g   f ea t u r es   v ia   a  s el f - att e n ti o n   m e ch a n is m   [ 3 1 ] .   T h e   o u t p u t  o f   t h e   C NN   is   co n v e r t e d   i n t o   a  f i x ed - s i ze   p at c h   e m b e d d i n g .   V iT  u t ili ze s   two   at te n ti o n   h e ad s   a n d   o n e  e n c o d e r   l a y e r ,   ea ch   e q u i p p ed   wit h   m u lti - h e ad     s elf - a tte n t io n   a n d   a  f e e d - f o r w a r d   n et wo r k .   T h e  C N N  f e at u r e  m a p   is   d i v i d e d   i n t o     p at ch es  as   ( 7 ) .     0 = [ 0 1 , 0 2 , … , 0 ]   ( 7 )     0 = +   ( 8 )     W h er e    is   p atch   E E G  i - th , E   is   m atr ix   em b e d d in g ,   an d     is   p o s itio n al  en co d in g .     T h e  o u tp u t  o f   ViT   is   p ass ed   t o   a  f u lly   co n n ec ted   lay er   an d   f in ally   d eter m in es  th e  em o tio n   ca teg o r y :   p o s itiv e,   n eu tr al,   o r   n e g ativ e  u s in g   s o f tm ax   [ 3 2 ] .   T h e  f u n ctio n   u s e  ( 9 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3938   ̂ =   (  +  )   ( 9 )     W h er e  ̂ ∈ ℝ 3   is   th e  p r o b ab ilit y   o f   cl ass :  p o s itiv e,   n eu tr al,   an d   n eg ativ e.   T h e  d ataset  is   s p lit  8 0 %   f o r   tr ai n in g   an d   2 0 %  f o r   test in g ,   a  s tan d a r d   s p lit  r atio   u s ed   in   t h e  SEE D  d ataset  to   av o i d   o v er f itti n g   an d   v alid ate  m o d el  g en er aliza tio n   [ 3 3 ] .   T h e  p r e - ex p er im e n tal  r esu lts   d eter m in ed   th e  p ar am eter s   o f   b atch   s ize  4 ,   A d am W   o p tim izer ,   an d   lear n in g   r ate  0 . 0 0 0 1 ,   as in   T ab le  1 .       T ab le  1 .   Ar c h itectu r e  o f   h y b r i d   DW T - 2 D  C NN - ViT   La y e r   C o n f i g u r a t i o n   O u t p u t   s h a p e   N u mb e r   o f   p a r a me t e r s   I n p u t   l a y e r   EEG   ( 3 2   ×   32   ×   3)   32   ×   32   ×   3   0   C o n v 2 D _ 1   3 2   f i l t e r ,   k e r n e l   3   ×   3 ,   R e LU   30   ×   30   ×   32   8 9 6   M a x P o o l i n g 2 D _ 1   P o o l   2   ×   2   15   ×   15   ×   32   0   C o n v 2 D _ 2   6 4   f i l t e r ,   k e r n e l   3   ×   3 ,   R e LU   13   ×   13   ×   64   1 8 , 4 9 6   F l a t t e n   -   1 0 8 1 6   0   P a t c h   e mb e d d i n g   16   ×   1 6   p a t c h   16   ×   2 5 6   -   V i T  e n c o d e r   1   l a y e r ,   2   h e a d ,   M LP  d i m  2 5 6   16   ×   2 5 6   -   D e n se   ( s o f t ma x )   O u t p u t   =   3   c l a ss e s   3   7 7 1   N u mb e r   o f   p a r a me t e r s   2 0 , 0 0 0       T ab le  1   s h o ws  th at  th e   C NN  co m p o n en t  e x tr ac ts   s p atial  f e atu r es  f r o m   th e   DW T   r esu lts ,   wh ile  ViT   lear n s   g lo b al  r elatio n s h ip s   ac r o s s   ch an n els  an d   tim e.   T h is   m o d el  co n f i g u r atio n   im p r o v es  th e  m o d el' s   ab ilit y   to   r ec o g n ize  em o tio n al  p atte r n s ,   as  m ea s u r ed   b y   ac c u r ac y ,   s tab ilit y ,   an d   tim e.   T h r o u g h o u t  th e  tr ai n in g   p r o ce s s ,   ac cu r ac y   v alu es  in cr ea s ed   s tead ily ,   in d icatin g   th a t  th e  m o d el  ef f ec tiv ely   an d   ef f icien tly   lear n ed   s p atial  p atter n s   an d   r elatio n s h ip s   am o n g   E E G  ch an n els.  T h e  Ad am W   o p tim izer   was  s e lecte d   b ased   o n   its   ab ilit y   to   s ep ar ate  weig h t  d e ca y   f r o m   th e   g r a d ien t  ad a p tatio n   s tep ,   a  c o m m o n   wea k n e s s   o f   th e  s tan d ar d   Ad am .   C o m p ar ativ e   s tu d ies  h av e  s h o wn   t h at  Ad am W   co n v er g es  f aster   an d   g en e r alize s   b etter   th an   class ical   o p tim izatio n   m eth o d s   s u ch   as  R MSPr o p   o r   r eg u lar   Ad am   [ 3 4 ] .   T h e  m o d el  tr ain in g   p r o ce s s   u s es  a  cr o s s - en tr o p y   lo s s   f u n ctio n   to   m in im ize  p r ed ictio n   er r o r s   in     m u lti - class   class if icatio n .   T h is   f u n ctio n   wo r k s   b y   ca lcu l atin g   th e   lo g a r ith m ic  d if f er en ce   b etwe en   th e     s o f tm ax - p r e d icted   p r o b ab ilit ies  an d   th e  ac tu al  class   lab els,  th er eb y   f o r cin g   th e  m o d el  to   in cr ea s e  th e  co n f id en ce   in   th e   co r r ec t  class   [ 3 5 ] .   All  e x p er im e n ts   wer e  im p lem en ted   u s in g   th e  Py T o r ch   f r a m ewo r k   o n   a   g r ap h ics  p r o ce s s in g   u n it  ( GPU ) - p o wer ed   c o m p u tin g   en v ir o n m en t  f o r   ac ce ler ated   C NN  an d   s elf - atten tio n   m atr ix   o p e r atio n s .       3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .     Co nfi g ura t io n  des ig n e x perim ent   T o   o b tain   th e  o p tim al  m o d el  co n f ig u r atio n ,   e x p er im e n ts   wer e  co n d u cted   o n   s ev er al  k ey   p ar am eter s   o f   th e  h y b r id   C NN – ViT   ar c h itectu r e,   in clu d i n g   p o s itio n al  em b ed d in g s ,   ViT   d im en s io n s ,   th e  n u m b er   o f   atten tio n   h ea d s ,   th e  n u m b e r   o f   en co d er   lay er s ,   an d   th e  lear n in g   r ate,   wh ich   ar e  p r esen ted   i n   T ab le  2 .   T ab le  2   s h o ws  th at  in cr ea s in g   m o d el  ca p ac ity   d o es  n o t  alwa y s   r esu lt  in   b etter   p er f o r m a n ce .   I n   c o n f ig u r atio n   B ,   th e   ViT   d im en s io n   was  in cr ea s ed   to   2 5 6   with   eig h t  atten tio n   h ea d s ,   b u t  ac c u r ac y   ac t u ally   d ec r ea s ed   b y   3 3 %.  C o n f ig u r atio n s   A  an d   B   ar e  to o   co m p lex ,   lea d in g   to   u n s tab le  lear n in g   a n d   o v e r f i ttin g .   C o n v e r s ely ,   co n f ig u r atio n   C   is   m o r e  lig h tweig h t  an d   ac h iev es  8 7 %  ac cu r ac y .   T h is   s im p ler   ar c h itectu r e  ca n   a d ju s t     th e  lear n in g   r ate   an d   im p r o v e  tr ain i n g   e f f icien cy   wh il e  m ain tain in g   g r ad ien t  s tab ilit y .   T h e  o p tim al  co n f ig u r atio n   ( C )   ac h iev e d   t h e  h ig h est  p er f o r m an ce   with   8 7 %  ac cu r ac y ,   s ig n if ican tly   o u tp e r f o r m in g   t h e  in itial  s etu p   ( A)   b y   2 8 %.  Fu r t h er m o r e ,   th e   m in im al   lo s s   o f   0 . 1 0   in   co n f ig u r atio n   C   in d ic ates  a  s ig n if ican tly   m o r e  p r ec is e  m o d el  c o m p a r ed   to   th e  o th er s .   T h ese  r esu lts   co n f ir m   t h at  th e  a p p lied   o p tim i za tio n   s u cc ess f u lly   s tab ilized   th e  tr ain in g   p r o ce s s   an d   m ax im ize d   lear n in g   ab ilit y .       T ab le  2 .   Per f o r m an ce   co m p a r is o n   b etwe en   co n f ig u r atio n s   C o n f i g u r a t i o n   P o si t i o n a l   e m b e d d i n g   V i T  ( d i m - h e a d - l a y e r )   Le a r n i n g   r a t e   A c c u r a c y   ( %)   Lo ss   C o n v e r g e n c e   r e mar k s   A   ( i n i t i a l )   R a n d o m   1 2 8   –   4  –   2   10 - 3   59   0 . 8 0   H i g h l y   f l u c t u a t i n g   B   R a n d o m   2 5 6   –   8  –   2   10 - 3   33   1 . 1 0   M o d e l   n o t   l e a r n i n g   C ( o p t i ma l )   N u l l   1 2 8   –   2  –   1   10 - 4   87   0 . 1 0   S t a b i l i t y   a n d   f a st       Fig u r e  2   s h o ws  th e  tr an s ien t - s tate  p er f o r m a n ce   f r o m   T a b le  3   o f   th r ee   m o d el   d esig n s .   Fi g u r e  2 ( a)   s h o ws  th e  ac cu r ac y   p er f o r m a n ce .   I n itially ,   th e y   h av e   an   ac cu r ac y   o f   5 9 %   with   f l u ctu atio n s .   C o n f ig u r atio n   A  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a m  u s in g   h yb r id   co n vo lu tio n a l  …   ( E s mera ld a   C o n tess a   Dja ma l )   3939   ap p ea r s   u n s tab le  d u e  to   th e   r a n d o m   e m b ed d in g .   Ho we v er ,   t h e  o p tim al  co n f ig u r atio n   B   co n tin u es  to   im p r o v e   an d   r ea ch es  8 7 %.  C o n f ig u r ati o n   B   r em ain s   lo w,   in d icatin g   u n d er f itti n g   d u e  to   ex ce s s iv e   co m p lex ity   an d   a  p o o r   lear n in g   r ate.   Fo r   th e  l o s s   v alu e  s h o wn   in   Fig u r e  2 ( b ) ,   th e  o r an g e  cu r v e  d ec r e ases   r ap id ly   f r o m     0 . 8 0 9   t o   0 . 0 8 7 ,   in d icatin g   s o li d   co n v e r g en ce   is   o cc u r r in g .   T h e  in itializatio n   r esu lts   r em ain   h ig h   an d   u n s tab le,   wh ile  co n f ig u r atio n   B   f ails   to   s ig n if ican tly   r ed u ce   th e  lo s s ,   in d icatin g   u n d er f itti n g .           ( a)   ( b )     Fig u r e  2 .   Per f o r m an c e  o f   h y b r id   C NN - ViT   of   ( a )   ac cu r ac y   a n d   ( b )   lo s s       T ab le  3   p r esen ts   a  d etailed   co m p ar is o n   o f   p r ec is io n ,   r ec all,   an d   F1 - s co r es  f o r   ea ch   class .   A s   o b s er v ed ,   th e   p r o p o s ed   im p r o v em en ts   r esu lted   i n   s ig n if ica n t  p er f o r m an ce   g ain s   ac r o s s   all  ca teg o r ies.  I n   t h e   n eg ativ e  class ,   p r ec is io n   in cr e ased   s h ar p ly   f r o m   3 6 %  to   8 4 %,  wh ile  r ec all  r o s e  f r o m   1 2 %  to   8 0 %,  in d icatin g   th at  th e  o p tim ized   m o d el  s u cc ess f u lly   id en tifie s   p r ev io u s ly   m is s ed   n eg ativ e  em o tio n s .   Similar   en h an ce m en ts   ar e  ev id en t   in   th e   n eu tr al   class ,   wh er e  p r ec is io n   im p r o v e d   f r o m   4 7 %  to   8 2 %,  with   r ec all  r em ain in g   s tab le  at  a   h ig h   le v el  ( 8 5 %  to   8 6 %).   Me an wh ile,   th e   p o s itiv e  class   ac h iev ed   t h e  m o s t  co n s is ten t  r es u lts ,   with   p r ec is io n   r is in g   f r o m   8 0 %  to   9 4 %  an d   r ec all  f r o m   6 6 %  to   9 3 %,  cu lm i n atin g   in   a  h i g h   F1 - s co r e   o f   9 3 %.  T h ese  m etr ics  co n f ir m   t h at  th e  o p tim al  co n f i g u r atio n   o f f e r s   s u p er io r   s en s itiv ity   an d   p r ec is io n   co m p ar ed   to   th e  in itial m o d el.       T ab le  3 .   Per f o r m an ce   co m p a r is o n   b etwe en   th e  in itial a n d   th e   im p r o v is atio n   C l a s s   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - sc o r e   ( %)     I n i t i a l   O p t i mal   I n i t i a l   O p t i mal   I n i t i a l   O p t i mal   N e g a t i v e   36   84   12   80   18   82   N e u t r a l   47   82   85   86   60   84   P o si t i v e   80   94   66   93   72   93       3 . 2 .     E f f ec t   o f   hy brid co m po nent:   a bla t io n t esting   T h e  m o d el  co n f ig u r atio n   was  ab lated   b y   r em o v i n g   o n e  o f   th e  co m p o n en ts   o f   DW T ,   2 D  C NN,   an d   ViT ,   o n   its   p er f o r m an ce ,   as  s h o wn   in   T ab le  4 .   I t  is   s h o wn   th at  DW T   im p r o v es  ac cu r a cy   b y   3 8 . 7 6 %  an d   r ed u ce s   tim e  b y   2 1 . 6 8   m in u t es.  Me an wh ile,   2 D   C NN  s p atial  ex tr ac tio n   im p r o v es  ac cu r ac y   b y   9 . 5 3 %  an d   r ed u ce s   tim e  b y   1 7 . 3   m in u tes.  ViT   ac h iev es  an   ac cu r ac y   i n cr ea s e  o f   1 . 5 8 %  b u t  r ed u ce s   co m p u tatio n   tim e   s ig n if ican tly ,   n am ely   4 0 %,  ch ar ac ter is tic  o f   tr ain in g .       T ab le  4 .   Ab latio n   t esti n g   of   D W T ,   2 D  C NN,   ViT   M o d e l   A c c u r a c y   ( %)   Lo ss   Le a r n i n g   t i me   ( mi n u t e s)   2 D   C N N + V i T  ( w i t h o u t   D W T)   4 7 . 9 3   ( ↓ )   0 . 4 2   3 4 . 0 2   ( ↓ )   D W T+ V i T   7 7 . 1 6   ( ↑ )   0 . 4 8   2 9 . 7 0   ( ↓ )   D W T+ 2 D   C N N   8 5 . 1 1   ( ↑ )   0 . 1 8   2 9 . 6 5   ( ↓ )   D W T+ 2 D   C N N + V i T   8 6 . 6 9   ( ↑ )   0 . 0 8   1 2 . 3 4   ( ↓ )       Fig u r e  3   s h o ws  th at  th e  m o d el  with o u t  DW T   h as   an   ac cu r ac y   b elo w  5 0 %  an d   a  lo s s   ab o v e  1 . 0   d u r in g   tr ain in g .   I n   co n tr ast,  t h e  DW T   +  2 D  C NN  +  ViT   m o d el  s h o ws  f ast  an d   s tab le  co n v er g en ce   s tar tin g   f r o m   th e   1 0 t h   ep o ch .   T h e  co m b in atio n   o f   DW T ,   C NN,   an d   ViT   is   ef f icien t  an d   r o b u s t.   T h e  p er f o r m a n ce   in   ea ch   ca s e  in   T a b le  4   ca n   b e  i llu s tr ated   in   Fig u r e   3 ( a)   f o r   a cc u r ac y ,   w h ich   p r esen ts   a  m a r k ed   im p r o v em en t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3940   o v er   co n f ig u r atio n s   with o u t  DW T .   T h en ,   th e  f ea tu r e  r e d u ce s   d im en s io n ality   wh ile  s till   p r eser v in g   lo ca l  s p atial  f ea tu r es  f o r   u s e  in   C NNs.  Simu ltan eo u s ly ,   ViT   is   also   ad d ed ,   ac h iev in g   t h e  h i g h est  ac cu r ac y ,   with   im p r o v e d   tr ain in g   s tab ilit y   an d   r ed u ce d   co m p u tatio n   tim e.   Fig u r e  3 ( b )   p r esen ts   th e  co r r esp o n d in g   lo s s   co m p ar is o n .   T h e  DW T – C NN – ViT   m o d el  p r o v id es  th e  lo west  lo s s   v alu e,   co n v er g es,  a n d   is   s tab le.   T h ese   r esu lts   co n f ir m   th at  DW T   p l ay s   a  cr u cial  r o le   in   e x tr ac ti n g   f ea t u r es  in   r elev an t   f r e q u en cy   b an d s .   C NN  ef f ec tiv ely   m o d els  lo ca l  s p atial  p atter n s ,   an d   ViT   ca p tu r es  s im u ltan eo u s   s p atio - tem p o r al  r elatio n s h ip s   th r o u g h   s elf - atten tio n .           ( a)   ( b )     Fig u r e  3 .   Per f o r m an c e  o f   ea c h   co m p o n en t   of   ( a)   ac c u r ac y   an d   ( b )   l o s s       3 . 3 .     E f f ec t   o f   le a rning   weig ht  co rr ec t io n t ec hn iqu es   Af ter   d eter m in in g   th e   co n f ig u r atio n   a n d   m ain   co m p o n en t s ,   s ev er al  o p tim izatio n   alg o r i th m s   wer e  ass es s ed   f o r   th eir   im p ac t  o n   t r ain in g .   T h e  o p tim izer s   co m p a r ed   wer e  Ad am ,   Ad am W ,   Ad aM ax ,   NAd am ,   an d   R MSPr o p ,   all  with   lear n in g   r a te  o f   1   ×   10 - 4 .   T h e  p er f o r m a n c e  co m p ar is o n   r esu lts   ar e  p r ese n ted   in   T ab le  5 .       T ab le  5 .   C o m p a r is o n   o f   s o m e  o p tim izer s   O p t i mi z e r   A c c u r a c y   ( %)   Lo ss   Le a r n i n g   t i me   ( mi n u t e s)   A d a m   86   0 . 0 9 1   1 2 . 3 5   A d a mW   87   0 . 0 8 7   1 2 . 3 4   A d a M a x   83   0 . 1 2 8   1 3 . 5 0   N A d a m   86   0 . 0 9 3   1 8 . 0 4   R M S P r o p   86   0 . 1 0 5   1 5 . 3 8       B ased   o n   T a b le  6 ,   all  o p tim i ze r s   d em o n s tr ated   r elativ ely   s tab le  p er f o r m a n ce   with   ac cu r ac y   ab o v e   8 2 %.  T h e   d i f f er en ce s   in   r esu lts   ac r o s s   o p tim izer s   we r e  n o t  s i g n if ican t,   in d icatin g   th at   th e  m o d el  h ad   ac h iev e d   ar ch itectu r al  s tab ilit y ;  th u s ,   ch an g es  to   th e  o p tim izatio n   alg o r ith m   d id   n o t  s ig n i f ican t ly   af f ec t  t h e  f i n al   p er f o r m an ce .   T h e  m o r e  in f l u en tial  f ac to r s   af f ec tin g   ac c u r ac y   wer e  m o d el  co n f ig u r atio n ,   ar ch itectu r al   co m p o n en ts   ( DW T ,   2 D  C NN,   an d   ViT ) ,   an d   lear n in g   r ate  a d ju s tm en ts .   Nev er th eless ,   Ad a m W   was  ch o s en   as  th e  p r im ar y   o p tim izer   b ec au s e   it  p r o v i d ed   th e   b est  b alan ce   b etwe en   g r ad ien t  s tab ilit y ,   8 7 %  ac cu r ac y ,   a n d   an   ef f icien t le ar n in g   tim e  o f   1 2   m in u tes.     3 . 4 .     Co m pa riso n wit h  prev io us   re s ea rc h   T o   ass ess   th e  ef f ec tiv en ess   o f   th e   p r o p o s ed   m o d el,   a  c o m p ar is o n   was  co n d u cted   w ith   s ev er al   p r ev io u s   s tu d ies  o n   th e  SEE D  d ataset.   T h e  g o al  was  to   ev alu ate  th e  p er f o r m a n ce   i m p r o v e m en t  o f   t h e     DW T   +  h y b r id   2 D  C NN - ViT   m eth o d   c o m p a r ed   to   C N N -   an d   R NN - b ased   ap p r o ac h es,  as  p r esen ted   in     T ab le  6 .   T h e   p er f o r m an ce   o f   t h e  p r o p o s ed   m eth o d   was  test ed   o n   th e   s am e  d ataset,   SEE D.   T ab le  6   s h o ws  th at   th e  DW T   +  h y b r id   2 D  C NN - ViT   ap p r o ac h   s u cc ess f u lly   s u r p ass ed   p r ev i o u s   r esear ch .   T h e  p r o p o s ed   m et h o d   ac h iev ed   an   ac c u r ac y   o f   8 6 . 6 9 %,  h ig h er   th a n   th e  C NN - o n l y   an d   C NN - R NN  ap p r o ac h es.   T h e  in teg r atio n   o f   DW T ,   C N N,   an d   ViT   im p r o v es  th e  m o d el' s   ab ilit y   to   r ec o g n ize  em o tio n al  p atter n s   m o r e  ac cu r ately ,   ef f icien tly ,   an d   s tab ly   an d   h as  th e  p o ten tial to   b e  ap p lied   to   e m o tio n   m o n ito r in g .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a m  u s in g   h yb r id   co n vo lu tio n a l  …   ( E s mera ld a   C o n tess a   Dja ma l )   3941   T ab le  6 .   C o m p a r is o n   with   p r e v io u s   r esear ch   M e t h o d   A c c u r a c y   ( %)   D i f f e r e n t i a l   e n t r o p y   ( D E)   +   S V M   a n d   g r a p h   r e g u l a r i z e d   e x t r e m e   l e a r n i n g   m a c h i n e   ( G E LM )   [ 3 6 ]   79   W a v e l e t   +   2 D   C N N   [ 1 3 ]   83   W a v e l e t   +   m u l t i p l e   C N N   [ 1 4 ]   81   H y b r i d   p a r a l l e l   2 D   C N N - G R U   [ 1 1 ]   84   D W T  +   h y b r i d   2 D   C N N - V i T  ( p r o p o s e d   met h o d s)   87       4.   CO NCLU SI O N   T h e  r esear ch   s h o ws  a  way   to   em o tio n   r ec o g n itio n   o f   E E G  s ig n als  u s in g   a  h y b r i d   wav elet  tr an s f o r m ,   th e  2 D  C NN,   an d   th e   ViT .   T h is   s ee m s   to   im p r o v e  t h e  r ec o g n itio n   o f   em o tio n al  p atter n s   an d   th e   r o b u s tn ess   o v er all.   W av elet  tr an s f o r m   with   DW T   g ets  th e  r elev an t  f r eq u e n cy   b a n d s   an d   h an d le s   th e  n o n - s tatio n ar y   asp ec ts   o f   th e  E E G  s ig n als.   T h e  2 D  C NN  ca p tu r es  lo ca l  s p atial  f ea tu r es,  wh ile  th e   ViT   lear n s   g lo b al  r elatio n s h ip s   b etwe en   f ea tu r e s   th r o u g h   s elf - atten tio n ,   en ab lin g   it  to   ca p tu r e  m o r e  co m p lex   p atter n s   th an   a   s in g le  C NN  m eth o d .   T h e  co m b in atio n   o f   t h ese  th r ee   m eth o d s   p r o v id ed   g o o d   class if icatio n   p er f o r m an ce   i n   d is tin g u is h in g   em o tio n al  s tat es.  T h e  e v alu atio n   m etr ics  in clu d e  ac cu r ac y ,   p r ec is io n ,   r e ca ll,  an d   F1 - s co r e,   wh ich   g av e   g o o d   p er f o r m an ce .   T h is   ap p r o ac h   d em o n s tr ates  h ig h   p o ten tial  f o r   ap p licatio n   i n   B C I   s y s tem s   an d   r ea l - tim e  em o tio n al  m o n ito r in g .   Ar ch itectu r al  co n f ig u r atio n s   s u ch   as  th e  n u m b er   o f   atten t io n   h ea d s ,   en co d er   lay er s ,   p ar am ete r   s elec tio n ,   an d   weig h t   co r r ec tio n   tec h n iq u es  o r   o p tim izer s   s ig n if ica n tly   in f lu e n ce   th e   ac cu r ac y ,   s tab ilit y ,   an d   r o b u s tn ess   o f   em o tio n   r ec o g n itio n .   T h e  Ad a m W   o p tim izer   p r o v id es  ac c u r ac y   im p r o v em e n ts ,   alth o u g h   n o t   s ig n if ican tly   m o r e  th an   th e   o th er   ar c h itectu r al  co n f ig u r atio n s .   Ov er all,   th e  r ec o g n itio n   p er f o r m an ce   o f   th e  th r ee   em o tio n   class es  is   r elativ ely   s im ilar .   Ho wev er ,   th e  p o s itiv e  em o tio n   class   p r o v id es  s u p er i o r   ac c u r a cy   co m p ar ed   to   t h e  o t h er   clas s es.  T h is   is   n o t  o n ly   d u e  t o   th e  ch ar ac ter is tics   o f   tr ain in g   d ata,   b u t   also   b ec au s e  th e  p o s itiv e  em o tio n   class   is   r elativ ely   ea s y   to   r ec o g n ize  f r o m   its   m o r e   d is tin ctiv e  f r eq u e n cy   b an d ,   w h ich   is   en h an ce d   b y   th e  u s e  o f   wav elet  tr an s f o r m s .   Fu tu r e  wo r k   will  f o cu s   o n   ex ten d in g   th e  p r o p o s ed   m o d els  f o r   cr o s s - d ataset  ev alu ati o n ,   ex p lo r in g   ad a p tiv e  ch a n n el  s elec tio n ,   an d   in v esti g atin g   lig h tweig h t tr a n s f o r m er   v ar ian ts   to   im p r o v e   g e n er aliza tio n   an d   r ea l - tim e  p e r f o r m an ce .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   is   f u n d e d   b y   t h e   p en elitia n   fu n d a men ta l  r eg u la r   2 0 2 5   f r o m   th e  I n d o n esian   Dir ec to r ate  Gen er al  o f   R esear ch   an d   C o m m u n ity   Ser v ice,   Min is tr y   o f   Hig h er   E d u c atio n ,   Scien ce ,   an d   T ec h n o lo g y   u n d er   co n tr ac t 1 2 5 /C 3 /DT . 0 5 . 0 0 /PL/2 0 2 5 .         AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   E s m er ald a  C o n tess a  Djam al   ✓   ✓     ✓   ✓   ✓     ✓   ✓   ✓     ✓   ✓   ✓   R ev an   Vio   E n d r ia n s y ah     ✓   ✓       ✓   ✓   ✓   ✓   ✓   ✓         Daswar a  Djajasa s m ita     ✓     ✓   ✓   ✓       ✓   ✓     ✓         C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h e  d ata   s u p p o r tin g   th e   SEE D   d ataset   co n s is ts   o f   E E G  d a tasets   p r o v id ed   b y   th e   B C MI   lab o r ato r y ,   av ailab le  at  h ttp s ://b cm i.sjt u . ed u . cn /h o m e/seed /,   with   5 - s e co n d   s eg m e n tatio n s .   C o d in g   o f   th e  ex p er im en t   av ailab le  in   GitHu b   at  h ttp s ://g ith u b . c o m /R ev an VE /eeg - em o tio n - class if icatio n - with - VI T . g it .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3942   RE F E R E NC E S   [ 1 ]   P .   Le szc z e ł o w s k a   a n d   N .   D a w i d o w sk a ,   “ S y s t e m a t i c   l i t e r a t u r e   r e v i e w   f o r   e mo t i o n   r e c o g n i t i o n   f r o m   EEG   si g n a l s , ”   N e w   T r e n d s   i n   D a t a b a se  a n d   I n f o rm a t i o n   S y st e m s  ( AD BI S   2 0 2 2 ) .   C h a m ,   S w i t z e r l a n d :   S p r i n g e r ,   p p .   4 6 7 – 4 7 5 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 1 5 7 4 3 - 1 _ 4 3 .   [ 2 ]   Y .   W a n g   e t   a l . ,   “ A   s y s t e ma t i c   r e v i e w   o n   a f f e c t i v e   c o m p u t i n g :   e m o t i o n   mo d e l s ,   d a t a b a ses ,   a n d   r e c e n t   a d v a n c e s, ”   I n f o rm a t i o n   Fu si o n ,   v o l .   8 3 – 8 4 ,   p p .   1 9 – 5 2 ,   J u l .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s. 2 0 2 2 . 0 3 . 0 0 9 .   [ 3 ]   J.  N .   S c h n e i d e r ,   M .   M a t y j e k ,   A .   W e i g a n d ,   I .   D z i o b e k ,   a n d   T.   R .   B r i c k ,   “ S u b j e c t i v e   a n d   o b j e c t i v e   d i f f i c u l t y   o f   e m o t i o n a l   f a c i a l  e x p r e ss i o n   p e r c e p t i o n   f r o m  d y n a m i c   s t i m u l i , ”   PLO S   O N E ,   v o l .   1 7 ,   n o .   6 ,   J u n .   2 0 2 2 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 2 6 9 1 5 6 .   [ 4 ]   W .   M a ,   Y .   Z h e n g ,   T.   L i ,   Z .   Li ,   Y .   Li ,   a n d   L.   W a n g ,   “ A   c o mp r e h e n s i v e   r e v i e w   o f   d e e p   l e a r n i n g   i n   EE G - b a se d   e m o t i o n   r e c o g n i t i o n :   c l a ssi f i c a t i o n s,  t r e n d s ,   a n d   p r a c t i c a l   i m p l i c a t i o n s , ”   P e e rJ   C o m p u t e r  S c i e n c e ,   v o l .   1 0 ,   M a y   2 0 2 4 ,     d o i :   1 0 . 7 7 1 7 / p e e r j - c s . 2 0 6 5 .   [ 5 ]   A .   C h a d d a d ,   Y .   W u ,   R .   K a t e b ,   a n d   A .   B o u r i d a n e ,   “ El e c t r o e n c e p h a l o g r a p h y   si g n a l   p r o c e ssi n g :   a   c o mp r e h e n si v e   r e v i e w   a n d   a n a l y si s   o f   m e t h o d s   a n d   t e c h n i q u e s,”   S e n so rs ,   v o l .   2 3 ,   n o .   1 4 ,   Ju l .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s2 3 1 4 6 4 3 4 .   [ 6 ]   Z.   Zh a n g ,   J .   M .   F o r t ,   a n d   L.   G .   M a t e u ,   “ M i n i   r e v i e w :   c h a l l e n g e s  i n   EEG   e mo t i o n   r e c o g n i t i o n , ”   Fr o n t i e rs   i n   Psy c h o l o g y ,   v o l .   1 4 ,   Jan .   2 0 2 4 ,   d o i :   1 0 . 3 3 8 9 / f p s y g . 2 0 2 3 . 1 2 8 9 8 1 6 .   [ 7 ]   J.  W a n g   a n d   M .   W a n g ,   “ R e v i e w   o f   t h e   e m o t i o n a l   f e a t u r e   e x t r a c t i o n   a n d   c l a ssi f i c a t i o n   u si n g   EEG   s i g n a l s, ”   C o g n i t i v e   R o b o t i c s ,  v o l .   1 ,   p p .   2 9 – 4 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c o g r . 2 0 2 1 . 0 4 . 0 0 1 .   [ 8 ]   W. - L.   Z h e n g   a n d   B . - L.   Lu ,   “ I n v e st i g a t i n g   c r i t i c a l   f r e q u e n c y   b a n d s  a n d   c h a n n e l s  f o r   EEG - b a se d   e m o t i o n   r e c o g n i t i o n   w i t h   d e e p   n e u r a l   n e t w o r k s, ”   I EEE  T r a n s a c t i o n s  o n   Au t o n o m o u s  M e n t a l   D e v e l o p m e n t ,   v o l .   7 ,   n o .   3 ,   p p .   1 6 2 – 1 7 5 ,   S e p .   2 0 1 5 ,     d o i :   1 0 . 1 1 0 9 / TA M D . 2 0 1 5 . 2 4 3 1 4 9 7 .   [ 9 ]   R. - N .   D u a n ,   J . - Y .   Zh u ,   a n d   B . - L .   L u ,   “ D i f f e r e n t i a l   e n t r o p y   f e a t u r e   f o r   E EG - b a s e d   e mo t i o n   c l a ssi f i c a t i o n , ”   i n   2 0 1 3   6 t h   I n t e r n a t i o n a l   I EEE / EM BS   C o n f e r e n c e   o n   N e u r a l   En g i n e e r i n g ,   N o v .   2 0 1 3 ,   p p .   8 1 – 84 ,   d o i :   1 0 . 1 1 0 9 / N ER . 2 0 1 3 . 6 6 9 5 8 7 6 .   [ 10 ]   K .   K a mb l e   a n d   J.  S e n g u p t a ,   “ A   c o m p r e h e n si v e   s u r v e y   o n   e m o t i o n   r e c o g n i t i o n   b a se d   o n   e l e c t r o e n c e p h a l o g r a p h   ( EEG )   si g n a l s, ”   Mu l t i m e d i a   T o o l s  a n d   Ap p l i c a t i o n s ,   v o l .   8 2 ,   n o .   1 8 ,   p p .   2 7 2 6 9 – 2 7 3 0 4 ,   Ju l .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 0 2 3 - 1 4 4 8 9 - 9.   [1 1 ]   N .   A .   P u t r i ,   E .   C .   D j a m a l ,   F .   N u g r a h a ,   a n d   F .   K a s y i d i ,   “ E EG   e m o t i o n   r e c o g n i t i o n   u s i n g   p a r a l l e l   h y b r i d   c o n v o l u t i o n a l - r e c u r r e n t   n e u r a l   n e t w o r k s, ”   i n   2 0 2 2   I n t e rn a t i o n a l   C o n f e re n c e   o n   D a t a   S c i e n c e   a n d   I t s  Ap p l i c a t i o n s ,   Ju l .   2 0 2 2 ,   p p .   2 4 – 29 ,    d o i :   1 0 . 1 1 0 9 / I C o D S A 5 5 8 7 4 . 2 0 2 2 . 9 8 6 2 8 5 3 .   [1 2 ]   H .   M .   M .   H a sa n   a n d   M .   A .   I sl a m ,   “ Emo t i o n   r e c o g n i t i o n   f r o m   B e n g a l i   sp e e c h   u s i n g   R N N   mo d u l a t i o n - b a se d   c a t e g o r i z a t i o n , ”   i n   2 0 2 0   T h i r d   I n t e r n a t i o n a l   C o n f e re n c e   o n   S m a r t   S y st e m s  a n d   I n v e n t i v e   T e c h n o l o g y ,   A u g .   2 0 2 0 ,   p p .   1 1 3 1 – 1 1 3 6 ,    d o i :   1 0 . 1 1 0 9 / I C S S I T4 8 9 1 7 . 2 0 2 0 . 9 2 1 4 1 9 6 .   [ 1 3 ]   R .   H .   D .   H a q q u e ,   E.   C .   D j a ma l ,   a n d   A .   W u l a n d a r i ,   “ Emo t i o n   r e c o g n i t i o n   o f   EEG   si g n a l s  u si n g   w a v e l e t   f i l t e r   a n d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s , ”   i n   2 0 2 1   8 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   Ad v a n c e d   I n f o r m a t i c s:   C o n c e p t s,   T h e o r y   a n d   Ap p l i c a t i o n s ,   S e p .   2 0 2 1 ,   p p .   1 – 6 ,   d o i :   1 0 . 1 1 0 9 / I C A I C TA 5 3 2 1 1 . 2 0 2 1 . 9 6 4 0 2 7 9 .   [1 4 ]   H .   D .   K h a i r u n i s sa,   E.   C .   D j a ma l ,   a n d   A .   W u l a n d a r i ,   “ M u l t i p l e   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s  i n   EEG   e m o t i o n   r e c o g n i t i o n , ”   i n   2 0 2 1   4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o f   C o m p u t e r   a n d   I n f o r m a t i c s   En g i n e e r i n g ,   S e p .   2 0 2 1 ,   p p .   3 0 – 35 ,    d o i :   1 0 . 1 1 0 9 / I C 2 I E5 3 2 1 9 . 2 0 2 1 . 9 6 4 9 2 1 5 .   [1 5 ]   Y .   Li ,   W .   Z h e n g ,   Z .   C u i ,   T.   Zh a n g ,   a n d   Y .   Zo n g ,   “ A   n o v e l   n e u r a l   n e t w o r k   m o d e l   b a se d   o n   c e r e b r a l   h e mi s p h e r i c   a sy mm e t r y   f o r   EEG   e m o t i o n   r e c o g n i t i o n , ”   i n   Pr o c e e d i n g s  o f   t h e   T w e n t y - S e v e n t h   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,    Ju l .   2 0 1 8 ,   p p .   1 5 6 1 – 1 5 6 7 ,   d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 1 8 / 2 1 6 .   [1 6 ]   Y .   M a   e t   a l . ,   “ Em o t i o n   r e c o g n i t i o n   m o d e l   o f   E EG   s i g n a l s   b a se d   o n   d o u b l e   a t t e n t i o n   mec h a n i sm, ”   Bra i n   S c i e n c e s ,   v o l .   1 4 ,   n o .   1 2 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / b r a i n s c i 1 4 1 2 1 2 8 9 .   [1 7 ]   W .   Ta o   e t   a l . ,   “ EEG - b a se d   e mo t i o n   r e c o g n i t i o n   v i a   c h a n n e l - w i se   a t t e n t i o n   a n d   se l f   a t t e n t i o n , ”   I E EE  T r a n s a c t i o n s  o n   Af f e c t i v e   C o m p u t i n g ,   v o l .   1 4 ,   n o .   1 ,   p p .   3 8 2 – 3 9 3 ,   J a n .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / TA F F C . 2 0 2 0 . 3 0 2 5 7 7 7 .   [ 18 ]   A .   D o s o v i t s k i y   e t   a l . ,   “ A n   i m a g e   i s   w o r t h   1 6 x 1 6   w o r d s :   t r a n sf o r mers   f o r   i m a g e   r e c o g n i t i o n   a t   sca l e , ”   i n   I C L R  2 0 2 1   -   9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L e a r n i n g   Re p res e n t a t i o n s ,   2 0 2 1 ,   p p .   1 – 2 1 .   [ 19 ]   A .   A r j u n ,   A .   S .   R a j p o o t ,   a n d   M .   R .   P a n i c k e r ,   “ I n t r o d u c i n g   a t t e n t i o n   m e c h a n i sm  f o r   EEG   si g n a l s:   e m o t i o n   r e c o g n i t i o n   w i t h   v i si o n  t r a n sf o r mers , ”   i n   2 0 2 1   4 3 r d   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o f   t h e   I EEE  En g i n e e ri n g   i n   M e d i c i n e   &   Bi o l o g y   S o c i e t y ,    N o v .   2 0 2 1 ,   p p .   5 7 2 3 – 5 7 2 6 ,   d o i :   1 0 . 1 1 0 9 / E M B C 4 6 1 6 4 . 2 0 2 1 . 9 6 2 9 8 3 7 .   [2 0 ]   M .   M a n s o u r ,   L.   N .   M a h m o u d ,   I .   S a d e k ,   a n d   N .   M .   S a l e m,  “ E mo t i o n   r e c o g n i t i o n   f r o m  EEG   si g n a l s  u s i n g   v i s i o n   t r a n sf o r m e r   a n d   C N N , ”   i n   2 0 2 5   I n t e r n a t i o n a l   T e l e c o m m u n i c a t i o n s  C o n f e re n c e   ( I T C - E g y p t ) ,   Ju l .   2 0 2 5 ,   p p .   2 5 9 – 2 6 4 ,   d o i :   1 0 . 1 1 0 9 / I TC - Eg y p t 6 6 0 9 5 . 2 0 2 5 . 1 1 1 8 6 5 6 2 .   [2 1 ]   K .   D e v a r a j a n ,   S .   P o n n a n ,   a n d   S .   P e r u mal ,   “ H y b r i d   C N N - t r a n sf o r m e r   a r c h i t e c t u r e   f o r   e n h a n c e d   EEG - b a s e d   e m o t i o n   r e c o g n i t i o n :   c a p t u r i n g   l o c a l   a n d   g l o b a l   d e p e n d e n c i e s  w i t h   s e l f - a t t e n t i o n   me c h a n i sm s,”   D i s c o v e r   C o m p u t i n g ,   v o l .   2 8 ,   n o .   1 ,   M a y   2 0 2 5 ,     d o i :   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 025 - 0 9 5 9 6 - 0.   [ 2 2 ]   Z. - M .   W a n g ,   S . - Y .   H u ,   a n d   H .   S o n g ,   “ C h a n n e l   se l e c t i o n   me t h o d   f o r   EEG   e m o t i o n   r e c o g n i t i o n   u si n g   n o r mal i z e d   mu t u a l   i n f o r mat i o n , ”   I E EE  Ac c e ss ,   v o l .   7 ,   p p .   1 4 3 3 0 3 – 1 4 3 3 1 1 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 4 4 2 7 3 .   [2 3 ]   A .   S u b a s i ,   T .   T u n c e r ,   S .   D o g a n ,   D .   T a n k o ,   a n d   U .   S a k o g l u ,   “ EEG - b a s e d   e mo t i o n   r e c o g n i t i o n   u si n g   t u n a b l e   Q   w a v e l e t   t r a n sf o r m   a n d   r o t a t i o n   f o r e s t   e n sem b l e   c l a ss i f i e r , ”   B i o m e d i c a l   S i g n a l   Pro c e ssi n g   a n d   C o n t r o l ,   v o l .   6 8 ,   J u l .   2 0 2 1 ,     d o i :   1 0 . 1 0 1 6 / j . b s p c . 2 0 2 1 . 1 0 2 6 4 8 .   [2 4 ]   P .   K e e l a w a t ,   N .   T h a mm a s a n ,   M .   N u mao ,   a n d   B .   K i j s i r i k u l ,   “ A   c o m p a r a t i v e   s t u d y   o f   w i n d o w   si z e   a n d   c h a n n e l   a r r a n g e me n t   o n   EEG - e mo t i o n   r e c o g n i t i o n   u s i n g   d e e p   C N N , ”   S e n s o rs ,   v o l .   2 1 ,   n o .   5 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s 2 1 0 5 1 6 7 8 .   [2 5 ]   S .   K .   K h a r e   a n d   V .   B a j a j ,   “ T i me – f r e q u e n c y   r e p r e se n t a t i o n   a n d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k - b a s e d   e m o t i o n   r e c o g n i t i o n , ”   I E EE   T ra n s a c t i o n s  o n   N e u r a l   N e t w o rks  a n d   L e a rn i n g   S y s t e m s ,   v o l .   3 2 ,   n o .   7 ,   p p .   2 9 0 1 – 2 9 0 9 ,   J u l .   2 0 2 1 ,     d o i :   1 0 . 1 1 0 9 / TN N LS. 2 0 2 0 . 3 0 0 8 9 3 8 .   [2 6 ]   S .   K .   G a t f a n ,   “ A   r e v i e w   o n   d e e p   l e a r n i n g   f o r   e l e c t r o e n c e p h a l o g r a m  s i g n a l   c l a ss i f i c a t i o n , ”   J o u r n a l   o f   Al - Q a d i si y a h   f o r  C o m p u t e r   S c i e n c e   a n d   Ma t h e m a t i c s ,   v o l .   1 6 ,   n o .   1 ,   p p .   1 3 7 – 1 5 1 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 2 9 3 0 4 / j q c sm. 2 0 2 4 . 1 6 . 1 1 4 5 3 .   [2 7 ]   E.   V a f a e i   a n d   M .   H o ss e i n i ,   “ Tr a n sf o r mers   i n   E EG   a n a l y si s :   a   r e v i e w   o f   a r c h i t e c t u r e s   a n d   a p p l i c a t i o n s   i n   m o t o r   i ma g e r y ,   se i z u r e ,   a n d   e mo t i o n   c l a ss i f i c a t i o n , ”   S e n s o rs ,   v o l .   2 5 ,   n o .   5 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / s2 5 0 5 1 2 9 3 .   [ 28 ]   S .   Li ,   X .   L y u ,   L .   Z h a o ,   Z .   C h e n ,   A .   G o n g ,   a n d   Y .   F u ,   “ I d e n t i f i c a t i o n   o f   e mo t i o n   u si n g   e l e c t r o e n c e p h a l o g r a m  b y   t u n a b l e   Q - f a c t o r   w a v e l e t   t r a n sf o r m   a n d   b i n a r y   g r a y   w o l f   o p t i mi z a t i o n , ”   Fr o n t i e rs  i n   C o m p u t a t i o n a l   N e u r o sc i e n c e ,   v o l .   1 5 ,   S e p .   2 0 2 1 ,     d o i :   1 0 . 3 3 8 9 / f n c o m. 2 0 2 1 . 7 3 2 7 6 3 .   [ 29 ]   O .   S a h a ,   M .   S .   M a h m u d ,   S .   A .   F a t t a h ,   a n d   M .   S a q u i b ,   “ A u t o m a t i c   e m o t i o n   r e c o g n i t i o n   f r o m   m u l t i - b a n d   E E G   d a t a   b a s e d   o n   a   d e e p   l e a r n i n g   s c h e m e   w i t h   e f f e c t i v e   c h a n n e l   a t t e n t i o n , ”   I E E E   A c c e s s ,   v o l .   1 1 ,   p p .   2 3 4 2 – 2 3 5 0 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C E S S . 2 0 2 2 . 3 2 2 4 7 2 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a m  u s in g   h yb r id   co n vo lu tio n a l  …   ( E s mera ld a   C o n tess a   Dja ma l )   3943   [ 30 ]   M .   A .   M a r i a ,   M .   A .   H .   A k h a n d ,   A .   B .   M .   A .   H o ss a i n ,   M .   A .   S .   K a mal ,   a n d   K .   Y a ma d a ,   “ A   c o m p a r a t i v e   s t u d y   o n   p r o mi n e n t   c o n n e c t i v i t y   f e a t u r e s  f o r   e m o t i o n   r e c o g n i t i o n   f r o m  E EG , ”   I EE E  Ac c e ss ,   v o l .   1 1 ,   p p .   3 7 8 0 9 – 3 7 8 3 1 ,   2 0 2 3 ,     d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 6 4 8 4 5 .   [ 31 ]   M .   A .   O z d e m i r ,   M .   D e g i r m e n c i ,   E .   I z c i ,   a n d   A .   A k a n ,   “ EEG - b a s e d   e mo t i o n   r e c o g n i t i o n   w i t h   d e e p   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s,”   Bi o m e d i c a l   En g i n e e ri n g   /   Bi o m e d i zi n i sc h e   T e c h n i k ,   v o l .   6 6 ,   n o .   1 ,   p p .   4 3 – 5 7 ,   F e b .   2 0 2 1 ,   d o i :   1 0 . 1 5 1 5 / b mt - 2 0 1 9 - 0 3 0 6 .   [ 32 ]   T.   D h a r a   a n d   P .   K .   S i n g h ,   “ Emo t i o n   r e c o g n i t i o n   f r o m  EEG   d a t a   u si n g   h y b r i d   d e e p   l e a r n i n g   a p p r o a c h , ”   i n   Fr o n t i e rs  o f   I C T   i n   H e a l t h c a re ,   S i n g a p o r e :   S p r i n g e r ,   2 0 2 3 ,   p p .   1 7 9 – 1 8 9 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 981 - 19 - 5 1 9 1 - 6 _ 1 5 .   [3 3 ]   A .   P r a k a sh   a n d   A .   P o u l o s e ,   “ El e c t r o e n c e p h a l o g r a m - b a se d   e mo t i o n   r e c o g n i t i o n :   a   c o m p a r a t i v e   a n a l y s i s  o f   su p e r v i se d   m a c h i n e   l e a r n i n g   a l g o r i t h ms,”   D a t a   S c i e n c e   a n d   M a n a g e m e n t ,   v o l .   8 ,   n o .   3 ,   p p .   3 4 2 – 3 6 0 ,   S e p .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . d sm. 2 0 2 4 . 1 2 . 0 0 4 .   [3 4 ]   C .   D e sa i ,   “ C o mp a r a t i v e   a n a l y s i s   o f   o p t i m i z e r s  i n   d e e p   n e u r a l   n e t w o r k s,”   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i v e   S c i e n c e   a n d   Re se a rc h   T e c h n o l o g y ,   v o l .   5 ,   n o .   1 0 ,   p p .   9 5 9 – 9 6 2 ,   2 0 2 0 .   [3 5 ]   Z.   F a n ,   F .   C h e n ,   X .   X i a ,   a n d   Y .   Li u ,   “ EEG   e mo t i o n   c l a ssi f i c a t i o n   b a se d   o n   g r a p h   c o n v o l u t i o n a l   n e t w o r k , ”   Ap p l i e d   S c i e n c e s ,    v o l .   1 4 ,   n o .   2 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 4 0 2 0 7 2 6 .   [ 36 ]   W. - L.   Z h e n g ,   J. - Y .   Zh u ,   a n d   B . - L.   Lu ,   “ I d e n t i f y i n g   st a b l e   p a t t e r n s  o v e r   t i m e   f o r   e mo t i o n   r e c o g n i t i o n   f r o m  EEG , ”   I E E E   T ra n s a c t i o n s  o n   A f f e c t i v e   C o m p u t i n g ,   v o l .   1 0 ,   n o .   3 ,   p p .   4 1 7 – 4 2 9 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / TA F F C . 2 0 1 7 . 2 7 1 2 1 4 3 .       B I O G RAP H I E S O F   AUTH O RS       Esm e r a ld a   Co n te ss a   Dja m a l           re c e iv e d   a   b a c h e lo r' s  d e g r e e   in   E n g i n e e rin g   P h y sic s  fro m   I n stit u t  Tek n o l o g i  Ba n d u n g   i n   1 9 9 4 ,   a   m a ste r' s  d e g re e   in   In stru m e n t  a n d   C o n tr o l   fro m   th e   sa m e   u n i v e rsity   i n   1 9 9 8 .   F ro m   h e r  d isse rtatio n   u n ti l  n o w,   h e r  re se a rc h   in   EE G   sig n a l   p ro c e ss in g   h a s  fin is h e d   h e r  d o c t o ra l  p r o g ra m   a t   In stit u t   Tek n o l o g i   Ba n d u n g   in   2 0 0 5 .   S h e   is   a n   a ss o c iate   p ro fe ss o r  in   th e   De p a rt m e n t  o f  In fo rm a ti c s,  Un i v e rsitas   Je n d e ra l  Ac h m a d   Ya n i.   F o r   m o re   th a n   2 0   y e a rs,  sh e   h a s  re se a rc h e d   EE G   sig n a l  p ro c e ss in g   a n d   m a c h in e   lea rn in g .  S h e   c a n   b e   c o n tac ted   a t  e m a il :  e sm e ra ld a . c o n tes sa @le c tu re . u n jan i. a c . id .         Re v a n   Vi o   E n d r ia n sy a h           is  a n   u n d e rg ra d u a te   stu d e n t  in   I n fo rm a ti c s  fro m   Un iv e rsitas   Je n d e ra l   Ac h m a d   Ya n i.   His  th e sis  fo c u se d   o n   e m o ti o n   id e n ti fica ti o n   fro m   EE G   sig n a ls  u si n g   a   tran sf o rm e r.   He   is  n o w  a   m a c h in e   lea rn in g   re se a rc h e r  a n d   sy ste m   d e v e lo p e r.   He   c a n   b e   c o n tac ted   a t  e m a il :   re v a n v io 2 2 @if . u n jan i. a c . i d .         Da sw a r a   Dja j a sa sm ita           is  a   n e u ro l o g ist  a n d   lec tu re r  a t  t h e   M e d ica l  Ed u c a ti o n   P ro g ra m ,  F a c u lt y   o f  M e d icin e   a t  Un iv e rsitas   Je n d e ra l  Ac h m a d   Ya n i .   His  re se a rc h   in tere sts  a re   stro k e   a n d   p o st - str o k e   m a n a g e m e n t,   in c l u d i n g   si g n a l  p ro c e ss in g .   He   c a n   b e   c o n tac ted   a t  e m a il :   d a sw a ra d j@g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.