I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   4 ,   A u g u s t 2 0 2 6 ,   p p .   3 9 3 4 ~ 3 9 4 3   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 4 . p p 3 9 3 4 - 3 9 4 3           3934       J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Em o tion recog nit io n of elec troence pha lo g ra m using  hybrid  co nv o lutiona l neural networks  and  v isio n t ra nsfo rme r       E s m er a lda   Co nte s s a   Dj a m a l 1 ,   Rev a n Vio   E nd ria ns y a h 1 ,   Da s wa ra   Dj a j a s a s m it a 2   1 D e p a r t me n t   o f   I n f o r mat i c s ,   F a c u l t y   o f   S c i e n c e   a n d   I n f o r ma t i c s,   U n i v e r si t a s   Jen d e r a l   A c h ma d   Y a n i ,   C i m a h i ,   I n d o n e s i a   2 M e d i c a l   E d u c a t i o n   P r o g r a m ,   F a c u l t y   o f   M e d i c i n e ,   U n i v e r si t a s J e n d e r a l   A c h ma d   Y a n i ,   C i m a h i ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 6 ,   2 0 2 5   R ev is ed   J u n   1 7 ,   2 0 2 6   Acc ep ted   J u l 9 ,   2 0 2 6       El e c tro e n c e p h a lo g ra m   (EE G sig n a l - b a se d   e m o ti o n   c las sifica ti o n   fa c e c h a ll e n g e in   sp a ti o - tem p o ra c o m p lex it y   a n d   in ter - c h a n n e re d u n d a n c y .   Th is  p a p e p r o p o se a   2 c o n v o lu ti o n a n e u ra n e two rk   (CNN a n d   v isio n   tran sfo rm e (ViT)   a p p ro a c h .   Re lev a n e m o ti o n re q u ire  si g n a e x trac ti o n   i n   th e   4 - 40   Hz   fre q u e n c y   b a n d   u si n g   t h e   d isc re te  wa v e let  tran sfo r m   (DWT ).   Th is  stu d y   u se th e   S EE d a t a se fro m   1 5   su b jec ts,  with   6 2   c h a n n e ls  re d u c e d   t o   1 2 .   E v e ry   5 - se c o n d   se g m e n is   d e c o m p o se d   u sin g   DW in to   fo u r   fre q u e n c y   b a n d s,  wh ich   a re   th e n   m a p p e d   to   a   2D   sp a ti a re p re se n tatio n   fo r   CNN a n d   ViTs.   E x p e rime n r e su lt sh o t h a th e   DW T - 2D   CNN - ViT  a c h iev e th e   b e st  a c c u ra c y   o 8 7 %   wit h   a   fin a l   lo ss   o 0 . 0 8 7 .   I n   th e   m e a n ti m e ,   th e   CNN - o n l y   m o d e (8 5 % ),   th e   ViT - o n ly   m o d e ( 7 7 % ),   a n d   th e   DWT - o n l y   m o d e l   (4 7 % ).   Tes ti n g   wit h   se v e ra o p ti m ize rs  a lso   s h o ws   t h a t   Ad a m W   p ro v id e t h e   h i g h e st  p e rfo rm a n c e   with   th e   fa ste st  train i n g   ti m e   o f   1 2 . 3 4   m in u tes .   T h e se   re su lt d e m o n stra te  th a t   t h is  i n teg ra ti o n   c a n   p ro d u c e   m o re   e fficie n a n d   sta b le  lea rn in g .   Th e se   fin d in g in d ica te  th a th e   c o m b in a ti o n   o DWT   a n d   th e   C NN - ViT  h y b ri d   a rc h it e c tu re   is  e ffe c ti v e   fo a c c u ra te,  sta b le  EE G - b a se d   e m o ti o n   re c o g n it i o n   a n d   is   p o ten ti a ll y   a p p li c a b le   to   re a l - ti m e   e m o ti o n - m o n i to ri n g   sy ste m s .   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k   E lectr o en ce p h al o g r am   E m o tio n   Vis io n   tr an s f o r m er   W av elet   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E s m er ald C o n tess Djam al   Dep ar tm en t o f   I n f o r m atics,  Facu lty   o f   Scien ce   a n d   I n f o r m atics,  Un iv er s itas   J en d er al  Ach m ad   Yan i   C im ah i,  I n d o n esia   E m ail:  esm er ald a. co n tess a@ le ctu r e. u n jan i.a c . id       1.   I NT RO D UCT I O N   Au to m atic  em o tio n   r ec o g n itio n   is   b ec o m in g   n ec ess ar y   f o r   e ar ly   d etec tio n   o f   em o tio n al  d is o r d er s   an d   th er ap y   m o n ito r in g   [ 1 ] ,   a n d   as  d r iv e r   o f   b r ain - c o m p u te r   in ter f ac es  ( B C I s )   [ 2 ] .   O n s o u r ce   o f   em o tio n al  in f o r m atio n   r ef lectin g   p er s o n ' s   tr u an d   o b jectiv c o n d iti o n   is   elec tr ical  s ig n als  in   th b r ain   [ 3 ] ,   r ec o r d e d   v ia  an   elec tr o en ce p h alo g r am   ( E E G) .   Acc o r d in g ly ,   c u r r e n t r e s ea r ch   o n   em o tio n   r ec o g n itio n   is   o f   in ter est  [ 4 ] .   T h ch allen g in   e m o tio n   r e co g n itio n   is   th at  E E s ig n al s   d o   n o h a v s tan d ar d   s h a p an d   ar e     non - s tatio n ar y   [ 5 ] ,   an d   ac r o s s   m u ltip le  ch an n els,  d ata  r e d u n d a n cy   in cr ea s es  th co m p lex ity   o f   em o tio n   id en tific atio n   f r o m   E E s ig n als  [ 6 ] .   Featu r e   ex tr ac tio n   is   cr u cial  s tep   in   em o tio n   r ec o g n itio n .   Usu ally ,   it   u s es  th f r eq u en cy   o r   tim e - f r e q u en cy   d o m ai n ,   co n s id er in g   t h f r eq u en cy   b an d s   r elev an t to   em o tio n   class   [ 7 ] .   T h is   r esear ch   u s ed   d ata  f r o m   th SJ T em o tio n   E E d ataset  ( SEE D) ,   p r o v id ed   b y   th   B r ain - lik C o m p u tin g   an d   Ma ch in I n tellig en ce   ( B C MI )   l ab o r ato r y ,   with   th r ee   class es:  p o s itiv e,   n eu tr al,   an d   n eg ativ [ 8 ] ,   [ 9 ] .   T h ese  th r e class es   ex h ib it  d is tin ct  f r eq u en cy   b an d s th eta,   alp h a,   b eta,   an d   g am m a,     4 - 4 8   Hz  [ 8 ] ,   [ 1 0 ] .   Po s itiv em o tio n s   ar g en e r ally   ass o ciate d   with   in cr ea s es  in   b eta  an d   g am m co m p o n en ts ,   r esu ltin g   in   co g n itiv e n h an ce m en t.  Po s itiv em o tio n s   a r g en e r ally   ass o ciate d   with   i n cr ea s ed   b eta   an d   g am m wav es,  in d icatin g   co g n itiv en h an ce m en t.  Neu t r al  e m o tio n s   ar b alan ce d   ac r o s s   all  wav es.  Neg ativ Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a u s in g   h yb r id   co n vo lu tio n a   ( E s mera ld a   C o n tess a   Dja ma l )   3935   em o tio n s ,   o n   th o th er   h a n d ,   a r ch ar ac ter ized   b y   in cr ea s ed   t h eta  an d   alp h wav es.  T h e r ef o r e,   f r eq u en cy   b a n d   ex tr ac tio n   p r o v id es  d is tin g u is h in g   f ea tu r es  f o r   em o tio n   cla s s es  [ 1 1 ] .   W av elet  tr an s f o r m s   ar ef f ec tiv f o r   an aly zin g   th E E s ig n als,  en ab lin g   tim e - f r e q u en c y   d ec o m p o s itio n .   T h is   is   ac h iev ed   b y   d ec o m p o s in g   s p ec if ic  f r eq u e n cy   b an d s   to   p r eser v th e   tem p o r al  d y n am ics  ess en tial  to   em o tio n It   p r o v id es  r o b u s tn ess   ag ain s t n o is [ 1 0 ]   P r ev io u s   s tu d ies  o n   em o tio n   class if icatio n   h av u s ed   co n v o l u tio n al  n e u r al  n etwo r k s   ( C NN) ,   r ec u r r en n e u r al  n etwo r k s   [ 1 2 ] ,   an d   g r a p h   n e u r al  n etwo r k s   ( GNN) .   C NNs   ex p lo it  lo ca s p atial  an d   s p ec tr al  co r r elatio n s   am o n g   E E c h a n n els  an d   f r e q u en c y   b an d s .   C NNs  ar ef f ec tiv in   ca p tu r in g   d is cr im in ativ e   em o tio n al  p atter n s   in   E E s ig n als  [ 8 ] ,   f o llo wed   b y   2 D   C NNs  f o r   m u lti - c h an n el   a n aly s is   [ 1 3 ] ,   [ 1 4 ] asy m m etr ic  v ar iab les  ac r o s s   ch an n el  p air s   [ 1 5 ] .   E E s ig n al s   f r o m   m u lti - ch a n n el  ar r ay s   o f ten   r eq u i r s p atial  f ea tu r ex tr ac tio n ,   wh ich   ca n   b ac co m p lis h ed   with   C NN.   T h er ef o r e,   h y b r id   C NN - r ec u r r en n eu r al  n etwo r k   ( R NN )   is   o f ten   u s ed   as  s eq u en tial  [ 1 6 ]   an d   p ar allel  [ 1 1 ]   ap p r o ac h es.  H o wev er ,   t h ese  ap p r o ac h es  a r s u s ce p tib le  to   f lu ctu atio n s   an d   h av h i g h   co m p u tatio n al  tim e .   C NNs  ar lim ited   to   l o ca r ec o g n itio n ,   wh ile  R NNs  p r o ce s s   s eq u en tial  d ata  a n d   lo s p ar allel   in f o r m atio n .   T r a n s f o r m er s   al lo ea ch   elem en to   b s i m u ltan eo u s ly   a n d   g l o b ally   s p atially   co n n ec ted ,     s im ilar   to   th co n n ec tio n s   o f   n eu r o n s   in   th b r ain   [ 1 7 ] T r an s f o r m er s   m o r ef f ec tiv ely   ca p tu r e   g lo b al     r elatio n s   th r o u g h   s elf - atten ti o n   m ec h an is m s ,   m a k in g   th e m   well - s u ited   f o r   e m o tio n   class if icatio n   f r o m     E E s ig n als.  Fu r th er m o r e,   tr an s f o r m er   co m p u tatio n   is   f aster   f o r   tr ain in g   an d   ca p tu r in g   s p atio - tem p o r al   p atter n s .   R esear ch   s h o ws  th at  tr an s f o r m er - b ased   m o d els  ac h iev s u p er io r   p er f o r m a n ce   an d   r o b u s tn ess   in   E E s ig n al  class if icatio n ,   allo win g   f o r   d y n am ic  g e n er ali za tio n   d u r in g   lear n in g   b y   r ed u cin g   ir r ele v an co m p o n en ts   o r   n o is [ 1 0 ] ,   [ 1 7 ] .   T h v is io n   tr a n s f o r m er   ( ViT )   h as  attr ac ted   atten tio n   i n   E E G - b ased   em o tio n   r ec o g n itio n   d u to   its   r o b u s s elf - atten tio n   m ec h an i s m ,   wh ich   en a b les  ef f ec tiv e   m o d elin g   o f   g lo b al  d ep e n d en cies  ac r o s s   b r ain   r eg io n s   an d   tim s eq u e n ce s .   W h en   th tim e - f r e q u en c y   f ea t u r ex tr ac tio n   r esu lts   ar p ar titi o n ed   in to   p atch es,   ViT   ca n   ca p tu r b r o a d   co n te x tu al  r elatio n s h ip s   th at  ar d if f icu lt  to   m o d el  u s in g   C NNs  o r   R NNs   [ 1 7 ] ,   [ 1 8 ] ViT   r elies  s o lely   o n   d ata - d r i v en   lear n in g ,   m ak in g   it  less   ef f ec tiv wh en   tr ain ed   o n   m ed iu m - s ized   E E d atasets   s u ch   as  SEE a n d   p r o n t o   o v er f itti n g .   T h is   is   esp ec ially   tr u e   wh en   in ter - s u b ject  v ar iab ilit y   is   h ig h ,   ch allen g e   th at  b ec o m es  cr it ical  as  ViT 's  p er f o r m an ce   d e clin es  s ig n if ican tly   [ 1 7 ] .   T h e   s im p licity   o f   ViT   co m p u tatio n   allo ws  f o r   f ast er   lear n in g .   T h is   is   d u to   its   f lex ib ilit y   in   h an d lin g   v ar io u s   E E s ig n al  r ep r esen tatio n s   b y   co n v er tin g   th em   in to   im ag f o r m ats,  m a k in g   it  co m p atib le  with   ViT   p atch   to k en izatio n .   T h p atch   s ize  is   ad ju s tab le,   allo win g   ViT   to   ef f ec tiv ely   le ar n   h ier a r ch ical  r e p r esen tatio n s   wh ile  p r eser v in g   g lo b al  s tr u ctu r al  r elatio n s h ip s   in   m u lti - ch an n el  E E s ig n als an d   f r eq u en cy - b an d   v a r iab ilit y .   ViT   co m p u tatio n   ca n   b d y n am ically   s ca led   an d   allo ws  f o r   p ar allel  co m p u tati o n   b y   p r o ce s s in g   all  in p u to k en s   s im u ltan eo u s ly .   T h is   m eth o d   f ac ilit ates  lo n g - ter m   tem p o r al  m o d elin g ,   ad d r ess in g   R N is s u es.  ViT   allo ws  m ap p in g   ac r o s s   E E s ig n al  ch an n els an d   f r e q u en cy   b an d s .   I t c o n tr ib u tes to   class if icatio n   in   b r ain   m ap p in g .   Pre v io u s   r esear ch   u s ed   s i n g le - ch an n el  ViT   [ 1 9 ] .   Ho w ev er ,   E E s ig n als  ar r ec o r d ed   f r o m   m u ltip le  ch an n els  an d   r eq u i r ex p lo r atio n   o f   th in f o r m atio n   co n tain e d   in   ea c h   f r eq u en cy   b an d   [ 1 8 ] T h er ef o r e,   w av elet  an d   C NN  n ee d   to   b co m b in ed   with   Vi T .   T h h y b r id   m o d el  h elp s   i m p r o v e   p atch - b ased   ViT   lear n in g .   Hen ce ,   th in te r p r etatio n   a n d   p h y s io lo g ical  r elev an ce   o f   t h lear n e d   atten t io n   m ap s   ar m o r e   m ea n in g f u l.  C NN - ViT   was u s ed   f o r   em o tio n   class if icatio n   o f   s in g le  ch an n el   [ 2 0 ] ,   [ 2 1 ] .   C NN  is   s u itab le  f o r   f ea tu r e x tr ac tio n ,   b u lear n i n g   g ets  s tu ck   o n   n e u r o n   lo ca lizatio n .   T h er ef o r e,   class if icatio n   is   p er f o r m ed   u s in g   th e   ViT   to   ca p tu r th e   g lo b al  co n n ec tiv ity   o f   m u lti - ch a n n el  E E s ig n als  an d   v ar io u s   f r eq u e n cy   b an d s   with   b r ain   c o n n ec tio n s   d u r in g   s p ec i f ic  em o tio n s .   T h e   in teg r atio n   o f   DW T ,   2 C NN,   an d   ViT   in   th is   p ap er   r ep r esen ts   n ew  s tep   to war d s   im p r o v in g   ac cu r ac y ,   tr ain in g   s tab ilit y ,   an d   ef f icien cy ,   as  well  as u n d er s tan d in g   t h r ele v an ce   o f   ea ch   f r eq u e n cy   b a n d   to   em o tio n s .     T h n o v elty   o f   th is   r esear ch   is   th in teg r atio n   o f   2 D - C NN  b ased   o n   w av elets  wit h   ViT   f o r     EEG - b ased   em o tio n   class if icatio n .   W av elets  en ab le  th e x tr ac tio n   o f   f r e q u en c y   b a n d s   th at  co r r esp o n d   t o   d is tin ct  em o tio n   class es.  T h 2 C NN - ViT   ar ch itectu r allo ws  f o r   m o r s tab le  an d   r o b u s g en er aliza tio n   o f   th E E s ig n al   with   ce r tain   e m o tio n s .   A   h y b r id   C NN - tr an s f o r m er   ar ch itectu r h as   b ee n   a p p lied   to   th e   DE AP  d ataset  f r o m   p r ev io u s   r esear c h   [ 2 1 ] .       2.   M E T H O D   2 . 1 .     Da t a s et   des cr iptio n   T h is   s tu d y   e m p lo y s   SEE D,   a   wid ely   u s ed   b en c h m ar k   f o r   E E G - b ased   em o tio n   r ec o g n itio n   [ 8 ] ,   [ 9 ] T h SEE d ataset  c o n tain s   E E r ec o r d in g s   f r o m   1 5   s u b jec ts ,   ea ch   p a r ticip atin g   in   3   ex p er im en tal  s ess io n s .   Su b jects  wer ex p o s ed   to   s tim u li  elicitin g   th r e em o tio n a s tates  ( p o s itiv e,   n eu tr al,   an d   n eg ati v e)   th r o u g h   em o tio n al  f ilm   v id e o s .   E E s ig n als  wer r ec o r d ed   u s in g   6 2   ch an n els  f o llo win g   th in ter n atio n al     10 2 0   s y s tem ,   with   s am p lin g   r ate  o f   2 0 0   Hz.   T h r e d u ctio n   f r o m   6 2   c h an n els to   1 2   ch a n n els wa s   p er f o r m ed   u s in g   r elev a n r eg io n - b ased   ch an n el  s elec tio n   a p p r o ac h   [ 1 5 ] .   E m o tio n s   ar cl o s ely   r el ated   to   th f r o n tal,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3936   tem p o r al,   a n d   p ar ietal  ar ea s .   T h ey   ar e   FT7 ,   FT8 ,   T 7 ,   T 8 ,   C 5 ,   C 6 ,   T P7 ,   T P8 ,   C P5 ,   C P6 ,   P7 ,   an d   P8   [ 2 2 ] .   T h is   ap p r o ac h   m ain tain s   n eu r o p h y s io lo g ical  r elev an ce   wh ile  r ed u cin g   r ed u n d a n cy   an d   co m p u t atio n al  co m p lex ity ,   p ar ticu lar ly   b en ef icial  p r o p e r ty   f o r   tr an s f o r m er - b ased   ar ch itectu r es.    L et  ( ) ,   d en o te  t h r aw  E E s ig n al  am p litu d r ec o r d ed   f r o m   th   E E ch an n el  at  d is cr ete  tim in d ex   t,  wh er   { 1 ,   2 ,   ,   1 2 }.   An   E E tr ial  co n s is tin g   o f   1 2   ch an n els an d   T   1 0 0 0   p o i n ts   o r     5   s ec o n d s   is   r ep r esen ted   i n   ( 1 ) .     [ 1 ( 1 ) 1 ( 1000 ) 12 ( 1 ) 12 ( 1000 ) ]   ( 1 )     2 . 2 .     M o del  d esig n   EEG - b ased   em o tio n   r ec o g n it io n   in teg r ates  tim e - f r eq u e n cy   an aly s is ,   lo ca s p atial - s p ec tr al  f ea tu r e   lear n in g ,   an d   g lo b al   co n tex t u al  m o d elin g .   R aw  s ig n als  ar e   ex tr ac ted   i n   th e   th eta,   alp h a,   b eta,   an d   g am m f r eq u e n cy   b an d s   u s in g   d is cr ete  wav elet  tr an s f o r m   ( DW T ) .   T h p r esen ce   o f   ea ch   o f   th ese  b an d s   is   s tr o n g ly   co r r elate d   with   e m o tio n al   s tates,  f ac ilit atin g   th id e n tific atio n   s tag [ 2 3 ] .   T h e   p r o p o s ed   m o d el,   b ased   o n   a     5 - s ec o n d   d ataset  o r   1 , 0 0 0   p o in ts ,   is   d ec o m p o s ed   u s in g   D W T .   T h en ,   th e   1 2   ch an n els  ar ex tr ac ted   u s in g   a     2 C NN  an d   m ap p e d   u s in g   V iT,   as sh o wn   in   Fig u r 1 .         D e c om pos i t i on T h e t a A l p h a Be t a G a m m a D i s cret W av el et   T ran s fo rm E E G   s i g n a l s   e v e ry   5   s e c o n d s   o 1 2   c h a n n e l s T ra i n i n g   d a t a S p a t i a l   o D W T   o 3 2 x 3 2 2 D   T o p o m a p F e a t ure  e m be ddi ng V i s i o n   T ran s fo rme r M L P   H e a d S o ft   m a x N e g a t i v e N e u t r a l P o s i t i v e E m o t i o n   c l a s s E E G   s i g n a l s   e v e ry   5   s e c o n d s   o 1 2   c h a n n e l s D W T 2 D   M a t ri x   Re p re s e n t a t i o n 2 D   C N N F e a t u r e   E m b e d i n g P ool i ng 2 D   CN N Co nv+ Re L u     Fig u r 1 .   Hy b r id   2 C NN - ViT   m o d el       Fig u r 1   d escr ib es  th co m p lete  ar ch itectu r o f   th p r o p o s ed   m o d el,   in clu d i n g   th e   tr ain in g   an d   id en tific atio n   s tag es.  Du r in g   th tr ain in g   s tag e,   E E d ata  f r o m   1 5   s u b jects  wer co llected   wh ile  th ey   v iewe d   s tim u lu s   v id eo s   f r o m   th r ee   e m o tio n   class es  ( p o s itiv e,   n eu t r al,   an d   n e g ativ e)   ac r o s s   1 2   m ain   ch an n els.  T h e   E E s ig n als  wer s eg m en te d   in to   f iv e - s ec o n d   s eg m e n ts ,   tim win d o d u r atio n   p r o v en   t o   p r o v id e   a n   o p tim al  b alan ce   b etwe en   te m p o r al  r eso lu tio n   an d   s tab ili ty   o f   em o tio n al  f ea tu r es  [ 2 4 ] .   T h en ,   th e y   wer p r o ce s s ed   u s in g   th DW T   to   ex tr ac f iv f r eq u e n cy   b a n d s ,   in clu d in g   th eta,   alp h a ,   b eta,   a n d   g am m wav es,   wh ich   r ep r esen co g n itiv an d   em o tio n al  ac tiv ity   [ 2 5 ] .   T h DW T   r esu lt s   ar ex p r ess ed   as  2 to p o m ap   m ea s u r in g   3 2   ×   3 2   p ix els  th at  d is p lay s   th d is tr ib u tio n   o f   f r eq u en cy   en e r g y   ag ai n s E E ch an n el  p o s itio n s ,   an   ef f ec tiv tech n iq u f o r   p r es er v in g   s p atial  in f o r m atio n   [ 2 6 ] .   T h is   to p o m ap   is   u s ed   as  in p u to   2 C NN  to   ex tr ac lo ca s p atial  p atter n s   ac r o s s   ch an n els  an d   f r eq u en cy   b an d s .   T h r esu lt  is   an   8   ×   8   ×   2 5 6   f ea tu r m ap ,   wh ich   is   th en   f latten ed   in to   f ea tu r em b ed d in g   ( 6 4   p atc h e s   ×  2 5 6   d im en s io n s )   an d   s en to   ViT .   ViT   lear n s   g lo b al  r elatio n s h i p s   b etwe en   p atch es  u s in g   m u lti - h ea d   s elf - atten tio n   m ec h an is m   t h at  is   s u p er io r   in   ca p tu r in g   lo n g - ter m   d ep e n d en cies  co m p ar ed   to   r ec u r r en m eth o d s   [ 2 7 ] .   T h e   o u tp u o f   Vi T   is   p ass ed   to   t h e   m u lti - lay er   p er ce p tr o n   ( ML P)   h ea d   an d   s o f tm ax   class if ier   to   d eter m in t h r ee   em o tio n   cla s s es.  T h p r o p o s ed   ar ch itectu r s u p p o r ts   r ea l - tim em o tio n   p r ed ictio n ,   as  s h o w n   b y   th b o tto m   p ath   in   Fig u r 1 .   New   E E d ata  r ec o r d e d   in   r ea tim is   th en   p r o ce s s ed   with   DW T   →  2 C NN  →  ViT ,   an d   ev er y   5   s e co n d s ,   it  g en e r ates  lab el  f o r   o n o f   th th r ee   em o t io n   class es.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a u s in g   h yb r id   co n vo lu tio n a   ( E s mera ld a   C o n tess a   Dja ma l )   3937   2 . 3 .     Dis cr et wa v ele t   t ra ns f o rm s   Af ter   b an d - p ass   f ilter in g   in   th r an g o f   4 4 8   Hz,   th E E s ig n al  is   ex p r ess ed   as ( 2 ) .     ̃ ( ) = 4 48 { ( ) }   ( 2 )     T h p r ep r o ce s s in g   s tag u s es   th DW T .   T h is   m eth o d   was  ch o s en   b ec au s it  ca n   an al y ze   n o n - s tatio n ar y   s ig n als  s u ch   as   E E an d   p r o v id es  d etailed   in f o r m atio n   o n   f r eq u en cy   ch a n g es  o v er   t im e.   W av elet - b ased   ap p r o ac h es  ar s u p er io r   at  ca p tu r in g   a b r u p tr an s itio n s   in   b io m ed ical  s ig n als  co m p ar ed   to   s tan d a r d     Fo u r ier - b ased   m eth o d s   [ 2 8 ] .   E ac h   E E s ig n al  s eg m en f r o m   th p r ev io u s   s tag is   d ec o m p o s ed   to   p r o d u ce   f iv m ain   f r eq u en cy   b an d s th eta  ( 4 8   Hz) ,   alp h ( 8 1 3   Hz) ,   b eta  ( 1 4 3 0   Hz) ,   an d   g am m ( 3 1 4 8   Hz)   [ 2 9 ] wh ich   ar e   r elate d   t o   em o tio n a s tates.  Fo r   ex am p le,   th e   alp h b an d   o f ten   a p p ea r s   in   r elax e d   s tates,  wh ile  th e   b eta  an d   g am m b an d s   ar e   m o r d o m in an d u r i n g   tim es  o f   h ig h   m en tal  ac tiv ity   o r   s tr o n g   em o tio n s   [ 3 0 ] R ec en co m p u tatio n al  n e u r o p h y s io lo g y   s tu d ies  co n f ir m   th a p o wer   f lu ctu atio n s   in   th h i g h - f r e q u en c y   b an d s   ( b eta  an d   g am m a)   ar th m o s co n s is ten b io m ar k er s   f o r   d is tin g u is h in g   p o s itiv an d   n eg ativ em o tio n a l   v alen ce   [ 2 5 ] .   Ap p ly in g   th D W T   to   th f ilter ed   E E s ig n al  y ield s   wav elet  co ef f icien ts   as sh o wn   in   ( 3 ) .     ̃ ( ) = , ( ) , ( ) + , ( ) = 1 , ( )   ( 3 )     W h er e   , ( )   is   ch an n el  ap p r o x im a tio n   co ef f icien c , ( )   is   d etail  co ef f icien o n   s ca le  j ,   an d   ( ) , ( )   ar e   s ca le  f u n ctio n   an d   wav elet W av elet  co ef f icien ts   ar g r o u p e d   in to   em o tio n - r elate d   E E b a n d s   as ( 4 ) .     W = [ W , W , W , W ]   ( 4 )     W h er θ   is   4 8   Hz,   α   is   8 1 3   Hz,   β   is   13 3 0   Hz,   a n d   γ   is   30 4 8   Hz .   T h DW T   d ec o m p o s itio n   r es u lts   f o r   ea ch   E E c h an n el   a r th en   ar r an g e d   in t o   a   2 D   m atr ix   th at  r ep r esen ts   th en er g y   d is tr ib u t io n   o f   ea ch   f r eq u e n cy   b an d   ac r o s s   th ch an n els.  T h is   2 r ep r esen tatio n   is   u s ed   as  in p u t   f o r   a   2 D - C NN  to   r ec o g n ize  s p atial  p atter n s   b etwe en   ch an n els  an d   f r e q u en cy   c h ar a cter is tics   r elate d   to   em o tio n s .   T h is   tr an s f o r m atio n   to   an   im a g m atr ix   f o r m at  allo ws  th C NN  m o d el  to   ex p l o it  s p atial  co r r elatio n s   b etwe en   elec tr o d es  th at  ar o f te n   lo s wh en   u s in g   o n ly   o n e - d im e n s io n al  v ec to r s   [ 2 6 ] .   Fo r   ea ch   tr ial,   th wav elet  f ea tu r es a r a r r an g e d   in to   2 r ep r esen tatio n   as ( 5 ) .     ×   ( 5 )     W h er   is   1 2 ,     is   4   ( n u m b e r   o f   f r eq u e n cy   b a n d s ) ,   an d     is   ch an n el f r eq u en cy   E E f ea tu r e   m ap .     2 . 4 .     H y brid 2 co nv o lutio n a l neura l net wo rk v is io n t ra ns f o rm er   h y b r id   m o d el  co m b i n in g   C NN  an d   ViT .   At  th i s   s tag e ,   co n v o lu tio n   o p e r atio n   is   ap p lied   to   ex tr ac t lo ca l p atter n s   f r o m   th e   2D   DW T   r ep r esen tatio n .   T h e   co n v o l u tio n   o p er atio n   is   f o r m u lated   in   ( 6 ) .     ( , ) = ( × ) ( , ) = ( , ) . ( , )   ( 6 )     W h er   is   th in p u m atr ix   r esu ltin g   f r o m   t h DW T   tr an s f o r m atio n ,     is   th co n v o lu tio n   k e r n el,   an d   ( , )   is   th co n v o lu tio n al  f ea tu r m ap .     C NNs  e x t r a ct   im p o r ta n t   e m o tio n a f e at u r es  in   s p ec if ic   f r e q u e n c y   b an d s   f r o m   m u l ti - c h a n n el   E E G   s ig n als .   M u lt ip le   co n v o l u ti o n a l a y e r s ,   ac t iv ati o n   f u n ct io n s ,   a n d   m a x   p o o li n g   o p e r a ti o n s   r e d u c e   d im en s io n a lit y   wit h o u t   l o s i n g   i n f o r m ati o n ,   w h ic h   a r e   k e y   a d v a n t a g es   o f   C NNs.   M ea n w h il e,   V iT   m o d e ls   g l o b al   r el ati o n s h ip s   am o n g   f ea t u r es   v ia   s el f - att e n ti o n   m e ch a n is m   [ 3 1 ] .   T h e   o u t p u o f   t h e   C NN   is   co n v e r t e d   i n t o   f i x ed - s i ze   p at c h   e m b e d d i n g .   V iT  u t ili ze s   two   at te n ti o n   h e ad s   a n d   o n e n c o d e r   l a y e r ,   ea ch   e q u i p p ed   wit h   m u lti - h e ad     s elf - a tte n t io n   a n d   f e e d - f o r w a r d   n et wo r k .   T h C N f e at u r m a p   is   d i v i d e d   i n t o     p at ch es  as   ( 7 ) .     0 = [ 0 1 , 0 2 , , 0 ]   ( 7 )     0 = +   ( 8 )     W h er   is   p atch   E E i - th , E   is   m atr ix   em b e d d in g ,   an d     is   p o s itio n al  en co d in g .     T h o u tp u o f   ViT   is   p ass ed   t o   f u lly   co n n ec ted   lay er   an d   f in ally   d eter m in es  th em o tio n   ca teg o r y :   p o s itiv e,   n eu tr al,   o r   n e g ativ u s in g   s o f tm ax   [ 3 2 ] .   T h f u n ctio n   u s ( 9 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3938   ̂ =   (  +  )   ( 9 )     W h er ̂ 3   is   th p r o b ab ilit y   o f   cl ass p o s itiv e,   n eu tr al,   an d   n eg ativ e.   T h d ataset  is   s p lit  8 0 %   f o r   tr ai n in g   an d   2 0 f o r   test in g ,   s tan d a r d   s p lit  r atio   u s ed   in   t h SEE d ataset  to   av o i d   o v er f itti n g   an d   v alid ate  m o d el  g en er aliza tio n   [ 3 3 ] .   T h p r e - ex p er im e n tal  r esu lts   d eter m in ed   th p ar am eter s   o f   b atch   s ize  4 ,   A d am W   o p tim izer ,   an d   lear n in g   r ate  0 . 0 0 0 1 ,   as in   T ab le  1 .       T ab le  1 .   Ar c h itectu r o f   h y b r i d   DW T - 2 C NN - ViT   La y e r   C o n f i g u r a t i o n   O u t p u t   s h a p e   N u mb e r   o f   p a r a me t e r s   I n p u t   l a y e r   EEG   ( 3 2   ×   32   ×   3)   32   ×   32   ×   3   0   C o n v 2 D _ 1   3 2   f i l t e r ,   k e r n e l   3   ×   3 ,   R e LU   30   ×   30   ×   32   8 9 6   M a x P o o l i n g 2 D _ 1   P o o l   2   ×   2   15   ×   15   ×   32   0   C o n v 2 D _ 2   6 4   f i l t e r ,   k e r n e l   3   ×   3 ,   R e LU   13   ×   13   ×   64   1 8 , 4 9 6   F l a t t e n   -   1 0 8 1 6   0   P a t c h   e mb e d d i n g   16   ×   1 6   p a t c h   16   ×   2 5 6   -   V i e n c o d e r   1   l a y e r ,   2   h e a d ,   M LP  d i 2 5 6   16   ×   2 5 6   -   D e n se   ( s o f t ma x )   O u t p u t   =   3   c l a ss e s   3   7 7 1   N u mb e r   o f   p a r a me t e r s   2 0 , 0 0 0       T ab le  1   s h o ws  th at  th e   C NN  co m p o n en e x tr ac ts   s p atial  f e atu r es  f r o m   th e   DW T   r esu lts ,   wh ile  ViT   lear n s   g lo b al  r elatio n s h ip s   ac r o s s   ch an n els  an d   tim e.   T h is   m o d el  co n f i g u r atio n   im p r o v es  th m o d el' s   ab ilit y   to   r ec o g n ize  em o tio n al  p atte r n s ,   as  m ea s u r ed   b y   ac c u r ac y ,   s tab ilit y ,   an d   tim e.   T h r o u g h o u th tr ai n in g   p r o ce s s ,   ac cu r ac y   v alu es  in cr ea s ed   s tead ily ,   in d icatin g   th a th m o d el  ef f ec tiv ely   an d   ef f icien tly   lear n ed   s p atial  p atter n s   an d   r elatio n s h ip s   am o n g   E E ch an n els.  T h Ad am W   o p tim izer   was  s e lecte d   b ased   o n   its   ab ilit y   to   s ep ar ate  weig h d e ca y   f r o m   th e   g r a d ien ad a p tatio n   s tep ,   c o m m o n   wea k n e s s   o f   th s tan d ar d   Ad am .   C o m p ar ativ e   s tu d ies  h av s h o wn   t h at  Ad am W   co n v er g es  f aster   an d   g en e r alize s   b etter   th an   class ical   o p tim izatio n   m eth o d s   s u ch   as  R MSPr o p   o r   r eg u lar   Ad am   [ 3 4 ] .   T h m o d el  tr ain in g   p r o ce s s   u s es  cr o s s - en tr o p y   lo s s   f u n ctio n   to   m in im ize  p r ed ictio n   er r o r s   in     m u lti - class   class if icatio n .   T h is   f u n ctio n   wo r k s   b y   ca lcu l atin g   th e   lo g a r ith m ic  d if f er en ce   b etwe en   th e     s o f tm ax - p r e d icted   p r o b ab ilit ies  an d   th ac tu al  class   lab els,  th er eb y   f o r cin g   th m o d el  to   in cr ea s th co n f id en ce   in   th e   co r r ec class   [ 3 5 ] .   All  e x p er im e n ts   wer im p lem en ted   u s in g   th Py T o r ch   f r a m ewo r k   o n   a   g r ap h ics  p r o ce s s in g   u n it  ( GPU ) - p o wer ed   c o m p u tin g   en v ir o n m en f o r   ac ce ler ated   C NN  an d   s elf - atten tio n   m atr ix   o p e r atio n s .       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Co nfi g ura t io des ig n e x perim ent   T o   o b tain   th o p tim al  m o d el  co n f ig u r atio n ,   e x p er im e n ts   wer co n d u cted   o n   s ev er al  k ey   p ar am eter s   o f   th h y b r id   C NN ViT   ar c h itectu r e,   in clu d i n g   p o s itio n al  em b ed d in g s ,   ViT   d im en s io n s ,   th n u m b er   o f   atten tio n   h ea d s ,   th n u m b e r   o f   en co d er   lay er s ,   an d   th lear n in g   r ate,   wh ich   ar p r esen ted   i n   T ab le  2 .   T ab le  2   s h o ws  th at  in cr ea s in g   m o d el  ca p ac ity   d o es  n o alwa y s   r esu lt  in   b etter   p er f o r m a n ce .   I n   c o n f ig u r atio n   B ,   th e   ViT   d im en s io n   was  in cr ea s ed   to   2 5 6   with   eig h atten tio n   h ea d s ,   b u ac c u r ac y   ac t u ally   d ec r ea s ed   b y   3 3 %.  C o n f ig u r atio n s   an d   B   ar to o   co m p lex ,   lea d in g   to   u n s tab le  lear n in g   a n d   o v e r f i ttin g .   C o n v e r s ely ,   co n f ig u r atio n   C   is   m o r lig h tweig h an d   ac h iev es  8 7 ac cu r ac y .   T h is   s im p ler   ar c h itectu r ca n   a d ju s t     th lear n in g   r ate   an d   im p r o v tr ain i n g   e f f icien cy   wh il m ain tain in g   g r ad ien s tab ilit y .   T h o p tim al  co n f ig u r atio n   ( C )   ac h iev e d   t h h ig h est  p er f o r m an ce   with   8 7 ac cu r ac y ,   s ig n if ican tly   o u tp e r f o r m in g   t h in itial  s etu p   ( A)   b y   2 8 %.  Fu r t h er m o r e ,   th e   m in im al   lo s s   o f   0 . 1 0   in   co n f ig u r atio n   C   in d ic ates  s ig n if ican tly   m o r p r ec is m o d el  c o m p a r ed   to   th o th er s .   T h ese  r esu lts   co n f ir m   t h at  th a p p lied   o p tim i za tio n   s u cc ess f u lly   s tab ilized   th tr ain in g   p r o ce s s   an d   m ax im ize d   lear n in g   ab ilit y .       T ab le  2 .   Per f o r m an ce   co m p a r is o n   b etwe en   co n f ig u r atio n s   C o n f i g u r a t i o n   P o si t i o n a l   e m b e d d i n g   V i ( d i m - h e a d - l a y e r )   Le a r n i n g   r a t e   A c c u r a c y   ( %)   Lo ss   C o n v e r g e n c e   r e mar k s   A   ( i n i t i a l )   R a n d o m   1 2 8       2   10 - 3   59   0 . 8 0   H i g h l y   f l u c t u a t i n g   B   R a n d o m   2 5 6       2   10 - 3   33   1 . 1 0   M o d e l   n o t   l e a r n i n g   C ( o p t i ma l )   N u l l   1 2 8       1   10 - 4   87   0 . 1 0   S t a b i l i t y   a n d   f a st       Fig u r 2   s h o ws  th tr an s ien t - s tate  p er f o r m a n ce   f r o m   T a b le  3   o f   th r ee   m o d el   d esig n s .   Fi g u r 2 ( a)   s h o ws  th ac cu r ac y   p er f o r m a n ce .   I n itially ,   th e y   h av e   an   ac cu r ac y   o f   5 9 %   with   f l u ctu atio n s .   C o n f ig u r atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a u s in g   h yb r id   co n vo lu tio n a   ( E s mera ld a   C o n tess a   Dja ma l )   3939   ap p ea r s   u n s tab le  d u to   th e   r a n d o m   e m b ed d in g .   Ho we v er ,   t h o p tim al  co n f ig u r atio n   B   co n tin u es  to   im p r o v e   an d   r ea ch es  8 7 %.  C o n f ig u r ati o n   B   r em ain s   lo w,   in d icatin g   u n d er f itti n g   d u to   ex ce s s iv e   co m p lex ity   an d   p o o r   lear n in g   r ate.   Fo r   th l o s s   v alu s h o wn   in   Fig u r 2 ( b ) ,   th o r an g cu r v d ec r e ases   r ap id ly   f r o m     0 . 8 0 9   t o   0 . 0 8 7 ,   in d icatin g   s o li d   co n v e r g en ce   is   o cc u r r in g .   T h in itializatio n   r esu lts   r em ain   h ig h   an d   u n s tab le,   wh ile  co n f ig u r atio n   B   f ails   to   s ig n if ican tly   r ed u ce   th lo s s ,   in d icatin g   u n d er f itti n g .           ( a)   ( b )     Fig u r 2 .   Per f o r m an c o f   h y b r id   C NN - ViT   of   ( a )   ac cu r ac y   a n d   ( b )   lo s s       T ab le  3   p r esen ts   d etailed   co m p ar is o n   o f   p r ec is io n ,   r ec all,   an d   F1 - s co r es  f o r   ea ch   class .   A s   o b s er v ed ,   th e   p r o p o s ed   im p r o v em en ts   r esu lted   i n   s ig n if ica n p er f o r m an ce   g ain s   ac r o s s   all  ca teg o r ies.  I n   t h e   n eg ativ class ,   p r ec is io n   in cr e ased   s h ar p ly   f r o m   3 6 to   8 4 %,  wh ile  r ec all  r o s f r o m   1 2 to   8 0 %,  in d icatin g   th at  th o p tim ized   m o d el  s u cc ess f u lly   id en tifie s   p r ev io u s ly   m is s ed   n eg ativ em o tio n s .   Similar   en h an ce m en ts   ar ev id en t   in   th e   n eu tr al   class ,   wh er p r ec is io n   im p r o v e d   f r o m   4 7 to   8 2 %,  with   r ec all  r em ain in g   s tab le  at  a   h ig h   le v el  ( 8 5 to   8 6 %).   Me an wh ile,   th e   p o s itiv class   ac h iev ed   t h m o s co n s is ten r es u lts ,   with   p r ec is io n   r is in g   f r o m   8 0 to   9 4 an d   r ec all  f r o m   6 6 to   9 3 %,  cu lm i n atin g   in   h i g h   F1 - s co r e   o f   9 3 %.  T h ese  m etr ics  co n f ir m   t h at  th o p tim al  co n f i g u r atio n   o f f e r s   s u p er io r   s en s itiv ity   an d   p r ec is io n   co m p ar ed   to   th in itial m o d el.       T ab le  3 .   Per f o r m an ce   co m p a r is o n   b etwe en   th in itial a n d   th e   im p r o v is atio n   C l a s s   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - sc o r e   ( %)     I n i t i a l   O p t i mal   I n i t i a l   O p t i mal   I n i t i a l   O p t i mal   N e g a t i v e   36   84   12   80   18   82   N e u t r a l   47   82   85   86   60   84   P o si t i v e   80   94   66   93   72   93       3 . 2 .     E f f ec t   o f   hy brid co m po nent:   a bla t io n t esting   T h m o d el  co n f ig u r atio n   was  ab lated   b y   r em o v i n g   o n o f   th co m p o n en ts   o f   DW T ,   2 C NN,   an d   ViT ,   o n   its   p er f o r m an ce ,   as  s h o wn   in   T ab le  4 .   I is   s h o wn   th at  DW T   im p r o v es  ac cu r a cy   b y   3 8 . 7 6 an d   r ed u ce s   tim b y   2 1 . 6 8   m in u t es.  Me an wh ile,   2 D   C NN  s p atial  ex tr ac tio n   im p r o v es  ac cu r ac y   b y   9 . 5 3 an d   r ed u ce s   tim b y   1 7 . 3   m in u tes.  ViT   ac h iev es  an   ac cu r ac y   i n cr ea s o f   1 . 5 8 b u r ed u ce s   co m p u tatio n   tim e   s ig n if ican tly ,   n am ely   4 0 %,  ch ar ac ter is tic  o f   tr ain in g .       T ab le  4 .   Ab latio n   t esti n g   of   D W T ,   2 C NN,   ViT   M o d e l   A c c u r a c y   ( %)   Lo ss   Le a r n i n g   t i me   ( mi n u t e s)   2 D   C N N + V i ( w i t h o u t   D W T)   4 7 . 9 3   ( )   0 . 4 2   3 4 . 0 2   ( )   D W T+ V i T   7 7 . 1 6   ( )   0 . 4 8   2 9 . 7 0   ( )   D W T+ 2 D   C N N   8 5 . 1 1   ( )   0 . 1 8   2 9 . 6 5   ( )   D W T+ 2 D   C N N + V i T   8 6 . 6 9   ( )   0 . 0 8   1 2 . 3 4   ( )       Fig u r 3   s h o ws  th at  th m o d el  with o u DW T   h as   an   ac cu r ac y   b elo 5 0 an d   lo s s   ab o v 1 . 0   d u r in g   tr ain in g .   I n   co n tr ast,  t h DW T   2 C NN  ViT   m o d el  s h o ws  f ast  an d   s tab le  co n v er g en ce   s tar tin g   f r o m   th e   1 0 t h   ep o ch .   T h co m b in atio n   o f   DW T ,   C NN,   an d   ViT   is   ef f icien an d   r o b u s t.   T h p er f o r m a n ce   in   ea ch   ca s in   T a b le  4   ca n   b i llu s tr ated   in   Fig u r e   3 ( a)   f o r   a cc u r ac y ,   w h ich   p r esen ts   m a r k ed   im p r o v em en t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3940   o v er   co n f ig u r atio n s   with o u DW T .   T h en ,   th f ea tu r r e d u ce s   d im en s io n ality   wh ile  s till   p r eser v in g   lo ca s p atial  f ea tu r es  f o r   u s in   C NNs.  Simu ltan eo u s ly ,   ViT   is   also   ad d ed ,   ac h iev in g   t h h i g h est  ac cu r ac y ,   with   im p r o v e d   tr ain in g   s tab ilit y   an d   r ed u ce d   co m p u tatio n   tim e.   Fig u r 3 ( b )   p r esen ts   th co r r esp o n d in g   lo s s   co m p ar is o n .   T h DW T C NN ViT   m o d el  p r o v id es  th lo west  lo s s   v alu e,   co n v er g es,  a n d   is   s tab le.   T h ese   r esu lts   co n f ir m   th at  DW T   p l ay s   cr u cial  r o le   in   e x tr ac ti n g   f ea t u r es  in   r elev an t   f r e q u en cy   b an d s .   C NN  ef f ec tiv ely   m o d els  lo ca s p atial  p atter n s ,   an d   ViT   ca p tu r es  s im u ltan eo u s   s p atio - tem p o r al  r elatio n s h ip s   th r o u g h   s elf - atten tio n .           ( a)   ( b )     Fig u r 3 .   Per f o r m an c o f   ea c h   co m p o n en t   of   ( a)   ac c u r ac y   an d   ( b )   l o s s       3 . 3 .     E f f ec t   o f   le a rning   weig ht  co rr ec t io n t ec hn iqu es   Af ter   d eter m in in g   th e   co n f ig u r atio n   a n d   m ain   co m p o n en t s ,   s ev er al  o p tim izatio n   alg o r i th m s   wer ass es s ed   f o r   th eir   im p ac o n   t r ain in g .   T h o p tim izer s   co m p a r ed   wer Ad am ,   Ad am W ,   Ad aM ax ,   NAd am ,   an d   R MSPr o p ,   all  with   lear n in g   r a te  o f   1   ×   10 - 4 .   T h p er f o r m a n c co m p ar is o n   r esu lts   ar p r ese n ted   in   T ab le  5 .       T ab le  5 .   C o m p a r is o n   o f   s o m o p tim izer s   O p t i mi z e r   A c c u r a c y   ( %)   Lo ss   Le a r n i n g   t i me   ( mi n u t e s)   A d a m   86   0 . 0 9 1   1 2 . 3 5   A d a mW   87   0 . 0 8 7   1 2 . 3 4   A d a M a x   83   0 . 1 2 8   1 3 . 5 0   N A d a m   86   0 . 0 9 3   1 8 . 0 4   R M S P r o p   86   0 . 1 0 5   1 5 . 3 8       B ased   o n   T a b le  6 ,   all  o p tim i ze r s   d em o n s tr ated   r elativ ely   s tab le  p er f o r m a n ce   with   ac cu r ac y   ab o v e   8 2 %.  T h e   d i f f er en ce s   in   r esu lts   ac r o s s   o p tim izer s   we r n o s i g n if ican t,   in d icatin g   th at   th m o d el  h ad   ac h iev e d   ar ch itectu r al  s tab ilit y th u s ,   ch an g es  to   th o p tim izatio n   alg o r ith m   d id   n o s ig n i f ican t ly   af f ec t h f i n al   p er f o r m an ce .   T h m o r in f l u en tial  f ac to r s   af f ec tin g   ac c u r ac y   wer m o d el  co n f ig u r atio n ,   ar ch itectu r al   co m p o n en ts   ( DW T ,   2 C NN,   an d   ViT ) ,   an d   lear n in g   r ate  a d ju s tm en ts .   Nev er th eless ,   Ad a m W   was  ch o s en   as  th p r im ar y   o p tim izer   b ec au s e   it  p r o v i d ed   th e   b est  b alan ce   b etwe en   g r ad ien s tab ilit y ,   8 7 ac cu r ac y ,   a n d   an   ef f icien t le ar n in g   tim o f   1 2   m in u tes.     3 . 4 .     Co m pa riso n wit prev io us   re s ea rc h   T o   ass ess   th ef f ec tiv en ess   o f   th e   p r o p o s ed   m o d el,   c o m p ar is o n   was  co n d u cted   w ith   s ev er al   p r ev io u s   s tu d ies  o n   th SEE d ataset.   T h g o al  was  to   ev alu ate  th p er f o r m a n ce   i m p r o v e m en o f   t h e     DW T   h y b r id   2 C NN - ViT   m eth o d   c o m p a r ed   to   C N N -   an d   R NN - b ased   ap p r o ac h es,  as  p r esen ted   in     T ab le  6 .   T h e   p er f o r m an ce   o f   t h p r o p o s ed   m eth o d   was  test ed   o n   th e   s am d ataset,   SEE D.   T ab le  6   s h o ws  th at   th DW T   h y b r id   2 C NN - ViT   ap p r o ac h   s u cc ess f u lly   s u r p ass ed   p r ev i o u s   r esear ch .   T h p r o p o s ed   m et h o d   ac h iev ed   an   ac c u r ac y   o f   8 6 . 6 9 %,  h ig h er   th a n   th C NN - o n l y   an d   C NN - R NN  ap p r o ac h es.   T h in teg r atio n   o f   DW T ,   C N N,   an d   ViT   im p r o v es  th m o d el' s   ab ilit y   to   r ec o g n ize  em o tio n al  p atter n s   m o r ac cu r ately ,   ef f icien tly ,   an d   s tab ly   an d   h as  th p o ten tial to   b ap p lied   to   e m o tio n   m o n ito r in g .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a u s in g   h yb r id   co n vo lu tio n a   ( E s mera ld a   C o n tess a   Dja ma l )   3941   T ab le  6 .   C o m p a r is o n   with   p r e v io u s   r esear ch   M e t h o d   A c c u r a c y   ( %)   D i f f e r e n t i a l   e n t r o p y   ( D E)   +   S V M   a n d   g r a p h   r e g u l a r i z e d   e x t r e m e   l e a r n i n g   m a c h i n e   ( G E LM )   [ 3 6 ]   79   W a v e l e t   +   2 D   C N N   [ 1 3 ]   83   W a v e l e t   +   m u l t i p l e   C N N   [ 1 4 ]   81   H y b r i d   p a r a l l e l   2 D   C N N - G R U   [ 1 1 ]   84   D W +   h y b r i d   2 D   C N N - V i ( p r o p o s e d   met h o d s)   87       4.   CO NCLU SI O N   T h r esear ch   s h o ws  way   to   em o tio n   r ec o g n itio n   o f   E E s ig n als  u s in g   h y b r i d   wav elet  tr an s f o r m ,   th 2 C NN,   an d   th e   ViT .   T h is   s ee m s   to   im p r o v t h r ec o g n itio n   o f   em o tio n al  p atter n s   an d   th e   r o b u s tn ess   o v er all.   W av elet  tr an s f o r m   with   DW T   g ets  th r elev an f r eq u e n cy   b a n d s   an d   h an d le s   th n o n - s tatio n ar y   asp ec ts   o f   th E E s ig n als.   T h 2 C NN  ca p tu r es  lo ca s p atial  f ea tu r es,  wh ile  th e   ViT   lear n s   g lo b al  r elatio n s h ip s   b etwe en   f ea tu r e s   th r o u g h   s elf - atten tio n ,   en ab lin g   it  to   ca p tu r m o r co m p lex   p atter n s   th an   a   s in g le  C NN  m eth o d .   T h co m b in atio n   o f   t h ese  th r ee   m eth o d s   p r o v id ed   g o o d   class if icatio n   p er f o r m an ce   i n   d is tin g u is h in g   em o tio n al  s tat es.  T h e v alu atio n   m etr ics  in clu d ac cu r ac y ,   p r ec is io n ,   r e ca ll,  an d   F1 - s co r e,   wh ich   g av e   g o o d   p er f o r m an ce .   T h is   ap p r o ac h   d em o n s tr ates  h ig h   p o ten tial  f o r   ap p licatio n   i n   B C I   s y s tem s   an d   r ea l - tim em o tio n al  m o n ito r in g .   Ar ch itectu r al  co n f ig u r atio n s   s u ch   as  th n u m b er   o f   atten t io n   h ea d s ,   en co d er   lay er s ,   p ar am ete r   s elec tio n ,   an d   weig h t   co r r ec tio n   tec h n iq u es  o r   o p tim izer s   s ig n if ica n tly   in f lu e n ce   th e   ac cu r ac y ,   s tab ilit y ,   an d   r o b u s tn ess   o f   em o tio n   r ec o g n itio n .   T h Ad a m W   o p tim izer   p r o v id es  ac c u r ac y   im p r o v em e n ts ,   alth o u g h   n o t   s ig n if ican tly   m o r th an   th e   o th er   ar c h itectu r al  co n f ig u r atio n s .   Ov er all,   th r ec o g n itio n   p er f o r m an ce   o f   th th r ee   em o tio n   class es  is   r elativ ely   s im ilar .   Ho wev er ,   th p o s itiv em o tio n   class   p r o v id es  s u p er i o r   ac c u r a cy   co m p ar ed   to   t h o t h er   clas s es.  T h is   is   n o o n ly   d u t o   th ch ar ac ter is tics   o f   tr ain in g   d ata,   b u t   also   b ec au s th p o s itiv em o tio n   class   is   r elativ ely   ea s y   to   r ec o g n ize  f r o m   its   m o r e   d is tin ctiv f r eq u e n cy   b an d ,   w h ich   is   en h an ce d   b y   th u s o f   wav elet  tr an s f o r m s .   Fu tu r wo r k   will  f o cu s   o n   ex ten d in g   th p r o p o s ed   m o d els  f o r   cr o s s - d ataset  ev alu ati o n ,   ex p lo r in g   ad a p tiv ch a n n el  s elec tio n ,   an d   in v esti g atin g   lig h tweig h t tr a n s f o r m er   v ar ian ts   to   im p r o v e   g e n er aliza tio n   an d   r ea l - tim p e r f o r m an ce .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   is   f u n d e d   b y   t h e   p en elitia n   fu n d a men ta r eg u la r   2 0 2 5   f r o m   th I n d o n esian   Dir ec to r ate  Gen er al  o f   R esear ch   an d   C o m m u n ity   Ser v ice,   Min is tr y   o f   Hig h er   E d u c atio n ,   Scien ce ,   an d   T ec h n o lo g y   u n d er   co n tr ac t 1 2 5 /C 3 /DT . 0 5 . 0 0 /PL/2 0 2 5 .         AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   E s m er ald C o n tess Djam al                               R ev an   Vio   E n d r ia n s y ah                               Daswar Djajasa s m ita                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata   s u p p o r tin g   th e   SEE D   d ataset   co n s is ts   o f   E E d a tasets   p r o v id ed   b y   th e   B C MI   lab o r ato r y ,   av ailab le  at  h ttp s ://b cm i.sjt u . ed u . cn /h o m e/seed /,   with   5 - s e co n d   s eg m e n tatio n s .   C o d in g   o f   th ex p er im en t   av ailab le  in   GitHu b   at  h ttp s ://g ith u b . c o m /R ev an VE /eeg - em o tio n - class if icatio n - with - VI T . g it .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 9 3 4 - 3 9 4 3   3942   RE F E R E NC E S   [ 1 ]   P .   Le szc z e ł o w s k a   a n d   N .   D a w i d o w sk a ,   S y s t e m a t i c   l i t e r a t u r e   r e v i e w   f o r   e mo t i o n   r e c o g n i t i o n   f r o m   EEG   si g n a l s ,   N e w   T r e n d s   i n   D a t a b a se  a n d   I n f o rm a t i o n   S y st e m ( AD BI S   2 0 2 2 ) .   C h a m ,   S w i t z e r l a n d :   S p r i n g e r ,   p p .   4 6 7 4 7 5 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 1 5 7 4 3 - 1 _ 4 3 .   [ 2 ]   Y .   W a n g   e t   a l . ,   A   s y s t e ma t i c   r e v i e w   o n   a f f e c t i v e   c o m p u t i n g :   e m o t i o n   mo d e l s ,   d a t a b a ses ,   a n d   r e c e n t   a d v a n c e s,   I n f o rm a t i o n   Fu si o n ,   v o l .   8 3 8 4 ,   p p .   1 9 5 2 ,   J u l .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s. 2 0 2 2 . 0 3 . 0 0 9 .   [ 3 ]   J.  N .   S c h n e i d e r ,   M .   M a t y j e k ,   A .   W e i g a n d ,   I .   D z i o b e k ,   a n d   T.   R .   B r i c k ,   S u b j e c t i v e   a n d   o b j e c t i v e   d i f f i c u l t y   o f   e m o t i o n a l   f a c i a e x p r e ss i o n   p e r c e p t i o n   f r o d y n a m i c   s t i m u l i ,   PLO S   O N E ,   v o l .   1 7 ,   n o .   6 ,   J u n .   2 0 2 2 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 2 6 9 1 5 6 .   [ 4 ]   W .   M a ,   Y .   Z h e n g ,   T.   L i ,   Z .   Li ,   Y .   Li ,   a n d   L.   W a n g ,   A   c o mp r e h e n s i v e   r e v i e w   o f   d e e p   l e a r n i n g   i n   EE G - b a se d   e m o t i o n   r e c o g n i t i o n :   c l a ssi f i c a t i o n s,  t r e n d s ,   a n d   p r a c t i c a l   i m p l i c a t i o n s ,   P e e rJ   C o m p u t e S c i e n c e ,   v o l .   1 0 ,   M a y   2 0 2 4 ,     d o i :   1 0 . 7 7 1 7 / p e e r j - c s . 2 0 6 5 .   [ 5 ]   A .   C h a d d a d ,   Y .   W u ,   R .   K a t e b ,   a n d   A .   B o u r i d a n e ,   El e c t r o e n c e p h a l o g r a p h y   si g n a l   p r o c e ssi n g :   a   c o mp r e h e n si v e   r e v i e w   a n d   a n a l y si s   o f   m e t h o d s   a n d   t e c h n i q u e s,”   S e n so rs ,   v o l .   2 3 ,   n o .   1 4 ,   Ju l .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s2 3 1 4 6 4 3 4 .   [ 6 ]   Z.   Zh a n g ,   J .   M .   F o r t ,   a n d   L.   G .   M a t e u ,   M i n i   r e v i e w :   c h a l l e n g e i n   EEG   e mo t i o n   r e c o g n i t i o n ,   Fr o n t i e rs   i n   Psy c h o l o g y ,   v o l .   1 4 ,   Jan .   2 0 2 4 ,   d o i :   1 0 . 3 3 8 9 / f p s y g . 2 0 2 3 . 1 2 8 9 8 1 6 .   [ 7 ]   J.  W a n g   a n d   M .   W a n g ,   R e v i e w   o f   t h e   e m o t i o n a l   f e a t u r e   e x t r a c t i o n   a n d   c l a ssi f i c a t i o n   u si n g   EEG   s i g n a l s,   C o g n i t i v e   R o b o t i c s v o l .   1 ,   p p .   2 9 4 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c o g r . 2 0 2 1 . 0 4 . 0 0 1 .   [ 8 ]   W. - L.   Z h e n g   a n d   B . - L.   Lu ,   I n v e st i g a t i n g   c r i t i c a l   f r e q u e n c y   b a n d a n d   c h a n n e l f o r   EEG - b a se d   e m o t i o n   r e c o g n i t i o n   w i t h   d e e p   n e u r a l   n e t w o r k s,   I EEE  T r a n s a c t i o n o n   Au t o n o m o u M e n t a l   D e v e l o p m e n t ,   v o l .   7 ,   n o .   3 ,   p p .   1 6 2 1 7 5 ,   S e p .   2 0 1 5 ,     d o i :   1 0 . 1 1 0 9 / TA M D . 2 0 1 5 . 2 4 3 1 4 9 7 .   [ 9 ]   R. - N .   D u a n ,   J . - Y .   Zh u ,   a n d   B . - L .   L u ,   D i f f e r e n t i a l   e n t r o p y   f e a t u r e   f o r   E EG - b a s e d   e mo t i o n   c l a ssi f i c a t i o n ,   i n   2 0 1 3   6 t h   I n t e r n a t i o n a l   I EEE / EM BS   C o n f e r e n c e   o n   N e u r a l   En g i n e e r i n g ,   N o v .   2 0 1 3 ,   p p .   8 1 84 ,   d o i :   1 0 . 1 1 0 9 / N ER . 2 0 1 3 . 6 6 9 5 8 7 6 .   [ 10 ]   K .   K a mb l e   a n d   J.  S e n g u p t a ,   A   c o m p r e h e n si v e   s u r v e y   o n   e m o t i o n   r e c o g n i t i o n   b a se d   o n   e l e c t r o e n c e p h a l o g r a p h   ( EEG )   si g n a l s,   Mu l t i m e d i a   T o o l a n d   Ap p l i c a t i o n s ,   v o l .   8 2 ,   n o .   1 8 ,   p p .   2 7 2 6 9 2 7 3 0 4 ,   Ju l .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 0 2 3 - 1 4 4 8 9 - 9.   [1 1 ]   N .   A .   P u t r i ,   E .   C .   D j a m a l ,   F .   N u g r a h a ,   a n d   F .   K a s y i d i ,   E EG   e m o t i o n   r e c o g n i t i o n   u s i n g   p a r a l l e l   h y b r i d   c o n v o l u t i o n a l - r e c u r r e n t   n e u r a l   n e t w o r k s,   i n   2 0 2 2   I n t e rn a t i o n a l   C o n f e re n c e   o n   D a t a   S c i e n c e   a n d   I t Ap p l i c a t i o n s ,   Ju l .   2 0 2 2 ,   p p .   2 4 29   d o i :   1 0 . 1 1 0 9 / I C o D S A 5 5 8 7 4 . 2 0 2 2 . 9 8 6 2 8 5 3 .   [1 2 ]   H .   M .   M .   H a sa n   a n d   M .   A .   I sl a m ,   Emo t i o n   r e c o g n i t i o n   f r o m   B e n g a l i   sp e e c h   u s i n g   R N N   mo d u l a t i o n - b a se d   c a t e g o r i z a t i o n ,   i n   2 0 2 0   T h i r d   I n t e r n a t i o n a l   C o n f e re n c e   o n   S m a r t   S y st e m a n d   I n v e n t i v e   T e c h n o l o g y ,   A u g .   2 0 2 0 ,   p p .   1 1 3 1 1 1 3 6   d o i :   1 0 . 1 1 0 9 / I C S S I T4 8 9 1 7 . 2 0 2 0 . 9 2 1 4 1 9 6 .   [ 1 3 ]   R .   H .   D .   H a q q u e ,   E.   C .   D j a ma l ,   a n d   A .   W u l a n d a r i ,   Emo t i o n   r e c o g n i t i o n   o f   EEG   si g n a l u si n g   w a v e l e t   f i l t e r   a n d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s ,   i n   2 0 2 1   8 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   Ad v a n c e d   I n f o r m a t i c s:   C o n c e p t s,   T h e o r y   a n d   Ap p l i c a t i o n s ,   S e p .   2 0 2 1 ,   p p .   1 6 ,   d o i :   1 0 . 1 1 0 9 / I C A I C TA 5 3 2 1 1 . 2 0 2 1 . 9 6 4 0 2 7 9 .   [1 4 ]   H .   D .   K h a i r u n i s sa,   E.   C .   D j a ma l ,   a n d   A .   W u l a n d a r i ,   M u l t i p l e   c o n v o l u t i o n a l   n e u r a l   n e t w o r k i n   EEG   e m o t i o n   r e c o g n i t i o n ,   i n   2 0 2 1   4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o f   C o m p u t e r   a n d   I n f o r m a t i c s   En g i n e e r i n g ,   S e p .   2 0 2 1 ,   p p .   3 0 35   d o i :   1 0 . 1 1 0 9 / I C 2 I E5 3 2 1 9 . 2 0 2 1 . 9 6 4 9 2 1 5 .   [1 5 ]   Y .   Li ,   W .   Z h e n g ,   Z .   C u i ,   T.   Zh a n g ,   a n d   Y .   Zo n g ,   A   n o v e l   n e u r a l   n e t w o r k   m o d e l   b a se d   o n   c e r e b r a l   h e mi s p h e r i c   a sy mm e t r y   f o r   EEG   e m o t i o n   r e c o g n i t i o n ,   i n   Pr o c e e d i n g o f   t h e   T w e n t y - S e v e n t h   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e   Ju l .   2 0 1 8 ,   p p .   1 5 6 1 1 5 6 7 ,   d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 1 8 / 2 1 6 .   [1 6 ]   Y .   M a   e t   a l . ,   Em o t i o n   r e c o g n i t i o n   m o d e l   o f   E EG   s i g n a l s   b a se d   o n   d o u b l e   a t t e n t i o n   mec h a n i sm,   Bra i n   S c i e n c e s ,   v o l .   1 4 ,   n o .   1 2 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / b r a i n s c i 1 4 1 2 1 2 8 9 .   [1 7 ]   W .   Ta o   e t   a l . ,   EEG - b a se d   e mo t i o n   r e c o g n i t i o n   v i a   c h a n n e l - w i se   a t t e n t i o n   a n d   se l f   a t t e n t i o n ,   I E EE  T r a n s a c t i o n o n   Af f e c t i v e   C o m p u t i n g ,   v o l .   1 4 ,   n o .   1 ,   p p .   3 8 2 3 9 3 ,   J a n .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / TA F F C . 2 0 2 0 . 3 0 2 5 7 7 7 .   [ 18 ]   A .   D o s o v i t s k i y   e t   a l . ,   A n   i m a g e   i s   w o r t h   1 6 x 1 6   w o r d s :   t r a n sf o r mers   f o r   i m a g e   r e c o g n i t i o n   a t   sca l e ,   i n   I C L 2 0 2 1   -   9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L e a r n i n g   Re p res e n t a t i o n s ,   2 0 2 1 ,   p p .   1 2 1 .   [ 19 ]   A .   A r j u n ,   A .   S .   R a j p o o t ,   a n d   M .   R .   P a n i c k e r ,   I n t r o d u c i n g   a t t e n t i o n   m e c h a n i sm  f o r   EEG   si g n a l s:   e m o t i o n   r e c o g n i t i o n   w i t h   v i si o t r a n sf o r mers ,   i n   2 0 2 1   4 3 r d   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o f   t h e   I EEE  En g i n e e ri n g   i n   M e d i c i n e   &   Bi o l o g y   S o c i e t y   N o v .   2 0 2 1 ,   p p .   5 7 2 3 5 7 2 6 ,   d o i :   1 0 . 1 1 0 9 / E M B C 4 6 1 6 4 . 2 0 2 1 . 9 6 2 9 8 3 7 .   [2 0 ]   M .   M a n s o u r ,   L.   N .   M a h m o u d ,   I .   S a d e k ,   a n d   N .   M .   S a l e m,  E mo t i o n   r e c o g n i t i o n   f r o EEG   si g n a l u s i n g   v i s i o n   t r a n sf o r m e r   a n d   C N N ,   i n   2 0 2 5   I n t e r n a t i o n a l   T e l e c o m m u n i c a t i o n C o n f e re n c e   ( I T C - E g y p t ) ,   Ju l .   2 0 2 5 ,   p p .   2 5 9 2 6 4 ,   d o i :   1 0 . 1 1 0 9 / I TC - Eg y p t 6 6 0 9 5 . 2 0 2 5 . 1 1 1 8 6 5 6 2 .   [2 1 ]   K .   D e v a r a j a n ,   S .   P o n n a n ,   a n d   S .   P e r u mal ,   H y b r i d   C N N - t r a n sf o r m e r   a r c h i t e c t u r e   f o r   e n h a n c e d   EEG - b a s e d   e m o t i o n   r e c o g n i t i o n :   c a p t u r i n g   l o c a l   a n d   g l o b a l   d e p e n d e n c i e w i t h   s e l f - a t t e n t i o n   me c h a n i sm s,”   D i s c o v e r   C o m p u t i n g ,   v o l .   2 8 ,   n o .   1 ,   M a y   2 0 2 5 ,     d o i :   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 025 - 0 9 5 9 6 - 0.   [ 2 2 ]   Z. - M .   W a n g ,   S . - Y .   H u ,   a n d   H .   S o n g ,   C h a n n e l   se l e c t i o n   me t h o d   f o r   EEG   e m o t i o n   r e c o g n i t i o n   u si n g   n o r mal i z e d   mu t u a l   i n f o r mat i o n ,   I E EE  Ac c e ss ,   v o l .   7 ,   p p .   1 4 3 3 0 3 1 4 3 3 1 1 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 4 4 2 7 3 .   [2 3 ]   A .   S u b a s i ,   T .   T u n c e r ,   S .   D o g a n ,   D .   T a n k o ,   a n d   U .   S a k o g l u ,   EEG - b a s e d   e mo t i o n   r e c o g n i t i o n   u si n g   t u n a b l e   Q   w a v e l e t   t r a n sf o r m   a n d   r o t a t i o n   f o r e s t   e n sem b l e   c l a ss i f i e r ,   B i o m e d i c a l   S i g n a l   Pro c e ssi n g   a n d   C o n t r o l ,   v o l .   6 8 ,   J u l .   2 0 2 1 ,     d o i :   1 0 . 1 0 1 6 / j . b s p c . 2 0 2 1 . 1 0 2 6 4 8 .   [2 4 ]   P .   K e e l a w a t ,   N .   T h a mm a s a n ,   M .   N u mao ,   a n d   B .   K i j s i r i k u l ,   A   c o m p a r a t i v e   s t u d y   o f   w i n d o w   si z e   a n d   c h a n n e l   a r r a n g e me n t   o n   EEG - e mo t i o n   r e c o g n i t i o n   u s i n g   d e e p   C N N ,   S e n s o rs ,   v o l .   2 1 ,   n o .   5 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s 2 1 0 5 1 6 7 8 .   [2 5 ]   S .   K .   K h a r e   a n d   V .   B a j a j ,   T i me f r e q u e n c y   r e p r e se n t a t i o n   a n d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k - b a s e d   e m o t i o n   r e c o g n i t i o n ,   I E EE   T ra n s a c t i o n o n   N e u r a l   N e t w o rks  a n d   L e a rn i n g   S y s t e m s ,   v o l .   3 2 ,   n o .   7 ,   p p .   2 9 0 1 2 9 0 9 ,   J u l .   2 0 2 1 ,     d o i :   1 0 . 1 1 0 9 / TN N LS. 2 0 2 0 . 3 0 0 8 9 3 8 .   [2 6 ]   S .   K .   G a t f a n ,   A   r e v i e w   o n   d e e p   l e a r n i n g   f o r   e l e c t r o e n c e p h a l o g r a s i g n a l   c l a ss i f i c a t i o n ,   J o u r n a l   o f   Al - Q a d i si y a h   f o C o m p u t e r   S c i e n c e   a n d   Ma t h e m a t i c s ,   v o l .   1 6 ,   n o .   1 ,   p p .   1 3 7 1 5 1 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 2 9 3 0 4 / j q c sm. 2 0 2 4 . 1 6 . 1 1 4 5 3 .   [2 7 ]   E.   V a f a e i   a n d   M .   H o ss e i n i ,   Tr a n sf o r mers   i n   E EG   a n a l y si s :   a   r e v i e w   o f   a r c h i t e c t u r e s   a n d   a p p l i c a t i o n s   i n   m o t o r   i ma g e r y ,   se i z u r e ,   a n d   e mo t i o n   c l a ss i f i c a t i o n ,   S e n s o rs ,   v o l .   2 5 ,   n o .   5 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / s2 5 0 5 1 2 9 3 .   [ 28 ]   S .   Li ,   X .   L y u ,   L .   Z h a o ,   Z .   C h e n ,   A .   G o n g ,   a n d   Y .   F u ,   I d e n t i f i c a t i o n   o f   e mo t i o n   u si n g   e l e c t r o e n c e p h a l o g r a b y   t u n a b l e   Q - f a c t o r   w a v e l e t   t r a n sf o r m   a n d   b i n a r y   g r a y   w o l f   o p t i mi z a t i o n ,   Fr o n t i e rs  i n   C o m p u t a t i o n a l   N e u r o sc i e n c e ,   v o l .   1 5 ,   S e p .   2 0 2 1 ,     d o i :   1 0 . 3 3 8 9 / f n c o m. 2 0 2 1 . 7 3 2 7 6 3 .   [ 29 ]   O .   S a h a ,   M .   S .   M a h m u d ,   S .   A .   F a t t a h ,   a n d   M .   S a q u i b ,   A u t o m a t i c   e m o t i o n   r e c o g n i t i o n   f r o m   m u l t i - b a n d   E E G   d a t a   b a s e d   o n   a   d e e p   l e a r n i n g   s c h e m e   w i t h   e f f e c t i v e   c h a n n e l   a t t e n t i o n ,   I E E E   A c c e s s ,   v o l .   1 1 ,   p p .   2 3 4 2 2 3 5 0 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C E S S . 2 0 2 2 . 3 2 2 4 7 2 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mo tio n   r ec o g n itio n   o f e lectro en ce p h a lo g r a u s in g   h yb r id   co n vo lu tio n a   ( E s mera ld a   C o n tess a   Dja ma l )   3943   [ 30 ]   M .   A .   M a r i a ,   M .   A .   H .   A k h a n d ,   A .   B .   M .   A .   H o ss a i n ,   M .   A .   S .   K a mal ,   a n d   K .   Y a ma d a ,   A   c o m p a r a t i v e   s t u d y   o n   p r o mi n e n t   c o n n e c t i v i t y   f e a t u r e f o r   e m o t i o n   r e c o g n i t i o n   f r o E EG ,   I EE Ac c e ss ,   v o l .   1 1 ,   p p .   3 7 8 0 9 3 7 8 3 1 ,   2 0 2 3 ,     d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 6 4 8 4 5 .   [ 31 ]   M .   A .   O z d e m i r ,   M .   D e g i r m e n c i ,   E .   I z c i ,   a n d   A .   A k a n ,   EEG - b a s e d   e mo t i o n   r e c o g n i t i o n   w i t h   d e e p   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s,”   Bi o m e d i c a l   En g i n e e ri n g   /   Bi o m e d i zi n i sc h e   T e c h n i k ,   v o l .   6 6 ,   n o .   1 ,   p p .   4 3 5 7 ,   F e b .   2 0 2 1 ,   d o i :   1 0 . 1 5 1 5 / b mt - 2 0 1 9 - 0 3 0 6 .   [ 32 ]   T.   D h a r a   a n d   P .   K .   S i n g h ,   Emo t i o n   r e c o g n i t i o n   f r o EEG   d a t a   u si n g   h y b r i d   d e e p   l e a r n i n g   a p p r o a c h ,   i n   Fr o n t i e rs  o f   I C T   i n   H e a l t h c a re ,   S i n g a p o r e :   S p r i n g e r ,   2 0 2 3 ,   p p .   1 7 9 1 8 9 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 981 - 19 - 5 1 9 1 - 6 _ 1 5 .   [3 3 ]   A .   P r a k a sh   a n d   A .   P o u l o s e ,   El e c t r o e n c e p h a l o g r a m - b a se d   e mo t i o n   r e c o g n i t i o n :   a   c o m p a r a t i v e   a n a l y s i o f   su p e r v i se d   m a c h i n e   l e a r n i n g   a l g o r i t h ms,”   D a t a   S c i e n c e   a n d   M a n a g e m e n t ,   v o l .   8 ,   n o .   3 ,   p p .   3 4 2 3 6 0 ,   S e p .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . d sm. 2 0 2 4 . 1 2 . 0 0 4 .   [3 4 ]   C .   D e sa i ,   C o mp a r a t i v e   a n a l y s i s   o f   o p t i m i z e r i n   d e e p   n e u r a l   n e t w o r k s,”   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i v e   S c i e n c e   a n d   Re se a rc h   T e c h n o l o g y ,   v o l .   5 ,   n o .   1 0 ,   p p .   9 5 9 9 6 2 ,   2 0 2 0 .   [3 5 ]   Z.   F a n ,   F .   C h e n ,   X .   X i a ,   a n d   Y .   Li u ,   EEG   e mo t i o n   c l a ssi f i c a t i o n   b a se d   o n   g r a p h   c o n v o l u t i o n a l   n e t w o r k ,   Ap p l i e d   S c i e n c e s   v o l .   1 4 ,   n o .   2 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 4 0 2 0 7 2 6 .   [ 36 ]   W. - L.   Z h e n g ,   J. - Y .   Zh u ,   a n d   B . - L.   Lu ,   I d e n t i f y i n g   st a b l e   p a t t e r n o v e r   t i m e   f o r   e mo t i o n   r e c o g n i t i o n   f r o EEG ,   I E E E   T ra n s a c t i o n o n   A f f e c t i v e   C o m p u t i n g ,   v o l .   1 0 ,   n o .   3 ,   p p .   4 1 7 4 2 9 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / TA F F C . 2 0 1 7 . 2 7 1 2 1 4 3 .       B I O G RAP H I E S O F   AUTH O RS       Esm e r a ld a   Co n te ss a   Dja m a l           re c e iv e d   a   b a c h e lo r' d e g r e e   in   E n g i n e e rin g   P h y sic fro m   I n stit u Tek n o l o g Ba n d u n g   i n   1 9 9 4 ,   a   m a ste r' d e g re e   in   In stru m e n a n d   C o n tr o l   fro m   th e   sa m e   u n i v e rsity   i n   1 9 9 8 .   F ro m   h e d isse rtatio n   u n ti n o w,   h e re se a rc h   in   EE G   sig n a l   p ro c e ss in g   h a fin is h e d   h e d o c t o ra p r o g ra m   a t   In stit u t   Tek n o l o g i   Ba n d u n g   in   2 0 0 5 .   S h e   is   a n   a ss o c iate   p ro fe ss o in   th e   De p a rt m e n o In fo rm a ti c s,  Un i v e rsitas   Je n d e ra Ac h m a d   Ya n i.   F o r   m o re   th a n   2 0   y e a rs,  sh e   h a re se a rc h e d   EE G   sig n a p ro c e ss in g   a n d   m a c h in e   lea rn in g S h e   c a n   b e   c o n tac ted   a e m a il e sm e ra ld a . c o n tes sa @le c tu re . u n jan i. a c . id .         Re v a n   Vi o   E n d r ia n sy a h           is  a n   u n d e rg ra d u a te   stu d e n in   I n fo rm a ti c fro m   Un iv e rsitas   Je n d e ra l   Ac h m a d   Ya n i.   His  th e sis  fo c u se d   o n   e m o ti o n   id e n ti fica ti o n   fro m   EE G   sig n a ls  u si n g   a   tran sf o rm e r.   He   is  n o a   m a c h in e   lea rn in g   re se a rc h e a n d   sy ste m   d e v e lo p e r.   He   c a n   b e   c o n tac ted   a e m a il :   re v a n v io 2 2 @if . u n jan i. a c . i d .         Da sw a r a   Dja j a sa sm ita           is  a   n e u ro l o g ist  a n d   lec tu re a t h e   M e d ica Ed u c a ti o n   P ro g ra m F a c u lt y   o M e d icin e   a Un iv e rsitas   Je n d e ra Ac h m a d   Ya n i .   His  re se a rc h   in tere sts  a re   stro k e   a n d   p o st - str o k e   m a n a g e m e n t,   in c l u d i n g   si g n a p ro c e ss in g .   He   c a n   b e   c o n tac ted   a e m a il :   d a sw a ra d j@g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.