T E L K O MN I K A  T el eco m m u n i ca t i o n ,  C o m p u t i n g ,  E l ect ro n i cs  a n d  C o n t ro l   Vo l .   1 9 , N o .   5 O ct o b er   202 1 , p p 1588 ~ 1593   I S S N :  1693 - 6 9 3 0 ,  accr ed i t ed  F i r s t  G r ad e  by K e m e nr i s t e kdi kt i ,  D e c r e e  N o:  21/ E / K P T / 2018   D O I :  10. 12928/ T E L K O M N I K A . v1 9 i 5 . 19850     1588       Jou r n al  h om e page ht t p: / / j our nal . uad . ac . i d/ i nde x . php/ T E L K O M N I K A   C l a s s i f i ca t i o n o f  E E G  s i g na l s  f o r f a ci a l  ex p res s i o n a nd  m ot or   ex ec ut i o n w i t d e ep l ea r ni ng       A reej  H a m eed  A l - A nb a r y 1 Sa l i h A l - Q ar aaw i 2   1 De pa r tm e n t of   c om m un ic a t io n,  C ol le ge  of  I nf or m a ti on  En gi ne e r i ng,  A l - Na hr a i n   Un ive r si ty,   B a g hda d ,   Iraq     2 De pa r tm e n t of   M e d i c a l   I n str um e n t s En gi ne e r i ng Te c h n iqu e s ,  Al - H us sa i Un ive r si ty  C ol le ge ,   Ka r ba la ,   Iraq       A rt i cl e I n f o     AB S T RACT   A r tic le  h is to r y :   R ecei v ed   J a n 29,  2021   R ev i s ed   J un 16,  2021   A ccep t ed   J un 28,  2021       R e c e nt ly,  a lg or i thm s of   m a c hine   le a r ni ng a r e   wi de l u se d wi th t he   f ie l of   e le c tr oe nc e pha lo gr a p hy ( E EG )   br a in - c o mp u t er i n t e rfaces  (BCI).  T h pr e pr oc e s si ng s ta ge  f or  t he  EEG  s ig na l s i s pe r f or m e d by a pp ly in g th e   pr i nc i ple   c om p one nt  a na ly si s ( P C A)  a lg or it hm  t o e xtr a c t t he   im p or ta n f e a tur e s a nd  r e duc in g t he  da ta  r e du nda nc y.  A m ode f or  c la s sif yi ng  EEG ,   tim e  se r ie s,   si gna ls f or  f a c ia e xpr e s si on a nd  som e  m o to r  e xe c u ti on pr oc e sse s   ha d be e n de s ig ne d.  A  ne ur a ne t wor k of  t hr e e  h id d e n la ye r wi th  de e p   le a r n in c la ss if ie r  ha d be e n us e d i thi w or k.  Da ta  of   f our  dif f e r e nt su bje c ts   we r e  c ol le c te d by u si ng a  14  c ha nne ls Em ot iv  EP OC +  de vic e .  EEG  da ta se t   sa m p le in c l ud in te a c t io c la s se f or   the   f a c ia e x pr e s sio a nd  s om e   m ot or   e xe c u ti on m ove m e nt s a r e   r e c or de d.  A c la ss if ic a t io n r e s u lts w it h a c c ur a c y   r a nge  ( 91. 25 - 95. 7 5% )   f or   the   c ol le c te d sa m p le s we r e   obt a i ne d wi th r e s pe c t   to: num be r   of  sa m p le s f or  e a c h c la ss,  t ota l num be r  of  EEG  da ta se t sa m ple s   a nd ty pe   of   a c ti va t io f u nc t io w it hi n the  hi dde a nd the  ou tp ut la ye r   ne ur on s.   A ti m e   se r ie EEG  s ig na wa s  ta ke n a s s ig na l v a lue s n ot a im a ge   or   his to gr a m ,  a na ly se d a nd c la s sif ie wi th  de e le a r n in g t o ob ta i n t he  sa ti sf ie d   r e su lt s of  a c c ur a c y.   Ke y wo r d s :   BCI   D eep  l ear n i n g   EEG   N u er al  n et w o r k   P CA   T his  is  a o pe ac c e s ar tic le   u nde the   CC  B Y - SA   lic e n se .     C or r e s pon di n g A u t h or :   S a lih  A l - Q ar aaw i     D e pa r t m e nt  of  M e di c a l  I ns t r um e nt s   E ngi ne e r i ng  T e c hni que s   Al - H us s a i n U ni ve r s i t C ol l e ge   K ar b al a ,   Ira q   E ma il:  d r s a lih a lq a r a a w i@ g ma il. c o m; p r o f . d r . s a lih @ h u c ir a q i. e d u . iq       1.   I NT RO DUC T I O N   I t  i s  w e l l  know n t ha t ,  t he  s ys t e m  w hi c h c onne c t s  hum a n br a i n  s i gna l s  w i t h a ppl i a nc e s  or  de vi c e s   w i t hout   r e qui r i ng  of  a ny phys i c a l  c ont a c t  i s  c a l l e d   br a i n - co m p u t er  i n t er f aces  ( B C I ) .  I t  h as  b een  s een   as  a n ew   w a y f or  c om m uni c a t i on,  w he r e  t he   b r a in  a c tiv ity   h as   b een   u s ed   as   r efl ect ed   f o r m   b y   el ect r i b r ai n   s i g n al s   t o   m an ag e ex t er n al  s y s t em  s u ch  as   c om put e r s ,  w he e l c ha i r s ,  s w i t c he s ,  or  ne ur o  pr os t he t i c  e xt e ns i ons  [ 1 ] - [ 6] .   E l ect r o en cep h al o g r ap h y  ( E E G )  i s  t h e p r o ces s  o f  f et ch i n g  t h e el ect r i cal  b r ai n s  s i g n al s   a nd r e c or di ng   t he m ,  s t he  a c t i vi t y of  hum a n c a n be  a na l yz e d m a ki ng t he  r e a l  pr oc e s s i ng of  t he  br a i n c l e a r  t t he  us e r .   E l ect r o d es   ar e p u t  o n  t h e  h u m an  s cal p ,  i n  an  eas y   w ay ,  t o  co l l ect  b r ai n s  el ect r i cal  s i g n al s .  A n  E E G   s i g n al  i s   b a n d  limite d   i n f r e que nc y ( 0. 1 - 60 H z ) ,   E E G  s i gna l s  a r e  m ode l e d  a nd c l a s s i f i e d i nt o  f i ve  t ype s :  ( t h et a,  d el t a b et a,  al p h a,   an d  g am m w av es ) ,  w h i ch  ar e  r es p o n s i b l e t o  cap t u r e d i f f er en t  as s o ci at ed  b r ai n  act i v i t i e s  i n s i d e   t h e b r ai n   [7 ] [ 8] .   E E G  s i gna l s  c ont a i n a  hi gh  r e du nda nc y i n t he  c ol l e c t e d da t a ,  s o t he  i m por t a nt  s t a g e  be f or e   be i ng  c la s s if y in g  th o s e  s ig n a ls ,  is  f e a tu r e  e x tr a c ti o n  s ta g e .  I n  f a c t,  a   f e a tu r e  i llu s tr a te s  a  d is tin c tiv e   a ttr ib u te ,   i d en t i f i ab l e m eas u r e,  an d  f u n ct i o n al  el em en t  g et t i n g  f r o m  a s eg m en t  o f  s am p l es .  F eat u r e ex t r act i o n  u s ed  t o   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T el eco m m u n   C om put  E l   C ont r o l         C l as s i f i c at i on of  E E G  s i gnal s  f or  f ac i al  e x pr e s s i on  and  m ot or   execu t i o n  w i t h   ….   ( A r eej  H a m eed  A l - A nbar y )   1589   ma in ta in  th e  s ig n if ic a n t in f o r ma tio n  in  th e  s ig n a l a n d  min imiz in g  th e ir  lo s t a s  mu c h  a s  p o s s ib le ,  a s  w e ll a s  to   s i m pl i f y t he  ne e de d r e s our c e s  f or  de s c r i bi ng t he  hu ge  a m ount  of  da t a  i n a n  a c c u r a te  ma n n e r .  S o ,  th is   w ill  l ead   to  a  s imp le   imp le me n ta tio n  th a t  r e d u c e s  th e  p r o c e s s in g  c o s t f o r  th e  in f o r ma tio n ,  a n d  e limin a te s  th e   ne e d f or   da t a  c om pr e s s i on [ 9 ] - [ 14] .  I n t h i s  w or k,   pr i n c i pl e  c om pone nt  a na l ys i s   ( P C A )  m e t hod i s  u s e d f or   uns upe r vi s e d f eat u r e ex t r act i o n  p r o ces s .  T h i s  m et h o d  i s  a d es cr i p t i v e s t at i s t i cal  t ech n i q u e w h i ch  d es c r i b es   t h d i f f er en ces  b et w een  t h e s am p l es  o f  t h e d at as et  a n d  t h e m o s t  co r r el at ed  s am p l es .  P C A  d et ect s  t h pr i nc i pl e   c om pone nt  of  da t a s e t  of  t he  s i gna l ,  s o i t  w i l l  pe r f or m  t he  di m e ns i on  r e duc t i on of  t he  da t a   [ 15] .   A lg o r ith ms  f o r  c la s s if y in g  E E G - b as ed  B C I s  w er e cl as s i f i ed  i n t o  f o u r   m ai n  cl as s es :  m at r i x     a nd t e ns or ,   ad ap t i v e,   d eep  l ear n i n g ,  an d  t r an s f er  l ear n i n g  cl as s i f i er s  as  w el l  as  a  f ew  o t h er  d i v er s e     cl as s i f i er s   [2 ] [ 1 2] ,   [ 16 ] - [ 2 0 ] .   I n   E E G  r es ear ch es ,  m ach i n e l ear n i n g  h ad  b een  u s ed  t o  d i s co v er  t h e  r el at ed   in f o r ma tio n  f o r   ne ur oi m a gi ngý a nd  ne ur a l  c l a s s i f i c a t i on.   T he  a dva nc e s  i n  m a c hi ne  l e a r ni ng   a nd t he   a va i l a bi l i t y of  huge   E E G  da t a  s e t s  l e d t o de e p l e a r ni ng de pl oym e nt  i n a na l yz i ng E E G  s i gna l s  a nd i n t he  f i e l d   of  unde r s t a ndi ng   br a i n f unc t i ona l i t y  by  de f i ni ng   c ol l e c t e d i nf or m a t i on  i ns i de  i t  [ 6 ] ,   [ 21 ] - [ 24] .   T h e u s e o f   de e p l e a r ni ng w i t E E G  a ppl i c a t i ons  i n ge ne r a , l   f e l l  i nt o  f i ve  g r oups :  m ot or  i m a ge r y , e m ot i on  r e c o gni t i on,   m e nt a l  t a s k w or kl oa d,  s e i z ur e  obs e r va t i on,   ev en t  r el at ed  p o t en t i al   (E R P )   t as k s  d et ect i o n ,  an d  s l eep  s t at es   r e c or di ng   [ 2 5] .       2.   R ES EA R C H  M ETH O D     T he  w or k i n  t hi s  pa pe r  f oc us e s  on E E G  s i gna l  f e a t ur e s  t o i de nt i f y  t he  E E G  s i gna l s  f or  f a c i a l   e x p r e ssi o n s ( F E s)   a nd s om e  m ot or  e xe c ut i on a c t i o ns .  F E s  i nc l ude :  s ur pr i s e ,  s m i l e ,  l e f t  w i nk,  r i ght  w i nk,  a nd  m out h ope ne d.   W hi l e ,  m ot or  e xe c ut i on a c t i ons  i n c l ude : r ig h t  h a n d  li f tin g ,  le f t h a n d  lif t in g ,  r i ght  r o t a t i ng of   he a d,  l e f t  r ot a t i ng o f  he a d ,   a n d  c la p p in g .  A ll th e s e  s ig n a l s  f ir s co l l ect ed  b y   E mo tiv   E P O C +  14  ch an n el   m o b i l e b r ai n w ear  h ead s et ,  an d  f et ch ed  b y  t h l i cen s ed  s o f t w ar of   E m ot i v  P r o  w i t h  pyt hon  e nvi r on m e nt .   m ode l  f or  c l a s s i f yi ng t hos e  s i gna l s  ha d be e n  de s i gne d.  F i gur e  1 s how s  t he  r e s e a r c h m e t hodol o gy bl oc di a gr a m .   T he  de t a i l  o f  e a c h s t e p w i l l  be  e xpl a i ne i n t he  ne xt  s ubs e c t i ons .             F i gur e   1 .  R es ear ch   m e t hodol ogy  b l oc d i ag r am       2. 1.     D a t a  co l l ect i o n     T he  f i r s t  s t a ge  of  r e s e a r c h m e t hodol ogy  be gi ns   w i t h c ol l e c t i ng  da t a s e t  s a m pl e s  by us i ng  E m o t i v   E p o c+ h ead   s e t  de vi c e  w i t h  14  c ha nne l s  e xt e nde a r ound t he  he a d.  T he  da t a  w a s  c ol l e c t e d  f r om   f our  s ubj e c t s   w ith   d i f f er en t  ag es  ( 1 0 - 50 y ear s ) ,  m al es  an d  f em al es  w h i l e t h ey  d o i n g  t h e r eq u i r ed  f aci al  ex p r es s i o n s  an d  t h m ot or  e xe c ut i on a c t i ons .   T he  E E G  s i gna l s  w e r e  r e c or de d by t he  m ont hl y  l i c e ns e d E m ot i v s of t w a r e  ( E m ot i v   Pr o )  an d  s av ed  as  ex cel   f i l es  ( . cs v   f i l es )  t o  b e   u s ed  l at er  i n  t r ai n i ng  t he  ne ur a l  ne t w or k  w i t hi n  pyt hon   e nvi r onm e nt .  dur i ng  t he   r e c or di ng p r oc e s s  a bout   6487   E E G  s am p l es  w er e co l l ect ed .  T ab l e  1  s h o w s  s o m s a m pl e s  of  t he  c ol l e c t e d E E G  da t a   f or   l i f t i ng  l e f t  h a nd f or  one  s ubj e c t .     2. 2.     D a t a p r e - p ro ces s i n g     T h is  s ta g e  is  th e  a r tif a c ts  r e mo v a l  o f  E E G  s ig n a ls ,  w h ic h  is  d o in g  b y  th e   E mo tiv  h e a d s e t its e lf ,   w h er e t h e d at i s  r e c or de d di r e c t l y a s  i t   i s  r e c e i ve d f r om  t he  he a ds e t .   T he r e  i s  a  good a m ount   of  s i gna l   pr oc e s s i ng a nd  f ilte r in g  in  t h e h ead s et  t o   r em o v ar t i f act s  an d  h ar m o n i f r eq u en ci es .  S o ,  t h e  s i g n al s  ap p ear   cl ean  w h en  w ga i ne d a  good c ont a c t  qua l i t y.  T he  s i gna l s  ha d be e n s a m pl e d a t  2048 H z  s a m pl i ng f r e que nc y,   a nd t he a ppl i e d t o a  dua l  not c f i l t e r  a t  50  H z  a nd 60 H z  a s  w e l l  a s   a l o w  p as s  f i l t er  at  6 4  H z cu t o f f   f r e que nc y.   F i na l l y,   t he  da t a  w a s  f i l t e r e d dow n t o  1 28 or  256  H z .     2. 3.     F ea t u re ex t ra ct i o n   I n t hi s  s t a ge ,  t he  obt a i ne d p r e pr oc e s s e d da t a  f r om   E mo tiv   he a ds e t  i s  pr oc e s s e d w i t h P C A  a l gor i t hm   t imp r o v e  th e  c la s s if ie r ' s  a c c ur a c y.  P C A  i s  a  t e c h ni que  us e d f or  r e duc t i on of  di m e ns i ona l i t y of  t he  l a r ge  da t a   Evaluation Warning : The document was created with Spire.PDF for Python.
                         I SSN :   1693 - 6930   T E L KOM NI KA   T el eco m m u n   C om put  E l   C ont r o l Vo l .   1 9 , N o 5 O ct o b er   2021 :    1588   -   1593   1590   s e t s .  T hi s  c a n be  a c hi e ve d by c onve r t i ng t he  huge  s e t  of  va r i a bl e s  i nt o a  s m a l l e r  one  w hi c h c ont a i ns  m os t  of   t he  i nf or m a t i on i t he  l a r ge  s e t  [ 15] ,  [ 26] .  W e  ha ve   6487   sa m pl e s  f r om  e a c h one  of  t he  14 c ha nne l s  of  t he   he a ds e t .  T i m pl e m e nt   P C A ,  t he  m e a n va l ue s   m us t  be  c om put e d  f i r s t l y ,  s o  t ha t  w e  c a n c om put e  t he   s ta n d a r d iz a tio n  ( Z )  o f  th e  in itia l  v a lu e s  o f  th e  d a ta s e t,  a s  in   ( 1 ) ,  to  t r a n s f o r m a ll  th e  v a r ia b le s  to  t h e  s a me   r an g [ 26] .     = V al u e S t an d ar d   d e v ia t io n                    (1 )       T ab l e   1 .  EE G   d at as et s   s a mp le s  e x a mp le  f o r  le f t  h a n d  lif tin g  f r o E mo tiv  h e a d s e t   E E G. A F3   E E G. F7   E E G. F3   E E G. F C5   E E G. T7   E E G. P7   E E G. O1   E E G. O2   E E G. P8   E E G. T8   E E G. F C6   E E G. F4   E E G. F8   E E G. A F4   4627.3 08   6175. 769   7376. 923   7018.4 61   7112. 82   3223. 461   3223. 846   1274. 103   3862. 051   629.7 436   8023.9 74   7521. 795   8334. 743   3344.3 59   7502.4 36   5615. 513   6324. 231   6095.5 13   1287. 821   7299. 872   7261. 41   6439. 615   1462. 692   7645. 513   3923.9 74   3256. 539   107.6 923   6799.6 15   5662.1 8   5518. 461   4492. 308   3957.4 36   5409. 359   4291. 667   715.6 411   4300. 897   3987. 821   6205. 385   7224.1 03   7947. 18   3203. 974   4669.1 03   5591.5 66   5528. 655   4493. 29   4027.3 43   5410. 139   4219. 964   723.8 898   4265. 287   3929. 946   6159. 411   7237.6 89   7829. 861   3138. 312   4696.3 39   5520.9 52   5538. 849   4494. 271   4097.2 5   5410. 919   4148. 262   732.1 386   4229. 675   3872. 07   6113. 437   7251.2 76   7712. 542   3072. 649   4723.5 76   5450.3 38   5549. 042   4495. 254   4167.1 58   5411. 699   4076. 56   740.3 873   4194. 064   3814. 195   6067. 463   7264.8 64   7595. 224   3006. 986   4750.8 13   5379.7 25   5559. 236   4496. 236   4237.0 65   5412. 479   4004. 858   748.6 361   4158. 453   3756. 32   6021. 489   7278.4 51   7477. 905   2941. 323   4778.0 5   5309.1 11   5569. 43   4497. 218   4306.9 72   5413. 26   3933. 156   756.8 849   4122. 842   3698. 445   5975. 516   7292.0 38   7360. 586   2875. 66   4805.2 87   5238.4 97   5579. 624   4498. 2   4376.8 79   5414. 04   3861. 454   765.1 337   4087. 231   3640. 57   5929. 542   7305.6 25   7243. 268   2809. 997   4832.5 23   5167.8 83   5589. 817   4499. 182   4446.7 87   5414. 82   3789. 752   773.3 824   4051. 62   3582. 695   5883. 568   7319.2 12   7125. 949   2744. 334   4859.7 6   5097.2 7   5600. 011   4500. 164   4516.6 94   5415. 6   3718. 05   781.6 312   4016. 009   3524. 82   5837. 594   7332.7 99   7008. 631   2678. 672   4886.9 97   5026.6 56   5610. 205   4501. 146   4586.6 01   5416. 38   3646. 347   789.8 8   3980. 398   3466. 945   5791. 62   7346.3 86   6891. 312   2613. 009   4914.2 33   4956.0 42   5620. 398   4502. 127   4656.5 08   5417. 16   3574. 646   798.1 287   3944. 787   3409. 07   5745. 646   7359.9 73   6773. 994   2547. 346   4941.4 7   4885.4 28   5630. 592   4503. 11   4726.4 16   5417. 94   3502. 943   806.3 775   3909. 176   3351. 195   5699. 673   7373.5 6   6656. 675   2481. 683   4968.7 07   4814.8 14   5640. 786   4504. 092   4796.3 23   5418. 721   3431. 241   814.6 263   3873. 565   3293. 32   5653. 699   7387.1 47   6539. 356   2416. 02   4995.9 44       T h s eco n d   s t e p of  P C A  i s  t o c om put e  t he  c ova r i a nc e  m a t r i x,  t o  c he c k i f  t he r e   i s  a ny r e l a t i ons hi p or   co r r el at i o n  b et w een  t h e v ar i ab l es  o f  t h e  d at as et  t o  r ed u ce  t h e i n f o r m at i o n  r ed u n d an cy  as  m u ch  as   p o s s i b l e.   F i r s t  o f  al l ,   t h e co v ar i an ce b et w een  al l  p o t en t i al  p ai r s  o f  th e  in itia l d a ta s e t v a r ia b le s  w a s  c o mp u te d   u s in g  ( 2 ) ,   in  o r d e r  to  in s tr u c t  th e  e n tr ie s  o f  th e  c o v a r ia n c e  ma tr ix ,  w h ic h  is  a  p × p  s y mme tr ic  ma tr ix .      [ , ] = = 1                    ( 2)     w h er e ;     m ean s  t h e m ean  v al u e o f  v ar i ab l e X   p i s  t he  di m e ns i on’ s  num be r   T he  t hi r d s t e p of  P C A  i s  t o c om put e  t he  e i ge nve c t or s  a nd e i ge nva l ue s  f or  t he  da t a s e t  va l ue s ,  i n or de r   t o l oc a t e  t he i r  pr i nc i pa l  c om pone nt s .   T he  pr i nc i pa l  c om pone nt s  a r e  t he  ne w  unc or r e l a t e d  va r i a bl e s  a nd ha ve   t he  m os t  of  i n f or m a t i on  a bout   t he  da t a s e t  i s  c om pr e s s e d i n t he   f i r s t  c om pone nt s  a nd  i t  gr a dua l l y   de s c e nds .   T he  f our t h s t e p i s  t o f i nd t he  f e a t ur e  ve c t or ,  w hi c h  i s  r e pr e s e nt e d by m a t r i x w i t h c ol um ns  of  e i ge nve c t or s  f or   t he  r e qui r e d c om pone n t  f r om  t he  p r e vi ous  s t e p.  T hi s  w i l l  l e a d t o ke e p onl y k c om pone nt s  ( e i ge nve c t or s )   i ns t e a d of  t he  t ot a l  num be r  o f  t he m  ( p) .   T he   f i na l  s t e p of  P C A   i s  t he  r e f o r m a t i on o f  t he  or i gi na l  da t a s e t  a xi s  t t he  a xi s  of  t he  s e l e c t e d pr i nc i pa l  c om pone nt s ,  by   m ul t i pl yi n g t he  t r a ns pos e  of  f e a t ur e  ve c t or  a s  i n   (3 ):     F i n al  d at as et  = F eat u r eV ect o r * Z T                   ( 3)     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T el eco m m u n   C om put  E l   C ont r o l         C l as s i f i c at i on of  E E G  s i gnal s  f or  f ac i al  e x pr e s s i on  and  m ot or   execu t i o n  w i t h   ….   ( A r eej  H a m eed  A l - A nbar y )   1591   2. 4   C l as s i f i c at i on  m od e l  d e ve l op m e n t   I n t hi s   wo r k ,  a  ne ur a l  ne t w or k  w i t h  de e p l e a r ni ng  w a s  bui l t  t o  c l a s s i f y t he  E E G  s i gna l s   f or  t he  t e n   a c t i ons  i nc l udi ng f a c i a l  e xpr e s s i on a nd m ot or  e xe c ut i on.  T he  m a i n f a c i l i t y o f  a ppl yi ng de e p  l e a r ni ng  m ech an i s m  i s  t h at ,  i t  o f t en  co n t i n u es  t o  i m p r o v e as  t h e s i ze o f  t h e d at as et  i n cr eas es .  T h i s  t as k  w as   imp le me n te d  w ith  s p id e r 3 . 3 . 1 \ P y th o n  e n v ir o n me n t b y  imp o r tin g  K e r a s  lib r a r ie s ,  w h i ch  i s  a  d eep  l ear n i n g   A P I  w r i t t e n i n  P yt hon.  A  S e que nt i a l  m ode l ,  w hi c h i s  a  l i ne a r  s t a c k of  l a ye r s ,  w i t h 3 h i dde n l a ye r s  w hi c c ont a i n ( 1024,  512  a nd 256 )  ne ur ons  r e s pe c t i ve l y w a s  bui l t ,  w i t h  a c t i va t i on  f unc t i on  of  t ype  t a nh( X ) .  T he   out put  l a ye r  c ons i s t s  of  10 out put  ne ur ons  w i t h a c t i va t i on f unc t i on of   t ype  s of t m a x( X ) .  F i gu r e  2 s how s  t he   s e que nt i a l  m ode l  of  t he  w or k.           F i gur e   2.  S e que nt i a l   m ode l  r e pr e s e nt a t i on       2. 5.     P ref o r m a n ce  e val u at i o n     T he  c ol l e c t e d da t a s e t  s a m pl e s  a r e  di vi de d i nt o t w o gr oups :  80%  t r a i ni ng da t a s e t  a nd 20%  t e s t i n d at as et  t o   co n s t r u ct  t h e s eq u en t i al  m o d el  o f  t h e cl as s i f i cat i o n  t o  b e t es t ed .  T h e p er f o r m an ce i s  ev al u at ed  i n   each  ep o ch   w ith  r e s p e c t to  tw o  p a r a me te r s l o s s - v al u es  an d  accu r acy  o f  t h e cl as s i f i cat i o n .   A ccu r acy   cal cu l at es  t h pe r c e nt a ge  of  pr e di c t e d  va l ue s  ( yP r e d)  t ha t  m a t c h  w i t h a c t ua l  va l ue s  ( yT r ue ) .  W he r unni ng   t he  m ode l ,   i m p o r t an t  p ar am et er s  ef f ect  m u s t  b e o b s er v ed  s i n ce t h ey  s i g n i f i can t l y  af f ect  t h e accu r acy  an d  t h pr oc e s s i ng t i m e  of  t he   c la s s if ic a tio n   p r o ces s .  T h e   p ar am et er s  i n cl u d e:  n u m b er  o f  s am p l es  f o r  each  cl as s ,   to ta num be r  of  s a m pl e s ,  a nd t he  t ype  of  t he  a c t i va t i on f unc t i on a ppl i e d w i t hi n t he  hi dde n a nd out put  l a ye r s   ne ur ons .  W he n us i ng a n e qu al  n u m b er  o f  s am p l es  f o r  each  cl as s ,  t h i s  w i l l  g i v e b et t er  cl as s i f i cat i o n   accu r acy   t ha n t hos e  w i t h a  r a ndom  num be r  of  s a m pl e s  pe r   c l a s s  a s  w e l l  a s  t o t he  obvi ous  r e duc t i on i n t he  nu m be r  of   e poc hs  r e qui r e t t r a i n  t he  ne ur a l  ne t w or k,  a nd  h e nc e  t he  ove r a l l  p r oc e s s i ng t i m e  w i l l  be   r e duc e d,   a s  s how i n F i gur e  3.     T h e t o t al  n u m b er  o f  s am p l es  i s  t h e s i ze o f  t h e co l l ect ed  s am p l es ,  as  t h i s  s i ze i n cr ea s es  t h e d eep   le a r n in g  w ill  g i v e a b et t er  cl as s i f i cat i o n  r es u l t s  b u t  t h i s  i n cr eas e can n o t  b e co n t i n u ed   s i n ce t h e p r o ces s i n g   time  w ill  b e   i n cr eas ed  as   w el l   a s  to  th e  s ta b ility  o f  th e  a c c u r a c y  r e s u lts  to  a  s p e c if ic  v a lu e .  F in a lly ,   th e r e  a r e   m a ny t ype s   of  a c t i va t i on  f unc t i ons  s uc h a s :  s i gm o i d,  r e l u ,  s of t m a x ,  t a nh  a nd e xpone nt i a l  a c t i va t i on  f unc t i on,   s o  af t er   imp le m e nt i ng t hos e  t ype s  w i t hi n t he  hi dde n l a ye r 's  ne ur ons .  T he  m os t  a c c e pt a bl e  a c c ur a c y l e ve l  w a s   obt a i ne d w he n us i ng t a nh( x)  a c t i va t i on f unc t i on ,  w hi l e  t he  s of t m a x( x)  w a s  us e d w i t hi n t he  out p ut  l a ye r s   ne ur ons .  R oot   m ean  s q u ar ( R M S )  o p timiz e r  w a s  u s e d  to  min imiz e  th e  e r r o r  w h ile  le a r n in g  th e  n e u r a ne t w or k.   Evaluation Warning : The document was created with Spire.PDF for Python.
                         I SSN :   1693 - 6930   T E L KOM NI KA   T el eco m m u n   C om put  E l   C ont r o l Vo l .   1 9 , N o 5 O ct o b er   2021 :    1588   -   1593   1592       F i gur e   3 .  C l as s i f i cat i o n  accu r acy  l ev el s       3.   R ES U LTS   AND DI S CUS I O N   F i r s t l y,  E E G  s i gna l s  c l a s s i f i c a t i on o f  10  c l a s s e s  of   f a c i a l  e xpr e s s i ons  a nd m ot o r  e xe c ut i ons  a c t i ons   w a i m p l em en t ed  f o r  f o u r  s u b j ect s .   T h e p er f o r m an ce o f  t h e  cl as s i f i cat i o n  m o d el  w as  ev al u at ed ,  as  m en t i o n ed   i t he  pr e vi ous  s e c t i on.  T he  t r a i ni ng  a c c ur a c y   i s  r a ngi ng f r om   ( 91. 25 %   t o 95 . 75% ) ,  a nd t he  be s t   r e s ul t s  w e r e   obt a i ne d w he n t r a i ni ng t he  m ode l  w i t h 100 s a m pl e s / c l a s s  w i t h 973 t ot a l  num be r  of  s a m pl e s .  T he s e  r e s ul t s   w i l l  be  us e d i n  t he   f ut ur e  w o r k w i t h  m a ny a ppl i c a t i ons  s uc h a s  bi ndi ng t hos e  c l a s s e s  w i t h  s p eci f i c t en s es  o r   w or ds  i n or de r   t o he l p t he  s pe e c hl e s s  pe r s ons  t o r e pr e s e nt  t he i r  t hought s ,  s o t he  m a i n  goa l  of   t hi s  p a pe r  i s  t de s i gn a  s i m pl e  E E G  c l a s s i f i e r ,   t o be  u t i l i z e d f o r  he l pi ng  t he  s pe e c hl e s s  pe r s ons ,  s o t ha t  gi vi ng t he m  t he   a b ility   t o r e pr e s e nt  t he i r   i nt e nde d t hought s .         4.   CO NCL US I O NS   I n t hi s  pa pe r ,  t e n c l a s s e s  of  E E G  t i m e  s e r i e s  s i gna l  va l ue s  w e r e  c l a s s i f i e d by bui l di ng de e p ne ur a l   ne t w or k a nd  imp le me n tin g   d eep  l ear n i n g  t ech n i q u es .  A  s p eci al i zed  d at as et   s am p l es  w a s  r eco r d e d .  I n  t h e   o f f lin e   t r a i ni ng,   t he  c l a s s i f i c a t i on a c c ur a c y  r e s ul t s  r e a c he d t o  95 . 75%  w i t h  m i ni m i z i ng c os t  of  c om put a t i on  a nd s t or a ge  r e qui r e m e nt s  by  a ppl yi ng on l y t he  P C A  a l gor i t hm  on  E E G  da t a  s e t  s i gna l s  va l ue s  w i t hout  a ny   o t h er  f i l t e r i n g  as  w el l  as  t o  f eed   t h e d eep  n ue r a l  ne t w or k w i t E E G  s i gna l  va l ue s  not  a s  i m a ge  o r  hi s t ogr a m .         R EF ER EN C ES      [ 1]   A.  H.  Al - a n ba r y a n d S a li h Al - Qa r a a w i,  “ A S ur ve y of  Ee g S i gna ls P r e p os se s si ng a n d C la s sif ic a t io n f or   I m a g in e S pe e c h A pp lic a ti on,   I n te r na ti on al J ou rn al o I n nov at io n En gi ne e r in g a nd Sc ie nc e   Re se arc h ,  vo l.  4,  no.  3,  p p.  1 - 9 M a y 20 20.   [2 ]   X.  Hua ng   e t al. ,   M ul ti - m o da l  e m o ti on a na l ys is  f r om  f a c ia l e xpr e ss io ns  a n d e le c tr oe nc e p ha l ogr a m ,   C o mpu t e Vis io a nd  I ma ge   Un de r st an di ng ,  v ol.  1 47,  p p.  11 4 - 1 24,  201 6,  do i:   1 0. 1 01 6/ j. c v iu. 2 01 5. 0 9. 01 5.   [3 ]   A.  N.  B e lka c e m ,  D.  S h in,   H.  Ka m ba r a ,  N.  Y os him ur a ,  a nd  Y.  Ko ike ,  “ O nl ine  c la s sif ic a t io n a l gor it hm  f o r     e y e - mo v emen t - ba se d c om m u ni c a t io n sys te m s u si ng t wo te m p or a l E EG  se nsor s,   Bi ome dic al Si gn al P roc e s sin g   and C on tr ol ,   vol.  1 6,  pp.  4 0 - 4 7,  20 15,  d oi :1 0. 10 16 /j. bs p c . 201 4. 1 0. 00 5.   [4 ]   J.  Jin,  I .  Da l y,  Y.  Z ha n g,  X.  W a n g,  a nd A.  C ic hoc ki,  “ An o pt im iz e d ER P  br a in - c om p ute r   in te r f a c e  ba se d o n f a c ia l   e xpr e ss io c ha n ge s,   J .  J our na of N e u ra l En gi ne e r ing ,  v ol.  11,  n o.  3,   pp. 1 - 12,   20 14,   d oi :   10. 1 08 8/ 17 41 - 256 0/ 11 /3 /0 36 00 4.   [5 ]   D.  R .  Ed la ,  M .  F .  A nsa r i,  N.  C ha u dha r y,  a n d S .  D od i a ,  “ C la ss if i c a t io n of  F a c ia l  E xpr e ss io ns f r om   EEG  s ig na l s   usi ng  W a ve le t P a c ke t Tr a nsf or m  a nd S VM  f or   W he e lc ha ir  C o ntr ol  Ope r a ti on s,   P roc e di a C o mp ute r Sc ie nc e   vol.  1 32,   no.  I c c i ds,  p p.  14 67 - 14 76,   2 01 8,   do i:  1 0. 1 01 6/ j . pr oc s. 20 18. 0 5. 0 81.   [6 ]   A.  Al - Na f ja n,  M .  Ho sn y,  Y.  Al - O ha l i,  a nd A.  A l - Wa bi l,  “ R e vie w a nd c la ss if ic a ti on of  e m o ti on r e c og ni ti on ba se d   on EEG   br a in - c o m p u t e r   i n t e r f a c e  s y s t e m  r e s e a r c h: A sys te m a tic   r e vie w,   Ap pl ie d Sc ie nc e s ,  vo l.  7,  n o.  1 2,  De c .   201 7,  do i:   10. 3 39 0/ a p p7 12 12 39.   [7 ]   Z.  Ga o   e t al ., “ E E G - B a se d S pa t io - Te m p or a l C on vo lu ti ona l Ne ur a l Ne tw or k f or  Dr ive r  F a ti gue   Eva lua ti on,   I E EE  tra ns ac t io ns  o n ne ur al  ne tw o rk an d le ar ni ng  s y s t e m s,   v ol.  30,  no.   9,  pp.  27 55 - 27 63,  2 019 ,     doi : 1 0. 11 09 / TN NL S . 201 8. 28 86 41 4.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T el eco m m u n   C om put  E l   C ont r o l         C l as s i f i c at i on of  E E G  s i gnal s  f or  f ac i al  e x pr e s s i on  and  m ot or   execu t i o n  w i t h   ….   ( A r eej  H a m eed  A l - A nbar y )   1593   [8 ]   D.  Khe ir a  a n d M .  B e la dg ha m ,  “ P e r f or m a nc e  of  c ha nn e l  se le c t io n u se d f or  M ul ti - c la s s E EG  si gna l c la ss if ic a ti on  of   m oto r  im a ge r y,   I n do ne s ia n J ou rn al  of E le c tr ic a l  Eng ine e r i ng  an d C om pu te r Sc ie nc e ,  vo l.  1 5,  no .  3,     pp.   13 05 - 1 31 2,  S e p.  20 19,  d oi : 10. 11 59 1/ ije e c s. v1 5. i 3.   [9 ]   A . S . A l - F a ho um  a n d A.  A.  Al - F r ai h at ,  “ M e th od s of   EEG  S ig na l F e a t ur e Ex tr a c t io n Us in g L ine a r  A na l ys i s in   F r e que nc y a n d T im e - F r e q ue nc y D om a i ns,   I S RN  N e ur osc ie nc e ,  v ol.  2 01 4,  pp.   1 - 7,  2 0 14,     doi : 1 0. 11 55 /2 01 4/ 73 02 18.   [ 10]   A.   T.   S o ha i b,   S .   Q ur e s hi,   J.   Ha ge l c k,   O.   H ilb or n,   a n P .   Je r č ,   E va l ua t in g c la ss if ie r s f or  e m o ti on r e c o gn it io n   usi ng EEG ,   C on fe re nc e :  I n te r na ti on al C o nfe re n c e  on  Au gme nte d C og ni ti on ,   v ol.   802 7 L NAI ,  2 01 3,   pp.  4 92 - 501 doi : 1 0. 10 07 /9 78 - 3 - 6 42 - 39 45 4 - 6_ 53.   [ 11]   H.  Xu  a n d K.   N.  P la ta n io ti s,  “ E EG - ba se d a f f e c t s ta te s   c la s sif ic a t io n u si ng  De e p  B e l ie f  Ne tw or k s,   Di gi ta l   M e d ia  I nd ust ry  Ac ad im ic  F or um ( D MI A F)  p roc e di ng ,  20 16 ,   pp .  148 - 1 53 ,   do i: 1 0. 1 10 9/ DM I AF . 2 01 6. 75 74 92 1.   [ 12]   M.   Z.  A l - F a i z   a nd A.   A.   Al - Ha m a da ni ,  “ I m p le m e n ta t i on of   EEG  S i gna P r oc e s si ng  a nd  De c o di ng  fo r   Tw o - C l a ss  M otor   I m a ge r y Da ta ,”   B io me d ic a l E ng ine e ri ng - Ap pl ic ati on s,  B as is a nd  C om mu nic at io ns  J o ur na l ,   vo l.   31,   n o.   4,   pp.   1 - 10,  2 01 9,  do i: 1 0. 4 01 5/S 1 01 62 37 21 95 00 28 5.   [ 13]   N.  Ja tu pa i bo on,  S .  P a n - N g u m ,  a n d  P .  I s r a s e n a ,  “ R e a l - tim e  EEG - ba se d ha pp ine ss de te c t io n sy ste m ,   Sc ie n t ifi c   Wo rld J ou rn al vol.  2 01 3,  20 13,  d oi : 1 0. 11 55 /2 01 3/ 61 8 649.   [ 14]   M.   Z.  Al - F a i z   a nd A.   A.   Al - Ha m a da ni,  “ Ana ly si s a n d I m ple m e n ta t io n of  B r a in Wa ve s F e a tur e  E xtr a c ti on  a nd   C la ss if i c a t io n to C on tr o l R ob ot ic  Ha nd,   I r aq i J our n al of I n fo rm at io n &  C ommu nic at io ns T e c h no lo gy ,  vol .  1,     no.   3,  pp.  3 1 - 41,   2 01 9,   do i:  1 0. 3 19 87 /i jic t. 1. 3. 3 5.     [ 15]   P .  Kshir sa ga r ,  “ F e a tur e  E xtr a c ti on of  EEG  S ig na l s us i ng W a ve le t a n d P r inc ipa l C om po ne nt a na l ys is,   N a ti on al  C onf e re nc e   on  Re se arc h T re n ds  in  E le c t ro nic s,  C om pu t e r Sc ie nc e  &  I nf or ma ti on T e c hn ol ogy ,  F e b .   20 14 .     [ 16]   F .  L otte   e t a l. ,   A r e vie w of  c la ss if ic a ti on a l go r i thm s f o r  EEG - ba se d br a in - c om p ute r  i nte r f a c e s : A  10 - y e a r   u pda te ,   J ou rn al  of  N e ur al   E ng in e e ri ng ,  vo l.  15,  n o.  3,  20 18,  d oi :  10. 10 88 /1 74 1 - 25 52 /a a b 2f 2.   [ 17]   A.  N.  N.  M .  Y os i,  K.  A.  S ide k,  H.  S .  Ya a c ob,  M .  Ot hm a n,  a n A.   Z .  Jus oh,  “ Em o ti on r e c og ni ti on  us in g   e le c tr oe nc e pha lo gr a m  s ig na l,   I nd one si an J ou rn al  of  El e c tr ic a l E ng ine e ri ng  an d C o mp ute r Sc ie nc e ,  vo l.   15,  no .   2,   pp.  78 6 - 79 3,  20 19,  d oi : 10. 11 59 1/ ije e c s. v1 5. i 2. pp 78 6 - 7 93.   [ 18]   P .  S z a c h e w i c z ,  “ C l a s s i f i c a t i o n  o f  M o t o r   Ima g ery  f o r Br ai n - C om p ute r  I nte r f a c e s,  M a ste r s t he s is,  P oz n.  U ni ve r sit y   of  Te c hn ol og y,  F a c u lt of  C om pu ti ng  a n d I nf or m a t io n  S c ie nc e ,  I ns ti tu te   of  C om pu ti ng  S c ie nc e   M a s te r s,  p.   50,   201 3.   [ 19]   Y.   Z ha ng,  S .  Z ha ng,   a nd  X.   Ji,   E EG - ba se d c la ss if ic a t ion  of  e m ot io ns u si ng  e m p ir ic a m o de  de c om po si ti on  a nd   a ut or e gr e ss ive  m o de l,   Mu lt ime d.   T oo ls Ap pl ic a tio ns ,   vo l.  77,  n o.  2 0,  pp.  2 66 97 - 26 71 0,   20 18 ,     doi : 1 0. 10 07 /s 11 04 2 - 01 8 - 58 85 - 9   [ 20]   M.  Mo h ammad p o u r ,  S .  M .  R .  Ha she m i,  a n d N.   Ho u shm a nd,  “ C la ss if ic a ti on  of   EEG - ba se d  e m o ti on f or  B C I   a pp lic a ti on s,   7t h C on fe re nc e  o n A rt if ic i al  I nte ll ige nc e  an d R ob ot ic s ,  20 17 ,   pp.  1 27 - 13 1   doi : 1 0. 11 09 /R I OS . 20 17. 7 95 64 55.   [ 21]   J.  L i,   Z .  Z ha ng,  a nd H.  He ,  “ Hie r a r c hic a l   C on vo lu ti ona l Ne ur a l Ne tw or k s f or  EEG - B a se d Em ot io n R e c og ni ti o n,     C ogn it iv e  C o mp ut at io n ,  vo l.  10,  n o.  2,  pp.  3 68 - 38 0,  20 1 8,  doi : 1 0. 10 07 /s 12 55 9 - 01 7 - 95 33 - x.   [ 22]   S .  Alha gr y,  A.  Aly,  a nd  R .   E Khor i bi ,   Em ot io n R e c og ni ti on ba se d on E EG  usi ng L S TM  R e c ur r e n t Ne ur a l   Ne t wor k,   I nte r na ti on al J o ur na l of Adv anc e d C om put e r Sc ie nc e  an d Ap pl ic a ti on s ,  vol.  8,  no.  10,  2 017 ,     doi : 1 0. 14 56 9/ ij a c sa . 2 01 7. 0 81 04 6.   [ 23]   A.  C r a ik,  Y.  He ,  a nd J.  L .  C Vida l,  “ De e p le a r ni ng  f or  e le c tr o e nc e pha lo gr a m  ( EEG )  c la ss if ic a ti on ta s ks : A  r e vie w,   J ou rn al o f N e u ra l En gi ne e r in g ,  vo l.  16,  n o.  3,  201 9,  do i:  10. 1 08 8/ 17 41 - 2 55 2/a b0a b5.   [ 24]   X.  L i,  X.  Jia ,  G .  Xun,  a nd A.  Z ha n g,  “ I m pr o vi ng  EEG  f e a tur e  le a r ni ng v ia  sy nc hr on iz e d f a c ia l v ide o , ”  I nte rn at io na l C on fe re nc e  o n Bi g D at a,  I EE B ig  Da ta ,  pp.   8 43 - 84 8,   20 15,   d oi 10. 11 09 /B ig Da ta . 20 15. 73 63 83 1 .     [ 25]   A.  Tha r wa t,  “ P r inc ipa l c om po ne n t a na l ys is  -   a  tu tor ia l,   I nte rn at io na J o ur na l of Ap pl ie d Pa tte rn Re c o gn it i on   vol.  3,  n o.  3,  p p .  19 7 - 24 0 ,  2 01 6,  do i: 1 0. 1 50 4/ ija pr . 20 16 . 079 73 3.   [2 6 ]   S .   S iuly a nd Y.  L i,  “ De si gn in g a  r ob us t f e a t ur e  e xtr a c ti on m e t ho d ba se d o n op tim um  a ll oc a t io n a n d pr i nc i pa l   c om p one nt a na ly si s f or  e p ile pt ic  EEG  si gna l c la ss if ic a ti on,   C om pu te Me t ho ds a nd P ro gr am s i n Bi ome di c in e   J ou rn al ,  v ol.   1 19,  n o.  1,  pp.  2 9 - 4 2,  20 15,  d oi : 10. 10 16 /j. c m pb. 2 01 5. 0 1. 00 2.   Evaluation Warning : The document was created with Spire.PDF for Python.