I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   6 ,   No .   6 Dec em b er   201 6 ,   p p .   31 3 1 ~ 31 41   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 6i 6 . 1 2 9 6 7          3131       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   EE G  Ba sed Ey e S tate C la ss ifica tion usin g  Deep  Belie f  Net w o rk   a nd Stac k ed  Aut o Enco der       Sa na m   Na re j o 1 E ro s   P a s er o 2 F a rz a na   K uls o o m 3   1, 2 De p a rt m e n o f   El e c tro n ics   &   Tele c o m m u n ica ti o n s,   P o li tec n ico   Di  T o rin o ,   Italy   3 De p a rt m e n o f   El e c tri c a l,   Co m p u ter &   El e c tro n ics ,   Un iv e rsity   o f   P a v ia,  Italy       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   1 4 ,   2 0 1 6   R ev i s ed   Oct   17 ,   2 0 1 6   A cc ep ted   No v   1 ,   2 0 1 6     A   Br a in - Co m p u ter  In terf a c e   (B CI)  p ro v id e s   a n   a lt e rn a ti v e   c o m m u n ica ti o n   in terf a c e   b e t we e n   th e   h u m a n   b ra in   a n d   a   c o m p u ter .   T h e   El e c tro e n c e p h a lo g ra m   (EE G si g n a ls  a re   a c q u ired ,   p r o c e ss e d   a n d   m a c h in e   lea rn in g   a lg o rit h m a r e   f u rth e a p p li e d   to   e x trac u se f u in f o r m a ti o n .   Du r in g   EE G   a c q u isit io n a rti f a c ts  a r e   in d u c e d   d u e   to   i n v o lu n tary   e y e   m o v e m e n ts  o e y e   b li n k ,   c a stin g   a d v e rse   e ff e c t o n   sy ste m   p e r f o r m a n c e .   T h e   a im   o f   th is   re se a rc h   is  to   p re d ict  e y e   sta t e f ro m   EE G   sig n a ls  u sin g   De e p   lea rn in g   a rc h it e c tu re a n d   p re se n im p ro v e d   c las sif ier  m o d e ls.   Re c e n stu d ies   re f le c t   th a De e p   Ne u ra Ne t w o rk a re   tren d i n g   sta te  o f   th e   a rt  M a c h in e   lea rn in g   a p p ro a c h e s T h e re f o re ,   t h e   c u rre n w o rk   p re se n ts  th e   i m p le m e n tatio n   o f   De e p   Be li e f   Ne t w o rk   (DBN a n d   S tac k e d   A u to En c o d e rs  (S A E)  a Clas s if iers   w it h   e n c o u ra g in g   p e rf o rm a n c e   a c c u ra c y .   On e   o f   th e   d e sig n e d   S AE  m o d e ls   o u t p e rf o rm th e   p e r f o r m a n c e   o f   DBN   a n d   th e   m o d e ls  p re se n ted   in   e x isti n g   re se a rc h   b y   a n   im p re s siv e   e rro ra te  o f   1 . 1 %   o n   th e   tes se b e a rin g   a c c u ra c y   o f   9 8 . 9 % .   T h e   f in d in g i n   t h is  st u d y ,   m a y   p ro v id e   c o n tri b u ti o n   t o w a rd th e   sta te  o th e   a rt  p e r f o r m a n c e   o n   th e   p ro b lem   o f   EE G   b a s e d   e y e   sta t e   c las si f ica ti o n .   K ey w o r d :   B C I   Dee p   b elief   n et w o r k s   Dee p   lear n in g   ar ch itect u r es   E lectr o en ce p h alo g r a m   E y s tate  cla s s i f icatio n   Stack ed   au to e n co d er s   Co p y rig h ©   201 6   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   San a m   Nar ej o ,     Dep ar t m en t o f   E lectr o n ics a n d   T elec o m m u n icatio n ,   P o litecn ico   Di  T o r in o ,   I taly .   E m ail: sa n a m . n ar ej o @ p o lito . it       1.   I NT RO D UCT I O N   B r ain - C o m p u ter   I n ter f ac ( B C I )   is   o n o f   th e m er g i n g   f iel d s   in   h u m an   co m p u ter   in ter ac t io n   ( HC I ) .   I h as  b r o ad     s p ec tr u m   o f   s o licitu d e;  i n clu d i n g   s a f et y - cr iti ca l,  s ec u r it y   s u r v eilla n ce   ,   in d u s tr ial  a n d   m ed ical   ap p licatio n s .   I h a s   p la y ed   p iv o tal  r o le  i n   m ed ical  ap p licat io n s ,   f o r   in s ta n ce ,   p atie n ts   w i t h   m o to r   d is ab ilit ie s   ca n   alle v iate   co m m u n ica tio n   ab ilit ies  w i th   af o r esaid .   B C I   ac h iev e s   t h i s   g o al  b y   estab li s h in g   co n n ec tio n   p ath   b et w ee n   s ti m u lated   b r ain   an d   e x ter n a d ev ice.   B C I s   ar f r eq u en tl y   ai m ed   f o r   r esear ch ,   m ap p in g   o r   r ep air in g   h u m a n   co g n i tiv e   o r   s en s o r y - m o to r   f u n ctio n s .   I n   1 9 2 4   B er g er   w as  t h f ir s o n to   d is co v er   t h elec tr ic  ac tiv it y   o f   t h h u m a n   b r ain .     T h elec tr ic al   ac tiv it y   o f   t h b r ain   is   r ec o r d ed   th r o u g h   E lect r o en ce p h alo g r ap h y   ( E E G)   in   t h f o r m   a   s ig n al.   I ca n   b a ls o   r eg ar d ed   as  t h r ec o r d in g   o f   th e   b r ain 's  s p o n ta n eo u s   elec tr ical   ac ti v i t y   o v er   p er io d   o f   ti m e.   Du r i n g   ac q u i s itio n ,   s i g n als  ar o b tain ed   b y   ap p l y i n g   s ev er al  elec tr o d es  o v er   s ca lp   s u r f ac e.   Ho w e v er   t h p o s itio n   an d   n u m b er   o f   e lec tr o d es  ar a p p licatio n   an d   g o al  d ep en d en t.    T h is   elec tr ical  ac tiv it y   is   th e n   r ec o r d e d   in   f o r m   o f   s i g n al.   T h s ig n al  o b tai n ed   f r o m   E E elec tr o d es  is   p r o ce s s ed   in   s ep ar ate  ch a n n e l       s u b s eq u en t l y   a m p li f ied .   O n m a y   al ter n ati v el y   u s th ter m   ch an n el  o r   e lectr o d [ 1 ] .   A   P r in cip al  asp ec in   t h in v esti g a tio n   o f   E E s i g n a is ,   th a m o u n o f   in f o r m atio n   th at  ca n   b ac q u ir ed   f r o m   th r ea E E r ec o r d in g s .   As  s tated   ea r lier   th at  i n   1 9 2 0 s ,   th s en s iti v it y   o f   E E to   v ar io u s   ch an g es  o f   h u m a n   b r ain s   f u n ctio n al  s tat w as  d e m o n s tr a ted .   I w as  al s o   f o u n d   in   th e   ab o v m e n tio n ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  6 ,   No .   6 Dec em b er   2 0 1 6   :   31 3 1     31 41   3132   s tu d ie s   th at   s i m p le  ac tio n   o f   clo s in g   t h e y e s ,   g i v es  r i s t o   r eg u lar   o s cillat io n s   i n   t h E E w a v e.   W h er ea s   d u r in g   th co n d u ct  o f   a n y   m e n tal  ac tiv it y   t h ese  o s cil latio n s   b ec o m f as ter   an d   less   r e g u lar .   A   s i g n i f ica n c h alle n g to   an   E E b ased   s y s te m ,   i s   t h e   in ter f er en ce   o f   ar t if ac t s   i n   t h s i g n als.   A r ti f ac t s   ar h i g h   f r eq u en c y   s ig n al s   b elo n g   to   n o n - ce r eb r a o r ig in   an d   ca n   d r a m atica ll y   alter   th r ec o r d ed   s ig n al.   T h ar tif ac ts   ar d iv id ed   in to   t w o   g r o u p s   as  i n ter n a l   an d   ex ter n al.   T h ex ter n al  ar t if ac ts   ar g e n er ated   f r o m   t h   en v ir o n m e n o r   p o w er   eq u ip m en t s .     T h in ter n a ar tif ac ts   ar e y b l in k s ,   e y m o v e m e n ts ,   m u s cle   an d   r esp ir ato r y   ar ti f ac t s   [ 2 - 3 ] .   Du r in g   t h E E ex p er i m en tal  p r o ce d u r es,  th s u b j ec ts   ca n n o co n tr o s p o n tan eo u s   e y m o v e m e n t s   o r   b lin k s   [ 4 ] .   T h ese  ar tif ac ts   ar al m o s in e v itab le,   m a y   s e r io u s l y   d i s to r b r ain   ac tiv it y .   T h er ef o r e,   th ese  o cc u r r en ce s   estab lis h   t h p r o m in e n ce   o f   r esear ch   o n   E E G,   e y s ta te  s ig n al  a n al y s is .       R ec en tl y ,   t h a r ea   o f   d ee p   lear n in g   is   at tr ac tin g   w id esp r ea d   in ter est  b y   p r o d u cin g     r e m ar k ab le   r esear ch   i n   al m o s e v er y   asp e ct  o f   ar ti f icial   in telli g en ce .   A p ar f r o m   ac h ie v i n g   e m p ir i ca s u cc ess   in   t h e   en o r m o u s   n u m b er   o f   p r ac tical  ap p licatio n s ,     it  h a s   p r o v id ed   s tate  o f   t h ar p er f o r m a n ce   i n   n at u r al  la n g u a g e   p r o ce s s in g ,   s p ee ch   r ec o g n itio n ,   o b j ec r ec o g n itio n   a n d   m a n y   o t h er   d o m ai n s   [ 5 ] .   Dee p   lear n in g   h as  b ec o m e   o n o f   t h s i g n if ica n t p ar ts   o f   th m ac h i n lear n in g   f a m il y .   I t is b ased   o n   t h s et  o f   alg o r it h m s   t h at  atte m p t s   t lear n   h ier ar ch ica l,  n o n   li n ea r   r ep r esen tatio n s   o f   d ata.   I n     b r o ad er   asp ec th is   ap p r o ac h   ca n   also   b ter m ed   as   R ep r esen tat io n   lear n i n g .   L ea r n R ep r ese n tatio n s   o f te n   r e s u lt s   i n   m u ch   b etter   p er f o r m an ce   t h an   ca n   b e   o b tain ed   w it h   h a n d - d esig n ed   o r   h an d - en g i n ee r ed   r ep r esen tatio n s   f o r   i n s ta n ce   m a th e m atica o r   s tati s tical   ca lcu latio n s   [ 6 ] .   A lt h o u g h   al th e   d ee p   lear n i n g   ap p r o ac h es,  s h ar e   th e   id ea   o f   n este d   r ep r esen tatio n   o f     d ata  [ 7 ] .   On   th o th er   h an d ,   it   is   n o al w a y s   tr u th at  d ee p   lear n in g   ar ch itect u r es  m a y   p er f o r m   b etter   th a n   th e   s h allo w   o n es.    Dee p er   ar ch ite ctu r es  m a y   lead ,   w h e n   t h er is   s u f f icie n a m o u n o f   d ata  to   ca p tu r th p atter n s   an d   th tas k   is   co m p lex   e n o u g h   to   b lear n t th r o u g h   h ier ar ch ical  m u lti - le v el  n o n - lin ea r   tr a n s f o r m a tio n s .         I n   th i s   er a,     en o r m o u s   r esear c h   g o i n g   o n   w it h   t h ex p er ien t ial    an d   th eo r etica f i n d in g s   h as  b r o u g h t   Dee p   L ea r n i n g   A r c h itect u r es  ( DL A s )   to   th at ten t io n   o f   m ac h in lear n i n g   co m m u n it y .   T h is   p ap er   p r esen ts   th u s e   o f   d ee p   lear n i n g   tec h n iq u es   to   cla s s i f y   t h s tate  o f   t h e y f r o m   E E s ig n al s .   T h is   r e s u l ted   a s   i m p r o v ed   ac cu r ac y   o f   p r ed icti n g   m o d el  o v er   t h co n v e n tio n al  m ac h i n lear n i n g   m eth o d s .   T h   f o cu s     o f   o u r   r esear ch   is   t o   i m p le m e n d e ep   lear n in g   ar ch itect u r es  a s   class i f icatio n   m o d els;   s p ec if i ca ll y   Dee p   B elief   Net w o r k   ( DB N)     an d     s tack ed   A u to E n co d er   ( SA E )   an d     p r o v id co m p ar ativ a n al y s i s   o n   th b eh a v io r   an d   p er f o r m a n ce   o f   S A E   a n d   DB F.  Su b s eq u en t l y ,   c o m p ar i n g   t h o b tain ed   r esu lts   w i th   co n v en t io n al  Ma c h i n lear n in g   m o d el s   o f   ea r lier   s t u d ies.   Dee p   lear n i n g   is   ac h i ev in g   s tate - of - t h e - ar r es u lt s   ac r o s s   r an g o f   d if f ic u lt  p r o b le m   d o m ai n s .   T o   th b est  o f   o u r   k n o w led g e,   th is   is   th f ir s ap p licatio n   o f     E y s tate  p r ed ictio n   o f   E E s ig n al s   u s in g   d ee p   ar ch itect u r es.   T h r est  o f   th m an u s cr ip   is   s t r u ct u r ed     as  f o llo w s .   Sect i o n   2   p r o v id es    th   in f o r m at io n   o n   th e     r elate d   w o r k   f o r   e y   s ta te    cl ass i f icatio n ,     p r ed ic tio n     o r     id en ti f icatio n     v ia   E E s ig n als.   Sectio n     3   p r o v id es   th b r ief   o v er v ie w   o f   DL As  i m p le m en ted   i n   t h is   r esear c h   w o r k .   T h d etails  o f   t h r es ea r ch   m et h o d o lo g y   f o llo w ed   is   e x p lai n ed   in   Secti o n   4 .   Sectio n   5   p r o v id es  t h v is io n   o n   r esu lts   a n d     d is c u s s i o n .   Sectio n   6   d ea ls   w it h   t h co n cl u s io n   an d   f u t u r e   w o r k .       2.   RE L AT E WO RK   E y s tate  cla s s i f icat io n   is   k in d   o f   co m m o n   ti m s er ies   p r o b lem   f o r   d etec ti n g   h u m a n   co g n iti v s tate,   w h ic h   ar n o o n l y   cr u c ial  to   m ed ical  ca r b u also   s i g n i f ica n f o r   d aily   li f ch o r es.     T h er ar v ar io u s   ap p licatio n   ar ea s   r elate d   to   t h id en ti f icatio n   o f   th h u m an   co g n iti v s tate  w h er E E e y s tate  cla s s i f icat io n   task   is   th e   ce n tr al  ele m e n t,  s u ch   as   ep ilep tic  s eiz u r d etec tio n   [ 8 ] ,   s tr es s   f ea t u r id en t if icatio n   [ 9 ] ,   d r iv i n g   d r o w s i n ess   d etec tio n   [ 1 0 ] ,   in f an s leep - w ak i n g   s tate  id en tific atio n   [ 1 1 ] .   A lth o u g h   s o m r esear ch   w o r k   h a s   alr ea d y   b ee n   d o n e   f o r   e y e   s ta te  p r ed ictio n ,   id en t if ica tio n   o r   d ete ctio n   in   f ac ial  i m a g es   an d   v is u al   r ec o r d in g s   to o   [ 1 2 ] .   Ho w e v er ,   as  illu s tr ated   in   I n tr o d u ctio n   o u r   ai m   is   to   p r ed ict  th ey s tate  f r o m   E E s ig n al s   as  it   ca u s e s   d eter io r atio n   i n   s i g n a l.  T h er ef o r e,   to   f o s ter   th i s   s i tu atio n   clas s i f icatio n   i s   d o n e   b y   d ee p   lea r n in g   ar ch itect u r es.    I n   th liter at u r e,   r esear ch er s   h av atte m p ted   to   s u cc ess f u ll y   r e m o v e y b li n k   ar ti f a cts  b y   d e - v elo p in g   s ev e r al  m et h o d s   f o r   in s ta n ce   [ 1 3 - 1 5 ] .   T h au th o r s   in   [ 1 6 ]   p r o v id ed   th co m p a r is o n   o f   SVM  an d   A N f o r   cla s s i f icatio n   o f   E E e y s tates  s u c h   a s ,   e y b li n k ,   e y o p en   an d   e y clo s ed .   T h SVM  w as   j u s ti f ied   as  t h p r ef er r ed   ch o ice   o f   m o d el  o v er   A NN   o n   th e   b asis   o f   p er f o r m an ce   ac c u r ac y   g i v e n   b y   b o th   m o d els.  I n   ad d itio n ,   h ier ar ch ical  clas s if ica tio n   al g o r ith m   is   d ev el o p ed   u s in g   t h r esh o ld i n g   m et h o d   f o r   o f f li n e   r ec o g n itio n   o f   f o u r   d ir ec tio n s   o f   e y m o v e m en ts   f r o m   E E s ig n al s   [ 1 7 ] .   T h r esear ch er s   in   [ 1 8 ]   p r o p o s ed   an   E E b ased   ey tr ac k i n g   s o lu t io n   b y   u s in g   t h in f o r m atio n   f r o t w o   d i f f er e n s o u r ce s ,   i.e . ,   Hea d   m o u n ted   Vid eo - Oc u lu o g r ap h y   a n d   1 6 - ch a n n e led   E E s ig n al.   T h eir   p r o p o s ed   m o d el  ac h ie v ed   th ac cu r ac y   o f   9 7 . 5 7 b y   e x tr ac tin g   th f ea t u r es  f r o m   s o u r ce   b y   u s i n g   I C A   r ath er   th an   b an d - p as s   p r ep r o ce s s ed   E E s ig n al s .   A   n o v el  m ac h in lear n in g   ap p r o ac h ,   in cr e m e n tal  attr ib u te  le ar n i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       E E B a s ed   E ye   S ta te  C la s s ifica t io n   u s in g   Dee p   B elief  N etw o r k   a n d   S ta ck ed   A u to E n c o d er   ( S a n a N a r ejo )   3133   ( I AL )   is   p r o p o s ed   in   [ 1 9 ]   f o r   E E ey s tate  ti m s er ies  class i f icatio n .   T h I A L   al g o r ith m   p r o g r es s i v el y   i m p o r ts   an d   tr ain s   f ea tu r es o n at  ti m to   p r ed ict  th class   lab elin g .     I n   [ 2 0 ] ,   th r esear ch er s   h av s tu d ied   th d i f f er e n ce s   a m o n g   th r ee   s tates,  i.e .    E y e - c lo s ed ,   E y e - o p en   an d   A tte n s io n   s tate s   o f   h u m a n   u s in g   E E s ig n al s .   T h m aj o r   g o al  o f   th eir   r esear ch   w as  t o   ad d r ess   th is s u e   o f   h o w   s p atial - te m p o r al  p r o p er ties   o f   alp h r h y m e s   w er af f ec ted   b y   t h c h an g o f   h u m a n   b r ain   s tate.   Ho w e v er ,   th au t h o r s   d id   n o p u r s u f u r t h er   to w ar d s   th p r ed ictiv m o d el  f o r   th clas s i f icatio n   task   o f   th e   ab o v m en t io n ed   s tate s .     T h r esear ch er s   d ev elo p ed   E E E y s tate  co r p u s   a n d   test ed   4 2   d if f er e n clas s i f ier s   f o r   d etec tin g   w h et h er   an   in d i v id u al 's  e y es   ar o p en   o r   clo s ed   b as ed   o n   E E r ec o r d in g s   [ 2 1 ] .   I w a s   e x p lo r ed   th at     k *   al g o r ith m   ac h ie v ed   th h i g h e s ac cu r ac y   i n   co m p ar is o n   w it h   o th er s ,   ac h ie v i n g   t h co r r ec class if icatio n   r ate  o f   9 7 . 3 %.  T h eir   d ev elo p ed   E y s ta te  co r p u s   is   n o w   s to r ed   in   th Ma ch in lear n i n g   r ep o s ito r y   as  b en ch m ar k   p r o b le m   [ 2 2 ] .   T h s a m co r p u s   is   f u r th er   u s ed   in   [ 2 3 ]   as  tim s er ies  clas s i f ic atio n   tas k   b ased   o n   I AL   ap p r o ac h ,   w it h   t h Feat u r o r d er in g   b ased   o n   A cc u m u la tiv Di s cr i m i n ab ilit y   ( A D) .   T h s tu d y   o f     Ol iv er   R o e s ler   an d   Dav id   S u en d er m an n   [ 2 1 ]   is   f u r th er   e x ten d ed   in   [ 2 4 ]   in   wh ich   th r ee   d if f er e n en s e m b le  lear n i n g   m o d els  ar d ev elo p ed   an d   th ac cu r ac y   ac h iev ed   w it h   t h m o s ac cu r ate  m o d el   co n s tr u cted   f r o m   R e g u lar ized   R an d o m   Fo r est  R R an d   K *   is   9 7 . 4   %.  T h r esear ch   w o r k   in   [ 2 5 ]   p r o p o s ed   a   n o v el  s y s te m   b ased   o n   s m all  n u m b er s   o f   Ne u r o   Fu zz y   r u les   f o r   s i m ilar   cla s s i f icat io n   p r o b le m .   I n   th e ir   s t u d y ,   w ei g h p ar a m eter   t u n n i n g   w a s   d o n b y   ad j u s tin g   t h s ta n d ar d   d ev iatio n s .   T h b est  p o s s ib le  r es u lts   w er e   ac h iev ed   b y   t u n in g   t h p ar a m e ter s   as y m m etr icall y   t h r o u g h   te s t c ases   w i th   t h av er a g er r o r   r ate  o f   4 . 0 %.       3.   T H E   CO M P RE H E NS I VE   T H E O R Y   T h DL As  ar co m p r is ed   o f   m u ltip le  le v el s   o f   n o n - lin ea r   o p er atio n s ,   lik n e u r al  n et w o r k s   w it h   s ev er al  h id d en   la y er s .   T h s ta n d ar d   tr ain in g   s tr ateg y   o f   n eu r al  n et w o r k   a n d   t h g r ad ie n b ased   o p tim izatio n ,   o f ten   g et s   s t u ck   in   lo ca m i n i m an d   f i n d s   t h p o o r   s o lu ti o n   f o r   th n et w o r k   w it h   m u lt ip le  h id d en   la y er s .     I n tu i tiv e l y ,   it  i s   d if f ic u lt  to   tr ain   d ee p   n eu r al  n et w o r k s   w it h   s ta n d ar d   lear n in g   al g o r ith m s   b ec au s s ea r ch i n g   th p ar a m eter   s p ac b ec o m es   d if f ic u lt   i n   d ee p er   n et w o r k s .   T h is   is s u g et s   r eso l v ed   b y   i n itializi n g   th e   w ei g h t   pa r am eter s   o f   d ee p   n eu r al  n et w o r k   t h r o u g h   g r ee d y   la y er   w is u n s u p er v is ed   tr ain in g   a s   in tr o d u ce d     in   [ 2 6 - 2 8 ] .     3 . 1 .   D eep   B elief   N et w o rk   DB h o ld s   g r ea p r o m i s a s   p r in cip le  to   ad d r ess   th p r o b lem   o f   tr ain in g   d ee p   n e u r al  n et w o r k s .   DB N   ar e   co m p o s ed   o f   m u lti p le  la y er s   o f   s to ch a s tic,   u n s u p er v is ed   m o d el  s u c h   a s   R e s tr icted   B o ltz m an n   Ma ch i n es  ( R B Ms) ,   w h ich   ar e   u s ed   to   i n it ialize  t h n et w o r k   in   t h r e g io n   o f   p ar a m e ter   s p ac e   th at  f i n d s   g o o d   m i n i m o f   t h s u p er v is ed   o b j e ctiv e.   R B Ms  ar p r o b ab ilis tic  g r ap h ical  m o d els  t h at  ar co n n ec te d   b i - d ir ec tio n all y   a n d   ca n   b in f er r ed   as   s to ch ast ic  n e u r al  n et w o r k s .   R B r elies  o n   t w o   la y er   s tr u c t u r co m p r is i n g   o n   v i s ib le  an d   h id d en   n o d es,  t h is   co n ce p is   s h o w n   in   Fi g u r 1 .   T h v is ib le  u n i ts   co n s tit u te  t h f ir s la y er   a n d   co r r esp o n d   to   th co m p o n e n t s   o f   an   o b s er v atio n   w h er a s   th h id d en   u n its   m o d el  d ep en d en ci es  b et w ee n   t h co m p o n e n t s   o f   o b s er v atio n s .   T h e   R B is   tr ain ed   to   m o d el  th j o in p r o b ab ilit y   d is tr ib u t io n   o f   in p u t s   o r   ex p lan ato r y   v ar iab les  an d   th co r r esp o n d in g   lab els  o r   r es p o n s v ar iab les,  b o th   r ep r es en ted   b y   t h v i s ib le  u n it s   o f   th R B M.   T h e   p r o b a b ilit ies o f   b o th   h id d en   an d   v is ib le  n o d es a r ex p r ess ed   i n   eq u atio n   ( 1 ) .     (   |   )     (     |   )                       (   |   )     (     |   )                                         ( 1 )     T h co n d itio n al  p r o b ab ilit y   o f   s i n g le  v ar iab le  to   b 1 ,   ca n   b th e n   i n ter p r eted   as  t h f ir i n g   r ate  o f   a   s to ch ast ic  n e u r o n   w it h   s i g m o i d   ac tiv atio n   f u n c tio n   σ ( x )   1 /( 1   e^( - x ) ) .   T h er ef o r th e   b in ar y   s tates o f   h id d e n   u n i ts   an d   r ec o n s tr u ctio n   f r o m   th o s h id d en   u n it s   as  v i s ib le  n o d es  in   ab o v eq u ati o n s   ca n   b f u r th e r   in ter p r eted   in   f o r m   o f     eq u atio n s   ( 2 )   an d   ( 3 )   as       (         |   )     (                        )                                                                                           ( 2 )       (         |   )     (                        )                                                                            ( 3 )     W h er e,   W ij  is   th w eig h as s o ciate d   b et w ee n   t h u n it s   v j   an d   h w h er ea s   b j   an d   ci  ar th b ias  ter m s .   T h ch an g i n   w ei g h t p ar a m eter   is   th e n   g i v e n   b y   ( 4 ) .                         (                                              )                                                                ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  6 ,   No .   6 Dec em b er   2 0 1 6   :   31 3 1     31 41   3134   T h id ea   is   th at  t h h id d en   n eu r o n s   e x tr ac r ele v an f ea t u r es  f r o m   th o b s er v atio n s .   T h ese  f ea t u r es   s er v as   in p u to   a n o th er   R B M.   B y   s tac k i n g   R B Ms  i n   t h i s   w a y ,   o n ca n   ac h ie v h ig h   le v el  r ep r esen tatio n s   b y   lear n in g   t h f ea t u r es  f r o m   f ea t u r es.   DB Ns  ar ca p ab le  o f   e x tr ac t in g   d ee p   h ier ar ch ical  r ep r e s en tat io n   o f   t h tr ai n i n g   d ata .   T h to p   la y er s   o f   DB ar r esp o n s ib le  as  a   s o u r ce   o f   m o r ab s tr ac an d   m ea n in g f u l”  r ep r esen tatio n s   t h at  ex p lai n   th e   in p u t o b s er v at io n   x ,   w h er ea s   l o w er   la y er   ex tr ac ts   lo w   lev e l f ea t u r es”.             Fig u r e.   1 .   T h s tr u ctu r o f   s i n g le  R B co m p o s ed   o f   v i s ib l la y er   an d   h id d en   la y er       3 . 2 .   Sta ck ed  A uto E nco der   An   alter n at iv ap p r o ac h   to   d e ep   lear n in g   i s   Stac k ed   Au to e n co d er ,   w h er th h id d en   u n it s   g e n er ate   ex p lo itab le  n u m er ic  f ea tu r v alu es.  As  d e m o n s tr ated   in   [ 2 9 - 3 0 ]   Au to E n co d er s   h av b e co m e   t h d o m i n a n t   f o ca l p o i nt   in   th e   ar ea   o f   d ee p   ar ch itectu r e s ”.   An   Au to E n c o d er   is   n e u r al  n et w o r k   t h at   c o n s is ts   o f   t w o   p ar ts :   en co d er   an d   d ec o d er .   I is   tr ain ed   in   s u ch   w a y   to   r ec o n s tr u ct  t h g iv e n   i n p u t   at  t h o u t p u la y er .   T h f ir s t   p ar t,  th e n co d er   is   r esp o n s i b le  to   co m p u te   th e   h id d en   r ep r esen tatio n s   h   o f   i n p u t   s p a ce   v   th r o u g h   s o m n o n li n ea r   tr an s f er   f u n ct io n   f ( v ) .   T h d ec o d er   tak es  th ese  l aten ts   p r o d u ce d   b y   en co d er s   an d   f u r th er   p as s es  i t   th r o u g h   s o m e   n o n - lin ea r i t y   o r   lin ea r it y   g ( h )   t o   g e n e r a t e   t h e   r e c o n s t r u c t i o n   o u t p u t   v   .     h e   s e t   o f   p a r a m e t e r s     an d   ’  a r e   l e a r n t   s i m u l t a n e o u s l y   o n   t h e   t a s k   o f   m i n i m i z i n g   r e c o n s t r u c t i o n   e r r o r     ( v , v   )   w h i c h   i s   a   m e a s u r e   o f     th d is cr ep an c y   b et w ee n   ac t u a l a n d   r ec o n s tr u cted .   T h er r o r   f u n ctio n   is   e x p r ess ed   in   ( 5 ) .               (           (     (   ) ) )                                                                                                              ( 5 )     T h A u to E n co d er   b asicall y   lear n s   to   m ap   t h in p u t   b y   lear n in g   t h n o n - lin ea r   o r   s o m e   r ep r esen tatio n s   o f   i n p u s p ac in   an   u n s u p er v i s ed   m a n n er .   T h s tr u ctu r o f   an   Au to E n co d er   w i th   s in g l e   h id d en   la y er   is   elab o r ated   in   Fig u r 2 .   T h o u tp u la y er   in   an   Au to n co d er   s h o u ld   b o f   t h s a m s ize  as  th e   in p u t   la y er ,   b ec au s e   t h Au to E n co d er   is   n o cla s s i f y i n g   th e   lab eled   o u tp u t,  in s tead   it   is   r ep r o d u cin g   th e   in p u t.   E ac h   Au to e n co d er   is   s ep ar atel y   tr ain ed   li k an   R B i n   lay er   w i s m a n n er .   Du r i n g   t h e   tr ain in g   p h ase  t h e   r ec o n s tr u ctio n s   a t h o u tp u l a y er   ar co m p ar ed   w it h   t h ac tu al  g i v en   in p u to   r ed u ce   th d if f er e n ce   b et w ee n   th e m .   S tack i n g   th tr ai n ed   u n s u p er v is ed   Au to E n co d er   o v er   a n o th e r   A u to E n co d er   an d   th en   tr ain i n g   t h w h o le   n et w o r k   g lo b all y   b y   ad d in g   an   o u t p u t la y er   ca te g o r ize  th m o d el  in   th ca teg o r y   o f   D L A .                         Fig u r 2 .   I llu s tr atio n   o f   an   Au t o E n co d er       4.   R E S E ARCH     M E T H O D   I n   th i s   w o r k ,   ab o v m en tio n e d   DL A   m o d els  ar d ev elo p ed   an d   tr ain ed   as  class i f icatio n   m o d el s   f o r   i m p r o v ed   E E b ased   e y s t ate  id en ti f icatio n .   Am o n g   th v ar io u s   a v ailab le  d ee p   ar c h itect u r es  o f   n eu r al   n et w o r k s ,   th c u r r en r esear c h   f o c u s e s   o n   t h i m p le m e n ta tio n   o f   DB a n d   S A E   f o r   th p r esen s t u d y .   I n   o r d er   to   tr ain   th e s d ee p   ar c h itect u r es  th e   lear n i n g   al g o r ith m   f o r   th e   n eu r al  n et w o r k   tr ain i n g   is   in   li n e     w it h   [ 2 7 - 2 8 ] .   W f u r t h er   i n v e s tig a te  t h p er f o r m a n ce   o f   t h e s i m p le m e n ted   d ee p   n et w o r k s   b y   p r o v id i n g   t h e   W   W T   D e c o d e r   E n c o d e r   H idd e n   I n p u t   Ou t p u t   h   v   v ̂   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       E E B a s ed   E ye   S ta te  C la s s ifica t io n   u s in g   Dee p   B elief  N etw o r k   a n d   S ta ck ed   A u to E n c o d er   ( S a n a N a r ejo )   3135   co m p ar ati v an al y s is   w it h   ea ch   o th er   an d   w ith   s o m o f   o th er   co n v e n tio n al  m ac h i n le ar n in g   ap p r o ac h es  m en tio n ed   in   t h s u b s eq u e n t   s ec tio n .   A   d is tin g u is h ab le  f ac to r   o f   th d ee p   lear n in g   ar ch itect u r es  f r o m   co n v e n tio n al   cla s s i f ier s   is   t h au to m at ic  f ea t u r lear n in g   f r o m   d ata   w h ich   m ain l y   co n tr ib u tes  to   i m p r o v e m e n t   in   t h ac c u r ac y   o f   th e   m o d el.     A p ar f r o m   t h i s   t h d ee p   le ar n in g   al g o r ith m s   i n tr o d u ce d   r ec en tl y ,   s o l v es  t h e   h ar d   o p tim izatio n   p r o b le m   in t o   s ev er al  g r ee d y   s tep s ,   th o u g h   th s i m p le  o n es,  to   tr ain   t h d ee p er   n et w o r k s .       T h r esear ch   s tr ateg y   f o llo w e d   in   th is   w o r k   is   d e m o n s tr ate d   in   Fig u r 3 .   I n itiall y ,   th d ata  is   p r e - p r o ce s s ed   b y   r e m o v in g   th e   n o is o r   an y   k i n d   o f   an   o u tl ier .   Af ter w ar d s ,   t h m ea n i n g f u f e atu r s e is   f o r m ed   b y   ap p l y i n g   th e   DW T   tr an s f o r m at io n   o n   E E s ig n al   as  e x p lain ed   i n   th e   later   p ar o f   t h is   s ec tio n .   B ef o r p r esen tin g   th e x tr ac ted   f ea t u r s et  to   t h cla s s i f icatio n   m o d els  f o r   tr ai n in g ,   t h f ea t u r s et    w as     n o r m alize d   in   th r an g o f   ( 0 , 1 )   s o   th at  th n et w o r k   lea r n s   ef f icie n tl y .   F in all y   t h p r ep r o ce s s ed   d atase w as  u s ed   f o r   th e   tr ain i n g   o f   cla s s i f icat io n   m o d els.  Fo r   clas s i f icatio n   m o d els ,   as  w e x p lai n ed   ea r lier ,   o u r   m aj o r   f o cu s   is   to   ex p lo r th p er f o r m a n ce   o f   DB an d   S A E .   T h m aj o r   o b j ec tiv w as,  t h lo w est  p o s s ib le  er r o r   an d   h ig h   ac cu r ac y   to   b ac h iev ed   b y   i m p le m e n ted   m o d els.  He n ce ,   t h tr ain i n g   o f   Dee p   A r ch itect u r es  to o k   co u p le  o f   d ay s ,   w h ic h   w a s   n o th m o s t   im p o r tan tar g et  f o r   o u r   ca s e.   T h d etail  ex p lan atio n   o f   th e   s tep s   f o llo w ed   ar s p ec if ied   b elo w .     T h e   E E d ata  s et   w as   ta k en   f r o m     t h UC I   m ac h i n L ea r n i n g   r ep o s ito r y ,   w h ic h   i s   a   b en c h m ar k   f o r   th E y s tate  clas s i f icatio n   p r o b lem .   T h E E s ig n al  w a s   r ec o r d e d   f r o m   1 4   d if f er en elec tr o d es  w it h   th e   E m o tiv   E E Neu r o h ea d s e t.  T h e y s tate  eit h er   o p en   o r   clo s ed   w a s   ca p tu r ed   m a n u all y   b y   m ea n s   o f   ca m er a   d u r in g   th E E G   m ea s u r e m e n a n d   th ca p t u r ed   f r a m e s   w er i n ter p r eted   as   1   an d   0   in   co r r esp o n d   to     E ye - clo s ed   an d   E y e - o p en   s tat es.   T h d u r atio n   o f   t h m ea s u r e m en w as  1 1 7   s ec o n d s   w it h   1 4 9 8 0   s am p les.  T h e   E E s ig n al  w as  f u r th er   p r ep r o ce s s ed   f o r     o u tlier s   a n d   n o is e.                                                     Fig u r 3 .   Flo w   o f   R esear c h   M eth o d o lo g y       I n   o r d er   to   ex tr ac u s ef u f ea t u r es  f r o m   E E ti m s er ies  s i g n al  Dis cr ete  W av elet  T r an s f o r m   ( DW T )   w a s   ap p lied .   I n   th e   d o m ai n   o f   b io m ed ical  s i g n als  D W T   h as  b ee n   w id el y   u s ed   f o r   ti m e - f r eq u e n c y     an al y s is   [ 3 1 ] .   T r ad itio n all y   u s ed   Sh o r ter m   Fo u r ier   tr an s f o r m s   p er f o r m   te m p o r al  r eso lu tio n   a n d   h ig h li g h t   ch an g i n   s p ec tr u m   w i th   r e s p ec to   ti m e.   O n   t h o th er   h an d   it  g iv e s   u n i f o r m   r e s o lu tio n   in   th f r eq u e n c y   d o m ai n .   T h w av ele tr an s f o r m   p r o v id es  w i n d o w   th a h a s   co n s ta n r elati v er r o r   in   th f r eq u e n c y   d o m a in ,   r ath er   th an   co n s ta n ab s o lu te   er r o r ,   at  th ex p en s o f   ti m r eso lu tio n ,   in   ac co r d an ce   w it h   Heise n b er g 's   u n ce r tai n t y   p r in cip le.   M u lti  le v el  W av elet  d ec o m p o s itio n   r e s o lv es  th m aj o r   w av e let  i n to   d if f er e n f r eq u en c y   b an d s   alp h a,   b eta,   g a m m a,   d el ta,   th eta  an d   s i g m a.       As  w h a v s p ec if ied   ea r lier ,   th E E d ata  s et  u s ed   i n   t h is   s tu d y   co n tai n s   s i g n al s   f r o m   1 4   d if f er en elec tr o d es.  T h 1 4   elec tr o d es  ar co n s id er ed   as  1 4   d if f er en t   ch an n els  as  s h o w n   i n   t h Fig u r 4   an d   D W T   is   ap p lied   to   th s ig n a l o f   ea ch   c h an n el.   S i g na l  P r e pr o c e ss i ng     C l as si f i c at i o M o de l s   E E G   R a w   D a t a   Fea t u r e   E x t r a c t ion   Ou t li e r s   a n d   N o i s e   R e m o v a      D e e p   L e a r n ing   A r c h i t e c t u r e s   D B N   S A E   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  6 ,   No .   6 Dec em b er   2 0 1 6   :   31 3 1     31 41   3136       Fig u r e   4 .   E E Sig n a ls   Ge n er ate d   f r o m   1 4   El ec tr o d es       T h DW T   d ec o m p o s itio n s   o f   s ig n al s   ar ac tu a ll y   th e   o u tco m es  o f   h i g h   p as s   a n d   lo w   p as s   f ilter in g .     T h ap p r o x im a tio n s   ar t h e   h i g h - s ca le,   lo w - f r eq u en c y   co m p o n e n t s   o f   t h s i g n al.   T h d etails  ar t h   lo w - s ca le,   h i g h - f r eq u e n c y   co m p o n en ts .   T h E E s i g n al  is   f u r t h er   d ec o m p o s ed   in to   le v e 8   A p p r o x i m atio n s   a8   an d   Deta ils   d 1 - d 8 .   T h lev el  o f   d ec o m p o s itio n   d ep en d s   o n   th p r in cip al  f r eq u e n c y   co m p o n en ts .   Fi g u r 5   in d icate s   t h p h e n o m e n o f   4   lev el  DW T   d ec o m p o s i tio n   tr ee .   T h ese  d ec o m p o s itio n s   ter m ed   as  s u b b an d   f ea t u r es a r o f ten   u s ed   as a n   i n p u f ea t u r s et  o f   attr ib u tes  f o r   v ar io u s   class if ica tio n   a n d   p r ed ictio n   task s   [ 3 2 ] .   Fo r   ea ch   c h an n el  s i g n al   s ep ar ate  d ec o m p o s it io n s   w er c o m p u ted .   S u b s eq u e n tl y ,   t h f r e q u en c y   b an d s   alp h a,   b eta,   g a m m a,   th eta  an d   d elta  ar esti m a ted   f r o m   t h o s co m p u ted   d ec o m p o s itio n s .   I n   th i s   w a y ea ch   s ig n al  f r o m   ea ch   ch a n n e l   is   p r esen ted   in   ter m s   o f   th a b o v m e n tio n ed   f iv b an d s .   T h er ef o r th f ea t u r s et  co n s is t s   o f   to tal  1 4   m u lt i p lied   b y   5   as  to tal   attr ib u te s .   T h n o r m aliza tio n   p r o ce d u r w a s   f u r t h er   ap p lied   o n   th f ea tu r s et  to   b r in g   th v al u es i n   th r a n g b et w ee n   0   an d   1 .           Fig u r 5 .   P r esen tatio n   o f   4 - le v el  DW T   Dec o m p o s itio n   T r e e       I n   th is   p ar o f   w o r k ,   e x p er i m en ts   ar p r ese n ted   to   an a l y ze   a n d   ex p lo r th e   d ee p   lear n i n g   ar ch itect u r es  th at  f all s   in   t w o   b r o a d   an d   m aj o r   ca teg o r ies  i.e .   DB an d   SA E   an d   to   f u r t h er   in v esti g ate  t h e   p er f o r m a n ce   o f   b o th   m o d els o n   th b asi s   o f   co m p ar ati v an a l y s i s .         4 . 1 .   E x peri m e nta l   Set up   1     I n   th is   s tep ,   DB m o d el   w as  d ev elo p ed   an d   tr ain ed .   T h n e t w o r k   m o d el   w as   f o r m ed   b y   s t ac k in g   th e   R B Ms.  A   DB w as   d ev elo p ed   w it h   a n   i n p u t   la y er   co n s is ti n g   o f   7 0   u n its ,   th r ee   h i d d en   la y er s   o f   s ize     ( 6 0 0 - 400 - 1 0 0 )   an d   an   o u tp u la y er   w ith   o n u n it  to   p r ed ict  t h class   o f   an   E E s i g n a i.e .   o p en   o r   clo s e .   T h u lti m ate  ar ch itec tu r o f   t h tr ain ed   DB m o d el  is   s h o w n   i n   Fi g u r 6 .   T o   s elec th to p o lo g ical  s tr u c tu r o f   th h id d en   la y er s   o f   DB th d e m o n s tr atio n s   g i v en   i n   [ 3 3 ]   w er f o llo w ed .   E ac h   lay er   o f   th DB is   in d ep en d en tl y   tr ai n ed   as   a n   R B w it h   t h Si g m o id   ac tiv atio n   f u n ctio n .   T h s tate s   o f   h id d en   n o d es   d eter m in ed   b y   tr ai n ed   R B w er u s ed   as  in p u to   th n ex la y er .   Af ter   u n s u p er v is ed   tr ain i n g ,   t h lab els  o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       E E B a s ed   E ye   S ta te  C la s s ifica t io n   u s in g   Dee p   B elief  N etw o r k   a n d   S ta ck ed   A u to E n c o d er   ( S a n a N a r ejo )   3137   E E E y e v en ts   w er p r o v id ed   at  th o u tp u la y er   f o r   lin ea r   m ap p in g .   T h p r e f er r ed   p ar a m eter   s elec tio n s   f o r   th p r etr ain i n g   o f   DB ar r e v ea led   in   T ab le  1 .           Fig u r 6 .   DB m o d el  f o r   clas s if ica tio n       T ab le  1 P ar am eter   Setti n g s   f o r   P r etr ain in g   P h ase   P a r a me t e r   V a l u e   N o .   o f     I t e r a t i o n s   10   L e a r n i n g   R a t e   0 . 0 1   B a t c h   S i z e   2   T r a n sf e r   F u n c t i o n   S i g mo i d       On ce   th la y er s   o f   R B in   D B w er tr ain ed ,   an   o u tp u la y er   w i th   C r o s s   E n tr o p y   co s f u n ct io n   w as   ad d ed .   I n   th is   w a y ,   th n et w o r k   w as  g lo b all y   f i n t u n ed   w i th   s u p er v i s ed   alg o r it h m   to   p r ed ict  th tar g ets .   T h to tal  6 0 0   iter atio n s   w er i m p le m e n ted   to   tr ain   t h n et w o r k   w ith   t h ad d ed   lin ea r   o u tp u t la y er .     4 . 2 .   E x peri m e nta l   Set up   2     Stack ed   Au to en co d er s     as  D L A   e x is i n   s e v er al  f o r m s   o f   v a r iatio n s   [ 7 ] .   I n   th is   s t u d y ,   w at te m p to   i m p le m en t h s p ar s   A u to E n co d er s .   I n   th p r i m ar y   s tep ,   to   f i n d   th ac cu r ate  m o d el,   s ev er al  n u m b er s   o f   m o d el s   as   s p ar s S A E   w er d ev elo p ed   an d   tr ain ed .   I n i tiall y ,   th ese  n e u r al  n e t w o r k s   w er d esig n ed   f o r   th g o al   o f   d i m en s io n ali t y   r ed u ctio n ,   b u t,  w it h   th e   g r o w i n g   f a m o f   R ep r esen ta tio n   L ea r n i n g   t h e   d i m e n s io n s   d o   n o n ec es s ar il y   n ee d   to   b lo w er   t h an   t h i n p u s ize.   Ho w e v er ,   th er ex i s ts   p r o b le m   if   t h h id d en   la y er s   o f   a n   Au to E n co d er   ar eit h er   allo w ed   to o   m u ch   ca p ac it y   o r   h o ld   in s u f f i cie n t   d i m e n s io n s .   T h A u to E n co d er   atte m p ts   to   r ep licatio n   ta s k ,   in s tead   o f   lear n in g   t h i n ter n al  r ep r esen tatio n   o f   i n p u t   d is tr ib u t io n     a n d   ex tr ac ti n g   th u s e f u i n f o r m atio n ,   it  wo r k s   as   an   id en tit y   f u n c tio n .   T h p r o v is io n   f o r   t h is   is s u is   a   R e g u lar ize   Au t o en co d er .   R at h er   th a n   co n s tr ain in g   t h h id d en   la y er   d im e n s io n s   o r   m o d el  c ap ac it y   r eg u lar ized   Au to E n co d er     ar s p ar s an d   u s es a   lo s s   f u n ctio n   w it h   s o m s p ar s it y   p en a lt y   a s   ex p r ess ed   i n   ( 6 ) .                (           (     (   ) ) )   (                                 )   (                                           )               ( 6 )     Sin ce   o u r   f o cu s   w a s   to   ch o o s e   th m o d els  w it h   t h b est  clas s if ica tio n   ab ilit y ,   th er e f o r o n ly   s elec ted   S A E   m o d els   ar in c lu d ed   h er f o r   f u r t h er   d is cu s s io n .   T ab le  2   d e m o n s tr ates  t h s elec ted   o n es  f r o m   v ar io u s   i m p l e m en ted   S AE   m o d els a lo n g   w it h   th e ir   p ar a m eter   s p ec i f icatio n s .   T h s p ar s it y   p r o p o r tio n   is   p ar a m eter   o f   s p ar s it y   r eg u ler izer   w h ic h   m u s b s elec ted   i n   t h r a n g o f   0   to   1 ,   w h er ea s   λ   an d   β  ar th co ef f icie n ts   to     2   w ei g h r eg u lar izatio n   an d   s p ar s it y   r eg u la r izatio n .   Deta iled   d is cu s s io n   o n   m o d el  ac cu r ac y   an d   p er f o r m a n ce   is   p r o v id ed   in   th n e x t sectio n .               Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  6 ,   No .   6 Dec em b er   2 0 1 6   :   31 3 1     31 41   3138   T ab le  2 .   P ar am eter   Setti n g s   f o r   P r etr ain in g   P h ase   S A mo d e l s   A r c h i t e c t u r e   H i d d e n   L a y e r   P a r a me t e r s   O u t p u t   l a y e r   β   λ   S p a r si t y   P r o p o r t i o n   A c t i v a t i o n   F u n c t i o n   A c t i v a t i o n   F u n c t i o n   S A 1   70 - 1 0 0 - 2 0 0 - 2   3   0 . 0 0 1   0 . 0 5   En c o d e r = l o g si g   D e c o d e r = p u r e l i n     S o f t max   S A 2   70 - 2 0 0 - 1 0 0 - 2   3   0 . 0 0 1   0 . 0 5   S A 3   70 - 5 0 0 - 2 0 0 - 2   3   0 . 0 0 1   0 . 0 5   S A 4   70 - 6 0 0 - 2 0 0 - 2   3   0 . 0 0 1   0 . 0 5   S A 5   70 - 1 0 0 - 1 0 0 - 2   1   0 . 0 1   0 . 0 5   S A 6   70 - 2 0 0 - 1 0 0 - 2   4   0 . 0 0 1   0 . 0 6       5.   RE SU L T S AN D I SCU SS I O N   As  in ti m ated   ea r lier ,   th e   e m p h asi s   o f   th i s   r esear ch   s t u d y   was  to   f o r m u late  t h i m p r o v ed   E E b ased   e y s tate  clas s i f icatio n   tas k   u s in g   t w o   d i f f er e n p ar ad ig m s   o f   d ee p   n eu r al  n et w o r k s   a n d   to   f u r th er   i m p r o v t h e   s tate  o f   t h ar t p er f o r m an ce .   I n   r esp o n s to   co n d u c t th i s ,   th e   DB an d   SA E   w er e   p r ef er r e d   ca r d in al  m o d els as   d ee p   lear n in g   ar ch itect u r es.  F o r   th is   p u r p o s e,   th d ata  s o u r ce   w as  t h b en c h m ar k   d ata  s e o f   E E e y s tate   class i f icati o n   ti m e   s er ies   a v ai lab le  o n li n [ 2 2 ] .   T h r esu lt s   ac h ie v ed   h er ar n o ticea b l y   e n co u r a g in g   a n d   ev id en ce d   to   b e   b etter   in   m o s o f   th ca s es  th a n   th ea r lier   r esu lt s   r ep o r ted   f o r   E E ey s tate  class i f icat io n   p r o b lem .     T h b o x p lo is   d r a w n   s ep ar ate l y   f o r   ea c h   cla s s   as   p r esen ted   in   Fig u r e s   7 ( a)   an d   ( b )   i n   o r d er   to   s t u d y   th d is tr ib u t io n al  ch ar ac ter i s ti cs  o f   1 4 - ch a n n el led   E E s ig n al.   T h b o x p lo is   u s e f u w a y   to   v is u alize   t h e   r an g a n d   o th er   s tatis tical  c h a r ac ter is tics   o f   r esp o n s v ar iab les.  I is   o b v io u s   f r o m   th e   f i g u r es   t h at  t h er is   a   h ig h er   v a lu o f   d i f f er en ce   w h e n   th s ig n al  a m p lit u d f r o m   ce r tain   s e n s o r s   is   co m p ar ed .   I is   ap p ar en f r o m   v ar io u s   s t u d ies  t h at  d ee p   lear n i n g   a lg o r ith m   g r ea tl y   r ed u ce s   t h er r o r   o n   test   s ets  d u to   it s   s tr o n g   u n s u p er v is ed   l ea r n i n g   p h ase.   A p ar f r o m   th i s ,   u n s u p er v is ed   p r etr ain i n g   b eh a v e s   a s   a   k in d   o f   d ata  d ep en d en r eg u l ar izer   to   av o id   o v er f itti n g   cr i ter ia.   I is   an   u n d en iab le  f ac t   th at  u n s u p er v is ed   p r etr ain in g   b ein g   i n j ec ted   as  lo ca la y er w i s tr ain i n g ,   ex tr ac ts   th e   s alie n i n f o r m atio n   ab o u t h i n p u t   d is tr ib u tio n   an d   t h e s s e n ce   o f   n o n li n ea r   s tr u ctu r p r ese n t   in   t h d ata.   T h i n ter p r etati o n s   attai n ed   i n   t h is   s tu d y   ar co n s is ten t a n d   co r r elate d   w it h   th ea r lier   s t u d ies co n d u cted   in   t h r ea l m   o f   d ee p er   NN  ar ch itect u r es.       Fig u r e   7 ( a) .   Statis tical  R a n g o f   E lectr o d S ig n al s   f o r   E y Op en ( b )   Statis tical  R a n g o f   E lectr o d S ig n al s   f o r   E y C lo s e       I n   o r d er   t o   d is tin g u i s h   th b es d ee p   lear n in g   m o d el s   f r o m   a m o n g   t h o s   i m p le m en ted   f o r   th EEG   b ased   ey s ta te  class i f icat io n   t ask ,   th co m p ar ati v an a l y s is   w a s   p er f o r m ed     f o r   f e w   o f   th tr ain ed     m o d els ,   s u m m ar ized   in   T ab le  3 .   T h is   w a s   b ased   o n   th clas s i f ier s   p er f o r m an ce   a n d   m i s clas s i f icati o n   r ate  as  av er ag ed   er r o r   o n   test   s ets.  T h p er f o r m a n ce   o f   ea ch   clas s i f ier   w a s   co m p u ted   u s i n g   t h m o s co m m o n l y   u s ed   p ar am eter s ac c u r ac y ,   s e n s it i v it y   a n d   s p ec i v it y .   A cc u r ac y   was  ca lcu lated   as  e x p r ess ed   b y   th ( 7 ) .   Sen s iti v it y   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       E E B a s ed   E ye   S ta te  C la s s ifica t io n   u s in g   Dee p   B elief  N etw o r k   a n d   S ta ck ed   A u to E n c o d er   ( S a n a N a r ejo )   3139   an d   s p ec if ic it y   ar s ta tis tica l   m ea s u r es  o f   t h p er f o r m a n ce   as  ex p r ess ed   b y   t h eq u atio n s   ( 8 )   an d   ( 9 )   r esp ec tiv el y .     A cc u r ac y =T o tal  No .   o f   Sa m p l es C las s i f ied   C o r r ec tl y   /T o tal  No .   o f   Sa m p les                                         ( 7 )     Sen s iti v it y =T P / T P +FN                                                ( 8 )     Sp ec if icit y =T N/T N+ FP                                                   ( 9 )       T ab le  3 .   P ar am eter   Setti n g s   f o r   P r etr ain in g   P h ase                     I is   e v id en t   f r o m   t h T ab le  th at   b o th   t h DB a n d   S A E   m o d el s   ac co m p li s h ed   h i g h er   p r ed ictio n   ac cu r ac y   a n d   ar al m o s co m p atib le.   I n   co m p ar is o n   w i th   c o n v e n tio n al   Ma c h in e   lear n in g   m o d els ,   th e   d ee p   lear n in g   ap p r o ac h   b ased   o n   u n s u p er v i s ed   p r tr ain in g   an d   s u p er v i s ed   f i n tu n i n g   p r o v id es  b etter   g en er aliza tio n   t h an   t h s u p er v is ed   lear n in g   m o d el s   w it h   r an d o m   i n itial izatio n s .   T h r an d o m   i n itializat io n s   f o r   th e   p ar a m eter s   o f   n e u r al  n et w o r k ,   d ec lar th p ar a m eter s   in   r eg io n s   o f   t h p ar am e ter   s p ac th at  g e n er alize   p o o r ly .   As   m e n tio n ed   ea r lier ,   o n l y   f e w   d ev elo p ed   m o d els  ar s elec ted   an d   in clu d ed   in   th is   ar ticle  f o r   d is cu s s io n .   I t   is   o b v io u s   f r o m   th e x p er i m e n tal   co n s eq u e n c es  t h at  t h q u a n ti tati v a n al y s is   is   al m o s s i m ilar   w it h   o n l y   s lig h t d i f f er e n ce s .     On o f   t h s u p er lati v S A E   m o d el s   i.e   S A E   2   in cl in ed   to   p r o v id th ac c u r ac y   o f   9 8 . 9   % ,   w h ich   is   ev id en tl y   h i g h er   t h a n   t h r est   o f   t h o th er   m o d els   p er f o r m an ce .   I also   ap p ea r s   t h at   t h ap p lied   ap p r o ac h   o f   d ev elo p in g   S A E   2   o u tp er f o r m s   t h DB m o d el  w it h   t h d if f er e n ce   o f   1 . 1 e x ce p t   o f   th t w o   ca s e s .   T h co n s tr ain ts   i n   S A E   m o d els  ex p er im e n t   ap p lied     to   th o p ti m izatio n   p r o ce d u r en f o r ce d   t h m o d el  to   ca p tu r e   n o o n l y   t h i n p u to   tar g et  d ep en d en c y ,   b u also   t h s tati s tical  r eg u lar ities   o f   t h i n p u t   d is tr ib u tio n   w h ic h   r esu lted   in   p r o m i n e n tl y   b etter   p er f o r m a n ce   t h an   DB N.       T h tw o   e x ce p tio n al  ca s e s   as  m e n tio n ed   ea r lier   in cl u d e,   m o d el  S A E   5   an d   S A E   6 .   T h tu n i n g   p ar am eter s   in   th e s m o d els,  co n s is tin g   o f   co ef f icie n ts   f o r   s p ar s it y   an d   L 2   r eg u lar iza tio n ,   ar d if f er en f r o m   th o t h er   S A E   m o d els  as   p r esen ted   in   T ab le  2 .   C o n tex t u a ll y ,   th is   r esu lted   in   co n s id er ab ly   lo w er   p er f o r m a n ce   as  co m p ar ed   to   th o th er   d ev elo p ed   SA E   m o d els.  O n   th o t h er   h a n d ,   to   en f o r ce   th clas s i f ier   to   p r ed ict  w ell,   th s elec tio n   o f   s u f f icie n h id d en   la y er   d i m en s io n   i n   d ee p er   ar ch itectu r is   an o t h er   cr itical  p o in to   co n s id er .     T o   av o id   elec tin g   t h h id d en   la y er   s izes  ar b itra r il y ,   t h co m p r e h e n s i v s tr ate g y   to   f o llo w   i s   w ell  e x p lain ed     in   [ 3 3 ] .   I n   ad d itio n   to   th is   s o m e   ef f o r m u s b lo g icall y   d o n w h ile  in v es tig a tin g   t h s e v er al  p o s s ib ilit ies  f o r   th d i m e n s io n   o f   h id d en   la y er s .   D u r i n g   t h tr ai n i n g   p r o ce d u r e,   it  w as   also   f o u n d   th at  in   t h d ee p er   h ier ar ch ical  s tr u ct u r o f   t h n et w o r k ,   w h e n   p er f o r m i n g   t h R ep r esen tat io n   L ea r n i n g   o r   f ea tu r ex tr ac tio n ,   th e   m o d el  lear n s   t h s i m p le  co n c ep ts   at  lo w er   la y er   lev el s   an d   m o r ab s tr ac co n ce p ar lear n b y   co m p o s i n g   th e m   a t h i g h er   to p   lay er s   o f   th n et w o r k .       T ab le  4 .   C o m p ar is o n   w i th   P r ev io u s   R esear c h   M o d e l s   A c c u r a c y   Er r o r   R a t e   P r o p o se d   D L A   mo d e l ,     S A 2   9 8 . 9   %   1 . 1 %   K * + R R F   [ 2 4 ]   9 7 . 4   %   2 . 6 %   K *   [ 2 1 ]   9 7 . 3 %   2 . 7 %   N e u r o - F u z z y [ 2 5 ]   9 6 %   4 . 0 %       T ab le   4   h ig h li g h ts   th ac co m p lis h m e n o f   o u r   b est  class i f i er   i.e   SA E   2 .   T h r esear ch er s   in   [ 2 1 ],   d em o n s tr ated   t h p er f o r m a n c an al y s i s   o f   4 2   clas s i f ier s   o n   t h p r o b le m   o f   E y s tate  cl ass i f icatio n   t h r o u g h   E E s ig n al.   Am o n g   all  o f   th o s tr ain ed   clas s i f ier s ,   K *   was  f o u n d   to   b e   t h m o s p r o m is in g   o n e   w it h   a n   ac cu r ac y   o f   9 7 . 3 0 %.   Ho w e v e r ,   af ter w ar d s   t h au t h o r s   in   [ 2 4 ]   ex ten d ed   th a f o r em en tio n ed   w o r k   b y   p r o p o s in g   a n   en s e m b le  cla s s i f ier   w it h   b etter   p er f o r m a n c o f   ar o u n d   9 7 . 4 0   ac cu r a c y .   Me an w h ile  t h e   D e e p   A r c h i t e c t u r e s   S p e c i t i v i t y   S e n si t i v i t y   A c c u r a c y   Er r o r   r a t e   D B N   0 . 9 9   0 . 8 9   9 7 . 1 %   2 . 9 %   S A 1   0 . 9 5   0 . 9 8   9 7 . 6 %   2 . 4 %   S A 2   0 . 9 6   0 . 9 9   9 8 . 9 %   1 . 1 %   S A 3   0 . 9 4   0 . 9 9   9 7 . 8 %   2 . 2 %   S A 4   0 . 9 4   0 . 9 9   9 7 . 8 %   2 . 2 %   S A 5   0 . 8 0   0 . 9 7   9 2 . 9 %   7 . 1 %   S A 6   0 . 7 4   0 . 9 9   9 1 . 9 %   8 . 8 %   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  6 ,   No .   6 Dec em b er   2 0 1 6   :   31 3 1     31 41   3140   r esear ch er s   tr ai n ed   Neu r o - F u zz y   c lass if ier   w h ic h   g av e   th e   p er f o r m an ce   ac c u r ac y   ar o u n d   9 6 %.   I n   c o n tr ast  to   th ab o v m e n tio n ed   s t u d ies,  th p r o p o s ed   SA E   2   m o d el  tr ain ed   w it h   th s p ec if ied   p r o ce d u r an d   p ar am e ter   s etti n g s   o u tp er f o r m s   o th er   m o d els ,   w it h   t h o b tain ed   er r o r   r ate  o f   o n l y   1 . 1 %   o n   t h te s s e t .   Hig h er   ac cu r ac y ,   ar o u n d   9 8 . 9   % ,   is   ac co m p li s h ed   o n   th test   s a m p les   w h ic h   d em o n s tr ate s   i m p r o v ed   p er f o r m a n ce   o v er   [ 2 1 ] ,   [ 2 4 ]   an d   [ 2 5 ] .   W h y p o th esi ze   th at  th er i s   p o s s ib ilit y   o f   ac h iev i n g   m u ch   b etter   r e s u lt s   t h r o u g h   d ee p   ar ch itect u r es  b y   i m p le m en tin g   De n o is i n g   a n d   C o n tr asti v e   Au to en co d er s .   T h is   i n d icat es  d ir ec tio n   f o r   p o s s ib le  f u tu r w o r k   to   f u r t h er   ex ten d   t h is   s tu d y .          6.   CO NCLU SI O   T h d ir ec te d   r esear ch   f o cu s es   o n   t w o   ap p r o ac h es  o f   DL A   f o r   E E G   E y s tate  clas s i f icati o n   task   as   e y o p en   o r   clo s e.   A lt h o u g h   t h is   h as  b ee n   d o n ea r lier   i n   n u m b er   o f   w a y s   w it h   d if f er e n Ma ch i n lear n i n g   class i f ier s ,   alb eit  o u r   en d ea v o r   i m p r o v es  o n   t h e   clas s if ica tio n   ac c u r ac y   b y   ap p l y in g   d e ep   ar ch itect u r es  a s   class i f ier s .   Sev er al   n u m b er s   o f   m o d els   w er tr ai n ed   f o r   t h s tu d y   a n d   s o m e   o f   th e m   a r p r esen ted   i n   t h i s   ar ticle  f o r   s ig n if ican d is c u s s i o n .   A   s tr ai g h tf o r w ar d   an al y s i s   p r o ce d u r h as  b ee n   co n d u cted   o n   th b asis   o f   d if f er e n p e r f o r m a n ce   m ea s u r e m en m et r ic s .   Ou r   tr ai n ed   m o d els  w it h   th h y p er p ar a m eter   s ett in g s   a n d   ap p lied   h id d en   la y er   d i m en s i o n s   ac h ie v ed   s tr i k i n g   p er f o r m an ce s   as  co m p ar ed   to   th ex is t in g   o n es.  Mo s n o tab l y ,   to   o u r   k n o w led g e,   t h i s   is   t h f ir s t st u d y   o f   E E b as ed   ey s tate  clas s i f icatio n   ta s k s   u s in g   d ee p   Neu r al   Net w o r k   m o d els,  i.e . ,   DB an d   S A E .   T h s tu d y   co n d u ct ed   h er ca n   b ap p lied   in   d if f er en ap p licatio n   d o m ai n s   o f   B C I   an d   f o r   th id en tif icat io n   o f   h u m a n   c o g n itio n .   Mo s i m p er ativ e l y   w h er th ar tif ac t s   g en er ated   b y   e y m o v e m e n ts   o r   ey b lin k s   ar cr u cial,   th er is   n ee d   f o r   th e m   to   b id en ti f ied   an d   f u r th er   r e m o v ed .       ACK NO WL E D G E M E NT S   T h is   r esear ch   ac ti v it y   w a s   p a r tl y   f u n d ed   b y   I talia n   MI U R   OP L ON  p r o j ec an d   s u p p o r ted   b y   t h e   P o litecn ico   o f   T u r in   NE C   NE UR ONI C A   lab o r ato r y .   C o m p u tatio n al  r e s o u r ce s   w er e   p ar tl y   p r o v id ed   b y   HP C @ P OL I T O,   ( h ttp :// www . h p c. p o lito . it ).       RE F E R E NC E S   [1 ]   Ka p lan   A Y .   a n d   S h ish k in   S L. ,   A p p li c a ti o n   o f   th e   c h a n g e - p o i n a n a ly sis   to   th e   in v e stig a ti o n   o f   th e   b ra in ’s   e lec tri c a a c ti v it y ,”   i n   No n - p a ra m e tric sta ti stica d ia g n o sis ,   S p ri n g e Ne th e rlan d s ,   p p .   3 3 3 - 3 8 8 ,   2 0 0 0   [2 ]   T e p lan   M . ,   F u n d a m e n tals o f   EE G   m e a su re m e n t ,”   M e a su re me n s c ien c e   re v iew ,   v o l/ issu e 2 (2 ) ,   p p .   1 - 1 2 0 0 2 .   [3 ]   J.  Zh a n g   a n d   V .   L .   P a tel ,   Distrib u te d   c o g n it io n ,   re p re se n tati o n ,   a n d   a ff o rd a n c e ,”   Pra g ma ti c &   Co g n it io n ,   v o l/ issu e 14 ( 2 ),   p p .   3 3 3 - 3 4 1 2 0 0 6 .   [4 ]   Ho ffm a n n   S .   a n d   F a lk e n ste in   M . ,   T h e   c o rre c ti o n   o f   e y e   b li n k   a rte fa c ts  in   th e   EE G a   c o m p a riso n   o f   tw o   p ro m in e n m e th o d s.  PL o S   On e ,   v o l/ issu e 3 ( 8 ) ,   p p .   e 3 0 0 4 2 0 0 8   [5 ]   L Cu n ,   e a l. ,   De e p   lea rn in g ,”   N a tu re ,   v o l/ issu e 5 2 1 ( 7 5 5 3 ),   p p .   4 3 6 - 4 4 4 2 0 1 5 .   [6 ]   Be n g io   Y . e a l. ,   Re p re se n tatio n   lea rn in g A   re v ie w   a n d   n e w p e rs p e c ti v e s ,”   IEE tra n sa c ti o n s o n   p a tt e rn   a n a lys is   a n d   ma c h i n e   i n telli g e n c e ,   v o l/ iss u e 3 5 (8 ) ,   p p .   1 7 9 8 - 8 2 8 2 0 1 3 .   [7 ]   I .   G o o d f e ll o w ,   e a l. De e p   L e a rn in g ,   Bo o k   in   p re p a ra ti o n   f o M I T   P re ss ,   2 0 1 6 .   [8 ]   P o lat  K .   a n d   G ü n e ş  S . ,   Clas sif ic a ti o n   o f   e p il e p t if o rm   EE G   u sin g   a   h y b rid   s y ste m   b a se d   o n   d e c isio n   tree   c las si f ier  a n d   f a st F o u rier  tran sf o rm ,”   Ap p li e d   M a th e ma ti c a n d   Co m p u t a ti o n ,   v o l/ issu e 1 8 7 (2 ) ,   p p .   1 0 1 7 - 26 2 0 0 7 .   [9 ]   S u laim a n   N . e a l . ,   No v e m e th o d f o stre ss   f e a tu re id e n ti f ica ti o n   u sin g   EE G   sig n a ls ,”   In ter n a ti o n a J o u rn a o f   S imu l a ti o n S y ste ms ,   S c ien c e   a n d   T e c h n o l o g y ,   v o l/ issu e 1 2 ( 1 ) ,   p p .   27 - 33 2 0 1 1 .   [1 0 ]   Ye o   M V . e a l . ,   Ca n   S VM  b e   u se d   f o a u to m a ti c   EE G   d e tec ti o n   o f   d ro w sin e ss   d u ri n g   c a d r iv in g ?   S a fety   S c ien c e ,   v o l/ issu e 4 7 ( 1 ) ,   p p .   1 1 5 - 24 2 0 0 9 .   [1 1 ]   Estév e z   P A . e a l. ,   P o ly so m n o g ra p h ic  p a tt e rn   re c o g n it i o n   f o a u to m a ted   c las si f ica ti o n   o f   sle e p - w a k in g   sta tes   in   in f a n ts ,”   M e d ica a n d   B io l o g ic a En g i n e e rin g   a n d   C o mp u ti n g ,   v o l / issu e 4 0 ( 1 ) ,   p p .   1 0 5 - 13 2 0 0 2 .   [1 2 ]   Ch e n g   E . e t   a l . ,   Ey e   sta te  d e te c ti o n   i n   f a c ial  im a g e   b a se d   o n   li n e a p re d icti o n   e rr o o f   wa v e l e c o e ff icie n ts ,”   i n   Ro b o ti c s a n d   Bi o mime ti c s,  2 0 0 8 .   ROBI O 2 0 0 8 .   IEE E   In ter n a ti o n a l   Co n fer e n c e ,   p p .   1 3 8 8 - 1 3 9 2 2 0 0 9 .   [1 3 ]   G .   G r a tt o n ,   e a l. ,   A   n e w   m e th o d   f o o ff - li n e   re m o v a o f   o c u la a rti fa c t ,”   El e c tro e n c e p h a lo g r a p h y   a n d   c li n ica l   n e u ro p h y sio l o g y ,   v o l/ issu e 55 ( 4 ),   p p .   4 6 8 - 4 8 4 1 9 8 3 .   [1 4 ]   S h o k e L . e a l. ,   Re m o v a o f   e y e   b li n k in g   a rti f a c ts  f ro m   EE G   in c o rp o ra ti n g   a   n e w   c o n stra in e d   BS S   a lg o rit h m ,”   i n   S e n so r A rr a y   a n d   M u lt ich a n n e S ig n a Pr o c e ss in g   W o rk sh o p   Pr o c e e d in g s ,   p p .   1 7 7 - 1 8 1 2 0 0 4 .   [1 5 ]   Krish n a v e n V . e a l . ,   Re m o v a o f   o c u lar  a rti f a c ts  f ro m   EE G   u sin g   a d a p t iv e   th re s h o ld i n g   o f   w a v e le c o e ff icie n ts ,”   J o u rn a o Ne u ra l   En g i n e e rin g ,   v o l/ issu e 3 (4 ) ,   p p .   3 3 8 2 0 0 6   [1 6 ]   S in g la  R . e a l. ,   Co m p a riso n   o f   S VM  a n d   A NN   f o c las si f ica ti o n   o f   e y e   e v e n ts  in   EE G ,”   J o u rn a o B io me d ica l   S c ien c e   a n d   E n g i n e e rin g ,   v o l/ issu e 4 (0 1 ) ,   p p .   62 2 0 1 1 .     [1 7 ]   Be lk a c e m   A N . e a l. ,   Clas sif ica ti o n   o f   f o u e y e   d irec ti o n f ro m   EE G   si g n a ls  f o e y e - m o v e m e n t - b a se d   c o m m u n ica ti o n   sy ste m s ,”   lif e,   v o l.   1 ,   p p .   3 2 0 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.