I nte rna t io na l J o urna l o f   Ro bo t ics a nd   Aut o m a t io n   ( I J RA )   Vo l.   4 ,   No .   4 Dec em b er   2 0 1 5 ,   p p .   2 92 ~3 10   I SS N:  2089 - 4856          292       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J RA   Using  Deep  Lea r nin g  f o H u m a Co m pu ter  I nter face  v ia   Electroencep ha lo g ra phy         Va m s i M a ncha la Sa ng ra m   Red k a r T o m   Su g a r   T h e   P o ly tec h n ic S c h o o l ,   A rizo n a   S tate   Un iv e rsity ,   US A       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u l   20 ,   2 0 1 5   R ev i s ed   Oct   2 7 ,   2 0 1 5   A cc ep ted   No v   20 ,   2 0 1 6       In   th is  p a p e r,   se v e ra tec h n iq u e u se d   to   p e rf o rm   EE G   si g n a p re - p ro c e ss in g ,   f e a tu re   e x trac ti o n   a n d   sig n a c las sif ic a t io n   h a v e   b e e n   d isc u ss e d ,   im p le m e n ted ,   v a li d a ted   a n d   v e rif ied e ff icie n su p e rv ise d   a n d   u n su p e rv ise d   m a c h in e   lea rn in g   m o d e ls,   f o th e   EE G   m o to im a g e r y   c las si f i c a ti o n   a re   id e n ti f ied . Bra in   Co m p u ter  In ter f a c e a re   b e c o m in g   th e   n e x g e n e ra ti o n   c o n tro ll e rs  n o o n ly   in   t h e   m e d ica d e v ice f o d isa b led   i n d iv id u a l b u t   a lso   in   t h e   g a m in g   a n d   e n terta in m e n in d u stries .   I n   o rd e t o   b u i ld   a n   e f fe c ti v e   Bra in   Co m p u ter  In terf a c e ,   it   is  im p o rtan to   h a v e   ro b u st  sig n a p ro c e ss in g   a n d   m a c h in e   lea rn in g   m o d u les   w h ich   o p e ra te  o n   th e   EE G   sig n a ls  a n d   e sti m a te  th e   c u rre n th o u g h t   o i n ten o f   th e   u se r.   M o t o Im a g e r y   ( im a g in a r y   h a n d   a n d   leg   m o v e m e n ts)  sig n a ls  a re   a c q u ire d   u si n g   th e   Emo ti v   EE G   h e a d se t. T h e   sig n a h a v e   b e e n   e x t ra c ted   a n d   su p p li e d   to   t h e   m a c h in e   lea rn in g   (M L sta g e ,   w h e re in ,   se v e ra M L   tec h n iq u e a re   a p p li e d   a n d   v a li d a ted .   T h e   p e rf o r m a n c e o f   v a rio u M L   tec h n i q u e a re   c o m p a re d   a n d   so m e   im p o rtan t   o b se rv a ti o n a re   re p o rted .   F u rth e r,   De e p   L e a rn in g   tec h n i q u e li k e   a u to e n c o d in g   h a v e   b e e n   u se d   to   p e rf o r m   u n su p e rv ise d   f e a tu re   lea rn in g .   T h e   re li a b il it y   o th e   fe a tu re is   p re se n ted   a n d   a n a ly z e d   b y   p e rf o r m in g   c las si f ica ti o n   b y   u sin g   th e   M L   te c h n iq u e s.  It  is  sh o w n   th a h a n d   e n g in e e re d   ‘a d - h o c ’  f e a tu re   e x trac ti o n   tec h n iq u e a re   les re li a b le  th a n   t h e   a u to m a ted   (‘De e p   L e a rn in g ’)  f e a tu re   lea rn in g   tec h n iq u e s.  A ll   th e   f in d i n g in   th is   re se a rc h ,   c a n   b e   u se d   b y   th e   BCI  re se a rc h   c o m m u n it y   f o b u il d in g   m o to im a g e r y   b a s e d   BCI  a p p li c a ti o n su c h   a Ga m in g ,   Ro b o c o n tr o a n d   a u to n o m o u s v e h icle s.   K ey w o r d :   B eh av io r   C las s i f icatio n     Dee p   L ea r n i n g   E lectr o en ce p h alo g r ap h y   ( E E G)     Mo to r   I m ag er y   Neu tr al  Net w o r k       Co p y rig h ©   201 5   In s t it u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   San g r a m   R ed k ar ,     Dep ar te m en t o f     E n g in ee r i n g ,   T h Po ly tec h n ic  Sc h o o l,   Me s a,   AZ - 8 5 2 1 2 ,   USA .   E m ail: s s r ed k ar @ g m ail. co m       1.      I NT RO DUC T I O N     R ec en t   ad v a n ce m e n t s   a n d   d is co v er ies  i n   t h ar ea s   o f   b r ain   i m ag in g   a n d   co g n iti v n eu r o s c ien ce   h av e   en ab led   r esear ch er s   to   in ter ac d ir ec tly   w it h   th h u m an   b r ain .   W ith   th aid   o f   th ese   tech n o lo g ie s   an d   s o p h is ticated   s e n s o r s ,   r esear c h er s   a r ab le   to   o b s er v e   an d   m o n ito r   t h e   ch a n g in g   th o u g h t   p r o ce s s   i n   t h f o r m   o f   lo w   p o w er   elec tr ical  s i g n als .   T h ese  s ig n als ar u s ed   to   m a k b r ain - co m p u ter   in ter f ac es ( B C I s )   p o s s ib le  an d   d ev elo p   co m m u n icat io n   s y s te m s   i n   w h ich   u s er s   e x p licitl y   m an ip u late  t h eir   t h o u g h p r o ce s s ,   in s tead   o f   m o to r   m o v e m e n ts ,   to   co n tr o l c o m p u t er s   o r   co m m u n icatio n   d ev ices.   A cq u ir in g   t h b r ain   s i g n a ls ,   a cc u r atel y ,   is   t h f ir s t   s tep   i n v o lv ed   in   B C I s .     I i s   i m p o r ta n to   h a v a   co m p lete   k n o w led g e   o f   t h p h y s io lo g y   a n d   an ato m y   o f   h u m an   b r a in .     T h is   w o u ld   b h e lp f u l   in   id en ti f y i n g   th co r r ec t lo ca tio n s   o f   t h s e n s o r y   n o d es a n d   m ea s u r th r e q u ir ed   s ig n als.   E lectr o en ce p h alo g r ap h y   r ef er s   to   th p h en o m e n o n   o f   r ec o r d i n g   t h elec tr ical  ac ti v it y   a lo n g   th s ca lp   an d   E lectr o en ce p h alo g r a m   ( E E G)   is   r e f er r ed   to   th r e co r d ed   s ig n al s   an d   is   t h m ea s u r o f   v o lta g e   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ RA   I SS N:  2089 - 4856       Usi n g   Dee p   Lea r n in g   fo r   Hu m a n   C o mp u ter I n terf a ce   v ia   E le ctro en ce p h a lo g r a p h y   ( V a msi   Ma n ch a la )   293   f l u ctu a tio n s /v ar iatio n s   o cc u r r ed   d u to   th f lo w   o f   elec tr o ch e m ical  c u r r en ts   i n   th n e u r o n s   o f   t h b r ain .   Du r in g   t h s i g n al  r ec o r d in g   p r o ce d u r e,   elec tr o d es  c o n s is ti n g   o f   s m all  m etal  d is c s   ar p as ted   o v er   th s ca lp .   T o   m ain tain   p r o p er   co n n ec tiv i t y   w i th   th ac tu al   elec tr ical  s ig n als,  t h e s elec tr o d es a r w ett ed   b y   a   co n d u ct in g   j ell  o r   liq u id .   Ho w e v er ,   t h B C I   w o r ld   is   n o w   s ee i n g   s o m co m m er cial   d r y   E E G   h ea d s e ts ,   w h ic h   w o u ld   s er v e   th p u r p o s o f   ca p t u r in g   t h d ata  an d   tr an s f er r in g   to   th C o m p u ter   t h r o u g h   w ir ele s s   m ed iu m .   P atter n s   o f   th e   E E s ig n al s ,   d etec ted   b y   th elec tr o d es,  r ep r esen th at  t h er e   is   co n ti n u o u s   ac tiv it y   p r ese n in   t h h u m a n   b r ain   an d   th v ar y in g   i n te n s it ies  o f   th s ig n al  ar d eter m in e d   b y   th c h an g i n g   m e n tal  a n d   p h y s ical  s tate s   o f   t h e   b o d y .   T h ese  in ten s itie s   o f   th E E Sig n a ls   r ec o r d ed   o v er   th s u r f ac o f   t h b r ain   r an g f r o m   0   m icr o v o lt s   to   2 0 0   m icr o v o lts .     T h r h y th m ic  ac ti v it y   o f   th b r ain   s i g n al s   is   o f te n   d iv id ed   t o   d if f er en b an d s   i n   ter m s   o f   f r eq u en c y .   A lt h o u g h   t h ese   f r eq u en c y   b a n d s   ar m atter   o f   n o m e n clat u r e,   th ese   d esig n atio n s   ar u s u all y   u s ed   to   i m p l y   th f ac th at   th e   r h y t h m ic  a ctiv it y   i n   a   ce r tain   f r eq u en c y   r an g is   o b s er v ed   d u to   ce r tain   b io lo g ical   s ig n i f ica n ce   a n d   ar o f te n   n o ted   to   h a v ce r tai n   d is tr ib u ti o n   o v er   t h s ca lp .   Fi g u r 1   s h o w s   t h d i f f er en t   f r eq u en c y   b a n d s   t h E E d ata  is   d iv id ed   i n to ,   an d   T ab le  1   s h o w s   th s i g n i f ica n ce   o f   th e s f r eq u e n c y   b an d s   an d   r elate d   co g n iti v tas k s   t h e s b an d s   co r r esp o n d   to .           Fig u r e   1.   Fre q u en c y   P lo ts   o f   E E in   d if f er en Fre q u en c y   R a n g e s .   [ 1 ]       T ab le  1 .   Sig n i f ican ce   o f   E E in   d if f er en t f r eq u e n c y   b a n d s .   Ty p e     F r e q u e n c y   ( H z )   L o c a t i o n   U se   D e l t a   u p   t o   4   Ev e r y w h e r e   o c c u r   d u r i n g   sl e e p ,   c o ma   T h e t a     7   H z   t e mp o r a l   a n d   p a r i e t a l   c o r r e l a t e d   w i t h   e mo t i o n a l   st r e ss   ( f r u st r a t i o n   &   d i sa p p o i n t me n t )   A l p h a     1 2   H z   o c c i p i t a l   a n d   p a r i e t a l   r e d u c e   a m p l i t u d e   w i t h   se n so r y   st i m u l a t i o n   o r   me n t a l   i mag e r y   B e t a   1 2     3 0   H z   p a r i e t a l   a n d   f r o n t a l   c a n   i n c r e a se   a m p l i t u d e   d u r i n g   i n t e n se   me n t a l   a c t i v i t y   Mu   9 - 1 1   H z   f r o n t a l   ( mo t o r   c o r t e x )   d i m i n i s h e s w i t h   mo v e me n t   o r   i n t e n t i o n   o f   mo v e m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4856   IJ RA    Vo l.   4 ,   No .   4 Dec em b er   2 0 1 5 :   2 92     3 1 0   294     10 - 2 0   s y s te m   i s   an   i n ter n at i o n all y   ac ce p ted   an d   p r ac ticed   s ch e m o f   elec tr o d p lace m en o n   th e   h u m a n   s ca lp .   T h 1 0   an d   2 0   in   t h n a m r ef er   to   th p e r ce n tag d i s tan ce   o f   n o d es  f r o m   ea ch   o th er   i n   p r o p o r tio n   to   th h ea d   s ize.   T h elec tr o d lo ca tio n s   s u g g e s t ed   b y   th is   m et h o d   b elo n g   to   l o ca tio n s   o n   ce r eb r al  co r tex   an d   th letter s   F,  T ,   C ,   P   an d   d en o te  th f r o n tal,   te m p o r al,   ce n tr al,   p ar ietal  an d   o cc ip ital   r esp ec tiv el y .   E x ce p f o r   th ce n tr al  lo ca tio n   th r e m ai n i n g   ar all  lo b es  o f   th b r ain .   T h n u m b er s   in d icate   th e   p o s itio n   o f   t h n o d o n   t h s c alp ,   ev en   n u m b er   d en o te  r ig h t   s id o f   th h ea d ,   o d d   n u m b er   d en o te  th le f s i d e   an d   Z   i n d icate s   t h at  t h n o d e   is   lo ca ted   o n   th ce n tr al  l in e   o f   th h ea d .   Fi g u r 2   illu s tr ates  th e s s ta n d ar d   elec tr o d p o s itio n s   an d   Fig u r e   3   illu s tr ated   th k i n d .             Fig u r 2 .   Stan d ar d   elec tr o d p o s itio n s   a n d   p lace m e n t o n   t h h u m a n   s ca lp .   [ 2 ]       B C I   is   b r an c h   o f   H u m a n   C o m p u ter   I n ter f ac e ,   w h ich   in v o lv e s   o b tain i n g   th b r ai n   s i g n als,   co r r esp o n d in g   to   s p ec if ic  f o r m   o f   th o u g h t s ,   an d   tr an s lati n g   t h e m   to   m ac h i n c o m m a n d s .   I is   a   co m m u n icatio n   s y s te m   w h ic h   p er f o r m s   t h tr an s f er   o f   m es s ag e s   o r   co m m a n d s   b y   t h m ea n s   o f   h u m a n   th o u g h ts   a n d   n o t c o n v e n tio n al l y   b y   p er ip h er al  n er v es.   A   h ig h l y   a n ticip ated   ap p licatio n   a m o n g s th B C I   co m m u n itie s   is   th at  t h f u t u r u s er - co m m u n icatio n   s y s te m s   w o u l d   r eq u ir p ar allel  f ee d b ac k   o f   t h u s er   m e n tal   s tate   o r   in t en tio n s   alo n g   w it h   h is   p h y s ical  s tate.   Fo r   ex a m p le,   it  is   i m p o r tan f o r   t h au t o m o b ile  to   r ea ct  to   t h u s er s   d r o w s i n es s .   T h ese   f u tu r ap p licatio n s   ar ca lled   s y s te m - s y m b io s i s   o r   ef f ec tiv co m p u ti n g   a n d   r eq u ir th e   s y s te m s   to   g at h e r   d etails   r eg ar d in g   m e n tal  s tates   lik e m o tio n s ,   atte n tio n ,   w o r k lo ad ,   s tr ess ,   f ati g u e,   etc.   a n d   in ter p r et  th e m .   [ 3 ]           Fig u r 3 .   Sh o w in g   t h p h y s io l o g ical  s i g n a ls   ex p ec ted   f r o m   e ac h   n o d o f   th 1 0 - 2 0   s y s te m .   [ 4 ]       On li n an d /o r   o f f li n ev a lu at i o n   o f   ap p licatio n s   u s in g   t h p h y s io lo g ical  d ata  m ig h lead   to   s ev er al  in s i g h ts   r eg ar d i n g   t h u s er s   s t ate  an d   h elp   in   co m p ar in g   d i f f er en u s ca s e s .   Fo r   in s tan ce ,   r ec en r esear ch   o n   an al y z in g   t h b r ain   i m ag in g   r es u lt s   o f   ce ll  p h o n u s d u r i n g   d r iv in g   h as  p r o v ed   th at  e v en   h a n d s   f r ee   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ RA   I SS N:  2089 - 4856       Usi n g   Dee p   Lea r n in g   fo r   Hu m a n   C o mp u ter I n terf a ce   v ia   E le ctro en ce p h a lo g r a p h y   ( V a msi   Ma n ch a la )   295   v o ice  ac tiv a ted   u s e   o f   m o b ile   p h o n is   a s   d an g er o u s   a s   d r u n k en   d r i v in g .   An o th er   r ec e n r e s ea r ch   i n   t h is   E E d ata  ev alu a tio n   h as  b ee n   co n d u cted   b y   A r izo n Sta te  Un i v er s it y ,   w h ich   f o c u s es   t o   f in d   o u h o w   to   lev er ag e   s o cial  m ed ia   to   i m p r o v ed u ca tio n al  an d   tr ain in g   en v ir o n m e n t s .   T h g o al  o f   th is   r esear ch   w as  to   an al y ze   th E E d ata  ca p t u r e d   f r o m   s t u d en ts   w h ile  t h e y   w e r u s i n g   Face b o o k   an d   tr y   m a k r ec o r d   o f   w h at   th e y   w er lo o k in g   at  a n d   als o   th eir   af f ec ted   s ta te,   an d   u lt i m atel y   f o r w ar d   t h eir   f i n d i n g s   to   u s in   o n li n e   lear n in g   co m m u n ities   a n d   m a k o n li n lear n i n g   m o r in ter esti n g   f o r   th s t u d en t s .   [ 5 ]   T h g a m i n g   i n d u s tr y   is   ea r n in g   m o s o f   its   m ar k et  s h ar b y   m ak in g   u s o f   th w ea r ab le  te ch n o lo g y .   P ar ticu lar l y ,   o v er   t h p ast  f e w   y ea r s ,   n e w   g a m e   h a v b ee n   d ev elo p ed   b ased   o n   th co m m er ciall y   av ai lab le  E E h ea d s ets  b y   t h co m p an ies  lik Ne u r o Sk y ,   E m o ti v ,   U n cle  Milto n ,   Ma ttel  an d   Mi n d Ga m es.  T h u s u a l   g a m in g   e x p er i en ce   h as   b ee n   e n h a n ce d   a n d   en r ic h ed   b y   t h u s o f   B C I s   in   th g a m i n g   in d u s tr y .   Fo r   ex a m p le,   t y p ical  B C I   b ased   g a m w o u ld   n o   lo n g er   b co n tr o lled   b y   t h k e y b o ar d   b u w o u ld   f u n ctio n   b ased   o n   t h e   m en tal  s tate s ,   i m m er s io n ,   f lo w ,   s u r p r is e,   an d   f r u s tr atio n   etc .   o f   th p la y er .   [ 3 ]   B r ain   C o m p u ter   I n ter f ac e s   ar e   alr ea d y   b ein g   u s ed   i n   co n tr o llin g   m an y   d e v ices   li k m o to r i ze d   w h ee l   ch air s ,   p r o s th et ic  li m b s ,   s i m u late  m u s c u lar   m o v e m en t ,   co n tr o llin g   h o m ap p lian ce s ,   lig h t s ,   r o o m   te m p er atu r e,   tele v is io n ,   o p er atin g   d o o r s ,   etc.   T h n ee d   f o r   B r ain   C o m p u ter   I n ter f ac e s   in   t h e m b ed d ed   m ar k et  i s   b ein g   ex p lo r ed ,   r ec en ad v a n ce s   i n   B C I   h av s ee n   p r o j ec ts   u s in g   o f f   th s h el f   E E h ea d s ets  a n d   e m b ed d ed   s in g le  b o ar d   co m p u ter s   lik B ea g le  B o n B lack   a n d   R a s p b er r y   P i.  [ 3 ]       2.      RE SE ARCH   M E T H O D   As  d is c u s s ed   ea r lier ,   E E is   r ec o r d in g   o f   t h b io - p o ten ti als  f r o m   th e   s u r f ac o f   th s c alp .   Mo r s p ec if icall y ,   t h e s r ec o r d in g s   ar th elec tr o ch e m ical  p o ten t ials   m ea s u r ed   f r o m   t h n e u r o n s   a t h ce r eb r u m   o f   th h u m a n   b r ain .   Si n ce   t h ese  s i g n al s   ar r ec o r d ed   f r o m   t h s u r f ac o f   t h s ca lp ,   it  is   m o s lik e l y   t h at   p o ten tials   f r o m   m a n y   ce lls   ar b ein g   m ea s u r ed   at  t h s a m e   ti m e.   At  f ir s g la n ce ,   E E d ata  m a y   lo o k   l ik a n   u n s tr u ct u r ed ,   n o n - s tatio n a r y ,   n o is y   s i g n al.   Ho w e v er ,   ad v an ce d   s ig n al  p r o ce s s i n g   tech n iq u es  ca n   b u s ed   to   s ep ar ate  d if f er en t   co m p o n e n ts   o f   t h b r ain   w a v es.  T h ese   s e p ar ate  co m p o n e n t s   ca n   t h en   b ass o ciate d   w it h   d if f er e n t b r ain   ar ea s   an d   f u n ct io n s .   I n   o r d er   to   ca r r y   o n   w it h   t h e   s i g n a l   ac q u is itio n   s ta g e,   it  is   i m p o r tan t   to   id en ti f y   w h et h e r   th B C I   s ig n al s   ar g o in g   to   b d e p en d en o r   in d ep en d en t;  h a v ev o k ed   o r   s p o n tan eo u s   i n p u t s .   I n   ad d itio n   to   th ese,   it   is   also   i m p o r tan t   to   d ec id o n   w h ic h   m et h o d   to   u s e   i n   o b tain i n g   t h s i g n als n o - i n v asi v o r   i n v a s i v e.   Ulti m a tel y ,   i n   t h s i g n al   ac q u is itio n   s ta g e,   th e   s i g n als   ar o b tain ed   f r o m   t h e   elec tr o d es,  a m p li f ied ,   d ig i tized   an d   m ad av ailab le  f o r   th f u r th er   s ta g es.   I is   al w a y s   p o s s ib le  th at   t h e   ac q u ir ed   E E d ata  i s   co m b in ed   w it h   a   lo o f   a r ti f ac ts   d u to   t h e   elec tr ical  ac ti v it y   o f   e y e s   ( E O G:  E lectr o o cc u lo g r a m )   o r   m u s cles  ( E MG :   E lectr o m y o g r a m ) .   T h b est  w a y   to   av o id   th e s u n w a n ted   co m p o n en t s   is   to   m ain tain   id ea l   co n d itio n s   d u r i n g   th e   s i g n al  ac q u is i tio n ,   l ik e   m ai n tai n in g   r elax ed   p o s itio n   w h ic h   w o u ld   in v o l v m in i m u m   o r   n o   p h y s ical  m o v e m e n ts .   Ho w e v er ,   o n   a   p r ac tical  n o te,   m ai n tai n i n g   s u ch   lab o r ato r y   co n d it io n s   i n   e v er y d a y   B C I s   is   n o r ea lizab l an d   s u c h   s y s te m s   w h e n   u s ed   o u td o o r s   to   o p e r ate   em b ed d ed   ap p licatio n s   lik U GV  o r   w h ee lc h air ,   is   n o co n s i d er ed   t o   b e   r o b u s t   an d   r eliab le.   T h is   p r o b lem   ca n   g en er all y   b s o lv ed   b y   ad o p tin g   e f f ec ti v p r e - p r o ce s s in g   te ch n iq u es  w h ic h   ar e   r esp o n s ib le  to   c lean   th e   s ig n a f r o m   u n w an ted   ar tif ac ts   a n d /o r   en h a n ce   th e   i n f o r m atio n   e m b ed d ed   i n   t h e s s ig n al s .   I is   o b s er v ed   th a t h a m p lit u d o f   t h ese   m u s c le  ar ti f ac ts   is   m u c h   h i g h er   t h an   t h u s u al  E E s i g n a ls   an d   d u r in g   m o s o f f l in a n al y s is   th e s ca n   b r em o v ed   b y   v is u al  in s p ec tio n .   B u to   eli m i n at th ese  ar tif ac ts   i n   m o r ef f ec tiv m a n n er   it i s   i m p o r ta n t to   ap p l y   v a r io u s   s p at io - s p ec tr o - te m p o r al  f ilter i n g   t ec h n iq u es.   Featu r ex tr ac tio n   is   p h en o m en o n   o f   b u ild i n g   f ea t u r v e cto r   o f   f ea tu r es  w h ic h   ar co n s id er ed   as  s u b s et   o f   d ata,   d er i v ed   f r o m   t h m ai n   s ig n als   an d ,   w h ic h   b est  d ef i n e s   t h s ig n al  o f   i n ter est  a n d   r ef lect s   t h e   s i m ilar ities   a n d   d if f er en ce s   b e t w ee n   s i g n als o f   s a m an d   d if f er en t c lass e s   r esp ec tiv e l y .     I d en tify i n g   a n d   ex tr ac ti n g   r el ev an f ea t u r es  i s   o n o f   t h m o s i m p o r tan s tep s   in   B C I   as  it  is   p r o v ed   to   b c r u cial  f o r   an   ef f ec tiv class if icatio n   s ta g e.   I f   t h f ea t u r es  ex tr ac ted   f r o m   E E ar n o r elev an to   th co r r esp o n d in g   n eu r o p h y s io lo g ical  ac tio n ,   it  w o u ld   b v er y   d i f f ic u lt  f o r   th B C I   to   class i f y   t h tr ain in g   s ig n al s   i n to   th e ir   r esp ec tiv c l ass es  a n d   h en ce   th e   s y s te m   wo u ld   n o b p er f o r m i n g   e f f ec ti v el y   d u r i n g   th test   p h ase.   T h u s ,   e v en   i f   ap p l y i n g   class if icatio n   s tep s   o n   th e   r aw   s i g n als   m ig h g i v r e s u l ts ,   it  w o u ld   b s lo w   p r o ce s s   an d   it is   r ec o m m e n d e d   to   u s an   e f f ec ti v f ea tu r e x tr ac tio n   tec h n iq u i n   o r d er   to   m a x i m ize  th e   s p ee d   an d   ef f icie n c y   o f   th B C I .   Of te n   ti m es,  i f   lear n i n g   a lg o r ith m   d o es  n o b eh a v as   d esi r ed   it  is   m o s li k el y   d u to   t h e   h i g h   b ia s   o r   h ig h   v ar ian ce   p r o b le m   i n   t h s y s te m .   H ig h   b ias   is   o cc u r r ed   d u to   u n d er   f itt in g   o f   th e   alg o r ith m .   T h b ias   er r o r   o f   th e   s y s te m   is   attr ib u t ed   to   i ts   i n ab ilit y   to   ap p r o p r iatel y   c h o o s th e   f u n ctio n   f ,   to   esti m ate  lab el s   y   o f   an   in p u f ea tu r v ec to r ,   f r o m   all  th p o s s ib le  s et  o f   m ap p in g   f u n ctio n s .   On   th o t h er   h a n d ,   h ig h   v ar ia n ce   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4856   IJ RA    Vo l.   4 ,   No .   4 Dec em b er   2 0 1 5 :   2 92     3 1 0   296   p r o b lem   is   ca u s ed   d u to   o v er   f itti n g   o f   t h m ap p in g   f u n ctio n .   T h is   m ig h r ed u ce   t h p er f o r m a n ce   o f   th e   s y s te m   w h e n   p r o v id ed   w it h   n e w   te s ti n g   d ata.   [ 6 ]   A lo n g   w it h   b ias  a n d   v ar ia n ce   p r o b lem s ,   i is   also   i m p o r tan t   to   u n d er s ta n d   t h s ig n i f ica n c o f   u s i n g   cr o s s - v alid atio n   i n   th s elec t io n   p r o ce d u r o f   a   Ma ch in L ea r n in g   m o d el,   to   v alid ate  th ex p er im e n tal  r es u lts .   Valid atio n   tech n iq u es  ar m o t iv ated   b y   t w o   f u n d a m e n tal  a n d   m o s i m p o r tan p r o b le m s   i n   Ma ch i n L ea r n i n g :   Mo d el  Selectio n   an d   P er f o r m a n ce   E s ti m atio n .     a.   Mo d el  Selectio n A l m o s al w a y s ,   t h p er f o r m an ce   o f   p atter n   r ec o g n itio n   a n d   th clas s i f ica tio n   tech n iq u e s   d ep en d s   o n   s i n g le / m u lt ip le  p ar a m eter s .   Fo r   in s ta n ce ,   en li s te d   b elo w   ar s o m o f   th p ar a m eter s   u s ed   f o r   m o d el  s elec tio n   i n   d if f er e n t c l ass i f icatio n   tech n iq u e s   [ 7 ] .   b.   No n li n ea r   R eg r es s io n : P o ly n o m ial s   w it h   d if f er en t d eg r ee s .   c.   K - Nea r est Ne ig h b o r s : D i f f er e n t c h o ice  o f   K.   d.   Dec is io n   T r ee s : D if f er en t c h o i ce s   o f   n u m b er   o f   le v el s .   e.   SVM:  Di f f er e n t c h o ices o f   t h e   m is cla s s i f icat io n   p en alt y   h y p er   p ar am eter   C.   f.   R eg u lar ized   Mo d els:   Di f f er e n t   ch o ices o f   t h r eg u lar izatio n   p ar am eter .   g.   Ker n el  b ased   Me th o d s : D i f f er en t c h o ice s   o f   k er n els.   h.   P er f o r m a n ce   E s ti m atio n :   O n c th e   m o d el   is   ch o s e n   it  is   i m p o r tan to   est i m a te  it s   p er f o r m an ce ,   w h ich   i s   t y p icall y   m ea s u r ed   b y   ev a lu at i n g   t h tr u er r o r   r ate -   th cla s s if ier s   er r o r   r ate  o n   th en tire   d ata  s et.   [ 7 ] .   i.   Ma ch i n L ea r n i n g   C la s s i f icat io n   k -   Nea r e s Nei g h b o r   C las s if ier :   k -   Nea r es Nei g h b o r   ( k - NN)   i s   s i m p l e   an d   ef f ec ti v cla s s i f ier .   T h class i f ier   co m p ar es  th test   d ata  w it h   t h tr ai n i n g   d ata.   I ev al u ates  t h e   d is tan ce s   o f   ea ch   v ec to r   in   t h e   tr ain in g   d ata  f o r m   t h test   v e cto r ,   f in d s   k   n ea r est  n ei g h b o r s   ar o u n d   th te s t   s a m p le  a n d   ass i g n s   t h clas s   l ab el  w h ich   i s   f o u n d   a m o n g s m aj o r ity   o f   th k   n ea r e s n ei g h b o r s .   T h b ias  o f   th k - N alg o r ith m   i s   v er y   lo w   s i n ce   it  is   d ec id in g   b ased   o n   th n ea r b y   p o in t s .   Ho w e v er ,   it  h as  v er y   h ig h   v ar ian ce .       So m o f   t h d is ta n ce   f u n ct io n s   u s ed   i n   t h k - NN  al g o r ith m   ar E au clid ea n ,   Stan d ar d ized   E u clid ea n ,   C it y   b lo ck ,   C h eb y c h ev ,   C o s i n d is ta n ce ,   Ma n h at tan ,   Min k o w s k i,   Ha m m in g ,   co r r elatio n   d is tan ce ,   etc.   F ig u r e   4   s h o w s   r eg io n   co n s i s ti n g   o f   t h test   s a m p le  a n d   its   n ea r e s n eig h b o r s .           Fig u r 4 .   Sh o w in g   t h t y p ical  s ch e m o f   K - NN   [ 8 ]       j.   L i n ea r   Dis cr i m i n an A n a l y s is :   T h w o r k i n g   p r in cip le  o f   L DA   is   to   m ak u s o f   h y p er - p lan w h ic h   s ep ar ates  th s i g n als  b elo n g i n g   to   d if f er e n clas s es.  I n   t w o - clas s   p r o b lem ,   t h t w o   cla s s e s   ar s ep ar ated   b y   h y p er - p la n an d   th s ig n als  b elo n g i n g   to   d if f er en class es  ar o n   eit h er   s id es  o f   t h h y p er - p lan e .   Si m i lar   to   tw o - clas s   p r o b le m ,   d if f er en s i g n als  b elo n g in g   to   d if f er en class e s   in   m u lti - clas s   p r o b lem   ar s ep ar ated   b y   m u ltip l h y p e r - p lan es.   [ 9 ]           Fig u r 5 .   L D A   h y p er - p la n e   [ 9 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ RA   I SS N:  2089 - 4856       Usi n g   Dee p   Lea r n in g   fo r   Hu m a n   C o mp u ter I n terf a ce   v ia   E le ctro en ce p h a lo g r a p h y   ( V a msi   Ma n ch a la )   297   L D A   g e n er all y   a s s u m es  n o r m al  d is tr ib u tio n   o f   t h d ata  with   s a m co v ar ian ce   m atr ices   f o r   all  th e   s ig n al s .   E ac h   h y p er - p lan s ep ar atin g   o n cla s s   f r o m   th o t h er   class es  is   o b tain ed   b y   ev a lu atio n   th p r o j ec tio n   th at  m a x i m ize s   th d is ta n ce   b et w ee n   th m ea n   o f   o n class   f r o m   th m ea n s   o f   all  o th er   cl ass es  a n d   m i n i m izes   th i n ter clas s   co v ar ian ce .   Fi g u r 5   s h o w s   th e   s ep ar ati n g   p lan b et w ee n   t w o   c lass e s .   T h e   m ai n   ad v an tag e s   o f   th is   m et h o d   is   th at  it  h a s   v e r y   lo w   co m p u tatio n a r eq u ir em en ts   an d   co m p le x itie s ,   w h ic h   m a k es  it  s u itab le   f o r   r ea ti m e m b ed d ed   ap p li ca tio n s .   Ho w e v er   th m ai n   d r a w b ac k   o f   t h is   m et h o d   is   th a t   it  w o u ld   n o w o r k   ef f ec tiv e l y   o n   n o n - li n ea r   co m p lex   E E d ata.     k.   Su p p o r Vec to r   Ma ch in es  ( SV M) :   L ik L D A ,   S VM   is   also   u s ed   to   class i f y   s i g n al s   in to   d if f er en clas s es   an d   id en tify   th e m   w h en   r eq u ir ed ,   w it h   th aid   o f   h y p er - p lan e.   Ho w e v er ,   SVM  tr ies  to   s o lv th e   p r o b lem   o f   n o n - l in ea r   co m p le x   s i g n al s .   I n   SVM,   th s elec ti o n   o f   th h y p er - p la n is   m ad to   m a x i m ize   th w id th   o f   t h b an d   w h i ch   s ep ar ates  th n ea r est  tr ai n in g   p o in ts   to   in cr ea s t h e   g en er aliza tio n   ca p ab ilit ies.  [ 9 , 1 0 ]     T h h y p er - p lan e,   also   ca lled   as  d ec is io n   b o r d er ,   s eg m e n ts   th f ea t u r s p ac in to   p ar ts   e q u al  to   th n u m b er   o f   class e s   o f   t h s i g n als.  T h r esu lt  o f   th clas s i f ic atio n   s ta g w o u ld   d ep en d s   o n   w h ich   p ar o f   th e   p lan is   t h test   s ig n al  lo ca ted .   Fig u r 6   s h o w s   t h o p ti m al  h y p er - p lan s ep ar atin g   t w o   p la n es i n   SVM.           Fig u r 6 .   H y p er - p lan a n d   s u p p o r t v ec to r s   [ 1 1 ]       Dep en d in g   u p o n   w h et h er   o r   n o th ti m s er ies  s i g n als  i s   li n ea r l y   s ep ar ab le,   th SVM  m et h o d   w o u ld   b ab le  to   co n v er th d ata  in t o   lin ea r l y   s ep ar ab le  an d   cr ea te  n o n li n ea r   d ec is io n   b o u n d ar i es  to   class i f y   t h e m   ( Fig u r 6 ) .   T h is   p h en o m e n o n   o f   b u ild i n g   n o n - li n ea r   d ec is io n   b o u n d ar ies  is   n o m u c h   co m p lex   a s   is   m a k i n g   th u s o f   k er n el  tr ick   to   i m p licitl y   m ap   th d ata  to   an o th er   s p ac o f   h ig h er   d i m e n s io n a lit y ,   w h er th d ata  is   lin ea r l y   s ep ar ab le  an d   th r eg u lar   li n ea r   clas s i f ier s   ar s t ill  ap p licab le.   T h k er n el  g en er all y   u s ed   in   B C I   r esear ch   is   t h Gau s s ia n   k er n e l:                                                        2 2 , 2 xy K x y e x p                                                                                  ( 4 )     l.   Naïv B a y es c la s s i f ier :   Naï v B ay e s   p r o b ab ilit y   f u n ctio n   is   a s   f o llo w s -                   1 12 11 | | , ,   . .   . , | m l i l i lm Nm q i q qi p c p x c p c x x x p c p x c                                                                     ( 5 )     W h er is   th to tal  n u m b er   o f   class e s .   T h in d iv id u al  p r o b ab ilit ies  o n   th r ig h t - h an d   s i d o f   th e   eq u atio n   ar ev al u ated   f r o m   t h tr ain in g   d ata   [ 1 0 ]     m.     L o g i s tic  r eg r es s io n   u s ed   f o r   C las s i f icatio n :   U n li k in   t h r eg r ess io n   p r o b lem ,   th o u tp u t   v alu e s   y   o f   th e   m o d el  ta k e   li m ited   n u m b er   o f   d is cr ete  v alu e s   in   th clas s if icatio n   p r o b lem .   Fo r   ex a m p l in   b in ar y   class i f icatio n   th o u tp u y   m i g h e ith er   ta k v al u o f   1   o r   0   d ep en d in g   o n   w h et h er   o r   n o th i n p u t   f ea t u r v ec to r   b elo n g s   to   t h d esire d   class ?   [ 1 2 ]   Fo r   lo g is t ic  r eg r e s s io n   u s ed   f o r   cl ass i f icatio n ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4856   IJ RA    Vo l.   4 ,   No .   4 Dec em b er   2 0 1 5 :   2 92     3 1 0   298   s ig m o id   f u n ct io n   is   u s ed   as  h y p o th e s is   to   p r ed ict  th o u tp u class   as  t h o u tp u o f   s ig m o id   w o u l d   r an g b et w ee n   0   an d   1 .   Vec to r s   w h ic h   p r o d u ce   o u tp u lo w e r   th an   0 . 5   w o u ld   b ass i g n ed   a   0   class   a n d   th o n es  w i th   a n   o u tp u t v al u m o r t h a n   0 . 5   w o u ld   b ass i g n ed   1 ,   as sh o w n   in   F ig u r 7 .   [ 1 2 ]                                                              1 1 T T x h x g x e                                                       ( 6 )                                                                          () ( ) 1 / ( 1 ) z g z e                                                                        ( 7 )     Her e,     (   )   is   ca lled   t h lo g is tic  f u n ctio n   o r   th s i g m o id   f u n ctio n   a n d             ar t h p ar a m eter s   ( als o   ca lled   as  w ei g h ts )   p ar a m eter iz in g   t h s p ac o f   lo g is t ic  f u n c ti o n   m ap p in g   an d   Y.              Fig u r 7 .   Sh o w in g   t h lo g i s tic   f u n ctio n .   [ 1 2 ]       T h m ain   f o c u s   o f   t h lo g is tic   r eg r ess io n   cla s s i f ier   i s   to   e v a lu ate  t h v al u es  o f   t h w e ig h t s       ,   in   an   iter ativ f a s h io n ,   s o   as  to   r ed u ce   th d if f er en ce   b et w ee n   t h h y p o t h esi s   o f   an   in p u f ea tu r v ec to r   an d   th co r r esp o n d in g   o u tp u t.  T h is   is   ac h iev ed   b y   co m p u tin g   th co s f u n ctio n       (   )   f o r   ev er y   s et  o f   w eig h t s   an d   co m p ar i n g   i w it h   th at  o b tai n e d   f r o m   ea r lie r   s ets o f   t h eta. [ 1 2 ]       2 1 1 l o g ( 1 ) l o g 1 m i i i i i J y h x y h x m                                          ( 8 )       T h ef f icie n c y   o f   t h L o g i s ti R eg r ess io n   f u n ctio n   i n   clas s if y i n g   th co r r ec class   d ep e n d s   o n   th e   s elec tio n   o f   t h d ata  f i tti n g   f u n ctio n .   T h f u n c tio n   m i g h t e i t h er   u n d er - f it o r   o v er - f it th d a ta  ( Fig u r 8 ) .             Fig u r 8 .   Sh o w in g   d i f f er e n t k i n d s   o f   f u n ctio n s   u s ed   to   f it t h e   d ata   [ 1 3 ]       n.   A r ti f icial  Ne u r al  Net w o r k s :   A N is   an   as s e m b l y   o f   s e v er al  ar tif icial  n e u r o n s   w h ic h   h a v ca p ab ilit y   to   p r o d u ce   n o n - li n ea r   d ec is io n   b o u n d ar ies  an d   w h en   co m b i n e d   w it h   class if ier s   ar ca p ab le  o f   s o lv i n g   th e   m u lti  clas s   p r o b le m .   A   t y p ic al  A N is   co m p o s ed   o f   s e v e r al  la y er s   o f   n e u r o n s a n   i n p u la y er ,   o n o r   s ev er al  h id d en   la y er s   an d   a n   o u tp u la y er ,   t h n u m b er   o f   n eu r o n s   in   w h ich   ar b ased   o n   th n u m b er   o f   class es i n   t h p r o b lem .   [ 1 0 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ RA   I SS N:  2089 - 4856       Usi n g   Dee p   Lea r n in g   fo r   Hu m a n   C o mp u ter I n terf a ce   v ia   E le ctro en ce p h a lo g r a p h y   ( V a msi   Ma n ch a la )   299   Neu r al  Net w o r k s   b eh a v as  u n iv er s al  ap p r o x i m ate s   w h en   b u ilt  o f   e n o u g h   n e u r o n s   an d   la y er s   as  th e y   ca n   ap p r o x i m ate  an y   co n ti n u o u s   f u n ctio n .   An o th er   ad v an t ag th at  m ak t h Neu r al  Net w o r k s   f le x ib le  f o r   g r ea t n u m b er   o f   p r o b le m s   i s   t h at  th e y   ca n   class if y   a n y   n u m b er   o f   class es.    T h in tu i tio n   f o r   Neu r al  Ne t w o r k s   ca n   b b u ilt  o v er   t h e   u n d er s ta n d i n g   d e v elo p ed   o n   L o g i s tic   R eg r es s io n ,   i n   t h p r ev io u s   s e ctio n .   C o n s id er   s u p er v is ed   l ea r n in g   p r o b le m ,   p r o v id ed   w i th   lab eled   tr ain i n g   d ata x i y i .   Neu r al  Net w o r k s   g i v w a y   o f   d ef i n in g   co m p le x ,   n o n - li n ea r   f o r m   o f   h y p o t h eses , Wb hx   ,   w it h   p ar a m eter s   Wb    th at  o n ca n   f i t to   o u r   d ata.           Fig u r 9 .   Sin g le  Neu r o n   u s ed   i n   NN   [ 1 4 ]       A   s i n g le  n e u r o n   ( Fi g u r 9 )   is   b asic  co m p u tatio n al  u n i i n   co m p le x   NN,   ta k es  in p u ts   1 ,   2 ,   3 . . . . . . x x x   an d   o u tp u ts 3 1 , )(   () T Wb i ii h x W x f x f Wb  ,   w h er :       f R R    is   ca lled   th ac tiv a tio n   f u n ctio n .   Mo s t c ases   i t is eit h e r   s ig m o id   f u n ctio n   o r   tan h   f u n ctio n .                                                                                () ( ) 1 / ( 1 ) z f z e                                                               ( 9 )                                                                      ( ) ( ) zz zz f ee z t a n h z ee                                                              ( 1 0 )     Neu r al   Net w o r k   is   b u i lt  b y   co n n ec ti n g   m u ltip le  s i m p le   n e u r o n s   to g et h er   to   f o r m   a   co m p lex   n et w o r k .   [ 1 4 ] .   Fo r   ex a m p le,   Fig u r 1 0   s h o w s   NN  w h ich   i s   b u ilt  w i th   o n i n p u la y er ,   o n h id d en   la y er   an d   an   o u tp u t la y er ,   ca p ab le  o f   c lass i f y in g   t w o   d if f er en t a ctio n s .           Fig u r 1 0 .   T y p ical  NN.   [ 1 4 ]       T h co m p u ta tio n   f o r   n eu r al  n e t w o r k   i n   Fi g u r 1 1   is   g iv e n   b y   ( u s i n g   t h n o tatio n s   as p er   T a b le  2 ) :                                     ( 2 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) 1 1 1 1 1 2 2 1 3 3 1 ( 2 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) 2 2 1 1 2 2 2 2 3 3 2 ( 2 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) 1 3 1 1 3 2 2 3 3 3 3 ( 3 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) , 1 1 1 1 1 2 2 1 3 3 1 () () () ( ) ( ) wb a f W x W x W x b a f W x W x W x b a f W x W x W x b h x a f W a W a W a b                                             ( 1 1 )             Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4856   IJ RA    Vo l.   4 ,   No .   4 Dec em b er   2 0 1 5 :   2 92     3 1 0   300   Fo r   f ix ed   tr ain in g   s et  ( 1 ) ( 1 ) ( ) ( ) { ( , y ) , . . . . . . ( , y ) } mm xx   o f   m   t r ain in g   e x a m p le s .   Fo r   s in g le  tr ain i n g   ex a m p le ( , ) xy ,   th co s t f u n ctio n   i s   d ef i n ed   as -       2 , 1 ( , ; , ) ( ) y 2 Wb J W b x y h x                                            ( 1 2 )     An d   f o r   tr ain i n g   s et  o f   m   s a m p les,  th o v er all  co s f u n ct io n   wo u ld   b e -                     11 ( ) ( ) ( ) 2 1 1 1 1 11 2 ( ) ( ) ( ) 2 , 1 1 1 1 1 ( , ) ( , ; , ) ( ) 2 11 ( ) y ( ) 22 l l l l l l n s s m i i l ji i l i j n s s m i i l W b ji i l i j J W b J W b x y W m h x W m                                             ( 1 3 )     T h f ir s ter m   i n   t h ab o v eq u atio n   is   a n   a v er ag s u m - of - s q u ar es  er r o r   ter m .   T h s ec o n d   ter m   i s   a   r eg u lar izatio n   ter m   ( also   ca lle d   w ei g h d ec a y   ter m )   t h at  te n d s   to   d ec r ea s th m a g n i tu d e   o f   th w eig h t s ,   an d   h elp s   p r ev en o v er   f i tti n g .   [ 1 4 ]   T h u lti m ate  g o al  in   th Ne u r al  Net w o r k s   is   to   co m u p   w it h   t h b est  s et  o f   p ar am eter s ( 1 ) ( 1 ) ( 2 ) ( 2 ) ( W , b , W , b ) ,       Wb ,   w h ic h   w o u ld   m i n i m ize  th e ( , ) J W b .   T o   tr ain   th n et w o r k ,   we   w il in itia lize  ea ch   p ar a m eter   () l ij W   an d   ea ch   () l i b   to   r an d o m   n o n - ze r o   v alu es,  an d   u p d ate  th () l ij W   an d   () l i b   f o r   ev er y   i ter atio n   b y   ap p l y in g   tech n iq u es  li k g r ad ien d es ce n t.  On iter atio n   o f   g r ad ien t   d ec en u p d ated   th e   p ar am eter s   as f o llo w s :                                                                   ( ) ( ) () ( ) ( ) () : ( , ) : ( , ) ll ij ij l ij ll ii l i W W J W b W b b J W b b                                                               ( 1 4 )             T ab le  2 .   No tatio n s   u s ed   in   Ne u r al  Net w o r k s   ( i ) ( i ) ( , y ) x   i t h   T r a i n i n g   e x a mp l e   , () wb hx   O u t p u t   o f   h y p o t h e si s o n   i n p u t x ,   u s i n g   p a r a me t e r s , Wb .   () l ij W   T h e   p a r a me t e r   a sso c i a t e d   w i t h   t h e   c o n n e c t i o n   b e t w e e n   u n i t   j    i n   l a y e r l ,   a n d   u n i t   i   i n   l a y e r  1 l .   () l i b   T h e   b i a s   t e r m a sso c i a t e d   w i t h   u n i t i   i n   l a y e r 1 l .   () l i a   A c t i v a t i o n   o f   u n i t   i   i n   l a y e r   l   o f   t h e   n e t w o r k .                 Fig u r 1 1 .   Neu r al  Net w o r k   s h o w i n g   i n p u t,  h id d en   an d   o u tp u t la y er s   f o r   m u l ti - clas s   class if i ca tio n   [ 1 4 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ RA   I SS N:  2089 - 4856       Usi n g   Dee p   Lea r n in g   fo r   Hu m a n   C o mp u ter I n terf a ce   v ia   E le ctro en ce p h a lo g r a p h y   ( V a msi   Ma n ch a la )   301   o.   Dee p   L ea r n i n g :   Ma n y   o f   t h f ea t u r es  ar d is co v er ed   b y   o b s er v atio n   o f   r a w   d ata  b y   m a n y   r esear ch er s ,   o v er   s ev er al  y ea r s .   T h ar ea   o f   f ea t u r ex tr ac t io n   is   co n s id er ed   to   b alm o s s at u r ated   an d   t h r esear ch er s   ar s ee in g   t h e m s el v es  g et tin g   in ter ested   to   ex p lo r m o r s o p h is ticated   an d   au to m ated   f ea t u r ex tr ac tio n   tech n iq u es.   Dee p   L ea r n i n g   i s   o n ar ea   c u r r en t l y   b ei n g   e x p lo r ed   b y   th e   Ma ch in L ea r n in g   r esear c h   co m m u n itie s   to   e m u late  t h f ea tu r lear n i n g   an d   cla s s i f ica tio n   m ec h a n is m   ta k i n g   p lace   in   t h h u m a n   b r ain   to   u n d er s tan d   th i n f o r m atio n   it  g ets  f r o m   d if f er en n at u r al  s en s o r s ,   b y   b r ea k i n g   d o wn   th co m p le x   in f o r m atio n   i n to   n e w   a n d   s i m p le  r ep r esen tatio n s .   On p o ten tial  u s o f   Dee p   L ea r n i n g   is   u n s u p er v is ed   f ea t u r lear n i n g ,   w h ic h   tr ies to   u n d er s ta n d   th co m p le x   d ata  an d   r ep r esen t it  in   m u ch   le s s   c o m p le x it y .     Dee p   L ea r n in g   r ef er s   to   r at h er   w id cla s s   o f   m ac h i n lear n in g   tech n iq u e s   a n d   ar ch itect u r e.   B ased   o n   h o w   t h ar ch itect u r h a s   b ee n   d esi g n ed   an d   it s   i n ten d ed   u s e,   Dee p   L ea r n i n g   tech n iq u es  ca n   b clas s i f ied   in to   th r ee   m aj o r   ar ea s .     p.   Dee p   n et w o r k s   f o r   u n s u p er v i s ed   o r   g en er ati v lear n i n g U s ed   to   ca p tu r h i g h - o r d er   co r r elatio n   o f   t h e   d ata  to   an al y ze   p atter n s   a n d   s y n th e s ize  t h e m   w h e n   n o   i n f o r m atio n   ab o u t th tar g et  clas s   is   a v ailab le.       q.   Dee p   n et w o r k s   f o r   s u p er v is ed   lear n in g T ar g et  lab el  d ata  a r e   m ad av a i lab le  f o r   s u ch   k in d s   o f   tech n iq u e s   to   d ir ec tly   p r o v id d is cr i m in at iv in f o r m a tio n   f o r   p atter n   class i f icatio n   p u r p o s es.   r.   H y b r id   d ee p   n et w o r k s   I is   b len d   o f   b o th   Su p er v is ed   an d   Un s u p er v is ed   tech n iq u e s   to   p r o d u ce   h ig h er   class i f icatio n   r ates.  Her ein ,   t h n et w o r k   w o r k s   w it h   u n s u p e r v is ed   an d   lar g e l y   g en er at iv p r e - tr ain i n g   to   b o o s th ef f ec ti v e n ess   o f   s u p er v is ed   tr ain in g .   T h is   is   p r o ce d u r is   f o u n d   cr itical  w h e n   t h tr ain i n g   d ata  ar li m ited .     s.   T r ain in g   Dee p   Mo d el:   Dee p   Mo d els  ar tr ain ed   in   a   g r ee d y   la y er - w i s u n s u p er v i s ed   m a n n er .   T h i s   g r ee d y   la y er - w i s u n s u p er v is ed   lear n in g   al g o r ith m   f ir s s ta r ts   w it h   t h tr ai n i n g   o f   t h f ir s la y er   o f   t h e   m o d el  i n   an   u n s u p er v is ed   f a s h io n   to   y ield   an   i n itia s et  o f   p ar am eter s   f o r   th f ir s la y er   o f   th n et w o r k   [ 1 5 ] .   T h o u tp u f o r m   th f ir s t   lay er   is   r ed u ce d   r ep r esen tatio n   o f   th in p u an d   is   s u p p lied   as  an   in p u to   th s ec o n d   la y er   w h ich   i s   s i m ilar l y   tr ai n ed   u s in g   th s a m u n s u p er v i s ed   alg o r ith m ,   to   y ield   th i n itial   p ar am eter s   o f   t h at  la y er .   Ag ai n ,   th o u tp u f o r m   t h s ec o n d   la y er   is   u s ed   as  a n   in p u to   tr a in   t h th ir d   an d   th is   p r o ce s s   co n tin u es   u n ti a ll  th e   p ar a m eter s   o f   ea ch   la y er   h av e   an   i n itial   v al u es   w h i ch   ar r ed u ce d   r ep r esen tatio n s   o f   th p r ev io u s   la y er   [ 15] .   Fo llo w i n g   t h is   u n s u p er v i s ed   p r e - tr ain i n g   p h ase,   o f   o b tai n i n g   th e   i n itial   p ar a m eter s   o f   t h s tack ed   n eu r al  n et w o r k ,   th co m p le te  n et w o r k   ca n   t h e n   b f in e - t u n e d   b y   ap p l y in g   s u p er v i s ed   b ac k p r o p ag atio n   in   t h e   r ev er s d ir ec tio n .   B ac k p r o p ag atio n   is   r esp o n s ib le  to   r ea d j u s th w eig h t s   in   a n   iter ativ f ash io n   b y   tr y i n g   to   r ed u ce   th er r o r   ( co s f u n ctio n )   b et w ee n   th tr u lab els  a n d   t h lab els  o b tain ed   f r o m   t h n e t w o r k ,   d u r in g   ea c h   iter atio n .   A s   th e   w ei g h t s   ar a d j u s ted   to   o b tain   th c lo s est  o u tp u lab els,  t h i n ter n al   h id d e n   u n it s   b ec o m th e   b est r ep r esen tatio n s   o f   th i n p u t f ea tu r es   [ 1 5 ] .   t.   Au to en co d er :   Au to en co d er s   o f f er   m et h o d   o f   au to m atic all y   lear n in g   f ea t u r es  f r o m   u n lab eled   d ata,   allo w i n g   f o r   u n s u p er v i s ed   lea r n in g .   I p er f o r m s   b ac k p r o p ag atio n   w it h o u t   an y   k n o w led g o f   t h lab el s   [ 1 6 ] .     A n   a u to en co d er   is   an   ar tif ic ial  n e u r al  n et w o r k   t h at  is   ab le  to   b tr ain ed   in   co m p letel y   u n s u p er v is ed   m a n n er .   I n   th u s u al  n eu r al  n et w o r k s ,   lab eled   d ata  w er r eq u ir ed   to   tr ain   th e   n et w o r k   u s i n g   th b ac k   p r o p ag atio n   p h ase  b y   f i n e - tu n i n g   t h i n itiall y   a s s i g n ed   w ei g h ts .   W h er ea s ,   t h au to en co d er s   p r o v id th ab il it y   to   lear n   t h i n f o r m atio n   w i th o u t h e   n ee d   f o r   lab eled   d ata.   An   a u to en co d er   n e u r al   n et w o r k   p er f o r m s   b ac k p r o p ag atio n   b y   s etti n g   t h e   tar g et   v alu es   to   t h i n p u v al u es.  I n   o th er   w o r d s ,   a n   au to en co d er   n eu r al  n et w o r k   ( s h o w n   i n   Fig u r 1 2 ) ,   an   u n s u p er v is ed   f ea t u r lear n i n g   al g o r ith m   t h at  tr ai n s   th , () wb hx   s ettin g   th tar g et  v a lu e s   to   b eq u al  to   th in p u t s   i.e .   it u s es ( ) ( ) ii yx   T h is   s tr u ct u r h as b ee n   p r o v e d   to   b u s ed   ef f ec ti v el y   i n   d i f f er en t k i n d s   o f   ap p licatio n s ,   o n b ein g   t h e   s o lu tio n   to   th e   d i m e n s io n alit y   p r o b lem   o f   th e   E E d ata,   wh er ein   th i n ter m ed iar y   ac t iv atio n   v a lu e s   o f   th e   h id d en   la y er   ca n   b p ass ed   a s   f ea t u r es  ( w i th   r ed u ce d   d i m e n s io n alit y )   to   s u p er v is ed   lear n in g   a lg o r it h m .   Fo r   ex a m p le,   co n s id er   an   E E m o to r   i m a g er y   d ata  s et  co n s is ti n g   o f   s i n g le  tr ial s   w it h   d ata  s p an n ed   o v er   5   s ec o n d s   w it h   1 2 8 Hz  f r eq u e n c y .   T h to tal  n u m b er   o f   f ea t u r es  in   s i n g le  tr ial  ar 1 2 8 * 5     6 4 0   w h ic h   is   h u g an d   co m p u tatio n al l y   i n t en s f o r   n o r m al  cla s s i f icati o n   tech n iq u li k L D A ,   S VM .   Ho w ev er ,   o n ca n   u s h id d en   la y er   o f   2 0 0   n o d es  to   co n s tr u c an   a u to en co d er   an d   th ac ti v atio n s   () l i a   f o r   ea ch   t r ain in g   s a m p le   ar u n iq u a n d   is   to tall y   b ase d   o n   th w ei g h ts   o f   th n e t wo r k   o b tain ed   b y   tr ain in g   it  u s in g   al th tr ai n in g   s a m p les.  B y   li m it in g   th n u m b er   o f   h id d en   u n it s ,   an d   p er f o r m i n g   th tr ai n in g ,   au to e n co d er   w i ll  r esu l in   a   co m p r es s ed   r ep r esen tatio n   o f   t h d ata.     T h ab o v d is cu s s io n   o f   b ein g   ab le  to   co m e   u p   w it h   n e w   r ep r esen tatio n   o f   t h i n p u f ea t u r es,  w it h   r ed u ce d   d im e n s io n alit y   is   r ea l izab le  o n l y   i f   th h id d en   la y er   h as  lo w er   n u m b er   o f   n o d es.   B u ev en   w h e n   th e   n u m b er   o f   h id d en   u n its   i s   la r g e,   m a y   b g r ea ter   t h an   t h e   n u m b er   o f   in p u t,  o n ca n   s till   co m u p   w it h   in ter esti n g   f ea tu r es  b y   i m p o s i n g   o t h er   co n s tr ai n t s   o n   t h n e t w o r k   [ 1 4 ] .   On w a y   to   ac h ie v th is   i s   to   i m p o s e   s p ar s it y   co n s tr ai n o n   t h h i d d en   u n i ts .   “S p a r s ity  is   a   v ery  u s efu p r o p ert o s o me  Ma ch in Lea r n in g   Evaluation Warning : The document was created with Spire.PDF for Python.