I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 Dec em b er   202 0 ,   p p .   6 6 8 2 ~6 6 9 0   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 6 . p p 6 6 8 2 - 6 6 9 0          6682       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Funct io na m a g n etic  r eso na nce i ma g ing - ba sed bra in decodin g   w ith  v isua l se m a n tic  m o del       P iy a wa t   Sa eng pet ch,     L uepo l   P ipa n m e m e k a po rn S uw a t c ha i K a m o ls a ntir o j   De p a rtme n o f   Co m p u ter an d   I n f o rm a ti o n   S c ien c e ,   Kin g   M o n g k u t' s Un iv e rsit y   o f   Tec h n o lo g y   No rth   Ba n g k o k ,   T h a il a n d       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   7 ,   2 0 1 9   R ev i s ed   Ma y   31 ,   2020   A cc ep ted   J u n   15 ,   2 0 2 0       T h e   a c ti v it y   p a tt e rn   o f   th e   b ra in   h a b e e n   a c ti v a ted   to   id e n ti f y   a   p e rso n   i n   m in d .   Us in g   th e   f u n c ti o n   m a g n e ti c   re so n a n c e   im a g in g   (f M RI to   d e c ip h e r   b ra in   d e c o d in g   is  th e   m o st  a c c e p ted   m e th o d .   Ho we v e r,   th e   a c c u ra c y   o f M RI - b a se d   b ra in   d e c o d e is  stil re stricte d   d u e   to   li m it e d   train in g   sa m p les .   T h e   li m it a ti o n o f   th e   b ra in   d e c o d e u sin g   f M RI  a r e   p a ss e d   th ro u g h   th e   d e sig n   f e a tu re p ro p o se d   f o r   m a n y   lab e c o d in g   a n d   m o d e t ra in in g   to   p re d ict  th e se   c h a ra c teristics   f o a   p a rti c u lar  lab e l.   M o re o v e r,   w h a k in d   o se m a n ti c   fe a tu re f o d e c ip h e rin g   th e   n e u ro l o g ica a c ti v it y   p a tt e rn a re   u n c lea r.   In   c u rre n w o rk ,   a   n e w   c a lcu latio n   m o d e f o lea rn in g   d e c o d in g   lab e ls  th a is  c o n siste n w it h   f M RI  a c ti v it y   r e sp o n se s T h e   a p p ro a c h   d e m o n stra tes   th e   p ro p o se d   c o r re sp o n d in g   lab e l' su c c e ss   in   term o a c c u ra c y ,   w h ich   is  d e c o d e d   f ro m   b ra in   a c ti v it y   p a tt e rn a n d   c o m p a re d   w it h   c o n v e n ti o n a tex t - d e riv e d   f e a tu r e   tec h n iq u e .   Be sid e s,  e x p e rime n tal  stu d ies   p re se n a   train in g   m o d e b a se d   o n   m u lt i - tas k in g   to   re d u c e   th e   p ro b lem o f   li m it e d   train in g   d a ta  se ts.  T h e re fo re ,   th e   m u lt i - tas k   lea rn in g   m o d e is  m o re   e ff ici e n th a n   m o d e rn   m e th o d o f   c a lcu latio n ,   a n d   d e c o d i n g   f e a tu re m a y   b e   e a sil y   o b tain e d .   K ey w o r d s :   B r ain   d ec o d in g   Dee p   lear n in g   f MRI  ac ti v it y   p atter n s   Mu lti - ta s k   lear n in g     Vis u a l se m an t ic  m o d el   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   P iy a w at   Saen g p etch ,     Dep ar t m en t o f   C o m p u ter   an d   I n f o r m a tio n   Scie n ce ,   Kin g   Mo n g k u t 's Un i v er s i t y   o f   T ec h n o lo g y ,   No r th   B an g k o k ,   B an g k o k ,   T h ailan d .   E m ail s 5 7 0 4 0 6 2 9 1 0 0 1 7 @ k m u tn b . ac . t h       1.   I NT RO D UCT I O N   R esear ch   ab o u u n d er s ta n d in g   b r ain   f u n ctio n s   b ased   o n   th r elatio n s h i p   b et w ee n   th o u g h an d   s ti m u la tio n   o f   th b r ain .   T h p o s s ib ilit y   to   u n d er s tan d   th b r ain ' s   f u n ctio n   p atter n   is   s ti m u l ated   b y   th i n g s   s u c h   as  s o u n d ,   s m ell,   li g h t,  o r   o b j e cts.   No w   t h er ar m ed ical  a n al y s i s   to o ls   t h at  ca n   g et  d ata  f r o m   th b r ai n   s u ch   as  co m p u t ed   to m o g r ap h y   ( C T ) ,   elec tr o en ce p h alo g r ap h y   ( E E G)   an d   m a g n eto e n ce p h alo g r ap h y   ( ME G)   to   m o tio n   b r ai n   f u n ctio n s .   F u n ct io n   m a g n etic  r eso n an ce   i m ag i n g   ( f M R I )   is   tech n iq u e   th at   allo w s   t h b r ain   to   d is tin g u is h   b et w ee n   t h s tate s   o f   m i n d .   T h f MRI  i m a g es   ar g e n e r ated   f r o m   b lo o d - o x y g e n - lev el s   d ep en d e n t   ( B OL D)   s ti m u latio n   o f   b r ain   ce lls .   Mo s o f   t h r esear ch   h as  b ee n   d o n o n   b r ain   tr a n s cr ip tio n   w i th   f M R I ,   s u c h   as   b r ain - co m p u ter - i n ter f ac ( BC I ) n eu r al - co n tr o i n t er f ac ( NC I )   is   d ir ec li n e   o f   co m m u n icatio n   b e t w e e n   t h e   b r a i n   g e t s   w i r e d   o r   i m p r o v e m e n t   a n d   e x t e r n a l   d e v i c e s   [ 1 ] ,   a s   l i e   d e t e c t i o n ,   e x p o s i n g   t h e   d e l i b e r a t e   d ec ep tio n   f r o m   t h te x o f   t h s p ee ch .   Fa ls d etec t io n   b y   lie   d etec to r   i s   f r a u d   d etec tio n   b y   ev a lu at in g   th co n ten o f   m es s ag e s   o r   in clu d i n g   id en ti f ier s   [ 2 ] .   B r ain   in j u r y   o r   tr au m atic  b r ain   i n j u r y   th at  ca n   b e   m ea s u r ed   ex ter n a ll y   [ 3 ] .   T h 3 - d im e n s io n al  i m a g o b tain ed   f r o m   f M R I   co n s is ts   o f   b r ain   p o in ca lled   v o x el  ( v o lu m +   p ix el ) .   A   v o x el  s h o w s   b r ai n   ac tiv it y ,   w h ich   i n d icate   t h ar ea s   o f   th b r ai n   ar w o r k i n g .   E ac h   v o x el  s h o w s   p ar o f   th e   b r ain ,   co n tain in g   b r ain   ce ll s ,   o n m illi o n   ce l ls   in   t h e   m in d   o f   t h e   s u b j ec t.   T h b r ain   ac ti v it y   i s   ca p tu r ed   b y   id e n ti f y in g   d i f f e r en ac ti v ed   v o x el s .   I n   g e n e r al,   th f o r m at  o f   d ec o d in g   b r ain   u s in g   f MRI   e m p h a s ized   th lin ea r   r elatio n s h ip   b et w ee n   t h s tate  an d   th m i n d   th r o u g h   s ta tis tica test s .   I n   th liter atu r [ 4 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6683   p r o p o s ed   th g en er al  l in ea r   m o d el   ( GL M)   ap p r o ac h ,   h o wev er ,   th i s   e x a m in in g   ac ti v ed   v o x el s   ap p r o ac h   is   is o latio n .   Mo v eo v er   m u lt i - v o x el  p atter n s   o f   ac ti v it y   ( MV P A )   [ 5 ]   is   s tr o n g   tech n iq u a n d   w a s   p r o p o s ed   t o   d etec f M R I   v o x el s .   S u p p o r v ec to r   m ac h in e   ( SVM)   a n d   lin ea r   d is cr i m i n a n a n al y s i s   ( L D A )   a lg o r it h m   is   g en er all y   u s ed   f o r   tr ain i n g   m o d el s ,   s u b s et  o f   t h f MR I   d ata  d ec o d in g .   A lth o u g h   t h m ac h in e   lear n i n g   alg o r ith m   h as  alr ea d y   ac h iev ed   th ef f icie n c y   o f   MV P A ,   its   ac cu r ac y   is   lo w   d u to   t h lack   o f   tr ain i n g   ex a m p le s .   T h is s u es  w il b c o n f i n ed   to   th r ep r esen tatio n   o f   class e s   ap p lied   f o r   tr ain in g ,   w h ile  t y p e s   th at  d o   n o b in   tr ain i n g   ca n n o b d ec o d ed .   Fro m   th li m ita tio n s   o f   in f o r m atio n   f o r   th tr ai n ed   m o d el,   th er e f o r s ea r ch i n g   f o r   an d   s u g g esti n g   n e w   m e th o d s .   I n   d esi g n in g   f e atu r es  f o r   d ec o d in g   th b r ain   t h at  d o es  n o ex i s i n   th li m ited   s et.   P io n ee r   liter atu r e   [ 6 ]   s tates  t h at  b r ain   f u n ctio n   p atter n s   ca n   b p r ed ic ted   u s i n g   s e m an ti c   r elatio n s h ip s   l in k i n g   2 5 - v er b s   an d   n a m es.   P alatu cc e t   al.   [ 7 ]   h a v i n v esti g ated   2 1 8 - d i m e n s io n a l   r ep r esen tatio n   o f   t h s u b j ec ts   r ec eiv ed   f r o m   2 1 8   v o lu n t ee r s   w h o   w er a n s w er ed   t h q u esti o n s   r elate d   to   th ca teg o r y   o f   o b j ec ts   s u ch   as  " I s   it  c o ld ? "   o r   " I s   it  h o t? "   o r   " C a n   yo u   w a lk  o n   it? " .   So m s t u d ies  h a v e   s u g g e s ted   m ec h an is m   f o r   t h au to m atic  e x tr ac tio n   o f   m ea n in g   b y   e x a m in in g   la n g u a g k n o w led g s u ch   a s   W ik ip ed ia   [ 8 ]   an d   W o r d Net   [ 9 ] E x iti n g   r esear ch   u s ed   th o u ts ta n d in g   f ea t u r es  f r o m   t h te x to   d ec ip h er   th b r ain ,   w h ic h   is   f o u n d   to   b p er f ec m et h o d .   I n   th is   r e s ea r ch ,   w p r esen th v is u al  f ea t u r es  ass o ciate d   w it h   t h class   o f   o b j ec ts ,   w h ic h   in cr ea s e s   ac cu r ac y .   T h is   m e th o d   ch o o s es  th i m a g es  r elat ed   to   th o b j ec ts   in   th s a m e   clas s   a n d   d if f er e n c h ar ac ter is tic s ,   s u c h   as   i m a g s ize,   b r ig h tn e s s ,   o r ie n tatio n .   T h er ef o r e,   w e   co n s id er   m ed i u m   an d   h i g h - le v el   i m ag e   p r o p er ti es  i n   e n co d in g   m an y   o b j ec ts .   W m ea s u r e   th p er f o r m a n ce   o f   v is u al  f e atu r es  b y   u s in g   co lo r   h is to g r a m s   a n d   co r r elo g r a m s .   T h o n li n i m ag l ib r ar y   I m ag eNe h a s   i n cl u d ed   i m a g e s   an d   ta g g ed   i m ag e s .   W t h en   to o k   p ictu r es   to   ex tr ac t h f e atu r es  f o r   m o d el   in   p r ed ictin g   ac tiv it y   i n   t h b r ain   o f   b r ain   ac tiv it y   d ata  r ec o r d ed   f r o m   f M R I   s tu d ie s   b as ed   o n   m u l ti - tas k i n g   lear n in g ,   i n cl u d in g   i n - d ep th   lear n in g   to   cr ea te  f ea t u r es  a n d   tr an s f er   lear n i n g   o f   d ee p   lear n i n g   s u ch   a s   R esNet5 0 ,   VG G1 6 .   W u s e   1 5 0   im a g e s   f r o m   I m a g eNe t o   cr ea te  f ea t u r es.  W e   th e n   d e s ig n ed   a   m o d el  f o r   b r ain   p r ed ictio n   w it h   v i s u a s e m a n tic  f ea tu r e s   an d   f M R I   d ata  w ith   m u lti - tas k i n g   lear n in g   to   p r ed ict  6 0   co n ce p ts .   T h r esu lts   o f   t h is   r esear ch   s h o w   th m o d el ' s   e f f i cien c y   a n d   p r ed ictiv ca p ab ili t y   w h en   co m p ar ed   w it h   t h s tate - of - t h e - ar t.   T h m ai n   co n tr ib u t io n s   ar as  f o llo w s :     T o   d ec o d th b r ain   u s in g   i m a g es  f r o m   f M R I .   W ex p lo r th o u ts tan d i n g   f ea t u r es  f r o m   i m ag e s   r elate d   to   th o b j ec ts   o r   im ag e s   to   i m p r o v th ac c u r ac y   a n d   co m p ar ed   w it h   t h p r ev io u s   r e s ea r ch .     T o   p r esen th e   m o d els   th a ar u s ed   to   d ec ip h er   ac t iv i ties   i n   t h b r ain   b y   u s i n g   m u lt ip le  task   r eg r es s io n   m o d el s   an d   d e m o n s tr ati n g   th s u itab il it y   o f   p r ed ictin g   p r o p er ties   o f   o b j ec ts   w it h o u t t h tr ai n in g   s e t.   T h r em ain d e r   o f   th is   d o cu m en h as  th e   f o l lo w in g   s tr u ctu r e .   T h s e c o n d   s ec ti o n   r ev iew s   th p r o b lem   o f   b r ain   t r an s c r i p ti o n ,   al o n g   w ith   th m o d el  o f   b r ain   t r an s cr i p t io n .   T h th i r d   s ec t io n   p r es en ts   th im ag e   f ea tu r es.  T h p r o p o s ed   m o d e is   d es c r i b e d   in   Sec ti o n   4 .   Secti o n   5   p r es en t   th ex p e r i m en tal   s etu p ,   an d   th r esu lts   a ch iev e d   an d   d is cu s s io n   in   Se cti o n   6 .   T h e   s u m m ar y   an d   c o n clu s i o n   o f   th e   p r es en tati o n   in   s e cti o n   7 .       2.   B RAIN  T RA NSCR I P T I O N   2 . 1 .     Understa nd ing   bra in de co din g   I n   th i s   p ath ,   w d escr ib th b r ain   d ec o d in g   p r o b lem   b y   a p p l y i n g   3 i m a g es  o b tai n ed   f r o m   th f M R I   d ataset.   T h i m ag e   f o r   f MRI  d ata            ×   m atr i x   its   ( i,  j )   th   elem e n t ,   co m p r is in g          d i m en s io n al  o f   f M R I   d ata  in   ea ch     r o w .   T h f u n ctio n   ca teg o r y     to   p r ed ict  a   lab el.   I n   g e n er al,   th class if ic a tio n   m o d el  ca n   b ex p r ess ed   as  (  ) = + ,   w h er   is   th ca lcu late d   er r o r .       T h en       is   w ei g h d ir ec tio n T h d if f ic u lt y   is   to   f i n d     to   d ec r ea s = (  )   an d   th en   i s   f o r m u late  t h w a y   o u t o   th o p ti m izat io n   i n tr icac y   ca n   b d ef in ed   as :     =   1 2  2 2 +  ( )   ( 1 )     w h er ( )   s y m b o lizes  t h p ar ex p er ien ce   o f   th c h alle n g a n d   r eg u lar izes  t h m o d el I n   th e   t y p ical  ca s e,   g iv e n   ,   w h er   p o s s ib le  o b j e cts  ar e x clu d ed   f r o m   t h tr a in i n g   s et,   co n s tr ai n i n g   th e   o u tp u ts   f o r   d ec r y p ti n g B ec au s it   is   h ar d   to   g et  a n   f MRI  i m a g f o r   ev er y   p o s s ib le  o b j ec t,  p ast   r esear ch   ca n   o n l y   d ec ip h er   th i n f o r m atio n   tau g h t.  T h er ef o r e,   th i s   s o l u tio n   s o lv e s   t h a b o v p r o b lem s   f o r   d ata  th at   h as  n e v er   b ee n   s ee n   b ef o r an d   s u p p o r ts   d ata  ex p an s io n .     2 . 2 .     Repre s ent a t io m o dels   o f   bra in deco din g   B r ain   d ec o d in g   is   p r esen ted   u tili zin g   s em an tic  f ea tu r es  to   o b tain   th lab el  s et   f o r   n ew   in p u d ata.   R eg u lar   d ata  s ets  o b tain ed   f r o m   ex p er ien ce ,   m ea n in g   f o r   d esc r ib in g   th m o s lik ely   co n ce p ts   Fig u r 1 .   B r ain   Dec o d in g   Mo d el.   I is   co m p o s ed   o f   3   lev els 1 Vo x els  ac tiv atio n   v ec to r   = { 1 , 2 , , }   is   r ep r esen ted   in   th in p u lay er   is   o b tain ed   f MRI  p r o ce s s in g ;   2 Sem an tic  f ea tu r v ec to r   is   r ep r esen ted   in   in ter m ed iate  lay er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 8 2   -   6 6 9 0   6684   f o r   d escr ib in g   o b j ec ts   = { 1 , 2 , , } ;   an d   3 P o s s ib le  o b j ec ts   = { 1 , 2 , , }   is   r ep r esen ted   in   th d ec o d in g   lay er .   T h co r r elatio n   b etw ee n     an d     is   lear n ed   b y   u s in g   an   f MRI  s u b s et  f o r   p r ed ictin g   th f ea tu r v alu es,  w h er ea s   th f o r ec ast f ea tu r es  ar u s ed   f o r   d ec o d in g   th co r r elate d   o b j ec t   [ 1 0 ] .             Fig u r 1 B r ain   d ec o d in g   m o d el       3.   I M AG E   F E A T UR E S   C r ea tu r es  ten d   to   th in k   o u t,  " I s   it  co ld ? "   o r   " I s   it  h o t? " ,   o r   " C a n   yo u   w a lk  o n   it? " .     an d   " Ho w   d o   yo u   feel  w h en   viewin g   th ima g e? " .   I is   th u s   th ca p ab ilit y   to   id en tif y   th p o s s ib le  item s   b ased   o n   s tan d ar d   v is u al  f ea tu r es.  I n   th is   p ar t,  w w an to   co n s tr u ct  s em an tic  f ea tu r es  f r o m   im ag es  to   d escr ib ac tiv ities   th at  o cc u r   in   th b r ain ,   b y   f in d in g   v ar io u s   m eth o d s   in   d escr ib in g   th im ag es  r elate d   to   th co n ce p t.  I w as  th en   cr ea tin g   m o d el  o f   m ed icin e,   th ty p o f   ac tiv ity   in   th b r ain .     3 . 1 .     H ier a rc hica v is ua l f ea t ures   I m p le m e n ti n g   h ier ar ch ical  lea r n in g   in   w h ic h   th i s   m et h o d   h as  co n v o l u tio n   n e u r al  n et w o r k s   ( C NNs),   w h ic h   ar co m m o n l y   u s ed   to   class i f y   o b j ec ts   [ 1 1 ] .   C NN  h a s   s p atial   s tr u ctu r co n s i s ti n g   o f   la y e r s   o f   s ec r et   u n i ts   [ 1 2 ] ,   in clu d i n g   co n v o l u tio n ,   p o o lin g ,   an d   f u ll y   co n n ec ted   la y er s .   I n   t h co n v o l u ti o n   la y er ,   it  ac ts   a s   ch ar ac ter is tic  s ep ar ato r   f r o m   t h g i v e n   in p u i m ag e.   p o o lin g   la y er   p r o ce s s   p r o d u ce s   d o w n - s a m p l in g   f o r w ar d   w it h   t h s p atial  ar e a.   F in all y ,   t h f u ll y   co n n ec t ed   la y er   o p er ate s   as  clas s if ier   t h at  p r ed icts   th p r o d u ct  o f   t h in p u p ict u r e.   T h co m b i n atio n   o f   t h e s la y er s   e n ab les  u s   to   d is c o v er   h ier ar ch ical   in ter p r etatio n   o f   t h in p u t p ict u r e.   I n   th i s   ac t,   w o b j ec tiv a t th e   ap p r o p r ia te  C NN  to   i n cr e ase  t h ac c u r ac y   o f   th b r ain   tr an s cr ip tio n   m o d el   b y   e m p lo y i n g   f ea t u r es  f r o m   th f u ll y   co n n ec ted   la y er .   Fo r   th is   r ea s o n ,   t h r ee   ad v an ce d   le v els   o f   C NN s   ar u s ed : V GG1 6 ,   R esNe t5 0 ,   an d   Xce p tio n ,   to   lear n   th e   v ec to r   p r o p er ties   o f   f ig u r es   co n ce p t s   co n n ec ted   w i th   ea c h   n o tio n .     VGG1 6   [ 1 3 ]      T h im p o r tan VGG1 6   s tr u ctu r is   th p o p u lar   C NN  m o d el.   T h n etw o r k   also   p r esen ts   th h ig h est  5   test   ac cu r ac y   in   I m ag eNe w ith   9 2 . 7 f o r   im ag class if icatio n .   T h is   m o d el  is   s h o w n   u tili zin g   lay er s .   C o n v o lu tio n al  la y er s   3 x 3   ar p ac k ed   o n   to p   o f   ea ch   lay er ,   an d   th o th er   tw o   lay er s   ar co n n ec ted   b y   ea ch   n o d e,   w ith   4 , 0 9 6   co n n ec tio n s   s h o w n   in   Fig u r 2 .   VGG1 6   co n s tr u ctio n .           Fig u r 2 VGG1 6   co n s tr u ctio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6685     R esNet5 0   [ 1 4 ]   R esNet  w o n   th f ir s p r i ze   o f   I L SVR C 2 0 0 5   f o r   its   im ag class if icatio n ,   s h o w n   in   Fig u r 3 .   Sk ip   co n n ec tio n   in   R esNet5 0 .   T h R esNet5 0   s tr u ctu r co n s is ts   o f   5 0   d ee p   co n v er s io n   lay er s .   I n   th is   n etw o r k ,   th er ar to tal  o f   1 6   r em ain in g   b lo ck s ,   ea ch   w ith   b lo ck s .   T h er ar th r ee - lay er   f ee d   lay er s   r ea d y .           Fig u r 3 Sk ip   co n n ec tio n   i n   R esNet5 0         Xce p tio n   [ 1 5 ]   Xce p tio n   b y   Go o g le  s tan d s   f o r   th Ultim ate  v er s io n   o f   I n ce p tio n W ith   m itig ated   d ep th w is d etac h ab le  co n v o lu tio n ,   it  is   ev en   b etter   th an   I n ce p tio n - v 3   [ 1 6 ]   ( also   b y   Go o g le,   1 s t Ru n n er   Up   in   I L SVR C   2 0 1 5 f o r   b o th   I m ag eNe I L SVR C   an d   J FT   d atasets T h Xce p tio n   co n s tr u ctio n   h as  3 6   co n v o lu tio n al  lay er s   b u ild in g   th f ea tu r ex tr ac ti o n   b ase  o f   th n etw o r k   an d   f u lly - co n n ec ted   lay er s   b ef o r th lo g is tic  r eg r ess io n   lay er T h 3 6   co n v o lu tio n al  lay er s   ar d ef in ed   in to   1 4   s ec tio n s ,   all  o f   w h ich   h av d ir ec r esid u al  lin k s   ar o u n d   th em ,   ex ce p f o r   th f ir s an d   last   u n its Fig u r 4   d em o n s tr ate th Xce p tio n   co n s tr u ctio n .           Fig u r 4 Xce p tio n   ar ch itect u r e       T o   r ec o v er   th ch ar ac ter is tic,   th p ictu r w u s VGG1 6 ,   R esNet5 0 ,   an d   Xce p tio n   ca n d id ly   w ith   im p o r tan ce   tr ain ed   o n   d ata  s ets  lar g er   as,  i.e . ,   I m ag eNe h as  co m b in ed   f r esh   lev el  b ef o r p r o d u ctio n   o r   lay er s   s o f tm ax   lay er .   A ctio n s   as  s ep ar ate  f ea tu r f r o m   th in p u p ictu r e.   T h n eu r al  n etw o r k   w as  r etr ain ed ,   ad o p tin g   f r esh   s et  o f   p ictu r es  w h ile  th ea r lier   p ar t w as  f r o ze n .       F ( x )+ x + r e l u r e l u F ( x )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 8 2   -   6 6 9 0   6686   3 . 2 .     L o w - lev el  v is ua l descrip t o rs   I n   cr ea ti n g   an   i m a g r ep r ese n t atio n ,   t h er ar m a n y   p r ev a len m et h o d s .   W w er u s i n g   lo w - le v el   d escr ip to r s   to   ca p tu r g en er al  r ec o g n itio n   f ea t u r es  ( s u c h   as  co lo r ,   s u r f ac e,   s tr u ctu r e,   ed g e) .   T h ese  b asic  f ea t u r es  ca n   b d r a w n   i m m e d iatel y   f r o m   t h i m a g a n d   e asil y .   I n   t h i s   a n al y s is ,   w w o r k ed   o n   t h v is u al   p r o p er ties   th at  ar e:     3 . 2 . 1 .   Si m ple c o lo his t o g ra m   ( CH [ 1 7 ]   L o w - lev el  f ea tu r u tili zin g   co lo r   h is to g r am .   Set  to   th d is tr ib u tio n   th n u m b er   o f   p ix els  in   th im ag f o r   ea ch   co n tain er W w ill  u s th ef f ec ts   o f   th co lo r   h is to g r am   to   h av 6 4   b o x es  in   lin w ith   th p ar o f   th co lo r   s atu r atio n   s p ec tr u m .   W e   cr ea te  v is u al  s em an tic  m o d el   w ith   th u s o f   th d ef au lt  R GB   co lo r   v alu es   an d   s et  th n u m b er   o f   ea ch   co m p o n en o f   th R GB   co lo r   in to   f o u r ,   w h ich   is   th ea s iest   m eth o d .   ( 4 x 4 x 4 ).     3 . 2 . 2 .   E dg his t o g ra m   ( EH [ 1 8 ]   E d g h is to g r am   -   is   co d in g   o f   th s p atial  d is tr ib u tio n   o f   th d ir ec tio n   ed g e.   Sp ec if ically ,   th im ag es  ar d iv id ed   in to   72   b o x es ,   ea ch   o f   w h ich   h as  s ev er al  co r n er s   w ith   d ir ec tio n   th at  is   m ea s u r ed   in   5 - d eg r ee   in ter v als.  I n   t h is   ar ticle,   u s C an n y   f ilter s   f o r   ed g d etec tio n   an d   So b el  E d g Dete cto r   o p er ato r s   to   Me asu r th co u r s b y   th g r ad ien o f   ev er y   ed g p o in t.  T h s em an tic  f ea tu r h as  72  d im en s io n s .     3 . 2 . 3 .   Co lo co r re lo g ra m   ( CO RR [ 1 9 ]   C o r r elo g r am   co lo r   to   en co d s p atial   r elatio n s h ip s   o f   co lo r s .   On o f   th tw o - d im en s io n al  an d   th r ee - d im en s io n al  h is to g r am   is   th co lo r   o f   an y   p ix el  an d   th r ee - d im en s io n al  s p atial  d is tan ce s .   T h co lo r   co r r elo g r am   is   d ef in ed   as :     , ( ) =  1 ( ) , 2 [ 2 ( ) | 1 2 | = ]   ( 2 )     w h er e   | 1 2 |   is   th m ea s u r b etw ee n   1   an d   2   is   th d is tan ce   in ter v als   n u m b er ,   , { 1 , 2 , , } ,   is   th n u m b er   o f   b o x es  an d   { 1 , 2 , , } , W d is tr ib u te   th R GB   v alu elem en in to   3 6   b o x es   an d   s et  o f f   th s p ac m etr ic  to   4   o d d   in ter v als  o f   = { 1 , 3 , 5 , 7 } T h u s ,   th co lo r   co r r elo g r am   h as  d im en s io n   o f   1 4 4   ( 3 6 x 4 ).     3 . 2 . 4 .   Sca le  inv a ria nce  f ea t ure  t ra ns f o r m   ( SI F T [ 2 0 ]   SIFT   is   th m o s u s ef u o b j ec id en tif icatio n   alg o r ith m   in   co m p u ter   v is io n   ( C V)   an d   h as  b ee n   u s ed   ex ten s iv ely .   Fo r   an y   o b j ec in   th p ictu r e,   th SIFT   k ey   p o in ts   o n   p u r p o s ca n   b s ep ar ated   in to   s m aller   p ar ts   to   g iv s p ec if ic  d escr ip to r   th at  d ef in es  th s m all  im ag ar ea   ar o u n d   th m ar k   o n   th at  o b j ec t   [ 2 1 ] .   B ec au s o f   th SIFT   m eth o d   r esu lts   in   th ch ar ac ter is tic  d escr ip to r .   T h lar g s ize  cr ea ted   in   th p ictu r e,   w u s e   th th em o f   th b ag   o f   f ea tu r es.  Fo r   ea ch   p ictu r e,   f ir s w an aly ze   th SIFT   d escr ip to r   ab o v th lo ca ar ea   b ased   o n   th k ey   p o in ts .   W th en   ca lcu lated   th v ec to r ' s   q u an tity   o n   th SIFT   d is tr ict  d escr ip to r   to   cr ea te  an   im ag v o ca b u lar y   u s in g   k - m ea n   g r o u p in g .   I n   th is   an aly s is ,   w cr ea ted   5 0 0   g r o u p s ,   f o llo w in g   in   th s ize  o f   th v is u al  f ea tu r es  b ein g   5 0 0 ,   f o r   r ep r esen tin g   th im ag e.     3 . 2 . 5 .   Wa v elet   T ra ns f o r m   ( WT )   [ 2 2 ]   I m ag r ep r esen tatio n   R em ed ies  s u r f ac an aly s is   o f   th im ag e .   I n   th s u r f ac an aly s is   p lan ,   th w av elet  tr an s f o r m   ca n   b u s ed   to   d etec th s u r f ac o f   th im ag ef f ec tiv ely .   W av elet  tr an s f o r m s   d o n o n   p ictu r es   th at  s u g g est  r ep ea ted   f ilter in g   an d   s u b - s am p lin g .   A ea ch   lev el,   p ictu r es  ar d iv id ed   in to   4   s u b - b an d s L L ,   L H,   HL ,   an d   HH,   w h er L   s tan d s   f o r   lo w   f r eq u en cies,  an d   m ea n s   h ig h   f r eq u en cies.  A f ter   th at,   th 2   ty p es  o f   w av elet  tr an s f o r m s   ar th w a v elet  tr an s f o r m   w ith   th p y r am id   s tr u ctu r ( P W T )   an d   th w av elet  tr an s f o r m   w ith   th tr ee   s tr u ctu r ( T W T ) .   P W T   b r ea k s   th L L   b an d   r ep ea ted ly ,   an d   T W T   b r ea k s   th b an d .   Oth er   m u s ic  to   p r eser v r elev an in f o r m atio n   th at  ap p ea r s   o n   th m ed iu m   f r eq u en cy   ch an n el.   A f ter   p ass in g   th class if icatio n   in to   p ar ts ,   th v ec to r   is   ex tr ac ted   u s in g   th m ea n   an d   d is p er s io n   o f   ea ch   s u b - d is tr ict  s et  o f   th s tr en g th   d is tr ib u tio n   at  ea ch   lev el.   I n   th is   s tu d y ,   w u s ed   th r ee   lev els  o f   b r ea k d o w n s   to   cr ea te  v ec to r   p r o p er ties   o f   ea ch   o b j ec im ag e.   W h en   p er f o r m in g   P W T ,   th ey   r ec eiv th ch ar ac ter is tics   o f   2 4   ( 3 x 4 x 2 )   v ec to r .   A th s am tim e,   th T W T   an s w er   in   v is u al  s em an tic   f ea tu r s ize  1 0 4   ( 5 2 x 2 ) .   T h er ef o r e,   th to tal  w av elen g th   is   1 2 8 .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6687   4.   M UL T I T A SK   VIS U AL   SPA CE   L E ARN I N G   W in tr o d u ce m u lti - task   lass o   lear n in g   ( MT L )   [ 2 3 ,   2 4 ]   in   w h ich   m an y   lear n in g   task s   ar im p r o v ed   at  th s am tim e.   T h is   m eth o d   p r o d u ce s   ac cu r ate  p r ed ictio n s   an d   is   h ig h ly   ef f ec tiv e.   I n   class if icatio n ,   MT L   aim s   to   in cr ea s th ef f icien cy   o f   m u ltip le  class if icatio n   task s   b y   co - ope r atin g   lear n in g .   On ex am p le  is   th s p am   f ilter ,   w h ich   ca n   b class if ied   as  co m p lex   class if icatio n   m is s io n T h r ea s o n   f o r   th is   is   th at  lear n in g   th n ativ f MRI  r ep r esen tatio n   m ay   n o h av en o u g h   im p ac o n   m ar k in g   m u ltip le  class es  d u to   th t r ain in g   r ep r esen tatio n   th at  L im ited   an d   ch allen g in g   to   f in d   d ata  s ets.   T h aim   is   to   lear n   th s tan d ar d   f MRI  d escr ip tio n s   r elate d   to   p r o p er ties   th at  ar s ep ar ated   f r o m   m an y   class es.  T h r ea s o n   f o r   th is   is   th at  lear n in g   th o r ig in al  f MRI  r ep r esen tatio n   m ay   n o b s u f f icien f o r   m an y   s tates'   ch ar ac ter izatio n   d u to   th s m all  an d   lim ited   tr ain in g   ex am p les.   A   s ig n if ican im p ac o n   lear n in g   is   th f in d in g   o f   r ep r esen tativ es  o f   lin ea r   an d   n o n lin ea r   tr an s f o r m atio n s   o f   f MRI  im ag d ata,   as  illu s tr ated   b y   m ath em atica eq u atio n s .   C o n s id er   = { } = 1 is   s et  o f     s ep ar ate  task s   w h er task     d ir ec ts   o n   lear n in g   m o d el  f o r   esti m ate  th th   v alu e T r ain in g   d ataset  is   = { , } = 1 ,   w h er   is   th th   t r ain in g   f MRI  im ag m ad o f     v o x els  in     an d     is   its   th   f ea tu r v alu e T h tr ain in g   f MRI  d ata  m atr ix   is     f o r   ,   i . e . = ( 1 , , ) Fo r   th t a s k   ,   w e   l e a r n   ^ = + = 1   w h e r e   ^ , ,   M o r e o v e r ,     i s   t h e   n u m b e r   o f   v o x e l s W e   p r e s u m e   th at   th d ata  is   r eg u lated   s o   th co n s tan ter m s   ca n   b d r o p p ed ,   i . e   an d   ^   h av av er ag 0   an d   2 = 1   w h er . 2   i s   th L 2   E u clid ea n   n o r m L et  = ( 1 , , )     b th v ec to r   o f   all  co ef f icien ts   f o r   th th   v o x el  ac r o s s   v ar io u s   task s T o   ac h iev co m p ac an d   d is cr im in ativ r ep r esen tatio n ,   th m u lti - task   L ass o   is   f o r m u lated   as  th an s w er   to   th o p tim i za tio n   p r o b lem     { 1 2 = 1 2 2 + = 1 = 1 }     ( 3 )     W h er =  | |   is   th s u p - n o r m   in   th E u clid ea n   s p ac e I ad d itio n all y   h as   th i m p r es s io n   o f   " g r o u p in g th p ar ts   in     s u ch   th at  t h e y   ca n   o b tain   ze r o s   co n cu r r en tl y Af ter   teac h in g   m o d el s ,   w s till   h a v to   b u ild   d ec is io n   r u le  to   ch o o s th e   m o s i m p o r ta n clas s   to   b r elate d   to   g iv e n   f MRI  i m ag e Fo r   a   g iv en   f M R I   i m ag e   p r ed icted   f ea tu r v alu e s   ar o b tain ed   b y   u s i n g     co ef f icie n t s L ast l y ,   P ea r s o n 's  co r r elatio n   co ef f icie n [ 2 5 ]   ar u s ed   to   m ea s u r t h as s o ciatio n   b et wee n   a n d   tar g et     class   C .     ( , ) = ( ( ) ´ ) ( ´ ) = 1 ( ´ ) 2 = 1 × ( ´ ) 2 = 1       ( 4 )     w h er m ap p i n g   f u n c tio n   i s     ( )   th at  r ec o n s tr u ct s   to   t h th   f ea t u r v al u e T h r esu lt   w it h   th h ig h es co r r elatio n   f MRI   co n ce p t       5.   E XP E R I M E NT   S E T UP   5 . 1 .     Da t a s et s   I n   th i s   r esear c h ,   we   u s f MRI  3 d ata  f r o m   C ar n e g i Me ll o n   U n i v er s it y ,   co llect ed   f r o m   9   r ig h t - h an d ed   ad u lt  v o l u n teer s ,   co n s is t in g   o f   f M R I   d ata  th at   allo w s   v o l u n teer s   to   v ie w   6 0   lin d r a w in g s   a n d   n o u n s ,   s i x   ti m es   ea c h .   I m a g es  ( 6 X6 0   3 6 0 )   1   f MRI  i m ag e   w ill   b co n v er ted   to   a   v o x e v ec to r   w it h   ap p r o x im a tel y   2 0 0 0 0   v o x els.  T h en   d ec r ea s th s ize  o f   th v ec to r   to   5 0 0   v o x els  u s i n g   t h s ea r ch l ig h t   m et h o d   [ 2 4 ] .   I n   th tech n iq u [ 6 ]   an d   [ 7 ] ,   f MRI  d ata  ar d ec r ea s ed   to   5 0 0 - f ea t u r es.     5 . 2 .   T ex t - ba s ed  f ea t ures   T h p r o p o s ed   m o d el  p er f o r m i n g   i s   co m p ar ed   w it h   t h tex t - b ased   s e m an tic  f ea t u r es  s tate - of - t h e - ar t   m o d el s ,   as  d escr ib ed   f o llo w s :     Ver b 2 5   [ 6 ]   p r o v id es   th n o tio n   i n   th e   f o r m   o f   t h n o u n   an d   d escr ib in g   t h co - o cc u r r en ce   v ec to r   b et w ee n   n o u n s   a n d   v er b s   o f   2 5   n a m e s   s u c h   as  " r u n " ,   " p u s h " ,   " ea t "   an d   m a n y   o th er s T h ese  co m m o n   v er b s   ar o f ten   d ef i n ite  n o u n s   i n   E n g l is h   s e n te n ce s   an d   d esi g n ed   b y   t h s tr u ct u r alis t s I n   an   i n v e s ti g atio n ,   Ver b - 25  is   p r ac tical  ef f ec t o f   th is   d ata s et     Hu m an 2 1 8   [ 7 ]   h o ld s   th n o tio n   in   th f o r m   o f   2 1 8   attr ib u tes T h p atter n   v ec to r   is   o b tain ed   by   2 1 8   q u esti o n s ,   s u c h   as   " I s   it  co l d ? ",   " I s   it  h o t ? " ,   " C a n   yo u   w a lk  o n   it? "   e tc T h lin g u is ts   cr ea ted   th ese   q u esti o n s   a n d   co llected   t h a n s w er s   f r o m   clo u d   s o u r cin g   a n d   co m p u ted   t h a v er ag e   an s wer s   co r r elate d   to   ea ch   n o tio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 8 2   -   6 6 9 0   6688   5 . 3 .     I m a g e - ba s ed  f ea t ures   I n   th i s   r esear ch ,   w h a v s ele cted   v is u a p r o p er ties   f r o m   p i ctu r es   f o r   th d esi g n   o f   ex p er i m e n ts   b y   u s i n g   p r o p er ties   f r o m   i m a g es  f r o m   lo w er   to   u p p er   lev els.  C o lo r   h is to g r a m   ( C H) ,   co lo r   co r r elo g r a m   ( C OR R ) ,   ed g h i s to g r a m   ( E H) ,   W av elet  T r an s f o r m   ( W T ) ,   B o W   SIFT   ar o n   NUS - W I DE   [ 2 6 ]   d atab ase  r esear ch .   T h NUS - W I DE   d ataset  h o l d s   2 6 9 , 6 4 8   p ictu r es   co m p i le d   f r o m   th e   Fl ick r   o n li n p h o to g r ap h   d atab ase  to   ad ap to   th f MRI  i m a g co n ce p an d   Use  th f o llo w i n g   ch ar ac ter is tic s   f r o m   t h C N Ns ,   n a m el y   VGG1 6 ,   R esNet5 0 ,   a n d   Xce p tio n ,   a n d   u s e   t h p r o p er ties   f r o m   all   t h i m a g es  to   cr ea te  f ea t u r e   v ec to r   to   d escr ib e   th co n ce p t.       6.   RE SU L T S   AND  D I SCU SS I O N   T h is   s ec tio n   is   test   to   co m p a r th ef f icie n c y   o f   u s i n g   th p r o p er ties   o b tain ed   f r o m   te x u s i n g   n i n f MRI  i m a g es   o f   ea c h   v o lu n te er ,   3 6 0   im a g es  f r o m   6 0   i m ag es  d iv id ed   b y   co n ce p t,  f o r   u s in   teac h i n g   3 0 0   i m a g es  a n d   6 0   i m ag e s   f o r   tes tin g   to   f i n d   t h ef f ec ti v e n es s   o f   m o d els  a n d   f ea t u r es  e x tr ac ted   w it h   d i f f er e n m et h o d s .   T a b le  1   s h o w s   p r e d ictab ilit y   o f   t h co n ce p s ee n   i n   t h L R   m o d el  a cc u r ac y   ( %)  f r o m   9   f MRI  v o lu n teer s   an d   th p r o p o s ed   alg o r ith m s   ( i . e . ,   W T ,   E DH,   R esNet5 0 ,   an d   Xce p tio n ) .   I ca n   b o b s er v ed   th at   th p r o p o s ed   v is u al  f ea tu r s ig n if ican t l y   e n h a n ce s   t h p er f o r m a n ce   o f   b r ain   d ec o d in g .   Mo r eo v er ,   th b est   p er f o r m a n ce   m o d els  ar o b ta in ed   b y   u s i n g   ex tr ac ted   f ea t u r es  b ased   o n   VGG1 6 ,   R esNet5 0 ,   an d   Xce p tio n .   T h m u lti - ta s k   lear n in g   ( MT L m et h o d   is   also   co m p ar ed   w i th   lin ea r   r eg r es s io n   ( LR m e th o d A s   s h o w n   in     T ab le  1   an d   T ab le  2   all  th MT L   m o d els  s ig n i f ica n tl y   o u t p er f o r m ed   t h L R   m o d el s T h u s ,   t h g i v en   r e s u l t s   e m p h a s ize  th h i g h l ig h o f   t h e   MT L   ap p r o ac h   f o r   i m p r o v in g   th g e n er aliza tio n   p er f o r m an ce T h leav e - t w o - o u t c r o s s - v alid atio n   tech n iq u e   [ 6 ,   7 ]   h av b ee n   e m p lo y ed   f o r   ev alu ati n g   th e f f ec ti v e n ess   o f   th v is u al  f ea t u r f o r   d ec o d in g   n o v el  co n ce p ts   ( u n s ee n ) .         T ab le  1 P r ed ictab ilit y   o f   t h c o n ce p t seen   i n   th L R   m o d el  A cc u r ac y   ( %)  f r o m   9   f M R I   v o lu n teer s   M o d e l   v o l u n t e e r   A v g .   # F e a t u r e   1   2   3   4   5   6   7   8   9   V e r b s 2 5   68 . 99   62 . 45   64 . 85   63 . 41   54 . 74   58 . 57   55 . 26   55 . 05   59 . 98   60 . 37   25   H u ma n   2 1 8   62 . 14   58 . 43   54 . 90   58 . 45   56 . 30   53 . 30   56 . 52   48 . 59   49 . 53   55 . 35   2 1 8   CH   59 . 92   60 . 03   59 . 26   56 . 51   50 . 08   50 . 46   54 . 65   51 . 06   51 . 11   54 . 79   64   C O R R   61 . 47   59 . 40   53 . 19   54 . 92   49 . 76   50 . 07   54 . 58   58 . 53   54 . 85   55 . 20   1 4 4   WT   61 . 23   57 . 38   55 . 77   54 . 78   50 . 41   52 . 46   51 . 61   53 . 05   56 . 58   54 . 81   1 2 8   ED H   60 . 27   55 . 53   56 . 33   55 . 64   53 . 40   51 . 25   51 . 95   53 . 29   51 . 05   54 . 30   73   B o W   ( S I F T )   70 . 52   63 . 03   61 . 58   61 . 55   49 . 10   53 . 82   54 . 61   52 . 61   55 . 81   60 . 07   5 0 0   V G G   1 6   65 . 21   60 . 79   59 . 29   62 . 31   54 . 60   56 . 51   53 . 80   54 . 13   51 . 91   57 . 62   4 , 0 9 6   R e sN e t   5 0   77 . 15   69 . 27   67 . 92   71 . 09   60 . 60   62 . 80   63 . 45   54 . 29   59 . 63   65 . 13   2 , 0 4 8   X c e p t i o n   56 . 76   62 . 67   55 . 39   56 . 12   53 . 22   54 . 49   53 . 50   52 . 28   54 . 56   55 . 33   2 , 0 4 8       W test ed   th m o d el  o n   all  th f M R I   i m a g es  o f   5 8   co n ce p ts   f o r   th tr ain i n g   s e t,  an d   th en   f MRI   i m a g es  o f   2   co n ce p ts   f o r   th test in g   s et T h c o m p ar is o n   r es u lts   o f   all  th p r ed ictin g   2   u n s ee n   co n ce p ts   m o d el   h av e   b ee n   il lu s tr ated   in   T ab le   2 .   As  r ec o r d ed   in   T ab le  2 ,   B o th   VGG1 6   a n d   R es Net5 0   s i g n i f ica n tl y   b etter ed   Ver b 2 5   an d   Hu m a n 2 1 8 ,   w h e r ea s   th R es Net5 0   u s ed   1 0 6   v o x el s   o f   th e   w h o le   b r ain   s h o w ed   th h i g h es t   co r r ec tn ess .   Fi g u r 5   d e m o n s tr ates  t h at  t h MT L   m o d el  e x ce ed s   t h L R   m o d el  f o r   d e co d in g   V1   a n d   V2   o v er all  th s e m a n tic  f ea tu r e s .   As  r esu lt,  t h h i g h - lev e v i s u al  f ea tu r is   b etter   f o r   id en ti f y in g   b r ain   ac ti v it y   p atter n s   in   ter m s   o f   ac cu r ac y .       T ab le  2 P r ed ictab ilit y   o f   t h c o n ce p t seen   i n   th MT L   m o d e l A cc u r ac y   ( %)  f r o m   9   f M R I   v o lu n teer s   M o d e l   v o l u n t e e r s   A v g .   # F e a t u r e   S e l e c t e d   V o x e l s   1   2   3   4   5   6   7   8   9   V e r b s   25   70 . 16   67 . 08   67 . 68   66 . 35   59 . 03   56 . 56   58 . 23   56 . 65   57 . 14   62 . 10   25   3 2 8   H u ma n   2 1 8   61 . 38   60 . 82   57 . 94   59 . 94   57 . 59   55 . 22   58 . 13   49 . 66   49 . 46   56 . 68   2 1 8   4 4 4   CH   64 . 79   63 . 47   60 . 87   58 . 45   53 . 11   52 . 25   58 . 95   50 . 78   51 . 01   57 . 08   64   1 4 7   C O R R   63 . 38   63 . 12   58 . 64   58 . 73   51 . 99   52 . 07   58 . 50   55 . 35   57 . 34   57 . 68   1 4 4   2 3 3   WT   59 . 36   61 . 79   59 . 02   61 . 23   52 . 32   53 . 85   57 . 61   53 . 85   53 . 42   56 . 94   1 2 8   1 2 7   ED H   67 . 04   57 . 25   58 . 47   59 . 55   54 . 68   51 . 32   54 . 89   54 . 16   53 . 05   56 . 71   73   1 3 4   B o W ( S I F T )   79 . 50   71 . 20   70 . 78   69 . 41   53 . 87   57 . 59   59 . 47   55 . 85   55 . 59   63 . 70   5 0 0   2 4 1   VGG   16   79 . 57   70 . 04   70 . 71   71 . 86   61 . 58   65 . 47   64 . 59   54 . 13   58 . 20   66 . 24   4 , 0 9 6   4 8 5   R e sN e t   50   79 . 18   72 . 36   71 . 12   73 . 37   62 . 52   64 . 73   63 . 90   55 . 30   58 . 43   66 . 77   2 , 0 4 8   4 8 2   X c e p t i o n   82 . 72   87 . 67   79 . 29   86 . 36   77 . 27   87 . 01   78 . 78   82 . 32   78 . 57   82 . 22   2 , 0 4 8   4 3 5     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6689     ( a)         ( b )     Fig u r 5 .   P er f o r m a n ce   co m p ar is o n   o f   M T L   m o d e a n d   L m o d e o n   V1   a n d   V 2       7.   CO NCLU SI O N   I n   th i s   p ap er ,   w h av e   p r o p o s ed   an   e x o tic  f M R I   b r ain   tr a n s cr ip tio n   m o d el  u s i n g   i m a g e - to - i m a g e   f ea t u r es.  T h v is u al  c h ar ac ter is tics   o f   m a n y   ap p lican t s   ar ex a m in ed   f r o m   lo w   to   h i g h - lev el  f ea tu r e s   th a t   f o cu s   o n   th f M R I   d ec o d in g   m o d el  p r ec is el y .   A l s o ,   th s tu d y   p r esen ted   is   co m p ac an d   d is cr i m i n ati n g   p atter n   lear n in g - th e   r elatio n s h i p   b et w ee n   t h v o x e ac ti v at io n   m o d el   an d   t h e   i m a g p r o p er ties   to   d ec ip h er   th co n ce p t.  T h r es u lt s   s h o th o p er atio n al  s u cc e s s   o f   o u r   m o d el  a n d   t h ad v a n ta g o v er   s tate - of - t h e - ar b r ain   d ec o d in g   w it h   f M R I .       RE F E R E NC E S   [1 ]   R.   S it a ra m ,   e a l. ,   f M RI  b ra in - c o m p u ter i n terf a c e s,”   IEE S ig n a Pro c e ss .   M a g . ,   v o l .   2 5 ,   n o .   1 ,   p p .   9 5 - 1 0 6 ,   2 0 0 8 .   [2 ]   Y. - F .   L a i,   M . - Y.  C h e n ,   a n d   H. - S .   Ch ian g ,   Co n stru c ti n g   th e   l ie  d e tec ti o n   sy ste m   w it h   f u z z y   r e a so n in g   a p p r o a c h ,   Gr a n u l .   Co m p u t. ,   v o l.   3 ,   n o .   2 ,   p p .   1 6 9 - 1 7 6 ,   2 0 1 7 .   [3 ]   J.  K.  Hu tt u n e n   e a l . ,   De tec ti o n   o f   H y p e re x c it a b il it y   b y   F u n c ti o n a M a g n e ti c   Re so n a n c e   Im a g in g   a f ter   Ex p e rime n tal  T ra u m a ti c   Bra in   In j u ry ,   J o u rn a o n e u ro tr a u ma ,   v o l.   3 5 ,   n o .   2 2 ,   p p .   2 7 0 8 - 2 7 1 7 ,   2 0 1 8 .   [4 ]   K.  J.  W o rsle y   e a l. ,   A   G e n e ra S tatisti c a A n a l y sis  f o f M RI  Da ta,   Ne u ro ima g e ,   v o l.   1 5 ,   n o .   1 ,   p p .   1 - 1 5 ,   2 0 0 2 .   [5 ]   A .   M a h m o u d i,   e a l. ,   M u lt iv o x e p a tt e rn   a n a ly si f o f M RI  d a ta:  re v i e w ,   Co mp u t.   M a th .   M e th o d M e d . ,     v o l.   2 0 1 2 ,   2 0 1 2 .   [6 ]   T .   M .   M it c h e ll   e a l. ,   P re d icti n g   h u m a n   b ra in   a c ti v it y   a ss o c iate d   w it h   th e   m e a n in g o n o u n s.,   sc ien c e   3 2 0 . 5 8 8 0 ,   v o l.   3 2 0 ,   n o .   5 8 8 0 ,   p p .   1 1 9 1 - 1 1 9 5 ,   2 0 0 8 .   [7 ]   M .   P a latu c c i,   e t   a l. ,   Zero - S h o L e a rn in g   w it h   S e m a n ti c   Ou tp u C o d e s,”   Ne u ra I n f.   Pr o c e ss .   S y st. ,   p p .   1 - 9 ,   2 0 0 9 .   [8 ]   L .   P i p a n m a e k a p o rn ,   e a l. De sig n in g   S e m a n ti c   F e a tu re   S p a c e s f o Bra in - Re a d in g ,   Esa n n ,   p p .   2 2 - 2 4 ,   2 0 1 5 .   [9 ]   A .   B.   Je lo d a r,   e a l. ,   W o rd Ne Ba se d   F e a tu re f o P re d icti n g   Br a in   A c ti v it y   a ss o c iate d   w it h   m e a n in g o f   n o u n s,”   NAA CL   HLT   2 0 1 0   Fi rs W o rk .   C o mp u t .   Ne u ro li n g u ist ics ,   p p .   1 8 - 2 6 ,   2 0 1 0 .   [1 0 ]   P .   S a e n g p e tch ,   L .   P ip a n m e m e k a p o r n ,   a n d   S .   Ka m o lsa n ti ro j,   Vi su a re p re se n tatio n   m o d e f o fM RI - b a se d   b ra in   d e c o d i n g ,   ACM   In t.   C o n f .   Pro c e e d in g   S e r. ,   p p .   5 8 - 6 3 ,   2 0 1 9 .   [1 1 ]   K.  Ka v u k c u o g lu ,   e a l. ,   Lea rn in g   c o n v o lu ti o n a f e a tu re   h iera rc h ies   f o v isu a re c o g n it io n ,   Ad v .   Ne u ra In f.   Pro c e ss .   S y st.  2 3   2 4 t h   A n n u .   Co n f .   Ne u ra I n f.   Pro c e ss .   S y st.  2 0 1 0 ,   n o .   1 ,   p p .   1 - 9 ,   2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 8 2   -   6 6 9 0   6690   [1 2 ]   C.   S a m p le et al. ,   A   g e n e ra m o d e li n g   f ra m e w o rk   f o d e sc rib in g   sp a ti a ll y   stru c tu re d   p o p u lati o n   d y n a m ic s,”   Eco lo g y   a n d   Evo l u ti o n ,   v o l.   8 ,   n o .   1 ,   p p .   4 9 3 - 5 0 8 ,   2 0 1 8 .   [1 3 ]   K.  S im o n y a n   a n d   A .   Zi ss e r m a n ,   V e ry   d e e p   c o n v o lu ti o n a n e tw o rk f o larg e - s c a le  i m a g e   re c o g n it io n ,   a rXiv   p re p rin a rXiv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [ 1 4 ]   S .   W u ,   S .   Z h o n g ,   a n d   Y .   L i u ,   D e e p   r e s i d u a l   l e a r n i n g   f o r   i m a g e   s t e g a n a l y s i s ,   M u l t i m e d .   T o o l s   A p p l . ,   p p .   1 - 1 7 ,   2 0 1 7 .   [1 5 ]   F .   Ch o ll e t ,   X c e p ti o n De e p   Lea rn in g   w it h   D e p th w ise   S e p a ra b le  Co n v o l u ti o n s,”   Pro c e e d in g o th e   IEE E   c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n ,   p p .   1 2 5 1 - 1 2 5 8 ,   2 0 1 7 .   [1 6 ]   C.   S z e g e d y ,   e a l. ,   R e th in k in g   th e   In c e p ti o n   A rc h it e c tu re   f o Co m p u ter  V isio n ,   Pro c .   IEE Co mp u t.   S o c .   Co n f .   Co mp u t .   Vi s.   Pa t ter n   Rec o g n it . ,   v o l.   2 0 1 6 ,   p p .   2 8 1 8 - 2 8 2 6 ,   2 0 1 5 .   [1 7 ]   L .   S h a p iro   a n d   G .   S to c k m a n ,   " Co m p u ter V isio n , "   Pre n ti c e   Ha ll ,   v o l.   2 1 ,   n o .   3 .   2 0 0 1 .   [1 8 ]   N.  P ra jap a ti ,   A .   K.  Na n d a n w a r,   a n d   G .   S .   P ra jap a ti ,   e d g e   h isto g ra m   d e sc rip to r,   g e o m e tri c   m o m e n a n d   so b e e d g e   d e tec to c o m b in e d   f e a tu re b a se d   o b jec re c o g n it io n   a n d   re tri e v a sy ste m ,   In t.   J .   Co mp u t.   S c i.   I n f.   T e c h n o l. ,   v o l.   7 ,   n o .   1 ,   p p .   4 0 7 - 4 1 2 ,   2 0 1 6 .   [1 9 ]   J.  Hu a n g ,   e a l. ,   I m a g e   in d e x in g   u sin g   c o lo c o rre lo g ra m s,”   Pro c e e d in g o IEE c o mp u ter   so c iety   c o n fer e n c e   o n   Co mp u ter   V isio n   a n d   Pa t ter n   Rec o g n it io n ,   p p .   7 6 2 - 7 6 8 ,   1 9 9 7 .   [2 0 ]   D.  G .   L o w e ,   Distin c ti v e   I m a g e   F e a tu re f ro m   S c a le - In v a r ian Ke y p o in ts  A b stra c b y   M a tt h ij Do rst ,   In ter n a t io n a jo u rn a o f   c o mp u ter   v isio n ,   v o l.   6 0 ,   n o .   2 ,   p p .   9 1 - 1 1 0 ,   2 0 0 4   [2 1 ]   J.  Zh a n g ,   e a l. ,   L o c a f e a tu re a n d   k e rn e ls  f o c la ss i f ica ti o n   o f   tex tu re   a n d   o b jec c a teg o ries A   c o m p re h e n siv e   stu d y ,   In ter n a ti o n a j o u rn a o c o mp u ter   v isi o n ,   v o l.   7 3 ,   n o .   2 ,   p p .   2 1 3 - 2 3 8 ,   2 0 0 7 .   [2 2 ]   B.   S .   M a n ju n a th ,   T e x tu re   f e a tu r e f o b ro w sin g   a n d   re tri e v a o f   im a g e   d a ta,”  IEE T ra n s.  P a tt e r n   An a l.   M a c h .   In tell. ,   v o l.   1 8 ,   n o .   8 ,   p p .   8 3 7 - 8 4 2 ,   1 9 9 6 .   [2 3 ]   X .   Ch e n ,   J.  He ,   R.   L a w re n c e ,   a n d   J.  G .   C a rb o n e ll ,   A d a p ti v e   m u lt i - tas k   sp a rse   lea rn in g   w it h   a n   a p p li c a ti o n   t o   f M RI   stu d y ,   Pro c .   1 2 th   S IAM   In t .   Co n f.   Da t a   M in i n g ,   S DM   2 0 1 2 ,   p p .   2 1 2 - 2 2 3 ,   2 0 1 2 .   [2 4 ]   Y.  Zh a n g   a n d   Q.  Ya n g ,   " A   S u rv e y   o n   M u lt i - T a sk   L e a rn in g , "   a rXiv p re p rin t   a rXiv: 1 7 0 7 . 0 8 1 1 4 ,   2 0 1 7 .   [2 5 ]   J.  L e e   Ro d g e rs  a n d   W .   A lan   Nic e   W a n d e r,   T h irt e e n   w a y to   lo o k   a th e   c o rre l a ti o n   c o e ff icie n t,   T h e   Ame ric a n   S ta ti st icia n v o l.   4 2 ,   n o .   1 ,   p p .   5 9 - 6 6 ,   1 9 8 8 .   [2 6 ]   T. - S .   Ch u a ,   e a l. ,   " NUS - W IDE:   A   Re a l - W o rld   Web   I m a g e   Da t a b a se   f ro m   N a ti o n a Un iv e rsit y   o f   S in g a p o re , "   Pro c e e d in g o t h e   ACM   in ter n a ti o n a c o n fer e n c e   o n   ima g e   a n d   v id e o   re trie v a l,   2 0 0 9 .       B I O G RAP H I E S   O F   AUTH O RS       P iy a w a S a e n g p e tc h ,   h e   re c e iv e d   B . S d e g re e   f ro m   th e   De p a rt m e n o f   Co m p u ter  S c ien c e   a S o n g k h la  Ra jab h a U n iv e rsity ,   T h a il a n d ,   in   1 9 9 4 ,   M S c   f ro m   th e   P rin c e   o f   S o n g k h la  Un iv e rsit y ,   T h a il a n d   i n   2 0 0 5 ,   a n d   th e   P h . D d e g r e e   in   2 0 1 4   f ro m   De p a rtme n o f   Co m p u ter   a n d   In f o rm a ti o n   S c ien c e   a Ki n g   M o n g k u t' Un iv e rsit y   o f   Tec h n o lo g y   No rth   Ba n g k o k ,   Ba n g k o k ,   T h a il a n d .     S in c e   2 0 1 0 ,   h e   h a w o rk e d   in   t h e   Co m p u ter  S c ien c e   P r o g ra m   a S u ra tt h a n Ra jab h a t   Un iv e rsit y ,   T h a il a n d His c u rre n re se a rc h   in   M L   a n d   A I.           Lu e p o Pi p a n m a e k a p o r n is   is  c u rre n tl y   a   lec tu re a th e   De p a rtme n o f   Co m p u ter  a n d   In f o rm a ti o n   S c ien c e ,   Ki n g   M o n g k u t' Un iv e rsit y   o f   No rth   Ba n g k o k ,   T h a il a n d .   He   h o l d s   b a c h e lo r' a n d   m a ste r' d e g re e in   c o m p u ter  sc ien c e .   He   a lso   e a rn e d   h is  d o c t o ra d e g re e   i n   c o m p u ter  sc ien c e   f ro m   Qu e e n sla n d   Un iv e rsity   o f   T e c h n o lo g y ,   Au stra li a ,   g ra d u a ti n g   in   2 0 1 3 .   His c u rre n re se a rc h   in tere sts in v o lv e   in f o rm a ti o n   re tri e v a l,   we b   m in in g ,   a n d   d a ta m in in g .         S u w a tc h a K a m o l sa n tiro j   is  c u rre n tl y   a   l e c tu re a th e   D e p a rtme n o f   Co m p u ter  a n d   In f o rm a ti o n   S c ien c e ,   Ki n g   M o n g k u t' Un iv e rsit y   o f   No rth   Ba n g k o k ,   T h a il a n d .   He   h o l d s   m a ste r' d e g re e in   c o m p u ter  sc ien c e .   He   a lso   e a rn e d   h is  d o c to ra d e g re e   in   c o m p u ter  e n g in e e rin g   f ro m   Ka s e tsa rt  Un iv e rsit y ,   T h a i lan d ,   g ra d u a ti n g   in   2 0 1 3 .   His  c u rre n re se a rc h   in tere sts in v o lv e   f u z z y   lo g ic,  n e u ra n e tw o rk ,   a n d   a rti f icia in telli g e n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.