I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 ,  Dec em b er   202 0 ,   p p .   6 6 8 2 ~6 6 9 0   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 6 . p p 6 6 8 2 - 6 6 9 0          6682       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Funct io na l  m a g n etic  r eso na nce i ma g ing - ba sed bra in decodin g   w ith  v isua l se m a n tic  m o del       P iy a wa t   Sa eng pet ch,     L uepo l   P ipa n m e m e k a po rn ,  S uw a t c ha i K a m o ls a ntir o j   De p a rtme n t  o f   Co m p u ter an d   I n f o rm a ti o n   S c ien c e ,   Kin g   M o n g k u t' s Un iv e rsit y   o f   Tec h n o lo g y   No rth   Ba n g k o k ,   T h a il a n d       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   7 ,   2 0 1 9   R ev i s ed   Ma y   31 ,   2020   A cc ep ted   J u n   15 ,   2 0 2 0       T h e   a c ti v it y   p a tt e rn   o f   th e   b ra in   h a s  b e e n   a c ti v a ted   to   id e n ti f y   a   p e rso n   i n   m in d .   Us in g   th e   f u n c ti o n   m a g n e ti c   re so n a n c e   im a g in g   (f M RI )  to   d e c ip h e r   b ra in   d e c o d in g   is  th e   m o st  a c c e p ted   m e th o d .   Ho we v e r,   th e   a c c u ra c y   o f  f M RI - b a se d   b ra in   d e c o d e r  is  stil l  re stricte d   d u e   to   li m it e d   train in g   sa m p les .   T h e   li m it a ti o n s  o f   th e   b ra in   d e c o d e r  u sin g   f M RI  a r e   p a ss e d   th ro u g h   th e   d e sig n   f e a tu re s  p ro p o se d   f o r   m a n y   lab e l  c o d in g   a n d   m o d e l  t ra in in g   to   p re d ict  th e se   c h a ra c teristics   f o r  a   p a rti c u lar  lab e l.   M o re o v e r,   w h a t  k in d   o f  se m a n ti c   fe a tu re s  f o r  d e c ip h e rin g   th e   n e u ro l o g ica l  a c ti v it y   p a tt e rn s  a re   u n c lea r.   In   c u rre n t  w o rk ,   a   n e w   c a lcu latio n   m o d e l  f o r  lea rn in g   d e c o d in g   lab e ls  th a t  is  c o n siste n t  w it h   f M RI  a c ti v it y   r e sp o n se s .  T h e   a p p ro a c h   d e m o n stra tes   th e   p ro p o se d   c o r re sp o n d in g   lab e l' s  su c c e ss   in   term s  o f  a c c u ra c y ,   w h ich   is  d e c o d e d   f ro m   b ra in   a c ti v it y   p a tt e rn s  a n d   c o m p a re d   w it h   c o n v e n ti o n a l  tex t - d e riv e d   f e a tu r e   tec h n iq u e .   Be sid e s,  e x p e rime n tal  stu d ies   p re se n t  a   train in g   m o d e l  b a se d   o n   m u lt i - tas k in g   to   re d u c e   th e   p ro b lem s  o f   li m it e d   train in g   d a ta  se ts.  T h e re fo re ,   th e   m u lt i - tas k   lea rn in g   m o d e l  is  m o re   e ff ici e n t  th a n   m o d e rn   m e th o d s  o f   c a lcu latio n ,   a n d   d e c o d i n g   f e a tu re s  m a y   b e   e a sil y   o b tain e d .   K ey w o r d s :   B r ain   d ec o d in g   Dee p   lear n in g   f MRI  ac ti v it y   p atter n s   Mu lti - ta s k   lear n in g     Vis u a l se m an t ic  m o d el   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   P iy a w at   Saen g p etch ,     Dep ar t m en t o f   C o m p u ter   an d   I n f o r m a tio n   Scie n ce ,   Kin g   Mo n g k u t 's Un i v er s i t y   o f   T ec h n o lo g y ,   No r th   B an g k o k ,   B an g k o k ,   T h ailan d .   E m ail :  s 5 7 0 4 0 6 2 9 1 0 0 1 7 @ k m u tn b . ac . t h       1.   I NT RO D UCT I O N   R esear ch   ab o u t  u n d er s ta n d in g   b r ain   f u n ctio n s   b ased   o n   th e  r elatio n s h i p   b et w ee n   th o u g h t  an d   s ti m u la tio n   o f   th e  b r ain .   T h e  p o s s ib ilit y   to   u n d er s tan d   th e  b r ain ' s   f u n ctio n   p atter n   is   s ti m u l ated   b y   th i n g s   s u c h   as  s o u n d ,   s m ell,   li g h t,  o r   o b j e cts.   No w   t h er e  ar e  m ed ical  a n al y s i s   to o ls   t h at  ca n   g et  d ata  f r o m   th e  b r ai n   s u ch   as  co m p u t ed   to m o g r ap h y   ( C T ) ,   elec tr o en ce p h alo g r ap h y   ( E E G)   an d   m a g n eto e n ce p h alo g r ap h y   ( ME G)   to   m o tio n   b r ai n   f u n ctio n s .   F u n ct io n   m a g n etic  r eso n an ce   i m ag i n g   ( f M R I )   is   a  tech n iq u e   th at   allo w s   t h e  b r ain   to   d is tin g u is h   b et w ee n   t h e  s tate s   o f   m i n d .   T h e  f MRI  i m a g es   ar e  g e n e r ated   f r o m   b lo o d - o x y g e n - lev el s   d ep en d e n t   ( B OL D)   s ti m u latio n   o f   b r ain   ce lls .   Mo s t  o f   t h e  r esear ch   h as  b ee n   d o n e  o n   b r ain   tr a n s cr ip tio n   w i th   f M R I ,   s u c h   as   b r ain - co m p u ter - i n ter f ac e  ( BC I ) ,  n eu r al - co n tr o l  i n t er f ac e  ( NC I )   is   a  d ir ec t  li n e   o f   co m m u n icatio n   b e t w e e n   t h e   b r a i n   g e t s   w i r e d   o r   i m p r o v e m e n t   a n d   e x t e r n a l   d e v i c e s   [ 1 ] ,   a s   l i e   d e t e c t i o n ,   e x p o s i n g   t h e   d e l i b e r a t e   d ec ep tio n   f r o m   t h e  te x t  o f   t h e  s p ee ch .   Fa ls e  d etec t io n   b y   lie   d etec to r   i s   f r a u d   d etec tio n   b y   ev a lu at in g   th e  co n ten t  o f   m es s ag e s   o r   in clu d i n g   id en ti f ier s   [ 2 ] .   B r ain   in j u r y   o r   tr au m atic  b r ain   i n j u r y   th at  ca n   b e   m ea s u r ed   ex ter n a ll y   [ 3 ] .   T h e  3 - d im e n s io n al  i m a g e  o b tain ed   f r o m   f M R I   co n s is ts   o f   a  b r ain   p o in t  ca lled   v o x el  ( v o lu m e  +   p ix el ) .   A   v o x el  s h o w s   b r ai n   ac tiv it y ,   w h ich   i n d icate   t h e  ar ea s   o f   th e  b r ai n   ar e  w o r k i n g .   E ac h   v o x el  s h o w s   a  p ar t  o f   th e   b r ain ,   co n tain in g   b r ain   ce ll s ,   o n e  m illi o n   ce l ls   in   t h e   m in d   o f   t h e   s u b j ec t.   T h e  b r ain   ac ti v it y   i s   ca p tu r ed   b y   id e n ti f y in g   d i f f e r en t  ac ti v ed   v o x el s .   I n   g e n e r al,   th e  f o r m at  o f   d ec o d in g   b r ain   u s in g   f MRI   e m p h a s ized   th e  lin ea r   r elatio n s h ip   b et w ee n   t h e  s tate  an d   th e  m i n d   th r o u g h   s ta tis tica l  test s .   I n   th e  liter atu r e  [ 4 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6683   p r o p o s ed   th e  g en er al  l in ea r   m o d el   ( GL M)   ap p r o ac h ,   h o wev er ,   th i s   e x a m in in g   ac ti v ed   v o x el s   ap p r o ac h   is   is o latio n .   Mo v eo v er   a  m u lt i - v o x el  p atter n s   o f   ac ti v it y   ( MV P A )   [ 5 ]   is   s tr o n g   tech n iq u e  a n d   w a s   p r o p o s ed   t o   d etec t  f M R I   v o x el s .   S u p p o r t  v ec to r   m ac h in e   ( SVM)   a n d   lin ea r   d is cr i m i n a n t  a n al y s i s   ( L D A )   a lg o r it h m   is   g en er all y   u s ed   f o r   tr ain i n g   m o d el s ,   a  s u b s et  o f   t h e  f MR I   d ata  d ec o d in g .   A lth o u g h   t h e  m ac h in e   lear n i n g   alg o r ith m   h as  alr ea d y   ac h iev ed   th e  ef f icie n c y   o f   MV P A ,   its   ac cu r ac y   is   lo w   d u e  to   t h e  lack   o f   tr ain i n g   ex a m p le s .   T h e  is s u es  w il l  b e  c o n f i n ed   to   th e  r ep r esen tatio n   o f   class e s   ap p lied   f o r   tr ain in g ,   w h ile  t y p e s   th at  d o   n o t  b e  in   tr ain i n g   ca n n o t  b e  d ec o d ed .   Fro m   th e  li m ita tio n s   o f   in f o r m atio n   f o r   th e  tr ai n ed   m o d el,   th er e f o r e  s ea r ch i n g   f o r   an d   s u g g esti n g   n e w   m e th o d s .   I n   d esi g n in g   f e atu r es  f o r   d ec o d in g   th e  b r ain   t h at  d o es  n o t  ex i s t  i n   th e  li m ited   s et.   P io n ee r   liter atu r e   [ 6 ]   s tates  t h at  b r ain   f u n ctio n   p atter n s   ca n   b e  p r ed ic ted   u s i n g   s e m an ti c   r elatio n s h ip s   l in k i n g   2 5 - v er b s   an d   n a m es.   P alatu cc i  e t   al.   [ 7 ]   h a v e  i n v esti g ated   a  2 1 8 - d i m e n s io n a l   r ep r esen tatio n   o f   t h e  s u b j ec ts   r ec eiv ed   f r o m   2 1 8   v o lu n t ee r s   w h o   w er e  a n s w er ed   t h e  q u esti o n s   r elate d   to   th e  ca teg o r y   o f   o b j ec ts   s u ch   as  " I s   it  c o ld ? "   o r   " I s   it  h o t? "   o r   " C a n   yo u   w a lk  o n   it? " .   So m e  s t u d ies  h a v e   s u g g e s ted   a  m ec h an is m   f o r   t h e  au to m atic  e x tr ac tio n   o f   m ea n in g   b y   e x a m in in g   la n g u a g e  k n o w led g e  s u ch   a s   W ik ip ed ia   [ 8 ]   an d   W o r d Net   [ 9 ] .  E x iti n g   r esear ch   u s ed   th e  o u ts ta n d in g   f ea t u r es  f r o m   t h e  te x t  to   d ec ip h er   th e  b r ain ,   w h ic h   is   f o u n d   to   b e  a  p er f ec t  m et h o d .   I n   th is   r e s ea r ch ,   w e  p r esen t  th e  v is u al  f ea t u r es  ass o ciate d   w it h   t h e  class   o f   o b j ec ts ,   w h ic h   in cr ea s e s   ac cu r ac y .   T h is   m e th o d   ch o o s es  th e  i m a g es  r elat ed   to   th e  o b j ec ts   in   th e  s a m e   clas s   a n d   d if f er e n t  c h ar ac ter is tic s ,   s u c h   as   i m a g e  s ize,   b r ig h tn e s s ,   o r ie n tatio n .   T h er ef o r e,   w e   co n s id er   m ed i u m   an d   h i g h - le v el   i m ag e   p r o p er ti es  i n   e n co d in g   m an y   o b j ec ts .   W e  m ea s u r e   th e  p er f o r m a n ce   o f   v is u al  f e atu r es  b y   u s in g   co lo r   h is to g r a m s   a n d   co r r elo g r a m s .   T h e  o n li n e  i m ag e  l ib r ar y   I m ag eNe t  h a s   i n cl u d ed   i m a g e s   an d   ta g g ed   i m ag e s .   W e  t h en   to o k   p ictu r es   to   ex tr ac t  t h e  f e atu r es  f o r   a  m o d el   in   p r ed ictin g   ac tiv it y   i n   t h e  b r ain   o f   b r ain   ac tiv it y   d ata  r ec o r d ed   f r o m   f M R I   s tu d ie s   b as ed   o n   m u l ti - tas k i n g   lear n in g ,   i n cl u d in g   i n - d ep th   lear n in g   to   cr ea te  f ea t u r es  a n d   tr an s f er   lear n i n g   o f   d ee p   lear n i n g   s u ch   a s   R esNet5 0 ,   VG G1 6 .   W e  u s e   1 5 0   im a g e s   f r o m   I m a g eNe t  t o   cr ea te  f ea t u r es.  W e   th e n   d e s ig n ed   a   m o d el  f o r   b r ain   p r ed ictio n   w it h   v i s u a l  s e m a n tic  f ea tu r e s   an d   f M R I   d ata  w ith   m u lti - tas k i n g   lear n in g   to   p r ed ict  6 0   co n ce p ts .   T h e  r esu lts   o f   t h is   r esear ch   s h o w   th e  m o d el ' s   e f f i cien c y   a n d   p r ed ictiv e  ca p ab ili t y   w h en   co m p ar ed   w it h   t h e  s tate - of - t h e - ar t.   T h e  m ai n   co n tr ib u t io n s   ar e  as  f o llo w s :     T o   d ec o d e  th e  b r ain   u s in g   i m a g es  f r o m   f M R I .   W e  ex p lo r e  th e  o u ts tan d i n g   f ea t u r es  f r o m   i m ag e s   r elate d   to   th e  o b j ec ts   o r   im ag e s   to   i m p r o v e  th e  ac c u r ac y   a n d   co m p ar ed   w it h   t h e  p r ev io u s   r e s ea r ch .     T o   p r esen t  th e   m o d els   th a t  ar e  u s ed   to   d ec ip h er   ac t iv i ties   i n   t h e  b r ain   b y   u s i n g   m u lt ip le  task   r eg r es s io n   m o d el s   an d   d e m o n s tr ati n g   th e  s u itab il it y   o f   p r ed ictin g   p r o p er ties   o f   o b j ec ts   w it h o u t t h e  tr ai n in g   s e t.   T h e  r em ain d e r   o f   th is   d o cu m en t  h as  th e   f o l lo w in g   s tr u ctu r e .   T h e  s e c o n d   s ec ti o n   r ev iew s   th e  p r o b lem   o f   b r ain   t r an s c r i p ti o n ,   al o n g   w ith   th e  m o d el  o f   b r ain   t r an s cr i p t io n .   T h e  th i r d   s ec t io n   p r es en ts   th e  im ag e   f ea tu r es.  T h e  p r o p o s ed   m o d e l  is   d es c r i b e d   in   Sec ti o n   4 .   Secti o n   5   p r es en t   th e  ex p e r i m en tal   s etu p ,   an d   th e  r esu lts   a ch iev e d   an d   d is cu s s io n   in   Se cti o n   6 .   T h e   s u m m ar y   an d   c o n clu s i o n   o f   th e   p r es en tati o n   in   s e cti o n   7 .       2.   B RAIN  T RA NSCR I P T I O N   2 . 1 .     Understa nd ing   bra in de co din g   I n   th i s   p ath ,   w e  d escr ib e  th e  b r ain   d ec o d in g   p r o b lem   b y   a p p l y i n g   3 D  i m a g es  o b tai n ed   f r o m   th e  f M R I   d ataset.   T h e  i m ag e   f o r   f MRI  d ata  X  =            ×   m atr i x   its   ( i,  j )   th   elem e n t ,   co m p r is in g          d i m en s io n al  o f   f M R I   d ata  in   ea ch     r o w .   T h e  f u n ctio n   ca teg o r y     to   p r ed ict  a   lab el.   I n   g e n er al,   th e  class if ic a tio n   m o d el  ca n   b e  ex p r ess ed   as  (  ) = + ,   w h er e    is   th e  ca lcu late d   er r o r .       T h en       is   w ei g h t  d ir ec tio n .  T h e  d if f ic u lt y   is   to   f i n d     to   d ec r ea s e  = − (  )   an d   th en   i s   f o r m u late  t h e  w a y   o u t  t o   th e  o p ti m izat io n   i n tr icac y   ca n   b e  d ef in ed   as :     ∗ =   1 2 ‖ −  ‖ 2 2 +  ( )   ( 1 )     w h er e  ( )   s y m b o lizes  t h e  p ar t  ex p er ien ce   o f   th e  c h alle n g e  a n d   r eg u lar izes  t h e  m o d el .  I n   th e   t y p ical  ca s e,   g iv e n   ≤ ,   w h er e    p o s s ib le  o b j e cts  ar e  e x clu d ed   f r o m   t h e  tr a in i n g   s et,   co n s tr ai n i n g   th e   o u tp u ts   f o r   d ec r y p ti n g .  B ec au s e  it   is   h ar d   to   g et  a n   f MRI  i m a g e  f o r   ev er y   p o s s ib le  o b j ec t,  p ast   r esear ch   ca n   o n l y   d ec ip h er   th e  i n f o r m atio n   tau g h t.  T h er ef o r e,   th i s   s o l u tio n   s o lv e s   t h e  a b o v e  p r o b lem s   f o r   d ata  th at   h as  n e v er   b ee n   s ee n   b ef o r e  an d   s u p p o r ts   d ata  ex p an s io n .     2 . 2 .     Repre s ent a t io n  m o dels   o f   bra in deco din g   B r ain   d ec o d in g   is   p r esen ted   u tili zin g   s em an tic  f ea tu r es  to   o b tain   th e  lab el  s et   f o r   n ew   in p u t  d ata.   R eg u lar   d ata  s ets  o b tain ed   f r o m   ex p er ien ce ,   m ea n in g   f o r   d esc r ib in g   th e  m o s t  lik ely   co n ce p ts   Fig u r e  1 .   B r ain   Dec o d in g   Mo d el.   I t  is   co m p o s ed   o f   3   lev els :  1 )  Vo x els  ac tiv atio n   v ec to r   = { 1 , 2 , … , }   is   r ep r esen ted   in   th e  in p u t  lay er   is   o b tain ed   f MRI  p r o ce s s in g ;   2 )  Sem an tic  f ea tu r e  v ec to r   is   r ep r esen ted   in   in ter m ed iate  lay er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 8 2   -   6 6 9 0   6684   f o r   d escr ib in g   o b j ec ts   = { 1 , 2 , … , } ;   an d   3 )  P o s s ib le  o b j ec ts   = { 1 , 2 , … , }   is   r ep r esen ted   in   th e  d ec o d in g   lay er .   T h e  co r r elatio n   b etw ee n     an d     is   lear n ed   b y   u s in g   an   f MRI  s u b s et  f o r   p r ed ictin g   th e  f ea tu r e  v alu es,  w h er ea s   th e  f o r ec ast f ea tu r es  ar e  u s ed   f o r   d ec o d in g   th e  co r r elate d   o b j ec t   [ 1 0 ] .             Fig u r e  1 .  B r ain   d ec o d in g   m o d el       3.   I M AG E   F E A T UR E S   C r ea tu r es  ten d   to   th in k   o u t,  " I s   it  co ld ? "   o r   " I s   it  h o t? " ,   o r   " C a n   yo u   w a lk  o n   it? " .     an d   " Ho w   d o   yo u   feel  w h en   viewin g   th e  ima g e? " .   I t  is   th u s   th e  ca p ab ilit y   to   id en tif y   th e  p o s s ib le  item s   b ased   o n   s tan d ar d   v is u al  f ea tu r es.  I n   th is   p ar t,  w e  w an t  to   co n s tr u ct  s em an tic  f ea tu r es  f r o m   im ag es  to   d escr ib e  ac tiv ities   th at  o cc u r   in   th e  b r ain ,   b y   f in d in g   v ar io u s   m eth o d s   in   d escr ib in g   th e  im ag es  r elate d   to   th e  co n ce p t.  I t  w as  th en   cr ea tin g   a  m o d el  o f   m ed icin e,   th e  ty p e  o f   ac tiv ity   in   th e  b r ain .     3 . 1 .     H ier a rc hica l  v is ua l f ea t ures   I m p le m e n ti n g   h ier ar ch ical  lea r n in g   in   w h ic h   th i s   m et h o d   h as  co n v o l u tio n   n e u r al  n et w o r k s   ( C NNs),   w h ic h   ar e  co m m o n l y   u s ed   to   class i f y   o b j ec ts   [ 1 1 ] .   C NN  h a s   a  s p atial   s tr u ctu r e  co n s i s ti n g   o f   la y e r s   o f   s ec r et   u n i ts   [ 1 2 ] ,   in clu d i n g   co n v o l u tio n ,   p o o lin g ,   an d   f u ll y   co n n ec ted   la y er s .   I n   t h e  co n v o l u ti o n   la y er ,   it  ac ts   a s   a  ch ar ac ter is tic  s ep ar ato r   f r o m   t h e  g i v e n   in p u t  i m ag e.   A  p o o lin g   la y er   p r o ce s s   p r o d u ce s   d o w n - s a m p l in g   f o r w ar d   w it h   t h e  s p atial  ar e a.   F in all y ,   t h e  f u ll y   co n n ec t ed   la y er   o p er ate s   as  a  clas s if ier   t h at  p r ed icts   th e  p r o d u ct  o f   t h e  in p u t  p ict u r e.   T h e  co m b i n atio n   o f   t h e s e  la y er s   e n ab les  u s   to   d is c o v er   a  h ier ar ch ical   in ter p r etatio n   o f   t h e  in p u t p ict u r e.   I n   th i s   ac t,   w e  o b j ec tiv e  a t th e   ap p r o p r ia te  C NN  to   i n cr e ase  t h e  ac c u r ac y   o f   th e  b r ain   tr an s cr ip tio n   m o d el   b y   e m p lo y i n g   f ea t u r es  f r o m   th e  f u ll y   co n n ec ted   la y er .   Fo r   th is   r ea s o n ,   t h r ee   ad v an ce d   le v els   o f   C NN s   ar e  u s ed : V GG1 6 ,   R esNe t5 0 ,   an d   Xce p tio n ,   to   lear n   th e   v ec to r   p r o p er ties   o f   f ig u r es   co n ce p t s   co n n ec ted   w i th   ea c h   n o tio n .     VGG1 6   [ 1 3 ]      T h e  im p o r tan t  VGG1 6   s tr u ctu r e  is   th e  p o p u lar   C NN  m o d el.   T h e  n etw o r k   also   p r esen ts   th e  h ig h est  5   test   ac cu r ac y   in   I m ag eNe t  w ith   9 2 . 7 %  f o r   im ag e  class if icatio n .   T h is   m o d el  is   s h o w n   u tili zin g   lay er s .   C o n v o lu tio n al  la y er s   3 x 3   ar e  p ac k ed   o n   to p   o f   ea ch   lay er ,   an d   th e  o th er   tw o   lay er s   ar e  co n n ec ted   b y   ea ch   n o d e,   w ith   4 , 0 9 6   co n n ec tio n s   s h o w n   in   Fig u r e  2 .   VGG1 6   co n s tr u ctio n .           Fig u r e  2 .  VGG1 6   co n s tr u ctio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6685     R esNet5 0   [ 1 4 ]   R esNet  w o n   th e  f ir s t  p r i ze   o f   I L SVR C 2 0 0 5   f o r   its   im ag e  class if icatio n ,   s h o w n   in   Fig u r e  3 .   Sk ip   co n n ec tio n   in   R esNet5 0 .   T h e  R esNet5 0   s tr u ctu r e  co n s is ts   o f   5 0   d ee p   co n v er s io n   lay er s .   I n   th is   n etw o r k ,   th er e  ar e  a  to tal  o f   1 6   r em ain in g   b lo ck s ,   ea ch   w ith   b lo ck s .   T h er e  ar e  th r ee - lay er   f ee d   lay er s   r ea d y .           Fig u r e  3 .  Sk ip   co n n ec tio n   i n   R esNet5 0         Xce p tio n   [ 1 5 ]   Xce p tio n   b y   Go o g le  s tan d s   f o r   th e  Ultim ate  v er s io n   o f   I n ce p tio n .  W ith   a  m itig ated   d ep th w is e  d etac h ab le  co n v o lu tio n ,   it  is   ev en   b etter   th an   I n ce p tio n - v 3   [ 1 6 ]   ( also   b y   Go o g le,   1 s t Ru n n er   Up   in   I L SVR C   2 0 1 5 )  f o r   b o th   I m ag eNe t  I L SVR C   an d   J FT   d atasets .  T h e  Xce p tio n   co n s tr u ctio n   h as  3 6   co n v o lu tio n al  lay er s   b u ild in g   th e  f ea tu r e  ex tr ac ti o n   b ase  o f   th e  n etw o r k   an d   f u lly - co n n ec ted   lay er s   b ef o r e  th e  lo g is tic  r eg r ess io n   lay er .  T h e  3 6   co n v o lu tio n al  lay er s   ar e  d ef in ed   in to   1 4   s ec tio n s ,   all  o f   w h ich   h av e  d ir ec t  r esid u al  lin k s   ar o u n d   th em ,   ex ce p t  f o r   th e  f ir s t  an d   last   u n its .  Fig u r e  4   d em o n s tr ate s  th e  Xce p tio n   co n s tr u ctio n .           Fig u r e  4 .  Xce p tio n   ar ch itect u r e       T o   r ec o v er   th e  ch ar ac ter is tic,   th e  p ictu r e  w e  u s e  VGG1 6 ,   R esNet5 0 ,   an d   Xce p tio n   ca n d id ly   w ith   im p o r tan ce   tr ain ed   o n   d ata  s ets  lar g er   as,  i.e . ,   I m ag eNe t  h as  co m b in ed   a  f r esh   lev el  b ef o r e  p r o d u ctio n   o r   lay er s   s o f tm ax   lay er .   A ctio n s   as  a  s ep ar ate  f ea tu r e  f r o m   th e  in p u t  p ictu r e.   T h e  n eu r al  n etw o r k   w as  r etr ain ed ,   ad o p tin g   a  f r esh   s et  o f   p ictu r es  w h ile  th e  ea r lier   p ar t w as  f r o ze n .       F ( x )+ x + r e l u r e l u F ( x )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 8 2   -   6 6 9 0   6686   3 . 2 .     L o w - lev el  v is ua l descrip t o rs   I n   cr ea ti n g   an   i m a g e  r ep r ese n t atio n ,   t h er e  ar e  m a n y   p r ev a len t  m et h o d s .   W e  w er e  u s i n g   lo w - le v el   d escr ip to r s   to   ca p tu r e  g en er al  r ec o g n itio n   f ea t u r es  ( s u c h   as  co lo r ,   s u r f ac e,   s tr u ctu r e,   ed g e) .   T h ese  b asic  f ea t u r es  ca n   b e  d r a w n   i m m e d iatel y   f r o m   t h e  i m a g e  a n d   e asil y .   I n   t h i s   a n al y s is ,   w e  w o r k ed   o n   t h e  v is u al   p r o p er ties   th at  ar e:     3 . 2 . 1 .   Si m ple c o lo r  his t o g ra m   ( CH )  [ 1 7 ]   L o w - lev el  f ea tu r e  u tili zin g   a  co lo r   h is to g r am .   Set  to   th e  d is tr ib u tio n   th e  n u m b er   o f   p ix els  in   th e  im ag e  f o r   ea ch   co n tain er .  W e  w ill  u s e  th e  ef f ec ts   o f   th e  co lo r   h is to g r am   to   h av e  6 4   b o x es  in   lin e  w ith   th e  p ar t  o f   th e  co lo r   s atu r atio n   s p ec tr u m .   W e   cr ea te  a  v is u al  s em an tic  m o d el   w ith   th e  u s e  o f   th e  d ef au lt  R GB   co lo r   v alu es   an d   s et  th e  n u m b er   o f   ea ch   co m p o n en t  o f   th e  R GB   co lo r   in to   f o u r ,   w h ich   is   th e  ea s iest   m eth o d .   ( 4 x 4 x 4 ).     3 . 2 . 2 .   E dg e  his t o g ra m   ( EH )  [ 1 8 ]   E d g e  h is to g r am   -   is   a  co d in g   o f   th e  s p atial  d is tr ib u tio n   o f   th e  d ir ec tio n   ed g e.   Sp ec if ically ,   th e  im ag es  ar e  d iv id ed   in to   72   b o x es ,   ea ch   o f   w h ich   h as  s ev er al  co r n er s   w ith   a  d ir ec tio n   th at  is   m ea s u r ed   in   5 - d eg r ee   in ter v als.  I n   t h is   ar ticle,   u s e  C an n y   f ilter s   f o r   ed g e  d etec tio n   an d   So b el  E d g e  Dete cto r   o p er ato r s   to   Me asu r e  th e  co u r s e  b y   th e  g r ad ien t  o f   ev er y   ed g e  p o in t.  T h e  s em an tic  f ea tu r e  h as  72  d im en s io n s .     3 . 2 . 3 .   Co lo r  co r re lo g ra m   ( CO RR )  [ 1 9 ]   C o r r elo g r am   co lo r   to   en co d e  s p atial   r elatio n s h ip s   o f   co lo r s .   On e  o f   th e  tw o - d im en s io n al  an d   th r ee - d im en s io n al  h is to g r am   is   th e  co lo r   o f   an y   p ix el  an d   th r ee - d im en s io n al  s p atial  d is tan ce s .   T h e  co lo r   co r r elo g r am   is   d ef in ed   as :     , ( ) =  1 ∈ ( ) , 2 ∈ [ 2 ∈ ( ) ∨ | 1 − 2 | = ]   ( 2 )     w h er e   | 1 − 2 |   is   th e  m ea s u r e  b etw ee n   1   an d   2 ,    is   th e  d is tan ce   in ter v als   n u m b er ,   , ∈ { 1 , 2 , … , } ,   is   th e  n u m b er   o f   b o x es  an d   ∈ { 1 , 2 , … , } , .  W e  d is tr ib u te   th e  R GB   v alu e  elem en t  in to   3 6   b o x es   an d   s et  o f f   th e  s p ac e  m etr ic  to   4   o d d   in ter v als  o f   = { 1 , 3 , 5 , 7 } .  T h u s ,   th e  co lo r   co r r elo g r am   h as  a  d im en s io n   o f   1 4 4   ( 3 6 x 4 ).     3 . 2 . 4 .   Sca le  inv a ria nce  f ea t ure  t ra ns f o r m   ( SI F T )  [ 2 0 ]   SIFT   is   th e  m o s t  u s ef u l  o b j ec t  id en tif icatio n   alg o r ith m   in   co m p u ter   v is io n   ( C V)   an d   h as  b ee n   u s ed   ex ten s iv ely .   Fo r   an y   o b j ec t  in   th e  p ictu r e,   th e  SIFT   k ey   p o in ts   o n   p u r p o s e  ca n   b e  s ep ar ated   in to   s m aller   p ar ts   to   g iv e  a  s p ec if ic  d escr ip to r   th at  d ef in es  th e  s m all  im ag e  ar ea   ar o u n d   th e  m ar k   o n   th at  o b j ec t   [ 2 1 ] .   B ec au s e  o f   th e  SIFT   m eth o d   r esu lts   in   th e  ch ar ac ter is tic  d escr ip to r .   T h e  lar g e  s ize  cr ea ted   in   th e  p ictu r e,   w e  u s e   th e  th em e  o f   th e  b ag   o f   f ea tu r es.  Fo r   ea ch   p ictu r e,   f ir s t  w e  an aly ze   th e  SIFT   d escr ip to r   ab o v e  th e  lo ca l  ar ea   b ased   o n   th e  k ey   p o in ts .   W e  th en   ca lcu lated   th e  v ec to r ' s   q u an tity   o n   th e  SIFT   d is tr ict  d escr ip to r   to   cr ea te  an   im ag e  v o ca b u lar y   u s in g   k - m ea n   g r o u p in g .   I n   th is   an aly s is ,   w e  cr ea ted   5 0 0   g r o u p s ,   f o llo w in g   in   th e  s ize  o f   th e  v is u al  f ea tu r es  b ein g   5 0 0 ,   f o r   r ep r esen tin g   th e  im ag e.     3 . 2 . 5 .   Wa v elet   T ra ns f o r m   ( WT )   [ 2 2 ]   I m ag e  r ep r esen tatio n   R em ed ies  s u r f ac e  an aly s is   o f   th e  im ag e .   I n   th e  s u r f ac e  an aly s is   p lan ,   th e  w av elet  tr an s f o r m   ca n   b e  u s ed   to   d etec t  th e  s u r f ac e  o f   th e  im ag e  ef f ec tiv ely .   W av elet  tr an s f o r m s   d o n e  o n   p ictu r es   th at  s u g g est  r ep ea ted   f ilter in g   an d   s u b - s am p lin g .   A t  ea ch   lev el,   p ictu r es  ar e  d iv id ed   in to   4   s u b - b an d s :  L L ,   L H,   HL ,   an d   HH,   w h er e  L   s tan d s   f o r   lo w   f r eq u en cies,  an d   H  m ea n s   h ig h   f r eq u en cies.  A f ter   th at,   th e  2   ty p es  o f   w av elet  tr an s f o r m s   ar e  th e  w a v elet  tr an s f o r m   w ith   th e  p y r am id   s tr u ctu r e  ( P W T )   an d   th e  w av elet  tr an s f o r m   w ith   th e  tr ee   s tr u ctu r e  ( T W T ) .   P W T   b r ea k s   th e  L L   b an d   r ep ea ted ly ,   an d   T W T   b r ea k s   th e  b an d .   Oth er   m u s ic  to   p r eser v e  r elev an t  in f o r m atio n   th at  ap p ea r s   o n   th e  m ed iu m   f r eq u en cy   ch an n el.   A f ter   p ass in g   th e  class if icatio n   in to   p ar ts ,   th e  v ec to r   is   ex tr ac ted   u s in g   th e  m ea n   an d   d is p er s io n   o f   ea ch   s u b - d is tr ict  s et  o f   th e  s tr en g th   d is tr ib u tio n   at  ea ch   lev el.   I n   th is   s tu d y ,   w e  u s ed   th r ee   lev els  o f   b r ea k d o w n s   to   cr ea te  v ec to r   p r o p er ties   o f   ea ch   o b j ec t  im ag e.   W h en   p er f o r m in g   P W T ,   th ey   r ec eiv e  th e  ch ar ac ter is tics   o f   a  2 4   ( 3 x 4 x 2 )   v ec to r .   A t  th e  s am e  tim e,   th e  T W T   an s w er   in   a  v is u al  s em an tic   f ea tu r e  s ize  1 0 4   ( 5 2 x 2 ) .   T h er ef o r e,   th e  to tal  w av elen g th   is   1 2 8 .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6687   4.   M UL T I T A SK   VIS U AL   SPA CE   L E ARN I N G   W e  in tr o d u ce d  m u lti - task   lass o   lear n in g   ( MT L )   [ 2 3 ,   2 4 ]   in   w h ich   m an y   lear n in g   task s   ar e  im p r o v ed   at  th e  s am e  tim e.   T h is   m eth o d   p r o d u ce s   ac cu r ate  p r ed ictio n s   an d   is   h ig h ly   ef f ec tiv e.   I n   class if icatio n ,   MT L   aim s   to   in cr ea s e  th e  ef f icien cy   o f   m u ltip le  class if icatio n   task s   b y   co - ope r atin g   lear n in g .   On e  ex am p le  is   th e  s p am   f ilter ,   w h ich   ca n   b e  class if ied   as  a  co m p lex   class if icatio n   m is s io n .  T h e  r ea s o n   f o r   th is   is   th at  lear n in g   th e  n ativ e  f MRI  r ep r esen tatio n   m ay   n o t  h av e  en o u g h   im p ac t  o n   m ar k in g   m u ltip le  class es  d u e  to   th e  t r ain in g   r ep r esen tatio n   th at  L im ited   an d   ch allen g in g   to   f in d   d ata  s ets.   T h e  aim   is   to   lear n   th e  s tan d ar d   f MRI  d escr ip tio n s   r elate d   to   p r o p er ties   th at  ar e  s ep ar ated   f r o m   m an y   class es.  T h e  r ea s o n   f o r   th is   is   th at  lear n in g   th e  o r ig in al  f MRI  r ep r esen tatio n   m ay   n o t  b e  s u f f icien t  f o r   m an y   s tates'   ch ar ac ter izatio n   d u e  to   th e  s m all  an d   lim ited   tr ain in g   ex am p les.   A   s ig n if ican t  im p ac t  o n   lear n in g   is   th e  f in d in g   o f   r ep r esen tativ es  o f   lin ea r   an d   n o n lin ea r   tr an s f o r m atio n s   o f   f MRI  im ag e  d ata,   as  illu s tr ated   b y   m ath em atica l  eq u atio n s .   C o n s id er   = { } = 1 is   a  s et  o f     s ep ar ate  task s   w h er e  a  task     d ir ec ts   o n   lear n in g   m o d el  f o r   esti m ate  th e  th   v alu e .  T r ain in g   d ataset  is   = { , } = 1 ,   w h er e  ∈   is   th e  th   t r ain in g   f MRI  im ag e  m ad e  o f     v o x els  in     an d     is   its   th   f ea tu r e  v alu e .  T h e  tr ain in g   f MRI  d ata  m atr ix   is     f o r   ,   i . e . = ( 1 , … , ) .  Fo r   th e  t a s k   ,   w e   l e a r n   ^ = ∑ + = 1   w h e r e   ^ , , ∈   M o r e o v e r ,     i s   t h e   n u m b e r   o f   v o x e l s .  W e   p r e s u m e   th at   th e  d ata  is   r eg u lated   s o   th e  co n s tan t  ter m s   ca n   b e  d r o p p ed ,   i . e .    an d   ^   h av e  av er ag e  0   an d   ‖ ‖ 2 = 1   w h er e  ‖ . ‖ 2   i s   th e  L 2   E u clid ea n   n o r m .  L et  = ( 1 , … , )     b e  th e  v ec to r   o f   all  co ef f icien ts   f o r   th e  th   v o x el  ac r o s s   v ar io u s   task s .  T o   ac h iev e  a  co m p ac t  an d   d is cr im in ativ e  r ep r esen tatio n ,   th e  m u lti - task   L ass o   is   f o r m u lated   as  th e  an s w er   to   th e  o p tim i za tio n   p r o b lem .      { 1 2 ∑ ‖ − ∑ = 1 ‖ 2 2 + ∑ ‖ ‖ ∞ = 1 = 1 }     ( 3 )     W h er e  ‖ ‖ ∞ =  | |   is   th e  s u p - n o r m   in   th e  E u clid ea n   s p ac e .  I t  ad d itio n all y   h as   th e  i m p r es s io n   o f   " g r o u p in g "  th e  p ar ts   in     s u ch   th at  t h e y   ca n   o b tain   ze r o s   co n cu r r en tl y .  Af ter   teac h in g   m o d el s ,   w e  s till   h a v e  to   b u ild   a  d ec is io n   r u le  to   ch o o s e  th e   m o s t  i m p o r ta n t  clas s   to   b e  r elate d   to   a  g iv e n   f MRI  i m ag e .  Fo r   a   g iv en   f M R I   i m ag e ,    p r ed icted   f ea tu r e  v alu e s   ar e  o b tain ed   b y   u s i n g     co ef f icie n t s .  L ast l y ,   P ea r s o n 's  co r r elatio n   co ef f icie n t  [ 2 5 ]   ar e  u s ed   to   m ea s u r e  t h e  as s o ciatio n   b et wee n   X  a n d   a  tar g et     class   C .     ( , ) = ∑ ( ( ) − ´ ) ( − ´ ) = 1 √ ∑ ( − ´ ) 2 = 1 × √ ∑ ( − ´ ) 2 = 1       ( 4 )     w h er e  m ap p i n g   f u n c tio n   i s     ( )   th at  r ec o n s tr u ct s   X  to   t h e  th   f ea t u r e  v al u e .  T h e  r esu lt   w it h   th e  h ig h es t  co r r elatio n   f MRI   co n ce p t .        5.   E XP E R I M E NT   S E T UP   5 . 1 .     Da t a s et s   I n   th i s   r esear c h ,   we   u s e  f MRI  3 D  d ata  f r o m   C ar n e g i e  Me ll o n   U n i v er s it y ,   co llect ed   f r o m   9   r ig h t - h an d ed   ad u lt  v o l u n teer s ,   co n s is t in g   o f   f M R I   d ata  th at   allo w s   v o l u n teer s   to   v ie w   6 0   lin e  d r a w in g s   a n d   n o u n s ,   s i x   ti m es   ea c h .   I m a g es  ( 6 X6 0   =  3 6 0 )   1   f MRI  i m ag e   w ill   b e  co n v er ted   to   a   v o x e l  v ec to r   w it h   ap p r o x im a tel y   2 0 0 0 0   v o x els.  T h en   d ec r ea s e  th e  s ize  o f   th e  v ec to r   to   5 0 0   v o x els  u s i n g   t h e  s ea r ch l ig h t   m et h o d   [ 2 4 ] .   I n   th e  tech n iq u e  [ 6 ]   an d   [ 7 ] ,   f MRI  d ata  ar e  d ec r ea s ed   to   5 0 0 - f ea t u r es.     5 . 2 .   T ex t - ba s ed  c  f ea t ures   T h e  p r o p o s ed   m o d el  p er f o r m i n g   i s   co m p ar ed   w it h   t h e  tex t - b ased   s e m an tic  f ea t u r es  s tate - of - t h e - ar t   m o d el s ,   as  d escr ib ed   f o llo w s :     Ver b 2 5   [ 6 ]   p r o v id es   th e  n o tio n   i n   th e   f o r m   o f   t h e  n o u n   an d   d escr ib in g   t h e  co - o cc u r r en ce   v ec to r   b et w ee n   n o u n s   a n d   v er b s   o f   2 5   n a m e s   s u c h   as  " r u n " ,   " p u s h " ,   " ea t "   an d   m a n y   o th er s .  T h ese  co m m o n   v er b s   ar e  o f ten   d ef i n ite  n o u n s   i n   E n g l is h   s e n te n ce s   an d   d esi g n ed   b y   t h e  s tr u ct u r alis t s .  I n   an   i n v e s ti g atio n ,   Ver b - 25  is   a  p r ac tical  ef f ec t o f   th is   d ata s et .      Hu m an 2 1 8   [ 7 ]   h o ld s   th e  n o tio n   in   th e  f o r m   o f   2 1 8   attr ib u tes .  T h e  p atter n   v ec to r   is   o b tain ed   by   2 1 8   q u esti o n s ,   s u c h   as   " I s   it  co l d ? ",   " I s   it  h o t ? " ,   " C a n   yo u   w a lk  o n   it? "   e tc .  T h e  lin g u is ts   cr ea ted   th ese   q u esti o n s   a n d   co llected   t h e  a n s w er s   f r o m   clo u d   s o u r cin g   a n d   co m p u ted   t h e  a v er ag e   an s wer s   co r r elate d   to   ea ch   n o tio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 8 2   -   6 6 9 0   6688   5 . 3 .     I m a g e - ba s ed  f ea t ures   I n   th i s   r esear ch ,   w e  h a v e  s ele cted   v is u a l  p r o p er ties   f r o m   p i ctu r es   f o r   th e  d esi g n   o f   ex p er i m e n ts   b y   u s i n g   p r o p er ties   f r o m   i m a g es  f r o m   lo w er   to   u p p er   lev els.  C o lo r   h is to g r a m   ( C H) ,   co lo r   co r r elo g r a m   ( C OR R ) ,   ed g e  h i s to g r a m   ( E H) ,   W av elet  T r an s f o r m   ( W T ) ,   B o W   +  SIFT   ar e  o n   NUS - W I DE   [ 2 6 ]   d atab ase  r esear ch .   T h e  NUS - W I DE   d ataset  h o l d s   2 6 9 , 6 4 8   p ictu r es   co m p i le d   f r o m   th e   Fl ick r   o n li n e  p h o to g r ap h   d atab ase  to   ad ap t  to   th e  f MRI  i m a g e  co n ce p t  an d   Use  th e  f o llo w i n g   ch ar ac ter is tic s   f r o m   t h e  C N Ns ,   n a m el y   VGG1 6 ,   R esNet5 0 ,   a n d   Xce p tio n ,   a n d   u s e   t h e  p r o p er ties   f r o m   all   t h e  i m a g es  to   cr ea te  a  f ea t u r e   v ec to r   to   d escr ib e   th e  co n ce p t.       6.   RE SU L T S   AND  D I SCU SS I O N   T h is   s ec tio n   is   a  test   to   co m p a r e  th e  ef f icie n c y   o f   u s i n g   th e  p r o p er ties   o b tain ed   f r o m   te x t  u s i n g   n i n e  f MRI  i m a g es   o f   ea c h   v o lu n te er ,   3 6 0   im a g es  f r o m   6 0   i m ag es  d iv id ed   b y   co n ce p t,  f o r   u s e  in   teac h i n g   3 0 0   i m a g es  a n d   6 0   i m ag e s   f o r   tes tin g   to   f i n d   t h e  ef f ec ti v e n es s   o f   m o d els  a n d   f ea t u r es  e x tr ac ted   w it h   d i f f er e n t  m et h o d s .   T a b le  1   s h o w s   p r e d ictab ilit y   o f   t h e  co n ce p t  s ee n   i n   t h e  L R   m o d el  a cc u r ac y   ( %)  f r o m   9   f MRI  v o lu n teer s   an d   th e  p r o p o s ed   alg o r ith m s   ( i . e . ,   W T ,   E DH,   R esNet5 0 ,   an d   Xce p tio n ) .   I t  ca n   b e  o b s er v ed   th at   th e  p r o p o s ed   v is u al  f ea tu r e  s ig n if ican t l y   e n h a n ce s   t h e  p er f o r m a n ce   o f   b r ain   d ec o d in g .   Mo r eo v er ,   th e  b est   p er f o r m a n ce   m o d els  ar e  o b ta in ed   b y   u s i n g   ex tr ac ted   f ea t u r es  b ased   o n   VGG1 6 ,   R esNet5 0 ,   an d   Xce p tio n .   T h e  m u lti - ta s k   lear n in g   ( MT L )  m et h o d   is   also   co m p ar ed   w i th   a  lin ea r   r eg r es s io n   ( LR )  m e th o d .  A s   s h o w n   in     T ab le  1   an d   T ab le  2   all  th e  MT L   m o d els  s ig n i f ica n tl y   o u t p er f o r m ed   t h e  L R   m o d el s .  T h u s ,   t h e  g i v en   r e s u l t s   e m p h a s ize  th e  h i g h l ig h t  o f   t h e   MT L   ap p r o ac h   f o r   i m p r o v in g   th e  g e n er aliza tio n   p er f o r m an ce .  T h e  leav e - t w o - o u t c r o s s - v alid atio n   tech n iq u e   [ 6 ,   7 ]   h av e  b ee n   e m p lo y ed   f o r   ev alu ati n g   th e  e f f ec ti v e n ess   o f   th e  v is u al  f ea t u r e  f o r   d ec o d in g   n o v el  co n ce p ts   ( u n s ee n ) .         T ab le  1 .  P r ed ictab ilit y   o f   t h e  c o n ce p t seen   i n   th e  L R   m o d el  A cc u r ac y   ( %)  f r o m   9   f M R I   v o lu n teer s   M o d e l   v o l u n t e e r   A v g .   # F e a t u r e   1   2   3   4   5   6   7   8   9   V e r b s 2 5   68 . 99   62 . 45   64 . 85   63 . 41   54 . 74   58 . 57   55 . 26   55 . 05   59 . 98   60 . 37   25   H u ma n   2 1 8   62 . 14   58 . 43   54 . 90   58 . 45   56 . 30   53 . 30   56 . 52   48 . 59   49 . 53   55 . 35   2 1 8   CH   59 . 92   60 . 03   59 . 26   56 . 51   50 . 08   50 . 46   54 . 65   51 . 06   51 . 11   54 . 79   64   C O R R   61 . 47   59 . 40   53 . 19   54 . 92   49 . 76   50 . 07   54 . 58   58 . 53   54 . 85   55 . 20   1 4 4   WT   61 . 23   57 . 38   55 . 77   54 . 78   50 . 41   52 . 46   51 . 61   53 . 05   56 . 58   54 . 81   1 2 8   ED H   60 . 27   55 . 53   56 . 33   55 . 64   53 . 40   51 . 25   51 . 95   53 . 29   51 . 05   54 . 30   73   B o W   ( S I F T )   70 . 52   63 . 03   61 . 58   61 . 55   49 . 10   53 . 82   54 . 61   52 . 61   55 . 81   60 . 07   5 0 0   V G G   1 6   65 . 21   60 . 79   59 . 29   62 . 31   54 . 60   56 . 51   53 . 80   54 . 13   51 . 91   57 . 62   4 , 0 9 6   R e sN e t   5 0   77 . 15   69 . 27   67 . 92   71 . 09   60 . 60   62 . 80   63 . 45   54 . 29   59 . 63   65 . 13   2 , 0 4 8   X c e p t i o n   56 . 76   62 . 67   55 . 39   56 . 12   53 . 22   54 . 49   53 . 50   52 . 28   54 . 56   55 . 33   2 , 0 4 8       W e  test ed   th e  m o d el  o n   all  th e  f M R I   i m a g es  o f   5 8   co n ce p ts   f o r   th e  tr ain i n g   s e t,  an d   th en   f MRI   i m a g es  o f   2   co n ce p ts   f o r   th e  test in g   s et .  T h e  c o m p ar is o n   r es u lts   o f   all  th e  p r ed ictin g   2   u n s ee n   co n ce p ts   m o d el   h av e   b ee n   il lu s tr ated   in   T ab le   2 .   As  r ec o r d ed   in   T ab le  2 ,   B o th   VGG1 6   a n d   R es Net5 0   s i g n i f ica n tl y   b etter ed   Ver b 2 5   an d   Hu m a n 2 1 8 ,   w h e r ea s   th e  R es Net5 0   u s ed   1 0 6   v o x el s   o f   th e   w h o le   b r ain   s h o w ed   th e  h i g h es t   co r r ec tn ess .   Fi g u r e  5   d e m o n s tr ates  t h at  t h e  MT L   m o d el  e x ce ed s   t h e  L R   m o d el  f o r   d e co d in g   V1   a n d   V2   o v er all  th e  s e m a n tic  f ea tu r e s .   As  a  r esu lt,  t h e  h i g h - lev e l  v i s u al  f ea tu r e  is   b etter   f o r   id en ti f y in g   b r ain   ac ti v it y   p atter n s   in   ter m s   o f   ac cu r ac y .       T ab le  2 .  P r ed ictab ilit y   o f   t h e  c o n ce p t seen   i n   th e  MT L   m o d e l A cc u r ac y   ( %)  f r o m   9   f M R I   v o lu n teer s   M o d e l   v o l u n t e e r s   A v g .   # F e a t u r e   S e l e c t e d   V o x e l s   1   2   3   4   5   6   7   8   9   V e r b s   25   70 . 16   67 . 08   67 . 68   66 . 35   59 . 03   56 . 56   58 . 23   56 . 65   57 . 14   62 . 10   25   3 2 8   H u ma n   2 1 8   61 . 38   60 . 82   57 . 94   59 . 94   57 . 59   55 . 22   58 . 13   49 . 66   49 . 46   56 . 68   2 1 8   4 4 4   CH   64 . 79   63 . 47   60 . 87   58 . 45   53 . 11   52 . 25   58 . 95   50 . 78   51 . 01   57 . 08   64   1 4 7   C O R R   63 . 38   63 . 12   58 . 64   58 . 73   51 . 99   52 . 07   58 . 50   55 . 35   57 . 34   57 . 68   1 4 4   2 3 3   WT   59 . 36   61 . 79   59 . 02   61 . 23   52 . 32   53 . 85   57 . 61   53 . 85   53 . 42   56 . 94   1 2 8   1 2 7   ED H   67 . 04   57 . 25   58 . 47   59 . 55   54 . 68   51 . 32   54 . 89   54 . 16   53 . 05   56 . 71   73   1 3 4   B o W ( S I F T )   79 . 50   71 . 20   70 . 78   69 . 41   53 . 87   57 . 59   59 . 47   55 . 85   55 . 59   63 . 70   5 0 0   2 4 1   VGG   16   79 . 57   70 . 04   70 . 71   71 . 86   61 . 58   65 . 47   64 . 59   54 . 13   58 . 20   66 . 24   4 , 0 9 6   4 8 5   R e sN e t   50   79 . 18   72 . 36   71 . 12   73 . 37   62 . 52   64 . 73   63 . 90   55 . 30   58 . 43   66 . 77   2 , 0 4 8   4 8 2   X c e p t i o n   82 . 72   87 . 67   79 . 29   86 . 36   77 . 27   87 . 01   78 . 78   82 . 32   78 . 57   82 . 22   2 , 0 4 8   4 3 5     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       F u n ctio n   ma g n etic  r eso n a n ce   ima g in g - b a s ed   b r a in   d ec o d i n g   w ith   visu a l sema n tic  …  ( P iya w a t   S a en g p etc h )   6689     ( a)         ( b )     Fig u r e  5 .   P er f o r m a n ce   co m p ar is o n   o f   M T L   m o d e l  a n d   L R  m o d e l  o n   V1   a n d   V 2       7.   CO NCLU SI O N   I n   th i s   p ap er ,   w e  h av e   p r o p o s ed   an   e x o tic  f M R I   b r ain   tr a n s cr ip tio n   m o d el  u s i n g   i m a g e - to - i m a g e   f ea t u r es.  T h e  v is u al  c h ar ac ter is tics   o f   m a n y   ap p lican t s   ar e  ex a m in ed   f r o m   lo w   to   h i g h - lev el  f ea tu r e s   th a t   f o cu s   o n   th e  f M R I   d ec o d in g   m o d el  p r ec is el y .   A l s o ,   th e  s tu d y   p r esen ted   is   a  co m p ac t  an d   d is cr i m i n ati n g   p atter n   lear n in g - th e   r elatio n s h i p   b et w ee n   t h e  v o x e l  ac ti v at io n   m o d el   an d   t h e   i m a g e  p r o p er ties   to   d ec ip h er   th e  co n ce p t.  T h e  r es u lt s   s h o w  th e  o p er atio n al  s u cc e s s   o f   o u r   m o d el  a n d   t h e  ad v a n ta g e  o v er   s tate - of - t h e - ar t  b r ain   d ec o d in g   w it h   f M R I .       RE F E R E NC E S   [1 ]   R.   S it a ra m ,   e t  a l. ,   “ f M RI  b ra in - c o m p u ter i n terf a c e s,”   IEE E  S ig n a l  Pro c e ss .   M a g . ,   v o l .   2 5 ,   n o .   1 ,   p p .   9 5 - 1 0 6 ,   2 0 0 8 .   [2 ]   Y. - F .   L a i,   M . - Y.  C h e n ,   a n d   H. - S .   Ch ian g ,   “ Co n stru c ti n g   th e   l ie  d e tec ti o n   sy ste m   w it h   f u z z y   r e a so n in g   a p p r o a c h , ”   Gr a n u l .   Co m p u t. ,   v o l.   3 ,   n o .   2 ,   p p .   1 6 9 - 1 7 6 ,   2 0 1 7 .   [3 ]   J.  K.  Hu tt u n e n   e t  a l . ,   “ De tec ti o n   o f   H y p e re x c it a b il it y   b y   F u n c ti o n a l  M a g n e ti c   Re so n a n c e   Im a g in g   a f ter   Ex p e rime n tal  T ra u m a ti c   Bra in   In j u ry , ”   J o u rn a l  o f  n e u ro tr a u ma ,   v o l.   3 5 ,   n o .   2 2 ,   p p .   2 7 0 8 - 2 7 1 7 ,   2 0 1 8 .   [4 ]   K.  J.  W o rsle y   e t  a l. ,   “ A   G e n e ra l  S tatisti c a l  A n a l y sis  f o r  f M RI  Da ta, ”   Ne u ro ima g e ,   v o l.   1 5 ,   n o .   1 ,   p p .   1 - 1 5 ,   2 0 0 2 .   [5 ]   A .   M a h m o u d i,   e t  a l. ,   “ M u lt iv o x e l  p a tt e rn   a n a ly si s  f o r  f M RI  d a ta:  A  re v i e w , ”   Co mp u t.   M a th .   M e th o d s  M e d . ,     v o l.   2 0 1 2 ,   2 0 1 2 .   [6 ]   T .   M .   M it c h e ll   e t  a l. ,   “ P re d icti n g   h u m a n   b ra in   a c ti v it y   a ss o c iate d   w it h   th e   m e a n in g s  o f  n o u n s., ”   sc ien c e   3 2 0 . 5 8 8 0 ,   v o l.   3 2 0 ,   n o .   5 8 8 0 ,   p p .   1 1 9 1 - 1 1 9 5 ,   2 0 0 8 .   [7 ]   M .   P a latu c c i,   e t   a l. ,   “ Zero - S h o t  L e a rn in g   w it h   S e m a n ti c   Ou tp u t  C o d e s,”   Ne u ra l  I n f.   Pr o c e ss .   S y st. ,   p p .   1 - 9 ,   2 0 0 9 .   [8 ]   L .   P i p a n m a e k a p o rn ,   e t  a l. ,  “ De sig n in g   S e m a n ti c   F e a tu re   S p a c e s f o r  Bra in - Re a d in g , ”   Esa n n ,   p p .   2 2 - 2 4 ,   2 0 1 5 .   [9 ]   A .   B.   Je lo d a r,   e t  a l. ,   “ W o rd Ne t  Ba se d   F e a tu re s  f o r  P re d icti n g   Br a in   A c ti v it y   a ss o c iate d   w it h   m e a n in g s  o f   n o u n s,”   NAA CL   HLT   2 0 1 0   Fi rs t  W o rk .   C o mp u t .   Ne u ro li n g u ist ics ,   p p .   1 8 - 2 6 ,   2 0 1 0 .   [1 0 ]   P .   S a e n g p e tch ,   L .   P ip a n m e m e k a p o r n ,   a n d   S .   Ka m o lsa n ti ro j,   “ Vi su a l  re p re se n tatio n   m o d e l  f o r  fM RI - b a se d   b ra in   d e c o d i n g , ”   ACM   In t.   C o n f .   Pro c e e d in g   S e r. ,   p p .   5 8 - 6 3 ,   2 0 1 9 .   [1 1 ]   K.  Ka v u k c u o g lu ,   e t  a l. ,   “ Lea rn in g   c o n v o lu ti o n a l  f e a tu re   h iera rc h ies   f o r  v isu a l  re c o g n it io n , ”   Ad v .   Ne u ra l  In f.   Pro c e ss .   S y st.  2 3   2 4 t h   A n n u .   Co n f .   Ne u ra l  I n f.   Pro c e ss .   S y st.  2 0 1 0 ,   n o .   1 ,   p p .   1 - 9 ,   2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 8 2   -   6 6 9 0   6690   [1 2 ]   C.   S a m p le et al. ,   “ A   g e n e ra l  m o d e li n g   f ra m e w o rk   f o r  d e sc rib in g   sp a ti a ll y   stru c tu re d   p o p u lati o n   d y n a m ic s,”   Eco lo g y   a n d   Evo l u ti o n ,   v o l.   8 ,   n o .   1 ,   p p .   4 9 3 - 5 0 8 ,   2 0 1 8 .   [1 3 ]   K.  S im o n y a n   a n d   A .   Zi ss e r m a n ,   “ V e ry   d e e p   c o n v o lu ti o n a l  n e tw o rk s  f o r  larg e - s c a le  i m a g e   re c o g n it io n , ”   a rXiv   p re p rin t  a rXiv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [ 1 4 ]   S .   W u ,   S .   Z h o n g ,   a n d   Y .   L i u ,   “ D e e p   r e s i d u a l   l e a r n i n g   f o r   i m a g e   s t e g a n a l y s i s , ”   M u l t i m e d .   T o o l s   A p p l . ,   p p .   1 - 1 7 ,   2 0 1 7 .   [1 5 ]   F .   Ch o ll e t ,   “ X c e p ti o n :  De e p   Lea rn in g   w it h   D e p th w ise   S e p a ra b le  Co n v o l u ti o n s,”   Pro c e e d in g s  o f  th e   IEE E   c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n ,   p p .   1 2 5 1 - 1 2 5 8 ,   2 0 1 7 .   [1 6 ]   C.   S z e g e d y ,   e t  a l. ,   “ R e th in k in g   th e   In c e p ti o n   A rc h it e c tu re   f o r  Co m p u ter  V isio n , ”   Pro c .   IEE E  Co mp u t.   S o c .   Co n f .   Co mp u t .   Vi s.   Pa t ter n   Rec o g n it . ,   v o l.   2 0 1 6 ,   p p .   2 8 1 8 - 2 8 2 6 ,   2 0 1 5 .   [1 7 ]   L .   S h a p iro   a n d   G .   S to c k m a n ,   " Co m p u ter V isio n , "   Pre n ti c e   Ha ll ,   v o l.   2 1 ,   n o .   3 .   2 0 0 1 .   [1 8 ]   N.  P ra jap a ti ,   A .   K.  Na n d a n w a r,   a n d   G .   S .   P ra jap a ti ,   “ e d g e   h isto g ra m   d e sc rip to r,   g e o m e tri c   m o m e n t  a n d   so b e l  e d g e   d e tec to r  c o m b in e d   f e a tu re s  b a se d   o b jec t  re c o g n it io n   a n d   re tri e v a l  sy ste m , ”   In t.   J .   Co mp u t.   S c i.   I n f.   T e c h n o l. ,   v o l.   7 ,   n o .   1 ,   p p .   4 0 7 - 4 1 2 ,   2 0 1 6 .   [1 9 ]   J.  Hu a n g ,   e t  a l. ,   “ I m a g e   in d e x in g   u sin g   c o lo r  c o rre lo g ra m s,”   Pro c e e d in g s  o f  IEE E  c o mp u ter   so c iety   c o n fer e n c e   o n   Co mp u ter   V isio n   a n d   Pa t ter n   Rec o g n it io n ,   p p .   7 6 2 - 7 6 8 ,   1 9 9 7 .   [2 0 ]   D.  G .   L o w e ,   “ Distin c ti v e   I m a g e   F e a tu re s  f ro m   S c a le - In v a r ian t  Ke y p o in ts  A b stra c t  b y   M a tt h ij s  Do rst , ”   In ter n a t io n a l  jo u rn a l  o f   c o mp u ter   v isio n ,   v o l.   6 0 ,   n o .   2 ,   p p .   9 1 - 1 1 0 ,   2 0 0 4   [2 1 ]   J.  Zh a n g ,   e t  a l. ,   “ L o c a l  f e a tu re s  a n d   k e rn e ls  f o r  c la ss i f ica ti o n   o f   tex tu re   a n d   o b jec t  c a teg o ries :  A   c o m p re h e n siv e   stu d y , ”   In ter n a ti o n a l  j o u rn a l  o f  c o mp u ter   v isi o n ,   v o l.   7 3 ,   n o .   2 ,   p p .   2 1 3 - 2 3 8 ,   2 0 0 7 .   [2 2 ]   B.   S .   M a n ju n a th ,   “ T e x tu re   f e a tu r e s  f o r  b ro w sin g   a n d   re tri e v a l  o f   im a g e   d a ta,”  IEE E  T ra n s.  P a tt e r n   An a l.   M a c h .   In tell. ,   v o l.   1 8 ,   n o .   8 ,   p p .   8 3 7 - 8 4 2 ,   1 9 9 6 .   [2 3 ]   X .   Ch e n ,   J.  He ,   R.   L a w re n c e ,   a n d   J.  G .   C a rb o n e ll ,   “ A d a p ti v e   m u lt i - tas k   sp a rse   lea rn in g   w it h   a n   a p p li c a ti o n   t o   f M RI   stu d y , ”   Pro c .   1 2 th   S IAM   In t .   Co n f.   Da t a   M in i n g ,   S DM   2 0 1 2 ,   p p .   2 1 2 - 2 2 3 ,   2 0 1 2 .   [2 4 ]   Y.  Zh a n g   a n d   Q.  Ya n g ,   " A   S u rv e y   o n   M u lt i - T a sk   L e a rn in g , "   a rXiv p re p rin t   a rXiv: 1 7 0 7 . 0 8 1 1 4 ,   2 0 1 7 .   [2 5 ]   J.  L e e   Ro d g e rs  a n d   W .   A lan   Nic e   W a n d e r,   “ T h irt e e n   w a y s  to   lo o k   a t  th e   c o rre l a ti o n   c o e ff icie n t, ”   T h e   Ame ric a n   S ta ti st icia n ,  v o l.   4 2 ,   n o .   1 ,   p p .   5 9 - 6 6 ,   1 9 8 8 .   [2 6 ]   T. - S .   Ch u a ,   e t  a l. ,   " NUS - W IDE:   A   Re a l - W o rld   Web   I m a g e   Da t a b a se   f ro m   N a ti o n a l  Un iv e rsit y   o f   S in g a p o re , "   Pro c e e d in g s  o f  t h e   ACM   in ter n a ti o n a l  c o n fer e n c e   o n   ima g e   a n d   v id e o   re trie v a l,   2 0 0 9 .       B I O G RAP H I E S   O F   AUTH O RS       P iy a w a t  S a e n g p e tc h ,   h e   re c e iv e d   B . S .  d e g re e   f ro m   th e   De p a rt m e n t  o f   Co m p u ter  S c ien c e   a t  S o n g k h la  Ra jab h a t  U n iv e rsity ,   T h a il a n d ,   in   1 9 9 4 ,   M S c   f ro m   th e   P rin c e   o f   S o n g k h la  Un iv e rsit y ,   T h a il a n d   i n   2 0 0 5 ,   a n d   th e   P h . D .  d e g r e e   in   2 0 1 4   f ro m   De p a rtme n t  o f   Co m p u ter   a n d   In f o rm a ti o n   S c ien c e   a t  Ki n g   M o n g k u t' s  Un iv e rsit y   o f   Tec h n o lo g y   No rth   Ba n g k o k ,   Ba n g k o k ,   T h a il a n d .     S in c e   2 0 1 0 ,   h e   h a s  w o rk e d   in   t h e   Co m p u ter  S c ien c e   P r o g ra m   a t  S u ra tt h a n i  Ra jab h a t   Un iv e rsit y ,   T h a il a n d .  His c u rre n t  re se a rc h   in   M L   a n d   A I.           Lu e p o l  Pi p a n m a e k a p o r n is   is  c u rre n tl y   a   lec tu re r  a t  th e   De p a rtme n t  o f   Co m p u ter  a n d   In f o rm a ti o n   S c ien c e ,   Ki n g   M o n g k u t' s  Un iv e rsit y   o f   No rth   Ba n g k o k ,   T h a il a n d .   He   h o l d s   b a c h e lo r' s  a n d   m a ste r' s  d e g re e s  in   c o m p u ter  sc ien c e .   He   a lso   e a rn e d   h is  d o c t o ra l  d e g re e   i n   c o m p u ter  sc ien c e   f ro m   Qu e e n sla n d   Un iv e rsity   o f   T e c h n o lo g y ,   Au stra li a ,   g ra d u a ti n g   in   2 0 1 3 .   His c u rre n t  re se a rc h   in tere sts in v o lv e   in f o rm a ti o n   re tri e v a l,   we b   m in in g ,   a n d   d a ta m in in g .         S u w a tc h a i  K a m o l sa n tiro j   is  c u rre n tl y   a   l e c tu re r  a t  th e   D e p a rtme n t  o f   Co m p u ter  a n d   In f o rm a ti o n   S c ien c e ,   Ki n g   M o n g k u t' s  Un iv e rsit y   o f   No rth   Ba n g k o k ,   T h a il a n d .   He   h o l d s   m a ste r' s  d e g re e s  in   c o m p u ter  sc ien c e .   He   a lso   e a rn e d   h is  d o c to ra l  d e g re e   in   c o m p u ter  e n g in e e rin g   f ro m   Ka s e tsa rt  Un iv e rsit y ,   T h a i lan d ,   g ra d u a ti n g   in   2 0 1 3 .   His  c u rre n t  re se a rc h   in tere sts in v o lv e   f u z z y   lo g ic,  n e u ra l  n e tw o rk ,   a n d   a rti f icia l  in telli g e n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.