I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   2 ,   A p r il 2 0 2 6 ,   p p .   1 7 9 0 ~ 1 8 0 3   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 2 . p p 1 7 9 0 - 1 8 0 3        1790     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   A sequen tial a tt e ntion - enha nc ed d eep learning   fram ewo rk f o r  ro bust pota to lea f  disea se dia g no sis  under  real fi eld c o ndition s       Wa t cha rk o rn  Yo o cho m bo o n 1 ,   Nit hizet he  M h ua dtho ng o n 1 ,   P iy a po rn  K ra cho dn o k 2   1 D i g i t a l   Te c h n o l o g y ,   S c h o o l   o f   S c i e n c e   a n d   T e c h n o l o g y ,   S u k h o t h a i   Th a m mat h i r a t   O p e n   U n i v e r si t y ,   N o n t h a b u r i ,   T h a i l a n d   2 S c h o o l   o f   T e l e c o mm u n i c a t i o n   En g i n e e r i n g ,   I n st i t u t e   o f   E n g i n e e r i n g ,   S u r a n a r e e   U n i v e r s i t y   o f   T e c h n o l o g y ,     N a k h o n   R a t c h a s i ma ,   T h a i l a n d       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   2 6 ,   2 0 2 5   R ev is ed   Feb   7 ,   2 0 2 6   Acc ep ted   Ma r   5 ,   2 0 2 6       Dia g n o si n g   p o tato   lea f  d ise a se s  fro m   ima g e s  c o ll e c ted   i n   re a l - li fe   field   se tt in g s  is  c h a ll e n g in g ,   m a in ly   b e c a u se   o f  u n e v e n   li g h ti n g ,   c o m p lex   b a c k g ro u n d s,   a n d   d ise a se   sy m p to m s  th a t   a re   o fte n   s u b t le  o r  v is u a ll y   in c o n siste n t.   In   t h is  stu d y ,   a   d e e p   lea rn in g - b a se d   fra m e wo rk   wa s  d e v e lo p e d   to   su p p o rt  p o tato   lea f  d ise a se   d i a g n o sis,   with   p a rti c u lar  a tt e n ti o n   g i v e n   t o   imp ro v i n g   g e n e ra li z a ti o n   a n d   i n terp re tatio n .   S e v e ra l  c o n v o l u ti o n a l  n e u ra l  n e two rk   (CNN )  a rc h it e c tu re s   we re   first  e x a m in e d   u n d e r   th e   sa m e   e x p e rime n tal  c o n d it io n s,  a n d   Re sN e Xt - 50  sh o we d   t h e   m o st   sta b le  o v e ra ll   p e rfo rm a n c e .   Th e   m o d e l  wa s  th e n   e x ten d e d   b y   a p p ly in g   e fficie n t  c h a n n e l   a tt e n ti o n   (ECA),   fo l lo we d   b y   sp a ti a l   a tt e n ti o n   a d a p ted   fro m   th e   c o n v o lu ti o n a l  b lo c k   a tt e n ti o n   m o d u le  (CBAM) .   Tes t  re su l ts  in d ica te  th a t  t h is   se q u e n ti a l  a tt e n ti o n   d e sig n   p e rfo rm s  b e tt e r  th a n   th e   b a se li n e   m o d e l  a s  we ll   a s  v a rian ts  u sin g   o n ly   a   si n g le  a tt e n ti o n   m e c h a n ism .   Ad d it io n a l  e v a lu a ti o n   u sin g   3 0 0   re a l - field   ima g e s  c o ll e c ted   u n d e r  d if fe re n t  fiel d   c o n d i ti o n s   su g g e sts  im p ro v e d   r o b u stn e ss ,   wh il e   v is u a li z a ti o n   re su lt s   fro m   g ra d ie n t - we ig h ted   c las s  a c ti v a ti o n   m a p p in g   (G ra d - CAM)  sh o w  c lea re r  fo c u s  o n   les io n - re late d   re g io n s.   Ov e ra ll ,   th e   fin d in g s  s u g g e st   t h a t  c o m b in i n g   c h a n n e l - wise   a n d   sp a ti a l  a tt e n ti o n   c a n   imp ro v e   b o th   p re d icti o n   re li a b il it y   a n d   in terp re tab il it y ,   m a k in g   t h e   a p p r o a c h   su it a b le f o r  p ra c ti c a l  a g ric u lt u ra l  u se .   K ey w o r d s :   Atten tio n   m ec h an is m   Dee p   lear n in g   E f f icien t c h an n el  atten tio n   C o n v o lu tio n al  b lo ck   atten tio n   m o d u le   Po tato   leaf   d is ea s e   R esNeX t - 50   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nith izeth e  Mh u ad th o n g o n   D i g i t al   T e c h n o l o g y ,   S c h o o l   o f   S c i e n c e   a n d   T ec h n o l o g y ,   S u k h o t h a i   T h a m m a t h i r at   O p e n   U n iv e r s i t y   9 / 9   M u   9 ,   C h a e n g w a tt a n a   R d .   B a n g p o o d ,   P a k k r e t   N o n t h a b u r i,   T h a i l a n d   E m ail: N ith izeth e. Mh u @ s to u . ac . th       1.   I NT RO D UCT I O N    T h e  p o tato   ( S o la n u m   tu b ero s u m   L . )   is   th e  w o r ld ’ s   m o s t  im p o r tan t  f o o d   cr o p   af ter   wh e at,   r ice,   an d   m aize .   T h e   p o tato   is   k n o wn   w o r ld wid e  f o r   its   n u tr itio n al   v al u e  [ 1 ] .  I t  is   a   v er s atile  cr o p   wi th   m an y   in d u s tr ial  u s es.  Mo r eo v er ,   it  p lay s   an   i m p o r tan t  r o le  in   g lo b al  f o o d   s ec u r ity .   I t  is   p ar ticu lar ly   im p o r tan t  f o r   d e v elo p in g   ec o n o m ies.  T h e  co n s u m p tio n   o f   p r o ce s s ed   p o tato   p r o d u cts  i s   in cr ea s in g   r ap i d ly   [ 2 ] .   I n   T h ailan d ,   f a r m er s   in   th e  n o r th er n   an d   n o r th ea s ter n   r eg io n s   co n tr ib u te  to   th e  n atio n al  p r o d u ctio n   o f   o v er   1 2 0 , 0 0 0   to n s   o f   p o tato es   ev er y   y ea r   ac r o s s   m o r e  t h an   4 2 , 0 0 0   r ai  o f   f a r m lan d .   Alth o u g h   a  h ig h ly   n u tr itio u s   an d   ec o n o m ically   im p o r tan t   cr o p ,   p o tato   p r o d u ctiv ity   is   u n d er   co n s tan t  th r ea t  f r o m   f o liar   d is ea s es,  n am ely   late  b lig h t  an d   ea r ly   b lig h t .  Acc o r d in g   to   r esear c h   co n d u cted   in   2 0 2 2 ,   s m allh o ld er   f a r m er s   m ay   l o s e  u p   t o   7 0 %   o f   th eir   h ar v est  to   P h yto p h th o r a   in fest a n s   an d   A lter n a r ia   s o la n i ,   d r i v en   b y   f a v o r ab le  h u m id ity   an d   tem p er a tu r e  co n d itio n s   [ 3 ] .  A  m o r e  r ec en t  s tu d y   s u g g e s ts   th at  m an ag em en t  f ac to r s   r elate d   to   f ield   p r ac tices  a n d   in teg r ated   p est  m an ag em en t   ca n   lo wer   th e  s e v er ity   o f   ea r ly   b lig h t   an d   im p r o v e  d is ea s e  co n tr o l   ef f icien c y   [ 4 ] ,   [ 5 ] .  I n   a n   id e al   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         A   s eq u en tia l a tten tio n - en h a n c ed   d ee p   le a r n in g   fr a mewo r k  fo r   r o b u s t  …  ( Wa tch a r ko r n   Yo o ch o mb o o n )   1791   s ce n ar io ,   th e  d etec tio n   o f   p o t ato   leaf   d is ea s es  wo u ld   b e  ti m ely ,   ac cu r ate,   an d   clo s ely   alig n ed   with   r ea l  f ield   co n d itio n s ,   en a b lin g   f ar m er s   t o   r esp o n d   b ef o r e  ir r e v er s ib le  y ield   lo s s es o cc u r .   I n   an   id ea l  ag r icu ltu r al  ec o s y s tem ,   p r o d u ctiv ity   wo u ld   b e  co n s is ten t  with   s u s ta in ab ilit y ,   p r o d u ci n g   h ig h   y ield s   with o u t e x ce s s iv e  u s e  o f   p esti cid es.  I n   r ea lity ,   f r eq u en t d is ea s e  o u tb r ea k s   h av e   led   T h ai  f ar m er s   to   r ely   h ea v ily   o n   c h em ical  f u n g icid es.  W h ile  th ese  p r o v id e  s h o r t - ter m   p r o tectio n ,   th ey   i n cr ea s e  p r o d u ctio n   co s ts ,   d eg r ad e  s o il  an d   wate r   q u ality ,   an d   r aise  co n ce r n s   o v er   f o o d   s af ety   an d   e x p o r t  p o t en tial  [ 6 ] .  T h ailan d   p r o d u ce s   o v er   4 . 5   b illi o n - b a h t  wo r th   o f   p o tato es  ea ch   y ea r ,   y et  im p o r tin g   c o u n tr ies  s u ch   as  J ap an ,   So u th   Ko r ea ,   an d   Sin g ap o r e  c o n tin u e  to   tig h ten   r esid u e   s tan d ar d s   [ 7 ] ,   [ 8 ] .  Alth o u g h   s u s tain ab le  p est - m an ag em e n t   p r ac tices  ca n   im p r o v e  e n v ir o n m en tal  p er f o r m an ce   [ 9 ] ,   [ 1 0 ]   th eir   ad o p tio n   in   T h ailan d   r e m ain s   s lo w,   lar g ely   d u e  to   lim itatio n s   in   d is ea s e  d iag n o s is   an d   tech n o lo g y   [ 1 1 ] – [ 1 3 ] .  Dis ea s e  id en tific atio n   in   r u r al  ar ea s   is   s til l   b ased   m ain ly   o n   v is u al  o b s er v atio n ,   wh ich   is   o f te n   in co n s is t en t  an d   tim e - c o n s u m in g   [ 1 4 ] ,   lead in g   f ar m er s   to   o v er u s e  f u n g icid es  as  a  p r ec au tio n .  T h is   s itu atio n   r ef lects   a  p r ac tical  b o ttlen ec k ,   as  th e  lack   o f   r eliab le,     f ield - r ea d y   d iag n o s tic  m eth o d s   p r ev en t   s u s tain ab ilit y   m ea s u r es f r o m   b ei n g   ef f ec tiv ely   ap p lied   o n   f a r m s .   Ag r o - b ased   r esear ch   o n   ar tifi cial  in tellig en ce   an d   d ee p   lea r n in g   h as  witn ess ed   in cr ea s in g   atten tio n   o v er   th e  p ast  d ec ad e  f o r   em p lo y in g   leaf   im a g es  f o r   d is e ase  d iag n o s is   [ 1 5 ] ,   [ 1 6 ] .  C o n v o lu tio n al  n eu r al   n etwo r k s   ( C NN)   ar e  also   ef f ec tiv e  in   class if y in g   m an y   ty p es  o f   p lan t  d is ea s es,  o f ten   ac h iev in g   s tr o n g   ac cu r ac y   in   ex p e r im en tal  s ettin g s   [ 1 7 ] .  Ho wev er ,   m u c h   o f   th is   d ev elo p m en t  h as  b ee n   d r iv en   b y   m o d els   tr ain ed   o n   p u b lic  d atasets   a n d   ev alu ated   in   co n tr o lled   e n v ir o n m en ts ,   s u ch   as  Plan t Villag e  o r   Kag g le.   Alth o u g h   th ese  d atasets   ar e  co m m o n l y   u s ed   f o r   b en c h m ar k in g   im ag e - b ased   m o d els,  th ey   d o   n o t  ca p t u r e  th e   v ar iab ilit y   an d   co m p lex ity   s e en   in   f ield   im ag es  [ 1 8 ] ,   [ 1 9 ] .  C o n s eq u en tly ,   m o d els  th at  d is p lay   r o b u s tn ess   in   lab o r ato r y   s ettin g s   ten d   to   p er f o r m   p o o r ly   w h en   f ac e d   with   t h e  v is u al  u n ce r tain ty   o f   r ea l f a r m   en v ir o n m e n ts .   W h en   m o d els  tr ain ed   o n   co n t r o lled   d atasets   ar e  d e p lo y ed   in   r ea l  f ield s ,   th e   s tr u ctu r al  li m itatio n s   o f   th e  d ata  b ec o m e   o b v io u s   q u ick ly .   T h e   clar ity   o f   f ield   i m ag es  is   im p air ed   d u e   to   v a r iatio n s   in   lig h tin g ,   b ac k g r o u n d   clu tter ,   p a r tial  leaf   o cc lu s io n ,   an d   d is ea s e  s y m p to m s .   T h ese  s y m p to m s   d o   n o t  co n f o r m   to   an y   s p ec if ic  p atter n .   Fu r th er m o r e,   th ey   d o   n o t   s tan d   o u t  d is tin c tly   f r o m   th e   n atu r al   tex tu r es  f o u n d   o n   th e   leav es  th em s elv es.  T h e  ch a r ac ter is tics   o f   th ese  im ag es  a r e  f u n d am e n tally   d if f er en t  f r o m   t h o s e  p r e s en t  in   th e  m o d el' s   tr ain in g   im ag es.  As  a  r esu lt,  th e  in ter n al  p r io r itizatio n   o f   f ea tu r es  is   d is r u p ted .   T h e  d r o p   in   class if icatio n   ac cu r ac y   is   n o t  th e  o n l y   is s u e.   I t  also   r ef lects  th e  d eg r ad atio n   o f   g en e r aliza tio n   ab ilit y   wh en   f ac ed   with   u n s ee n   d ata   [ 2 0 ] – [ 2 2 ] .  T h is   in s tab ilit y   s ev er ely   er o d es  u s er   co n f id e n ce   in   au t o m ated   d iag n o s tic  s y s tem s ,   p ar ticu lar ly   wh e n   d ec is io n s   ar e  m ad e  u n d er   tim e  a n d   r eso u r ce   co n s tr ain ts .   T o   o v e r co m e  th ese  lim itatio n s ,   r esear ch er s   in   co m p u ter   v is io n   h a v e  in teg r ated   atten tio n   m ec h an is m s   in to   d ee p   lear n in g   n etwo r k s .   Atten tio n   en ab les  m o d els  to   l ea r n   th e  im p o r tan ce   o f   ch an n els  as   well  a s   th e  s p atial  r elev an ce   o f   f ea tu r es.  T h is   ca p ab ilit y   h elp s   d is tin g u is h   in f o r m ativ e  f ea tu r es,  wh ic h   im p r o v es  m o d e l   p er f o r m an ce   [ 2 3 ] – [ 2 5 ] .  No n eth eless ,   th e  m ajo r ity   o f   ex is tin g   wo r k s   eith er   u tili ze   a  s in g le  atten tio n   m ec h an is m   o r   i n co r p o r ate  a tten tio n   m o d u les  in to   s tan d ar d   C NN  ar ch itectu r es  with o u t  ex p l o r in g   t h e   in ter ac tio n   b etwe en   d if f e r en t  atten tio n   m ec h an is m s   [ 2 6 ] – [ 2 9 ] .  T h u s ,   th ese  m eth o d s   d o   n o t  s h ed   s ig n if ican t  lig h t o n   h o w  atten tio n   a f f ec ts   f ea tu r e  s elec tio n   b eh av io r   a n d   d ec is io n   co n s is ten cy   u n d er   r ea l - f ield   co n d itio n s .   T h e  u tili za tio n   o f   atten tio n   m ec h an is m s   is   n o w  p r o v in g   in cr ea s in g ly   p o p u lar   in   d ee p   lear n in g   r esear ch .   Ho wev e r ,   th er e   ar e   n o t  m a n y   s tu d ies  th at  p r o v i d e  a  s y s tem atic  in v esti g atio n   o f   th e   im p ac t  o f   atten tio n   m o d u les  with   d if f er en t  s tr u ctu r al  p r o p e r ties .   T h is   lim itatio n   is   esp ec ially   o b s er v ed   in   ar ch itectu r es   with   a  h ig h er   d eg r ee   o f   s tr u c tu r al  co m p lex ity ,   s u ch   as  R e s NeX t - 50  [ 3 0 ] ,   wh ic h   e n h an c es  r ep r esen tatio n al   ca p ac ity   th r o u g h   ca r d i n ality   a n d   p a r allel  tr an s f o r m atio n s   [ 3 1 ] .  Alth o u g h   R esNeXt - 50  is   ca p ab le  o f   lear n in g   co m p lex   f ea tu r es  f r o m   v ar iab le  d ata,   th e  e x is tin g   liter atu r e   d o es  n o t  p r o v id e  e m p ir ical  a n aly s es  o f   h o w,   in   p r ac tice,   th r ee - d im en s io n al  ( c h an n el - b ased )   an d   two - d im en s io n al  ( s p atial - b ased )   atten tio n   m o d u les  o p e r ate  jo in tly   with in   R esNeX t - 50 .   T h e  ef f ec tiv e  co m b i n atio n   o f   ef f icien t  ch an n el  atten tio n   ( E C A)   an d   th e   co n v o l u tio n al  b lo c k   atten tio n   m o d u le   ( C B AM )   with in   R esNeXt - 50  h as  n o t  y et  b ee n   i n v esti g ated   f o r   th e   class if icatio n   o f   p o tato   lea f   d is ea s es  u s in g   r ea l - f ield   im ag es .   T h e   ab s en ce   o f   k n o wled g e   r eg ar d in g   h o w  d ee p   lear n in g   m o d els atten d   to   s p atial  ev id en ce   an d   f o r m   d ec is io n s   in   v is u ally   u n s tab le  ag r icu ltu r al  s ce n ar io s   h elp s   ex p lain   th is   g ap .   T h is   s tu d y   co m b in es  E C A   an d   th e  C B AM   in   th e  R esNeXt - 50  m o d el  f o r   th e  class if icatio n   o f   p o tat o   leaf   d is ea s es  u s in g   r ea l - f ield   i m ag es.  T h e  e f f icien cy   o f   t h e  m o d el  is   ev alu ated   q u a n titativ ely ,   an d   th e  s p atial   d ec is io n   b eh av io r   is   ex am in e d   u s in g   g r a d ien t - weig h te d   class   ac tiv atio n   m ap p in g   ( Gr a d - C AM ) .   T h e  aim   o f   th is   r esear ch   is   t o   ascer tain   wh eth er   a   jo in t   atten tio n   d esig n   im p r o v es  f ea t u r e - s elec tio n   s t ab ilit y ,   clar if ies  th e   s p atial  ev id en ce   th at  en ter s   th e  d ec is io n - m ak i n g   p r o ce s s ,   an d   en h a n ce s   th e  d ep lo y ab ilit y   o f   d ee p   lea r n in g   m o d els  in   r ea l  ag r icu ltu r al  a p p licatio n s .   T h is   r esear ch   wo r k ,   f r o m   a n   ac a d em ic  p e r s p ec t iv e,   o f f er s   in s ig h ts   in to   th e  u n d er s tan d i n g   o f   d ec is io n   b eh av io r   in   atten tio n - au g m en ted   d ee p   lear n in g   m o d el s .   Fro m   a  p r ac tical   p er s p ec tiv e,   it  s u p p o r ts   th e   d ev elo p m en t  o f   d iag n o s tic  s y s tem s   th at  b etter   r ef lect  r ea l - wo r ld   f a r m in g   co n s tr ain ts   an d   s u s tain ab ilit y   g o als.       Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :  1 7 9 0 - 1 8 0 3   1792   2.   RE S E ARC⁠H   M E ⁠ T H O D    T h e  g o al  o f   th is   s tu d y   was  to   cr ea te  an   au to m ate d   s y s tem   f o r   ass ess in g   p o tato   leaf   d is e ases   u s in g   d ee p   lear n in g ,   f o c u s in g   o n   p er f o r m an ce   ev al u atio n   u n d er   a  co n tr o lled   en v i r o n m e n t  an d   a  r ea l - f ield   en v ir o n m en t.  T h e  r esear ch   p r o ce s s   was  co n d u cted   in   th r ee   m ain   s tag es.  T h e   C iR A  C O R E   p latf o r m   was  u s ed   to   s elec t  th e  in itial  b aselin e  m o d el  in   th e   f ir s t  p h ase.   T h e   s ec o n d   p h ase  f o cu s ed   o n   m o d el  r e f in em en t   an d   an aly s is   th r o u g h   th e   in co r p o r atio n   o f   atten tio n   m ec h an is m s   o n   th e  G o o g le   C o lab   p latf o r m .   T h e   f in al  p h ase   ev alu ated   th e  p r ac tical  ap p lic ab ilit y   o f   th e  m o d el  u s in g   3 0 0   im ag es  f r o m   a  r ea l - f ield   i m ag e  d ataset.   T h e  r esear ch   d esig n   was  d e v elo p ed   to   m ee t  th e  o b jectiv es  o f   th e  s tu d y   b y   ass ess in g   m o d el  s tab ilit y   an d   g en er aliza tio n   a b ilit y   u n d e r   r e alis tic  ag r icu ltu r al  co n d itio n s .     2 . 1 .     Da t a ⁠  co llect io n   T h e  d ataset  u s ed   in   th is   wo r k   co n s is ted   o f   a  co n tr o lled   d ata s et  d o wn lo ad ed   f r o m   a  p u b lic   s o u r ce   as   well  as  a  r ea l - f iel d   im ag e   d ataset.   T h e  co n tr o lled   d atase t  u s ed   in   th is   wo r k   was  s o u r ce d   f r o m   Kag g le,   co m p r is in g   a  to tal  o f   7 , 1 2 8   p o tato   leaf   im ag es  class if ied   in to   th r ee   class es,  n am ely   ea r ly   b lig h t,  late  b lig h t,   an d   h ea lth y   [ 3 2 ] .  T h e   d ataset  was  s p lit  in to   8 0 :2 0   tr ain in g   an d   test in g   s u b s ets.  T h is   d a taset  was  s elec ted   b ec au s e  it  is   well  k n o wn   in   th e  p lan t  d is ea s e  class if icatio n   co m m u n ity ,   co n tain s   h ig h - q u al ity   im ag es,  an d   h as   r eliab le  an d   clea r ly   an n o tated   lab els.   T o   f u r th e r   test   th e  p r ac tical  ap p licab ilit y   o f   th e  d e v elo p e d   m o d els,  th e  tr ain e d   m o d els   wer e  also   ev alu ated   u s in g   a  r ea l - f ield   i m ag e  d ataset  co n s is tin g   o f   3 0 0   im ag es  p r o v id ed   b y   ex p e r ts   f r o m   t h e  T h ai   Dep ar tm en t  o f   Ag r icu ltu r e  [ 3 3 ] .  T h ese  im ag es  wer e  co llected   f r o m   ac t u al  p o tato   f a r m s   in   T h ailan d   an d   ex h ib ited   s u b s tan tial  v ar ia b ilit y   in   lig h tin g   c o n d itio n s ,   b ac k g r o u n d   c o m p lex ity ,   an d   leaf   d ef o r m atio n .     T h e  h i g h   v ar iab ilit y   o f   th is   d a taset  m ad e  it  s u itab le   f o r   ass ess in g   th e  m o d els’  g e n er aliza tio n   ca p ab ilit y   u n d er   r ea l - wo r ld   co n d itio n s .   T a b le  1   s u m m ar izes th e  d etailed   ch a r ac ter is tics   o f   th e  d atasets .       T ab le  1 .   Su m m a r y   o f   d atasets   u s ed   in   th is   s tu d y   D a t a s e t   s o u r c e   C l a s s   N u mb e r   o f   i m a g e s   P u r p o se   P u b l i c   d a t a se t   ( K a g g l e )   Ea r l y   b l i g h t   2 , 4 2 4   Tr a i n i n g / t e st i n g     La t e   b l i g h t   2 , 4 2 4   Tr a i n i n g / t e st i n g     H e a l t h y   2 , 2 8 0   Tr a i n i n g / t e st i n g   F i e l d   d a t a s e t   ( D O A ,   Th a i l a n d )   Ea r l y   b l i g h t   1 0 0   Ex t e r n a l   v a l i d a t i o n     La t e   b l i g h t   1 0 0   Ex t e r n a l   v a l i d a t i o n     H e a l t h y   1 0 0   Ex t e r n a l   v a l i d a t i o n       2 . 2 .     Da t a   prepa ra t i o n   T h e  d ataset  was  p r ep r o ce s s ed   b ef o r e h an d   t o   en h a n ce   im ag e  q u ality   an d   co n s is ten cy   b e f o r e  m o d el  tr ain in g .   E ac h   im ag e  was  ch ec k ed   to   r em o v e  th e  b lu r r ed ,   d u p licated ,   o r   in co r r ec tly   lab eled   s am p les  s o   th at  th e  n o is e  in   th e   s am p le  co u l d   b e  r em o v ed .   T h e  q u ality - co n tr o l  s tep   m ad e  s u r e   th at  th e  d ataset  was  r eliab l e   an d   tr u s two r th y   f o r   d e v elo p i n g   d ee p   lear n in g   m o d els.  T h e  im p o r tan ce   o f   p r e p r o ce s s in g   f o r   im p r o v i n g   r o b u s tn ess   in   v is io n - b ased   r e co g n itio n   task s   h as  b ee n   wid ely   r ep o r ted .   I n   p r ac tical  s y s tem s   o p er atin g   with   r ea l  ca p tu r e d   im ag es,  p r ep r o c ess in g   s tep s   s u ch   as  n o is e  s u p p r ess io n ,   co n tr ast  en h a n ce m en t,  an d   s tr u ctu r al   r ef in em en t  h a v e  b ee n   s h o wn   to   s ig n if ican tly   im p r o v e  r ec o g n itio n   r eliab ilit y   u n d er   v ar iab le  lig h tin g   an d   b ac k g r o u n d   co n d itio n s   [ 3 4 ] .  T h e  au g m e n tatio n   m eth o d s   in cl u d ed   th e   f o llo win g .     Ho r izo n tal  o r   v e r tical  in clu s io n   o f   f lip p e d   im ag es  as  n ew  s am p les  in   th e  d ataset.   Ho r izo n tal  f lip p in g   is   a  lef t - to - r i g h t  m i r r o r i n g   o f   an   im ag e,   wh ile  v er tical  f lip p in g   is   a   to p - to - b o tto m   r e f lectio n   o f   th e  im ag e ,   as  s h o wn   in   Fig u r e  1 .   T o   tr ain   th e  m o d el   to   r ec o g n ize   d is ea s e  f ea tu r es  f r o m   d if f er en t  a n g les,  im ag es  wer e   r o tated   at  f ix ed   an g les  ( 9 0 °,  1 8 0 °,  an d   2 7 0 °)  an d   also   r an d o m   an g les  b etwe en   3 0 °  an d   +3 0 °,  as  s h o wn   in   Fig u r e  2 .   I m ag e   b r ig h tn ess   ad ju s tm en t  was  p er f o r m e d   to   h e lp   with   m o d el   s tab ilit y   an d   cl ea r er   d is cr im in atio n   o f   th e   ef f ec ts   o f   illu m in atio n   b etwe en   s am p les.  T h e   b r i g h tn e s s   lev els  o f   th e   im ag es  wer e   c h an g ed   to   m ak e   th e   im ag e  lig h ter   o r   d ar k er ,   as in   Fig u r e  3 .           Fig u r e  1 .   E x am p les o f   d ata  au g m en tatio n   th r o u g h   h o r izo n tal  an d   v e r tical  im ag e  f lip p i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         A   s eq u en tia l a tten tio n - en h a n c ed   d ee p   le a r n in g   fr a mewo r k  fo r   r o b u s t  …  ( Wa tch a r ko r n   Yo o ch o mb o o n )   1793       Fig u r e  2 .   E x am p les o f   d ata  au g m en tatio n   th r o u g h   f i x ed - an g l e  an d   r a n d o m   im ag e  r o tatio n           Fig u r e  3 .   E x am p les o f   d ata  au g m en tatio n   th r o u g h   b r ig h tn ess   ad ju s tm en t u n d er   d if f er en t lig h tin g   co n d itio n s       2 . 3     B a s eline  m o del e v a lua t io n us ing   CiRA  CO RE   T h e  b aselin e  m o d els  wer e  d ev elo p ed   u s in g   th e  C iR A  C OR E   p latf o r m   f o r   tr ain in g   an d   ev alu atin g   d ee p   lear n in g   ar ch itectu r es  in   a  s y s tem atic  an d   co n s is ten t  m an n er   d u e  to   its   in teg r ated   en v ir o n m en t.  Fiv e  C NN  ar ch itectu r es  wer e  tr ain ed   an d   co m p ar ed   as  b aselin e  ca n d id ates  in   th is   s tu d y ,   n am ely   Alex Net,   Mo b ileNet - V2 ,   E f f icien tNet - B 0 ,   R esNet - 5 0 ,   an d   R esNeXt - 5 0 .   E ac h   m o d el  was  d ep lo y ed   u s in g   tr an s f er   lear n in g   an d   tr ain ed   u n d er   th e  s am e  tr ain in g   s ettin g s .   T h is   s tr ateg y   was  ad o p ted   to   en s u r e  th at  p er f o r m an ce   v ar iatio n s   wer e  d u e  to   ar ch itectu r al  d if f er en ce s   r ath er   th an   tr ain in g   co n d itio n s .   Fig u r e  4   illu s tr ates  th e  wo r k f lo w  o f   th e  b aselin e  m o d el  s elec tio n   p r o ce s s .           Fig u r e  4 .  W o r k f lo w  o f   b aselin e  C NN  m o d el  tr ain in g   a n d   s elec tio n   u s in g   th e  C iR A  C OR E   p latf o r m       2. 3 .1 .   ResNeXt - 50  a rc hite ct u re   R esNeXt - 5 0   is   a  d ee p   C NN  b u ilt  o n   th e  p r in cip le  o f   r esid u al  lear n in g .   I t  is   ch ar ac ter ized   b y     m u lti - b r an ch   tr an s f o r m atio n s   g o v er n ed   b y   ca r d in ality ,   wh ich   en h an ce   r ep r esen tatio n al  ca p ac ity   b y   in cr ea s in g   f ea tu r e  d iv er s ity   with o u t  in cr ea s in g   th e  d ep th   o r   wid th   o f   th e  n etwo r k .   I n   th is   s tu d y ,   th e  in p u t  im ag e  was  f ir s t  Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :  1 7 9 0 - 1 8 0 3   1794   p r o ce s s ed   th r o u g h   co n v o lu tio n al  lay er s ,   f o llo wed   b y   b atch   n o r m aliza tio n   an d   R eL U  ac tiv atio n .   T h e  s p atial  d im en s io n s   wer e  th en   r ed u ce d   v ia  m ax   p o o lin g   b ef o r e  en ter in g   th e  d ee p   f ea tu r e  ex tr ac tio n   s tag es.    T h e  b o ttlen ec k   r esid u al  b lo ck s   wer e  ar r an g ed   h ier ar ch ically   to   p er f o r m   f ea tu r e  ex tr ac tio n .   E ac h   b lo ck   co n s is ted   o f   1 ×1 ,   3 ×3 ,   an d   1 ×1   co n v o lu tio n al  lay er s .   I n   ad d itio n ,   th e  3 ×3   co n v o lu tio n   em p lo y ed   g r o u p ed   co n v o lu tio n   with   a  ca r d in ality   o f   3 2   an d   a  b ase  wid th   o f   4 .   T h is   d esig n   en ab led   g r ea ter   ch an n el - wis e  f ea tu r e  d iv er s ity   with o u t  in cr ea s in g   co m p u tatio n al  co s t.  Af ter   f ea tu r e  ex tr ac tio n ,   th e  r esu ltin g   f ea tu r e  m ap s   wer e  p ass ed   th r o u g h   a  g lo b al  av er ag e  p o o lin g   lay er   an d   a  f u lly   co n n ec ted   lay er   with   a  So f tMa x   f u n ctio n   to   class if y   im ag es  in to   th r ee   ca teg o r ies:   ea r ly   b lig h t,  late  b lig h t,  an d   h ea lth y .   T h e  o v er all  s tr u ctu r e  o f   th e  R esNeXt - 5 0   ar ch itectu r e  is   s h o wn   in   Fig u r e  5 .   R esNeXt - 5 0   was  s elec ted   as  th e  b ac k b o n e  m o d el  b ec au s e  it  p r o v id es  s em an tically   r ich   f ea tu r e  r ep r esen tatio n s   an d   s er v es  as  a  s u itab le  f o u n d atio n   f o r   in teg r atin g   atten tio n   m ec h an is m s .           Fig u r e  5 .  Ar c h itectu r e  o f   th e  R esNeX t - 50  b ac k b o n e  n etwo r k       2 . 4 .    I nte g ra t io n o f   a t t ent io n  m ec ha nis m s   into   t he  m o del  a rc hite ct ure   T h e  d esig n   o f   atten tio n   m ec h an is m s   d r aws  h ea v ily   f r o m   h u m an   v is u al  p er ce p tio n ,   wh ich   allo ws  h u m an s   to   b e  s elec tiv e  in   r ec o g n izin g   o b jects  an d   ac tiv ities .   T h u s ,   th e  h u m an   v is u al  p er ce p tio n   p r o ce s s   ca n   f ilter   in f o r m atio n   an d   f o cu s   o n   a  s p ec if ic  s tim u lu s   wh ile  ig n o r in g   o th er s .   T h er ef o r e,   atten tio n   m ec h an is m s   d r aw  in s p ir atio n   f r o m   th e  ab ilit y   o f   h u m an s   to   f ilter   ir r elev an t  in f o r m atio n   to   p er f o r m   r ec o g n itio n   task s .   Atten tio n   m ec h an is m s   h av e  en ab led   d ee p   lear n in g   m o d els  to   em p h asize  u s ef u l  v is u al  f ea tu r es  in   m o r e  lo ca lized   r eg io n s   o f   th e  s o u r ce   im ag es.  I n   th e  f ield   o f   co m p u ter   v is io n   r esear ch ,   atten tio n   m ec h an is m s   h av e  b ee n   wid ely   in teg r ated   with   C NNs.  I n   o r d er   to   m ak e  ch an n el - wis e  an d   s p atial - wis e  f ea tu r es  m o r e  d is cr im in ativ e,   f ea tu r e  weig h ts   ar e  au to m atica lly   ad ap ted .   T h is   s tu d y   in teg r ated   atten tio n   m ec h an is m s   in to   th e  R esNeXt - 5 0   m o d el  to   im p r o v e  th e  m o d el’ s   ca p ac ity   to   lear n   d is ea s e  p atter n   f ea tu r es  f r o m   p o tato   leaf   im ag es.  T h e  d esig n   in co r p o r ated   atten tio n   in   b o th   th e  ch an n el - wis e  an d   s p atial  d o m ain s   with in   th e  b ac k b o n e  n etwo r k .   T h is   en co u r ag es  th e  m o d el  to   f o cu s   o n   r eg io n s   co n tain in g   d is ea s e  s y m p to m s ,   th er eb y   r ed u cin g   n o is e  f r o m   b ac k g r o u n d   clu tter   an d   en v ir o n m en tal  v ar iatio n   in   f ield   im ag es.  T h is   tech n iq u e  was  esp ec ially   u s ef u l  f o r   d if f er en tiatin g   two   v is u ally   s im ilar   class es,  ea r ly   b lig h t a n d   late  b lig h t,  wh ich   r eq u ir e  m o r e  co n tex t - s p ec if ic  f ea tu r e  s elec tio n .     2 . 4 . 1 .   I nte g ra t io n o f   cha nn el - wis e  a t t ent io n us ing   ef f icien t   cha nn el  a t t ent io n    T o   im p r o v e  ch an n el - wis e  f ea tu r e  r ep r esen tatio n ,   E C A  [ 2 4 ]   was  in teg r ated   in to   th e  R esNeXt - 50  ar ch itectu r e.   E C A  is   a  lig h tweig h t a tten tio n   m ec h an is m   th at  d ir ec tly   lear n s   in ter - ch an n el  r elatio n s h ip s   u s in g   a  s im p le  s tr u ctu r e  with   a  lo w  n u m b er   o f   p ar am eter s .   T h is   d esig n   allo ws  th e  m o d el  to   f lex ib ly   r ewe ig h t  ch an n el  im p o r tan ce   ac co r d in g   to   th e  class if icatio n   task   wh ile  in cu r r in g   m in im al  co m p u tatio n al  co s t.   W ith in   th e  E C A  m ec h an is m ,   a  g lo b al  av er ag e  p o o lin g   o p er atio n   is   f ir s t  ap p lied   to   th e  f ea tu r e  m ap s   g en er ated   b y   th e  b ac k b o n e  n etwo r k   to   co n v er t  s p atial  in f o r m atio n   in to   a  ch an n el - wis e  d escr ip to r .   T h e  r esu ltin g   v ec to r   is   th en   p ass ed   th r o u g h   a  o n e - d im en s io n al  co n v o lu tio n   to   ca p tu r e  lo ca l  cr o s s - ch an n el  in ter ac tio n s   d ir ec tly ,   with o u t  d im en s io n ality   r ed u ctio n   o r   th e  u s e  o f   f u lly   co n n ec ted   lay er s .   C h an n el  atten tio n   weig h ts   ar e  th en   g en er ated   u s in g   a  s ig m o id   ac tiv atio n   f u n ctio n   an d   ap p lied   to   th e  o r ig in al  f ea tu r e  m ap s   th r o u g h   elem en t - wis e  m u ltip licatio n .   T h is   ap p r o ac h   p r eser v es  s em an tic  in f o r m atio n   in   th e  f ea tu r e  m ap s   an d   av o id s   in f o r m atio n   lo s s   th at  m ay   r esu lt  f r o m   o v er ly   co m p lex   tr an s f o r m atio n s .   T h e  co n ce p tu al  ar ch itectu r e  o f   th e  E C A  m o d u le  is   illu s tr ated   in   Fig u r e  6 .   Du e  to   its   s im p licity   an d   lo w  co m p u tatio n al  co s t,  E C A  was  s elec ted   f o r   ap p licatio n   to   r ea l - f ield   im ag e  d ata  th at  ar e  s tr o n g ly   af f ec ted   b y   en v ir o n m en tal  v ar iatio n .   Pre v io u s   s tu d ies  h av e  s h o wn   th at  E C A  ca n   b e  ef f ec tiv ely   in teg r ated   in to   C NNs  to   en h an ce   d is ea s e - r elate d   ch an n el  f ea tu r e  r ep r esen tatio n .   T h ese  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         A   s eq u en tia l a tten tio n - en h a n c ed   d ee p   le a r n in g   fr a mewo r k  fo r   r o b u s t  …  ( Wa tch a r ko r n   Yo o ch o mb o o n )   1795   p r o p er ties   m ak e  E C A  s u itab le  f o r   s tr en g th en in g   ch an n el - wis e  d is cr im in atio n   in   f ield - b ased   p o tato   leaf   d is ea s e  class if icatio n .           Fig u r e  6 .   C o n ce p tu al  ar ch itect u r e  o f   t h e  E C A   m o d u le       2 . 4 . 2 .   I nte g ra t io n o f   cha nn el - wis e  a nd   s pa t ia l a t t ent io n us ing   t he  co nv o lutio na l blo ck   a t t ent io n m o du le     T o   b o o s t  b o th   ch an n el - wis e  an d   s p atial  f ea tu r e  r ep r esen tatio n ,   th e  C B AM   [ 2 5 ]   was  f u s ed   with   th e  R esNeXt - 5 0   ar ch itectu r e.   T h e  d esig n   o f   C B AM   is   s u ch   th at  ch an n el  atten tio n   is   ap p lied   f ir s t,  f o llo wed   b y   s p atial  atten tio n ,   to   r ef in e  th e  f ea tu r e  m ap s   s eq u en tially .   T h e  u s e  o f   th is   s eq u en tial  atten tio n   s tr ateg y   allo wed   th e  m o d el  to   f o cu s   o n   in f o r m ativ e  f ea tu r es  an d   d is r eg ar d   th e  b ac k g r o u n d   in s tead   o f   g iv in g   all  f ea tu r e  v ec to r s   eq u al  im p o r tan ce .   T h e  s tr u ctu r e  o f   th e  C B AM   u s ed   in   th is   s tu d y   f o llo ws  th e  o r ig in al  d esig n ,   as  s h o wn   in   Fig u r e  7 .           Fig u r e  7 .  Ar c h itectu r e  o f   th e  C B AM       T h e  m o d u le  in   th e  ch an n el  atten tio n   s tag e  is   r esp o n s ib le  f o r   id en tify in g   wh ich   ch an n els  in   th e  f ea tu r e  m ap   ar e  m o s t  im p o r tan t  f o r   th e  class if icatio n   task .   T o   ca p tu r e  co m p lem en tar y   ch an n el - wis e  s tatis tics ,   f ea tu r e  m ap s   wer e  g lo b ally   av er ag e - p o o led   an d   g lo b ally   m ax - p o o led   alo n g   th e  s p atial  d im en s io n .   T h e  r esu ltin g   d escr ip to r s   wer e  p ass ed   th r o u g h   a  s h ar ed   m u ltil ay er   p er ce p tr o n   an d   th en   co m b in ed ,   f o llo wed   b y   a  s ig m o id   ac tiv atio n   f u n ctio n   to   g en er ate  th e  ch an n el  atten tio n   m ap .   T h e  r esu ltin g   atten tio n   m ap   was a p p lied   to   th e  b ase  f ea tu r e  m ap   th r o u g h   elem en t - wis e  m u ltip licatio n ,   th er eb y   en h an cin g   ch an n els  r elev an t  to   d is ea s e  ch ar ac ter is tics .   T h e  s tr u ctu r e  o f   th e  ch an n el  atten tio n   co m p o n en t is sh o wn   in   Fig u r e  8 .           Fig u r e  8 .   Ar c h itectu r e  o f   th e  c h an n el  atten tio n   co m p o n en t i n   th e  C B AM   H W C G A P H W C   σ           A d ap t i ve  s e l e c t i on   of  k e r n e l  s i z e 1x1xC 1x1xC I n p u t   F e a t u r e                     C h an n e l   A t t e n t i on   M od u l e S p at i al   A t t e n t i on   M od u l e R e f i n e d   F e a t u r e C o n v o l u ti o n a l   B l o c k   A t te n ti o n   M o d u l e I n p u t   F e a t u r e   F M ax  P oo l i n g A vg  P oo l i n g S h a r e d   M L P C h a n n e l   A t t e n t i o n   M + c Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :  1 7 9 0 - 1 8 0 3   1796   S u b s e q u e n t l y ,   t h e   c h a n n e l - r e f i n e d   f e a t u r e   m a p   w a s   p r o c e s s e d   u s i n g   s p a t i a l   a t t e n t i o n   t o   i d e n t i f y   i m p o r t a n t   s p a t i a l   l o c a t i o n s   w i t h i n   t h e   f e a t u r e   m a p .   T h e   c h a n n e l - r e f i n e d   f e a t u r e   m a p   u n d e r w e n t   a v e r a g e   p o o l i n g   a n d   m a x   p o o l i n g   a l o n g   t h e   c h a n n e l   d i m e n s i o n   t o   g e n e r a t e   a   s p a t i a l   d e s c r i p t o r .   T h i s   d e s c r i p t o r   w a s   t h e n   p a s s e d   t h r o u g h   a   c o n v o l u t i o n a l   l a y e r ,   f o l l o w e d   b y   a   s i g m o i d   a c t i v a t i o n   f u n c t i o n ,   t o   p r o d u c e   t h e   s p a t i a l   a t t e n t i o n   m a p .   B y   a p p l y i n g   t h e   s p a t i a l   a t t e n t i o n   m a p   t o   t h e   f e a t u r e   m a p   t h r o u g h   e l e m e n t - w i s e   m u l t i p l i c a t i o n ,   t h e   m o d e l   c a n   e m p h a s i z e   r e g i o n s   i n d i c a t i v e   o f   d i s e a s e   s y m p t o m s   w h i l e   s u p p r e s s i n g   b a c k g r o u n d   a r e a s .   Fig u r e  9   illu s tr ates  th e  s tr u ctu r e  o f   th e  s p atial  atten tio n   co m p o n en t.  B y   ap p ly in g   ch an n el  atten tio n   f ir s t  an d   s p atial  atten tio n   s ec o n d ,   th e  m o d el  was  ab le  to   lear n   n o t  o n ly   wh at  f ea tu r es  wer e  im p o r tan t,  b u t  also   wh er e  th ey   wer e  lo ca ted .   T h is   d esig n   was  p ar ticu lar ly   well - s u ited   f o r   f ield   im ag e  class if icatio n   task s   ch ar ac ter ized   b y   co m p lex   b ac k g r o u n d s   an d   ir r eg u lar   d is tr ib u tio n s   o f   d is ea s e  s y m p to m s .           Fig u r e  9 .  Ar c h itectu r e  o f   th e  s p atial  atten tio n   co m p o n en t i n   t h e  C B AM       2 . 4 . 3 .  S e q u e n t i a l   i n t e g r a t i o n   o f   e f f i c i e n t   c h a n n e l   a t t e n t i o n   a n d   s p a t i a l   a t t e n t i o n   T o   en h an ce   th e  ca p ac ity   o f   th e  m o d el  to   lear n   d is ea s e - r elate d   f ea tu r es  in   b o th   ch an n el - wis e  an d   s p atial  d im en s io n s ,   a  s eq u en tial  in teg r atio n   o f   E C A  an d   s p atial  atten tio n   was  in co r p o r ated   in to   th e    R esNeXt - 5 0   ar ch itectu r e  in   th is   s tu d y .   T h e  atten tio n   m ec h an is m s   wer e  o r g an ized   f r o m   ch an n el  to   s p atial  atten tio n   with in   th e  b ac k b o n e  f ea tu r e  ex tr ac tio n   p r o ce s s .   T h is   d esig n   aim ed   to   en h an ce   f ea tu r e  im p o r tan ce   h ier ar ch y   wh ile  lim itin g   r ed u n d an cy   in   atten tio n   weig h tin g .   I n   th e  p r o p o s ed   s tr u ctu r e,   th e  E C A  m ec h an is m   was  ap p lied   at  th e  ea r ly   s tag e  o f   f ea tu r e  ex tr ac tio n     in   th e  R esNeXt - 5 0   b ac k b o n e  to   ca lib r ate  ch an n el - wis e  f ea tu r e  r esp o n s es.  B y   m o d elin g   in ter - ch an n el  r elatio n s h ip s   d ir ec tly   an d   m ain tain in g   lo w  co m p u tatio n al  co m p lex ity ,   E C A  allo ws  th e  m o d el  to   s elec tiv ely   em p h asize  ch an n els  ass o ciate d   with   d is ea s e  ch ar ac ter is tics .   W ith o u t  in tr o d u cin g   s ig n if ican t  ar ch itectu r al  o r   co m p u tatio n al  o v er h ea d .   T h e   f e a t u r e   m a p s   p r o d u c e d   b y   E C A   w e r e   t h e n   f o r w a r d e d   t o   t h e   s p a t i a l   a t t e n t i o n   c o m p o n e n t   o f   C B A M   t o   i d e n t i f y   s p a t i a l   l o c a t i o n s   t h a t   w e r e   m o s t   r e l e v a n t   f o r   d i s e a s e   c l a s s i f i c a t i o n .   T o   a v o i d   r e d u n d a n c y ,   o n l y   t h e   s p a t i a l   a t t e n t i o n   c o m p o n e n t   w a s   e m p l o y e d   a t   t h i s   s t a g e ,   a s   c h a n n e l - w i s e   w e i g h t i n g   h a d   a l r e a d y   b e e n   p e r f o r m e d   b y   E C A .   T h r o u g h   s p a t i a l   r e f i n e m e n t ,   t h e   m o d e l   w a s   a b l e   t o   f o c u s   o n   l e s i o n   r e g i o n s   w h i l e   m i n i m i z i n g   t h e   i n f l u e n c e   o f   b a c k g r o u n d   n o i s e   a n d   e n v i r o n m e n t a l   v a r i a t i o n   p r e s e n t   i n   r e a l - f i e l d   i m a g e s .   Or g an izin g   atten tio n   m ec h an is m s   in   a  s eq u en tial  m an n er   en ab led   th e  m o d el  to   r eg u late  lear n in g   o f   b o th   wh ich   f ea tu r es  wer e  im p o r tan t  an d   wh er e  th ey   wer e  lo ca ted .   T h is   d esig n   was  p ar ticu lar ly   s u itab le  f o r   an aly zin g   p o tato   leaf   im ag es  ca p tu r ed   u n d er   h ig h ly   v ar iab le  an d   co m p lex   f ield   co n d itio n s .   T h e  p r o p o s ed   E C A+ S p atial - C B AM +Res NeX t - 5 0   ar ch itectu r e  is   illu s tr ated   in   Fig u r e  1 0 .     2 . 5 .     I m ple m ent a t io n e nv iro nm ent   Du e  to   th e  s tr u ctu r al  co n s tr ain ts   im p o s ed   b y   th e  C iR A  C OR E   p latf o r m   th at  r estrict  d ir ec t  m o d if icatio n s   o f   in ter n al  co m p o n en ts   with in   d ee p   n eu r al  n etwo r k   ar ch itectu r es  ( i.e . ,   s p ec if y in g   an d   in s er tin g   atten tio n   m ec h an is m s   at  th e  lay er   lev el) ,   m o d el  d ev elo p m en t  an d   tr ain in g   wer e  ca r r ied   o u t  u s in g   Py th o n   with   th e  Py T o r ch   f r am ewo r k .   T h e  r esear ch er s   o p ted   to   u s e  Py T o r ch   f o r   its   f lex ib le  ar ch itectu r e .   I t  also   allo ws  im p lem en tatio n   o f   atten tio n - r elate d   ad ju s tm en ts   th at  alig n   with   th e  g o als o f   th is   r esear ch .   All  ex p er im en ts   wer e  co n d u cted   o n   a  co m p u tin g   s y s tem   co n s is tin g   o f   an   AM D  R y ze n   7     7 8 4 0 HS  p r o ce s s o r ,   1 6   GB   o f   m ain   m em o r y ,   an d   an   NVI DI A  GeFo r ce   R T X  4 0 5 0   g r ap h ics  p r o ce s s in g   u n it  ( GPU)   with   6   GB   o f   d ed icate d   m em o r y .   T h e  ca p ac ity   o f   th is   co n f ig u r atio n   was  s u f f icien t  to   f ac ilit ate    m o d el   tr ain in g ,   ev alu atio n ,   an d   test in g   th r o u g h o u t  th e  ex p er im en t.  T o   en s u r e  th at  th e  tr ain in g   p ip elin e  was  r u n   in   a  s y s tem atic  m an n er   an d   th at  th e  p r o ject  was  r ep r o d u cib le,   a  co n s is ten t  ex p er im en tal  en v ir o n m en t  was  s elec ted .   C h a n n e l - r e f i n e d   F e a t u r e   F' Ma x P o o l ,   A v g P o o l C o n v   l a y e r S p a ti a l   A tte n ti o n   M s Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         A   s eq u en tia l a tten tio n - en h a n c ed   d ee p   le a r n in g   fr a mewo r k  fo r   r o b u s t  …  ( Wa tch a r ko r n   Yo o ch o mb o o n )   1797   I n   o r d er   to   co m p ar e  th e  m o d els  in   an   o b jectiv e  an d   f air   m an n er ,   all  s ettin g s   wer e  co n tr o lled .   All  m o d els  u tili ze d   th e  s am e  R esNeXt - 5 0   ar ch itectu r e  as  th eir   b ac k b o n e  an d   u s ed   th e  s am e  p r etr ain ed   weig h ts ,   d atasets ,   d ata  p r ep ar atio n   m eth o d s ,   an d   h y p er p ar am eter   co n f ig u r atio n s .   Mo d el  v ar iatio n s   ar o s e  s o lely   d u e  to   d if f er en ce s   in   th e  d esig n   an d   in teg r atio n   o f   atten tio n   m ec h an is m s .   T h e  ex p er im en t  was  co n tr o lled   to   cr ea te  a  s ettin g   th at  co u ld   m ea s u r e  th e  ef f ec t o f   atten tio n   o n   m o d el  b eh av io r   an d   p er f o r m an ce .           Fig u r e  10 .  Ar ch itectu r e  o f   th e  p r o p o s ed   R esNeXt - 50  with   s eq u en tial E C A  an d   s p atial  atten tio n   in teg r atio n       2 . 6 .    M o del  ev a lua t i o n a nd   re a l - f ield t esting   T h e  p er f o r m an ce   o f   th e  m o d el  was  ev alu ated   u s in g   s tan d ar d   m etr ics  ap p lied   in   im ag e  class if icatio n ,   in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e.   C o n f u s io n   m atr ix   an aly s is   was  co n d u cted   to   p r o v id e  d ee p er   in s ig h t  in to   class if icatio n   b eh av io r .   Acc u r ac y   was  u s ed   to   co m p u te  o v er all  p r ed ictiv e  co r r ec tn ess ,   wh ile  th e  r em ain in g   m etr ics  ev alu ated   th e  m o d el’ s   ab ilit y   to   d is tin g u is h   b etwe en   v is u ally   s im ilar   class es,  wh ich   is   p ar ticu lar ly   im p o r tan t f o r   p o tato   leaf   d is ea s e  class if icatio n .   Fo llo win g   m o d el  tr ain in g   an d   s elec tio n   b ased   o n   p er f o r m an ce   o n   th e  test   d ataset,   th e  R esNeXt - 50  m o d el  with   in teg r ated   atten tio n   m ec h an is m s   was  ev alu ated   o n   an   ex ter n al  d ataset  co n s is tin g   o f   3 0 0   r ea l - f ield   im ag es.  T h ese  im ag es  wer e  n o t  u s ed   d u r in g   m o d el  tr ain in g   o r   h y p er p ar am eter   tu n in g .   T h e  f ield   im ag es  ex h ib ited   n o ticea b le  v ar iatio n   in   b r ig h tn ess ,   b ac k g r o u n d   co m p lex ity ,   leaf   d ef o r m atio n ,   an d   d is ea s e  s y m p to m   ap p ea r an ce .   T h e  g o al  o f   th is   ev alu atio n   s tag e  was  to   ass ess   th e  m o d el’ s   ab ilit y   to   g en er alize   to   u n s ee n   d ata  u n d er   p r ac tical  co n d itio n s .   T o   en h an ce   ev alu atio n   cr ed ib ilit y   an d   an aly ze   q u alitativ e  m o d el  d ec is io n   b eh av io r ,   Gr ad - C AM   was  em p lo y ed .   Gr ad - C AM   v is u alize s   s p atial  ac tiv atio n   m ap s   in d icatin g   im ag e  r eg io n s   th at  co n tr ib u te  m o s t  s tr o n g ly   to   ea ch   class if icatio n   d ec is io n .   T h is   an aly s is   was  u s ed   to   ex am in e  wh eth er   th e  m o d el  f o cu s ed   o n   lesi o n   r eg io n s   co n s is ten t w ith   b io lo g ical  d is ea s e  ch ar ac ter is tics ,   th er eb y   s u p p o r tin g   m o d el  in ter p r etab ilit y   an d   s tr en g th en in g   co n f id en ce   in   th e  r eliab ilit y   o f   th e  au to m ated   d iag n o s tic  s y s tem .       3.   RE SU L T S AN D⁠  D I SCU SS I O N ⁠   T h is   s ec tio n   p r esen ts   th e  o u tco m es  o f   th e  p er f o r m an ce   ev alu atio n   o f   th e  d ee p   lear n in g   m o d els  cr ea ted   f o r   th e  d iag n o s is   o f   p o tato   leaf   d is ea s e.   T h is   s ec tio n   also   d escr ib es  th e  ex p er im en tal  r esu lts   to   f ac ilit ate  u n d er s tan d in g   o f   m o d el  b eh av io r   u n d er   th e  g iv en   ex p er im en tal  s ettin g s .   All  ex p er im en ts   wer e  p er f o r m ed   u n d er   th e  s am e  s ettin g s   to   co n tr o l  f o r   p o s s ib le  co n f o u n d in g   ef f ec ts ,   th er eb y   allo win g   a  f air   co m p ar is o n   o f   m o d els b ased   o n   g en u in e  ar ch itectu r al  d if f er en ce s   r ath er   th an   ex p er im en tal  co n f o u n d in g .     224  ×  224  ×  3 I m a g e G l o b a l   A v e r a g e   P o o l i n g F u l l y   C o n n e c t e d   L a y e r S o f t m a x C h a n n e l - r e f i n e d   F e a t u r e   F' M a x P o o l ,   A v g P o o l C o n v   l a y e r S p a ti a l   A tt e n ti o n   M s G A P   σ           A d ap t i ve  s e l e c t i on   of  k e r n e l  s i z e 1x1xC 1x1xC S p a ti a l - C B A M   M o d u l e EC A   M o d u l e Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :  1 7 9 0 - 1 8 0 3   1798   3 . 1 .    B a s eline  m o del c o m pa riso n   B aselin e  m o d el  co m p ar is o n   was  co n d u cted   u n d er   id en tical  ex p er im en tal  co n d itio n s   to   en s u r e  f air   an d   u n b iased   ev alu atio n .   T o   m itig ate  th e  im p ac t  o f   co n f o u n d in g   v ar iab les  o n   p er f o r m an ce   o u tco m es,    all  m o d els  wer e  tr ain ed   an d   test ed   u s in g   th e  s am e  d ataset,   d ata  p r ep ar atio n   p r o ce d u r es,  an d   h y p er p ar am eter s .   I n itially ,   f iv e  C NN  ar ch itectu r es  wer e  tr ain ed   an d   ev alu ated   as  b aselin e  m o d els,  n am ely   Alex Net,     Mo b ileNet - V2 ,   E f f icien tNet - B 0 ,   R esNet - 5 0 ,   an d   R esNeXt - 5 0 .   T h e  ass ess m en t  o f   th ese  m o d els,  with o u t  atten tio n   m ec h an is m s ,   s er v ed   as  a  b aselin e  f o r   f u tu r e  p er f o r m an ce   im p r o v em en t.  Per f o r m an ce   ev alu atio n   u tili ze d   s tan d ar d   class if icatio n   m etr ics,  in clu d in g   p r ec is io n ,   r ec all,   an d   F1 - s co r e  f o r   ea ch   class ,   as  well  as  o v er all  ac cu r ac y .   Fro m   th e  p er f o r m an ce   r esu lts   p r esen ted   in   T ab le  2 ,   R esNeXt - 5 0   ac h iev ed   th e  b est  p er f o r m an ce   with   an   o v er all  ac cu r ac y   o f   9 9 . 3 0 %,  wh ile  R esNet - 5 0   ac h iev ed   an   o v er all  ac cu r ac y   o f   9 9 . 1 6 %.  Am o n g   th e  ev alu ated   ar ch itectu r es,  Alex Net  ex h ib ited   th e  lo west  p er f o r m an ce .   T h ese  r esu lts   in d icate   th at  th e  en h an ce d   ca p ac ity   o f   th e  R esNeXt - 5 0   ar ch itectu r e,   wh ich   is   b ased   o n   g r o u p ed   co n v o lu tio n   an d   ag g r eg ated   r esid u al  tr an s f o r m atio n s ,   en ab led   m o r e  ef f ec tiv e  lear n in g   o f   d iv er s e  an d   d is cr im in ativ e  f ea tu r e  r ep r esen tatio n s .   T h is   ar ch itectu r al  d esig n   p r o v ed   ad v an tag eo u s   f o r   ac cu r ately   class if y in g   p o tato   leaf   d is ea s es  u n d er   co n tr o lled   co n d itio n s .   B ased   o n   th ese  f in d in g s ,   R esNeXt - 5 0   was  s elec ted   as  th e  b ac k b o n e  ar ch itectu r e  f o r   in teg r atin g   atten tio n   m ec h an is m s   an d   f u r th er   ev alu atio n   in   s u b s eq u en t stag es.       T ab le  2 .   Per f o r m an ce   co m p a r is o n   o f   th e  f iv e  d ee p   lear n i n g   m o d els o n   th e   test   s et   M o d e l   E a r l y   b l i g h t   L a t e   b l i g h t   H e a l t h y   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   P r e c i s i o n   R e c a l l   F1 - sc o r e   P r e c i s i o n   R e c a l l   F1 - sc o r e   A l e x N e t   9 3 . 6 0   9 9 . 5 9   9 6 . 4 0   9 9 . 5 3   8 7 . 0 1   9 2 . 8 8   9 3 . 8 3   100   9 6 . 8 1   9 5 . 4 4   M o b i l e N e t V 2   1 0 0   9 1 . 7 5   9 5 . 7 0   9 2 . 3 8   100   9 6 . 0 3   1 0 0   1 0 0   1 0 0   9 7 . 2 0   Ef f i c i e n t N e t B 0   1 0 0   9 8 . 3 5   9 9 . 1 6   9 7 . 1 9   100   9 8 . 5 7   9 9 . 7 7   9 7 . 1 5   9 8 . 4 4   9 8 . 9 4   R e sN e t - 50   9 7 . 7 8   1 0 0   9 8 . 8 8   9 9 . 7 9   9 7 . 7 3   9 8 . 7 4   1 0 0   9 9 . 7 8   9 9 . 8 9   9 9 . 1 6   R e sN e X t - 50   9 9 . 7 9   9 9 . 1 8   9 9 . 5 2   9 9 . 1 7   9 8 . 7 6   9 9 . 0 0   9 8 . 9 2   1 0 0   9 9 . 4 6   9 9 . 3 0       3 . 2 .    E x t er na l  v a lid a t io n us ing   re a l - f ield im a g es   T o   test   th e  m o d el’ s   ab ilit y   to   g en er alize   to   m o r e  r ea lis tic  s ce n ar io s ,   an   ex ter n al  d ataset  co n s is tin g   o f   3 0 0   r ea l - f ield   im ag es  was  u s ed   f o r   ev alu atio n .   T h ese  im ag es  wer e  n o t  in co r p o r ated   in   eith er   tr ain in g   o r   m o d el  tu n in g .   T h e  d ataset  was  s o u r ce d   f r o m   r ea l  p o tato   cu ltiv atio n   f ield s   an d   ex h ib ited   s ig n if ican t  v ar iatio n s   in   lig h tin g ,   b ac k g r o u n d   co m p lex ity ,   leaf   d ef o r m atio n ,   an d   d is ea s e  s y m p to m   ap p ea r an ce .   Fig u r e  1 1   s h o ws  r ep r esen tativ e  s am p le  im ag es  f r o m   th e  f ield ,   wh er e  Fig u r e  1 1 ( a)   illu s tr ates  late  b lig h t,  Fig u r e  1 1 ( b )   s h o ws  ea r ly   b lig h t,  an d   Fig u r e  1 1 ( c)   p r esen ts   h ea lth y   p o tato   leav es.             ( a)   ( b )   ( c)     Fig u r e  11 .   R ea l - f ield   p o tato   le af   im ag es f r o m   th e  T h ai  De p a r tm en t   o f   A g r icu ltu r e  f o r   ( a)   l ate  b lig h t ,     ( b )   ea r ly   b lig h t ,   a n d   ( c)   h ea lth y       Af ter   ch o o s in g   R esNeXt - 5 0   as  th e  b ac k b o n e  m o d el  in   th e  b aselin e  s tu d y ,   th e  im p ac t  o f   em p lo y in g   d if f er en t  k in d s   o f   atten tio n   m ec h an is m s   o n   d is ea s e  class if icatio n   p er f o r m an ce   was  ex am in ed .   T h e  test in g   in v o lv ed   f o u r   d if f er en t  v ar ian ts   o f   th e  m o d el,   in clu d in g   th e  b aselin e  R esNeXt - 5 0 ,   E C A+ R esNeXt - 5 0 ,   C B AM +Res NeX t - 5 0 ,   an d   E C A+ Sp atial - C B AM +Res NeX t - 5 0 .   As  p r esen ted   in   T ab le  3 ,   q u an titativ e  p er f o r m an ce   co m p ar is o n s   ar e  r ep o r ted ,   an d   th e  co n f u s io n   m atr ix   o f   th e  b est - p er f o r m in g   m o d el  is   s h o wn     in   Fig u r e  1 2 .   Acc o r d in g   to   T ab le  3 ,   all  atten tio n - en h an ce d   m o d els  co n s is ten tly   o u tp er f o r m ed   th e  b aselin e  R esNeXt - 5 0 .   T h e  E C A  m o d u le  en h an ce s   p er f o r m an ce   b y   s tr en g th en in g   f ea tu r e  r ep r esen tatio n   o n   a    p er - ch an n el  b asis ,   wh er ea s   C B AM   d o es  th is   b y   jo in tly   m o d elin g   ch an n el  an d   s p atial  atten tio n .   Of   all  th e  m o d els  s tu d ied   in   th is   p ap er ,   th e  E C A+ S p atial - C B AM +Res NeX t - 5 0   m o d el  ac h iev ed   th e  h ig h est  ac cu r ac y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         A   s eq u en tia l a tten tio n - en h a n c ed   d ee p   le a r n in g   fr a mewo r k  fo r   r o b u s t  …  ( Wa tch a r ko r n   Yo o ch o mb o o n )   1799   an d   F1 - s co r e.   T h is   in d icate s   th at  th e  m o r e  ef f ec tiv e  f ea tu r e  r ep r esen tatio n   ca n   b e  attr ib u ted   to   th e  co m p lem en tar y   r o les  o f   atten tio n   m ec h an is m s ,   with   ch an n el  atten tio n   s u p p o r tin g   g lo b al  f ea tu r e  s elec tio n   an d   s p atial  atten tio n   f ac ilit atin g   lesi o n   r eg io n   lo ca lizatio n .   T h e  co n f u s io n   m atr ix   s h o wn   in   Fig u r e  12   in d icate s   th at  th e  m o d el  co m p r is in g   E C A+ Sp atial - C B AM +Res NeX t - 5 0   ac h iev es  ex ce llen t  class if icatio n   p er f o r m an ce   ac r o s s   all  class es with   h ig h   ac cu r ac y .   T h e  m ajo r ity   o f   th e  m is class if icatio n s   o cc u r r ed   b etwe en   ea r ly   b lig h t  an d   late  b lig h t,  wh ich   s h ar e  s im ilar   v is u al  s y m p to m s .   T h is   f in d in g   is   co n s is ten t  with   an   ar ch itectu r al  an aly s is   in d icatin g   th at  s eq u en tial  atten tio n   in teg r atio n   en h an ce d   th e  m o d el’ s   ab ilit y   to   d is cr im in ate  b etwe en   o v er lap p in g   an d   co m p lex   d is ea s e  f ea tu r es in   ag r icu ltu r al  en v ir o n m en ts .       T ab le  3 .   Qu a n titativ e   co m p ar i s o n   o f   atten tio n - en h a n ce d   m o d els   M o d e l   A t t e n t i o n   t y p e   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   R e sN e X t - 50   N o n e   9 6 . 0 0   9 6 . 0 7   9 6 . 0 0   9 5 . 9 8   EC A + R e sN e X t - 50   C h a n n e l   9 7 . 3 3   9 7 . 3 2   9 7 . 3 3   9 7 . 3 2   C B A M + R e sN e X t - 50   C h a n n e l   +   s p a t i a l   9 6 . 3 3   9 6 . 4 4   9 6 . 3 3   9 6 . 3 2   EC A + S p a t i a l - C B A M + R e sN e X t - 50   O p t i mi z e d   h y b r i d   9 8 . 6 7   9 8 . 6 8   9 8 . 6 7   9 8 . 6 7           Fig u r e  12 .   C o n f u s io n   m atr ix   o f   th e  E C A+ Sp atial - C B A M+ R esNeXt - 5 0   m o d el  ev al u ated   o n   r ea l - f ield   im a g es       3. 3 .    B eha v io ra l  a na ly s is   o f   t he  m o del us ing   g ra d - CAM   I n   th is   s tu d y ,   Gr ad - C AM   was  ap p lied   f o r   q u alitativ e  in ter p r etatio n   in   o r d er   to   g ain   in s ig h ts   in to   th e  in ter n al  d ec is io n - m ak in g   p r o ce s s es  o f   th e  p r o p o s ed   m o d els,  as  well  as  to   an aly ze   h o w  co n s is ten t  m o d el  p r ed ictio n s   wer e  with   lesi o n   lo ca tio n s   o n   p o tato   leav es.  T h e  m ain   g o al  o f   th is   an aly s is   was to   v is u alize   s p atial  ar ea s   th at  af f ec t  class if icatio n   an d   to   ch ec k   wh eth er   th e  m o d els  ar e  f o cu s in g   o n   b io lo g ically   r elev an t  f ea tu r es  f o r   p o tato   leaf   d is ea s es.  An aly zin g   m o d el  in ter p r etab ilit y   an d   ag r ee m en t  f o r   au to m ated   p lan t  d is ea s e  d iag n o s is   is   v er y   im p o r tan t.  T h e  Gr ad - C AM   ac tiv atio n   m ap s   in   Fig u r e  1 3   ex h ib it th e  b eh av io r   o f   th e  b aselin e  R esNeXt - 5 0   m o d el  an d   th e  atten tio n - en h an ce d   m o d els u n d er   v ar io u s   co n f ig u r atio n s .   T h e   b a s e l i n e   R e s N e X t - 5 0   m o d e l   e x h i b i t e d   r e l a t i v e l y   b l u r r e d   a c t i v a t i o n ,   w i t h   n o t a b l e   r e s p o n s e s     i n   b a c k g r o u n d   r e g i o n s   o u t s i d e   t h e   l e s i o n   a r e a s .   T h e   b a s e l i n e   m o d e l   a p p e a r s   t o   h a v e   r e l i e d ,   i n   p a r t ,     o n   v i s u a l   c u e s   u n r e l a t e d   t o   t h e   d i s e a s e   d u r i n g   c l a s s i f i c a t i o n .   I n c o r p o r a t i n g   a   s i n g l e   a t t e n t i o n   m e c h a n i s m ,   s u c h   a s   E C A   o r   t h e   C B A M ,   c o n c e n t r a t e d   t h e   a c t i v a t i o n   m a p s   m o r e   o n   l e s i o n   a r e a s .   H o w e v e r ,   s o m e   b a c k g r o u n d   r e g i o n s   s t i l l   r e t a i n e d   a c t i v a t i o n s ,   i n d i c a t i n g   t h a t   i r r e l e v a n t   f e a t u r e s   w e r e   n o t   a l w a y s   c o m p l e t e l y   s u p p r e s s e d .   I n   co n tr ast,  th e  E C A+ Sp atial - C B AM +Res NeX t - 5 0   m o d el  p r o d u ce d   h ig h ly   f o ca l  an d   well - lo ca lized   ac tiv atio n   m ap s   th at  clo s ely   m atch ed   lesi o n   r eg io n s ,   esp ec ially   in   ca s es  in v o lv in g   s m all  o r   ill - d ef in ed   lesi o n s ,   wh ich   ar e  co m m o n ly   o b s er v ed   in   b o th   ea r ly   b lig h t  an d   late  b lig h t  u n d er   f ield   co n d itio n s .   T h e  r esu lts   r ev ea l  th at  th e  m o d el  ca n   lear n   to   f o cu s   o n   b io lo g ically   m ea n in g f u l  r eg io n s   with in   th e  im ag e   b y   s ep ar atin g   atten tio n   m ec h an is m s .   E C A  o p er ates  o n   th e  ch an n el  d im en s io n   to   s elec t  s em an tic  f ea tu r es,  wh ile  Sp atial - C B AM   f o cu s es o n   th e  s p atial  d im en s io n   f o r   lesi o n   lo ca lizatio n   T h e  q u alitativ e  r esu lts   o b tain ed   f r o m   th e  Gr ad - C AM   an aly s is   alig n   with   th e  q u an titativ e  p er f o r m an ce   r esu lts   r ep o r ted   ab o v e .   I n   th ese  r esu lts ,   E C A+ Sp atial - C B AM +Res NeX t - 5 0   ac h iev ed   th e  h ig h est  class if icatio n   p er f o r m an ce .   T h is   an aly s is   d em o n s tr ates  th at  atten tio n - b ased   o p tim izatio n   n o t  o n ly   im p r o v es  Evaluation Warning : The document was created with Spire.PDF for Python.