I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   43 ,   No .   2 A u g u s t   2 0 2 6 ,   p p .   4 9 5 ~ 5 0 6   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 43 .i 2 . pp 495 - 5 0 6          495     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   O CTM o dNe t:  a d eep learning - ba sed framewo rk  f o o ptical  co herence  tom o g ra phy  ima g e multi - cla ss  clas sifica tio n       Sa j a   At a a lla h M uh a m m ed 1 ,   Abba s   M .   Al i 2 ,   Dler   Sa lih   H a s a n 1   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   I n f o r ma t i o n   T e c h n o l o g y ,   C o l l e g e   o f   S c i e n c e ,   S a l a h a d d i n   U n i v e r si t y - Er b i l ,     K u r d i st a n   R e g i o n ,   I r a q   2 D e p a r t me n t   o f   S o f t w a r e   En g i n e e r i n g ,   F a c u l t y   o f   E n g i n e e r i n g ,   S a l a h a d d i n   U n i v e r si t y - Er b i l ,   K u r d i s t a n   R e g i o n ,   I r a q       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   3 0 ,   2 0 2 5   R ev is ed   J u n   1 6 ,   2 0 2 6   Acc ep ted   J u n   2 7 ,   2 0 2 6     S ig h is o n e   o t h e   m o st  si g n ifi c a n se n se in   h u m a n   b e i n g s.  Lo si n g   sig h c a n   c h a n g e   a   h u m a n ’s  l ife  d ra m a ti c a ll y .   Early   d iag n o sis  a n d   d e tec ti o n   o re ti n a l   d ise a se will   p re v e n sig h lo s s.  Op ti c a c o h e re n c e   to m o g ra p h y   (OCT)   ima g in g   is  h e lp f u l   in   o c u lar  i m a g in g   with   it s   h i g h   re so l u ti o n   a n d   n o n - in v a siv e   ima g i n g   fo d iag n o si n g   re ti n a d ise a se s.  Th is  stu d y   p ro p o se OCTM o d Ne t,   a   n o v e m u lt i - c las h y b rid   c las sifica ti o n   m o d e t h a i c a p a b le  o c las sify in g   se v e n   d iffere n t   re ti n a d ise a se u sin g   a   c o m b i n a ti o n   o f   pu b li c ly   a v a i lab le  d a tas e ts,  Ka g g le  OCT - C8 ,   a n d   OCTDL  d a tas e ts.  F o r   e ffe c ti v e   e x trac ti o n   o t h e   sig n ifi c a n fe a tu re s,  th e   c o l lec ted   d a ta  is  re siz e d   a n d   n o rm a li z e d .   A u g m e n tati o n   t e c h n iq u e a re   u se d   t o   imp r o v e   t h e   train i n g   a n d   lea rn in g   p ro c e ss .   F o m o d e d e v e l o p m e n t,   we   a p p l ied   t ra n sfe lea rn in g   a n d   fi n e - tu n e d   se v e ra l   sta te - of - th e - a rt  d e e p   lea rn in g   m o d e ls,  Re sN e t5 0 ,   In c e p ti o n V3 ,   De n se Ne t1 2 1 ,   VG G 1 6 ,   a n d   Ef ficie n tNe tV2 S .   Tw o   m o d e ls  t h a t   p e rfo rm e d   b e st,   VG G 1 6   a n d   Eff icie n tNe tV2 S ,   we re   se lec ted   a t h e   m o d e l   b a c k b o n e with   in teg ra ti o n   o a   sq u e e z e   a n d   e x c it a ti o n   b lo c k .   Th e   re su lt s   sh o we d   th a th e   OCT M o d Ne a c h iev e d   a n   o u tstan d i n g   p e rfo rm a n c e   with   9 9 %   tes a c c u ra c y ,   9 9 %   p re c isio n ,   9 9 %   re c a ll ,   9 9 %   F 1 - sc o re ,   a n d   a n   a re a   u n d e r   th e   c u rv e   ( AUC )   a 9 9 %   a c ro ss   th e   u n se e n   d a t a .   Th e se   re su lt p o i n t   o u t   th e   r o b u stn e ss   a n d   re li a b il it y   o f   t h e   p r o p o se d   m o d e t o   c la ss ify   OCT   ima g e a n d   h a v e   t h e   p o te n ti a t o   e n h a n c e   c li n ica d e c isio n - m a k in g   a n d   a ss ist  o p h th a lmo l o g ists   in   th e   e a rly   d e tec ti o n   o d ise a se s.   K ey w o r d s :   Dee p   lear n in g   Me d ic al  im ag an aly s is     Mu lti - class   clas s if icatio n   OC T   im ag class if icatio n   R etin al  d is ea s e   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Saja  Ataa llah   Mu h am m ed   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   I n f o r m atio n   T ec h n o lo g y ,   C o lleg o f   Scien ce   Salah ad d in   Un iv er s ity - E r b il   Ku r d is tan   R eg io n ,   I r aq   E m ail: saja. m u h am m ed @ s u . ed u . k r d       1.   I NT RO D UCT I O N   T h r etin a   is   th i n ,   lay e r ed   s tr u ctu r e   o f   ce lls   at  th p o s ter io r   p ar t   o f   th ey eb all.   T h is   th in   lay er   ac ts   as  th b r id g b etwe en   th lig h r ec eiv ed   b y   th ey es  an d   th im ag es  we  s ee .   T h l ig h r ec eiv ed   is   co n v er ted   in to   s ig n als  an d   p ass ed   to   th b r ain   th r o u g h   t h o p tic  n er v to   b p r o ce s s ed .   An y   d am ag to   th ese  lay er   ce lls   co u ld   af f ec th v is io n   q u ality   o r   co u ld   ca u s p e r m an e n v is io n   lo s s .   Ma n y   tech n iq u es  we r in tr o d u ce d   o v er   th y ea r s   t o   ca p tu r e   th la y er ed   s tr u ctu r e   o f   th e   r etin a   to   d eter m in wh eth e r   i t' s   n o r m al   o r   n o t.  O n o f   th ese  h elp f u l   tech n iq u es  is   o p tical  co h er en ce   to m o g r ap h y   ( OC T )   im ag in g ,   wh ic h   is   a   v ital  n o n - in v asiv im a g in g   m o d ality   in   d iag n o s in g ,   tr ea tin g ,   an d   f o llo win g   m an y   r e tin al  d is ea s es   ( e. g . ,   d iab etic  r etin o p ath y   ( DR ) ,   ep ir etin al  m em b r an e   ( E R M) ,   d r u s en ,   d iab etic  m ac u lar   ed e m ( DM E ) ,   m ac u lar   h o le  ( M H) ,   an d   ce n tr al  s er o u s   r etin o p ath y   ( C SR ) ) .   E ar ly   d ia g n o s is   an d   tr ac k i n g   o f   o cu la r   d is ea s es a r r ea lized   b y   OC T .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  43 ,   No .   2 ,   Au g u s t   20 26 495 - 5 0 6   496   No n eth eless ,   class if y in g   OC T   im ag m o d alities   is   s till   ch alle n g in g   b ec a u s o f   d iv er s im ag q u ality ,   ac q u is itio n   p r o to c o l,  an d   im b alan ce d   d atasets .   Alth o u g h   m ac h in an d   d ee p   lear n in g   m o d els  h av s h o wn   s ig n if ican p r o m is in   au to m atica lly   class if y in g   r etin al  d is ea s es,  th ey   h av lar g ely   f ailed   to   en ab le   d if f er en tiatio n   b etw ee n   OC T   m o d alities ,   th er eb y   lim itin g   th eir   p o ten tial  f o r   au to m ated   d ia g n o s is   an d   clin ical  d ec is io n - m ak in g   [ 1 ],   [2 ] .   De ep   lear n in g - b ased   ap p r o ac h es   f o r   OC T   im ag an aly s is   h av g ain ed   in ter est   r ec en tly   a n d   h av e   b ee n   s tu d ie d   in   f ew  r ec e n p u b licatio n s   [ 3 ] W ith   im p r o v ed   class if icatio n   p e r f o r m an ce   in   OC T   im ag es,  co n tr asti v lea r n in g   was  u s ed   to   e n h an ce   r ep r esen tatio n   lear n in g   [ 4 ] .   T o   o v er co m th e   lim itatio n   o f   t h s m all  n u m b e r   o f   lab elled   im a g es  co r r esp o n d in g   t o   r a r r etin al   d is ea s es  [ 5] ,   f ew - s h o t   lear n in g   me th o d s   h av b ee n   p r o p o s ed .   Mo r eo v er ,   d ee p   co n v o l u tio n al  n eu r al  n etwo r k s   ( C NNs)  lik R es Net,   I n ce p tio n V3 ,   an d   Den s eNe h av b ee n   a p p r o ac h ed   f o r   r et in al  d is ea s clas s if icatio n   [ 6 ] [ 7 ] .   On   t h o th er   h an d ,   th ese  m o d els  h av s in g le  f ea tu r ex tr ac tio n   m ec h a n is m   with   lim itat io n s   to   th h ig h er   h ier ar c h ical  r ep r esen tatio n   o f   OC T   im ag es.  No f ea tu r in g   ad a p tiv lear n i n g   r ate   s tr ateg ies  also   m ea n s   p o o r   an d   less   s tab le  co n v er g en ce .   T h ese  d r awb ac k s   em p h asize  th e   u r g en c y   o f   p r o p o s in g   d ee p   lear n in g   f r am ewo r k   u s in g   an   i n teg r ated   h y b r id - m o d el  f ea tu r ex tr ac to r ,   a d v an ce d   f ea tu r f u s es,  an d   o p tim ized   tr ain in g   s t r ateg ies.    T h is   r esear ch   p r esen ts   n o v el  h y b r id   d ee p   lear n in g - b ased   f r am ewo r k   ca lled   OC T Mo d Net  f o r   OC T   im ag m o d ality   class if icatio n .   Fu s io n   o f   E f f icien tNetV2 a n d   VGG1 6   f o r   m u lti - s ca le  f ea tu r ex tr ac tio n   an d   th u s o f   atten tio n   m ec h an is m ,   s q u ee ze   an d   ex citatio n   b l o ck   ( SE)   to   im p r o v class if icatio n   ac cu r ac y   an d   r o b u s tn ess .   I u s es  f ea t u r f u s io n   s tr ateg y   to   co m b in t h ex tr ac te d   f ea t u r es,  im p r o v in g   d is cr im in ativ e   ab ilit y .   B esid es,  th lear n in g   r ate  s ch ed u le  was  im p lem e n ted ,   as  th c o s in d ec ay   r estar was  ap p lied   to   th e   o p tim izer   to   s tab ilize  co n v er g en ce   b etter   an d   p r ev en t o v er f it tin g .   B y   co m b in in g   d if f er e n t state - of - th e - ar d ee p   lear n in g   a r ch itectu r es  with   a n   ad ap tiv e   o p tim izatio n   s tr ateg y   an d   au g m en ted   f ea tu r e   p r o c ess in g   m eth o d s ,   we  d em o n s tr ate  im p r o v ed   class if icatio n   p er f o r m an ce   c o m p a r e d   to   s tate - of - th e - ar ar ch itect u r es,  wh ich   is   th n o v elty   o f   th is   wo r k .   T h is   wo r k   p r esen ts   s tr u ctu r ed   an d   s y s tem atic  f r am ewo r k   ch ar ac ter i ze d   b y   s ev er al  k e y   co n tr ib u tio n s :   a)   Hy b r id   m u lti - b ac k b o n i n teg r atio n a   d u al - b ac k b o n e   ar ch it ec tu r co m b in in g   two   E f f icie n tNetV2 an d   VGG1 6   to   ex am i n co m p lem e n tar y   m u lti - s ca le  f ea tu r ex t r a ctio n   an d   im p r o v d is cr im in ativ ca p ab ilit y   in   OC T   r etin al  im ag in g .     b)   Atten tio n - en h an ce d   f ea tu r r e f in em en t t o   e n h an ce   f ea tu r r ec alib r ati o n   an d   r o b u s tn ess   to   s u b tle  r etin al   s tr u ctu r al  v ar iatio n s .   SE   ch a n n el  atten tio n   m ec h an is m   was in teg r ated   an d   ass ess ed .     c)   C o m p r eh en s iv c o m p ar ativ e   e v alu atio n a   s y s tem atic  ev alu a tio n   o f   wid ely   u s ed   b ac k b o n e   m o d els  s u ch   as  R esNet5 0 ,   I n ce p tio n V3 ,   Den s eNe t1 2 1 ,   VGG1 6 ,   a n d   E f f icien tNetV2 S,  to   p o s itio n   th p r o p o s e d   f r am ewo r k   with in   ex is tin g   OC T   class if icatio n   m eth o d o lo g ies.   d)   Op tim ized   tr ain in g   s tr ateg y   f o r   r o b u s co n v er g e n ce t h e   d ep lo y m e n an d   em p ir ical  v alid atio n   o f   ad ap tiv o p tim izatio n   u s in g   Nad am   with   co s in d ec ay   r estar ts   to   im p r o v co n v er g e n c s tab ilit y   an d   g en er aliza tio n   ac r o s s   h eter o g e n eo u s   OC T   d atasets .   T h clin ical  s ig n if ican ce   a n d   th u n iq u co n tr ib u tio n   o f   th is   s tu d y   ca n   b e   s u m m ar iz ed   as  th in tr o d u ctio n   o f   a   n o v el  h y b r id   f r am ewo r k   th at   f u s es  E f f icien tN etV2 an d   VGG1 6   b ac k b o n es  in teg r ated   with   SE   atten tio n   f o r   th f ir s tim f o r   th class if icatio n   o f   s ev en   d if f er en r etin al  d is e ases .   B y   co m b in in g   co m p lem en tar y   f ea tu r e x tr ac tio n   m ec h a n is m s   with   atten tio n - d r i v en   c h an n el   r ec alib r ati o n   an d   a   s tr u ctu r ed   f ea t u r f u s io n   s tr ateg y ,   th p r o p o s ed   OC T Mo d Net  en h a n c es  d is cr im in ativ p er f o r m a n c f o r   s u b tle  r etin al   ab n o r m alities .   T h in teg r atio n   o f   ad ap tiv o p tim izatio n   th r o u g h   co s in d ec ay   r estar s ch ed u li n g   an d   Nad am   f u r th er   im p r o v es  tr ain in g   s tab ilit y   an d   g en er aliza t io n   u n d er   h eter o g en eo u s   an d   p ar tiall y   im b alan ce d   m u lti - d ataset  co n d itio n s .   C lin ically ,   th f r am ewo r k   s u p p o r ts   co m p r eh en s iv au to m ated   s cr ee n in g   o f   m u ltip le  r etin al  d is ea s es  with in   u n if ied   s y s tem ,   o f f e r in g   p o ten tial  as   r o b u s d ec is io n - s u p p o r t o o f o r   o p h th alm ic   d iag n o s tics   an d   r ea l - w o r ld   OC T   d ep lo y m en t.   T h s tr u ctu r o f   th r e m ain d e r   o f   th is   p ap e r   is   as  f o llo ws.  Sectio n   2   is   tab u lated   liter atu r r ev iew.   T h th ir d   s ec tio n   c o n tain s   th e   o v er v iew  o f   th e   p r o p o s ed   m e th o d ,   w h ich   c o m p r is es  th e   d at aset  p r ep r o ce s s in g ,   d ee p   lear n in g   ar ch itectu r e ,   an d   tr ain in g   s tr ateg ies .   T h ex p er im en tal  r esu lts   ar r ep o r ted   in   th 4 th   s ec tio n .   T h 5 th   Sectio n   s u m m a r izes a n d   co n clu d es th wo r k   with   d i s cu s s io n   o f   th im p licatio n s   o f   th f in d in g s .       2.   L I T E R AT U RE   R E VI E W   OC T   h as  em er g ed   as  k e y   i m ag in g   m o d ality   in   ass ess in g   r etin al  d is ea s d u to   its   n o n - in v asiv e,   h ig h - r eso lu tio n   cr o s s - s ec tio n a r etin im ag in g .   L ately ,   d ee p   lear n in g   h as  witn ess ed   r ap id   d ev elo p m en t;   au to m ated   an aly s is   o f   OC T   i m ag es  is   m ak in g   f u r th er   s tr i d es  in   ef f icien cy   an d   ac cu r ac y   in   clin ical  d iag n o s is .   OC T   im ag class if icatio n   h as  b ee n   ap p r o ac h ed   with   d i f f er en m eth o d o lo g ies,  s u ch   as  C NNs,  tr an s f er   lear n in g ,   GANs,  an d   e n s em b l lear n in g .   B ab a   et  a l.   [ 8 ]   in tr o d u ce d   cu s to m   co n v o lu tio n al  m o d el  f o r   m a cu lar   d is o r d er   clas s if icatio n ,   ac h iev in g   9 7 tr ain in g   ac cu r ac y ,   9 3 v alid atio n   ac c u r ac y ,   an d   a   t est  ac cu r ac y   r ea ch ed   u p   to   9 8 o n   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       OC T Mo d N et:   a   d ee p   lea r n in g - b a s ed   fr a mewo r f o r   o p tica co h eren ce   … ( S a ja   A ta a lla h   Mu h a mme d )   497   Ker m an y   d ataset.   T alaa et   a l.   [ 9 ]   d em o n s tr ated   th at  att en tio n   m o d els  d o   n o alwa y s   r ea ch   n ea r - p e r f ec t   p er f o r m an ce   [ 9 ] .   T h e y   p r o p o s ed   an   atten tio n - au g m en ted   Den s Net  f o r   r etin al  d is ea s d iag n o s is th s tu d y   r ep o r ted   v alid atio n   ac cu r ac y   o f   0 . 9 1 6 7   [ 9 ] .   Milad in o v i ć  et  a l.   [ 1 0 ]   h i g h lig h ted   c h allen g es  in   OC T   class if icatio n   p er f o r m a n ce .   T h ey   s h o wed   th at  d if f er e n cl ass if ier s   h av p er f o r m ed   d if f er en tly   u n d er   d ata   s ca r city   an d   lab el  n o is [ 1 0 ] .   I n   th is   s tu d y ,   e x p er im e n ts   p r o v ed   th at  I n ce p tio n   V3   was  th b est  p er f o r m er ,   r eg is ter in g   p er f o r m a n ce   g r ea t er   th an   9 0 [ 1 0 ] .   I n   an o th er   s tu d y   o n   r etin o p ath y   d etec tio n   u s in g   VGG1 6   an d   s em i - s u p er v is ed   lear n in g   [ 1 1 ] p r o p o s ed   n etwo r k   th at  ac h iev ed   ar o u n d   9 4 an d   9 3 o n   s m all  OC T   d atasets ,   s tatin g   th at  p er f o r m a n ce   ca n   b c o n s id er ab l y   b elo w   9 8 % in   lim ited   d ata  s ettin g s   [ 1 1 ] .   r ec e n t stu d y   h as  p er f o r m ed   Xce p tio n   a n d   I n ce p tio n V3   with   s p ec if ic  au g m en tatio n   tech n iq u es  o n   th OC T - C 8   d ataset,   an d   b o th   n etwo r k s   r eg is ter ed   g o o d   class if icatio n   ac cu r ac y .   T h I n ce p tio n   m o d el  ac h iev e d   9 4 . 8 2 %,  wh ile  th Xce p tio n   m o d el  p er f o r m e d   b etter   b y   r e g is ter in g   9 5 . 2 5   ac r o s s   th 8   class es   [ 1 2 ] .   So m e   o f   th e   s tu d ies  th at   ca r r ied   o u r esear c h   o n   d if f er en OC T   d atasets   f o r   d if f er e n d is ea s d etec tio n   a n d   class if icatio n   h a v b ee n   r ev iewe d   an d   s u m m ar ized   i n   T ab le   1 .       T ab le  1 .   Su m m a r y   o f   liter atu r r ev iew  f in d i n g s   R e f .     Y e a r   M e t h o d o l o g y   D a t a s e t   s c o p e   I d e n t i f i e d   l i m i t a t i o n s   P a r r a - M o r a   e t   a l .   [ 3 ]   2 0 2 1   D e e p   C N N   f o r   ER M   d e t e c t i o n   Lo c a l   D a t a se t   ( ER M   o n l y )   B i n a r y   c l a ss i f i c a t i o n ,   si n g l e   d i se a se   d e t e c t i o n ,   n o   f e a t u r e   f u si o n   o r   a t t e n t i o n   mo d u l e s fo r   b r o a d e r   p a t h o l o g y   r e p r e s e n t a t i o n .   Y o o   e t   a l .   [ 5 ]   2 0 2 1   F e w - sh o t   l e a r n i n g   f r a mew o r k   K e r man y 2 0 1 8   S i n g l e   f e a t u r e   e x t r a c t o r   w h i c h   r e s t r i c t s rep r e se n t a t i o n a l   d i v e r s i t y ;   f e w - sh o t   l e a r n i n g   r a t h e r   t h a n   l a r g e - sca l e   mu l t i - c l a ss  c l a ss i f i c a t i o n ;   n o   f u s i o n   o r   a t t e n t i o n   mo d u l e s.   A l t a n   [ 7 ]   2 0 2 2   Ex p l a i n a b l e   C N N   D i sea s e - sp e c i f i c   O C d a t a se t   S p e c i f i c   d i se a se   c a t e g o r y ;   l a c k s m u l t i - b a c k b o n e   r e p r e se n t a t i o n   l e a r n i n g ;   s t a t i c   t r a i n i n g   p i p e l i n e   w i t h o u t   a d a p t i v e   l e a r n i n g   r a t e   st r a t e g i e s   o r   f e a t u r e   f u s i o n .   B a b a   e t   a l .   [ 8 ]   2 0 2 4   C u s t o m C N N   A r c h i t e c t u r e   K e r man y 2 0 1 8   S i n g l e - b a c k b o n e   a r c h i t e c t u r e   t h a t   l i m i t s m u l t i - sc a l e   f e a t u r e   e x t r a c t i o n ;   l a c k s   a t t e n t i o n   me c h a n i sm s t o   e m p h a s i z e   p a t h o l o g y - r e l e v a n t   r e t i n a l   l a y e r s;   f i x e d   l e a r n i n g   r a t e   t r a i n i n g   st r a t e g y   r e d u c e s c o n v e r g e n c e   e f f i c i e n c y   a n d   g e n e r a l i z a t i o n .   Ta l a a t   e t   a l .   [ 9 ]   2 0 2 4   A t t e n t i o n - b a se d   D e n seN e t   K e r man y 2 0 1 8   V a l i d a t i o n   a c c u r a c y   ~ 9 1 . 7 % ;   A l t h o u g h   a t t e n t i o n   i u se d ,   t h e   a r c h i t e c t u r e   r e l i e s   o n   a   s i n g l e   b a c k b o n e ,   r e st r i c t e d   c o m p l e me n t a r y   f e a t u r e   r e p r e se n t a t i o n ,   c o n v e n t i o n a l   LR   sch e d u l i n g   w i t h o u t   a d a p t i v e   o p t i mi z a t i o n .   M i l a d i n o v i ć   e t   a l .   [ 1 0 ]   2 0 2 4   C o m p a r a t i v e   d e e p   l e a r n i n g   e v a l u a t i o n   H e t e r o g e n e o u O C d a t a se t s   F o c u ses   o n   e v a l u a t i o n   r a t h e r   t h a n   a r c h i t e c t u r a l   i n n o v a t i o n ;   n o   f e a t u r e   f u si o n ,   a t t e n t i o n   i n t e g r a t i o n ,   o r   a d a p t i v e   o p t i m i z a t i o n   t o   a d d r e s d o m a i n   s h i f t   a c r o ss   d a t a se t s.   Lu o   e t   a l .   [ 1 1 ]   2 0 2 1   V G G 1 6   w i t h   semi - s u p e r v i se d   l e a r n i n g   K e r man y 2 0 1 8   ~ 9 4 a c c u r a c y ;   s i n g l e   a r c h i t e c t u r e ;   l a c k a t t e n t i o n   mo d u l e f o r   d i scri mi n a t i v e   f e a t u r e   w e i g h t i n g ;   n o   mu l t i - sc a l e   o r   mu l t i - b a c k b o n e   f e a t u r e   f u si o n   st r a t e g y .   N o o r   e t   a l .   [ 1 2 ]   2 0 2 6   Tr a n sf e r   l e a r n i n g   ( X c e p t i o n ,   I n c e p t i o n V 3 )   M u l t i - c l a ss  O C T - C 8   d a t a se t   ~ 9 4 9 5 a c c u r a c y ;   s i n g l e - b a c k b o n e   mo d e l s   w i t h   n o   f e a t u r e   f u si o n ;   a b s e n c e   o f   a t t e n t i o n   m e c h a n i s ms r e d u c e t h e   a b i l i t y   t o   e mp h a s i z e   d i s e a se - s p e c i f i c   r e g i o n s;   e mp l o y s s t a t i c   o p t i m i z a t i o n   s t r a t e g i e s wi t h o u t   d y n a mi c   l e a r n i n g   r a t e   a d a p t a t i o n .       Pre v io u s ly   r ev iewe d   OC T   cla s s if icatio n   s tu d ies   h av d em o n s tr ated   g o o d   p er f o r m a n ce   u s in g   s in g le  b a c k b o n e   C N N s   ( e . g . ,   V G G 1 6 ,   I n c e p t i o n ,   X c e p t i o n ,   a n d   D e n s N e t )   [ 3 ] - [1 2 ] .   F o r   i n s t a n c e ,   P a r r a - M o r a   e t   a l .   [ 3 ]   p r o p o s ed   a   d ee p   C NN  ar ch ite ctu r f o r   E R d etec tio n   u s in g   OC T   im a g es;  d esp ite   th eir   a p p r o ac h   f o cu s ed   o n   s in g le - d is ea s class if icatio n   u s in g   f ea tu r e   ex tr ac to r .   Simil ar ly ,   Yo o   et   a l.   [ 5 ]   in v esti g ated   f ew - s h o t   lear n i n g   s tr ateg ies  to   im p r o v OC T   d ia g n o s is   o f   r ar r etin al  d is ea s es,  y et  th eir   p r o p o s ed   f r am ewo r k   r elied   o n   s in g le  b ac k b o n ar ch itectu r with o u m u lti - m o d el  f ea tu r f u s io n .   W h ile  Altan   [ 7 ]   in tr o d u c ed   Dee p OC T ,   an   ex p lain ab le  C NN  m o d el  f o r   m ac u lar   ed em an aly s is ,   th eir   s tu d y   r em ain s   d is ea s e - s p ec if ic  an d   d id   n o t   in co r p o r ate  co m p lem en tar y   m u lti - s ca le  f ea tu r ex tr ac t io n   o r   ad ap tiv lear n in g   r ate  s ch e d u li n g .   Ho wev er ,   m o s ex is tin g   f r am e wo r k s   r ely   o n   a   s in g le  f ea tu r e   ex tr ac to r ,   wh ic h   ca n   lim it  th ca p tu r o f   co m p lem en tar y   r etin al  p atter n s   ac r o s s   s ca le  an d   tex tu r es,  p ar ticu lar ly   wh en   class   b o u n d ar ies  ar s u b tle.   I n   ad d it io n ,   tr ain in g   o n   s tatic  lea r n in g   r ates  o r   c o n v o lu tio n al   s ch ed u les  m a y   r esu lt  in   u n s tab le  co n v er g en ce   an d   s u b o p tim al  g en er aliza tio n   u n d er   h eter o g en e o u s   OC T   ac q u is itio n s .   C o n v er s ely ,   OC T Mo d Net  ad d r ess es  th es e   lim itatio n s   th r o u g h   d u al - b ac k b o n f u s io n   ( E f f icie n tNetV2 an d   VGG1 6 )   to   lear n   co m p le m en tar y   m u lti - s ca le  f ea tu r es.  Mo r eo v e r ,   to   r ec alib r ate  in f o r m ativ r etin al  r esp o n s es,  an   SE - b lo ck   ch an n el  atten t io n   was  u s ed ,   an d   an   ad ap tiv lear n in g   r ate  s tr ateg y   was  u s ed   ( co s in d ec ay   r estar ts   with   Nad am )   to   en h an ce   co n v er g en c e   s tab ilit y   an d   r o b u s tn ess .   T h is   co m b in atio n   a d v an ce s   b e y o n d   p r io r   s in g le - s tr ea m   OC T   class if ier s   b y   ex p licitly   in teg r atin g   m u lti - m o d el  f ea t u r f u s io n   an d   a d ap tiv e   o p tim i za tio n   with in   u n if ied   s ev en - class   OC T   d is ea s e   class if icatio n   f r am ew o r k .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  43 ,   No .   2 ,   Au g u s t   20 26 495 - 5 0 6   498   3.   M AT E R I AL S AN M E T H O DS   3 . 1 .     Da t a s et   des cr iptio n   m ix   o f   two   h ig h - q u ality   r et in al  OC T   d atasets   f r o m   th e   Kag g le  OC T - C 8   d ataset  an d   th OC T DL   h as  b ee n   u s ed   to   d ev elo p   th e   m o d el  an d   test   it  f o r   th d ia g n o s is   o f   r etin al  d is ea s es  [ 1 3 ] [ 1 4 ] .   C o m b in i n g   s am p les  f r o m   th ese  two   d atasets   in tr o d u ce s   i n ter - d ataset  v a r iab ilit y ,   wh ich   n o r m ally   h as  d if f er en t   ac q u is itio n   p r o to co ls ,   d if f e r en s ca n n er s ,   an d   d em o g r ap h ic  d iv er s ity .   T h is   m ix   will  im p r o v th m o d el's  r o b u s tn ess   an d   g en er aliza tio n   ca p ac ity .   Six   d i f f er en class es  f r o m   th OC T - C 8   d ataset  h av b ee n   ch o s en ea ch   class   h as  DR ,   C S R ,   DM E ,   DR U SEN,   MH ,   an d   NORMAL .   T h d ataset  is   s p lit  in to   t r ain ,   v alid atio n ,   an d   test   s ets   [ 1 3 ] .   I m ag es  f r o m   t h is   d ataset  ar e   n o eq u al  in   s ize;  th s ize  o f   th ese  im ag es  d if f er s .   T h E R class   was  ch o s en   f r o m   th OC T DL   d ataset  to   ad d   d iv er s ity th s izes  o f   i m ag es  in   th is   d ataset  ar n o t   eq u al  eith er   [ 1 4 ] .   Dif f er en s am p les  ar s h o wn   in   Fig u r 1 .   Data   d is tr ib u tio n   ac r o s s   th s ev en   d if f er en class es  i s   s h o wn   in   T ab le  2 .           Fig u r 1.   Sam p les f r o m   7 - class   d ataset        T ab le  2 Sam p le  d is tr ib u tio n   a cr o s s   th 7 - class   d ataset   C l a s s   Ta r i n   V a l i d a t i o n   Te st   To t a l   p e r   c l a ss   C S R   2 , 3 0 0   3 5 0   3 5 0   3 , 0 0 0   D M E   2 , 3 0 0   3 5 0   3 5 0   3 , 0 0 0   DR   2 , 3 0 0   3 5 0   3 5 0   3 , 0 0 0   D R U S EN   2 , 3 0 0   3 5 0   3 5 0   3 , 0 0 0   M a c u l a   H o l e   2 , 3 0 0   3 5 0   3 5 0   3 , 0 0 0   N o r mal   2 , 3 0 0   3 5 0   3 5 0   3 , 0 0 0   ER M   2 , 3 5 3   4 9 0   4 8 3   3 , 3 2 6   To t a l   1 6 ,   1 5 3   2 ,   5 9 0   2 , 5 8 3   2 1 , 3 2 6       T o   ass ess   th g en er aliza tio n   o f   th e   p r o p o s ed   m o d el   an d   m iti g ate  d ataset - s p ec if ic  b ias,   th m o d el  was   ev alu ated   o n   two   d e p en d e n t   d atasets Ker m ay 2 0 1 8   [ 1 5 ]   an d   OC T - C 8   [ 1 3 ]   d atasets .   T h Ker m a n y 2 0 1 8   co n s is ts   o f   ap p r o x im ately   2 0 7 , 1 3 0   im ag es,  co llected   f r o m   d if f er en p atien ts   an d   d e v ices  b etwe en   2 0 1 3   an d   2 0 1 7 .   T h d is tr ib u tio n   o f   s am p les  ac r o s s   th f o u r   class es   is   ( C NV( n =3 7 . 2 k ) ,   DM E ( n =1 1 , 3 k ) ,   DR USEN ( n =8 , 6 1 6 ) ,   an d   NO R MA L ( n =2 6 , 3 k ) )   i n   th e   tr ain in g   s u b s et,   wh ile  th e   v alid ati o n   s et  c o n tain s   2 5 0   im ag es p er   class ,   an d   th test   s et  2 4 2   s am p les p er   ea ch   o f   th e   f o u r   class es.   E x p er im en ts   wer ex te n d ed   t o   th r etin al  OC T - C 8   d ataset.   I co n s is ts   o f   8   class es,  ea ch   with   4 , 6 0 0   im ag es:  Ag e - R elate d   Ma cu la r   Oed em a,   C NV,   C SR ,   DM E ,   DR ,   DR USEN ,   MH ,   an d   NORMAL .   T h v alid atio n   a n d   tes s u b s ets  h av 7 0 0   im a g es/clas s .   T h s tan d ar d   OC T   class if icatio n   s ettin g   h as  b ee n   ex p an d e d   in   th is   d ataset  to   co m p r is eig h r etin al   d is o r d er   ca teg o r ies,  wr ap p in g   b o th   p ath o l o g ical  an d   n o r m al   co n d itio n s .   T h e   in ter - class   v is u al  s im ilar ity   an d   th elev a ted   n u m b e r   o f   class es  m ak e   th is   d ataset  m o r d if f icu lt a n d   ch allen g in g   th an   th Ker m an y 2 0 1 8   d ataset.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       OC T Mo d N et:   a   d ee p   lea r n in g - b a s ed   fr a mewo r f o r   o p tica co h eren ce   … ( S a ja   A ta a lla h   Mu h a mme d )   499   3 . 2 .    Da t a   prepro ce s s ing   3 . 2 . 1 .   I m a g e   re s izing   All  th im ag es  in   th m ix ed   d ataset  wer r esized   to   h av th ex ac d im en s io n s   an d ,   h en ce ,   ar u n if o r m   an d   r ea d y   to   b e   u tili ze d   to   f ee d   in to   th e   d ee p   lear n i n g   m o d els.  I m ag es  a r r esized   to   2 56 ×2 56   p i x els,   k ee p in g   th e   asp ec r atio   d u to   d is to r tio n .   R esizin g   im ag es  t o   s tan d a r d   r eso lu tio n   2 56 ×2 56   is   c r u cial  in   th e   d ev elo p m e n o f   th e   m o d el,   allo win g   an   ef f ec tiv an d   u n if o r m   p r o ce s s   o f   im a g es  b y   th co n v o l u tio n   n e u r al   n etwo r k s .       3 . 2 . 2 .   No rma liza t io n   I is   th e   p r o ce s s   o f   co n v er tin g   p ix el   v alu es   ( in ten s ities )   in t o   a   co n s is ten r a n g e.   No r m ali zin g   p i x el  in ten s ity   v alu es  h elp s   th n etwo r k   to   lear n   im ag e   p atter n s   m o r ef f icien tly   a n d   ac c u r atel y .   I n   th is   s tu d y ,   all   in ten s ity   v alu es o f   im ag e   p ix el s   wer s ca le d   f r o m   [ 0 , 2 5 5 ]   to   [ 0 ,   1 ]   u s in g   ( 1 ) .     = 0 255     ( 1 )     3 . 2 . 3 .   Da t a   a ug m ent a t io n   Du to   th f ac th at  h u g am o u n ts   o f   d ata  ar r eq u ir ed   b y   d ee p   lear n in g   m o d els  to   b ab le  to   p r ed ict  an d   in f er   co r r ec tl y ,   wo r k in g   o n   m ed ical  im a g es  p o s es  ch allen g b ec au s o f   d ata  s ca r ci ty   an d   av aila b ilit y .   R esear ch er s   h ad   to   u s Au g m en tatio n   tech n i q u es  to   b o o s th am o u n o f   d ata  an d   im p r o v t h lear n i n g   p r o ce s s   an d   m o d el  g en er aliza tio n   ab ilit y   to   r ec o g n ize  n ew  u n s ee n   d ata.   T h u s ef u ln ess   o f   th ese  tech n iq u es   d ep en d s   o n   th e   task   at  h a n d   o r   th p r o b lem   to   b e   s o lv ed .   I n   th is   wo r k ,   s ev e r al  au g m en tatio n   tech n i q u es  wer e   u s ed ,   as lis ted   in   T ab le  3 .       T ab le  3 .   Au g m en tatio n   tec h n i q u es u s ed   in   th s tu d y   A u g m e n t a t i o n   me t h o d   D e scri p t i o n   R o t a t i o n   R o t a t e t h e   i n p u t   i m a g e   r a n d o m l y   b y   a n g l e   [ - 3 0 ,   3 0 ]   d e g r e e s   H o r i z o n t a l   f l i p p i n g   F l i p s t h e   i n p u t   i ma g e   a r o u n d   t h e   h o r i z o n t a l   a x i s,  p e r f o r mi n g   a   mi r r o r   i n v e r s i o n   Zo o mi n g   R a n d o m l y   z o o ms   t h e   i n p u t   i ma g e   i n   o r   o u t .   S h e a r   r a n g e   Th e   i n p u t   i ma g e   w i l l   b e   d i st o r t e d   a l o n g   t h e   h o r i z o n t a l   a x i s.   F i l l   m ode   F i l l s   t h e   e m p t y   a r e a s   ( b o r d e r s)   c a u s e d   b y   f l i p p i n g   o r   r o t a t i o n   w i t h   t h e   n e a r e st   v a l i d   v a l u e   B r i g h t n e ss  a n d   c o n t r a st   a d j u st m e n t   U p d a t e s t h e   c o n t r a s t   a n d   t h e   b r i g h t n e s s o f   t h e   i n p u t   i ma g e       3 . 3 .     P r o po s ed  a rc hite ct ure   T h is   s tu d y   p r o p o s es  OC T M o d Net,   h y b r id   d ee p   lear n i n g   f r am ew o r k   d esig n ed   f o r   m u lti - class   r etin al  OC T   im ag class if icati o n .   T h f r am ewo r k   b r in g s   to g eth er   two   C NN  b ac k b o n es,  E f f icien tNetV2 an d   VGG1 6 ,   o p e r atin g   i n   p a r allel  to   ex tr ac t   co m p lem en tar y   f e atu r r e p r esen tatio n s   f r o m   th e   s am in p u t   im ag e .   An   SE  atten tio n   b lo c k   is   in t eg r ated   with in   th e   E f f icien t NetV2 b r an ch   to   en h a n ce   c h an n el - wis f ea tu r e   im p o r tan ce .   T h ex tr ac ted   f ea t u r es  f r o m   t h two   b r an ch es  ar th en   f u s ed   th r o u g h   c o n ca ten atio n   an d   p ass ed   to   f u l ly   co n n ec ted   class if icatio n   h ea d .   T h o v er all  ar ch itectu r o f   th m o d el  is   illu s t r ated   in   Fig u r 2.     3. 4 .   B a c k bo ne  m o del selec t i o n   T o   id en tif y   s u itab le  b ac k b o n e   ar ch itectu r es,  f iv e   d if f er en t,   wid ely   u s ed   C NN  ar ch itectu r es  wer f ir s ev alu ated   o n   th d atas et:  R es Net5 0 ,   I n ce p tio n V3 ,   Den s eNe t1 2 1 ,   VGG1 6 ,   an d   E f f icien tN etV2 S.  Pre lim in ar y   ex p er im en ts   s h o wed   th at  E f f i cien tNetV2 p er f o r m e d   b etter   th an   th o th e r   m o d els  b y   ac h i ev in g   th s tr o n g est  class if icatio n   p er f o r m an ce ,   as   s h o wn   in   T ab le   4 .   Alth o u g h   Den s eNe t1 2 1   was  th s ec o n d   b est  p er f o r m e r ,   b u t   VGG1 6   was  s elec ted   in s tead   f o r   its   co m p lem en tar y   ar c h itectu r al  ch ar ac ter is tics .   VGG1 6   em p lo y s   s im p le  an d   s eq u en tial  co n v o lu tio n al  d esig n   th at  ef f ec tiv ely   ca p tu r es  f in e - g r ain e d   s p atial  p atter n s   an d   tex tu r e   in f o r m atio n   in   OC T   im ag es.  I n   co n tr ast,  E f f icien tNetV2 f o cu s es  o n   ef f icien t   h ier ar c h ical  f ea tu r ex tr ac tio n   th r o u g h   o p tim ized   co n v o lu tio n al  b lo ck s   an d   co m p o u n d   s ca l in g .     C o m b in in g   t h ese  two   ar ch it ec tu r es  in tr o d u ce s   r ep r esen tatio n al  d iv er s ity ,   en ab lin g   th e   p r o p o s ed   mode to   lear n   b o th   d etailed   lo ca l   s tr u ctu r an d   g lo b ally   o p tim ized   f ea t u r r ep r esen tatio n s .   T h is   co m p lem en tar y   co m b in atio n   im p r o v es  th ef f ec tiv en ess   o f   th f ea tu r f u s io n   s tag an d   co n tr ib u tes  to   th e   o v er all  p er f o r m an ce   im p r o v e m en o f   th OC T Mo d Net  m o d el.   Fu r th er m o r e,   co m b in in g   d if f er en d esig n   ar ch itectu r es  h as  b ee n   s h o wn   to   im p r o v th p e r f o r m an ce   o f   h y b r id   m o d els  b y   r e d u cin g   f ea tu r r ed u n d a n cy   an d   in cr ea s in g   r ep r esen tatio n a l d iv er s ity   in   m u lti - b a ck b o n n etwo r k s   [ 16 ].       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  43 ,   No .   2 ,   Au g u s t   20 26 495 - 5 0 6   500       Fig u r 2.   OC T Mo d Net  ar c h itectu r e       3 . 5 .   E f f icient Net V2 S   co n v o l u tio n   n e u r al  n etwo r k ,   an   im p r o v ed ,   s m aller   v e r s io n   o f   th E f f icien tNet  f am ily .   T h m ain   ar ch itectu r b lo ck   o f   th is   n etwo r k   is   MB C o n v   an d   Fu s ed - MBC o n v .   T h m ain   id ea   b e h in d   u s in g   Fu s ed - MBC o n v   is   to   im p r o v th tr ain in g   s p ee d   [ 1 7 ] .   T h m a in   m o d if icatio n   m a d was  r em o v in g   th f u lly   co n n ec ted   lay er   ( FC )   to   b u s ed   o n ly   as  f ea tu r ex tr ac to r ,   allo win g   th ar ch itectu r to   ex tr ac h ig h - lev el   v is u al  f ea tu r es  s u ch   as  tex tu r e s ,   ed g es,  an d   s tr u ctu r al   p atter n s   r elev an to   r etin al  OC T   im ag es.  T h m o d el  was   f in e - tu n e d   to   ad a p t its   lear n ed   r ep r esen tatio n s   to   d o m ain - s p e cif ic  r etin al  s tr u ctu r es   [1 7 ].     3. 6 .   Sq ueez e - a nd - ex cit a t i o blo ck   T h m ain   g o al  b e h in d   u s in g   SE - b lo ck   was  to   im p r o v th r ep r esen tatio n   q u ality   th at  n etwo r k   in tr o d u ce s .   T h is   b l o ck   allo ws  f ea tu r r ec alib r atio n ,   wh ich   e n ab les  th e   lear n in g   p r o ce s s   to   ca r ef u lly   h ig h lig h t   f ea tu r es  th at  ar in f o r m ativ e   a n d   f ilter   o u th less   in f o r m ativ o r   less   u s ef u o n es  [ 1 8 ] .   T h SE - b lo ck   h as  two   m ain   p h ases th s q u ee ze   p h ase  an d   th ex citatio n   p h ase.   I n   th s q u ee ze   p h ase,   th m o d el  g en er ates  ch an n el   wis s tatis t ics  th r o u g h   g lo b all y   p o o lin g   f ea tu r es  ac r o s s   th s p atial  d im en s io n s   to   ca p tu r th m o s s ig n if ican in f o r m atio n   f o r   ea ch   ch a n n el.   I n   th s ec o n d   p h ase,   th ex c ita tio n   p h ase,   th lear n ed   ch a n n el  wis s tat is tic s   f r o m   th e   f ir s p h ase  will  b u t ilized   to   p r o d u ce   atten tio n   we ig h ts   [ 1 9 ] .   T h ese  weig h ts   r ep r esen th in f lu en ce   o f   ea ch   ch an n el  o n   th e   f in al   d ec is io n   o r   r ep r esen tatio n .   T h r o u g h   th is   p r o ce s s ,   th n etwo r k   will  b e n ab led   to   g iv m o r atten tio n   t o   th e   m o s r elev an o r   m o s in f o r m at iv ch an n els  an d   b lo c k   o u t h less   in f o r m ativ e   ch an n els [ 1 9 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       OC T Mo d N et:   a   d ee p   lea r n in g - b a s ed   fr a mewo r f o r   o p tica co h eren ce   … ( S a ja   A ta a lla h   Mu h a mme d )   501   3 . 7 .    VG G 1 6   I is   ty p o f   C NN  in tr o d u ce d   b y   th e   Vis u al  Geo m etr y   Gr o u p   in   2 0 1 4 .   I b ec am o n o f   th e   ar ch itectu r es  th at  g ain ed   s i g n if ican p o p u lar ity   a n d   wa s   d ep lo y ed   in   m an y   v is io n   task s   d u to   its   ef f ec tiv en ess ,   s im p licity ,   an d   tr an s f er ab ilit y .   T h m ain   g o al  o f   th e   p r o p o s ed   ar c h itectu r was  to   d em o n s tr ate   th cr itical  r o le  o f   th d e p th   o f   th n etwo r k   in   ac h iev i n g   h ig h   p er f o r m a n ce   in   v is io n   ta s k s .   T h to tal  lay er   n u m b er   o f   th is   m o d el  is   1 6 ,   co n s is tin g   o f   1 3   co n v o lu tio n s   an d   th r ee   FC   lay er s .   T h d e s ig n   o f   th n etwo r k   im p r o v es its   ca p ac ity   to   e x tr ac t c o m p lex   f ea t u r es f r o m   th in p u t im ag e   [ 2 0 ]   I n   th e   cu r r en wo r k ,   p r etr a in ed   VGG1 6   m o d el   o n   I m a g eNe is   u s ed   as  th e   s ec o n d   b ac k b o n e   n etwo r k .   T h m ai n   m o d if icat io n   m ad to   th is   m o d el  was  r em o v in g   th to p   class if ier   lay er   o f   th m o d el,   allo win g   th m o d el  to   o p e r ate  as  f ea tu r ex tr ac to r .   T h e x tr ac ted   f ea tu r m a p s   ar th en   p r o ce s s ed   u s in g   a   g lo b al  av er ag p o o lin g   ( GAP )   lay er ,   f o llo wed   b y   b atc h   n o r m aliza tio n   ( B N)   to   p r o d u ce   co m p ac f ea tu r r ep r esen tatio n   b ef o r th f ea tu r e   f u s io n   s tag e.   T h m ain   g o al  o f   u s in g   th is   ar ch itectu r is   to   ca p tu r f in e - g r ain ed   s p atial  p atter n s   in   OC T   im ag es,  th u s   co m p lem en tin g   th h ier a r ch ical  f ea tu r r e p r esen tatio n s   lear n ed   b y   E f f icien tNetV2 S in   th e   o th er   b r an c h   o f   th f r a m ewo r k   [ 2 0 ] .     3 . 8 .    F e a t ure  f us io n   T h r esu ltin g   te n s o r s   ex tr ac te d   f r o m   th two   d if f e r en b ac k b o n es  wer c o n ca ten ated .   E ac h   o f   th ese  two   f ea tu r e   v ec to r s   was  p r o ce s s ed   in d ep en d en tly   an d   p a s s ed   th r o u g h   t h d if f er en t   la y er s   o f   th ese  two   d if f er en b ase  m o d els.  T h k n o wled g o b tai n ed   f r o m   th es b r an c h es  was  co m b in ed .   E ac h   o f   t h ese  two   m o d els  h as  lea r n ed   d if f er e n s et  o f   p atter n s   f r o m   t h s am in p u t.  T h f u s io n   o f   th e s f ea tu r e   m ap s   b y   co n ca ten atio n   will  allo th n ex FC   lay er   to   lear n   f r o m   t h ese  co m b in ed   f ea tu r r e p r es en tatio n s   to   ass is i n   th p r o ce s s   o f   th f in al  d ec is io n - m ak in g   b y   th class if ier   lay er .     3 . 9 Cla s s if ier  hea   T h f in al  class if icatio n   d ec is io n   is   m ad b y   th class if icatio n   h ea d   th at  r ec eiv es  th f u s ed   f ea tu r e   m ap s   f r o m   th two   b ase  m o d els  an d   d ec id es  to   wh ich   cl ass   th in p u R etin al  O C T   i m ag b elo n g s .   T h e   class if icatio n   h ea d   co n s is ts   o f   two   d en s lay er s   with   1 0 2 4   an d   5 1 2   u n its   with   s wi s h   ac ti v atio n .   E ac h   d en s e   lay er   is   f o llo wed   b y   d r o p o u lay er   b y   0 . 6 ,   an d   0 . 4 ,   r esp ec tiv ely   to   p r ev en m o d el  o v er f itti n g .   T h f in a m u lti - class   clas s if icatio n   was  m ad b y   t h So f tMa x   lay er .   T h is   lay er   co n v e r ts   th o u tp u f r o m   th last   m o d el   lay er   in to   p r o b ab ilit y   d is t r ib u tio n .   W h er ea ch   v alu e   in   th is   p r o b ab ilit y   d is tr ib u tio n   r ep r esen ts   th p r o b a b ilit y   o f   b elo n g in g   th e   in p u R etin a OC T   im ag in to   o n o f   th s ev en   class es.  T h h ig h er   v alu e   r ep r esen ts   th tr u class   o f   th e   in p u t im ag e .       3 . 1 0 H a nd lin g   cla s s   im ba la nce     T o   h an d le  th class   im b alan ce   in   th ( 7 - class   an d   Ker m an y 2 0 1 8 ) d atasets ,   class   weig h tin g   was  ap p lied   d u r in g   tr ai n in g   o f   t h f r am ewo r k .   E v er y   class   r ec eiv ed   weig h i n v er s ely   p r o p o r tio n al  to   its   f r eq u e n cy   i n   th e   tr ain i n g   s et.   B y   en s u r in g   th at   u n d er r e p r esen ted   class es  co n tr ib u te  p r o p o r tio n ately   to   th e   lo s s   f u n ctio n ,   th is   m eth o d   k ee p s   th m o d el  f r o m   b ein g   s k ewe d   i n   f av o u r   o f   m ajo r ity   class es.   T h o v er all  wo r k f lo o f   th p r o p o s ed   f r a m ewo r k   is   s h o wn   in   Alg o r ith m   1 .     Alg o r ith m   1.   OC T Mo d Net  p ip elin f o r   OC T   im ag class if icatio n   Input:  OCT image dataset  , number of classes  , learning rate  , dropout  .   Output:   Predicted class  ̂ .   Steps:   1.   Preprocessing:     Resize images to  256 × 256 , normalize pixel values, and apply augmentation   2.   Feature Extraction:     Compute feature map  = ( )   using EfficientNetV2S backbone.     Ap pl SE - bl oc to   re ca li br at Th en   us Gl ob al   Av er ag Po ol in (G AP an d   Batch Normalization to obtain      Compute  feature  map   = ( )   us in VG G1 6,   fo ll ow e by   GA P   an Ba tc h   Normalization to obtain    3.   Feature Fusion     Concatenate the extracted feature vectors:   = [ ; ] .   4.   Classification:     Pass     through  the  Dense(1024,  swish)  Dropout(0.6),  then  Dense(512 ,   swish) + Dropout(0.4).     Apply SoftMax to produce class probabilities and assign the final   label.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  43 ,   No .   2 ,   Au g u s t   20 26 495 - 5 0 6   502   5.   Training:     Tr ai th mo de us in g   c at eg or ic al   cr os s - en tr op y   lo ss cl as we ig ht in g,   an d   update weights using the Nadam optimizer.     Apply Cosine Decay Restart for learning rate.     Train for  50   epochs with batch size  16 .     6.   Evaluation:   Validate on    , t est on   , save the trained model   .       4.   RE SU L T S AN D I SCU SS I O N   4 . 1 .     E x perim ent a s et up   T h m o d el  was  tr ain ed   o n   a   s y s tem   with   an   I n tel  C o r e   i9 - 1 2 9 0 0 C PU,  6 4 GB   R AM ,   an d   an   NVI DI R T 3 0 9 0   ( 2 4 GB   VR AM ) ,   wh ich   was  u s ed   f o r   all  o f   th tr ai n in g   a n d   v alid atio n   p r o ce s s es.  Py th o n   3 . 8   was  u s ed   f o r   tr ain in g ,   w h ile  T en s o r Flo 2 . 9   with   th e   Ker as  b ac k en d   was  u s ed   f o r   th d ee p   lear n in g   f r am ewo r k   im p lem e n tatio n .   T h d ataset  was  p r o ce s s ed   u s in g   Op e n C an d   N u m Py ,   an d   p er f o r m a n ce   was  v is u alis ed   u s in g   Ma tp lo tlib .   Pix el  in ten s ities   wer n o r m alis ed   with in   th in ter v al  [ 0 , 1 ] ,   a n d   all  OC T   p ictu r es   wer co n v e r ted   to   2 5 6 × 2 5 6 × 3   R GB   f o r m at.   T h p r o p o s ed   f r am ewo r k   was  tr ain e d   f o r   5 0   ep o ch s ,   b atch   s ize   eq u al  to   3 2 ,   u s in g   th Nad am   Op tim izatio n   tech n iq u e   with   a n   in itial lea r n in g   r ate  o f   0 . 0 0 0 1 .     4 . 2 .     E v a lua t i o m et rics   T o   ev alu ate   th p e r f o r m an ce   o f   OC T Mo d Net  f o r   OC T   i m ag class if icatio n ,   s ev er al  p er f o r m a n ce   m etr ics  wer u s ed   to   ass es s   b o th   o v er all   an d   class - wis class if icatio n   b eh av io r .   Fo r   m u lti - class   class if icatio n   p r o b lem   with   N   s am p les  an d   C   class es,  s tan d ar d   class if icatio n   m etr ics  wer ad o p ted   [ 21 ],   [ 2 2 ]   in   ( 2 ) - ( 5 )   e x p r ess   th m etr ics  u s ed   f o r   m o d el  e v alu atio n :   T h o v e r all  class if icatio n   ac cu r ac y   is   d ef in ed   as:       = 1 ( ̂ = )  = 1   ( 2 )     Pre cisi o n ,   r ec all,   an d   F1 - s co r e   wer ca lcu lated   p er   class   as f o llo ws [ 2 1 ] ,   [ 2 3 ] .       =   +    ( 3 )       =   +    ( 4 )     1  = 2 ×  ×    +    ( 5 )     Fo r   m u lti - class   ev alu atio n ,   m ac r o - av e r ag in g   was  ad o p te d   to   en s u r eq u al  co n tr ib u t io n   o f   ea ch   class   ir r esp ec tiv o f   class   im b alan c [ 2 3 ] .   Fo r   f u r th e r   ass ess in g   d is cr im in ativ ca p ab ilit y ,   th e   ar ea   u n d er   th r ec ei v er   o p er atin g   c h ar ac ter is ti c   cu r v ( AUC - R OC )   was  co m p u ted   u s in g   t h On e - vs - R est  s t r ateg y   [ 2 4 ] ,   [ 2 5 ] .   Fo r   ea ch   cla s s   c,   b in ar y   R OC   cu r v was  co n s tr u cted   b y   t r e atin g   class   as  p o s itiv an d   all  o th er   class es  as  n eg ativ e.   T h class - wis ar ea   u n d er   t h cu r v e   ( AUC )   v alu es   wer th en   ag g r e g ate d   u s in g   m ac r o   av er a g in g   ( 1 3 )   an d   ( 1 4 ) .      =  ( ) ( ) 1 0    = 1  = 1     All  ev alu atio n   m etr ics  wer e   c o m p u ted   o n   th e   in d ep en d en t est  s et  th at  h ad   n o b ee n   u s ed   d u r in g   tr ain in g   th e   m o d el  o r   h y p er p ar a m eter   tu n i n g .     4 . 3 .     Resul t s   OC T Mo d Net   was  ev alu ated   o n   an   i n d ep e n d en t   test   s et  co n s is tin g   o f   s ev en   d if f e r en r etin al  d is o r d er s .   T h p r o p o s ed   m o d e l a ch iev ed   an   o v er all  test   ac cu r ac y   o f   9 9 % a n d   m ac r o - av er ag ed   AUC o f   9 9 %,  o u tp er f o r m in g   th ev al u ated   s in g le - b ac k b o n m o d els  ( R E SNet5 0 ,   I n ce p tio n V 3 ,   De n s eNe t1 2 1 ,   VGG1 6 ,   an d   E f f icien tNetV2 S)  u n d e r   id en ti ca l tr ain in g   an d   v alid atio n   co n d itio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       OC T Mo d N et:   a   d ee p   lea r n in g - b a s ed   fr a mewo r f o r   o p tica co h eren ce   … ( S a ja   A ta a lla h   Mu h a mme d )   503   C l as s - w is e   p r e c i s i o n ,   r e c a l l ,   an d   F 1 - s c o r e s   ( s e e   F i g u r e   3 )   s h o w   c o n s is t e n t   p e r f o r m a n c e   a c r o s s   a ll  c a t e g o r i e s ,   i n d i c a ti n g   b a l a n c ed   d i s c r i m i n a ti v e   c a p a b i li t y   d e s p i t e   m o d e r a te   c l as s   i m b al an c e .   T h e   c o n f u s i o n   m a t r i x ,   F i g u r e   3 ,   f u r t h e r   c o n f i r m e d   l i m i te d   i n t e r - c la s s   m is c l a s s i f ic a t i o n ,   es p e c i al l y   a m o n g   v i s u a l l y   s i m i la r   c l a s s es .   M u lt i - cl a s s   R OC   a n al y s is   s h o w e d   h i g h   s p e r a b il i t y   a c r o s s   al c l as s e s ,   w it h   m a cr o - a v e r a g e d   A UC   r e f l e c t i n g   r o b u s t   g e n e r a li z a tio n   w i t h i n   t h e   t es t e d   d a t as e t .   O n   t h e   o t h e r   h a n d ,   a s   m e n t i o n e d   e a r l i e r ,   t o     i m p r o v e   g e n e r a l i z a ti o n ,   t h e   p r o p o s e d   m o d e l   w a s   t r a i n e d   o n   K e r m a n y 2 0 1 8   a n d   r e g i s t e r e d   an   o v e r a l l   a c c u r a c y   o f   9 9 % ,   a n d   m a c r o - a v e r a g e d   p r e c i s i o n ,   r e c a l l ,   a n d   F 1 - s c o r e   o f   0 . 9 9 ,   p r o v i n g   b a l a n c e d   c l a s s - w i s e   d i s c r i m i n a t i o n   Fig u r e   4.   O n   t h e   OC T - C 8   d a t as e t ,   w h i c h   c o n t a i n s   a   m o r e   c o m p l e x   8 - cla s s   d i s t r i b u t i o n ,   t h m o d e l   a c h ie v e d   9 8 %   t e s t   a cc u r a c y   o n   t h e   t e s t   s e t ,   wit h   a   m a c r o - a v e r a g e d   F 1 - s c o r e   o f   0 . 9 8 .   m i n o r   v a r i a t i o n s   o b s e r v e d   a m o n g   v i s u a l l y   o v e r l a p p i n g   c l a s s e s ,   w h i l e   t h e   o v e r a l l   p e r f o r m a n c e   r e m a i n e d   s t a b l e ,   as   c a n   b e   n o t i c e d   i n   F i g u r e   5 T h e s f i n d i n g s   s u g g e s t   t h at   t h e   i n t e g r a t i o n   o f   c o m p l e m e n t a r y   f e at u r e   e x t r a c t o r s   a n d   a d a p t i v e   o p t im i z a t i o n   i m p r o v es  c l a s s i f ic a t i o n   s t a b il i t y   r e la t i v e   t o   s i n g l e - s t r e a m   a r c h i t e ct u r e s ,   a n d   t h a t   t h e   d u a l - b a c k b o n e   a r ch i t e c t u r e   m ai n t a i n s   c o n s i s t e n t   d is c r i m i n at i v e   c a p a b i l i t y   a c r o s s   d at a s e ts   w it h   d i f f e r e n t   c l as s   s t r u c t u r es   a n d   d i s t r i b u t i o n s .                   Fig u r 3.   OC T Mo d Net  co n f u s io n   m atr ix   a n d   class if icatio n   r ep o r t   o n   7 - class   d ataset             Fig u r 4.   C o n f u s io n   m atr i x   an d   class if icatio n   r ep o r t a cr o s s   Ker m an y 2 0 1 8     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  43 ,   No .   2 ,   Au g u s t   20 26 495 - 5 0 6   504         Fig u r 5.   Mo d el' s   R O C   cu r v an d   co n f u s io n   m atr ix   ac r o s s   th OC T - C 8   d ataset       4 . 4 .     Co m pa riso n wit ba s eline  m o dels   T h co m p a r ativ an aly s is   ass ess es  O C T Mo d Net  b ased   o n   s tate - of - th e - ar t,  s in g le  b ac k b o n d ee p   lear n in g   ar c h itectu r es  s u ch   as  R es Net5 0 ,   I n ce p tio n V3 ,   Den s eNe t1 2 1 ,   VGG1 6 ,   an d   E f f icien tNetV2 ( s ee   T ab le  4 ) .   T h p e r f o r m an ce s   in d ica te  th at  OC T Mo d Net’ s   test   ac cu r ac y   a n d   m ac r o - a v er ag e d   AUC  o u tp er f o r m   th p r ev io u s   m eth o d s ,   d ep ic tin g   th b en ef its   o f   o p tim izin g   m u lti - m o d el  f ea tu r e x tr a ctio n ,   f u s io n ,   a n d   tr ain in g   s tr ateg y .   T h is   u n d er li n es  its   b etter   clas s if icatio n   p er f o r m a n ce   co m p ar e d   to   tr ad itio n al  s in g le - m o d el   ar ch itectu r es.  I n   co m p ar is o n ,   th s tr o n g est  s in g le - b ac k b o n e   m o d el   ( E f f icien tNetV2 S)  ac h iev ed   9 6 . 0 5 test   ac cu r ac y   an d   9 7 %   AUC.  I m p r o v em en ts   wer e   also   o b s er v ed   ac r o s s   m ac r o - a v er ag e d   p r ec is io n ,   r ec all,   an d   F1 - s co r m etr ics,  in d icatin g   b alan ce d   class - wis p er f o r m an ce   r a th er   th an   g ain s   lim ited   to   s p ec if ic  ca teg o r ies.        T ab le  4.   C o m p a r is o n   with   b as elin m o d els   M o d e l   Te st   A c c .   ( % )   P r e c i s i o n   ( % )   R e c a l l   ( % )   F1 - S c o r e   ( % )   AU C   ( % )   R e s N e t 5 0   9 2 . 8 5   9 1 . 6 0   9 2 . 3 0   9 1 . 9 5   9 4 . 1 0   I n c e p t i o n V 3   9 4 . 1 2   9 3 . 8 0   9 3 . 9 5   9 3 . 8 7   9 5 . 2 5   D e n s e N e t 1 2 1   9 5 . 3 7   9 5 . 0 0   9 5 . 1 5   9 5 . 0 7   9 6 . 4 5   V GG 1 6   9 3 . 2 5   9 2 . 9 0   9 3 . 1 0   9 3 . 0 0   9 4 . 3 5   E f f i c i e n t N e t V 2 S   9 6 . 0 5   9 5 . 8 0   9 6 . 0 0   9 5 . 9 0   9 7 . 0 0   O C T M o d N e t   9 9 .0   9 9 .0   9 9 .0   9 9 .0   9 9 .0       4 . 5 .     Abla t io s t ud y   T ab le  5   r ev ea ls   th at  th f r am e wo r k ' s   f u ll  co n f ig u r atio n   h as  r eg is ter ed   p ea k   p er f o r m a n ce   ( 9 9 %)  in   ter m s   o f   test   ac cu r ac y   a n d   0 . 9 9   AUC.  E x clu d in g   in d iv i d u a co m p o n en ts   h as  d eg r a d ed   th p er f o r m an ce   a n d   ac cu r ac y   o f   th m o d el.   T h s y n er g y   b etwe en   co m p lem en ta r y   f ea tu r in teg r atio n   an d   th o p tim ized   lear n in g   s ch ed u les is   ess en tial f o r   ac h iev in g   r e f in ed ,   h ig h - le v el  class if icatio n   r esu lts .       T ab le  5.   Ab latio n   s tu d y   M o d e l   c o n f i g u r a t i o n   Ef f i c i e n t N e t V 2 S   V G G 1 6   F e a t u r e   f u si o n   C o s i n e   d e c a y   r e st a r t   A d a p t i v e   f e a t u r e   p r o c e ss i n g   Te st   A c c .   ( %)   A U C   ( %)   O n l y   V G G 1 6             9 1 . 8 4   9 4 . 2   O n l y   Ef f i c i e n t N e t V 2 S             9 3 . 6 2   9 5 . 8   W i t h o u t   f e a t u r e   f u si o n             9 4 . 2 7   9 6 . 1   W i t h o u t   c o si n e   d e c a y             9 5 . 3 1   9 6 . 9   W i t h o u t   a d a p t i v e   f e a t u r e   p r o c e ss i n g             9 6 . 4 2   9 7 . 5   F u l l   m o d e l   O C TM o d N e t             9 8 . 8   99     Evaluation Warning : The document was created with Spire.PDF for Python.