I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  15 ,   No .   1 ,  M   ar ch   20 26 ,   p p .   414 ~ 427   I SS N:  2252 - 8 7 7 6 ,  DOI :  1 0 . 1 1 5 9 1 /iji ct . v15 i 1 . p p 4 1 4 - 4 2 7          414       J o ur na l ho m ep a g e :  h ttp : //ij ict. ia esco r e. co m   Lig htweight d eep  lea rning  appro a ch  for re tinal   O CT  ima g e  cla ss ificatio n:  A   CNN  with  hy brid  poo ling  and o pti mized  lea rning       P a rt h R.   Da v e 1 .2 ,   Nik un j   H .   Do m a diy a 2   1 D e p a r t me n t   o f   C o m p u t e r   En g i n e e r i n g ,   G u j a r a t   T e c h n o l o g i c a l   U n i v e r si t y - A h me d a b a d ,   G u j a r a t ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   En g i n e e r i n g ,   L. D .  C o l l e g e   o f   E n g i n e e r i n g ,   A h m e d a b a d ,   G u j a r a t ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   1 6 ,   2 0 2 5   R ev is ed   Oct  1 6 ,   2 0 2 5   Acc ep ted   No v   5 ,   2 0 2 5       Op ti c a l  c o h e re n c e   to m o g ra p h y   (OCT)  is  a   n o n - in v a siv e   tec h n i q u e   th ro u g h   wh ich   a   re ti n a   sp e c ialist  c a n   se e   th e   stru c tu re   b e h i n d   t h e   e y e .   T h is  tec h n o l   o g y   o ffe rs  a   k e y   r o le  to   id e n ti fy   v a rio u s  a b n o rm a li ti e s  in   th e   re ti n a :  Dru se n ,   d iab e ti c   m a c u lar  e d e m a   (DME )  a n d   c h o ro i d a l  n e o v a sc u lariz a ti o n   (CNV ).   Ho we v e r,   m a n u a l   a n a ly sis   o f   OC T  sc a n s  c a n   b e   ti m e - c o n su m in g   a n d   p ro n e   to   v a riab il it y   a m o n g   c li n icia n s.   To   a d d re ss   th is  c h a ll e n g e ,   we   p re se n t  a   li g h twe i g h t  a n d   e x p lain a b le  d e e p   lea rn in g - b a se d   a p p ro a c h   f o r  a u to m a ti c   cl a ss ifi c a ti o n   o f  re ti n a l  OCT  ima g e s.  Th e   p rima ry   g o a l  o f   th is  re s e a rc h   is  a   m o d e l  t h a t  d e li v e rs   h i g h   d iag n o s ti c   a c c u ra c y .   A   c o m p u ter - a id e d   s u g g e sti v e   m e th o d   c a n   h e l p   re ti n a l  d o c t o rs  a u to m a ti c a ll y   c las sify   th e   a n o m a li e s  with   m o re   c o n fi d e n c e   a n d   p re c isio n .   I n   t h is  p a p e r,   we   p r o p o se d   a   n o v e l   a p p r o a c h   b a se d   o n   d e e p   lea rn in g :  a   si x - l a y e r  c o n v o l u ti o n a l  n e u ra l  n e tw o rk   (CNN )  i n t e g r a t e d   w i t h   h y b r i d   p o o l i n g   f o r   e f fe c t i v e   f e a t u r e   e x t r a c t io n .   D a t a   a u g m e n t a t i o n   a n d   e x p o n e n t i a l   l e a r n i n g   r a t e   i s   i m p l e m e n t e d   t o   h a n d l e   d a t a   i m b a l a n c e   b e t w e e n   c l a s s e s   a n d   f o r   s t a b i l i z e d   l e a r n i n g   c o n s e c u t i v e l y .   O u r   p r o p o s e d   a p p r o a c h   a c h i e v e d   9 8 . 7 5 %   o f   a c c u r a c y   w h i l e   t e s t i n g   o n   t h e   d a t a se t .   T o   f u r t h e r   e n h a n c e   t h e   i n t e r p r e t a b i l i t y   o f   t h e   m o d e l ,   w e   a l s o   i n t e g r a t e   e x p l a i n a b l e   A I   ( X A I)   u s i n g   c l a s s   a c t i v a t i o n   m a p p i n g   ( C A M )   t o   v i s u a l i z e   t h e   c r i t i c a l   r e g i o n s   i n   t h e   r e t i n a   t h a t   c o n t r i b u t e   t o   t h e   c l a s s i f i c a t i o n   d e c i s io n s .     K ey w o r d s :   Ar tific ial  in tellig en ce   C o n v o lu tio n al  n eu r al  n etwo r k   Ma ch in e  lear n in g   Op tical  co h er en ce   to m o g r ap h y   Dee p   lear n in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nik u n j H .   Do m ad i y a    Dep ar tm en t o f   C o m p u ter   E n g i n ee r in g ,   L . D.   C o l leg e  o f   E n g i n ee r in g   Ah m ed ab ad ,   Gu jar at,   I n d ia   E m ail: d o m ad iy a n ik u n j0 0 2 @ g m ail. co m ,   n ik u n j d o m ad i y a. c e@ ld ce . ac . in       1.   I NT RO D UCT I O N   R etin al  o p tical  co h er en ce   to m o g r ap h y   ( OC T )   im ag in g   p lay s   a  v ital  r o le  in   an aly zin g   th e  lay er s   o f   th e  r etin a  with o u t  an y   s u r g ical  tr ea tm en t  in   th e   ey e.   I t  h elp s   id en tify   d if f e r en t  a n o m alies  an d   th eir   p r o g r ess io n ,   i f   an y .   I n   o p h th alm o lo g y ,   th e  u s e  o f   r etin al   OC T   im ag in g   p lay s   a  cr u ci al  r o le  in   s h ap i n g   tr ea tm en t  d ec is io n s   an d   k ee p i n g   a  watc h   o n   th e  s u cc ess   o f   th er ap ies  s u ch   as  laser   tr ea tm en t,  ey e  in jectio n s ,   an d   s u r g er ies.  C lass if y in g   r et in al  OC T   im ag es  with   th e  h elp   o f   m o d er n   c o m p u ter ized   tech n iq u es  ca n   b e   lev er ag ed   i n   ter m s   o f   s u g g esti v e  s y s tem s   to   th e  r etin a  s p ec ialis t.  T h e  ab ilit y   o f   au to m ated   im a g e   ca teg o r izatio n   is   to   p r o v id e  r e liab le  an d   im p ar tial  ev alu atio n s   o f   r etin al  i m ag es,  m in im izi n g   h u m an   e r r o r   an d   d iag n o s tic  in co n s is ten cies.   C o n v en tio n al   m ac h in e   lear n i n g   alg o r ith m s   ta k e  th e   tex tu r e  f ea tu r es  o f   th e   im ag es  as   an   i n p u t   th r o u g h   wh ich   lo ca l  o r   g lo b al  in f o r m atio n   o f   th e  im a g e  ca n   b e  r ep r esen ted .   On ce   th e  f ea tu r e  v ec to r   is   im p lem en ted   b y   d if f er en t f ea t u r e  ex tr ac tio n   tech n i q u es: L o ca l  b in ar y   p atter n   ( L B P)  [ 1 ] ,   h i s to g r am   o f   o r ien te d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g e  cla s s ifica tio n :   A   C N N   w ith   …   ( P a r th   R .   Da ve )   415   g r ad ien ts   ( HOG )   [ 2 ] ,   g r ay - le v el  co - o cc u r r en ce   m atr ix   ( GL C M)   [ 3 ] ,   ed g e   d etec tio n ,   a n d   s h ap e  d etec tio n ,   th e   v ec to r   is   p r o v id e d   to   an   ar ti f icial  n eu r al  n etwo r k   ( ANN) ,   s u p p o r t  v ec t o r   m ac h in e  ( SVM)   [ 4 ]   o r   o th er   s u p er v is ed   alg o r ith m   wh ich   ev en tu ally   class if y   th e  i m a g e  in   th e  r e q u ir e d   class .   T h e  lag g i n g   p ar t  o f   co n v en tio n al  m ac h in e  lear n in g   alg o r ith m s   is   th at  th e  im ag es  ar e  d escr ib ed   b y   s o m e  f e atu r e  an d   it  is   n o t  lear n in g   th e   f ea tu r es  its elf ,   h e n ce   m ay   lea d   to   lo s s y   in f o r m a tio n   r ep r esen tatio n   an d   en d   u p   with   less   ac cu r ac y   o f   th e  alg o r ith m .   Dee p   lear n in g   h as  attr ac ted   s i g n if ican t  in ter est  f r o m   r esear ch er s   in   co m p u ter   v is io n   b ec au s e  o f   its   ca p ab ilit y   to   i n d ep e n d en tly   lear n   in tr icate   d etails  an d   f ea tu r es  f r o m   in p u t  im ag es.   C NN  h as  ch an g ed   th e   m o d u s   o p er an d i o f   s h allo w  an d   co n v e n tio n al  n etwo r k s ,   an d   it  ex ce ed s   th eir   p er f o r m an c e  o v er   th em   in   p o ts   o f   asp ec ts .   Dee p   lear n in g   is n ’ t c o n f in ed   to   ju s t c lass if icatio n   task s — it e x ten d s   its   ap p licatio n s   to   a  wid e  r an g e  o f   ar ea s ,   in clu d in g   o b ject  d etec tio n ,   m e d ical  im ag in g ,   v id eo   an aly s is ,   s p ee ch   r ec o g n itio n ,   n atu r al  lan g u ag e   p r o ce s s in g ,   an d   b ey o n d .   I n   r ec en t  tim e,   f o r   th e  f ield   o f   co m p u ter   v is io n ,   m an y   p r etr a in ed   m o d els:   Alex Net  [ 5 ] ,   V GG1 6   [ 6 ] ,   VGG1 9   [ 6 ] ,   R esn et5 0   [ 7 ] ,   a n d   Go o g leNe t  [ 8 ] .   a r e  a v ailab l e ,   wh ich   ar e   ac tu ally   tr ain ed   o n   v er y   lar g e   im a g e  d atasets   to   lear n   th e  d i v er s ity .   T h ese  m o d els  o f ten   c o n tain   a  lar g e  a n d   d iv er s e  s et  o f   tr ain ab le  p ar am ete r s ,   wh ich   ca n   b e  u tili ze d   f o r   f e atu r e  ex tr ac tio n   f r o m   a  s p ec i f ic  im ag e  d ataset  b y   elim in a tin g   th e  f in al  f u lly   co n n ec ted   la y er ( s ) .   C NN  lear n s   th e  s p a tial  in f o r m atio n   f r o m   in p u t  im ag e   o r   d ata  with   th e  h elp   o f   a  lay er ed   co n v o l u tio n al  an d   p o o lin g   ar c h itectu r e  wh ich   th en   f i n ally   g ets  co n n ec ted   to   th e  d en s e  lay er   f o r   th e  en d   p o i n t  class if icatio n .   T h e  d en s e  s ec tio n   m ay   co n s is t  o f   o n e  o r   m o r e  f u lly   co n n ec ted   h id d en   u n its   p r ec e d in g   th e   f in al   o u tp u t  co m p o n en t.  T h is   o u tp u t  co m p o n en t  co n tain s   n eu r o n s   co r r esp o n d in g   to   t h e  n u m b er   o f   class es  in   th e   d ataset,   en ab lin g   class if icatio n .   T h e r e  ar e  m an y   ac tiv ati o n   f u n ctio n s ,   p ar a m eter s ,   h y p er p ar am eter s   an d   m ec h an is m s   av aila b le  to   h an d le  th e  u n d er f itti n g   o r   o v er f itti n g   o f   th e  m o d el  an d   m ak e  it  m o r e  g en er alis e d   to war d s   th e  test   d ataset.   T o   f u r th er   en h an ce   th e  in ter p r etab ilit y   o f   th e  p r o p o s ed   C NN  m o d el  th r o u g h   ex p lain ab le  AI ,   class   ac tiv atio n   m ap p in g   ( C AM )   [ 9 ]   was  em p lo y ed .   T h i s   m eth o d   en ab les  v is u aliza tio n   o f   th e   r eg io n s   with in   r etin al   OC T   im ag es  th at   co n tr ib u te   m o s t  s ig n if ican tly   to   class if icatio n   o u tco m es.   B y   g en er atin g   C AM s   at  d if f er e n t  co n v o l u tio n al  lay e r s ,   th e   f ea tu r e  lear n in g   p r o ce s s   o f   th e   m o d el  ca n   b e  a n aly ze d   in   a  clin ically   m ea n in g f u l m a n n er .   T h is   p ap er   is   d iv id ed   in t o   f iv e   s ec tio n s .   Sectio n   2   co v er s   th e   R elate d   W o r k .   T h e  Pro p o s ed   Ap p r o ac h   is   co v er ed   in   s ec tio n   3 .   Sectio n   4   co n tain s   E x p er im en tal  Setu p   an d   R esu lts   an d   f in ally   th e  last   s ec tio n   co v er s   th e  C o n clu s io n   an d   F u tu r e  W o r k .       2.   R E L AT E D  WO RK   Me d ical  im ag e  p r o ce s s in g   h as  b ec o m e  a   v er y   g o o d   s u g g esti v e  s y s tem   in   r ec en t   er a   d u e  t o   its   ca p ac ity   to   g en er ate  m o r e  ac c u r ate  an d   less   er r o r   p r u n e  r es u lts .   Ov er   tim e,   a  v ar iety   o f   tr ad itio n al  as  well  a s   cu ttin g - ed g e   m eth o d s   h av e  b e en   ap p lied   f o r   t h e  class if icatio n   o f   r eti n al  OC T   im ag es.   Srin iv asan   et  a l.   [ 1 0 ]   a p p lie d   im ag e  d en o is in g ,   r etin al  c u r v atu r e  c o r r ec tio n ,   an d   r e g i o n - f o c u s ed   cr o p p in g   b ef o r e  ex tr ac tin g   f e atu r e  v ec to r s   u s in g   HOG   d escr ip to r s   [ 2 ]   f o r   r etin al  OC T   im ag es.  E ac h   b lo c k ’ s   d escr ip to r   v ec to r   n o r m alize d   as  with   a   s m all   co n s tan t.  T h e  v alu es  o f   th e  v ec to r s   wer e  ca p p ed   an d   r en o r m alize d .   T h e  f in al  f ea tu r e  v ec to r   co m p r is ed   n o r m alize d   h is to g r am s   f r o m   all  th e  b lo ck s .   Fo r   m u lti  class   class if icatio n ,   th ey   h av e  u s ed   S VM   [ 4 ]   class if ier   in   o n e  v s   o n e  m eth o d .   I t  co n s is ts   o f   s u ch   th r ee   lin ea r   SVMs  as  th e  d ataset  co n tain s   th r ee   class es:  AM D,   DM E   an d   No r m al.   T h e  r etin al  im ag e  d ataset  f o r   th e  s aid   p u r p o s e   was c r ea ted   lo ca lly   b y   ta k in g   t h e  im ag es o f   v ar io u s   p atien ts   with   r etin al  d is o r d er s .   L iu   et  a l.   [ 1 1 ]   p r o p o s ed   an o th er   class ical  m ac h in e  lear n in g   m eth o d   to   d iag n o s e  m ac u lar   p ath o lo g ies  in   r etin al  OC T   im ag es.  T h ey   u s ed   im ag e  alig n m en t  a n d   co n s tr u ctio n   o f   g l o b al  an d   lo ca l  f ea tu r es  o f   t h e   im ag es.  T h e  g lo b al  d escr ip to r   u tili ze s   a  m u ltis ca le  s p atial  p y r am id   [ 1 2 ] ,   wh ile  t h e  lo ca l  d e s cr ip to r   em p lo y s   a  PC A - b ased   r ed u ce d   L B P   h is to g r am   [ 1 ] .   T h ey   r ec o r d ed   g o o d   ac cu r ac y   with   th e  h elp   o f   a  SVM   an d   lo ca lly   cr ea ted   d ataset  f o r   a n o m alies:  MH ,   m ac u lar   ed em a   ( ME )   a n d   AM D.   Als aih   et  a l.   [ 1 3 ] ,   d ev el o p ed   y et  an o th er   co n v en ti o n al  ap p r o ac h   u s in g   f ea tu r e  ex tr ac tio n   t ec h n iq u es:  HOG  [ 2 ]   an d   L B P  [ 1 ] .   T o   r ed u ce   th e  d im en s io n ality   o f   t h e  f ea tu r e  v ec to r ,   p r in cip al  c o m p o n en t  an aly s is   ( PC A)   was a p p lied   an d   af ter   t h at  SVM  [ 4 ]   was a p p lied   f o r   e n d   class if icatio n   o n   lo ca l  d ataset.   On   th e  o th er   s id e,   m a n y   cu ttin g - ed g e   tech n i q u es  h a v e  b ee n   im p lem en ted   to   class if y   t h e  r et in al  OC T   im ag es.  Hu an g   et  a l.   [ 1 4 ]   im p lem en ted   a  lay er - g u id e d   co n v o lu tio n al  n e u r al  n etwo r k   ( C NN) .   T h ey   p r o p o s ed   d if f er en t  n etwo r k s   to   ex tr ac t  t h e  in f o r m atio n   f r o m   th e  r etin al  lay er s   an d   th en   it  is   p r o v id ed   to   th e  f in al  d ee p   lear n in g   n etwo r k   to   class if y   th e  im ag es.  B y   co n ce n tr atin g   o n   th e  r etin al  lay er - s p ec if ic   in f o r m atio n   with   th e   h elp   o f   s o m e  tr a n s f er   lear n in g   ap p r o ac h ,   th ey   ac h iev e d   b e tter   ac cu r ac y   o n   OC T 2 0 1 7   [ 1 5 ]   an d   HUCM  [ 1 4 ]   r etin al  im ag e  d atasets   with   f o u r   class es:  C NV,   DM E ,   DR U S E N ,   an d   n o r m al.   An o th er   a p p r o ac h   with   d e ep   l ea r n in g   was  im p lem e n ted   b y   Kim   an d   T r a n   [ 1 6 ] ,   wh ich   p r o p o s es  th e  im p lem en tatio n   o f   two   b in ar y   m o d els.  B ef o r e  a p p ly i n g   th e   ac tu al  class if icatio n ,   th ey   p er f o r m ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 ,  Ma r ch   20 26 :  4 1 4 - 4 2 7   416   p r ep r o ce s s in g ,   ar ea   o f   in ter est  s eg m en tatio n   u s in g   U - n et ,   an d   r o tatio n   v ia  h is to g r am   o r ien t atio n   to   ex tr ac t  th e   d ee p   in f o r m atio n   f r o m   t h e  im ag es  o f   OC T 2 0 1 7   [ 1 5 ]   d ataset.   T h ey   ac h iev e d   b etter   ac cu r a cy   co m p ar ed   to   th e   ap p r o ac h   d er i v ed   [ 1 4 ] .   Diao   et  a l.   [ 1 7 ]   p r o p o s ed   d e ep   lear n in g   m o d els  to   class if y   AM D  f r o m   r etin al  OC T   i m ag es.  T h is   ap p r o ac h   en co m p ass es  two   n o v el  m o d els:   C M - C NN  an d   C AM - Un et.   C M - C NN  im p r o v es  th e  class if icatio n   p r o ce s s   b y   p er f o r m in g   s eg m e n tatio n   v ia   s o m e  m ea ns ,   an d   C AM - UNe t  en h an ce s   th e  s eg m en tatio n   task   b y   in teg r atin g   class   ac tiv atio n   m a p s .   T h e  ap p r o ac h   ac h iev ed   g o o d   ac cu r ac y   f o r   th e  tar g eted   w o r k .   Hass an   et  a l.   [ 1 8 ]   im p lem e n ted   a  b len d e d   a p p r o ac h   o f   d ee p   lear n in g   an d   class ical  m ac h in e  lear n in g   to   p er f o r m   au to m ate d   class if icatio n   o f   r etin al  OC T   im ag es  u s in g   OC T 2 0 1 7   [ 1 5 ]   d ata s et.   T h e  en h an ce d   o p tical  co h er e n ce   to m o g r a p h y   ( E OC T )   m o d el   p r esen ted   in   t h is   s tu d y   d em o n s tr ates  a  s ig n i f ican t  ad v a n ce m en t   b y   co m b i n in g   d ee p   lear n in g   ( R esNet - 5 0   [ 7 ] )   with   m ac h in e   lear n in g   ( R an d o m   Fo r est)  an d   o p tim izin g   with   d u al  SGD  an d   Ad am   o p tim ize r s .   T h is   m o d el  ac h ie v es st ate - of - th e - a r t a cc u r ac y .   Pau l   et  a l.   [ 1 9 ] ,   th e  r esear c h er s   in tr o d u ce d   a  m o d el  ca lled   OC T x   to   class if y   r etin al  OC T   im ag es  in to   f o u r   ca teg o r ies:   d iab etic  m ac u lar   ed e m a  (D ME ) ,   c h o r o id al   n eo v ascu lar izatio n   ( C NV) ,   Dr u s en ,   an d   N o r m al  R etin a.   T h eir   ap p r o ac h   was  an   en h an ce d   en s em b le  m o d el  wh ich   is   co m b in in g   m u l tip le  d ee p   lear n in g   tech n iq u es  to   im p r o v e  class if icatio n   ac cu r ac y .   H o wev er ,   s in ce   th e  m o d el   was  d ev elo p ed   an d   ev alu ated   in   a   s p ec if ic  o r   lim ited   d ataset,   it s   p er f o r m an ce   m ay   n o t  b e  ef f ec tiv ely   ca r r ied   o v er   to   r ea l - w o r ld   clin ical  s ettin g s .   T h is   lim itatio n   in   g en er aliza ti o n   co u l d   af f ec t its   d ep e n d ab ili ty   wh en   u s ed   o n   d iv er s e  d atasets .   Yan g   et  a l.   [ 2 0 ] ,   r esear ch er s   b u ilt  a  C NN - b ased   m o d el  to   class if y   ag e - r elate d   m ac u lar   d e g en er atio n  ( AM D) ,   DM E ,   an d   No r m al  R etin a  u s in g   an   O C T   d ataset.   B y   in co r p o r atin g   p r e - tr ain ed   I m ag eNe t  weig h ts ,   th ey   s ig n if ican tly   im p r o v ed   th e  m o d el’ s   ac cu r ac y   s ig n if i ca n tly   f r o m   6 8 . 1 7 %  to   9 2 . 8 9 %.  T h eir   m eth o d   u tili ze d   an   en s em b le  o f   th r ee   d is tin ct  C N N  m o d els,  ea ch   e n h an ce d   with   p r e - tr ai n ed   weig h ts   an d   f in e - tu n e d   p ar am eter s ,   en s u r in g   m o r e  p r e cise c lass if icatio n   o f   r etin al  im ag es in to   th eir   r esp ec tiv e  ca te g o r ies.   Stan o jev i   et  a l.   [ 2 1 ] ,   th e   r esear ch er s   p r o p o s ed   a  d ee p   lear n in g - b ased   class if icatio n   o f   r etin al  d is ea s es   u s in g   OC T   im ag es.  I t  ev alu at es  C NN  ar ch itectu r es  wh ich   in clu d es  Alex Net,   VGG,   I n ce p tio n ,   an d   R esNet.   T h e  I n ce p tio n 1   m o d el   th at  tr a in ed   with   R MSp r o p   o p tim izer ,   ac h iev e d   th e   h i g h est  ac cu r ac y   o f   9 5 . 5 3 %,  a lo n g   with   an   F1 - s co r e  o f   0 . 9 3 6 8 7 .   T h e  s tu d y   s h o ws  th at  I n ce p tio n - b ased   m o d els  o u tp er f o r m   o th er s   in   ac cu r ately   class if y in g   th e  im ag es.  T h e  c o m p r eh e n s iv e  co m p a r is io n   o f   th e  m ac h in e  lear n in g   b ased   an d   d ee p   lear n in g   b ased   ap p r o ac h es f o r   th e  OC T   im ag e  class if ic atio n   is   d ep icted   in   T ab le  1 .         T ab le  1 .   Su m m a r y   o f   r etin al  O C T   im ag e  class if icatio n   tech n iq u es   A u t h o r ( s)   M e t h o d   t y p e   D a t a s e t   A p p r o a c h e s   D r a w b a c k   Li u   e t   a l .   [ 11 ]   C l a s si c a l   M L   Lo c a l   S V M   w i t h   g l o b a l   +   l o c a l   f e a t u r e s   S e n s i t i v e   t o   f e a t u r e   e x t r a c t i o n   a n d   a l i g n me n t   e r r o r s   A l sai h   e t   a l .   [1 3 ]   C l a s si c a l   M L   Lo c a l   H O G ,   LB P ,   P C A   w i t h   S V M   D e p e n d e n c e   o n   ma n u a l   f e a t u r e   e n g i n e e r i n g   H u a n g   e t   a l .   [ 14 ]   D e e p   Le a r n i n g   O C T2 0 1 7 ,   H U C M   La y e r - g u i d e d   C N N   w i t h   t r a n sf e r   l e a r n i n g   R e q u i r e s  p r e - se g m e n t a t i o n   o f   r e t i n a l   l a y e r s   K i m   a n d   Tr a n   [ 16 ]   D e e p   Le a r n i n g   O C T2 0 1 7   U - N e t   c o m b i n e d   w i t h   i ma g e   r o t a t i o n   a n d   b i n a r y   c l a ss i f i e r s   H i g h   c o m p u t a t i o n a l   c o s t ,   c o m p l e x   p r e - p r o c e ssi n g   D i a o   e t   a l .   [ 17 ]   D e e p   Le a r n i n g   N o t   s p e c i f i e d   CM - C N N   a n d   C A M - U n e t   a r c h i t e c t u r e s   S e p a r a t e   m o d e l s   f o r   s e g m e n t a t i o n   a n d   c l a ss i f i c a t i o n   H a ssan   e t   a l .   [ 18 ]   H y b r i d   ( D L   +   M L)   O C T2 0 1 7   R e sN e t - 5 0   f e a t u r e s   +   R a n d o m   F o r e st   ( EO C T   a p p r o a c h   C o m p l e x   h y b r i d   f r a m e w o r k ,   h i g h e r   t r a i n i n g   c o m p l e x i t y   P a u l   e t   a l .   [1 9 ]   En se mb l e   D L   O C Tx ,   O C T2 0 1 7   ( l i mi t e d )   M u l t i p l e   D L  m o d e l s;   g o o d   b u t   l i m i t e d   g e n e r a l i z a t i o n   Li mi t e d   g e n e r a l i z a - t i o n   d u e   t o   smal l   d a t a se t   Y a n g   e t   a l .   [ 20 ]   C N N   En se mb l e   O C T2 0 1 7   A c c u r a c y   b o o st i n g   t h r o u g h   e n s e mb l e   l e a r n i n g   H i g h   m e mo r y   a n d   c o m p u t a t i o n a l   re - q u i r e m e n t s   S t a n o j e v i ć   e t   a l .   [ 21 ]   D e e p   Le a r n i n g   O C T2 0 1 7   I n c e p t i o n 1   m o d e l   p e r f o r m e d   b e s t   a m o n g   t e st e d   mo d e l s   C o m p u t a t i o n a l l y   i n t e n si v e ,   l e ss  su i t e d   f o r   r e a l - t i me  d e p l o y me n t       W e   p r o p o s e d   a   l i g h t we i g h t   C N N   m o d e l   d e s i g n e d   t o   b a l a n ce   d i a g n o s t i c   a c c u r ac y   w i t h   c o m p u t a t i o n al  e f f i c i e n c y   i n   r e t i n a l   O C T   cl a s s i f i c at i o n .   U n l i k e   t r a d i t i o n a l   m e t h o d s   t h a t   r e l y   o n   m a n u a l   f e a t u r e   e x t r a c t i o n ,   o u r   e n d - to - e n d   t r a i n a b l e   m o d e l   l e a r n s   i m p o r t a n t   p a t t e r n s   d i r e c tl y   f r o m   r a w   i m a g e s ,   r e d u c i n g   h u m a n   b i a s .   T h e   a r c h i t e c t u r e   u s es   j u s t   s i x   l a y e r s   a n d   i n c o r p o r a t e s   h y b r i d   p o o l i n g - m a x   p o o l i n g   t o   c a p t u r e   k e y   f e a t u r e s   a n d   a v e r a g e   p o o l i n g   t o   r e t ai n   s p ati a l   d e t ai ls - r e s u lt i n g   i n   a   c o m p a c t   y e t   p o we r f u l   m o d e l .   T o   im p r o v e   t r a i n i n g ,   w e   a p p l i e d   e x p o n e n t i a l   l e a r n i n g   r at e   d e c a y ,   w h i c h   a l l o ws   f as t e r   co n v e r g e n c e   a n d   f i n e r   t u n i n g ,   u n l i k e   f i x e d   l e a r n i n g   r a t e s .   Da t a   a u g m e n t a ti o n   f u r t h e r   e n h a n c e s   m o d e l   p e r f o r m a n c e   b y   a d d r e s s i n g   c l as s   i m b a l a n c e   a n d   r e d u c i n g   o v e r f i t t i n g .   W i t h o u t   r e l y i n g   o n   c o m p l e x   p r e p r o c e s s i n g   o r   h e a v y   t r a n s f e r   l e a r n i n g ,   o u r   a p p r o a c h   o f f e r s   s t r o ng  g e n e r a l i z a ti o n   a c r o s s   v a r i e d   i m a g i n g   c o n d i t i o n s .   T h is   m a k es   i t  w e l l - s u i t e d   f o r   p r a c ti c a l   cl i n i ca l   u s e ,   es p e c ia l l y   in   l o w - r e s o u r c e   s e t ti n g s   o r   m o b i le   d i a g n o s t i c   t o o l s ,   w h e r e   s p e e d ,   e f f i c i e n c y ,   a n d   a c c u r a c y   a r e   es s e n t i a l .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g e  cla s s ifica tio n :   A   C N N   w ith   …   ( P a r th   R .   Da ve )   417   3.   P RO P O SE D  WO RK   T h e  p r o p o s ed   a p p r o ac h   e x p l o r es  d ata  au g m en tatio n ,   ex p o n en tial  lear n in g   r ate  d ec ay   an d   C NN  tech n iq u es.  T h e  u s e  o f   ex p o n e n tial  lear n in g   r ate  d ec ay   h elp s   in   m ak in g   th e  lear n in g   f aster   in   th e  in itial  s tag e s   wh ile  in   th e  later   s tag es   h elp s   to   g et  n ea r   m in im a  b y   tak in g   s m all  s tep s   o r   ju m p s .   I m ag e  ex p an s io n   tech n iq u es  allo w  a  s in g le  im a g e  to   b e   r ep r esen ted   in   v ar io u s   f o r m s   b y   m o d if y in g   attr ib u tes  lik e  o r ie n tatio n ,   s h ea r   r an g e,   a n d   z o o m   r a t i o .   I t   h e l p s   t o   g e t   g r e a t e r   d e t a il s   f o r   t h e   t r a i n i n g   p u r p o s e   a s   t h e   t r ai n i n g   d a t as e t   g e t s   e v o l v e d   b y   i t .   T h e  au g m en tatio n   m ay   also   h elp   to   id en tify   an d   d if f er en tiate  s o m e  o v er lap p in g   f ea tu r es  o f   th e   im ag es  o f   d if f er e n t  class es;  p o ten tially   in cr ea s in g   th e   ac cu r a cy   o f   th e  m o d el.   T h e  e x p an d e d   d ataset  is   f ed   i n to   th e  C NN  f o r   tr ain in g ,   allo win g   it  to   ca p tu r e  f in e - tu n ed   im a g e  f ea tu r es  th r o u g h   its   co n v o l u tio n al  lay er s .   T h e   f in al  s tag e  o f   t h e  m o d el  i n clu d es  a  d e n s e  lay er   co n tain in g   1 , 0 2 4   n e u r o n s ,   wh ich   f u n ctio n s   as  a  h id d en   u n it,  wh ich   is   u ltima tely   lin k ed   to   4   o u tp u t  n e u r o n s   co r r esp o n d in g   to   th e  f o u r   d is tin ct  class e s   in   th e  OC T 2 0 1 7   [ 1 5 ]   d ataset.   T h e  co m p lete  wo r k f lo w  o f   th e  p r o p o s ed   r etin al  OC T   class if icatio n   m o d el  is   o u tlin ed   in   Alg o r ith m   1 .   A  d etailed   in ter p r etatio n   o f   e ac h   s tep   o f   Alg o r ith m   1   is   ex p lain ed   in   t h e  s u b s eq u e n t  s ec tio n s   to   e n s u r e  t h e   co m p lete  an d   clea r   u n d er s tan d in g   o f   o u r   m eth o d o lo g y .     Alg o r ith m   1 : Pr o p o s ed   C NN  m o d el  f o r   r etin al  OC T   class if icatio n   Require:   OCT2017 dataset with four retinal classes   Ensure:   Classified disease label   Step 1: Data Preprocessing   −   Resize  images to 200 × 200, normalize pixel values     Step 2: Data Augmentation     −   Perform shear, zoom, and horizontal flip transformations     Step 3: CNN Model Training   −   Initialize convolutional layers with hybrid pooling   −   Use ReLU activation and dropout to prevent over   fitting   −   Optimize model using Adam with exponential learning rate decay     Step 4: Model Evaluation   −   Test on unseen images and compute accuracy, confusion matrix   −   Generate ROC curves for performance validation   Step 5: Deployment   −   Save lightweight model for  real - time clinical usage     3 . 1 .     Da t a   prepa ra t i o n   T h e  OC T 2 0 1 7   d ataset  [ 1 5 ]   c o n s is ts   o f   4   d if f er en t  class es:   C NV,   DM E ,   Dr u s en   an d   No r m al.   T h e   tr ain in g   d ataset  co n tain s   8 3 , 4 8 4   im ag es  d iv id ed   s u ch   t h at  C NV  co n tain s   3 7 , 2 0 5   im a g es,  DM E   h as  1 1 , 3 4 8 ,   Dr u s en   h as  8 , 6 1 6   an d   f in ally   No r m al  co n tain s   2 6 , 3 1 5   im ag es.  T h e  im ag es  in   th e  tr ain in g   d ataset  ar e  h av in g   v ar y in g   p i x el  d im e n s io n ality   a n d   also   co n tain   s o m e   n o is e   as we ll.  T h e  DPI   ( d o ts   p er   in c h )   o f   all   th e  im a g es  is   9 6 .   On   t h e  o th er   h an d ,   th e  te s t  d ataset  co n tain s   a   to tal  o f   9 6 8   im a g es,  2 4 2   im ag es  ea ch   p er   class .   Fo r   th e   v alid atio n   p u r p o s e,   a  to tal  o f   3 2   im ag es,  8   e ac h   p er   class   i s   g iv en .   T h e  Fig u r e   1   r ep r esen ts   th e  s am p le  im ag es   f o r   ea ch   class   in   th e  d ataset.           Fig u r e  1 .   Sam p le  OC T   im ag es   f r o m   OC T 2 0 1 7   d ataset       3 . 2 .     Da t a   a ug m ent a t io n   Data   au g m en tatio n   is   a  tec h n iq u e  th r o u g h   wh ic h   n ew   im a g es  ca n   b e  g e n er ated   b y   ap p l y in g   s o m e   attr ib u tes  to   th e  tr ain i n g   d ataset  im ag es.  T h e  o v er lap p in g   f e atu r es  o f   d if f er en t   class es  m u s t  b e  lear n t  b y   th e   C NN  m o d el  an d   th at  ca n   b e   e n h an ce d   u p   to   s o m e  lev el   b y   th e  d ata  a u g m e n tatio n   m ec h a n is m   as  it  p r o v id es  m o r e  in f o r m atio n   in   d if f er e n t  way s .   T h er ef o r e,   t h e  d ata  a u g m en tatio n   is   ap p lied   to   all  t h e  im ag es  in to   t h e   tr ain in g   d ataset.   As  m en tio n ed   b y   Dav e  an d   Pan d y a   [ 2 2 ] ,   d ata  au g m en tatio n   ca n   lead   to   im p r o v ed   ac cu r ac y   o f   th e  m o d el.   T h e  attr ib u tes  wh ich   ar e  u s ed   f o r   d ata  au g m en tatio n   in   th e  p r o p o s ed   ap p r o ac h   ar e  d escr ib ed   in   T ab le  2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 ,  Ma r ch   20 26 :  4 1 4 - 4 2 7   418   Me d ical  im ag es  o f ten   h a v e  class   im b alan ce s   an d   lim ited   v ar iatio n   in   o r ien tatio n ,   b r i g h tn ess ,   o r   s tr u ctu r e - f ac to r s   cr itical  f o r   ac cu r ate  class if icatio n .   T ec h n iq u es  lik e  s h ea r in g ,   zo o m in g ,   an d   f lip p in g   in tr o d u ce   s y n t h etic  d iv er s ity ,   h elp in g   th e  m o d el  r ec o g n iz e  k ey   f ea tu r es,  esp ec ially   in   u n d er r e p r esen ted   class es   lik e  Dr u s en .   T h is   r ed u ce s   o v er f itti n g   an d   b o o s ts   th e  m o d el’ s   r o b u s tn ess   wh en   ap p lied   to   r ea l - wo r ld   clin ical  d ata.   Au g m en tatio n   en s u r es  th e  m o d el   lear n s   f r o m   a  b r o a d er   r an g e   o f   e x am p les,  im p r o v in g   its   r eliab ilit y   an d   d ia g n o s tic  p er f o r m an ce .       T ab le  2 .   Data   au g m en tatio n   attr ib u tes   A t t r i b u t e   n a me   A t t r i b u t e   v a l u e   r e sca l e   1 . / 2 5 5   sh e a r   r a n g e   0 . 3   z o o m ra n g e   0 . 3   h o r i z o n t a l   f l i p   Tr u e   Ta r g e t   S i z e   ( p x )   2 0 0 x 2 0 0       3. 3 .    E x po nentia l  lea rning   ra t e  deca y   L ea r n in g   r ate  is   a  cr u cial  h y p er - p ar am eter   i n   d ee p   lear n in g   o r   m ac h in e  lear n in g .   I t  h an d le s   h o w  f ast   o r   g r ad u al  lear n in g   h ap p en s   wh ile  tr ain in g .   I n   m ath em atica l  ter m s   it  d er iv es  th e  s ize  o f   th e   ju m p   o n   th e  er r o r   s u r f ac e  to   b e   tak en   to   r ea c h   u p   to   th e   m in im a.   T h er e  ca n   b e  a  tr ad e  o f f   if   we  p u t  th e  lea r n in g   r ate  s o   h ig h ;   lead in g   to   f ast  lear n in g   in   t h e   in itial  s tag es  wh ile  g r ea te r   o s cillatio n   in   later   o n   s tag es  g e n er atin g   c h an ce s   to   m is s   th e  ac tu al  m in im a.   On   t h e  o th er   h an d ,   if   we  p u t  th e   lear n in g   r ate   v er y   s m all  th en   v er y   g r ad u al  s tep s   wo u ld   b e  ca r r ied   o u t to war d s   m in im a  o n   t h e  er r o r   s u r f ac e;  i n cr ea s in g   th e  tim e  o f   lear n i n g   at  a  g r ea ter   s p ac e.               =              ×   (      ) (    /       )   ( 1 )     T o   co m b at  th is   s itu atio n ,   th e   p r o p o s ed   wo r k   h as  u s ed   ex p o n en tial  lear n in g   r ate   d ec ay   wh ich   u s es   lar g er   ju m p s   in   th e  i n itial  s et  o f   tr ain in g   an d   th e n   g r ad u ally   d ec r ea s in g   th e   s ize  o f   th e  ju m p   to war d s   th e  ac t u al  m in im a,   m ak in g   v er y   s tab le  u p d ates  in   later   s t ag es   o f   lear n in g .   T h e  m ath em atica l  in ter p o l atio n   o f   th e  s am e  is   g iv en   b y   ( 1 ) .   T h is   im p lem en ta tio n   u ltima tely   h elp s   in   f aster   lear n in g   in   in itial  s tag es  an d   av o id s   o v er s h o o tin g   an d   o s cillatio n s   ar o u n d   ac tu al  m in im a  o f   th e   er r o r   s u r f ac e.   T ab le  3   lis ts   th e  p ar a m eter s   u s ed   f o r   th e   ex p o n e n tial  d ec r ea s e  in   th e  le ar n in g   r ate.   B ased   o n   th ese  v a lu es  an d   ( 1 ) ,   T a b le  4   s h o ws  h o w  th e  lear n i n g   r ate   ch an g es st ep   b y   s tep   d u r in g   tr ain in g .       T ab le  3 .   Par am eter   v alu es f o r   ex p o n e n tial le ar n in g   r ate  d ec ay   P a r a me t e r   n a m e   P a r a me t e r   v a l u e   i n i t i a l   l e a r n i n g   r a t e   0 . 0 0 1   d e c a y   st e p s   1 0 0 0 0   d e c a y   r a t e   0 . 9     T ab le  4 .   Up d ates in   lear n in g   r ate  u s in g   p ar am eter s   o f   T ab le  3   S t e p s   Eq u a t i o n   N e w   V a l u e   o f   LR   1 0 0 0 0   LR = 0 . 0 0 1 x ( 0 . 9 ) 1   0 . 0 0 0 9   2 0 0 0 0   LR = 0 . 0 0 1 x ( 0 . 9 ) 2   0 . 0 0 0 8 1   3 0 0 0 0   LR = 0 . 0 0 1 x ( 0 . 9 ) 3   0 . 0 0 0 7 2 9         3. 4 .    Co nv o lutio na l  neura l net wo rk   s t ruct ure   T h e  s tr u ctu r e  o f   th e  C NN  m o d el  u s ed   in   o u r   ap p r o ac h   is   d escr ib ed   in   Fig u r e   2 .   T h e  m o d el  co m p r is es   th e  co m b in atio n   o f   m ax   an d   av er ag e  p o o lin g   b y   wh ic h   r o b u s t  f ea tu r es  o f   th e  im ag es  ca n   b e  ex tr ac ted .   T h e   f ir s t  co n v o lu tio n al  lay er   ap p li es  3 2   f ilter s   o f   3 ×3   s ize  o n   th e   o r ig in al  in p u t  im a g e  o f   s ize  2 0 0 ×2 0 0   p ix els  with   a  r ec tifie d   lin ea r   u n it  ( R eL U)   [ 2 3 ]   as  a n   ac tiv atio n   f u n ctio n .   T h e  f ir s t  lay er   u s es  th e  m ax   p o o lin g   o f   s ize  2 × 2   to   g r ab   th e  m a x im u m   p ix el  v a lu e  an d   to   r e d u ce   th e  f ea t u r e  m ap   s ize.   T h e  s ec o n d   lay e r   co n s is ts   o f   1 6   f ilter s   o f   s ize  3 ×3   a n d   a v er ag e   p o o lin g   o f   s ize  2 × 2 .   Av er ag e   p o o lin g   g ath er s   th e   av er a g e  p ix el  v al u e  o f   its   s u r r o u n d in g   to   n o t  m is s   d etailed   in f o r m ati o n .   T h e  ess en ce   o f   m ax im u m   an d   av er ag e  p o o lin g   is   r ep r e s en ted   in   Fig u r e   2 .   T h e  s ec o n d ,   th ir d ,   f o u r th ,   a n d   f if th   lay er s   co n tain   3 2 ,   6 4 ,   6 4 ,   an d   1 2 8   k er n els,  r esp ec tiv e ly ,   ea ch   with   a   s ize  o f   3 ×3 .   T h ese  ar e  f o llo wed   b y   p o o li n g   o p er atio n s   in   t h e  o r d er :  av er a g e  ( 2 ×2 ) ,   m ax   ( 2 × 2 ) ,   m ax   ( 2 ×2 ) ,   an d   av er ag e  ( 2 ×2 ) .       ( ) =    (  )   1 ≤ ≤ , 1 ≤ ≤     ( 2 )       ( ) = 1 2 ∑ ∑  = 1 = 1     ( 3 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g e  cla s s ifica tio n :   A   C N N   w ith   …   ( P a r th   R .   Da ve )   419   T h e  m ath em atica l  in ter p o latio n   f o r   th e  m a x im u m   an d   av er a g e  p o o lin g   is   d escr ib ed   b y   ( 2 )   an d   ( 3 ) ,   r esp ec tiv ely ,   wh er e  x ij   r ep r ese n ts   th e  v alu es  o f   th e  in p u t  f ea tu r e  m ap   with in   th e  p o o lin g   win d o w  an d   K  is   th e   s ize  o f   th e  p o o lin g   win d o w.   H y b r id   p o o lin g   b alan ce s   s p ec if i city   ( b y   m a x   p o o lin g )   an d   r o b u s tn ess   ( b y   av er ag e   p o o lin g ) ,   en s u r i n g   th at  th e  m o d el  ca p tu r es  b o th   d is cr im in ativ e  f ea tu r es  an d   s tr u ctu r a l  co h er en ce .   I n   th e   p r o p o s ed   C NN  m o d el,   a  co m b in atio n   o f   h y b r i d   p o o lin g   is   u tili ze d   to   en h an ce   p er f o r m a n ce .   Ma th em ati ca lly ,   h y b r id   p o o lin g   co m b i n es  m ax - p o o lin g   an d   av e r ag e - p o o lin g   o u tp u ts   as  ( 4 ) ,   wh er e  α ∈ [ 0 , 1 ]   co n tr o ls   th e  tr ad e - o f f   b etwe en   f ea tu r e  s h ar p n ess   an d   s m o o th in g .   T h is   m ec h an is m   p r eser v es  s alien t  f ea tu r es   wh ile  m ain tain in g   g lo b al  co n tex t,  o f f er in g   a  m o r e  b alan ce d   f ea t u r e  r e p r esen tatio n   th an   in d iv id u al  p o o lin g   tec h n iq u es.       ( )   =     ×     ( )   +   ( 1   −   )   ×     ( )     ( 4 )     T h e  C NN  s tr u ctu r e  u tili ze s   t h e  R eL U  [ 2 3 ]   ac tiv atio n   f u n c tio n   ac r o s s   all  f ea tu r e  ex t r ac tio n   lay er s .   R eL U  [ 2 3 ]   h as  th e  p r o p e r ties   o f   n o t  b ein g   s atu r ated   o v e r   th e  in p u t  d ata  p o in ts   an d   is   ac tiv ated   o n   a  p o s itiv e   s et  o f   in p u ts   o r   n eu r o n s .   I n   ad d itio n   to   t h ese  p r o p er ties ,   R eL U  [ 2 3 ]   also   h elp s   s o lv e   th e  p r o b lem   o f   v a n is h in g   g r ad ien ts   at  lar g e.   T h e  f u n ctio n   c an   b e   d escr ib ed   b y   ( 5 ) ,   w h er e  x   d en o tes  in p u t  d ata  t o   th e   f u n ctio n .   R esear ch   an d   r esu lts   h av e  s h o w n   th at  R eL U  g en er ates f aster   o u t p u t in   lar g e  an d   co m p le x   n etwo r k s .           Fig u r e  2 .   I ll u s tr atio n   o f   2 x 2   m ax   an d   a v er ag e  p o o lin g       T h e  s ec o n d ,   th ir d ,   f o u r t h ,   an d   f if th   lay er s   co n tain   3 2 ,   6 4 ,   6 4 ,   an d   1 2 8   k e r n els,  r esp ec t iv ely ,   ea c h   with   a  s ize  o f   3 x 3 .   T h ese  ar e   f o llo wed   b y   p o o lin g   o p e r atio n s   in   th e  o r d e r :  av er a g e  ( 2 x 2 ) ,   m a x   ( 2 x 2 ) ,   m ax   ( 2 x 2 ) ,   an d   av er a g e  ( 2 x 2 ) .   T h e  C NN  s tr u ctu r e  u tili ze s   th e  R eL U  [ 2 2 ]   ac t iv atio n   f u n ctio n   ac r o s s   all  f ea tu r e  ex tr ac tio n   lay er s .   R elu   [ 2 2 ]   h as  th e  p r o p er ties   o f   n o t  b ei n g   s atu r ated   o v e r   th e  in p u t  d ata  p o in ts   an d   is   ac tiv ated   o n   a  p o s itiv e  s et  o f   in p u ts   o r   n eu r o n s .   I n   a d d itio n   t o   th ese  p r o p er ties ,   R elu   [ 2 2 ]   a ls o   h elp s   s o lv e  th e   p r o b lem   o f   v a n is h in g   g r ad ien t s   at  lar g e.   T h e   f u n ctio n   ca n   b e  d escr ib ed   b y   ( 2 ) ,   w h er e  x   d en o tes  in p u t   d ata   to   th e  f u n ctio n .   R esear ch   a n d   r esu lts   h av e  s h o wn   th at   R elu   g en er ates  f aster   o u tp u t  in   l ar g e  an d   co m p lex   n etwo r k s .     ( )   =    ( , 0 )   ( 5 )     T h e  last   p o o lin g   lay er   in   t h e   s tr u ctu r e  is   an   av er ag e  p o o l in g   o f   2 × 2   o n   1 2 8   f ilter s   o f   th e  3 ×3   co n v o l u tio n al  lay er .   He n ce ,   p er f o r m in g   th e  f latten in g   o f   th e  f ea tu r es  at  th is   s tag e  wo u ld   h av e  1 ×1 ×1 2 8   f ea tu r es  wh ich   ar e  c o n n ec te d   to   th e   1 0 2 4   d en s e  n eu r o n s .   T h is   d en s e  u n it  ac ts   as  a  h id d en   u n it  p lace d   ju s t  b ef o r e   th e  f i n al  o u tp u t  s tag e.   T o   h elp   p r ev en t   o v e r f itti n g   an d   im p r o v e   th e  m o d el’ s   a b ilit y   to   g e n er alize ,   a   d r o p o u t  r ate  o f   0 . 3   is   ap p lied .   Fin ally ,   th e  o u tp u t  lay er   in cl u d es  4   n eu r o n s ,   ea ch   co r r esp o n d in g   to   o n e  o f   th e   f o u r   class es  in   th e  d ataset.   T o   class if y   th e  im ag es  in to   p r o p e r   class es,  th e  last   lay er   u s es  th e  s o f tm ax   f u n ctio n ,   wh ich   wo r k s   o n   p r o b ab ilit y   d is tr ib u tio n .   C ateg o r ical - cr o s s - en tr o p y   is   u s ed   with   Ad am   o p tim izer   an d   ex p o n e n tial  lear n in g   r ate  d ec a y   to   illu s tr ate  m u lticlas s   clas s i f icatio n .   T h e  p r o p o s ed   C NN  ar ch itectu r e  ca n   b e   v is u alize d   b y   Fig u r e   3 .   ( ) =   ( ) ∑ ( ) = 1   ( 6 )     T h e  s o f tm ax   f u n ctio n   is   m ath em atica lly   r ep r esen ted   b y   ( 6 ) ,   with   it s   g r ap h i ca l  in ter p r etatio n   s h o wn   in   Fig u r e   4 .  T h is   f u n cti o n   s ca les  th e  o u tp u t   v alu es  b etwe en   0   an d   1 ,   en s u r in g   th at   th e  t o tal  s u m   o f   all  class   p r o b a b ilit ies  eq u als  1 .   I n   ( 6 ) ,   Z   r ep r esen ts   th e  in p u t   v ec to r   t o   th e   o u t p u t  la y er ,   an d   th e   in d ex   j   r ef er s   to   ea c h   o u tp u t  u n it,  wh er e  j =   1 ,   2 ,   . . . ,   K.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 ,  Ma r ch   20 26 :  4 1 4 - 4 2 7   420       Fig u r e  3 .   Pro p o s ed   C NN  ar ch i tectu r e           Fig u r e  4 .   So f tm a x   o u tp u t a s   cl ass   p r o b ab ilit y   d is tr ib u tio n       4.   E XP E R I M E N T A L   SE T UP   AND  RE SUL T S   T h e  im p lem e n tatio n   was  ca r r ied   o u t   o n   a  lo ca l  s y s tem   eq u i p p ed   with   an   AM D  R y ze n   7   5 7 0 0 G   6 4 - b it  p r o ce s s o r ,   R ad eo n   Gr a p h i cs  at  3 . 8 0   GHz ,   an d   1 6   GB   o f   R AM .   T h e  p r o p o s ed   ap p r o ac h   was  d ev elo p ed   in   Py th o n ,   u tili zin g   lib r ar ies  s u ch   as  Ker as,  T en s o r Flo w,   s cik it - lear n ,   an d   Ma tp lo tlib .   T h e  ap p r o ac h   u s es  ca llb ac k   as  th e   ea r ly   s to p p in g   m ec h an is m   f o r   th e  C NN  tr ai n in g   b ased   o n   v al id atio n   u p d a te  lo s s   v alu es  an d   a   p atien ce   v alu e  k ep t  at  5 .   W e  s to r e  th e  b est  weig h ts   f o r   t h e  m o d el  th at  h as  b ee n   tr ain e d   o v er   1 1   ep o c h s .   As  m en tio n ed   in   th e  p r e v io u s   s e ctio n ,   a  to tal  o f   8 3 , 4 8 4   in p u t   in s tan ce s   wer e  u s ed   f o r   tr ai n in g ,   3 2   in s tan ce s   s er v ed   as  th e  v alid atio n   s et,   an d   9 6 8   in s tan ce s   wer e  allo ca ted   f o r   test in g .     4. 1 .    E v a lua t i o n o f   pro po s ed  a pp ro a ch   T h e  p r o p o s ed   d ee p   n eu r al  n et wo r k   ar c h itectu r e  was  ca r ef u lly   tr ain ed   an d   test ed   u s in g   t h e  OC T 2 0 1 7   im ag e  d ataset  to   en s u r e  a  r eliab le  an d   co m p r eh e n s iv e  ev alu a tio n   o f   its   p er f o r m an ce .   T r ai n in g   was  co n d u cted   o v er   1 1   e p o ch s ,   u tili zin g   an   ea r ly   s to p p in g   m ec h an is m   to   p r ev en t  o v er f itti n g   an d   o p ti m ize  g en er aliza tio n .   T h e  en tire   tr ain in g   p r o ce s s   to o k   a p p r o x im ately   1 7 0   m in u te s ,   wh ile  test in g   r e q u ir ed   ju s t  1 2 1   m illi s ec o n d s ,   d em o n s tr atin g   t h e  ef f icien c y   o f   o u r   lig h tweig h t  a p p r o ac h .   B y   in co r p o r atin g   d ata  au g m en tatio n   a n d   an   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g e  cla s s ifica tio n :   A   C N N   w ith   …   ( P a r th   R .   Da ve )   421   ex p o n e n tial  lear n in g   r ate   d e ca y   s tr ateg y ,   th e  m o d el  s u c ce s s f u lly   lear n ed   i n tr icate   r e tin al  p atter n s   wh ile   m ain tain in g   s tab ilit y   d u r i n g   tr ain in g .   T h e  tr ain in g   a n d   v alid atio n   er r o r s   ch an g ed   o v er   1 1   ep o ch s   f o r   th e  p r o p o s ed   C NN  m o d el  is   d ep icted   b y   Fig u r e  5 .   As th e  f ig u r e  illu s tr ates,  th e  tr ain in g   er r o r   co n s i s ten tly   g o es d o wn ,   wh ich   s u g g ests   th at  th e  m o d el  is   lear n in g   well   f r o m   th e   d ata.   T h is   s m o o th   an d   s tead y   tr en d   h ig h lig h ts   th e  e f f ec tiv en ess   o f   u s in g   ex p o n en tial   lear n in g   r ate  d ec ay   an d   d ata  a u g m en tatio n ,   b o th   o f   wh ich   h elp ed   th e  m o d el  t r ain   ef f icien t ly   an d   r eliab ly .   T h e   clo s e  m atch   b etwe en   th e  tr ain in g   an d   v alid atio n   cu r v es  s h o ws  th at  th e  m o d el  p er f o r m s   well  ev en   o n   u n s ee n   d ata,   d em o n s tr atin g   its   o v er all  r o b u s tn ess .   T h e  f o llo win g   eq u atio n s   r ep r esen t  co m m o n   m etr ics  s u ch   as  p r ec is io n ,   r ec all  an d   F1   s co r e,   u s ed   in   ev alu atio n   o f   class if ic atio n   m o d els:       =           +       ( 7 )       =           +       ( 8 )     1    = 2 ∗     ∗    +    ( 9)           Fig u r e  5 .   Mo d el  er r o r   p r o g r ess io n   ac r o s s   ep o ch s   f o r   b o th   tr a in in g   an d   v alid atio n   s ets       T h e  co n f u s io n   m atr ix   s h o w n   in   Fig u r e   6   f u r th er   illu s tr ate s   th e  p r ec is io n   o f   th e  m o d el,   r ev ea lin g   m in im al  m is class if icat io n s   in   th e  f o u r   ca teg o r ies  o f   th e  r etin a:  C NV,   DM E ,   Dr u s en ,   an d   No r m al.   T h e  p r o f icien c y   o f   th e   m o d el   in   cl ass if y in g   Dr u s en   a n d   DM E ,   t wo   co n d itio n s   th at  o f ten   s h a r e   o v er la p p in g   v is u al  f ea tu r es,  is   p ar ticu lar ly   n o tab l e.   T h e  h ig h   p r ec is io n ,   r ec all,   an d   F1   s co r e  v alu es  d ep icted   in   T ab le  5   r ea f f ir m   th e  r eliab ilit y   o f   th e  m o d el.   I n   f ac t,   it  ac h iev ed   an   F1   s c o r e  o f   1 . 0 0   f o r   th e  No r m al  a n d   Dr u s en   class es,  in d icatin g   f lawless   class if icati o n   in   th o s e  ca s es.   Desp ite  class   im b alan ce ,   esp ec ially   with   Dr u s en   h av i n g   f ewe r   s am p les,  au g m en tatio n   tech n iq u es  wer e  ap p lied   u n if o r m ly   to   all  class es,   in cr ea s in g   s am p le  d iv er s ity .   E ac h   s am p le,   ( x ,   y ) ,   was  tr an s f o r m ed   in to   ( T ( x ) ,   y ) ,   wh er e  T   r ep r esen t s   r an d o m   tr an s f o r m atio n s   lik e  s h ea r in g   an d   f lip p in g .   T h is   led   to   im p r o v e d   Dr u s en   class   p er f o r m an ce   with   an   F 1 - s co r e  o f   0 . 9 9   an d   a  r ec all  o f   0 . 9 8 ,   h ig h lig h tin g   th e  au g m en tatio n ’ s   r o le  in   ad d r ess in g   im b alan ce   an d   e n h an cin g   m o d el  g e n er aliza tio n .   T h ese  f ig u r es   an d   tab les  co r r esp o n d   to   th e   n u m er ical  lab els 0 ,   1 ,   2 ,   an d   3 ,   r ep r esen tin g   t h e  f o u r   class es: C NV,   DM E ,   Dr u s en ,   an d   No r m al,   r esp ec tiv ely .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 ,  Ma r ch   20 26 :  4 1 4 - 4 2 7   422       Fig u r e  6 .   C o n f u s io n   m atr i x   ev alu atio n   o n   p r o p o s ed   m o d el  f o r   th e  test   d ataset       T ab le  5 .   Per f o r m an ce   m etr ics o f   th e  p r o p o s ed   m o d el  o n   test   d ataset     P r e c i s i o n   R e c a l l   F1 - sc o r e   S u p p o r t   C l a s s           C N V   0 . 9 7   0 . 9 9   0 . 9 8   2 4 2   D M E   0 . 9 9   0 . 9 9   0 . 9 9   2 4 2   D r u sen   1 . 0 0   0 . 9 8   0 . 9 9   2 4 2   N o r mal   1 . 0 0   1 . 0 0   1 . 0 0   2 4 2   A c c u r a c y       0 . 9 9   9 6 8   M a c r o   A v g   0 . 9 9   0 . 9 9   0 . 9 9   9 6 8   W e i g h t e d   A v g   0 . 9 9   0 . 9 9   0 . 9 9   9 6 8       T o   f u r th er   v alid ate  its   r o b u s t n ess ,   th e  r ec eiv er   o p er atin g   c h ar ac ter is tic  ( R O C )   cu r v e  o f   th e  m o d el  s h o wn   in   Fig u r e   7   was  p lo tte d ,   r ev ea lin g   a n   AUC  clo s e  to   1 ,   wh ich   in d icate s   s tr o n g   p r e d ictiv e  ca p ac ity   an d   co n f id en ce   in   i ts   class if icatio n s .   C o m p ar ed   to   p r ev io u s   m eth o d s ,   in clu d in g   L a y er - Gu id e d   C NN,   B in ar y   C NN,   an d   E OC T   m o d els,  o u r   ap p r o ac h   co n s is ten tly   o u tp e r f o r m e d   th em   in   te r m s   o f   ac c u r ac y .   T h e  co m p a r is o n   o f   th e  ex is tin g   ap p r o ac h es with   o u r   p r o p o s ed   a p p r o ac h   is   s h o w n   in   T a b le  6 .   T h e  co m p a r ativ e  o v er v iew  o f   f o u r   p r o g r ess iv ely   r ef in ed   C NN  ar ch itectu r es  d ev elo p ed   f o r   r etin al  OC T   im ag e  class if icatio n   is   d ep icted   in   T ab le   7 .   T h e  in itial  m o d el  with   s am e  n u m b er   o f   c o n v o lu ti o n al  lay er s   d ep icted   b y   Fig u r e   4   ( M o d el   A)   u s es  m a x   p o o lin g   af ter   e ac h   co n v o lu tio n al  lay er ,   a   f ix ed   lear n in g   r ate  o f   0 . 0 0 1 ,   an d   was  tr ain ed   f o r   1 1   ep o ch s .   I t  g ain ed   a n   ac cu r ac y   o f   9 4 . 3 %,  b u t  s tr u g g le d   to   ac cu r ately   class if y   m in o r ity   class es  s u ch   as  Dr u s en .   I n   Mo d el  B ,   th e  ap p licatio n   o f   d ata  a u g m en tatio n   s ig n if i ca n tly   e n h an ce d   th e   m o d el’ s   ab ilit y   to   g en er alize   ac r o s s   v ar io u s   s am p les  th at  i m p r o v i n g   o v e r all  class   b alan ce   an d   in cr ea s in g   th e  ac cu r ac y   to   9 6 . 1 2 %.  Mo d el  C   in tr o d u ce d   h y b r id   p o o lin g   as   th e  p r o p o s ed   m o d el  ( a   co m b in atio n   o f   Ma x   an d   Av er ag e  p o o lin g ) ,   wh ich   allo wed   f o r   m o r e  ef f ec tiv e  r eten ti o n   o f   s p atial  an d   tex tu r al  d eta ils ,   th er eb y   g ain in g   th e  ac cu r ac y   to   9 7 . 3 %.  B u ild in g   o n   th ese  im p r o v em e n ts ,   th e  p r o p o s ed   M o d el  D  b r o u g h t  t o g eth er   all  p r e v io u s   en h an ce m e n ts   an d   in tr o d u ce d   an   ex p o n e n tial  lear n in g   r ate  d ec ay ,   wh ich   h el p ed   t h e  m o d el   lear n   m o r e  s tead ily   an d   co n v er g e   m o r e   s m o o th ly   d u r in g   tr ain in g   an d   f in ally   ac h iev in g   th e  b en ch m a r k   ac c u r ac y   o f   9 8 . 7 5 %.     4. 2 .     E x pla ina bil it y   a na ly s is   us ing   CA M   T o   g et  a  clea r er   p ictu r e  o f   h o w  o u r   C NN  “wo r k s ”,   C AM   [ 9 ]   is   im p o s ed   as  a n   ex p lain a b le  AI   to o l   ( XAI )   to   p ee k   i n s id e  its   lay er s .   C AM   tu r n s   ea ch   co n v o lu tio n al  lay er ’ s   f ea tu r e  m a p s   in to   h ea tm ap s ,   s h o win g   ex ac tly   wh ich   p a r ts   o f   an   OC T   im ag e,   th e  m o d el  is   f o cu s in g   o n   at  th at  d ep th .   W h ile   co m p ar in g   C AM s   o u tp u t   f r o m   th e  f i r s t,  m id d le,   an d   d e ep e s t  lay er s ,   a  s m o o th   p r o g r e s s io n   is   s ee n :  ea r ly   o n   th e   n etwo r k   s p o ts   s im p l e   ed g es  an d   tex tu r es,  th en   it  h o m es  in   o n   th e  in d icativ e  s ig n s   o f   d is ea s e - lik e  f lu id   p o ck ets  o r   s tr u ctu r al  b r ea k s ,   b ef o r e  m ak in g   its   f in al  ca ll.    Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g e  cla s s ifica tio n :   A   C N N   w ith   …   ( P a r th   R .   Da ve )   423       Fig u r e   7 .   R OC   cu r v e  f o r   th e  p r o p o s ed   a p p r o ac h       T ab le  6 .   C o m p a r is o n   with   ex i s tin g   ap p r o ac h es   Y e a r   R e f e r e n c e s   M e t h o d   D a t a s e t   A c c   2 0 1 9   D i a z   e t   a l .   [ 24 ]   C N N   O C T2 0 1 7   93   2 0 1 9   H u a n g   e t   a l .   [1 4 ]   La y e r G u i d e d   C N N   O C T2 0 1 7   8 8 . 4   2 0 2 0   S a r a i v a   e t   a l .   [ 25 ]   C N N   O C T2 0 1 7   9 3 . 3   2 0 2 1   K i m   a n d   Tr a n   [ 16 ]   B i n a r y   C N N   M o d e l   1   /   M o d e l   2   ( H e a v y   mo d e l s)   O C T2 0 1 7   9 8 . 1 / 9 8 . 7   2 0 2 3   H a ssan   e t   a l .   [ 1 8 ]   EO C T  M o d e l   O C T2 0 1 7   9 7 . 4 7   2 0 2 3   D i a o   e t   a l .   [ 17 ]   C N N   O C T2 0 1 7   9 6 . 9 3   2 0 2 3   O p o k u   e t   a l .   [ 26 ]   C a p su l e   n e t w o r k   w i t h   c o n t r a st   l i mi t e d   a d a p t i v e   h i s t o g r a m   e q u a l i z a t i o n   O C T2 0 1 7   9 7 . 7   2 0 2 4   S t a n o j e v i ´ c   e t   a l .   [ 21 ]   D e e p   C N N   O C T2 0 1 7   9 5 . 5 5   2 0 2 4   Y a n g   e t   a l .   [ 20 ]   En se mb l e   M o d e l   b a se d   o n   C N N ,   Ef f i c i e n t n e t   v 2   a n d   R e s n e t   O C T2 0 1 7   9 7 . 8 9   2 0 2 5   Pr o p o sed   a p p r o a c h   C N N   + D a t a   A u g m e n t a t i o n   +   E x p o n e n t i a l   L e a r n i n g   R a t e   D e c a y   +  mi x t u r e   o f   ma x   a n d   a v e r a g e   p o o l i n g   OC T 2 0 1 7   9 8 . 7 5       Ta b le  7 .   Ab latio n   s tu d y   o f   th e  p r o p o s ed   ap p r o ac h       C AM   p r o v id es  v is u al  in s ig h t s   in to   th e  r eg io n s   o f   th e   r eti n al  OC T   im ag es  th at  m o s t  s ig n if ican tly   co n tr ib u te   to   th e   class if icatio n   d ec is io n s   m a d e  b y   th e  C NN  m o d el.   T h is   v is u aliza tio n   h elp s   en s u r e  th at   th e   m o d el  is   f o cu s in g   o n   clin ically   m ea n in g f u l  r eg io n s ,   th u s   p r o m o tin g   tr a n s p ar en cy ,   tr u s t,  an d   p o ten tial  clin ical   ap p licab ilit y .   Ma th em atica lly ,   f o r   a  g i v en   class   c,   th e  C AM   h ea tm ap   M c ( x ,   y )   is   d ef in e d   b y   ( 1 0 ) .   M o d e l   D a t a   a u g me n t a t i o n   P o o l i n g   Le a r n i n g   r a t e   A c c   O b serv a t i o n   M o d e l   A   ( B a s e l i n e   C N N )   NO   M a x   P o o l i n g   F i x e d   LR   9 4 . 3 %   S i mp l e   C N N   w i t h   st a n d a r d   p o o l i n g   a n d   f i x e d   LR   sh o w s  l i m i t e d   l e a r n i n g ,   e s p e c i a l l y   o n   mi n o r i t y   c l a sses   l i k e   D r u s e n   M o d e l   B   Y e s   M a x   P o o l i n g   F i x e d   LR   9 6 . 1 2 %   A u g m e n t a t i o n   i mp r o v e s  g e n e r a l i z a t i o n   a n d   c l a ss   b a l a n c e ,   e s p e c i a l l y   f o r   u n d e r r e p r e s e n t e d   c l a sses.   M o d e l   C   Y e s   H y b r i d   P o o l i n g   ( M a x   +   A v g )   F i x e d   LR   9 7 . 3 %   A d d i t i o n   o f   h y b r i d   p o o l i n g   b o o st s  p e r f o r m a n c e   b y   b e t t e r   p r e ser v i n g   sp a t i a l   a n d   e d g e   d e t a i l s.   M o d e l   D   ( Pr o p o sed  M o d e l )   Y e s   Hy b r i d   Po o l i n g   ( M a x   + A v g )   E x p o n e n t i a l   LR   9 8 . 7 5 %   Fi n a l   mo d e l ;   e x p o n e n t i a l   L R   d e c a y   st a b i l i z e s  l e a r n i n g ,   l e a d i n g   t o   o p t i m a l   c o n v e r g e n c e   a n d   b e st   a c c u r a c y .   Evaluation Warning : The document was created with Spire.PDF for Python.