I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 5 ,   N o .   1 M a r c h   20 2 6 ,   pp.   1 5 2 ~ 1 60   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 5 i 1 . pp 1 5 2 - 1 60             152       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   D e e p R e t in a:  a m u lti m o d al  f r a m e w o r k  f or  e ar l y  d ia b e t ic   r e t in op at h y  d e t e c t io n  an d  p r o gr e ssi on  p r e d ic t io n       S u n d e r   Ram as a m y 1 ,   B r in d h M oh a n r aj 2 ,   S r id h ar   P u s h p an at h an 3 ,   T h e n m oz h E l u m a l ai 4 ,   P r ab u   K al iyap e r u m a l 1 ,   Raj ak u m a r   P e r u m a l 5   1 S c h oo of  C o mput e r  S c i e n c e  a nd E ng in e e r in g, G a lg o t ia s  U ni ve r s it y , D e lh N C R , I ndi a   2 D e pa r tm e nt   of  C o mpu te r  S c ie n c e  a nd E ngi n e e r in g, C h e nna I n s ti tu te   of   T e c hn o l o g y , C h e nna i,  I ndi a   3 D e pa r tm e nt   of  E l e c tr i c a a nd E l e c tr o ni c s  E ngi n e e r in g,  K o ngun a du C o ll e g e   of   E ngi n e e r in g a nd  T e c hn o l o g y T r ic h y I ndi a   4 D e pa r tm e nt   of  I n f or ma ti o T e c hn o l o g y , P a ni ma la r  E ngi n e e r in g C o ll e ge , C h e nna i,  I ndi a   5 D e pa r tm e nt   of  C o mpu te r  S c ie n c e   a nd   A ppl i c a ti o ns , S ha r da  S c hoo of  C o mput in S c ie n c e   a nd   E ngi n e e r in g   S ha r da  U ni ve r s it y ,   U tt a r  P r a de s h,   I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve De c   28,   2024   R e vi s e J u l   3,   2025   A c c e pt e Oc t   7 ,   2025       D i ab e t i r e t i n o p at h y   ( D R)  r em a i n s   o n o f   t h e   t o p   cau s e s   o f   v i s i o n   l o s s   g l o b al l y ,   an d   e ar l y   d e t ec t i o n   an d   accu rat e   p ro g r e s s i o n   p re d i c t i o n   ar e   c r i t i c al   i n   i t s   m a n ag emen t .   T h i s   p ap e i n t ro d u ce s   D ee p R e t i n a,   d ee p   l e arn i n g   framew o rk   t h at   i n t eg rat e s   s t at e - of - the - art   m u l t i m o d al   r e t i n al   i m a g i n g   t e ch n i q u e s   w i t h   p at i en t - s p e c i f i c   cl i n i c al   d at fo t h e   i mp ro v ed   d i a g n o s i s   an d   p ro g n o s i s   o D R.   D ee p R e t i n h arn e s s e s   c u t t i n g - e d g e   c o n v o l u t i o n al   n eu ral   n e t w o rk s   (C N N s )   an d   at t e n t i o n   mech an i s m s   t o   j o i n t l y   a n al y z e   o p t i c al   c o h e r e n ce  t o m o g rap h y   (O CT )   s c an s   an d   f u n d u s   p h o t o g rap h s .   T h arc h i t ec t u r e   f u rt h e i n c l u d e s   t em p o ral   mo d u l e   t h at   i n v e s t i g at e s   t h l o n g i t u d i n al   ch an g e s   i n   t h e   r e t i n a.   D ee p Re t i n a   fu s e s   t h e s e   h e t e r o g en e o u s   d at s o u rce s   w i t h   p at i en t   cl i n i c a l   i n fo r m at i o n   i n   p u rs u i t   o e ar l y   d e t ec t i o n   o f   D an d   p ro v i d e s   p e rs o n a l i z ed   p re d i c t i o n s   fo t h e   p ro g r e s s i o n   o t h e   d i s e as e .   W u s e   a   s p ec i a l l y   d e s i g n e d   CN N   ar ch i t e c t u r t o   p ro ce s s   h i g h - r e s o l u t i o n   re t i n a l   i m a g e s ,   co u p l ed   w i t h   s el f - at t e n t i o n   mec h a n i s m   t h at   fo c u s e s   o n   t h mo s t   re l ev an t   f e at u r e s .   T h i s   r ec u rr en t   n e u ra l   n e t w o rk   (R N N )   mo d u l e   em p o w e rs   i t   t o   i n t e g rat e   t i me - s e ri e s   d at t h at   c ap t u re s   t h e   ev o l u t i o n   o f   re t i n a l   ab n o r m al i t i e s .   A n o t h e n e u ra l   n e t w o rk   b ran ch   c o n s i d e r i n g   p at i e n t - s p e c i f i c   cl i n i c al   d at a,   s u c h   as   d em o g rap h i c   i n f o r m at i o n ,   me d i c al   h i s t o r y ,   an d   l ab o rat o r y   t e s t   re s u l t s ,   w as   t ak e n   i n t o   a cco u n t   an d   c o n c at e n at e d   w i t h   t h i m ag i n g   f e at u r e s   fo r   h o l i s t i c   a n al y s i s .   D ee p R e t i n a ch i ev e d   9 5 %   s e n s i t i v i t y ,   9 8 %   s p eci fi ci t y   fo e ar l y   D d e t ec t i o n ,   an d   0 . 9 2   are u n d e t h c u r v e   ( AUC )   fo 5 - y e ar   p ro g r e s s i o n   p red i c t i o n ,   o u t p e rfo r m i n g   e x i s t i n g   me t h o d s .   K e y w o r d s :   D i a b e t i c   r e t i n o pa t hy   d i a g n o s i s   F u n dus   p h o to g r a ph s   Opt i c a l   c o h e r e n c e   t o m o gr a phy   P r e v e n t a bl e   b l i nd n e s s   V i s i o n   l o s s   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   P r a b K a li y a p e r u m a l     S c h o o l   o f   C o m put e r   S c i e n c e   a n E n g i ne e r i ng Ga l got i a s   U ni ve r s i t y   201310  De l hi   N C R ,   I n d i a     E m a i l m e ga . pr a b u @ g m a il . c o m       1.   I NT RODU C T I ON   R e t i n o pa t hy ,   m o r e   s o   d i a b e t i c   r e t i n o pa t hy   ( D R ) ,   h a s   b e e n   c o n s i d e r e o n e   o f   t h e   s i g nif i c a n t   s e r i o us   mi c r o v a s c u l a r   c o m p li c a t i o n s   o f   d i a b e t e s   m e ll i t us   a n c o n t i n ue s   t b e   a m o n t h e   l e a d i ng  c a us e s   o f   pr e v e n t a bl e   bli nd n e s s   i n   t h e   wo r l [ 1] .   W i t h   t he   i n c r e a s i n i nc i de nc e   o f   DM   a n pr o l o n ga t i o o f   l if e   e x pe c t a n c y ,   t h e   i m pa c t   o f   DR   o n   t h e   po pul a t i o n   w i ll   dr a m a t i c a ll y   r i s e   o v e r   t h e   n e x t   f e de c a de s   [ 2]   T h us ,   t h e   de t e c t i o n   a n pr e d i c t i o n   o f   d i s e a s e   a dv a n c e m e n t   a t   t h e   e a r l i e s t   l e v e l   a r e   v e r y   im po r t a n t   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e pR e ti na:   mult imodal  f r ame w or k   f or   e ar ly  dia be ti c   r e ti nopathy  de tec ti on    ( Sundar   R amas amy )   153   m a n a g i ng  t h e   c o n d i t i o n   we l l   a n pr e v e n t i n s e v e r e   vi s ua l   l o s s   a m o n DR   pa t i e n t s .   T r a di t i o n a l   DR   di a g n o s i s   a ppr o a c h e s   r e l y   h e a vil y   o n   c l i n i c a l   e x a mi na t i o n   a nd  h u m a n   i ns pe c t i o n   o f   r e t i n a l   im a ge s   by   o ph t h a lm o l o g i s t s .   S uc h   s y s t e m s   e nf o r c e   i n t e r o b s e r v e r   v a r i a bil i t y   a n s o m e t i m e s   mi s s   e a r l y   s u b t l e   s i g n s   o f   t h e   d i s e a s e   [ 3] A dd i t i o n a ll y ,   t h e   pr e d i c t i o n   o f   DR   pr o gr e s s i o n   r e m a i ns   u n c e r t a i n   b e c a us e   o f   i t s   de pe n de nc e   o n   g l y c e mi c   c o n t r o l ,   l e n gt h   o f   t i m e   o f   m a k i ng  d i a be t e s   di a g n o s e s ,   a n t h e   pa t i e n t s   ge n e r a l   c o n d i t i o n   [ 4] [ 5 ] .   I m a ge   a n a ly s i s   i n   m e d i c i ne ,   i nc l ud i ng  r e t i n a l   i m a ge s ,   o f f e r s   v e r y   pr o m i s i ng  r e s u l t s   [ 6] C o n v o l ut i o n a l   ne ur a l   n e t wor ks   ( C NN s ) ,   wh e n   a pp l i e to  f u n du s   ph o to g r a ph s ,   o f f e r   a n   a c c ur a c y   o f   97%   f o r   DR   de t e c t i o n .   O t h e r   us e s   o f   i t   i n c l ude   r e t i n a l   t hi c k n e s s   a n m o r ph o l o g y   m e a s ur e m e n t s ,   whi c a r e   a l s pe r f o r m e by   o pt i c a l   c o h e r e n c e   to m o gr a phy   ( OC T )   [ 7] .   H o we v e r ,   m o s e xi s t i n a ppr o a c h e s   a r e   u nim o da l   s i nc e   t h e y   do   n o t   f u l ly   t a i n t o   t h e   c o m p l e m e n t a r y   i nf o r m a t i o n   o b t a i n e i m u l t i p l e   t y pe s   o f   r e t i n a l   i m a g i ng.   I n   r e c e n t   de c a de s ,   a r t i f i c i a l   i n t e ll i g e n c e ,   a n m o r e   r e c e n t l y   d e e l e a r ni ng  m e t h o ds ,   h a v e   b e e n   w i de ly   a pp li e d   f o r   t h e   de t e c t i o n   a n pr o gr e s s i o n   pr e d i c t i o n   o f   DR   [ 8] [ 9] .     T hi s   r e vi e c o v e r s   r e l a t e wo r k   i n   t h r e e   ke y   a r e a s s i n g l e - m o da li t y   im a g i ng  a ppr o a c he s ,   t e c hni que s   f r o m   m u l t i m o d a l i t y   im a g i ng,   a n i n t e gr a t i o n   w i t h   c li n i c a l   da t a   to  o b t a i n   a   pe r s o n a li z e pr e d i c t i o n .   E a r ly   e f f o r t s   i n   a uto m a t e DR   de t e c t i o n   we r e   m o s t l y   pe r f o r m e t h r o ugh   t h e   a n a ly s i s   o f   f u n dus   ph o to gr a p h s   us i ng   c o n v e n t i o n a l   m a c hi ne   l e a r ni ng  m e t h o ds .   A n o t h e r   e a r l y   a ut o m a t e s y s t e m   f o r   t h e   de t e c t i o n   o f   DR   wa s   pr e s e n t e by   Ab r à m o f f   e al.   [ 10]   us e d   m a t he m a t i c a l   m o r ph o l o g y   a n m a c hi ne   l e a r ni ng  c l a s s if i e r s   to  i de n t i f y   DR - dr i v e n   m i c r o a n e ur y s m s   a n ot h e r   l e s i o n s .   T he   a pp l i c a t i o n   o f   de e l e a r ni ng,   e s pe c i a ll y   C NN s ,   to   f un du s   im a ge s   s i g ni f i c a n t l y   r a i s e t h e   a c c ur a c y   f o r   DR   de t e c t i o n .   Gu l s h a n   e al.   [ 11]   de m o ns t r a t e i t   i s   po s s i b l e   t b u il a   C NN   w i t h   s e ns i t i v i t y   a n s pe c if i c i t y   c l o s e   to   h u m a n   e x p e r t s   i n   t h e   de t e c t i o n   o f   r e f e r a bl e   DR s .   Ga r ge y a   a n L e n [ 12]   pr o vi de a n   o v e r vi e o f   a   C NN   a r c hi t e c t ur e   i n   2017  t h a t   c o ul r e t ur n   a   DR   s e v e r i t y   gr a de .   P a r a l l e l   t o   t h e s e   a dv a nc e s   i n   f u n dus   im a ge   a n a ly s i s ,   s e v e r a l   r e s e a r c h   s t ud i e s   h a ve   us e OC T   f o r   DR   a s s e s s m e n t .   F a uw  e al.   [ 13 ]   pr e s e n t e a   de e l e a r ni ng  s y s t e m   f o r   t h e   a n a ly s i s   o f   OC T   s c a ns   t h a t   pe r f o r m s   r e f e r r a l   r e c o m m e n da t i o n s   f o r   a   p l e t h o r a   o f   r e t i na l   d i s e a s e s ,   i n c l ud i ng  DR .   T h e i r   a ppr o a c h   de m o n s t r a t e e x pe r t - l e v e l   pe r f o r m a n c e   a n pr o vi de c l i n i c a ll y   e x p l a i na bl e   de c i s i o ns .   W hil e   t h e s e   s i ng l e - m o da li t y   a ppr o a c h e s   c a n   po s s i b ly   r e t ur n   pr o m i s i ng  r e s u l t s ,   t h e y   a r e   l im i t e by   i n t r i n s i c   c o n s t r a i n t s   o f   e ve r y   im a g i ng   t e c h ni que .   F u n dus   ph o to gr a phy   i s   s e n s i t i ve   to  s ur f a c e   c h a n ge s   i n   t h e   r e t i n a   b ut  l a c ks   de pt h   i nf o r m a ti o n ,   a n d   OC T   pr o v i de s   de t a i l e c r o s s - s e c t i o n a l   vi e ws   b ut   m i g h t   m i s s   w i d e - f i e l pa t h o l o g i e s   [ 14] .   R e a li z i ng  t h e   c o m p l e m e n t a r i t y   o f   v a r i o us   i m a g i n m o da l i t i e s   i n   DR   de t e c t i o n   a n c l a s s i f i c a t i o n ,   r e c e n t l y ,   r e s e a r c h e r s   h a v e   s t a r t e w o r ki n o n   m u l t im o da l   a ppr o a c h e s .   Va gh e f i   e al.   [ 15]   pr o p o s e a   de e p   l e a r ni ng  f r a m e wo r t h a t   c o m bi ne f u n dus   p h o to gr a phs   a n OC T   i m a g e s   to   r e a l i z e   i m pr o v e a c c ur a c y   i n   t h e   gr a d i n o f   DR .   T h e i r   m o de l   de m o ns t r a t e s upe r i o r   pe r f o r m a nc e   c o m p a r e to  s i n g l e - m o da l i t y   a pp r o a c h e s ,   pa r t i c u l a r l y   i d i f f e r e n t i a t i n b e t we e n   e a r l y   s t a ge s   o f   DR .   B u i l d i ng  o n   t hi s ,   a n o t h e r   r e c e n t   a tt e n t i o n - b a s e d   f us i o n   n e t wor i n t e gr a t i n f u n dus   p h o to,   OC T ,   a n OC T   a n g i o gr a p hy   f e a t ur e s   wa s   pr o p o s e by   P o e l   e al.   [ 16] .   T hi s   n ot   o nl y   im pr o v e o v e r a l l   a c c ur a c y   b u a l s o   e n ha n c e t h e   m o de l s   c a pa bil i t y   f o r   de t e c t i n s li g h t   mi c r o v a s c u l a r   c ha n ge s   a s s o c i a t e w i t h   e a r l y   DR .   De s p i t e   t h e s e   gr e a t   a d v a n c e m e n t s ,   m o s t   o f   t h e   m u l t im o da l   a ppr o a c h e s   s o   f a r   s t i ll   c o n c e n t r a t e   o n   bi na r y   c l a s s if i c a t i o n   o r   s t a t i c   gr a d i n a n do  n ot   c o n s i d e r   t h e   te m po r a l   ph a s e s   o f   d i s e a s e   de v e l o p m e n t .   I m e a n s   t h a t   t h e   c r e a t i o n   a n pr o gr e s s i o n   o f   DR   r e l a t e   to   a   h o s t   o f   pa t i e n t - s pe c i f i c   f a c t o r s ,   a f t e r   whi c h   e f f o r t s   h a v e   be e n   m a de   to  i n c l ude   c l i n i c a l   d a t a   i n t a r t i f i c i a l   i n t e l li ge nc e   ( AI )   m o de l s .   B o r a   e al .   [ 17]   de v e l o pe a   hy br i a ppr o a c h   i n   w hi c h   im a ge   f e a t ur e s   we r e   c o m bi ne w i t h   c l i n i c a l   v a r i a bl e s ,   s uc h   a s   dur a t i o n   o f   d i a b e t e s ,   HbA 1c   l e v e l s ,   a n bl o o p r e s s ur e   f o r   t h e   pr e di c t i o n   o f   DR   pr o gr e s s i o n .   T h e i r   m o de l   s h o we im pr o v e a c c ur a c y   i i d e n t i f yi ng  pa t i e n t s   a t   hi g h   r i s o f   pr o g r e s s i o n   c o m pa r e t i m a g e - o nl y   m o de ls .   Go i n g   f ur t h e r   w i t h   t hi s   t h r e a o f   t h o ugh t ,   Oh n o - M a t s u i   e al.   [ 18]   pr o p o s e a   de e l e a r ni ng  f r a m e wo r t h a t   i n t e gr a t e s   l o n g i t ud i na l   f u n du s   im a ge s   w i t h   c li n ica l   da t a   i n   o r de r   to   pr e di c t   i n d i v i dua l   DR   pr ogr e s s i o t r a j e c t o r i e s .   S i n c e   t h e   a u t h o r s   de s i g ne t h e   m o de l   wi t hi n   a   t i m e   s e r i e s   a n a ly s i s ,   t h e y   a r e   a bl e   to   c a pt ur e   t h e   d y n a mi c s   o f   DR   pr o gr e s s i o n   a n pr o vi de   pe r s o n a li z e r i s a s s e s s m e n t s .   T h e s e   m e t h o ds   a r e   s t i l l   i nhe r e n t l y   li mi t e by   be i ng  b a s e o n   a   s i n g l e   i m a g i ng  m o da l i t y   a n by  f a il i ng  to  i n t e gr a t e   wi t h   t h e   v e r y   l a t e s t   de e l e a r ni ng  a r c hi t e c t ur e s   i n   i m a ge   a na l y s i s .   Al t h o ugh   a ppr e c i a bl e   s uc c e s s e s   h a v e   b e e n   r e c or de i n   t h e   a u to m a t e de t e c t i o n   o f   DR   a n i t s   pr o gr e s s i o n   pr e d i c t i o n ,   s o m e   im po r t a n t   c h a l l e n ge s   s t i l l   r e m a i n .   E n u m e r a t i o n   o f   t h e s e   i s   a s   f o l l o ws   1.   T h e   i n t e gr a t i o n   o f   v a r i o us   hi g h - d i m e ns i o n a l   im a g i ng  m o da l i t i e s   s uc h   a s   f u n du s   ph o to gr a phy ,   OC T ,   a n OC T A   w i t hi n   a   s i ng l e   e n d - to - e n de e l e a r ni ng  f r a m e wo r h a s   be e n   l im i t e d.   2.   A dva n c e a t t e n t i o n   m e c h a ni s m s   f o c u s i n o n   t h e   m o s t   r e l e v a n t   f e a t ur e s   a c r o s s   d i f f e r e n t   i m a g i ng  mo da l i t i e s   h a v e   n o b e e n   e x p l o r e s a t i s f a c to r i ly .   3.   M o s t   c o m pr e h e n s i ve   f r a m e wo r ks   t h a t   c o ul d   a ddr e s s   s im u l t a n e o us   e a r l y   DR   de t e c t i o n ,   s t a gi ng,   a n d   pe r s o n a l i z e pr o g r e s s i o n   pr e d i c t i o n   do   n ot  e xi s t .   4 .   H o w   l o n g i t ud i na l   da t a   i s   i n t e gr a t e to  c a p t ur e   t h e   t e m po r a l   d y na m i c s   o f   DR   pr o gr e s s i o n   i n   d i f f e r e n t   im a g i ng  m o da l i t i e s   i s   a l s o   v e r y   i n a d e qua t e .   5.   T h e   l im i t e i n t e r pr e t a bi li t y   o f   A I   m o de l s   hi nde r s   t h e i r   w i de   a do pt i o n   i n   c li n i c a l   pr a c t i c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   1 52 - 1 60   154   I n   t h i s   v e i n ,   t h e   pr o p o s e De e pR e t i n a   f r a m e wo r k   wi ll   b e   a n   a r c hi t e c t ur e   t h a c l o s e s   t h e s e   ga ps   b y   i n t e gr a t i n m u l t i m o da l   im a g i ng  w i t h   pa t i e n t - s pe c i f i c   c l i n i c a l   da t a   i n   a   de e l e a r ni ng  f r a m e wo r k.   On   t hi s   b a s i s ,   De e pR e t i na   i m pr o v e s   t h e   a c c ur a c y ,   i n t e r pr e t a bi li t y ,   a n pe r s o n a l i z a t i o n   o f   DR   s t a t us   a s s e s s m e n t   a n d   r i s s t r a t i f i c a t i o n   by   i nc l ud i ng  a dva n c e C NN s ,   a tt e n t i o n   m e c h a ni s m s ,   a n l o n g i t ud i na l   a n a ly s i s .   I n   a dd i t i o n ,   c ur r e n t   A I   m o de l s   f o r   DR   f r e que n t l y   a c t   l i ke   bl a c b o x e s ,   w i t h   l im i t e i n t e r pr e t a bi l i t y a n t h e y   do   n ot   in c l ude   c li n i c a l ,   pa t i e n t - s pe c i f i c   d a t a   t h a t   w o ul li ke l y   f ur t h e r   d i a g n o s t i c   a n pr o gn o s t i c   s t r e n gt h   f o r   t h e   c a s e   [ 19] [ 20] .   I t   i s   o f   gr e a t   i m po r t a n c e   to   f ur t h e r   de ve l o a n v a l i d a t e   c o m pr e he n s i ve ,   pe r s o n a l i z e a p pr o a c h e s   t h a a r e   a bl e   to   a s s i m il a t e   d i v e r s e   da t a   s o u r c e s   to   e li c i t   i n s i g h t s   t h a a r e   a c t i o n a bl e   to   t h e   c l i n i c i a n   a t   th e   po i n t   o f   c a r e .   I n   t hi s   pa pe r ,   we   pr e s e n t   De e pR e t i n a a   no v e l   de e l e a r ni ng  f r a m e wo r de s i g n e t o   o v e r c om e   t h e s e   li mi t a t i o ns   by :   1.   M u l t i m o da l   r e t i n a l   im a g i ng  t e c hni que s   li ke   O C T   a n f u n dus   p h o to gr a phy   c a n   b e   f us e i a   mann e r   t h a t   c o m p l e t e l y   c o n t e x t ua l i z e s   t h e   a s s e s s m e n t   o f   r e t i n a h e a l t h .     2.   P a t i e n t - s pe c i f i c   c l i n i c a l   da t a   c o n t e x t ua l i z e s   i m a g i n f i nd i ngs   t dr i v e   hi g h e r   d i a g n o s t i c   a c c ur a c y .   3.   I t   l e v e r a ge c ut t i n g - e dge   C NN   a r c hi t e c t ur e s   a nd  a tt e n t i o n   m e c h a ni s m s   f o r   t h e   de t e c t i o n   o f   DR   w i t h   hi g h   s e n s i t i v i t y   a n s pe c i f i c i t y   a t   v e r y   e a r l y   s t a ge s .   4.   L o n g i t ud i n a l   c o m po n e n t i t   a l l o w s   t r a c i n o f   c ha n ge s   i n   t h e   r e t i n a   o v e r   t i m e   to  e s t a bl i s h   t h e   pr o gr e s s i o n   o f   d i s e a s e .   5.   R e s u l t s   i n t e r pr e t a bl e   to   f a c il i t a t e   de c i s i o n - m a k i n by   t h e   c l i n i c i a n   i n   i n i t i a t i n pe r s o n a li z e t r e a t m e n t   s t r a t e gi e s   De e pR e t i n a   c o m bi ne s   t h e s e   i nn o v a t i v e   a ppr o a c h e s   i n   a   m a nn e r   t h a t   c o ul pot e n t i a l ly   r e v o l ut i o ni z e   t h e   e a r l y   de t e c t i o n   a n m a n a ge m e n t   o f   DR   a n d,   if   s u c c e s s f u l ,   r e duc e   t h e   b ur de n   o f   d i a be t e s - r e l a t e vi s i o l o s s   o n   i n d i vi du a l s   a n h e a l t hc a r e   s y s t e m s   g l o b a ll y .   T h e   r e s t   o f   t h e   pa pe r   i s   o r ga ni z e a s   f o l l o w s se c ti o n   de t a i l s   t h e   m e t h o do l o g y   a n a r c hi t e c t ur e   o f   t h e   De e pR e t i na   f r a m e wo r k.   S e c t i o n   d i s c u s s e s   t h e   e x pe r im e n t a l   s e t up  a n r e s u l t s ,   i n c l ud i ng  c o m pa r i s o ns   w i t h   e xi s t i n m e t h o ds ,   i m p l i c a t i o ns   o f   t h e   f i nd i ng s ,   l im i t a t i o n s   o f   t h e   s t udy ,   a n f ut ur e   di r e c t i o ns .   S e c t i o n   c o n c l ude s   t h e   pa pe r   by   s u m m a r i z i ng  t h e   c o n t r i b ut i o n s   a n t h e i r   po t e n t i a l   im pa c t   o n   c l i n i c a l   pr a c t i c e .       2.   RE S E AR CH  M E T HO D   T h e   De e pR e t i n a   f r a m e wo r i s   de s i g n e to   de t e c a n pr e d i c t   t h e   pr o gr e s s i o n   o f   DR   a a n   e a r l y   s t a ge   by   e f f e c t i v e ly   f us i ng  m u l t im o da l   im a g i ng  da t a   wi t h   pa t i e n t - s pe c i f i c   c l i n i c a l   i nf o r m a t i o n .   W e   de t a i l   h e r e   t h e   c o m po n e n t s   a n m e t h o do l o g i e s   o f   ke y   r e l e v a n c e   c o n c e r ni ng  t h e   pr o p o s e f r a m e wo r k.   De e pR e t i na   e m p l o y s   a   n o v e l   m u l t i b r a n c h   n e ur a l   n e t wo r k   a r c hi t e c t ur e   t h a i n t e gr a t e s   i nf o r m a t i o n   f r o m   v a r i o us   s o ur c e s ,   i n c l u d i n t h e   f u n dus   ph o to gr a phy   b r a n c h ,   OC T   b r a n c h ,   c l i n i c a l   da t a   b r a n c h ,   t e m po r a l   a n a ly s i s   m o du l e ,   a n m u l t im o da l   f us i o n   m o du l e .   F i gur e   pr o vi de s   a   hi g h - l e v e l   o v e r vi e o f   t h e   De e pR e t i n a   a r c hi t e c t ur e .           F i gur e   1 .   A r c hi t e c t ur e   o f   t h e   pr o p o s e De e pR e t i n a   m e t h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e pR e ti na:   mult imodal  f r ame w or k   f or   e ar ly  dia be ti c   r e ti nopathy  de tec ti on    ( Sundar   R amas amy )   155   2. 1.     I m age   p r oc e s s in an d   f e at u r e   e x t r ac t ion   2. 1. 1 .   F u n d u s   p h ot ogr ap h b r an c h   F u n dus   p h oto gr a phy   i n   De e p R e t i n a   r e pr e s e n t s   a   v a r i a n t   o f   t h e   m o d i f i e E f f i c i e n t Ne t - B a r c hi t e c t ur e ,   pr e - tr a i ne o n   I m a ge N e t   a n w i t h   f ur t h e r   f i ne - t uni n o n   a   l a r ge   da t a s e t   o f   f u n du s   i m a ge s ,   i nc l ud i ng  t h o s e   f r o m   D R .   O f   t h e s e   c ha n ge s   m a d e ,   t h e   i n put   r e s o l ut i o n   wa s   r a i s e t 512x 512  p i x e l s   f o r   r e f i ne m e n t ,   i n t r o duc i n c u s t o m   a tt e n t i o n   m o du l e s   a f t e r   e a c h   E f f i c i e n t Ne t   bl o c k,   a n d i l a t e c o nv o l ut i o n s   in  t h e   f i na l   bl o c ks   t i n c r e a s e   t h e   r e c e pt i v e   f i e l d.     2. 1. 2.   OCT   b r an c h   T h e   De e pR e t i n a   OC T   b r a n c h   i s   ba s e o n   a   3D   R e s Ne t - 50   a r c hi t e c t ur e ,   whi c h   h a s   b e e n   s pe c if i c a ll y   a da pt e to   p r o c e s s   v o l u m e t r i c   OC T   da t a   by   us i n 3D  c o n v o l ut i o ns   t h r o ugh o u t h e   n e t wo r k ,   s que e z e - a n d - e x c i t a t i o n   bl o c k s   f o r   c h a nne l - w i s e   a t t e n t i o n ,   a n m u l t i s c a l e   f e a t ur e   e x t r a c t i o n   u s i n a t r o us   s pa t i a l   p y r a mi d   poo l i ng.   T w o   s e t s   o f   hi g h - l e v e l   f e a t ur e   m a p s   r e s u l t i n f r o m   b o t h   t h e   f u n du s   ph o to g r a phy   a n OC T   b r a n c h e s   w i ll   c a pt ur e   t h e   r e l e va n t   DR   bi o m a r ke r s .     2. 1. 3.   Cl in ical   d at p r oc e s s in g   C l i n i c a l   d a t a   i s   f e i n t De e pR e t i n a s   c l i n i c a l   da t a   b r a n c h   t h r o ugh   a n   M L P   n e t w o r k.   He r e ,   i n put   f e a t ur e s   we r e   f e o n   de m o gr a p hi c   da t a ,   di a b e t e s - r e l a t e da t a ,   c o m o r bi d i t i e s   a n r i s f a c t o r s ,   a n t h e   pr e s e nc e   o f   a ny   hi s t o r y   o f   pr i o r   e v e n t s   a n t r e a t m e n t s   f o r   DR .   T h e   M L P   e nc o de s   t h e   c l i n i c a l   pr o f il e   o f   a   pa t i e n t   t h r o ugh   a   f i x e d - l e n gt h   f e a t ur e   v e c to r .     2. 1. T e m p or a l   an al ys i s   m od u l e   T c a p t ur e   t h e   pr o gr e s s i o n   o f   DR   o v e r   t i m e ,   we   i m p l e m e n t   a   t e m po r a l   a n a ly s i s   m o du l e   us i ng  a   bi d i r e c t i o n a l   l o n s h o r t - t e r m   m e m o r y   ( B i L S T M )   n e t wo r k   [ 21] .   T h i s   m o du l e   pr o c e s s e s   s e que nc e s   o f   f e a t ur e s   e x t r a c t e f r o m   l o n g i t ud i na l   i m a g i n da t a   a n c l i n ica l   i nf o r m a t i o n .     2. 1. 5.   M u l t im od al   f u s ion   m od u l e   T h e   m u l t im o da l   f u s i o n   m o du l e   c o m bi ne s   f e a t ur e s   f r o m   a l l   b r a n c h e s   us i ng  a   n o ve l   a t t e n t i o n - b a s e d   f us i o n   m e c h a ni s m .   T hi s   m o du l e   c o n s i s t s   o f   c r o s s - m o da l   a t t e n t i o n   l a y e r s   to   c a p t ur e   i n t e r m o da li t y   r e l a t i o n s hi p s ,   s e l f - a t t e n t i o n   l a y e r s   to  r e f i n e   i n t r a m o da li t y   f e a t ur e s ,   a n a   ga t e d   f us i o n   l a y e r   to  a da pt i v e ly  c o m bi ne   f e a t ur e s   b a s e o n   t h e i r   r e l e v a n c e .   T h e   f u s i o n   pr o c e s s   s t a r t s   wi t h   t h e   a t t e n t i o n   m e c ha ni s m   ( 1) ,   whi c m o de l s   i n t e r m o da l   i n t e r a c t i o n s   a s :     A t t e n t i o n ( , , ) = s o f t m a x ( )   ( 1)     wh e r e   Q,   K ,   V   a r e   que r y ,   ke y ,   a n v a l ue   m a t r i c e s ,   a n d k   i s   t h e   di m e ns i o n a li t y   o f   t h e   ke y .   T h e   a tt e n t i o m e c h a ni s m   pr o duc e s   we i g h t e f e a t ur e   r e pr e s e n t a t i o n s ,   wi t h   t h e   a tt e n t i o n   we i g h t s   ( 2)   c o m put e a s :     =  = 1   ( 2)     h e r e ,   α ij   i s   de r i ve f r o m   t h e   s i mi l a r i t y   f u nc t i o n   ( , ) = ( ) ( )   a n   a r e   f e a t ur e s   f r o m   d i f f e r e n t   m o da l i t i e s ,   a n   a n   a r e   l e a r n a bl e   we i g h t   m a t r i c e s .   T o   r e f i ne   t h e s e   i n t e r a c t i o n s ,   t h e   m u l t i - h e a a t t e n t i o n   m e c h a ni s m   ( 3)   c o m bi ne s   m u l t i p l e   a tt e n t i o n   h e a ds :     M u l ti H e a d ( , , ) = Co nca t ( h e a d 1 , , h e a d )   ( 3)     wh e r e   h e a d = A t t e n t i o n ( , , )   a n , , ,   a r e   l e a r n a bl e   pa r a m e t e r s .   F i n a ll y ,   t he   ga t e f us i o n   l a y e r   ( 4)   a da pt i v e ly   i n t e gr a t e s   f e a t ur e s :     = ( [ ; ; ] + )   ( 4)     t h e   f u s e f e a t ur e   ( 5)   f i   i s   c o m put e a s :     = + ( 1 ) + ( 1 )   ( 5)     wh e r e   , ,   a r e   f e a t ur e s   f r o m   d i f f e r e n t   m o da l i t i e s   o r   p r o c e s s i n b r a n c h e s ,     i s   t h e   s i g m o i f u nc t i o n ,     de n o t e s   e l e m e n t wi s e   m u l t i p li c a t i o n ,   a n   a n   a r e   l e a r n a bl e   pa r a m e t e r s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   1 52 - 1 60   156   2. 2   Ou t p u t   l aye r s   an d   l os s   f u n c t ion s   De e pR e t i n a   pr o vi de s   s e v e r a l   o ut pu t s a   bi n a r y   c las s if i c a t i o n   f o r   t h e   de t e c t i o n   o f   DR ,   a   m u l t i c l a s s   c l a s s if i c a t i o n   f o r   gr a di n g,   a n a   r e gr e s s i o n   o u t pu i nd i c a t i n t h e   pr o b a bil i t y   o f   pr o gr e s s i o n   w i t hi n   1,   3,   a n 5   y e a r s .   W e   h a ve   us e m u l t i t a s l e a r ni ng  a n pa i r e i t   w i t h   bi na r y   c r o s s - e n t r o py   l o s s   f o r   t h e   de t e c t i o n   t a s k,   f o c a l   l o s s   i n   o r de r   to  de t e c t   t h e   gr a de   o f   DR   f o r   t h e   c a s e   o f   c l a s s   i m ba l a nc e ,   a n m e a n   s qua r e e r r or   l o s s   f o r   pr e d i c t i n t h e   r i s o f   pr o gr e s s i o n .   T h e   tot a l   l o s s   i s   a   we i g h t e s u m   o f   t h e s e   i nd i vi du a l   l o s s e s :     = 1  + 2   + 3        wh e r e   λ 1,   λ 2,   a n λ a r e   we i g h t i n f a c t or s   de t e r m in e t h r o ugh   hy pe r pa r a m e t e r   o p t i m i z a t i o n .     2. 3   T r ain in an d   o p t im iz at ion   De e pR e t i n a   i s   t r a i n e e n d - to - e n us i ng  t h e   o p t i m i z e r   A da m   w i t h   a   c y c li c a l   l e a r ni n r a t e   s c h e du le   [ 22] .   F o r   i m pr o vi n e f f i c i e nc y   a n pe r f o r m a n c e   d ur i n t r a i ni ng,   we   a da pt   gr a di e n t   a c c u m u l a t i o n   t o   s i m u l a t e   l a r ge r   b a t c h   s i z e s ,   m i xe pr e c i s i o n   t r a i ni ng  f o r   m e m o r y   o pt i m i z a t i o n ,   a n pr o gr e s s i v e   r e s i z i ng,   whic h   s t a r t s   w i t h   l o we r - r e s o l ut i o n   i n put s   a n gr a du a ll y   i nc r e a s e s   to   f u l l   r e s o l ut i o n .     2. 4   I n t e r p r e t ab i l it an d   v is u al iz at ion   I n   f a c t ,   we   i m p l e m e n t e t e c h ni que s   t h a t   w o ul e nh a n c e   t h e   i n t e r pr e t a bi li t y   o f   De e p R e t i n a .   T h e s e   m a ke   us e   o f   a   vi s ua l   e x p l a n a t i o n   o f   t h e   m o s t   i m p o r t a n f un du s   a n OC T   i m a ge   r e g i o n s ;   S Ha p l e y   A dd i t i ve   e x P l a n a t i o ns   v a l ue s   qua n t i f y   f e a t ur e   c l i ni c a l   im p o r t a n c e .   L a s t l y ,   a tt e n t i o n   vi s ua li z a t i o n s   il l us t r a t e   h o t h e   f us i o n   pr o c e s s   i s   c a r r i e o u t   a c r o s s   m o da l i t i e s .   T h e s e   i n t e r pr e t a bi l i t y   m e t h o ds   gi ve   s o m e   i n s i g h t s   i n t h o w   t h e   m o de l   wo r ks   f o r   c l i ni c i a n s   a n e n s ur e   tr us to wa r d   t h e   m o de l   i n   o r de r   to  f a c il i t a t e   i t s   us e   i n   a   c l i n i c a e nvi r o nm e n t .       3.   RE S UL T S   AN DI S CU S S I ON   W e   e v a l ua t e De e pR e t i n a   o n   a   l a r ge - s c a l e ,   m u l t i m o d a l   da t a s e t   c o m pr i s i ng  100, 000  f u n dus   ph o to gr a ph s ,   50, 000  OC T   s c a n s ,   c li n i c a l   da t a   f r o m   75, 000  pa t i e n t s ,   l o n g i t ud i na l   da t a   s pa nni ng  y e a r s   f o r   30, 000  pa t i e n t s .   T h e   da t a s e t   wa s   s pl i t   i n t o   70 %   t r a i ni ng,   15%   v a l i d a t i o n ,   a n 15%   t e s t   s e t s ,   e n s ur i n n o   pa t i e n t   o v e r l a b e t we e n   s e t s .   W e   e v a l ua t e t h e   pe r f o r m a n c e   o f   De e p R e t i n a   o n   s e v e r a l   m e t r i c s .   F i r s t ,   we   e s t i m a t e t h e   a r e a   un d e r   t h e   r e c e i v e r   o pe r a t i n c h a r a c t e r i s t i c   c ur v e   f o r   DR   de t e c t i o n .   F o r   t h e   DR   gr a d i n t a s k,   C o h e n s   ka ppa   wa s   e s t i m a t e d.   F or   t h e   pr o g r e s s i o n   r i s pr e d i c t i o n   t a s k,   we   e s t i m a t e t h e   m e a n   a bs o l ut e   e r r o r .   W e   h a v e   a l s o   c a l c u l a t e t h e   s e n s i t i v i t y   a n s pe c i f i c i t y   o f   d i f f e r e n t   t h r e s h o l d s   f o r   de t e c t i n DR .   De e pR e t i n a   wa s   im p l e m e n t e i n   P y T o r c h   a n t r a i n e o n   NV I DI A   A 100  GPUs .   W e   us e a   b a t c h   s i z e   o f   32   a n t r a i n e f o r   100  e p o c h s .   W e   us e t h e   A da m   o pt i mi z e r   w i t h   a n   i n i t i a l   l e a r ni ng  r a t e   o f   1e - 4,   e m p l o yi ng  a   c o s i n e   a nne a li ng  s c h e du l e .     T a bl e   s h o ws   t h e   pe r f o r m a n c e   o f   De e pR e t i n a   c o m p a r e to  t h a o f   e xi s t i n m e t h o ds   f o r   DR   de t e c t i o n .   I hi g hli g h t s   t h e   s upe r i o r   pe r f o r m a n c e   o f   De e pR e t i n a   i n   DR   de t e c t i o n ,   a c hi e vi ng  t h e   hi g h e s t   A UC - RO C   ( 0. 989) ,   s e n s i t i v i t y   ( 0. 956) ,   a n s pe c i f i c i t y   ( 0. 982)   c o m pa r e t o   E y e A r t ,   I Dx - DR ,   a n a   h u m a n   e x pe r t .   T h e s e   m e t r i c s   u n de r s c o r e   De e pR e t i n a s   e f f e c t i v e n e s s   i n   a c c ur a t e l y   i de n t i f yi ng  b o t h   p o s i t i ve   a n n e ga t i v e   c a s e s ,   s ur pa s s i ng  e xi s t i n m e t h o ds   l i ke   E y e A r t   ( AU C - R OC   0. 980)   a n I Dx - DR   ( 0. 975) ,   a s   we l l   a s   t he   h u m a n   e x pe r t   ( 0. 950 ) .   T hi s   e s t a bli s he s   De e p R e t i n a   a s   t h e   m o s t   r e l i a bl e   m e t h o i n   t hi s   e v a l ua t i o n .       T a bl e   1 .   P e r f o r m a nc e   o f   De e pR e t i n a   M e th o d   AUC - R O C   S e ns it i v it y   S pe c i f i c it y   D e e pR e ti na   0.989   0.956   0.982   E y e A r [ 23]   0.980   0.942   0.975   I D x - D R   [ 24]   0.975   0.938   0.969   H uma e x pe r [ 14]   0.950   0.912   0.958       T a bl e   pr e s e n t s   t h e   C o h e n s   ka ppa   s c o r e s   f o r   D R   gr a d i n g.   I t   s h o wc a s e s   t h e   C o h e n s   ka pp a   s c o r e s   f o r   DR   gr a d i n g,   hi g hli g h t i n De e pR e t i n a s   hi g he s t   s c or e   o f   0. 892,   s i g nif y i ng  s up e r i o r   c o n s i s t e nc y   w i t gr o un t r u t h .   G oo gl e   A I   f o l l o w s   c l o s e ly   a t   0. 874,   whil e   R e t i nA I   ( 0. 856)   a n t h e   h u m a n   e x pe r t   ( 0. 83 8)   s h o c o m pa r a t i v e ly   l o we r   a gr e e m e n t .   T h e s e   r e s u l t s   e mph a s i z e   De e pR e t i na s   e nha n c e r e l i a bil i t y   a n a c c ur a c y   i DR   gr a d i n g,   o u t pe r f o r m i ng  e xi s t i ng  A I   m o de l s   a n h u m a n   e x pe r t i s e   i m a i n t a i n i ng  c o ns i s t e n t   gr a d i n s t a n da r ds .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e pR e ti na:   mult imodal  f r ame w or k   f or   e ar ly  dia be ti c   r e ti nopathy  de tec ti on    ( Sundar   R amas amy )   1 57   T a bl e   2 .   DR   g r a di n g   M e th o d   C o he n s  K a ppa   D e e pR e ti na   0.892   G oo gl e  A I   [ 25 ]   0.874   R e ti nA I   [ 26 ]   0.856   H uma e x pe r [ 14]   0.838       T a bl e   s h o ws   t h e   m e a n   a b s o l ut e   e r r o r   ( M A E )   f o r   pr o gr e s s i o n   r i s pr e d i c t i o n   a t   di f f e r e n t   t i m e   po i n t s .   I t   pr e s e n t s   t h e   m e a n   a b s o l ut e   e r r o r   ( M A E )   f o r   pr o g r e s s i o n   r i s pr e d i c t i o n   a t   1 - y e a r ,   3 - y e a r ,   a nd  5 - y e a r   i n t e r v a l s .   De e pR e t i n a   de m o n s t r a t e s   t h e   hi g h e s t   a c c ur a c y   w i t h   t h e   l o we s t   M A E   ( 0. 087 ,   0. 112 ,   a n 0. 135 ,   r e s pe c t i ve ly )   a c r o s s   a l l   t i m e   po i n t s .   P r o g r e s s i o nNe f o l l o ws   w i t h   hi g he r   M A E   v a l ue s   ( 0. 103,   0. 128,   a n 0. 156) ,   whi l e   t h e   c l i n i c a l   m o de l   s h o ws   t h e   l e a s t   a c c ur a c y   ( 0. 142,   0 . 178,   a n 0. 213) .   T h e s e   r e s u l t s   hi g hli g h t   De e pR e t i n a s   s upe r i o r   r e l i a bil i t y   i n   pr e d i c t i n l o n g - t e r m   pr o gr e s s i o n   r i s ks .       T a bl e   3 .   P r o g r e s s i o n   r i s pr e d i c t i o n   M e th o d   1 - Y e a r  M A E   3 - Y e a r  M A E   5 - Y e a r  M A E   D e e pR e ti na   0.087   0.112   0.135   P r o gr e s s io nN e [ 27]   0.103   0.128   0.156   C li ni c a m o d e [ 28]   0.142   0.178   0.213       W e   c o n duc t e a n   a bl a t i o n   s t ud y   to  e v a l u a t e   t h e   c o n t r i b ut i o n   o f   e a c h   c o m po n e n t   i n   De e pR e t i n a .   T a bl e   pr e s e n t s   t h e   r e s u l t s .   I s h o ws   t h a t   t h e   f u ll   De e pR e t i n a   m o de l   a c hi e v e s   t h e   hi g he s t   pe r f o r m a nc e   a c r o s s   a l l   m e t r i c s a r e a   un de r   t h e   c ur v e - r e c e i ve r   o pe r a t i n c h a r a c t e r i s t i c   ( A U C - R OC )   ( 0. 989) ,   C o h e n s   K a pp a   ( 0. 892) ,   a n t h e   l o we s t   5 - y e a r   M A E   ( 0. 135) .   R e m o vi ng  a ny   c o m po n e n t   l e a ds   t a   de c l i ne   i n   p e r f o r m a n c e .   Not a bl y ,   e x c l ud i ng  t e m po r a l   a n a ly s i s   i n c r e a s e s   t h e   5 - Ye a r   M A E   ( 0. 168 ) ,   i n d i c a t i n i t s   c r i t i c a l   r o l e   i n   l o n g - t e r m   r i s pr e d i c t i o n ,   whil e   OC T   da t a   c o n t r i b ut e s   s i gnif i c a n t l y   t o v e r a l l   a c c ur a c y   a n a gr e e m e n t .       T a bl e   4 .   A bl a t i o n   s t ud y   M o de v a r ia nt   AUC - R O C   C o he n s  K a ppa   5 - Y e a r  M A E   F ul D e e pR e t in a   0.989   0.892   0.135   w /o  O C T   0.976   0.863   0.152   w /o  C li ni c a d a ta   0.981   0.878   0.149   w /o   T e mp or a a na l y s is   0.985   0.885   0.168   w /o  A tt e nt i o f us i o n   0.983   0.879   0.144       T vi s u a l i z e   t h e   i m pr o v e m e n t   i n   t h e   pe r f o r m a n c e   o f   De e pR e t i n a   o v e r   t i m e ,   we   p l o tt e d   t h e   A UC - R OC   s c o r e s   f o r   DR   de t e c t i o n   a t   di f f e r e n t   t r a i ni n e p o c h s .   T h e   gr a ph   i n   F i gur e   i ll u s t r a t e s   t h e   AU C - R OC   pe r f o r m a n c e   i m pr o v e m e n t   o f   De e p R e t i n a   a n t he   B a s e li ne   C NN   f o r   DR   de t e c t i o n   a c r o s s   t r a i ni n e po c h s .   De e pR e t i n a   s h o ws   r a pi i m pr o v e m e n t   du r i n t h e   i ni t i a l   20  e po c h s ,   s ur pa s s i n t h e   b a s e li ne   C NN   e a r l y .   I t s   pe r f o r m a n c e   p l a t e a us   a r o un 60  e po c h s ,   a c hi e vi ng   a   hi g h e r   f i na l   AU C - R OC   c o m pa r e t o   t h e   B a s e l i n e   C NN ,   whi c h   s t a b i li z e s   e a r li e r .   T hi s   de m o ns t r a t e s   De e pR e t i na s   s upe r i o r   l e a r ni ng  e f f i c i e nc y   a n r o b u s t n e s s   i n   a c hi e vi ng  hi g h e r   a c c ur a c y   f o r   DR   de t e c t i o n   c o m pa r e to   t h e   b a s e li ne   m o de l .           F i gur e   2 .   T r a n s f o r m a t i o n   o f   De e p R e t i n a   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   1 52 - 1 60   158   4.   DI S CU S S I ON  AN F UT UR E   DI RE C T I ONS   Our   r e s ul t s   c l e a r l y   s h o t h a De e pR e t i n a   i s   a   qua n t u m   l e a to wa r d   a n   a uto m a t e DR   d i a g n o s i s   a n d   pr o gn o s i s .   De e p R e t i n a   h o l ds   t h e   po t e n t i a l   t o   e n a bl e   t h e   e a r l y   de t e c t i o n   o f   DR   w i t h   hi g h   s e n s i t ivi t y   a n d   s pe c i f i c i t y ,   h e n c e   b e t t e r   o u t c o m e s   i pa t i e n t s .   A c c ur a t e   pr o g r e s s i o n   r i s pr e d i c t i o n   c o u l n o t   o n l y   a l l o f o r   i nd i v i dua li z e t r e a t m e n t   pl a ns   b ut   a l s o   f a c il i t a t e   r e s o ur c e   a l l o c a t i o n   i n   h e a l t h   c a r e   s y s t e m s .   De e pR e t i n a   i s   t h e   b e s t   i n   a l l   t a s ks ,   whi c h   m a y   b e c o m e   v e r y   he l p f u l   a s   a n   a s s i s t a n t   f o r   c l i n i c i a ns   i n   t h e   m a n a ge m e n t   o f   DR .   S o m e   o f   t h e   l im i t a t i o ns   to  t hi s   s t ud y   i nc l ude   t h e   l a r ge   da t a s e t,   whi c h   m a y   n o h a v e   a   f u ll   r e pr e s e n t a t i o n   o f   de m o gr a p hi c   gr o ups   a n c l i n ica l   s e t t i n gs ,   he n c e   o pe n   to  bi a s .   T h e r e   i s   n o   e x t e r n a v a li da t i o n   o f   t h e   pe r f o r m a n c e   o f   t h e   m o de l   o n   a bs o l ut e l y   i nde pe n d e n t   da t a s e t s   o f   d i f f e r e n t   i n s t i t ut i o n s .   De e pR e t i n a   ha s   a n   e xc e s s i ve ly   c o m p l e x   a r c hi t e c t ur e ;   t h e r e f o r e ,   t h i s   m a k e s   i t s   de p l o y m e n t   i n   r e s o ur c e - c o n s t r a i n e s e t t i n gs   v e r y   h a r be c a us e   o f   t h e   high   c o m put a t i o n a l   r e qu i r e m e n t s .   F i na ll y ,   a s   m u c h   a s   w e   im p l e m e n t e vi s ua li z a t i o n   t e c hni que s ,   t h e   c o m p l e x   n a t ur e   o f   t h e   m o de l   m a y   s t i ll   b e   a   c h a ll e n ge   i t e r m s   o f   i n t e r pr e t a bi li t y   w i t hi n   c li n i c a l   pr a c t i c e   a n m a y   hi n de r   i t s   a do p t i o n   o r   e f f e c t i ve n e s s .   W e   pr o vi de   d i r e c t i o n s   f o r   f ut ur e   r e s e a r c h   i n   e nha n c i ng  t h e   De e pR e t i na   f r a m e wo r b a s e o n   t h e   f i nd i n g s   a n l im i t a t i o n s .   T h e y   i nc l ud e ,   b ut  a r e   n ot  l im i t e to:   e x t e r n a l   v a li da t i o n   us i n m u l t i c e n t e r   s t udi e s   do n e   a c r o s s   p o pul a t i o n s   a n c l i n i c a l   s e t t i n gs ;   a d v a n c e t e c h ni que s   o f   m o de l   c o m pr e s s i o n   w i t h   r e s pe c t   to  c o m put a t i o n a l   r e qu i r e m e n t s ;   a d v a n c e i n t e r pr e t a bil i t y   t e c hni que s   t h a t   pr o vi de   c l e a r e r   i ns i g h t s   i n t t h e   pr o c e s s i n m o de l ;   e x a mi n i ng  a dd i t i o n a l   da t a   t y pe s ,   whi c h   c a n   i n c r e a s e   pr e d i c t i v e   a c c ur a c y s t ud y i n o v e r   a   l o n ge r   pe r i o o f   t i m e   f o r   t h e   a s s e s s m e n t   o f   c l ini c a l   o ut c o m e   a n h e a l t h   c o s t s ;   a n f e de r a t e l e a r ni ng   a ppr o a c h e s   to   e n s ur e   pr i va c y - pr e s e r vi ng  m o de l   t r a i ni ng  a c r o s s   m u l t i p l e   i ns t i t ut i o ns .   T h e s e   p r o p o s e d   d i r e c t i o n s   s h o u l h e l o v e r c o m e   s o m e   o f   t h e   c ur r e n t   l i mi t a t i o n s   a n t h e r e by   im pr o v e   t h e   c l i ni c a l   a pp l i c a bil i t y   a n i m pa c t   o f   De e pR e t i n a .       5.   CONC L USI ON   I n   t hi s   pa pe r ,   we   de v e l o pe De e p R e t i n a ,   a   de e l e a r ni ng  f r a m e wo r t h a f u s e s   m u l t i - m o da l   r e t i n a l   im a g i ng  w i t h   pa t i e n t - s pe c i f i c   c li n i c a l   da t a   f o r   t h e   e a r l y   de t e c t i o n   a n pr o gn o s i s   o f   DR .   De e pR e t i na   us e s   s t a t e - of - t h e - a r C NN s   a n a tt e n t i o n   m e c ha ni s m s   to  a n a ly z e   OC T   a n f u n du s   ph o to gr a phy   i m a ge s ,   g i vi ng  a   g l o b a l   pe r s pe c t i v e   o f   r e t i na l   h e a l t h .   I t s   hi g h   a c c ur a c y   i de t e c t i o n   a n pr o gr e s s i o n   pr e d i c t i o n   t a s ks   highl i g h t s   i t s   po t e n t i a l   t s uppor t   c l i n i c a l   de c i s i o n - m a k i n a nd  e n a bl e   pe r s o n a li z e t r e a t m e n t .   B y   f a c il i t a t i n t i m e ly   a n d   t a r ge t e i n t e r v e n t i o ns ,   De e pR e t i n a   m a y   c o n t r i b ut e   to  b e tt e r   pa t i e n t   o u t c o m e s   a n r e duc e vi s i o n   l o s s   f r o m   DR .   T hi s   a dva n c e m e n t   m a r ks   a   m e a ni ng f u l   c o n t r i b ut i o n   t o   t h e   f i e l o f   p e r s o na l i z e m e d i c i ne   in  o ph t h a l m o l o g y .   De s p i t e   i t s   pr o m i s e ,   pr a c t i c a l   d e p l o y m e n t   m a y   f a c e   c ha l l e nge s   s uc h   a s   c o m p ut a t i o n a l   c o m p l e xi t y   a n l im i t e ge n e r a li z a bil i t y   a c r o s s   d i v e r s e   c l i n i c a l   s e t t i n g s .   F ut ur e   w o r k   s h o ul f o c us   o n   m o de l   o p t i mi z a t i o n   f o r   r e s o u r c e - l im i t e e nvi r o nm e n t s ,   e nh a nc e i n t e r pr e t a bi li t y ,   a n b r o a de r   v a l i da t i o t h r o ugh   m u l t i - i ns t i t ut i o n a l   s t ud i e s .       F UN DI NG  I N F ORM AT I ON   A ut h o r s   s t a t e   n f u n d i ng  i nv o l v e d.       AU T HO CONT RI B UT I ONS   S T AT E M E NT   T hi s   j o ur n a l   u s e s   t h e   C o n t r i b ut or   R o l e s   T a x o n o m y   ( C R e d i T )   to  r e c o gni z e   i n d i v i dua l   a ut h o r   c o n t r i b ut i o ns ,   r e duc e   a ut h or s hi d i s put e s ,   a n f a c il i t a t e   c o l l a b o r a t i o n .     Nam e   of   Aut h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   S un da r   R a m a s a my                               B r i n d h a   M o h a n r a j                               S r i d ha r   P us h pa n a t h a n                               T h e nm o z hi   E l u m a l a i                               P r a b K a li y a p e r u m a l                               R a j a ku m a r   P e r um a l                                 C     C o n c e pt ua li z a ti o n   M     M e th o d o l o g y   So     So f twa r e   Va     Va li da ti o n   Fo     Fo r ma a na l y s is   I     I nve s ti ga ti o n   R     R e s o u r c e s   D   :   D a ta  C ur a ti o n   O   :   W r it in -   O r ig in a D r a f t   E   :   W r it in -   R e v i e w  &   E di ti ng   Vi     Vi s ua li z a ti o n   Su     Su pe r v is io n   P     P r o j e c a dmi ni s tr a ti o n   Fu     Fu ndi ng a c qui s it i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e pR e ti na:   mult imodal  f r ame w or k   f or   e ar ly  dia be ti c   r e ti nopathy  de tec ti on    ( Sundar   R amas amy )   159   CONF L I CT   OF   I NT E RE S T   S T AT E M E NT   A ut h o r s   s t a t e   n c o nf li c t   o f   i n t e r e s t .       DA T AV AI L AB I L I T Y   T h e   da t a   t h a t   s upp o r t   t h e   f i nd i ngs   o f   t hi s   s t ud y   a r e   a v a il a bl e   f r o m   t h e   c o r r e s po n di n a ut h o r ,   [ P . K ] ,   upo n   r e a s o n a bl e   r e que s t .       RE F E R E NC E S   [ 1]   H S e o ,   S J P a r k,   a nd  M S o ng,  D ia b e ti c   r e ti n o pa th y   ( D R ) :   me c ha ni s ms c u r r e nt   th e r a pi e s a nd  e m e r gi ng  s tr a t e gi e s ,”   C e ll s   vo l.  14, n o . 5, p. 376, M a r . 2025, d o i:  10.3390/ c e ll s 14050376.   [ 2]   Z L T e e al . G l o ba pr e v a le n c e   of   di a be ti c   r e t in o pa th y   a nd  pr oj e c ti o n   of   bur d e th r o ugh  2045:  s y s t e m a ti c   r e v i e w   a nd  m e ta - a na l y s is ,”   O pht hal m ol ogy , v ol . 128, n o . 11, pp. 1580 1591, Nov . 2021, d o i:  10.1016/j . o ph th a .2021.04.027.   [ 3]   T .   E .   T a a nd  T Y W o ng,  D ia b e ti c   r e ti n o pa th y :   l oo ki ng  f o r w a r d   t o   2030,”   F r ont ie r s   in   E ndoc r in ol ogy vo l.   13,  J a n.  2 023,     do i:  10.3389/ f e nd o .2022.1077669.   [ 4]   M B a na c e al . T h e   p r e ve nt i o o pp or tu ni ti e s   of   r e ti n o pa th y   in   d ia be ti c   pa ti e nt s   -   p o s it i o pa p e r   e nd o r s e b y   th e   p o li s l ip id   a s s o c ia ti o n,”   A r c hi v e s  of  M e di c al  Sc ie nc e , v o l.  20, n o . 6, pp. 17 54 1769, De c . 2024, d oi 1 0.5114/a oms /1 97331.   [ 5]   M Y o ul da s e al . E a r l y   d e te c ti o a nd  c la s s if i c a ti o of   di a be ti c   r e ti n o pa th y a   de e l e a r ni ng  a ppr o a c h,”   AI vol 5,  no.  4,    pp. 2586 2617, 2024, do i:  10.3390/ai5040125.    [ 6]   S . M . D ip t o   e al . ,  “ A n a na l y s is   of  de c ip h e r a bl e   r e d  b l oo c e ll   a bno r ma li t y   de te c ti o n  unde r   f e d e r a t e e n v ir o n me nt  l e v e r a gi ng  X A I   in c o r p or a te d d e e p l e a r ni ng,”   Sc ie nt if ic  R e por ts , v o l.  14, n o . 1, p . 25664, Oc t.  2024, d o i:  10.1038/s 41598 - 024 - 76359 - 0.   [ 7]   M S a x e na P N a r r a M S a xe na a nd  R S a xe na D e e l e a r n in e ns e mbl e   f r a m e w o r f or   mul ti c la s s   di a be ti c   r e ti n o p a th y   c la s s if i c a ti o n,”   T e lk om ni k ( T e le c om m uni c at io C om put in E le c tr oni c s   and   C ont r ol ) v o l.   22,  n o 3,  pp.  665 672,  J un.  2024,     do i:  10.12928/ T E L K O M N I K A . v 22i 3.25794.   [ 8]   S L e nka Z L M a y a lu r i,   a nd  G P a nda G la u c o ma   de t e c ti o n   f r om  r e t in a f undus   im a ge s   us in gr a ph  c o n vo lu ti o ba s e m ul ti - ta s mo de l,   e - P r ime   -   A dv anc e s   in   E le c tr ic al   E ngi ne e r in g,  E le c tr oni c s   and  E ne r g y v o l.   11,  p.  100931,  M a r 2025,  do i:   10.1016/j .pr im e .2025.100931 .   [ 9]   R A bba s e al . D i a be ti c   r e ti n o pa th y   d e t e c ti o us in a da pt iv e   de e c o n vo lu t i o na ne ur a n e tw o r ks   o f undus   im a ge s ,   Sc ie nt if ic   R e por ts , v ol . 15, n o . 1, p. 24647, J ul . 2025, do i:  10.1038 /s 41598 - 025 - 09394 - 0 .   [ 10]   M D A br à mo f f   e al . A ut o ma t e d   e a r l y   d e t e c ti o of   di a be t ic   r e ti n o pa th y ,”   O pht hal m ol ogy vo l.   117,  no 6,  pp.  1147 1154,    J un. 2010, do i:  10.1016/j . o pht ha .2010.03.046.   [ 11]   V . G ul s ha e al . ,  “ D e ve l o pm e nt  a nd  v a li da ti o n   of  a  d e e p l e a r n in g a lg or it hm  f or  d e t e c ti o of  di a b e ti c  r e ti n o pa th y   in  r e ti na f un dus   pho t o gr a phs ,”   J A M A   -   J our nal   of   th e   A m e r ic an  M e di c al   A s s oc ia ti on v o l.   316,  no 22,  pp.  2402 2410,  D e c 2016,   do i:   10.1001/j a ma .2016.17216.   [ 12]   R G a r g e y a   a nd  T .   L e ng,  A ut o ma t e id e nt i f i c a ti o of   di a b e ti c   r e t in o pa th y   us in d e e p   le a r ni ng,”   O pht hal m ol ogy vo l.   124,   n o 7,  pp. 962 969, J ul . 2017, do i:  10.1016/j . o pht ha .2017.02.008.   [ 13]   J D e   F a uw   e al . ,   C li ni c a ll y   a ppl ic a bl e   d e e l e a r ni ng  f or   d i a gno s is   a nd  r e f e r r a in   r e ti na di s e a s e ,”   N at ur e   M e di c in e vo l.   24,     no . 9, pp.  1342 1350, S e p. 2018, d o i:  10.1038/s 41591 - 018 - 010 7 - 6.   [ 14]   P P H a t o d e   a nd  M E di nbur gh,  O pt ic a c o h e r e n c e   t o m o g r a ph y   a ngi o gr a ph y   im a ge   c la s s if i c a ti o a nd  a na l y s is   of   d ia be ti c   r e ti n o pa th y us in W a s s e r s te in   g e ne r a ti ve   a dve r s a r ia n e tw o r a ugme nt a ti o n,”   I nt e r nat io nal   J our nal   of   E le c tr ic al   and  C om pu te r   E ngi ne e r in g   ( I J E C E ) vo l.  14, n o . 6, pp. 7046 7056, D e c . 2024 , do i:  10.11591/i je c e . v 14i 6.pp7046 - 7056.   [ 15]   E V a ghe f i,   S Y a ng,  S H i ll G H umphr e y N W a lk e r a nd  D S qui r r e ll D e t e c ti o of   d ia be ti c   r e t in o pa th y   us in c o mput a ti o na l   in te ll ig e n c e A   r e ti na th i c kne s s   a nd  f undus   im a g e - ba s e m e t ho d,”   C om put e r s   in   B io lo gy   and  M e di c in e v ol 125,  p.  103977,  2020, do i:  10.1016/j . c o mpbi ome d.2020.103977.   [ 16]   R . P oe e t  al . , “ T h e  p r e di c ti ve   v a lu e   of  s e g me nt a ti o n  m e tr i c s   o n  do s im e tr y   in   o r ga ns  a r is k of  t h e  b r a in ,”   M e di c al  I m age   A nal y s is vo l.  73, p. 102161, O c t.  2021, d o i:  10.1016/j .m e di a .2021.10216 1.   [ 17]   A B o r a   e al . P r e di c ti ng  th e   r is of   d e ve l o pi ng  di a b e ti c   r e ti no pa th y   us in de e l e a r ni ng,”   L anc e D ig it   H e al th vo l.   1,  n o.  1,    pp. e 10 e 19, 2019, d o i:  10.1016/S 2589 - 7500 ( 19) 30004 - 4.   [ 18]   K O hno - M a ts ui   e al . ,   I M I   p a th o l o gi c   m y o pi a ,”   I nv e s ti gat iv e  O pht hal m ol ogy   and  V is ual   S c ie nc e ,   v o l.   62,  no 5,  p.  5,  M a y   2021,  do i:  10.1167/i ov s .62.5.5.   [ 19]   D S W T in g   e al . D e e le a r ni ng  in   o pht ha lm o l o g y T h e   t e c hni c a a nd  c li ni c a c o ns id e r a ti o ns ,”   P r ogr e s s   in   R e ti nal   and  E y e   R e s e ar c h , v o l.  72, p. 100759, S e p. 2019, d o i:  10.1016/j .p r e te y e r e s .2019.04.003.   [ 20]   A .   J a b ba r   e al . ,   D e e tr a n s f e r   le a r ni ng - b a s e d   a ut o m a te d   di a be ti c   r e ti no p a th y   de te c t io n   u s i ng   r e ti na l   f und u s   im a ge s   i n   R e mo te   A r e a s ,”   I nt e r n at i on al   J o u r n al   o C o m p ut at i on al  I nt e ll ig e nc e  S y s te m s , v o l.  1 7,  no .  1 p.  1 35 20 24 do i:   10 .1 00 7/ s 44 19 6 - 0 24 - 0 05 20 - w.   [ 21]   O R O la ni r a n,   A O .   S ik ir u,  J A ll o hi bi A A A lh a r bi a nd  N M S .   A lh a r bi H y br id   r a nd o f e a tu r e   s e le c ti o a nd  r e c u r r e nt   ne ur a n e tw o r f or  di a be t e s  pr e di c ti o n,”   M at he m at ic s , vo l.  13,  no . 4, p. 628, F e b. 2025, d o i:  10.3390/m a th 13040628.   [ 22]   Y S ha e al . A i mp r ov e me nt   of   A da ba s e o a   c y c li c   e x p o n e nt ia d e c a y   l e a r ni ng  r a te   a nd   gr a di e n n o r m   c o ns tr a in ts ,”   E le c tr oni c s  ( Sw it z e r la nd) , vo l.  13, n o . 9, p. 1778, M a y  2024, d oi 10.3390/e l e c tr o ni c s 13091778.   [ 23]   F S S o r r e nt in o   e al . N o ve a ppr o a c h e s   f or   e a r l y   de t e c t io of   r e ti na di s e a s e s   us in a r ti f i c ia in te l li ge n c e ,”   J our nal   o P e r s onal iz e d M e di c in e , vo l.  14, n o . 7, p. 690, J un. 2024, do i 1 0.3390/j pm14070690.   [ 24]   E R io tt o   e al . A c c ur a c y   of   a ut o n o m o us   a r ti f i c ia in te ll ig e n c e - ba s e di a be ti c   r e ti n o pa th y   s c r e e ni ng  in   r e a l - li f e   c li ni c a pr a c ti c e ,”   J our nal  of   C li ni c al  M e di c in e , v o l.  13, n o . 16, p. 4776, Aug. 2 02 4, do i:  10.3390/j c m13164776.   [ 25]   R M .   W o lf   e al . A ut o n o m o us   a r ti f ic ia in t e ll ig e n c e   in c r e a s e s   s c r e e ni ng  a nd  f o ll o w - up  f or   di a be ti c   r e ti n o pa th y   in   y out h:   th e   A C C E S S  r a ndo mi z e c o nt r o t r ia l,   N at ur e  C om m uni c at io ns , v o l.  15, n o . 1, p. 421, J a n. 2024, doi:  10.1038/s 41467 - 023 - 44676 - z.   [ 26]   J .   S u r y a   e t   a l . ,   E f f ic a c y   o f   de e p   l e a r n i n g‑ b a s e d   a r t if ic i a l   i n te l l i ge nc e   m o de l s   i n   s c r e e n i n g   a n d   r e f e r r i n g   p a t ie n t s   w i t h   d i a b e t ic   r e t i no pa t hy   a n d   g l a u c o m a ,   I n d i a n   J o u r n a l   o O p h t h a l m o l o g y ,   v o l .   7 1 ,   no .   8 ,   pp .   3 0 3 9 3 0 4 5 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 4 1 0 3 /I J O . I J O _ 1 1 _ 2 3 .   [ 27]   L D a e al . A   de e l e a r ni ng  s y s t e f o r   pr e di c ti ng  ti m e   t o   pr o gr e s s io of   di a b e ti c   r e ti n o pa th y ,”   N at ur e   M e di c in e v o l.   30,  no 2,  pp. 584 594, F e b. 2024, d o i:  10.1038/s 41591 - 023 - 02702 - z.   [ 28]   A J a bba r S N a s e e m,  J L i,   e al . D e e t r a ns f e r   l e a r ni ng - ba s e a ut o ma t e di a be ti c   r e ti n o pa th y   d e t e c ti o us in r e ti na f un dus   im a ge s   in   r e m o t e   a r e a s ,   I nt e r nat io nal   J our nal   o f   C om put at io nal   I nt e ll ig e nc e   Sy s te m s v o l.   17,  p.  135,  2024 ,   do i:   10.1007/s 44196 - 024 - 00520 - w .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   1 52 - 1 60   160   B I OG RA P HI E S   OF   AU T HO RS       Dr .   S un d e R a m a s a m y           p ro fe s s o i n   S c h o o l   o Co m p u t e S c i en ce   an d   E n g i n ee r i n g   at   G al g o t i as   U n i v e rs i t y ,   h o l d s   2 0   y e ars   o f   t e ach i n g   e x p e ri e n ce  w i t h   Ph . D .   fr o m   Man o n m a n i a m   S u n d aran ar  U n i v e rs i t y .   H e   h as   p u b l i s h e d   8   p at e n t s   an d   2 0   re s e ar c h   p ap e rs ,   s p e c i a l i z i n g   i n   m a c h i n l e ar n i n g ,   co m p u t e r   v i s i o n ,   d at an al y t i c s ,   a n d   i m a g e   p ro ce s s i n g .   H c an   b e   co n t a c t ed   at   em ai l :   s u n d e r . r@ g al g o t i as u n i v e rs i t y . e d u . i n .       Bri n d h a   M o h a n ra j           as s i s t an t   p ro fe s s o in  co m p u t er  s c i e n ce   a n d   en g i n ee r i n g   at   Ch en n a i   In s t i t u t o f   T ec h n o l o g y ,   h o l d s   9   y ears   o f   t e a ch i n g   e x p e ri e n ce  an d   i s   p u rs u i n g   Ph . D .   in  co m p u t e r   s ci e n ce   a n d   e n g i n ee ri n g   at   A n n U n i v e rs i t y .   W i t h   an   M. E .   CSE ,   s h e   h as   p u b l i s h ed   1   p at en t   an d   4   r e s e ar ch   p ap e rs ,   s p eci al i zi n g   i n   s o ft   co m p u t i n g   t ec h n i q u e s ,   cl o u d ,   an d   m a c h i n l e ar n i n g .   Sh e   c a n   b e   c o n t ac t e d   at   em a i l :   b i n d u cs e 2 0 1 0 @ g m a i l . c o m .       Sri d h a P u s h pa n a t h a n           as s i s t an t   p ro fe s s o i n   D e p art me n t   o f   E l ec t ri c al   an d   E l ec t ro n i c s   E n g i n ee ri n g   at   K o n g u n a d u   C o l l e g o E n g i n ee r i n g   an d   T ech n o l o g y   (A u t o n o m o u s ),   h o l d s   1 1   y e ars   o t e a c h i n g   e x p e r i e n ce .   W i t h   M . E .   ( p o w e r   e l ec t ro n i c s   a n d   d ri v e s an d   B. E .   (E E E i n   D i s t i n c t i o n   fro m   A n n U n i v ers i t y ,   h e   h as   p u b l i s h e d   2   p at e n t s   an d   1   re s e ar ch   p ap e r,   s p eci al i zi n g   i n   p o w e r   s y s t em  o p e rat i o n   a n d   c o n t ro l ,   p o w er  el ec t ro n i c s ,   a n d   e l ec t ri c a l   m a ch i n e s ,   el ec t ri c al   e n e r g y   g e n e rat i o n   u t i l i z at i o n   a n d   co n s e rv at i o n ,   an d   m a c h i n l e ar n i n g .   H c an   b e   co n t ac t e d   at   em a i l :   s ri d h arp @ k o n g u n ad u . a c . i n .       D r.   T h e nm o zh i   El um a l a i           p ro fe s s o i n   t h e   D e p art men t   o In fo r m at i o n   T e ch n o l o g y   at   Pa n i m a l ar  E n g i n ee r i n g   C o l l e g e.   W i t h   2 3   y e ars   o f   t e a ch i n g   e x p e r i e n ce,   s h h o l d s   P h . D .   a n d   h as   a u t h o r ed   7   p at e n t s ,   8   b o o k   c h ap t e r s ,   an d   2 4   r e s e ar c h   p ap e rs   i n   r e n o w n e d   i n t e r n at i o n al   j o u r n al s   a n d   c o n f e r e n ce s .   H e ar e as   o f   e x p e rt i s i n c l u d cy b e s ec u r i t y ,   n e t w o r k s ,   an d   m a ch i n e   l e a r n i n g .   S h c an   b e   c o n t ac t e d   at   em a i l :   e t h e n mo zh i 2 2 . p ec @ g m ai l . c o m .       P ra bu   Ka l i y a perum a l           as s i s t an t   p ro fe s s o i n   S c h o o l   o C o m p u t e S c i en ce   an d   E n g i n ee r i n g   at   G al g o t i as   U n i v e rs i t y ,   h as   1 6   y e ars   o t e a c h i n g   e x p e ri e n ce.   C u rr e n t l y   p u rs u i n g   a   Ph . D . ,   h h o l d s   an   M. T ech .   i n   CSE   fro SRM  U n i v e r s i t y   an d   MB A   fr o A n n a   U n i v e rs i t y .   H h as   p u b l i s h ed   4   p at e n t s   an d   1 2   re s e ar ch   p ap e rs   i n   i n t e rn at i o n a l   j o u rn a l s   an d   c o n f e ren ce s .   H i s   e x p e rt i s e   i n cl u d e s   cy b e r   s ec u r i t y ,   n e t w o rk s ,   c l o u d   co m p u t i n g ,   an d   m a ch i n e   l e arn i n g .     H c an   b e   co n t a c t ed   at   em a i l :   meg a. p rab u @ g m a i l . c o m .         R a ja kum a P er um a l           as s i s t an t   p r o fe s s o i n   S c h o o l   o C o m p u t e S ci e n ce  an d   E n g i n ee r i n g   at   G al g o t i as   U n i v e rs i t y ,   h o l d s   2 2   y e ars   o t e ach i n g   e x p e r i en ce  an d   i s   p u rs u i n g   a   Ph . D .   i n   co m p u t e r   s ci e n ce  an d   en g i n ee r i n g   at   Sh r i   V e n k at e s h w ara   U n i v e rs i t y .   W i t h   an   M. E .   CSE   fro m   A n n U n i v e rs i t y ,   h e   h as   p u b l i s h ed   4   p at e n t s   an d   8   r e s e ar c h   p ap e rs ,   s p eci al i zi n g   i n   n e t w o rk s ,   c l o u d   c o m p u t i n g ,   s o ft w ar e   en g i n ee r i n g ,   a n d   m a c h i n l e ar n i n g .   H c an   b e   co n t a c t ed   at   em ai l :   ra j k u m ar. j ce t @ g m ai l . co m .     Evaluation Warning : The document was created with Spire.PDF for Python.