I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   11 ,   No .   4 A u g u s t   2021 ,   p p .   3 4 9 2 ~ 3 5 0 1   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 1 i 4 . pp 3 4 9 2 - 3 5 0 1          3492       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   A t ra nsf er learni ng   w ith  deep  neu ra l net w o rk  appr o a ch f o dia betic  r etinopa t hy  clas sifica tion       M o ha m m e d Al - S m a di,  M a hm o u H a mm a d,  Q a nita   B a ni B a k er ,   Sa a d A.   Al - Z bo o n   Co ll e g e   o f   Co m p u ter an d   In f o rm a ti o n   T e c h n o lo g y ,   Jo rd a n   Un iv e rsity   o f   S c ien c e   a n d   T e c h n o lo g y ,   Irb id ,   Jo r d a n       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u 20 ,   2 0 2 0   R ev i s ed   Dec   9 ,   2 0 2 0   A cc ep ted   J an   1 3 ,   2 0 2 1       Dia b e ti c   re ti n o p a th y   is  a n   e y e   d ise a se   c a u se d   b y   h ig h   b lo o d   s u g a a n d   p re ss u re   w h ich   d a m a g e th e   b lo o d   v e ss e ls  in   th e   e y e .   Dia b e ti c   r e ti n o p a t h y   i s   th e   ro o c a u se   o f   m o r e   th a n   1 %   o f   th e   b li n d n e ss   w o rld w id e .   Early   d e tec ti o n   o f   th is  d ise a se   is  c ru c ial  a it  p re v e n ts  it   f ro m   p ro g re ss in g   to   a   m o re   se v e r e   lev e l.   H o w e v e r ,   th e   c u rre n m a c h in e   lea rn in g - b a se d   a p p r o a c h e f o d e tec ti n g   th e   se v e rit y   le v e l   o f   d iab e ti c   re ti n o p a th y   a re   e it h e r,   i)  re l y   o n   m a n u a ll y   e x trac ti n g   f e a tu re w h ich   m a k e s   a n   a p p ro a c h   u n p ra c ti c a l,   o ii t ra in e d   o n   s m a ll   d a tas e t   th u s c a n n o b e   g e n e r a li z e d .   In   th is stu d y ,   w e   p ro p o se   a   tran s f e r   lea rn in g - b a se d   a p p r o a c h   f o d e t e c ti n g   th e   se v e rit y   le v e o f   th e   d iab e ti c   re ti n o p a th y   w it h   h ig h   a c c u ra c y .   Ou m o d e is  a   d e e p   lea rn in g   m o d e b a se d   o n   g lo b a a v e r a g e   p o o li n g   (G A P tec h n i q u e   w it h   v a rio u p re - train e c o n v o lu ti o n a n e u ra n e t -   w o rk   (CNN m o d e ls.  T h e   e x p e ri m e n tal  re su lt o f   o u a p p r o a c h ,   i n   w h ich   o u r   b e st  m o d e a c h iev e d   8 2 . 4 %   q u a d ra ti c   w e ig h ted   k a p p a   (QW K),  c o rro b o ra te  th e   a b il it y   o f   o u m o d e to   d e tec th e   se v e rit y   lev e o f   d iab e ti c   re ti n o p a th y   e ff ici e n tl y .   K ey w o r d s :   Dee p   lear n in g     Diab etic  r etin o p ath y   I m ag cla s s i f icatio n   Me d ical  i m a g p r o ce s s in g   T r an s f er   lear n in g     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h a m m ed   A l - S m ad i   C o lleg o f   C o m p u ter   an d   I n f o r m atio n   T ec h n o lo g y   J o r d an   Un i v er s it y   o f   Scien ce   a n d   T ec h n o lo g y   I r b id ,   J o r d an   2 2 1 1 0   E m ail:  m as m ad i @ j u s t.e d u . j o       1.   I NT RO D UCT I O N   Diab etic  r etin o p ath y   i s   an   e y e   d is ea s ca u s ed   b y   h ig h   b lo o d   s u g ar   an d   p r ess u r w h ich   d a m ag e s   t h e   b lo o d   v ess els   i n   t h b ac k   o f   t h e y e.   B ased   o n   [ 1 ] ,   ar o u n d   4 0 . 3 o f   Un i ted   State s   ad u lts   4 0   y ea r s   a n d   o ld er   s u f f er   f r o m   r etin o p a t h y   w ith   8 . 2 %   h a v e   v is io n - t h r ea te n in g   r et in o p ath y .   D iab etic   r etin o p at h y   is   t h e   r o o t   ca u s e   o f   m o r e   t h an   1%   of   th e   b lin d n es s   w o r ld w id e.   P eo p le   w it h   Diab etic   r eti n o p ath y   ar e   at   t h e   g r ea t   r is k   of   d e v elo p in g   o th er   e y e   d is ea s e s   s u c h   a s   g la u co m a n d   C atar ac ts .   T h i s   d is ea s is   p r o g r ess i v m ea n in g   t h at  it   ad v a n ce s   f r o m   o n s ta g to   m o r s er io u s   s tag e,   i f   it  h as  n o tr ea ted   w ell .   E ar ly   d etec t io n   w it h   e f f ec ti v tr ea t m en o f   t h d iab etic  r etin o p ath y   ca n   r ed u c v is io n   lo s s   b y   9 0 %   [ 2 ] .   T o   o v er co m t h af o r e m e n tio n ed   p r o b lem   an d   d etec d iab etic  r etin o p ath y   ea r l y   an d   e f f icien tl y ,   w e   h av d e v elo p ed   d ee p   lear n i n g   m o d el  th at  i s   ca p ab le,   w it h   h i g h   ac cu r ac y ,   to   d etec if   an   e y s u f f er s   f r o m   d iab etic  r etin o p ath y   o r   n o t.  I f   th e y s u f f er s   f r o m   d iab etic   r etin o p ath y ,   o u r   m o d el  d etec t s   th s e v er it y   lev el   o f   th e   d is ea s e   an d   h en ce   p r ev e n ti n g   th e   d is ea s f r o m   p r o g r es s in g .   Ma c h i n lear n in g   a n d   m ain l y   d ee p   lear n i n g   h av i m p r o v ed   d r asti ca ll y   d u r in g   t h p ast  d ec ad [ 3 ] .   De ep   lear n in g   alg o r it h m s   ad v a n ce d   m a n y   r e s ea r ch   f ield s   s u c h   as sp ee c h   r ec o g n it i o n ,   d ec is io n   m a k i n g ,   an d   i m a g p r o ce s s in g .   C o n v o lu tio n al  n e u r al  n et w o r k   ( C NN)   is   d ee p   n eu r al  n et w o r k   m o d el  t h at  is   w id el y   u s ed   in   c o m p u ter   v is io n   a n d   i m ag e   c lass i f icatio n s .   C NN   co n s i s ts   of   t h r ee   m ai n   co m p o n e n t s :   i )   s i n g le   or   m u l tip le   c o n v o l u tio n a l   b lo ck s   w h ic h   is   a   ce n tr al   co m p o n e n t   of   C NN,   ii )   s a m p l in g   la y er s   ( p o o lin g   la y er s)   s u c h   as   m ax - Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   tr a n s fer lea r n in g   w ith   d ee p   n eu r a l n etw o r a p p r o a c h   fo r   ( Mo h a mme d   A l - S ma d i )   3493   s a m p li n g   an d   m ea n - s a m p lin g ,   an d   iii )   n u m b er   o f   f u ll y   co n n ec ted   la y er s .   I m ag e   clas s if icat io n   ca n   b d ef i n ed   as  th p r o ce s s   of   lab eli n g   i m a g es   w it h   a   ca teg o r y   f r o m   a   p r ed ef in ed   s et   of   ca te g o r ies.   T h e   p r o ce s s   of   im a g e   class i f icatio n   co n s i s ts   o f   m a n y   p h a s es  s tar tin g   f r o m   co ll ec tin g   d ataset  o f   i m a g e s ,   lab elin g   t h e m ,   p r e - p r o ce s s in g   t h i m a g es,   i m a g e   s eg m e n tatio n ,   f ea t u r es   e x tr ac ti o n ,   an d   f i n all y ,   o b j ec t   class if i ca tio n   u s i n g   a   d ee p   lear n in g   m o d el   [ 4 ] .   Ma n y   r ese ar ch er s   b u i lt  v ar io u s   d ee p   lear n in g   ar c h itect u r es  b a s ed   o n   C NN  s u ch   as  L e Net - [ 5 ] ,   A lex Net  [ 6 ] ,   Z FNet  [ 7 ] ,   VGGN et  [ 8 ] ,   Go o g leNe [ 9 ] ,   R esNet  [ 1 0 ] ,   I n ce p tio n   V2   [ 1 1 ] ,   I n ce p tio n   V3   [ 1 2 ] ,   I n ce p tio n R es Net  ( I n cp tio n   V4 )   [ 1 3 ] ,   Den s eNe [ 1 4 ] ,   Gap Net  [ 1 5 ] ,   SNet  [ 1 6 ] ,   Xce p tio n   [ 1 7 ] ,   E f f icien tNet  [ 1 8 ] .   T h ese  d ee p   lear n in g   ar ch i tectu r e s   ar e   u s ed   f o r   b u ild in g   v ar io u s   d ee p   lear n in g   m o d el s .   In   th is   r esear c h ,   we   h a v e   d esig n ed   an d   d ev elo p ed   6   d if f er en t   tr an s f er   lear n in g   tech n iq u es   to   d etec t   t h e   s ev er it y   lev e o f   t h d iab etic  r etin o p ath y   to   s to p   b lin d n e s s   b ef o r it  is   to o   late.   T h p r e - tr a in ed   m o d els  ar e:  i R esNet   [ 1 0 ] ,   ii )   I n ce p tio n   V3   [ 1 2 ] ,   iii )   I n ce p tio n R esNet   ( I n c ep tio n   V4 )   [ 1 3 ] ,   i v )   Den s eNe t   [ 1 4 ] ,   ( v )   Xce p tio n   [ 1 7 ] ,   an d   vi )   E f f icie n tNet  [ 1 8 ] .   T h p r o p o s ed   tech n iq u e s   w er tr ain ed   an d   ev alu ated   o n   r ea l - w o r ld   m ed ical   i m a g es  [ 1 9 ] .   E ac h   i m ag i n   t h tr ain in g   d ataset  i s   m a n u all y   l ab eled   w ith   i ts   s e v er it y   lev el  b y   a   clin icia n .   T o   s u m m ar ize,   t h is   p ap er   m ak es th f o llo w in g   co n tr ib u tio n s :     I n n o v a tiv tr a n s f er   lear n i n g   m o d el:  w h av le v er ag ed   v ar io u s   s ta te - of - th e - ar C N ar ch it ec tu r es  to   b u ild   v ar io u s   tr an s f er   lear n i n g - b ase d   m o d els.  T h C NN  ar c h itect u r es  h av b ee n   u s ed   as  p r e - tr ain ed   m o d els   to   o u r   m o d els.  C NN - b ased   m o d e ls   h a v b ee n   u s ed   s u cc e s s f u ll y   in   i m a g cla s s i f icatio n   tas k s .     T h eo r y i n   th i s   p ap er ,   w s h o w   t h at   lev er a g i n g   tr an s f er   l ea r n in g   i m p r o v es   t h p er f o r m an ce   o f   d ee p   lear n in g   m o d el s   an d   in cr ea s es  its   d etec tio n   ac cu r ac y .     E x p er i m e n ts :   w h av co n d u c ted   s ev er al  e x p er i m e n ts   o n   l ar g m ed ical   i m a g d ata s et.   O u r   ex p er i m en ta l   r esu lt s   s h o w   t h h i g h   ab ilit y   o f   o u r   m o d el  f o r   d etec tin g   t h s ev er it y   lev el  o f   d iab etic  r etin o p ath y   d is ea s e .   I n   ad d itio n ,   w co m p ar ed   th p er f o r m a n ce   o f   s ix   d i f f er en t tr an s f er   lear n i n g - b ased   m o d el s .   T h r em ai n d er   o f   t h i s   p ap er   is   o r g an ized   as  f o llo w s .   Sect io n   2   p r o v id es  a n   o v er v ie w   o f   t h r ela ted   w o r k   i n   th m ed ical  i m a g p r o ce s s in g   f iled .   Sectio n   3   d escr ib es  o u r   m et h o d   to   d esig n   a n d   d ev elo p   d e e p   lear n in g   m o d el   to   d etec t   th e   s ev er it y   of   a   d iab etic   r etin o p ath y   e y e.   Sectio n   4   p r esen ts   o u r   ex p er i m e n tal   r esu lts   an d   f i n d in g s   a n d   w d is c u s s   t h e m   i n   s ec t io n   5 .   Fin all y ,   t h p ap er   co n clu d es  w it h   av e n u es   o f   f u tu r w o r k   o n   s ec tio n   6.       2.   RE L A T E D   WO RK   Me d ical  i m a g cla s s i f icatio n   i s   o n o f   t h m o s i m p o r tan i m ag e s   p r o ce s s i n g   tas k s .   I t s   m ain   g o al  i s   to   class i f y   m ed ical   i m a g es   in t o   d if f er en t   ca teg o r ies   to   h elp   p h y s icia n s   a n d   clin ician s   to   d iag n o s e   p atien t s   f a s t e r   [ 2 0 ] .   P h y s icia n s   r el y   o n   t h eir   p r ac tical  ex p er ien ce   a s   w ell   as   m a n u a ll y   s p o tti n g   o f   v ar io u s   f ea t u r es i n   a n   im ag e   to   d eter m i n it s   m ed ical  co n d itio n .   Su c h   p r o ce s s   is   er r o r   p r o n an d   ted io u s   task .   T h e r ef o r e,   th m ed ical   i m a g e   class i f icat io n   e m er g ed   to   h elp   p h y s icia n s   cla s s i f y   m ed ical   i m a g es   f aster   an d   m o r e   co n v e n ie n tl y .   To   k e e p   th e   p ap er   co n ci s e   an d   r ea d ab le,   we   w i ll   co m p ar e   a n d   co n tr ast   b et w ee n   o u r   r esear ch   w o r k   in   lig h t   of   t h e   r elate d   r esear ch   ef f o r t in   d etec ti n g   d ia b etic  r etin o p ath y   u s i n g   m ac h i n an d   d ee p   lear n in g   m eth o d s .   Diab etic  r etin o p at h y   is   o n e   o f   th ey e’ s   d is ea s es   th a i s   t h r o o ca u s e   o f   b li n d n e s s   ar o u n d   th w o r ld .   Dete ctin g   th e   s ev er it y   le v el   of   d iab etic   r etin o p ath y   e y e   ea r l y   is   cr u cial   f o r   p r ev en ti n g   p o s s i b le   ad v an ce m e n t   o f   th is   d is ea s e.   D u e   to   th e   i m p o r tan ce   of   th is   p r o b le m ,   m a n y   r esear ch er s   h a v e   d ev elo p ed   v ar io u s   m ac h i n e   lear n in g   tec h n iq u es  f o r   d etec tin g   d iab etic  r eti n o p ath y   i n cl u d i n g   [ 2 1 - 3 1 ] .   Ou r   r esear c h   s h ar es   w it h   th e   p r ev io u s   r e s ea r ch   ef f o r t h id ea   o f   d ete cti n g   d iab etic  r et in o p ath y   b u t   it   is   s i g n i f ica n tl y   d if f er en t.  Fo r   ex a m p le,   o u r   d ataset  co n tai n s   3 , 5 6 2   o r ig in al  i m a g es  w h er ea s   m a n y   p r e v i o u s   w o r k   tr ain ed   th eir   m o d el  o n   a   s m all  d ata s et  w i th   les s   t h a n   5 0 0   i m ag e s   s u c h   a s   [ 2 1 - 2 7 ] .   Ot h er   r esear ch   w o r k   tr ain ed   th eir   m o d el s   o n   b ig g er   d ataset  s u ch   a s   [ 2 8 ]   an d   [ 2 9 ]   w it h   1 , 2 0 0   im a g es  a n d   [ 3 0 - 3 2 ]   w i t h   ar o u n d   3 5 , 0 0 0   im a g es.   Ne v er t h eles s ,   o u r   r esear ch   w o r k   o u tp er f o r m ed   th e s e   r esear ch   e f f o r ts   in   m a n y   w a y s .   F o r   ex a m p le,   [ 2 8 ]   an d   [ 2 9 ]   u s ed   tr ad itio n al  m ac h i n lear n i n g   s u c h   as  SVM  a n d   A d aB o o s t.  I n   [ 3 0 ]   an d   [ 3 1 u s ed   s in g le  C N m o d el.   Si m ilar l y ,   [ 3 2 ]   u s ed   m ai n l y   t w o   d if f er e n m o d els  an d   th eir   b est  o b tain ed   m o d el  ac h iev ed   a   k ap p a   s co r e   of   0 . 7 2 .   H o w e v e r ,   in   th i s   r esear ch ,   we   h a v e   u tili ze d   7   d if f er e n t   s tate - of - t h e - ar t   d ee p   lear n in g   m o d el s .   Fin a ll y ,   w h a v d ev e lo p ed   t r an s f er   d ee p   lear n in g   m o d el  a n d   o u r   r esu lts   o u tp er f o r m ed   th p r ev io u s   r esear ch   ef f o r ts .       3.   RE S E ARCH   M E T H O D   3 . 1 .     T he   da t a s et   T o   tr ain   an d   ev alu a te  o u r   d ee p   lear n in g   m o d el,   w h a v u tili ze d   th d ataset  a v ailab le  f o r   th A P T O 2 0 1 9   B lin d n ess   Dete c tio n   Kag g le  co m p et itio n   [ 1 9 ] .   T h d ata s et  i s   r ea l - w o r ld   d ataset  o b ta in ed   f r o m   m u l tip le   clin ic s   i n   I n d ia  u s i n g   d i f f er e n ca m er as   o v er   p er io d   o f   ti m e.   T h i m ag e s   ar lab eled   b y   e x p er ts .   H o w e v e r ,   th e y   m i g h t c o n tai n   s o m n o is e   in   b o th   th i m a g es a n d   th e   lab els.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 4 9 2   -   3501   3494   T h e   clin ic s   lab eled   t h e   i m a g e s   in   t h e   d ataset   w it h   th e   s e v er it y   lev el   of   t h e   d iab etic   r eti n o p ath y   s t a r t i n g   f r o m   n o r m al  e y i m a g to   p r o lif er ati v d iab etic  r etin o p ath y   e y i m ag e.   T a b l e   s h o w s   th la b els o f   t h im a g es  in   th d ataset  alo n g   w it h   th n u m b er   o f   i m ag e s   th at  b elo n g   to   ea ch   lab el.   T h tab le  s h o w s   th at  th d ataset  h a s   t w o   p r o b le m s .   First,  t h d atas et  is   u n b ala n ce d .   T h i m a g es  th at  b elo n g   to   t h NO   DR ”  c lass   ar m o r th a n   h al f   of   t h e   d ataset.   T h er ef o r e,   if   we   t r ai n   a   clas s if ier   on   t h is   d ataset,   th e   cla s s i f ier   w i ll   be   b ias   to w ar d   t h is   cla s s .   Seco n d ,   th e   d ataset  is   r elati v el y   s m al f o r   d ee p   lear n in g   tas k s .   T o   s o lv th f ir s t p r o b le m ,   i m b a lan ce d   d ata,   we   lev er ag ed   d ata - o v er s a m p lin g   tech n iq u e.   T o   o v er co m t h s ec o n d   p r o b lem ,   s m all  d ataset,   w u s ed   d a t a   au g m e n tatio n   tech n iq u e.   Ne x s ec tio n   d escr ib es  t h ese  t w o   tech n iq u es  i n   m o r e   d etail.   Fig u r s h o w s   a n   illu s tr ativ e x a m p le  o f   ea c h   d iab etic  r etin o p ath y   s e v er it y   lev el.   T h s ize  o f   t h i m ag e s   h as  b ee n   r es h ap ed   to   f it t h p ag e.       T ab le  1 .   Data s et  in f o r m a tio n   S e v e r i t y   l e v e l   L a b e l   #   I mag e s   N o   d i a b e t i c   r e t i n o p a t h y   N O   D R   1 8 0 5   M i l d   d i a b e t i c   r e t i n o p a t h y   M i l d   3 7 0   M o d e r a t e   d i a b e t i c   r e t i n o p a t h y   M o d e r a t e   9 9 9   S e v e r e   d i a b e t i c   r e t i n o p a t h y   S e v e r e   1 9 3   P r o l i f e r a t i v e   d i a b e t i c   r e t i n o p a t hy   P r o l i f e r a t i v e   D R   1 9 5   S e v e r i t y   l e v e l   L a b e l   #   I mag e s   T o t a l   i mag e s   3 5 6 2           Fig u r 1 .   I m a g es  f r o m   t h d at aset s h o w in g   e y s ca n s   w it h   d if f er en t se v er it y   le v els o f   d iab etic  r etin o p ath y       3 . 2 .     Da t a   prepr o ce s s ing   T h is   s ec tio n   d escr ib es  th d ata  p r e - p r o ce s s in g   tec h n iq u es  w le v er ag ed   to   n o r m a lize  th i m ag e s   as   w ell  a s   to   en lar g t h d ataset  t o   m a k it r ea d y   f o r   d ee p   lear n in g   ta s k s .     3 . 2 . 1 .   I m a g e   no r m a liza t io n   T h e   im a g es   in   o u r   d ataset   ar e   co lo r ed   im a g es   w it h   r ed ,   g r ee n ,   an d   b lu e   c h an n el s   ( R GB )   an d   th eir   s iz e   v ar ies  f r o m   o n i m ag to   an o t h er .   T h er ef o r e,   to   s tan d ar d ize  th s ize  o f   t h i m ag e s ,   w r es h ap ed   th i m a g es  to   5 1 2   x   5 1 2   p ix els.  W e   ch o o s th is   s ize  s i n ce   it s   m o r e f f ici en to   r u n   o n   o u r   co m p u ter s   an d   to   h av e n o u g h   f ea t u r es f o r   th m o d el  to   lear n   ab o u t th e   i m ag e s .   I m ag n o r m al izatio n   is   cr u c ial  s tep   i n   d ee p   lear n i n g   t h at  allo w s   t h g r ad ie n d ec en al g o r ith m   to   co n v er g e   f a s ter   an d   h en ce   i m p r o v in g   th e   p er f o r m an ce   of   t h e   d ee p   lear n in g   m o d el.   T h er e   ar e   s ev er al   m e th o d s   to   n o r m alize   i m a g es,  a f ter   co n v e r tin g   t h e m   to   i n teg er   v ec to r s ,   s u c h   as i )   d i v id in g   ea ch   p i x el   in   an   i m a g b y   t h e   m ea n   of   th a t   i m ag e   v ec to r ,   ii )   s u b tr ac t   t h e   m ea n   p er   ch a n n e l   ca lcu lated   o v er   all   i m a g es   in   t h e   d ataset,   or   iii )   i n   p ictu r e   i m a g es   d atase ts ,   di v id i n g   ea c h   p ix el   by   255   is   a   s i m p le   an d   ef f icie n t   tec h n iq u e.   T h e   th ir d   ap p r o ac h   h as   b ee n   u s ed   to   n o r m al ize  th i m ag es i n   o u r   d ataset.     3 . 2 . 2 .   Da t a   o v er - s a m pli ng   Ov er - s a m p l in g   i s   g r o u p   o f   te ch n iq u es  to   s o lv e   t h i m b a lan ce d   d ata  p r o b lem .   S u ch   tec h n iq u tr ies   to   m ak th d ata s et  b alan ce d   w it h   eq u al  n u m b er   o f   i n s ta n ce s   in   ea c h   cla s s .   T h o v er - s a m p lin g   tech n iq u th at   w u s ed   in   t h i s   r esear ch   is   b a s ed   o n   i m p le m en t in g   s i m p l d u p licate  o f   r an d o m   r ec o r d s   f r o m   th m i n o r it y   class es.   Fi g u r e   2   co m p ar es   b et w ee n   t h e   d ataset   b ef o r e   le v er ag in g   t h e   o v er - s a m p li n g   tec h n iq u e,   Fi g u r e   2 ( a ) ,   a n d   af ter   lev er a g i n g   t h d ata  o v er - s a m p li n g   tech n iq u e,   F ig u r 2 ( b ) .   A s   s h o w n   i n   t h f i g u r e,   a f ter   th d ata   o v e r -   s a m p li n g ,   t h e   r es u lted   d ataset   is   b alan ce d .   T h e   to tal   n u m b er   of   i m ag e s   in   t h e   d ata s et   af ter   t h e   o v er - s a m p li n g   i s   7 , 9 3 5   i m ag e s .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   tr a n s fer lea r n in g   w ith   d ee p   n eu r a l n etw o r a p p r o a c h   fo r   ( Mo h a mme d   A l - S ma d i )   3495       ( a)   ( b )     Fig u r 2 .   Sev er it y   d i s tr ib u tio n   o f   i m a g es b ef o r an d   a f ter   ap p ly in g   t h o v er s a m p lin g   tec h n iq u e   ( a)   Or ig in al   d ataset ,   an d   ( b )   Data s et  af ter   o v er - s a m p li n g       3 . 2 . 3 .   Da t a   a ug m ent a t io n   T r ain in g   d ee p   lear n in g   m o d els  s u c h   as  De n s eNe t,  R e s Net,   o r   E f f icie n tNet,   r eq u ir lar g d ataset  t o   p r o d u ce   s tab le  m o d els.  S m all  d atasets   p r o d u c m o d els  t h at  o v er f it  t h tr ai n i n g   d ata s et  an d   h en ce   t h eir   r es u lt s   ca n n o t   b g e n er alize d .   T o   a v o id   s u ch   p r o b le m ,   w h a v p er f o r m ed   d ata - au g m e n tatio n   tec h n iq u e   to   en lar g t h d ataset.   Data   au g m en tatio n   i s   p r o ce s s   o f   g en e r atin g   ( m an u f ac t u r in g )   d ata  f r o m   t h ex is ti n g   d ata   to   in cr ea s th e   d iv er s i t y   a n d   t h n u m b er   o f   th e   i n s ta n ce s   in   th d ata s et  w h ile   m a in ta in i n g   t h s a m e   lab el  o f   th e   o r ig in a l   i m a g e.   Data   a u g m en tatio n   tec h n iq u es   p er f o r m   v ar io u s   o p er atio n s   on   i m a g es   in c lu d i n g   i m a g e   s c a l in g ,   g eo m etr ic  tr an s f o r m a tio n ,   ad d in g   n o i s to   i m ag e s ,   ch an g i n g   t h lig h ti n g   co n d iti o n s   o f   th i m a g es,   i m ag e s   f lip p in g .   As   d ep icted   in   Fi g u r e   3,   we   p e r f o r m ed   v ar io u s   d ata   au g m e n t atio n   o p er atio n s   on   th e   d ataset   in cl u d i n g   f lip   t h i m a g h o r izo n tall y ,   f li p   an   i m ag e   v er tica ll y ,   s ca le  t h s ize  o f   an   i m ag e,   r o tate  t h i m ag e,   s h ea r in g   a n   i m a g e,   an d   elas tic   an d   p er s p ec t iv e   tr a n s f o r m atio n   w h ich   tr ie s   to   p r o j ec t   an   o b j ec t   of   an   i m ag e   in   a   d if f er e n t   p o i n t   o f   v i e w .   T o   au g m e n o u r   i m a g es,  w h a v u t ilized   th I m g Au g   [ 3 3 ] ,   P y t h o n   lib r ar y   f o r   i m ag a u g m e n tatio n .   Fo r   each   in p u t   i m a g e,   we   g e n e r ate   64   d if f er en t   i m a g es   o th er   t h an   t h e   o r ig i n al   o n e.   Af ter   th e   d ata   au g m e n tatio n   s tep ,   w e n d ed   u p   w it h   5 1 5 , 7 7 5   d if f er en t la b eled   i m a g e s .           Fig u r 3 .   I m a g au g m e n tatio n       3 . 2 . 4 .   P er f o rm i ng   ps eu do - la bel   T h w o r k   o f   [ 3 4 ] ,   th p s eu d o - lab el  w a s   i m p le m e n ted   i n   th is   r esear ch   to   en h a n ce   th m o d el   p er f o r m a n ce .   p s eu d o - lab el  is   s im p le  a n d   ef f ic ien s e m i - s u p er v i s ed   lear n in g   tech n iq u to   i m p r o v th e   p er f o r m a n ce   o f   d ee p   n eu r al  n et w o r k   m o d els.  T h m o d el  th at  u s es  p s e u d o - lab el  is   tr ai n e d   u s in g   s u p er v is e d   lear n in g   m ec h a n is m   w it h   lab e led   an d   u n lab eled   ( test )   d ata   at  th e   s a m e   ti m e.   Fo r   u n lab eled   d ata,   th e   m o d el   i s   tr ain ed   u s in g   t h lab eled   d ata.   T h en ,   th tr ain ed   m o d el  is   u s ed   to   p r ed ict  th test   ( u n lab ele d )   d ata.   Fin all y ,   w e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 4 9 2   -   3501   3496   re - tr ain   t h e   s a m e   m o d el  i n   s u p er v i s ed   m ec h a n is m   u s i n g   th lab eled   an d   p r ed icted   d ata  an d   m a k n e p r ed ictio n   o f   th te s d ata.   S u ch   s i m p le  ap p r o ac h   i m p r o v ed   th p er f o r m a n ce   o f   s ta te - of - t h e - ar n e u r al  n et w o r k   m o d el  [ 3 4 ] .     3 . 3 .     Tr a ns f er   lea rning   t e c h n i q u e   I n s tead   o f   tr ain i n g   d ee p   lear n in g   m o d el,   m a in l y   C NNs,  f r o m   s cr atch ,   m a n y   r e s ea r ch er s ,   esp ec iall y   in   t h e   m ed ical   i m ag e s   p r o ce s s i n g ,   le v er a g e   tr an s f er   lear n i n g   t ec h n iq u e   to   g en er ate   ef f icie n t   m o d el s   [ 3 5 ] .   In   th is   r esear ch ,   w d e v elo p ed   tr an s f er - lear n i n g - b ased   m o d el  a f ter   f i n e - t u n i n g   p r e - tr ain ed   C N m o d el,   tr ai n ed   o n   d if f er e n t   i m a g es,   a n d   i n clu d ed   th e   p r e - tr ain ed   m o d el   as   an   i n p u t   to   o u r   m o d el.   T h e   lev er a g ed   C NN   m o d el s   ar e   p r e - tr ain ed   o n   t h I m ag e N et  d ataset.   T h I m ag eNe d ataset   co n tain s   m as s i v n u m b er   o f   i m ag e s   a n d   t h C NN   m o d el s   ar av a ilab le  to   p u b lic.   Su c h   a n   id ea   g r ea tl y   i m p r o v e d   th p er f o r m a n ce   o f   o u r   m o d el.   Nev er t h eles s ,   an   en s e m b le  m o d el  o u t o f   t h b es t p er f o r m in g   m o d els i s   i m p le m en ted .     3. 4 .     P re - t ra ined   m o d el s   I n   o r d er   to   d etec th e   s e v er it y   lev el   o f   d iab etic   r etin o p ath y   i m a g es  a n d   to   co m p ar b et w e en   v a r i o u s   p r e - tr ain ed   m o d els,  w h a v lev er ag ed   6   s tate - of - th e - ar C NN  m o d els.  T h p r e - tr ain ed   m o d el s   ar e:  i )   R e s N e t   [ 1 0 ] ,   ii )   I n ce p tio n   V3   [ 1 2 ] ,   iii )   I n ce p tio n R esNe t   ( I n ce p tio n   V4 )   [ 1 3 ] ,   iv )   Den s eNe t   [ 1 4 ] ,   v )   Xce p tio n   [ 1 7 ] ,   an d     vi )   E f f icie n tNet  [ 1 8 ] .     3 . 5 .     G lo ba a v e r a g e   po o lin g   ( G AP ) - ba s ed   cla s s if ier   Fig u r o v er v ie w s   o u r   c lass if ier   f o r   d etec ti n g   t h s e v er it y   le v el  o f   d iab etic  r eti n o p ath y .   As   s h o w n   i n   th e   f i g u r e,   we   d ev elo p ed   v ar io u s   d ee p   lear n i n g   m o d el s   t h at   lev er ag e   t h e   tr an s f er - lear n in g   te ch n iq u e   to   in cr ea s e   th p er f o r m a n ce   o f   o u r   m o d el .   E ac h   m o d el  u s es  o n o f   t h C NN  m o d el s ,   d is cu s s ed   i n   s e cti o n   3 . 4 . ,   as  p r e - tr ain ed   m o d el.           Fig u r 4 .   Ou r   p r o p o s ed   class if ier ,   GA P - b ased   d ee p   lear n in g   n e u r al  n et w o r k   th at  le v er a g e s   tr an s f er   lear n i n g       Ou r   d ee p   lear n in g   m o d el  lev er ag es  t h G A P   tech n iq u e.   GA P   r ed u ce s   th co m p u tatio n al  p o w er   r eq u ir ed   f o r   th n eu r al  n et wo r k   to   w o r k   an d   h e n ce   in cr ea s in g   its   p er f o r m a n ce .   G A P   also   is   u s ed   as  r eg u lar izatio n   la y er   th at  r ed u c es th o v er f i ttin g   p r o b le m   a n d   in cr ea s es   th g e n er aliza b ilit y   o f   th r e s u l ts   o f   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   tr a n s fer lea r n in g   w ith   d ee p   n eu r a l n etw o r a p p r o a c h   fo r   ( Mo h a mme d   A l - S ma d i )   3497   class i f ier   [ 3 6 ] .   Nev er th ele s s ,   GA P   h a s   s h o w n   an   ab ili t y   to   ac as  an   a tten t io n   la y er   b y   d i s cr i m i n ati n g   r eg io n s   o f   in ter est  o f   t h i m a g an d   r etain   th e m   to   th f i n al  la y er   o f   th m o d el  [ 3 7 ] .   T h er ef o r e,   th GA P   la y er   is   p lace d   af ter   th p r e - tr ai n ed   o u tp u la y er   to   tr an s f er   atten ti v k n o w led g to   th s ec o n d   p ar o f   th m o d el.   Ba tch   n o r m a l i z a t i o n   [ 1 1 ]   an d   D r o p o u t   [ 3 8 ]   r eg u latio n   t ec h n iq u es   ar th e n   u s ed   to   r ed u ce   th e   o v er f itti n g   p r o b lem   an d   i n cr ea s th lear n in g   ca p ab ilit ies  o f   th cla s s i f ier .   T h n ex la y er   in   o u r   d ee p   n eu r al  n et w o r k   is   t h e   Den s la y er ,   f u l l y   co n n ec ted   lay er   w it h   1 , 0 2 4   n eu r o n s .   Nex t,  th o u tp u o f   th D en s la y er   f ed   to   r ec tif ied   li n ea r   u n it   ( R e L U)   ac tiv atio n   f u n ctio n .   T h o s e   last   f i v e   s tep s   ar e   r ep ea ted   3   tim es   in   o u r   c lass if ier ,   d en o ted   as  X 3   in   Fig u r 4 ,   b ef o r th eir   o u tp u g o es  to   t h n ex le v el.   T h d ee p er   th n et w o r k   t h m o r e   v an i s h in g   t h g r ad ien t s   w il l   b e.   T h er ef o r e,   a   R e L U   la y er   is   ad d ed   to   th e   en d   of   each   of   th e   th r ee   b lo ck s   to   m i n i m ize   t h e   e f f ec o f   v a n i s h i n g   g r ad ien p r o b lem ,   w h er t h g r ad ien t s   la y er   af ter   la y er   ar g etti n g   m o r a n d   m o r e   s m aller   a n d   ar n o b ac k - p r o p ag ated   to   t h n et w o r k   l a y er s ,   p r ev e n ti n g   t h n et w o r k   f r o m   lear n i n g   lo lev el  d etails  o f   t h i m a g e s   [ 1 0 ,   1 4 ,   3 9 ] .   A f t e r   r e pe at i ng   t he   pr e vi o us  s t e ps  t hr e e   ti m e s ,   ou r   cl a s s i f i e r   pe r f or m s   b a t c h   n o r m a liz a tio n   a nd   d r o p o u t   r e g ul at i o n   t e c hn i q ue s ,   t he n   a no t he r   D e ns e   la ye r   w it h   a   R e L U   a ct i va ti o n   f un c t i on .   F i na ll y,   t h e   r e s ul t s   of   t he   pr e vi o us   la ye r   a r e   f e d   to   a   S o f t Ma x   f u nc ti o n   f or   f i na l   cl a s s i f i ca ti o n.       4.   E XP E R I M E NT A T I O AN E VA L UA T I O N   T h is   s ec tio n   d is c u s s es  t h ex p er im e n tat io n   s et u p   an d   th ev alu a tio n   p r o ce d u r f o r   th e   p r o p o s ed   m o d e l s .   T h r est  o f   t h i s   s ec ti o n   is   o r g a n ized   as  f o llo w s t h ex p er i m en ta tio n   s e tu p   a n d   th p ar a m eter s   t h at   w er u s ed   to   tr ain   th e   p r o p o s ed   tech n iq u e s   ar e   d is c u s s ed   in   s u b s ec tio n   4 . 1 . ,   th e   ev al u ati o n   m ea s u r e   u s ed   to   e v a l u a t e   t h p r o p o s ed   tech n iq u es  is   d i s cu s s ed   i n   s u b s ec tio n   4 . 2 .   Fi n all y ,   t h m o d els   e v alu a tio n   r esu lts   ar p r esen ted   in   s u b s ec tio n   4 . 3 .     4 . 1 .     E x peri m ent a t io n   s et up   T h p r o p o s ed   tech n iq u e s   in   t h is   r esear ch   w er tr ain ed   u s in g   th p r o v id ed   d ataset  ( s ee   s ec tio n   3 . 1 ).   A ll   th tr an s f er   lear n in g - b as ed   m o d els  w er f ir s tr ain ed   w i th o u p s eu d o - lab el  lear n i n g .   Seco n d ,   tr ain ed   m o d el s   w er u s ed   to   p r ed ict  t h lab el  o f   t h e   test i n g   i m a g es   f o r   p s e u d o - lab el  lear n i n g .   P r ed icted   lab els  a n d   th eir   ass o ciate d   i m a g es a r th e n   ad d ed   to   tr ain in g   d ataset  a n d   u s ed   to   tr ain   th p r o p o s ed   m o d els.   T a b l e   p r esen ts   t h h y p er - p a r a m eter s   u s ed   in   tr ai n i n g   th p r o p o s ed   m o d els,  w h er e,   B S   s tan d s   f o r   b atch   s ize  an d   LR  s tan d s   f o r   lear n in g   r ate.   A ll  t h m o d el s   w er tr ain ed   w it h   lear n i n g   r ate  o f   1 e - 4   f o r   m ax i m u m   n u m b er   o f   7 5   ep o c h s .   A ll  t h m o d els  w er tr ain ed   w it h   i m a g s ize  o f   5 1 2 x 5 1 2   p ix els  ex ce p f o r   th E f f icie n tNet - B 4   w as  tr ain ed   u s i n g   3 8 0 x 3 8 0   p ix els.  All  t h e x p er i m e n ts   w er co n d u cte d   u s i n g   t h Ka g g le   k er n el  o f   t h ch al len g e.   S m all   b atch   s ize s   w er u s ed   to   tr ain   th m o d el s   d u to   t h li m ited   r eso u r ce s   p r o v id ed   b y   t h k er n el  a n d   th h ig h   c o m p lex i t y   o f   th u s ed   m o d els.       T ab le  2 .   Mo d els H y p er - p ar a m eter s   M o d e l   #   E p o c h   BS   LR   I n p u t   I mag e   S i z e   #   C h a n n e l s   R e sN e t - 50   75   6   1e - 4   5 1 2 * 5 1 2   3   I n c e p t i o n - V3   75   8   1e - 4   5 1 2 * 5 1 2   3   I n c e p t i o n R e sN e t - V2   75   6   1e - 4   5 1 2 * 5 1 2   3   D e n se N e t - 169   75   8   1e - 4   5 1 2 * 5 1 2   3   X c e p t i o n   75   8   1e - 4   5 1 2 * 5 1 2   3   Ef f i c i e n t N e t - B4   75   6   1e - 4   3 8 0 * 3 8 0   3       4 . 2 .     E v a lua t i o n   m ea s ure   T h q u ad r atic  w ei g h ted   k ap p a   ( QW K)   [ 4 0 ]   is   u s ed   to   ev a lu ate  th p er f o r m an ce   o f   t h m o d els.  T h QW ev alu ate s   t h lev el  o f   ag r ee m e n t   b et w ee n   th i m a g tar g et  lab el  an d   th p r ed icted   s ev er it y   lev e l.  T h Qu ad r atic  w eig h ted   k ap p is   c o m p u ted   u s in g   ( 1 ) .       ( 1 )     w he r e ,   i   r e pr e s e nt s   t he   ta r ge t   la be l ,   j   r e pr e s e nt s   t he   pr e di c te d   l a be l ,   O i , j   is   an   N*N   m a t r i x   r e pr e s e nt s   t h e   r e c ei ve d   ta r ge t   a n d   pr e di c te d   l a be l s ,   E i , j   is   an   N*N   m a t r i x   r e pr e s e nt s   t he   e xp e c t e d   t a r ge t   a nd   pr e di ct e d   la be l ,   a nd   w i , j   is   an   N * N   m a t r i x   r e pr e s e nt s   a   w e i gh t   c al c ul at e d   ba s e d   on   t he   di f f e r e nc e   be t w e e n   t he   ta r ge t   a n d   pr e di c t e la be l .   w i , j   i s   c o m p ut e us i n g   ( 2 ) :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 4 9 2   -   3501   3498     ( 2 )     w he r e,   t he   N   r e p r e s e nt s   t he   nu m be r   of   t e s ti ng   s a m pl e s ,   i   r e pr e s e nt s   t he   t a r ge t   l a be l,   a nd   j   r e pr e s e nt s   t he   pr e di c t e d   l a be l.     4 . 3 .     Resul t s   T a b l e   3   s h o w s   t h r esu l ts   ac h i ev ed   b y   o u r   tr an s f er   lear n in g   m o d el s .   T h b est r esu lt  w as sc o r ed   b y   th e   I n ce p tio n - V3 + G A P - b ased   cla s s i f ier   w i th   QW K = 8 2 . 0 %.  T h n e x b es s co r w a s   ac h ie v e d   b y   t h De n s e Net - 169 + GA P - b ased   class i f ier   w it h   QW K = 8 1 . 8 %,   w h er ea s   t h e   th ir d   lev el   w as   s co r ed   by   t h e   Xce p tio n + G A P - b ased   class i f ier   w it h   QW K = 8 0 . 9 %.  On   th o t h er   h a n d ,   th R e s Net - 50 + GA P - b ased   cla s s i f ie r   s co r ed   th w o r s t   r esu lt s   a m o n g   t h tr ain ed   m o d els  w it h   QW K = 7 7 . 6 %.   As  th is   r esear ch   is   b ased   o n   Kag g le  ch alle n g e,   an d   i n   o r d er   to   ac h iev h i g h   r esu lts   a n d   r an k ,   a n   en s e m b le  b ased   o n   s i m p le  av e r ag o f   th p r ed ictio n s   o f   th t o p   th r ee   p e r f o r m in g   m o d els  ( i . e. ,   Den s eNe t - 1 6 9 ,   I n ce p tio n - V3 ,   an d   Xce p tio n )   w a s   co m p u ted .   T h e   en s e m b le   m o d el   o u tp er f o r m s   t h e   b est   p er f o r m i n g   m o d el   ( i.e . I n ce p tio n - V3 )   w it h   0 . 4 w it h   QW o f   8 2 . 4 %.  A lt h o u g h   w f i n i s h ed   t h c h alle n g w it h   r a n k   o f   7 1   ( tea m   n a m e :   Data _ Sc ien ce @ J UST )   th e   f ir s t   tea m   ( [ o d s . ai]   to p co d er s ”)   ac h iev ed   a   s co r e   of   QW K = 8 5 . 6 %   w it h   o n l y   3 . 2 o f   ad v an ce m e n o v e r   o u r   ac h iev ed   r esu lt s   in   h ttp s :// www . k a g g le. co m /c/a p to s 2 0 1 9 - b lin d n ess - d etec tio n /lead er b o ar d .   I t is  w o r th   n o ti n g   t h at  2 , 9 3 1   team s   h a v p ar ticip ated   in   th i s   Kag g le   ch alle n g e.       T ab le  3 .   R esu lts   ac h ie v ed   b y   o u r   p r o p o s ed   m o d els   M o d e l   R e su l t s (Q W K )   R e sN e t - 50 + GAP - b a se d   c l a ssi f i e r   7 7 . 6   %   I n c e p t i o n R e sN e t - V2 + G A P - b a se d   c l a s si f i e r   7 9 . 6   %   Ef f i c i e n t N e t - B4 + GAP - b a se d   c l a ss i f i e r   8 0 . 0   %   X c e p t i o n + GAP - b a se d   c l a ss i f i e r   8 0 . 9   %   D e n se N e t - 169 + GAP - b a se d   c l a ssi f i e r   8 1 . 8   %   I n c e p t i o n - V3 + GAP - b a se d   c l a ss i f i e r   8 2 . 0   %   En se mb l e   ( D e n se N e t - 1 6 9 ,   I n c e p t i o n - V 3 ,   X c e p t i o n )   8 2 . 4   %       5.   DIS CU SS I O N   On o f   th r i s k s   f o r   tr ain i n g   tr an s f er   lear n i n g   w it h   d ee p   n e u r al  n et w o r k s   i s   o v er f itti n g .   T h e r ef o r e,   th ca llb ac k   f u n ctio n   o f   E ar l y St o p p in g ”  in   h ttp s :// k er as.io /cal lb ac k s /   f r o m   Ker as  ca llb ac k s   is   u s ed   to   s to p   th m o d el  tr ain i n g   w h en   th co m p u ted   v al id atio n   lo s s   v a lu is   n o   m o r i m p r o v i n g .   As  d ep icte d   in   Fi g u r 5 ,   th er is   n o   g ap   b et w ee n   th e   co m p u t ed   tr ain   lo s s   a n d   t h v alid atio n   lo s s   o v er   m o d el  tr ain i n g   ep o ch s .   T h is   in d icate s   th at  th m o d el  w a s   tr ai n ed   w it h o u o v er f itti n g .   A l t h o u g h   th e   m a x i m u m   n u m b er   o f   ep o ch s   en ab led   f o r   tr ain in g   w a s   s et  to   7 5 ,   th m o d el  s to p p ed   tr ain in g   af ter   ep o ch   4 0   to   p r ev en t o v er f itt in g   as s h o w n   in   Fig u r 5 .   B o th   lo s s   v alu e s   d ec li n ed   to g eth er   d u r in g   m o d el   tr ai n i n g   d u e   to   th e   m o d el   la y er s   r e s p o n s ib le   f o r   r eg u lar izatio n   ( i.e . ,   b atch   n o r m a lizatio n   a n d   d r o p o u t o f   Fi g u r 4 ) .   A s   d is c u s s ed   e ar lier ,   b atch   n o r m aliza tio n   [ 1 1 ]   an d   d r o p o u [ 3 8 ]   ar r eg u latio n   tec h n iq u es  u s e d   to   r ed u ce   th o v er f itti n g   p r o b le m   an d   i n cr ea s t h lear n i n g   ca p ab ilit ies  o f   t h class i f ier .   I n   o r d er   to   s h o w   th e   s tr e n g th   o f   t h p r o p o s ed   m o d el  ar ch ite ctu r a n d   t h i m p o r tan ce   o f   t h p r o p o s ed   i m a g p r ep r o ce s s in g   tec h n iq u es  ( s ee   s ec tio n   3 ) ,   an   ab latio n   an al y s i s   w a s   co n d u cted   o n   t h b est   p er f o r m i n g   m o d el  ( I n ce p tio n - V3 + G A P - b ased   class i f ier ) .   As  p r esen ted   in   T a b l e   4 ,   r el y i n g   o n   tr ai n i n g   th I n ce p tio n - V3   m o d el  a lo n w it h o u tr an s f er   lear n in g ,   t h m o d el  s co r ed   th lo w est  r e s u l ts   o f   QW K = 6 3 . 8 w it h   - 1 3 . 7 %   lo w er   th a n   t h e   ac h ie v ed   r esu lt   by   th e   tr a n s f er   lear n i n g   w it h   t h e   I n ce p tio n - V3   m o d el   ( i.e . ,   I n ce p tio n - V3 + G AP - b ased   class i f ier   w i th   QW K = 8 2 . 0 %).   T h is   f i n d in g   s h o w s   t h s i g n i f ica n ce   o f   t h p r o p o s ed   tr an s f er   lear n in g   ar ch itect u r e.   Mo r eo v er ,   th i s   f in d in g   g o es  in   li n w it h   f i n d i n g s   r ep o r ted   in   l iter atu r f o r   th v al u o f   u s i n g   tr an s f er   lear n in g   w i th   d ee p   n eu r al   n et w o r k s   in   g e n er al  [ 4 1 ]   an d   f o r   t h m ed ical  i m a g cla s s i f icatio n   i n   p ar ticu lar   [ 4 2 ] .   T h s ec o n d   h i g h est   i m p ac t   w a s   t h ab latio n   o f   p s eu d o - l ab el  tech n iq u e,   t h m o d el  s c o r ed   QW K   7 0 . 3 %   w it h o u t   p s e u d o - lab el   with   a   s co r e   d ec lin e   by   - 1 1 . 7 %.   T h is   f in d i n g   s h o w s   h o w   e f f ici en t   w a s   th e   p s e u d o -   lab el  tech n iq u in   i m p r o v in g   th p er f o r m a n ce   o f   th p r o p o s ed   m o d el.   T h s a m f in d i n g   w a s   r ep o r ted   in   t h e   tech n iq u e   p u b lis h ed   in   [ 3 4 ] .   T h e   ab latio n   of   t h e   i m ag e   a u g m en tatio n   s co r ed   a   d ec li n e   in   t h e   re s u lt s   w it h   - 3 . 4 % .   P r ev io u s   r esear ch   h as  d e m o n s tr ated   th ef f ec ti v en e s s   o f   u s i n g   i m a g d ata  au g m e n tat io n   i n   en h an c in g   m o d e l s   class i f icatio n   p er f o r m a n ce   [ 4 3 ] .   A lt h o u g h   it  w a s   ex p ec ted   th at  i m a g d ata  au g m e n tatio n   wo u ld   h av h ig h er   i m p ac o n   e n h a n ci n g   t h p r o p o s ed   m o d el  r es u lts ,   t h d ata  a u g m e n tatio n   tec h n iq u es   w er m ai n l y   tr ad itio n al   a n d   s i m p le  ( i.e .   r o tatin g ,   f lip p i n g ,   a n d   cr o p p in g   o f   in p u t   i m a g es).   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   tr a n s fer lea r n in g   w ith   d ee p   n eu r a l n etw o r a p p r o a c h   fo r   ( Mo h a mme d   A l - S ma d i )   3499       Fig u r 5 .   T h lo s s   v alu e s   f o r   t h tr ain i n g   an d   v a lid atio n   d ata s ets d u r i n g   ea c h   ep o ch   o f   tr ai n in g   t h m o d el       Fin all y ,   t h e   ab latio n   of   th e   o v e r s a m p li n g   tec h n iq u e   h ad   t h e   l o w est   i m p ac t   w it h   a   d ec lin e   in   th e   m o d el  s co r o f   - 0 . 7 %.  As  d is c u s s ed   ea r lier ,   r an d o m   o v er s a m p lin g   tec h n iq u w a s   i m p le m en ted   to   s o lv t h e   i m b al an ce d   p r o b le m   o f   th o r ig in a d ataset.   H o w e v e r ,   th ab latio n   an al y s is   s h o w s   t h at  ab latin g   th i s   tech n iq u e   h as   v er y   s m all   a f f ec t   on   th e   m o d el   ac h ie v ed   r esu l ts   w it h   o n l y   - 0 . 7 %.   A lt h o u g h   t h e   r an d o m   o v er s a m p li n g   tech n iq u ca n   be   u s e f u l   to   av o id   th e   n eg ati v e   a f f ec t   of   i m b alan ce d   d ata   on   ac h iev ed   m o d el   r esu lt s ,   it   ca u s es   th e   m o d el  to   o v er f it  d u r i n g   tr ain i n g   [ 4 4 ] .   H o w e v e r ,   as  w u s ed   th ca llb ac k   f u n ctio n   o f   E ar l y Sto p p in g   f r o m   Ker as  ca ll b ac k s   to   p r ev e n t   m o d el   o v er f itti n g ,   th e   e f f ec t   of   th e   r a n d o m   o v er s a m p l in g   was   v er y   lo w   on   t h e   m o d el   a c h i e v e d   class i f icatio n   r esu lt s .       T ab le  4 .   A b latio n   an al y s i s   r es u lts   f o r   th I n ce p tio n - V3   GA P - b ased   m o d el   A b l a t e d   F e a t u r e s   R e s ul t   D i f f e r e n c e   W i t h o u t   O v e r - S a mp l i n g   8 1 . 3   %   - 0 . 7   %   W i t h o u t   A u g me n t a t i o n   7 8 . 6   %   - 3 . 4   %   W i t h o u t   P se u d o - L a b e l   7 0 . 3   %   - 1 1 . 7   %   W i t h o u t   T r a n sf e r   L e a r n i n g   6 8 . 3   %   - 1 3 . 7   %   I n c e p t i o n - V 3   +   G A P - b a se d   c l a ssi f i e r   -   F u l l   8 2 . 0   %         6.   CO NCLU SI O N   Diab etic  r etin o p ath y   i s   p r o g r ess i v e y d is ea s ca u s ed   b y   h ig h   b lo o d   s u g ar   o r   p r e s s u r e.   T h is   d is ea s e,   i f   n o d etec ted   an d   tr e ated   w el e a r l y ,   ca n   ca u s v is i o n   lo s s .   T o   th at  en d ,   w h av e   p r o p o s ed   tr an s f er   lear n in g   ap p r o ac h   f o r   ac cu r atel y   d etec tin g   th e   s e v er it y   lev el  o f   d iab etic  r etin o p ath y .   O u r   m o d el  is   d ee p   lear n in g   m o d el  b ased   o n   g lo b al  a v e r a g e   p o o lin g   ( G A P )   tech n iq u w it h   v ar io u s   p r e - tr ain ed   C NN  m o d els.  W e   h av u ti lized   6   s tate - of - t h e - ar C NN  m o d els  a s   p r e - tr ai n ed   m o d els  to   o u r   G A P - b ase  m o d el  an d   co m p ar ed   b et w ee n   t h e m .   O u r   b est  m o d el,   th I n ce p tio n - V3 + G A P - b ased   class i f ier ,   ac h iev ed   8 2 . 0 %   QW K.   I m p r o v in g   th e   p er f o r m a n ce   of   o u r   m o d els   as   w ell   as   ap p l y i n g   o u r   tr an s f er   lear n i n g   m o d el s   to   o t h er   m ed ical  p r o b lem s   ar e   in ter esti n g   av e n u o f   f u t u r e   d ir ec tio n s .       ACK NO WL E D G E M E NT S   T h is   r esear ch   is   p ar tiall y   f u n d ed   b y   J o r d an   Un i v er s i t y   o f   S cien ce   a n d   T ec h n o lo g y ,   R ese ar ch   Gr an t   Nu m b er : 2 0 1 7 0 1 0 7   an d   2 0 1 9 0 30 6 .       RE F E R E NC E S   [1 ]   J.  H.  Ke m p e n ,   B.   J.  O’Co l m a i n ,   M .   C.   L e sk e ,   S .   M .   Ha ff n e r ,   R.   Kle in ,   e a l . ,   T h e   p re v a le n c e   o f   d iab e ti c   re ti n o p a th y   a m o n g   a d u lt s i n   th e   u n it e d   sta tes . ,   Arc h ive s o o p h t h a l -   mo lo g y .,  v o l .   1 2 2 ,   n o .   4 ,   p p .   5 5 2 - 5 6 3 ,   2 0 1 4 .   [2 ]   C.   W il k in so n   e a l. ,   P ro p o se d   i n tern a ti o n a c li n ica d iab e ti c   re ti n o p a t h y   a n d   d ia -   b e ti c   m a c u lar  e d e m a   d ise a s e   se v e rit y   s c a les ,   Op h th a lmo lo g y ,   v o l.   1 1 0   ,   n o .   9 ,   p p .   1 6 7 7 1 6 8 2 ,   2 0 0 3 .   [3 ]   Y.  L e Cu n ,   Y.  Be n g io ,   G .   Hin to n ,   De e p   lea rn in g ,   n a t u re ,   v o l.   5 2 1 ,   n o .   7 5 5 3 ,   p p .   4 3 6 - 4 4 4 ,   2 0 1 5 .   [4 ]   P .   Ka m a v isd a r,   S .   S a lu ja,  S .   Ag ra w a l,   A   su rv e y   o n   i m a g e   c las sif i c a ti o n   a p p ro a c h e a n d   tec h n i q u e s,   In te rn a ti o n a l   J o u rn a o A d v a n c e d   Res e a rc h   in   Co mp u ter   a n d   Co mm u n ica ti o n   E n g i n e e rin g ,   v o l.   2 ,   n o .   1 ,   p p .   1 0 0 5 - 1 0 0 9 ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 4 9 2   -   3501   3500   [5 ]   L e Cu n ,   Ya n n   e a l . ,   G ra d ien t - b a se d   lea rn in g   a p p li e d   to   d o c u m e n re c o g n it io n ,   Pro c e e d in g o th e   IEE E ,   v o l.   86 n o .   11 ,   p p .   2 2 7 8 2 3 2 4 1 9 9 8 .   [6 ]   A .   Kriz h e v sk y ,   I.   S u tsk e v e r,   G .   E.   Hin t o n ,   Im a g e n e c las si f ica ti o n   w it h   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s,    Ad v a n c e s i n   n e u r a i n f o rm a ti o n   p ro c e ss in g   sy ste ms ,   v o l.   2 5 ,   p p .   1 0 9 7 1 1 0 5 ,   2 0 1 2 .   [7 ]   M .   D.  Zeiler,  R.   F e rg u s,  V isu a li z in g   a n d   u n d e rsta n d i n g   c o n v o lu ti o n a n e tw o rk s ,   Eu ro p e a n   c o n fer e n c e   o n   c o mp u ter   v isio n ,   p p .   8 1 8 - 8 3 3 ,   2 0 1 4 .   [8 ]   K.  S im o n y a n ,   A .   Zi ss e r m a n ,   V e ry   d e e p   c o n v o lu ti o n a n e tw o rk fo larg e - sc a le  i m a g e   re c o g n it io n ,   a rXiv  p re p rin t   a rXiv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [9 ]   C.   S z e g e d y ,   W .   L iu ,   Y.  Jia ,   P .   S e r m a n e t ,   S .   Re e d ,   D.  A n g u e lo v ,   D.  Erh a n ,   V .   V a n h o u c k e ,   A .   Ra b in o v ich ,   G o in g   d e e p e w it h   c o n v o lu ti o n s,   Pro c e e d in g o th e   IEE c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n ,   2 0 1 5 ,   p p .   1 9.   [1 0 ]   K.  He ,   X .   Z h a n g ,   S .   Re n ,   J .   S u n ,   De e p   re sid u a lea rn i n g   f o im a g e   r e c o g n it io n ,   Pr o c e e d in g o t h e   IEE E   c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n ,   2 0 1 6 ,   p p .   7 7 0 - 7 7 8 .   [1 1 ]   S .   Io f f e ,   C.   S z e g e d y ,   B a tch   n o rm a li z a ti o n A c c e ler a ti n g   d e e p   n e tw o rk   train in g   b y   re d u c in g   in tern a c o v a riate   sh if t,   a rXiv p re p rin a rX iv:1 5 0 2 . 0 3 1 6 7 ,   p p .   4 4 8 - 4 5 6 ,   2 0 1 5 .   [1 2 ]   C.   S z e g e d y ,   V .   V a n h o u c k e ,   S .   I o f fe ,   J.  S h len s,  Z.   W o j n a ,   Re th in k in g   th e   in c e p t io n   a rc h it e c tu re   f o c o m -   p u ter  v isio n , ”  Pro c e e d i n g o t h e   IEE E   c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n ,   2 0 1 6 ,   p p .   2 8 1 8 - 2 8 2 6 .   [1 3 ]   C.   S z e g e d y ,   S .   Io ff e ,   V .   V a n h o u c k e ,   A .   A .   A l e m i,   In c e p ti o n - v 4 ,   in c e p ti o n - re sn e a n d   th e   im p a c o f   re sid u a l   c o n n e c ti o n s o n   lea rn i n g ,   Pro c e e d in g s o f   th e   A AA C o n fer e n c e   o n   Arti fi c ia I n telli g e n c e ,   v o l.   3 1 ,   n o .   1 ,   2 0 1 7 .   [1 4 ]   G .   Hu a n g ,   Z.   L iu ,   L .   V a n   De M a a ten ,   K.  Q.  W e in b e rg e r,   De n se l y   c o n n e c ted   c o n v o l u ti o n a n e tw o rk s,   Pro c e e d in g o t h e   IEE E   c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a t ter n   re c o g n i ti o n ,   2 0 1 7 ,   p p .   4 7 0 0 4 7 0 8 .   [1 5 ]   S .   S a b o u r,   N.   F r o ss t,   G .   E.   Hin t o n ,   Dy n a m i c   ro u ti n g   b e tw e e n   c a p su les , ”  a rXiv  p re p rin a rXiv: 1 7 1 0 . 0 9 8 2 9 ,   p p .   3 8 5 6 - 3 8 6 6 ,   2 0 1 7 .   [1 6 ]   J.  Hu ,   L .   S h e n ,   G .   S u n ,   S q u e e z e - a n d - e x c it a ti o n   n e tw o rk s ,   Pro c e e d in g o th e   IEE c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n ,   2 0 1 8 ,   p p .   7 1 3 2 7 1 4 1 .   [1 7 ]   F .   Ch o ll e t,   X c e p ti o n De e p   lea rn in g   w it h   d e p th w ise   se p a ra b le  c o n v o lu ti o n s,   Pro c e e d in g o t h e   IE EE   c o n fer e n c e   o n   c o m p u ter   v isi o n   a n d   p a tt e rn   re c o g n i ti o n ,   2 0 1 7 ,   p p .   1 2 5 1 - 1 2 5 8 .   [1 8 ]   M .   T a n ,   Q.  V .   L e ,   E ff icie n tn e t:   Re th in k in g   m o d e sc a li n g   f o c o n v o lu ti o n a n e u ra n e tw o rk s,   a rXiv  p re p rin t   a rXiv:1 9 0 5 . 1 1 9 4 6 ,   2 0 2 0 .   [1 9 ]   Ka g g l e ,   A p to 2 0 1 9   b li n d n e ss   d e tec ti o n ,   [ O n li n e 2 0 1 9 ,   A v a ib le:  h tt p s:/ /www . k a g g l e . c o m / c /ap to s2 0 1 9 - b li n d n e ss - d e tec ti o n .   [2 0 ]   Z.   L a i,   H.  De n g ,   M e d ica i m a g e   c las si f ica ti o n   b a se d   o n   d e e p   f e a tu re e x tra c ted   b y   d e e p   m o d e a n d   sta ti stic  f e a tu re   f u sio n   w it h   m u lt il a y e p e rc e p tro n ,   Co mp u ta ti o n a in telli g e n c e   a n d   n e u ro sc ien c e ,   2 0 1 8 .   [2 1 ]   G .   Ga rd n e r,   D.  Ke a ti n g ,   T .   H.  W il li a m so n ,   A .   T .   El l io tt ,   A u to m a ti c   d e tec ti o n   o f   d iab e ti c   re ti n o p a th y   u sin g   a n   a rti f icia n e u ra n e tw o rk a   sc re e n in g   to o l. ,   Brit ish   j o u r n a l   o O p h t h a lmo lo g y ,   v o l.   80 ,   n o .   11 ,   p p .   9 4 0 9 4 4 ,   1 9 9 6 .   [2 2 ]   J.  Da v id ,   R.   Krish n a n ,   S .   Ku m a r ,   Ne u ra n e t w o rk   b a se d   re ti n a im a g e   a n a l y sis,   2 0 0 8   Co n g re ss   o n   Ima g e   a n d   S ig n a l   Pro c e ss in g ,   v o l.   2 2 0 0 8 ,   p p .   4 9 - 53.   [2 3 ]   R.   P riy a ,   P .   A ru n a ,   S v m   a n d   n e u ra n e tw o rk   b a s e d   d iag n o sis  o f   d iab e ti c   re ti n o p a th y ,   In ter n a ti o n a J o u rn a o f   Co mp u ter   A p p li c a ti o n s ,   v o l.   41 ,   n o .   1 ,   2 0 1 2 .   [2 4 ]   R.   P riy a ,   P .   A ru n a ,   Dia g n o sis o d iab e ti c   re ti n o p a t h y   u sin g   m a c h in e   lea rn in g   tec h n iq u e s,   ICT ACT   J o u rn a o n   so ft   c o mp u ti n g ,   v o l.   3 ,   n o .   4 ,   p p .   5 6 3 575 ,   2 0 1 3 .   [2 5 ]   S .   Ro y c h o w d h u ry ,   D.  D.  Ko o z e k a n a n i,   K.  K.  P a rh i,   Dre a m d iab e ti c   re ti n o p a th y   a n a l y sis u sin g   m a c h in e   lea rn i n g ,   IEE j o u rn a o b io me d ic a a n d   h e a lt h   i n f o rm a ti c s ,   v o l.   18 ,   n o .   5 ,   p p .   1 7 1 7 - 1 7 2 8 ,   2 0 1 3 .   [2 6 ]   S .   S o m a su n d a ra m ,   P .   A ll i,   A   m a c h in e   lea rn in g   e n se m b le  c l a ss i f i e f o e a rl y   p re d ictio n   o f   d iab e ti c   re ti n o p a th y ,   J o u rn a o M e d ica S y ste ms ,   v o l.   41 ,   n o .   12 ,   p p .   1 - 1 2 ,   2 0 1 7 .   [2 7 ]   Q.    A b b a s,  I.     F o n d o n ,   A .     S a r m i e n to ,   S .     Jim e ´ n e z ,   P .     A le m a n y ,   A u to m a ti c     r e c o g n it io n     o f     se v e rit y     lev e f o d iag n o sis  o f   d iab e ti c   re ti n o p a th y   u sin g   d e e p   v isu a f e a tu re s,   M e d ica &   b io lo g ica e n g in e e rin g   &   c o mp u ti n g ,     v o l.   55 ,   n o .   11 ,   p p .   1 9 5 9 - 1 9 7 4 2 0 1 7 .   [2 8 ]   R.   Ka ¨lv ia¨in e n ,   H.  Uu si talo ,   D iare td b 1   d iab e ti c   re ti n o p a th y   d a tab a se   a n d   e v a lu a ti o n   p ro t o c o l , ”  M e d ica Ima g e   Un d e rs ta n d in g   a n d   A n a lys is,   v o l .   2 0 0 7 ,   p .   6 1 ,   2 0 0 7 .   [2 9 ]   K.  Bh a ti a ,   S .   A ro ra ,   R.   T o m a r,   Dia g n o sis  o f   d iab e ti c   re ti n o p a th y   u sin g   m a c h in e   lea rn in g   c las si f ica t io n   a lg o rit h m ,   2 0 1 6   2 n d   In ter n a ti o n a C o n fer e n c e   o n   Ne x Ge n e ra ti o n   C o mp u ti n g   T e c h n o l o g ies   ( NGCT),   2 0 1 6 ,   p p .   3 4 7 - 3 5 1 .   [3 0 ]   D.  Do sh i,   A .   S h e n o y ,   D.  S id h p u ra ,   P .   G h a rp u re ,   Dia b e ti c   re ti n o p a th y   d e tec ti o n   u sin g   d e e p   c o n v o lu ti o n a n e u ra l   n e tw o rk s,   in 2 0 1 6   In ter n a ti o n a Co n fer e n c e   o n   Co mp u ti n g ,   An a lytics   a n d   S e c u rity  T re n d ( CAS T ),   2 0 1 6 ,     p p .   2 6 1 - 2 6 6 .   [3 1 ]   S .   Du tt a ,   B.   C .   M a n i d e e p ,   S .   M .   Ba sh a ,   R.   D.  Ca y ti les ,   N.  I y e n g a r,   Clas sif ic a ti o n   o f   d iab e ti c   re ti n o p a th y   ima g e b y   u sin g   d e e p   lea rn in g   m o d e ls,   In ter n a t io n a J o u rn a o Gr id   a n d   Distrib u ted   Co m p u ti n g ,   v o l.   11 ,   n o .   1 ,   p p .   89 106 ,   2 0 1 8 .   [3 2 ]   Krish n a n ,   A rv in d   S a i   e a l . ,   A   tran s f e lea rn in g   a p p ro a c h   f o d iab e ti c   re ti n o p a th y   c las si f ica t io n   u sin g   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s,   in 2 0 1 8   1 5 th   IE EE   In d ia   C o u n c il   In ter n a ti o n a Co n fer e n c e   ( IN DICO N),   2 0 1 8 ,     p p .   1 6.   [3 3 ]   A .   B.   Ju n g   e a l. ,   [ On l in e ] ,   A v a ib le:  h tt p s: // g it h u b . c o m /ale ju /i m g a u g ,   2 0 1 9 .   [3 4 ]   D. - H.  L e e ,   P se u d o - la b e l:   T h e   si m p le  a n d   e ff ici e n se m i - su p e rv ise d   l e a rn in g   m e th o d   f o d e e p   n e u ra n e tw o rk s,   in :   W o rk sh o p   o n   C h a l len g e s i n   Rep r e se n ta ti o n   L e a r n in g ,   ICM L ,   v o l.   3 ,   n o .   2 ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   tr a n s fer lea r n in g   w ith   d ee p   n eu r a l n etw o r a p p r o a c h   fo r   ( Mo h a mme d   A l - S ma d i )   3501   [3 5 ]   H. - C.   S h in ,   H.  R.   Ro th ,   M .   G a o ,   L .   L u ,   Z.   X u ,   I.   No g u e s,  J.  Ya o ,   D.  M o ll u ra ,   R.   M .   S u m m e rs,   De e p   c o n v o lu ti o n a l   n e u ra n e tw o rk f o c o m p u ter - a id e d   d e tec ti o n :   Cn n   a rc h i tec tu re s,  d a tas e c h a ra c teristics   a n d   tran sf e lea rn in g ,   IEE tra n sa c ti o n o n   me d ica im a g i n g ,   v o l.   35 ,   n o .   5 ,   p p .   1 2 8 5 - 1 2 9 8 ,   2 0 1 6 .   [3 6 ]   M .   L in ,   Q.  C h e n ,   S .   Ya n ,   Ne tw o rk   in   n e tw o rk ,”   a rXiv p re p ri n a rXiv:1 3 1 2 . 4 4 0 0 ,   2 0 1 3 .   [3 7 ]   B.   Zh o u ,   A .   Kh o sla ,   A .   L a p e d riz a ,   A .   Oliv a ,   A .   T o rra lb a ,   Lea rn in g   d e e p   f e a tu re f o d isc rim in a ti v e   lo c a li z a ti o n ,   in Pr o c e e d in g o t h e   IEE E   c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a t ter n   re c o g n it io n ,   2 0 1 6 ,   p p .   2 9 2 1 - 2 9 2 9 .   [3 8 ]   N.  S riv a sta v a ,   G .   Hin to n ,   A .   Kriz h e v s k y ,   I.   S u tsk e v e r,   R.   S a lak h u t d in o v ,   Dro p o u t a   sim p le  w a y   to   p re v e n n e u ra l   n e tw o rk f ro m   o v e r f it ti n g ,   T h e   j o u rn a o ma c h in e   le a rn i n g   re se a rc h ,   v o l.   15 ,   n o .   1 ,   p p .   1 9 2 9 - 1 9 5 8 ,   2 0 1 4 .   [3 9 ]   K.  He ,   X .   Z h a n g ,   S .   Re n ,   J.   S u n ,   Id e n ti ty   m a p p in g in   d e e p   r e sid u a n e tw o rk s,   in :   Eu r o p e a n   c o n fer e n c e   o n   c o mp u ter   v isio n ,   S p ri n g e r,   2 0 1 6 ,   p p .   6 3 0 - 6 4 5 .   [4 0 ]   J.  Co h e n ,   W e ig h ted   k a p p a N o m in a sc a l e   a g re e m e n p ro v isio n   f o sc a led   d isa g re e m e n o p a rti a c re d it ,”   Psy c h o lo g ica b u l letin ,   v o l.   70 ,   n o .   4 ,   1 9 6 8 .   [4 1 ]   C.   T a n ,   F .   S u n ,   T .   Ko n g ,   W .   Zh a n g ,   C.   Ya n g ,   C.   L iu ,   A   su rv e y   o n   d e e p   tran sf e lea rn in g ,   in In ter n a ti o n a l   Co n fer e n c e   o n   Arti fi c i a Ne u r a Ne two rk s,   S p ri n g e r,   2 0 1 8 ,   p p .   2 7 0 - 2 7 9 .   [4 2 ]   G .   L it jen s,  T .   Ko o i,   B.   E.   Be jn o rd i,   A .   A .   A .   S e ti o ,   F .   Cio m p i ,   M .   G h a f o o rian ,   J.  A .   V a n   De L a a k ,   B.   V a n   G in n e k e n ,   C.   I.   S a ´ n c h e z ,   A   su r v e y   o n   d e e p   lea rn in g   in   m e d ica ima g e   a n a l y sis,   M e d ica ima g e   a n a lys is ,   v o l.   42 p p .   60 - 88 ,   2 0 1 7 .   [4 3 ]   L .   P e re z ,   J.  W a n g ,   T h e   e ffe c ti v e n e ss   o f   d a ta  a u g m e n tatio n   i n   i m a g e   c l a ss i f ica ti o n   u sin g   d e e p   l e a rn in g ,   a rXiv   p re p rin a rXiv:1 7 1 2 . 0 4 6 2 1 ,   2 0 1 7 .   [4 4 ]   N.  Ja p k o w icz ,   S .   S tep h e n ,   T h e   c las i m b a lan c e   p ro b lem :   A   s y st e m a ti c   stu d y , ”  In telli g e n d a ta   a n a lys is ,   v o l.   6   n o .   5 ,   p p .   4 2 9 - 4 4 9 ,   2 0 0 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.