I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   22 ,   No .   3 J u n 2 0 2 1 ,   p p .   1540 ~ 154 7   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 2 2 .i 3 . p p 1 5 4 0 - 154 7       1540       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Pre - trained  deep  lea rning   m o d els i n auto m a tic  C O V ID - 19  dia g no sis       Ah m ed  Wa s if   Rez a ,   M M a ha m ud u l H a s a n,  Na zla   No wrin ,   M ir  M o y nu dd in Ah m e d   Sh ibl y   De p a rtme n o f   Co m p u ter S c ien c e   a n d   E n g in e e rin g ,   Eas W e st Un iv e rsit y ,   Dh a k a ,   Ba n g lad e sh       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   2 ,   2 0 2 1   R ev i s ed   Ma r   2 1 ,   2 0 2 1   A cc ep ted   Ma r   2 9 ,   2 0 2 1       Co ro n a v iru d ise a se   (COV ID - 1 9 )   is  a   d e v a sta ti n g   p a n d e m ic  in   th e   h isto ry   o m a n k in d .   It  is  a   h ig h ly   c o n tag io u f lu   th a c a n   sp re a d   f ro m   h u m a n   to   h u m a n   w it h o u re v e a li n g   a n y   s y m p to m s.   F o b e i n g   so   c o n tag io u s,  d e tec ti n g   p a ti e n ts   w it h   it   a n d   iso lati n g   t h e m   h a s   b e c o m e   th e   p r im a r y   c o n c e rn   f o h e a lt h c a re   p ro f e ss io n a ls.  T h is  st u d y   p re se n t e d   a n   a lt e rn a ti v e   w a y   to   id e n ti fy   COV ID - 1 9   p a ti e n ts  b y   d o in g   a n   a u to m a ti c   e x a m in a ti o n   o f   c h e st  X - ra y o f   th e   p a ti e n ts.  T o   d e v e lo p   su c h   a n   e f f i c ien sy ste m ,   six   p re - train e d   d e e p   lea rn i n g   m o d e ls   w e r e   u se d .   T h o se   m o d e ls  w e r e V GG 1 6 ,   In c e p ti o n V3 ,   X c e p ti o n ,   De n se Ne t2 0 1 ,   I n c e p ti o n Re sN e tV2 ,   a n d   Ef f icie n tNe tB4 .   T h o se   m o d e ls  w e re   d e v e lo p e d   o n   tw o   o p e n - s o u rc e   d a tas e ts  th a h a v e   c h e st  X - ra y o f   p a ti e n ts   d iag n o se d   w it h   COV ID - 1 9 .   A m o n g   t h e   m o d e l s,  Ef f ici e n tNe tB4   a c h iev e d   b e tt e p e rf o rm a n c e o n   b o th   d a ta se ts  w it h   9 6 %   a n d   9 7 %   o f   a c c u ra c ies .   T h e   e m p iri c a re su lt we re   a lso   e x e m p lar y .   T h is  t y p e   o f   a u to m a t e d   s y ste m   c a n   h e lp   u s f ig h th is  d a n g e ro u s v iru o u t b re a k .     K ey w o r d s :   B io m ed ical  i m a g class if icati o n   C OVI D - 19   Dee p   lear n in g   E f f icien tNetB 4   T r an s f er   lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ah m ed   W asif   R ez a   Dep ar t m en t o f   C o m p u ter   Scie n ce   an d   E n g i n ee r in g   E ast W es t U n i v er s i t y     Dh a k a,   B an g lad es h   E m ail:  w a s i f @ e w u b d . ed u       1.   I NT RO D UCT I O N   C o r o n av ir u s   d is ea s ( C O VI D - 1 9 )   h as  b ec o m e   w o r ld w id o u tb r ea k   an d   i s   an   o n g o i n g   p an d e m ic.   I t   ca n   tr an s m it  f r o m   h u m an   to   h u m a n   w it h o u r e v ea lin g   a n y   s y m p to m s .   T h C OVI D - 1 9 s   ep id e m io lo g ical   f ea t u r es  ar s till   m atter   o f   s cr u tin y .   T h s tati s tics   s o   f ar   i n d icate   th at  ab o u 8 0 o f   C O VI D - 1 9   p atien ts   ar e   n o in   m o r th an   m ild   co n d itio n s   an d   ab o u 2 0 a r in   s e v er co n d itio n s .   B esid es,  ap p r o x i m atel y   1 0 o f   p atien ts   n ee d   m ec h an ical  v en tilato r s .   T h r ate  o f   d ea th   is   ab o u 2 %,  alth o u g h   r esear ch er s   co n s id er   th at  th e   d ea th   r ate  is   0 . 5 lo w er   [ 1 ] .   T o   tr ea th C o v id - a f f ec ted   p atien p r o p er l y ,   it  i s   v ital  to   s ee k   o u w h et h er   a   p atien is   b ein g   af f ec ted .   A   s t an d ar d   p o ly m er ase  ch ai n   r ea ctio n   ( P C R )   test   ca n   b p er f o r m ed   o n   th s a m p le s   o f   th p atie n ts ,   b u it  ca n   b c o s tl y   a n d   ti m e - co n s u m in g .   A n   alter n ati v to   th s tan d ar d   C OVI D - 1 9   d etec tio n   test s   ca n   b id en ti f y in g   th af f ec ted   p atien ts   f r o m   c h est  X - r a y s .   T h C OVI D - 1 9   p atien ts   w h o   ar m o r v u l n er ab le  to   ca s u alt y   ar e   th o s w h o s l u n g s   ar af f ec ted   b y   th v ir u s .   T h er ef o r e,   ex a m in in g   ch est  X - r a y s   ca n   b v er y   ap p r o p r iate  m et h o d   to   m a k p r ed ictio n   ab o u p atien t h at  h a s   C OVI D - 1 9   o r   n o t.  Ho w e v er ,   o n l y   s p ec ialis p h y s icia n s   ca n   d iag n o s C OVI D - 19  b y   e x a m in i n g   th ch e s X - r a y .   T h er is   s ca r cit y   o f   d o cto r s   w h o   ca n   p er f o r m   s u c h   d iag n o s is .   I n   th e s cir cu m s ta n ce s ,   an   au to m ated   an d   in telli g e n t   p r ed ictiv s y s te m   th at  ca n   d iag n o s p atien ts   w it h   C OVI D - 1 9   ca n   b e   v er y   h elp f u l.  Su ch   an   au to m ated   d etec tio n   m ec h a n is m   ca n   r ed u ce   th s tr ess   o f   t h h ea lt h ca r s y s te m   i n   m ea n in g f u l   w a y   b y   id en tify i n g   th af f ec ted   p atien ts   r ap id ly   an d   ac cu r atel y .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       P r e - tr a in ed   d ee p   lea r n in g   mo d els in   a u to ma tic  C OV I D - 1 9   d ia g n o s is   ( A h med   W a s i f R eza )   1541   T h is   s t u d y   h as   ai m ed   at  d ev el o p in g   ap p r o p r iate  p r ed ictiv m o d el s   t h at  ca n   p er f o r m   d iag n o s is   o n   t h e   ch est  X - r a y   i m a g es   o f   s u s p ec ted   p atien ts .   T h d ee p   lear n in g   m o d el s   h a v b ee n   u tili ze d   to   cr ea te  th o s p r ed ictiv m o d els.  T o   d ev elo p   s u ch   p r ed ictiv m o d el s   w it h   h i g h   e f f icie n c y ,   lar g e   d ataset  is   n ee d ed .   Ho w e v er ,   th er ar v er y   li m i ted   n u m b er   o f   ch e s X - r a y   i m ag es  o f   C OVI D - 1 9   af f ec ted   p atien t s   ar av ailab le  p u b licl y .   A cq u ir i n g   lar g e   n u m b er   o f   ap p r o p r iate  im ag e s   is   also   n o f ea s ib le.   I n   th is   s it u a tio n ,   th co n ce p o f   tr an s f er   lear n i n g   ca n   co m to   aid .   T h er ar a   h an d f u o f   d e ep   lear n in g   m o d els  th a ar p r e - tr ain ed   o n   lar g e   d atasets .   T h eir   ac q u ir ed   k n o w led g ca n   b tr an s f er r ed   to   s o lv t h tas k   o f   C OVI D - 1 9   d etec tio n   w it h   s m all   d atasets .   Si n ce   th e y   alr ea d y   k n o w   s o   m a n y   a s p ec ts   o f   v ar io u s   i m a g es,  th o s m o d els  ca n   s lig h tl y   ad j u s t h eir   w ei g h ts   b ased   o n   th X - r a y   i m ag e s   a n d   m a k d ec en p r ed i ctio n s .   T h is   s tu d y   h a s   e x p lo r ed   th ap p licab ilit y   o f   p r e - tr ain ed   d ee p   lear n in g   m o d els  in   th C OVI D - 1 9   d etec tio n   task .   T o   ac h iev th i s   g o a l,  s ix   p o p u lar   p r e - tr ain ed   d ee p   lear n in g   m o d els  h av b ee n   tr ain ed   s p ec ial l y   f o r   th C OVI D - 1 9   r ec o g n itio n   task .   Af ter   t h at,   a   co m p ar ati v a n al y s i s   o f   t h e   m o d els  h as  b ee n   p er f o r m e d .   T h m aj o r   co n tr ib u tio n s   o f   th is   s tu d y   ar e:     i)   Dev elo p in g   au to m atic  d ia g n o s tic  s y s te m   b ased   o n   p r e - tr ain ed   d ee p   lear n in g   m o d els  f o r   C OVI D - 19  d etec tio n   f r o m   ch es X - r a y   i m ag e s ii)  A c h ie v i n g   b etter   p er f o r m a n ce   th a n   ex i s ti n g   wo r k s   in   C OVI D - 19  d etec tio n   tas k   u s i n g   E f f icie n t NetB 4   p r e - tr ain ed   m o d el iii)  I n   th f o llo w i n g   s ec tio n   o f   th i s   ar ticle,   th r elate d   w o r k s   o f   th i s   s t u d y   ar p r esen ted .   T h en ,   th m et h o d s   an d   m ater ials   o f   t h e   v ar io u s   ex p e r i m en ts   h a v b ee n   d escr ib ed   f o llo w ed   b y   t h r esu lts   o f   t h is   s tu d y   w ith   ap p r o p r iate  d is cu s s io n .   I n   th las s e ctio n   o f   th i s   ar ticle,   f e w   co n cl u d in g   r e m ar k s   h av b ee n   m e n tio n ed .         2.   RE L AT E WO RK S   Ma j ee d   et  a l.   [ 2 ]   h av p r o v id ed   an   an al y s i s   o f   1 2   r eg u lar   co n v o lu tio n al  n e u r al  n et w o r k   m o d els  to   h elp   r ad io lo g is ts   d i s cr i m i n ate   ag ain s C OVI D - 1 9   b ased   o n   ch est  X - r a y s ,   an d   al s o   h a v in tr o d u ce d   C N N   m o d el  th at   co u ld   g iv e f f icie n f i n al  p r ed ictio n   r es u lts .   T h p r o p o s ed   m o d el  h as  b ee n   d esig n ed   to   p er f o r m   r eliab le  d iag n o s tic s   f o r   C O VI v s .   No r m al  c lass if ica t io n   an d   C O VI v s .   No r m al  v s .   P n e u m o n ia  class i f icatio n .   T h eir   class i f ier   h as  p r o v id ed   9 8 . 0 8 ac cu r ac y   f o r   b in ar y   clas s i f icatio n   an d   8 7 . 0 2 ac cu r ac y   f o r   m u lticla s s   cla s s i f ica tio n .   T h Dar k Net  h a s   b ee n   p r o p o s ed   in   t h is   s tu d y   [ 3 ]   as  clas s i f ier   f o r   C OVI D - 19  d iag n o s i s .   I n   an o t h er   s t u d y   [ 4 ] ,   th ex p er i m e n tal  f i n d in g s   h a v s h o w n   t h ab ilit y   o f   th De T r aC  ( Dec o m p o s e,   T r an s f er ,   an d   C o m p o s e)   m o d el  to   id en tify   C O VI D - 1 9   ca s e s   f r o m   lar g d ata  co llectio n   o f   i m a g es  o b tain ed   f r o m   h o s p itals   ar o u n d   t h wo r ld .   Hig h   ac c u r ac y   h as   b ee n   o b tain ed   b y   DeT r aC  f o r   t h id en t if icatio n   o f   C OVI D - 1 9   f r o m   ch e s X - r a y s .   C o h e n   et   a l.   [ 5 ]   h av e   g at h er ed   m ed ical   i m ag e s   f r o m   w eb s ites   an d   p u b licatio n s ,   an d   th d ataset  c u r r en tl y   co n tai n s   1 2 3   f r o n t - v i e w   X - r a y s   o f   C OVI D - 1 9   p ati en ts .   T h au th o r s   o f   f e w   w o r k s   [6 ] [ 7]   h av u s ed   p r e - tr ain ed   d ee p   lear n in g   clas s if ier s   f o r   C OVI D - 1 9   d iag n o s is .   I n   an o t h er   w o r k ,   it  h as  b ee n   p r o v ed   th at  th au to m ated   s y s te m   ca n   d etec p n eu m o n ia  f r o m   c h est  X - r a y s   w ith   h i g h er   ac cu r ac y   in   les s   ti m t h an   h u m a n   e x p er ts   [ 8 ] .   T h au th o r s   o f   th e s w o r k s   [9 ] - [ 14]   h av u s ed   v ar io u s   d ee p   lear n i n g   m et h o d s   f o r   th au to m atic  C OVI D - 1 9   d iag n o s i s   tas k .   An o th er   ar ticle  [ 1 5 ]   h as  in tr o d u ce d   f r am e w o r k   f o cu s ed   o n   C ap s u le  Net w o r k s   w h ic h   h a s   b ee n   n a m ed   C OV I D - C A P S,  w h ic h   ca n   m a n ag e   s m al d atasets   th a t   ar o f   m aj o r   s ig n i f ica n ce .   C O VI D - C A P S   h a s   r ea ch ed   a n   ac cu r ac y   o f   9 5 . 7 w it h   m u ch   s m a ller   n u m b er   o f   tr ain i n g   p ar a m eter s .   A   f a s ter   R - C NN  m o d el  h as a l s o   b ee n   i n tr o d u ce d   to   d etec t COVI D - 1 9   p atien ts   f r o m   ch e s t   X - r a y   i m a g es  [ 1 6 ] .   I n   T a b le   1   ( s ee   ap p en d ix ) ,   s u m m a r y   o f   f e w   s tate - of - t h e - ar a u to m ated   w o r k s   o n   C OVI D - 1 9   d iag n o s i s   h a s   b ee n   p r esen ted .         3.   M E T H O DS A ND  M AT E RI AL S   T h is   s tu d y   ai m s   at  d etec tin g   C OVI D - 1 9   f r o m   b io m ed ical   i m ag e s   s o   th at  ea r l y   an d   ap p r o p r iate  tr ea t m e n o f   t h a f f ec ted   p ati en ts   is   p o s s ib le.   T h o v er all  w o r k i n g   p r o ce d u r o f   t h i s   s t u d y   i s   p r ese n ted   i n   Fig u r 1 .   I n   t h i s   s ec tio n   o f   t h ar ticle,   th e   m e th o d s   a n d   t h e   m ater ial s   o f   th is   s t u d y   ar p r esen ted .   F ir s t,  t h d ataset  th at  h as  b ee n   u s ed   is   d escr ib ed .   A f ter   t h at,   th m et h o d s   o f   id en tify i n g   C OVI D - 1 9   f r o m   X - r a y   i m a g es   ar p r esen ted .       3 . 1 .    Da t a s et   T h er ar s ev er al  p u b licl y   a v ailab le  d ataset s   o f   C OVI D - 1 9   X - r a y   i m a g e s .   A   C OVI D - 1 9   X - r a y   i m a g d atab ase  h a s   b ee n   d e v elo p ed   b y   C o h e n   et  a l.   [ 5 ]   an d   an o th er   o n is   av aila b le  at  th Ka g g le     r ep o s ito r y   [ 2 1 ] .   Af ter   co llecti n g   th X - r a y   i m ag e s   f r o m   t h ese  t w o   s o u r ce s ,   b o t h   d ataset s   ar co m b in ed   a n d   r ef in ed   u s in g   d o m ai n   k n o w le d g e.   B o th   d atasets   h av th r ee   class es  o f   C OVI D - 1 9 ,   No r m al,   an d   P n eu m o n ia .   Data s et - 1   co n tai n s   to tal  o f   1 , 7 8 0   X - r a y   i m ag e s   w it h   4 6 0   i m a g es  o f   C OVI D - 1 9   in f ec te d ,   6 6 2   n o r m al,   a n d   6 6 5   P n eu m o n ia.   Data s et - 2   co n tai n s   to tal  o f   2 , 9 9 0   X - r ay   i m ag e s ,   in cl u d i n g   9 9 0   C OVI D - 19 - i n f ec ted   i m a g es,   1 , 0 0 0   No r m al  an d   1 , 0 0 0   P n eu m o n ia  i m a g es.     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n 2 0 2 1   :   1 5 4 0   -   1 5 4 7   1542       Fig u r 1 .   P r o p o s ed   m eth o d s   o f   th is   s t u d y       3 . 2 .     Da t a   pre - pro ce s s ing   a nd   i m a g a ug m ent a t io n   T o   tr ain   m ac h in e   lear n i n g   cl ass i f ier ,   t h p ix e l - v al u r ep r es en tatio n   o f   i m a g e s   is   r eq u ir ed .   T h p ix el   v alu e s   o f   a n   i m a g ar b et wee n   0   an d   2 5 5 .   T h p ix el  v al u e - w is r ep r esen tatio n   o f   t h e   i m a g es  i s   r escaled   b et w ee n   0   an d   1   s o   t h at  t h m ac h in lear n i n g   m o d el  ca n   w o r k   p r o p er l y   o n   t h i n p u t s .   W h av u s ed   t h is   n o r m aliza t io n   f u n ctio n   i n   b o th   tes an d   tr ai n i n g   d atasets .   T h i m ag e s   ca p tu r ed   b y   a   ca m er h a v v ar io u s izes.  B u th d ee p   lear n in g   ar ch itect u r s h o u ld   b p r o v id ed   w ith   f i x ed - s ized   i m a g es.  T h er ef o r e,   w h a v r esized   all  th i m ag e s   to   2 9 9 × 2 9 9   b ef o r t r ain in g .     I m ag a u g m e n tatio n   is   p o w er f u m et h o d   in   b u ild i n g   c o n v o l u tio n al  n eu r al  n et w o r k s   th at  ca n   in cr ea s th s ize  o f   th tr ai n i n g   s et  w it h o u ac q u ir i n g   n e w   i m ag e s .   A s   p ar o f   th d ata  au g m en tatio n ,   w h a v e   r o tated ,   cr o p p ed ,   an d   f lip p ed   th i m a g es  to   f it  t h m o d el   as  n ee d ed .   B y   f lip p in g   th e   i m ag e   h o r izo n tal l y ,   v er ticall y ,   an d   r o tati n g   w c an   co m p letel y   r ea r r an g t h p ix els.  T h Ker as  d ee p   lear n in g   n e u r al  n et w o r k   lib r ar y   p r o v id es  th ca p ab ilit y   to   f it  m o d els  u s i n g   i m a g d ata  au g m en ta tio n   v ia  th I m ag e Data Ge n er ato r   class .   I m ag d ata  au g m e n tatio n   is   u s ed   to   ex p an d   th tr ain in g   d ataset  to   im p r o v th p er f o r m an ce   an d   ab ilit y   o f   th m o d el  to   g e n er alize .     3 . 3 .     P re - t ra ined  m o dels   T h b ig g est  p r o b le m   in   t h an al y s is   o f   m ed ical  d ata  is   t h lack   o f   ad eq u ate  d atasets .   T h d ee p   lear n in g   class if ier s   n ee d   lar g am o u n o f   d ata  to   b e   tr ain ed   o n .   C o llectin g   m o r d ata  f o r   t h d o m ai n - s p ec i f ic   task s   a n d   an n o tati n g   t h e m   is   c o s tl y   a n d   ti m e - co n s u m i n g .   T o   o v er co m t h li m ita tio n   o f   h a v in g   a   lar g e   d ataset  in   th tas k   o f   C OVI D - 1 9   d etec tio n ,   v ar io u s   d ee p   tr an s f er   lear n in g   m o d els  h a v b ee n   em p lo y ed   in   th is   s t u d y .   T h b ig g est  ad v an ta g o f   u s in g   th tr an s f er   lear n in g   m eth o d   is   th at  it  ca n   tr ai n   d ata  w it h   s m aller   d ataset s   an d   r eq u ir es  less   tr ain i n g   ti m e.   T r an s f er   lear n in g   is   r eg u lar l y   u s ed   in   d ee p   lear n in g   a n d   th w is d o m   o b tain ed   b y   th p r e - tr ai n ed   m o d el  is   co n v e y ed   to   t h cla s s i f ier   to   b tr ain ed .   Si x   p r e - tr ai n ed   m o d els   h a v b ee n   u s ed   to   d etec C OVI D - 19  f r o m   X - r a y s   a n d   t h o s ar VGG1 6 ,   Den s eNe t2 0 1 ,   I n ce p tio n V3 ,   I n ce p tio n R e s NetV2 ,   Xce p tio n ,   an d   E f f icie n tNet .   T h o s m o d els  h a v b ee n   p r e - tr ain ed   o n   th I m a g eNe d ataset  th at  h a s   1 0 0 0   class es   o f   i m a g es.  Fo r   b ein g   tr ain ed   o n   s u c h   a   h u g d ata s et,   th e   lear n ed   w ei g h ts   o f   t h o s m o d els  ca n   b lev er ag ed   to   class if y   t h i m a g es o f   th b io m ed ical  d o m a in .   T h f ir s ar ch itectu r th at  h as   b ee n   u s ed   f o r   C OVI D - 1 9   d e tectio n   is   VGG1 6 .   I is   a   m o d el  o f   th d ee p   n eu r al  n et w o r k .   T h i s   n et w o r k   h a s   b ee n   i n tr o d u ce d   b y   Si m o n y a n   a n d   Z is s er m a n   [ 2 2 ] .   VGG1 6   s tar ts   w it h   t w o   co n v o l u tio n al   la y er s .   A f t er   th at,   t h er is   m a x - p o o li n g   la y er   i n   t h n et w o r k .   I i s   f o llo w ed   b y   t w o   co n v o lu tio n al  la y er s   a n d   m ax - p o o lin g   la y er .   Af ter   t h at,   t h er ar th r ee   co n v o l u tio n al  l a y er s   f o llo w ed   b y   a   p o o lin g   la y e r   in   th n et w o r k .   A g ai n ,   th er ar th r ee   co n v o lu tio n a la y er s   in   t h ar ch itec tu r f o llo w ed   b y   m ax - p o o lin g   la y er   w h ich   r ep e ats  t w o   ti m es.  T h ar ch itectu r en d s   w it h   t h r ee   d en s la y er s .   T h last   o f   th e s e   d en s la y er s   is   t h o u tp u t la y e r .     An o th er   ar ch i tect u r e   t h at  h a s   b ee n   u s ed   is   I n ce p tio n V3   [ 2 3 ]   w h ic h   is   an   e x te n d ed   n et w o r k   o f   Go o g leNe t.  I h a s   ac h iev ed   s tr o n g   c lass if ica tio n   e f f icie n c y   u s i n g   tr an s f er   lear n in g   i n   s ev er al  b io m ed ical   ap p licatio n s .   T h Xce p tio n   [ 2 4 ]   ar ch itectu r is   lin ea r   s tac k   o f   d ep th w i s e   s ep ar ab le  co n v o lu tio n   la y er s   w it h   r esid u al  co n n ec t io n s   w h ic h   im p l y   t h at  s p atial  co n v o l u tio n   an d   cr o s s   ch an n el  co n v o lu tio n   is   co m p letel y   s ep ar ated .   Fo llo w i n g   Go o g L eNe t,  th I n ce p tio n V3   m o d el  h as   b ee n   p r o p o s ed   to   co n ca ten ate   s e v er al   co n v o lu tio n al  f ilter s   o f   v ar io u s   s izes  i n to   n e w   f il ter .   Su ch   d esig n   m i n i m izes  t h n u m b er   o f   p ar am eter s   to   b lear n ed ,   an d   th co m p u tat i o n al  co m p lex it y   is   t h er eb y   r ed u ce d .   I is   4 8 - la y er   lar g co n v o l u tio n al  n eu r al   n et w o r k .   I n ce p tio n V3   is   co n v o lu tio n al  n e u r al  n et w o r k   d esi g n   o f   th I n ce p tio n   f a m il y .   Xc ep tio n   ar ch itectu r e   f o cu s ed   en tire l y   o n   s ep ar ab le  co n v o lu tio n al  la y er s   i n   d ep th .   Xce p tio n   n et w o r k   h as  b ee n   b u ild   b ased   o n   th I n ce p tio n   n et w o r k .   I n   Xce p ti o n ,   th co n v o lu tio n al  la y er s   o f   in ce p tio n   b lo ck s   o f   t h I n ce p tio n   n et w o r k   h a v Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       P r e - tr a in ed   d ee p   lea r n in g   mo d els in   a u to ma tic  C OV I D - 1 9   d ia g n o s is   ( A h med   W a s i f R eza )   1543   b ee n   r ep lace d   w it h   s ep ar ab le  co n v o lu tio n al  la y er s   th at  g iv e   th s a m f u n ctio n al ities   as  c o n v o l u tio n al  la y er s   b u w ith   le s s   co m p u tatio n   an d   w it h   m o r e f f ic ien c y .   I is   an   ef f ic ien ar c h itect u r th at  d ep en d s   o n   d ep th w i s e   s ep ar ab le  co n v o lu tio n   an d   s h o r tc u ts   b et w ee n   co n v o l u tio n   b lo ck s   as i n   R e s Net.   Den s eNe t2 0 1   [ 2 5 ]   is   d ee p   co n v o lu t io n al  n e u r al  n e t w o r k   th at  is   2 0 1   la y er s   d ee p .   Den s eNe t   co n tain s   f e w   d en s b lo ck s .   E ac h   d en s b lo ck   h as  f e w   c o n v o l u tio n al  la y er s .   W ith i n   d en s b lo ck ,   th e   co n v o lu tio n al  la y er s   ar co n n ec ted   to   ea ch   p r ev io u s   la y e r .   T h d en s b lo ck s   ar also   co n n ec ted   to   ea ch   p r ev io u s   d en s b lo ck .   A   d ee p er   d en s b lo ck   n o o n l y   p r o ce s s es  t h i n f o r m atio n   r ec eiv ed   f r o m   t h p r ev io u s   la y er s   b u also   co n s id er s   th o u tp u ts   o f   all  p r ev io u s   b lo ck s .   Den s eNe t s   h a v s o m p er s u asi v ad v a n tag e s :   th e y   m itig a te  t h v a n is h i n g   g r ad ien i s s u e,   p r o m o te  th p r o p ag atio n   o f   f ea t u r es,  f ac i litate  th e   r eu s o f   f ea t u r es,  an d   s i g n i f ica n tl y   m i n i m ize  t h n u m b er   o f   p ar a m e ter s .   T h f i f t h   d ee p   lear n i n g   a r ch itect u r th at   h a s   b ee n   e m p lo y ed   in   th is   w o r k   is   I n ce p tio n R e s NetV2   [ 2 6 ] .   I t   is   co n v o lu tio n a n eu r al  ar ch itectu r th at  b u ild s   o n   th ar ch itect u r f a m il y   o f   I n ce p tio n   b u in te g r ates   r esid u al  co n n ec tio n s ,   r ep lacin g   t h I n ce p tio n   ar ch itect u r e's  f ilter   co n ca ten a tio n   le v el.   I h as   1 6 4   la y er s .   T h is   n et w o r k   h as  b ee n   d ev el o p ed   b ased   o n   th e   I n ce p tio n   an d   t h r esid u al  c o n n ec tio n .   Mu lt ip le - s ized   co n v o l u tio n a f i lter s   ar co m b i n ed   w ith   r es id u al   co n n ec tio n s   i n   th I n ce p tio n - R es n et  b lo ck .     E ac h   o f   t h C NN  ar c h itect u r es  h a s   s o m u n iq u ch ar ac ter i s tics .   E f f icie n tNe ts   ar f a m il y   o f   i m a g e   class i f icatio n   m o d els   th at   ac h iev ed   s tate - of - t h e - ar ac c u r a c y   y e b ein g   an   o r d er - of - m a g n i tu d s m al ler   an d   f aster   th a n   o th er   d ee p   lear n in g   m o d els  [ 2 7 ] .   T h c o r e   id ea   o f   E f f ic ien t Net  ar ch itect u r is   ab o u s tr ateg ic all y   s ca lin g   d ee p   n eu r al  n et w o r k s .   T h s ca lin g   m et h o d   in tr o d u ce d   in   E f f icien tNets  i s   n a m ed   co m p o u n d   s ca li n g   an d   s u g g e s ts   t h at  in s tead   o f   s c alin g   o n l y   o n m o d el  attr ib u te   o u o f   d ep th ,   w id th ,   an d   r eso lu tio n s tr ateg ica ll y   s ca lin g   all  t h r ee   o f   t h e m   to g et h er   d eliv er s   b etter   r esu lts .   Mo d el  s ca lin g   is   ab o u s ca lin g   t h ex is ti n g   m o d el  i n   ter m s   o f   m o d el  d ep th ,   m o d el  w id t h ,   an d   les s   p o p u lar   in p u i m a g r eso lu t io n   to   i m p r o v t h p er f o r m a n ce   o f   th m o d el.   Scalin g   u p   an y   d i m e n s io n   o f   n et w o r k   w id th ,   d ep th ,   o r   r eso lu tio n   i m p r o v e s   ac cu r ac y ,   b u th e   ac cu r ac y   g a in   d i m in i s h es  f o r   b ig g er   m o d els.  I is   cr itical  to   b alan ce   all  d im e n s io n s   o f   n et w o r k   w id t h ,   d ep th ,   an d   r eso lu tio n   d u r in g   s ca li n g .   E f f icien tNet  is   o n o f   th m o s t e f f icien t a r ch itect u r es  f o r   i m ag class if icatio n .         4.   E XP E R I M E NT A L   SE T UP   T h is   w o r k   ai m s   at  d etec ti n g   C OVI D - 1 9   f r o m   x - r a y s .   Fo r   d ev elo p in g   t h tr a n s f er   lear n i n g   m o d els,   Ker as  o n   to p   o f   T en s o r Flo w - a   p y th o n   lib r ar y   h a s   b ee n   u tili z ed .   T h m o d els  h a v b ee n   tr ai n ed   o n   a   co m p u ter   h av i n g   I n te C o r i5   7 2 0 0 C P an d   GB   R A M ,   w it h   W in d o w s   1 0   o p er atin g   s y s te m .   T h d atasets   h av e   b ee n   s p lit  i n to   th r ee   s et s - tr ain ,   v alid atio n ,   a n d   test   s e ts .   T h tr ain in g ,   v alid atio n ,   a n d   test   s e ts   h a v 7 5 %,  1 0 %,   an d   1 5 X - r a y   i m a g es,  r esp ec tiv el y .   Du r i n g   tr ai n in g   th m o d el s ,   af ter   ea ch   ep o ch ,   th e   m o d els  h a v b ee n   v alid ated   w it h   v alid atio n   s et.   Fo r   h av in g   th r ee   clas s e s   ( No r m al,   P n eu m o n ia,   an d   C OVI D - 1 9 )   in   th d atasets ,   th clas s if icatio n   p r o b lem   o f   th is   s t u d y   is   m u lti - clas s   class i f icat io n   p r o b le m .   T h er ef o r e,   a   ca teg o r ical  cr o s s - en tr o p y   lo s s   f u n ctio n   h as  b ee n   u s ed .   A d d itio n all y ,   ad a m   o p ti m izer   h a s   b ee n   u s ed   f o r   all  t h e   m o d el s   d u r in g   tr ain i n g .   Af ter   th co m p letio n   o f   tr ain in g ,   th e   m o d els  h a v b ee n   test ed   ag ai n s t h test   s et,   an d   b ased   o n   f e w   ev al u atio n   m etr i cs,  th p er f o r m a n ce   o f   t h tr ai n ed   m o d els is   r ep o r ted .       4 . 1 .     E v a lua t i o m et rics   T h e   d e v e l o p e d   m o d e l s   h a v e   b e e n   e v a l u a t e d   u s i n g   a   m u l t i - c l a s s   c o n f u s i o n   m a t r i x .   P r e c i s i o n ,   r e c a l l ,     f1 - s c o r e ,   a c c u r a c y ,   a n d   s p e c i f i c i t y   h a v e   b e e n   u s e d   t o   e v a l u a t e   t h e   m o d e l s .   P r e c i s i o n   i s   t h e   p o r t i o n   o f   t h e   c o r r e c t   p r e d i c t i o n s   m a d e   b y   t h e   c l a s s i f i e r   w i t h   r e s p e c t   t o   t o t a l   p r e d i c t e d   c l a s s e s .   T h e   r e c a l l   i s   t h e   p o r t i o n   o f   t h e   c o r r e c t   p r e d i c t i o n s   m a d e   b y   t h e   c l a s s i f i e r   r e g a r d i n g   t h e   t o t a l   e x i s t i n g   a c c u r a t e   c l a s s e s .   F 1 - s c o r e   i s   t h e   h a r m o n i c   m e a n   o f   p r e c i s i o n   a n d   r e c a l l   i . e . ,   b o t h   p r e c i s i o n   a n d   r e c a l l   a r e   g i v e n   e q u a l   i m p o r t a n c e   w h i l e   e v a l u a t i n g   t h e   p e r f o r m a n c e   o f   a   c l a s s i f i e r .   A c c u r a c y   i s   k n o w n   a s   t h e   o v e r a l l   r e c o g n i t i o n   r a t e .   A n d   S p e c i f i c i t y   i s   t h e   t r u e   n e g a t i v e   r a t e .   I f       ,   a n d     a r e   t r u e   p o s i t i v e ,   t r u e   n e g a t i v e ,   f a l s e   p o s i t i v e ,   f a l s e   n e g a t i v e ,   t h e   t o t a l   n u m b e r   o f   p o s i t i v e   i n s t a n c e s ,   a n d   t h e   t o t a l   n u m b e r   o f   n e g a t i v e   i n s t a n c e s ,   r e s p e c t i v e l y ,   t h e n     pr e c isio n = TP TP + FP   ( 1 )     e c a l l = TP P   ( 2 )     f1 _ s c or e = 2 × p r ec i s i o n × r eca ll p r ec i s i o n + r ecal l   ( 3 )     a c c ura c y = TP + TN P + N   ( 4 )     s pe c ifi c ity = TN N   ( 5 )   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n 2 0 2 1   :   1 5 4 0   -   1 5 4 7   1544   5.   RE SU L T S AN D I SCU SS I O N   T h r esu lts   o f   v ar io u s   ex p er i m en ts   o f   th is   s t u d y   h a v b ee n   o u ts ta n d i n g .   B etter   p er f o r m i n g   au to m ated   m o d el s   th at  ca n   d etec C OVI D - 1 9   p atien f r o m   an   x - r ay   i m a g ca n   b v er y   h elp f u to   f ig h th o n g o i n g   p an d e m ic.   T h s ix   p r e - tr ai n ed   d ee p   lear n in g   m o d els  h av d e m o n s tr ated   o v er all  g o o d   r esu lts   in   t h d etec tio n   task .   I n   t h i s   s ec tio n   o f   th ar ti cle,   th r esu l ts   o f   t h i s   s t u d y   w i th   v ar io u s   asp ec ts   ar p r esen te d .     A ll  t h m o d els  h av b ee n   tr ain ed   f o r   2 0   ep o ch s   an d   th ei r   tr ain in g   an d   v alid atio n   ac cu r ac ies  ar e   o b s er v ed   to   g et  to   k n o w   w h eth er   th lear n i n g   o f   th m o d els  h as  b ee n   ap p r o p r iate  o r   n o t.  I n   Fig u r 2 ,   co m p ar is o n   o f   tr ain in g   ac cu r ac ies  o f   th s ix   m o d el s   f o r   b o th   d ataset s   is   p r esen ted .   T h co m p ar is o n   o f   v alid atio n   ac c u r ac ies  is   also   g iv e n   i n   th f ig u r e.   Fro m   th e   f ig u r e,   it  is   o b s er v ed   th at  f o r   th f ir s d ataset,   Xce p tio n   an d   E f f ec ie n tNe tB 4   m o d els  h a v d e m o n s tr ated   b etter   ac cu r ac ies  th a n   o th er   m o d els.  T h Xce p ti o n   h as  tak e n   f ir s p lace   in   ter m s   o f   tr ain in g   ac cu r ac y   w h ile  th E f f ec ien tNetB 4   h as  tak e n   th f ir s p lace   o f   v alid atio n   ac c u r ac y .   T h E f f e cien tNetB 4   m o d el  h as  co n t in u ed   its   b etter   p er f o r m a n ce   f o r   th s ec o n d   d ataset   ac h iev in g   f ir s p lace   f o r   b o th   tr ain in g   an d   v alid ati o n   ac cu r ac y   w h ile  t h I n ce p tio n V3   m o d el  h as  ac h iev ed   s ec o n d   p lace   in   b o th   e v al u atio n   m e tr ics.  T h o th er   m o d els  h av s h o w n   g o o d   p er f o r m a n ce s   b u n o as  g o o d   as   th d escr ib ed   o n es.  I n   Fi g u r 3 ,   th co m p ar is o n   o f   lo s s es  f o r   th m o d els  is   p r ese n ted .   J u s li k tr ai n in g   a n d   v alid atio n   ac c u r ac ies,  E f f ec ie n tNetB 4 ,   Xce p tio n ,   an d   I n ce p tio n V3   m o d els  h av b ee n   th to p   p er f o r m er s   i n   ter m s   o f   tr ain in g   a n d   v alid atio n   lo s s e s .   O n   th o t h er   h a n d ,   V GG1 6   an d   I n ce p tio n R e s NetV 2   m o d els h a v b ee n   w o r s in   ter m s   o f   tr ain i n g   lo s s   f o r   b o th   d atasets .   A n d   f o r   v alid atio n   lo s s ,   Den s e Net2 0 1 ,   I n ce p tio n R esNetV2 ,   an d   VGG1 6   h av b ee n   p o o r   p er f o r m er s   ac r o s s   t h d atasets .     T r ain in g   ti m e   is   a n   i m p o r tan asp ec o f   tr ain i n g   d ee p   lear n in g   m o d els.  T h r ea s o n   f o r   u s i n g   t h e   tr an s f er   lear n i n g   m o d el s   i s   to   r ed u ce   th co s o f   tr ain i n g .   T h tr ai n in g   t i m e   o f   t h m o d el s   u s ed   in   th is   s t u d y   h as  b ee n   o b s er v ed .   I n   T ab le  2 ,   th av er a g late n c y   p er   s tep   o f   th m o d els  o n   t w o   d ata s ets   is   g i v e n .   Fro m   t h e   tab le,   it  is   ap p ar en t h at  VGG 1 6 ,   Den s eNe t2 0 1 ,   an d   E f f ec ie n tNetB 4   h a v ta k e n   les s er   ti m to   tr ain   t h a n   o th er   m o d el s .   Xce p tio n   h as  ta k en   al m o s 1 5   s ec o n d s   p er   s tep   t o   tr ain   w h ich   is   t h s lo w est  a m o n g   th s i x   p r e - tr ain ed   m o d els.              Fig u r 2 .   T r ain in g   an d   v a lid ati o n   ac cu r ac y   co m p ar is o n   f o r   t w o   d atasets     Fig u r 3 .   T r ain in g   an d   v a lid ati o n   lo s s   co m p ar is o n   f o r   t w o   d ataset s       T ab le  2 .   T r ain in g   ti m co m p ar is o n   o f   t h d ee p   lear n in g   m o d els   A r c h i t e c t u r e   L a t e n c y   P e r   S t e p   ( mi l l i se c o n d )   Ef f e c i e n t N e t B 4   6 5 8     I n c e p t i o n V 3   9 , 0 0 0   V g g 1 6   5 5 4   I n c e p t i o n R e sN e t V 2   8 , 0 0 0   D e n se N e t 2 0 1   5 9 9   X c e p t i o n   1 5 , 0 0 0       I n   T ab le  3 ,   th class - w i s p er f o r m a n ce s   o f   t h m o d els  ac r o s s   t w o   d ata s ets  ar p r ese n ted .   P r ec is io n   an d   r ec all  o f   th e   clas s i f ier s   h a v also   b ee n   p r esen ted .   B ec au s j u s k n o w i n g   t h ac c u r ac i es  o f   th c lass if ier s   f o r   th class i f icatio n   tas k s   is   n o g o o d   en o u g h   in   th m ed ical  d o m ai n s .   I n   th i s   ca s e,   id en t if y in g   C OVI D - 19  p atien p r ec is el y   i s   m o r i m p o r tan th an   id en tify i n g   n o r m al  p atie n ac cu r atel y .   T h er ef o r e,   alo n g   w ith   ac cu r ac ies,  o t h er   ev al u atio n   m etr ics   li k p r ec is io n ,   r ec all ,   an d   s p ec i f icit y   ar al s o   n e e d ed   to   p r o v th e   ap p licab ilit y   o f   clas s i f ier   i n   r ea l - w o r ld   en v ir o n m e n t.  Mo r eo v er ,   class - w is e   p er f o r m a n c es  ar p r esen ted   in   T ab le  3   to   g iv m o r clar it y   o f   th m o d els   ap p r o p r iaten ess .   Fro m   t h tab le,   it  ca n   b s ee n   th at  w h e n   it  co m e s   to   p er f o r m in g   b ett er   o n   th test   s et  f o r   C OVI D - 1 9   d etec tio n ,   th E f f ec ien t NetB 4   m o d el  h as  ac h ie v ed   b etter   p er f o r m a n ce s   f o r   b o th   d atase ts .   I h as  ac h ie v ed   0 . 9 6   an d   0 . 9 7   ac cu r ac ies  f o r   t w o   d atasets ,   r esp ec ti v el y .   A d d itio n al l y ,   f o r   t h cla s s   C OVI D - 1 9 ,   it  h a s   d e m o n s tr ated   0 . 9 9   o f   f 1 - s co r o n   b o th   test   s ets.   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       P r e - tr a in ed   d ee p   lea r n in g   mo d els in   a u to ma tic  C OV I D - 1 9   d ia g n o s is   ( A h med   W a s i f R eza )   1545   E f f ec ien t NetB 4   h as  also   y iel d ed   0 . 9 9   o f   p r ec is io n   o n   th f ir s d ataset  an d   1 . 0 0   o f   p r ec i s io n   o n   th s ec o n d   d ataset.   T h is   m o d el  h as  a ls o   d em o n s tr ated   t h h i g h est  s p ec if icit y   o f   0 . 9 5   o n   th f ir s d at aset  an d   t h h i g h est   s p ec if icit y   o f   0 . 9 6   o n   th s e co n d   d ataset  f o r   th C OVI D - 1 9   class .   Ho w e v er ,   am o n g   th s ix   m o d el s ,   f o r   d etec tin g   C OVI D - 1 9 ,   th Xce p tio n   m o d el  h as  th h i g h es r ec all  o f   1 . 0 0   an d   0 . 9 9   f o r   th t w o   d atasets ,   r esp ec tiv el y .   Fro m   T ab le  3 ,   it  is   also   ap p ar en th at  t h o th er   m o d els  ex ce p E f f ec ie n tNetB 4   h a v also   d em o n s tr ated   g o o d   p er f o r m a n ce s .   T h o v er all  g o o d   r esu lts   also   in d icate   th u s ab ilit y   o f   s u c h   d ee p   lear n in g   m o d el s   in   d etec ti n g   C OVI D - 1 9   p atien ts   f r o m   co r r esp o n d in g   ch est  x - r a y   i m ag e s .         T ab le  3 .   C lass - w i s p e r f o r m a n ce s   o f   th d ee p   lear n i n g   m o d el s   D a t a se t   M o d e l   L a b e l   R e c a l l   S p e c i f i c i t y   P r e c i si o n   F1 - S c o r e   A c c u r a c y   D a t a se t   1   Ef f e c i e n t N e t B 4   C O V I D - 19   0 . 9 9   0 . 9 5   0 . 9 9   0 . 9 9   0 . 9 6   N o r mal   1 . 0 0   0 . 9 5   0 . 9 1   0 . 9 5   P n e u mo n i a   0 . 9 0   0 . 9 9   1 . 0 0   0 . 9 5   I n c e p t i o n V 3   C O V I D - 19   0 . 9 8   0 . 9 4   0 . 9 9   0 . 9 8   0 . 9 5   N o r mal   1 . 0 0   0 . 9 2   0 . 8 9   0 . 9 4   P n e u mo n i a   0 . 8 8   0 . 9 8   0 . 9 9   0 . 9 3   V g g 1 6   C O V I D - 19   0 . 9 9   0 . 9 2   0 . 9 5   0 . 9 7   0 . 9 4   N o r mal   0 . 9 1   0 . 9 6   0 . 9 5   0 . 9 3   P n e u mo n i a   0 . 9 3   0 . 9 4   0 . 9 1   0 . 9 2   I n c e p t i o n R e sN e t V 2   C O V I D - 19   0 . 9 4   0 . 9 3   0 . 9 9   0 . 9 6   0 . 9 3   N o r mal   0 . 9 5   0 . 9 2   0 . 9 1   0 . 9 3   P n e u mo n i a   0 . 9 1   0 . 9 4   0 . 9 2   0 . 9 2   D e n se N e t 2 0 1   C O V I D - 19   0 . 9 7   0 . 9 5   0 . 9 9   0 . 9 8   0 . 9 5   N o r mal   0 . 9 6   0 . 9 4   0 . 9 3   0 . 9 4   P n e u mo n i a   0 . 9 2   0 . 9 6   0 . 9 4   0 . 9 3   X c e p t i o n   C O V I D - 19   1 . 0 0   0 . 9 5   0 . 9 4   0 . 9 7   0 . 9 6   N o r mal   0 . 9 8   0 . 9 5   0 . 9 6   0 . 9 7   P n e u mo n i a   0 . 9 2   0 . 9 8   0 . 9 8   0 . 9 5   D a t a se t   2   Ef f e c i e n t N e t B 4   C O V I D - 19   0 . 9 8   0 . 9 6   1 . 0 0   0 . 9 9   0 . 9 7   N o r mal   0 . 9 9   0 . 9 6   0 . 9 3   0 . 9 6   P n e u mo n i a   0 . 9 4   0 . 9 8   0 . 9 7   0 . 9 6   I n c e p t i o n V 3   C O V I D - 19   0 . 9 9   0 . 9 5   0 . 9 9   0 . 9 9   0 . 9 6   N o r mal   0 . 9 8   0 . 9 4   0 . 9 1   0 . 9 5   P n e u mo n i a   0 . 9 0   0 . 9 8   0 . 9 7   0 . 9 4   V g g 1 6   C O V I D - 19   0 . 9 9   0 . 9 3   0 . 9 7   0 . 9 8   0 . 9 5   N o r mal   0 . 9 2   0 . 9 6   0 . 9 4   0 . 9 3   P n e u mo n i a   0 . 9 4   0 . 9 6   0 . 9 4   0 . 9 4   I n c e p t i o n R e sN e t V 2   C O V I D - 19   0 . 9 6   0 . 9 3   0 . 9 9   0 . 9 8   0 . 9 4   N o r mal   0 . 9 5   0 . 9 4   0 . 9 0   0 . 9 2   P n e u mo n i a   0 . 9 0   0 . 9 6   0 . 9 3   0 . 9 1   D e n se N e t 2 0 1   C O V I D - 19   0 . 9 7   0 . 9 4   0 . 9 9   0 . 9 8   0 . 9 5   N o r mal   0 . 9 5   0 . 9 4   0 . 9 2   0 . 9 4   P n e u mo n i a   0 . 9 2   0 . 9 6   0 . 9 2   0 . 9 2   X c e p t i o n   C O V I D - 19   0 . 9 9   0 . 9 2   0 . 9 9   0 . 9 9   0 . 9 4   N o r mal   0 . 9 8   0 . 9 2   0 . 8 6   0 . 9 3   P n e u mo n i a   0 . 8 4   0 . 9 8   0 . 9 8   0 . 9 1       E f f ec ien t NetB 4   h as  b ee n   p r o v ed   to   b e   th m o s o u ts ta n d i n g   p er f o r m er   in   t h task   o f   au to m at ic  C OVI D - 1 9   d iag n o s is   f r o m   c h est  X - r a y s .   T h co m p ar is o n   w it h   th p er f o r m a n ce s   o f   o th er   d ee p   lea r n in g   m o d el s   h as  al s o   p r o v ed   th s u p er io r it y   o f   E f f ec ie n tNe tB 4   in   t h is   b io m ed ical  i m a g c lass i f icatio n .   Usi n g   E f f ec ien t NetB 4   f o r   C OVI D - 1 9   d etec tio n   in   t h i s   w o r k   i s   also   o n o f   t h v er y   f ir s t   w o r k s   to   b r ep o r te d .   T o   th b est  o f   o u r   k n o w led g e,   th er h as  n o b ee n   an y   r ep o r ted   w o r k   w it h   E f f ec ie n tNetB 4   f o r   C OVI D - 1 9   d etec tio n .   T h e   m ai n   r ea s o n   b eh i n d   th e   b etter   p e r f o r m a n ce   o f   t h is   d ee p   lear n in g   ar ch itect u r is   its   s ca lab ilit y .   T h is   ar ch itect u r h as   b ee n   i n tr o d u ce d   w it h   t h m o s ap p r o p r iate  n et w o r k   d i m e n s io n   w h ich   a llo w s   t h m o d el  to   lear n   th m o s t e f f icien t a s p ec t s   o f   th i m a g es a n d   to   u s t h o s to   class if y   t h i m ag e s   ef f icie n tl y .     T r an s f er   lear n i n g   h as  p la y ed   s ig n i f ican r o le  in   t h g o o d   p er f o r m an ce s   o f   t h is   s t u d y .   A ll  t h e   m o d el s   t h at  h av e   b ee n   u s ed   i n   th e x p er i m e n t s   ar p r e - tr ai n ed   o n   th I m a g eNe d atase t.  T h o s lear n in g s   h a v e   h elp ed   o u r   m o d els  to   w o r k   b etter   o n   th s p ec if ic  class i f ica ti o n   task .   I m a g au g m e n tatio n   h as  also   h elp ed   th e   m o d el s   to   ac h ie v b etter   p er f o r m an ce .   As t h d atasets   u s ed   in   t h is   s tu d y   ar r elativ e l y   s m a l ler   an d   C OVI D - 19  r elate d   ch est  x - r a y   i m ag e s   ar s ca r ce ,   v ar io u s   au g m e n tat io n   tech n iq u es  ap p lied   to   th e x is t in g   i m a g es  h a v e   led   th m o d els  to   ac h ie v b et ter   g e n er aliza b ilit y .   B etter   b alan ce d   in d i v id u a clas s - w is e   te s p er f o r m a n ce s   i n   v ar io u s   e v al u atio n   m etr ic s   i n d icate   th r o b u s tn e s s   a n d   s u s tai n ab ilit y   o f   t h m o d el s .   Ho w ev er ,   d u to   lack   o f   co m p u tatio n al  r eso u r ce s ,   th m o d el s   h a v n o b ee n   tr ain e d   f o r   m o r th a n   2 0   ep o ch s .   T h lo n g er   tr ain in g   p h ase  co u ld   h a v i m p r o v ed   t h m o d els   p er f o r m a n ce s .   An o th er   li m ita tio n   o f   t h i s   w o r k   i s   n o to   ex p lo r th v ar io u s   h y p er p ar a m eter s   o f   t h d ee p   lear n in g   ar ch itect u r es.  T u n in g   t h o s h y p er p ar a m e ter s   w o u ld   s u r el y   allo w   t h m o d els to   p er f o r m   b etter .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n 2 0 2 1   :   1 5 4 0   -   1 5 4 7   1546   T h is   s tu d y   h a s   d e m o n s tr ated   e x ce p tio n al  p er f o r m a n ce   i n   t h au to m at ic  d iag n o s is   o f   C OVI D - 1 9   f r o m   b io m ed ical  i m a g es.  I n   d o i n g   s o ,   th is   w o r k   h a s   also   b ea ten   f e w   s ta te - of - th e - ar w o r k s   r el ated   to   th d o m a in - s p ec if ic  clas s i f icatio n   t a s k .   I n   T ab le   4 ,   co m p ar is o n   o f   th i s   w o r k   w it h   f e w   o f   t h o th er   w o r k s   is   g i v e n .   T h E f f ec ien t NetB 4   m et h o d   is   th s tan d o u p er f o r m er   a m o n g   th m eth o d s   i m p le m e n ted   in   o u r   w o r k .   O n   t w o   d atasets ,   t h is   m e th o d   h as  9 6 an d   9 7 te s ac c u r ac y ,   r esp ec tiv el y .   T h ese  p er f o r m an ce s   ar s u p er io r   in   co m p ar is o n   to   o th er   w o r k s   l ik 8 9 . 6 0 test   ac cu r ac y   ac h iev ed   b y   K h an   et   a l.   [ 2 8 ] ,   9 5 test   ac cu r ac y   ac h iev ed   b y   W ah ee d   [ 2 9 ]   an d   8 7 . 0 2 % test ac cu r ac y   ac h ie v e d   b y   Ma j ee d   et  a l.   [ 2 ] .         T ab le  4 .   T est ac cu r ac y   co m p a r is o n   w it h   o th er   w o r k s   W o r k   M e t h o d   T e st   a c c u r a c y   K h a n   e t   a l .   [ 2 8 ]   C o r o N e t   8 9 . 6 0 %   W a h e e d   [ 2 9 ]   C o v i d G A N   9 5 %   A b b a e t   a l .   [ 4 ]   A   d e e p   C N N   9 2 . 5 %   A f sh a r   [ 1 5 ]   C O V I D - C A P S   9 5 . 7 %   M a j e e d   e t   a l .   [ 2 ]   1 2   o f f - t h e - sh e l f   C N N   a r c h i t e c t u r e s   8 7 . 0 2 %   P r o p o se d   w o r k   ( o n   d a t a se t   1 )   Ef f e c i e n t N e t B 4   9 6 %   P r o p o se d   w o r k   ( o n   d a t a se t   2 )   Ef f e c i e n t N e t B 4   9 7 %       6.   CO NCLU SI O N   An   in te lli g en s y s te m   t h at  id en ti f ies  C OVI D - 1 9   p atien ts   f r o m   th eir   ch e s X - r a y s   ca n   b v er y   h elp f u l   to   f ig h t h o n g o in g   p an d e m ic .   T h ef f icie n c y   o f   th o s in te l lig e n s y s te m s   is   t h h ig h es co n ce r n .   T h is   s t u d y   is   an   atte m p to   d ev elo p   s u ch   ef f icien in telli g en a n d   d ata - d r iv en   s y s te m s .   T h is   s t u d y   d e v elo p s   s i x   tr an s f er   lear n in g   m o d els  f o r   th d etec t io n   tas k .   T h m o d els  h a v b e en   p r o v ed   to   b v er y   e f f icie n t   in   t h C OVI D - 19  id en ti f icatio n   tas k .   Am o n g   th d ev elo p ed   m o d els,  E f f ec ie n tNetB 4   h as  y ield ed   th b est  p er f o r m an ce .   T h er ar f e w   li m itatio n s   o f   t h is   s t u d y   li k n o tu n i n g   h y p er p ar am ete r s ,   tr ain i n g   th m o d els  f o r   f e w er   ep o ch s ,   n o u s i n g   o th er   p r e - tr ain ed   m o d els   an d   n o u s in g   th e n s e m b le  m et h o d s   f o r   b etter   p e r f o r m an ce s .   T h o s ex p er i m e n ts   ca n   b co n d u cte d   to   i m p r o v t h ef f icie n c y   o f   t h p r ed ictiv s y s te m s .   Mo r eo v er ,   th w o r k i n g   m ec h a n i s m   o f   d ee p   lear n i n g   m o d el s   i s   n o u n d er s ta n d ab le  to   th co m m o n   s ta k eh o ld er s .   R esear c h   ca n   b e   co n d u cted   to   en h a n ce   t h e x p lain ab ilit y   o f   d ee p   lear n i n g   m o d els  in   b io m ed ical  d o m ai n s .   Ho w e v er ,   d esp ite   h av i n g   t h o s e   l i m itatio n s ,   t h e   au to m atic  d etec tio n   s y s te m   d ev elo p ed   in   t h i s   s t u d y   ca n   s u r el y   h elp   u s   to   o v er co m th i s   ap p allin g   s it u at io n   an d   f i g h t t h is   co r o n av ir u s   o u tb r ea k .       AP P E NDI X       T ab le  1 .   A   s u m m ar y   o f   f e w   wo r k s   in   a u to m ated   C OVI D - 1 9   d iag n o s i s   f r o m   ch e s t X - r a y s   W o r k   M e t h o d   D a t a se t   F i n d i n g   L i mi t a t i o n / G a p   M a j e e d   e t   a l .   [ 2 ]   C N N - X   a r c h i t e c t u r e   C o mp o si t i o n   o f   t h r e e   p u b l i c l y   a v a i l a b l e   d a t a se t s   C N N - X   w o r k s b e t t e r   t h a n   X c e p t i o n   a n d   D e n se N e t   C o n t a i n t e x t   a n d   me d i c a l   d e v i c e   t r a c e s o n   c h e st   X - r a y   i mag e s   M a k r i a n d   T se r p e [ 1 7 ]   N i n e   d e e p   l e a r n i n g   a r c h i t e c t u r e s   P a u l   C o h e n   e t   a l .   [ 5 ]   a n d   K a g g l e   V G G 1 6   a n d   V G G 1 9   sh o w   t h e   b e st   r e su l t s   t h a n   o t h e r   mo d e l s.   L a c k   o f   d a t a   c o u l d   b e   e v a l u a t e d   w i t h   mo r e   a r c h i t e c t u r e s.   Jai sw a l   e t   a l .   [ 1 8 ]   T r a n sf e r   l e a r n i n g   mo d e l   w i t h   D e n se N e t 2 0 1   K a g g l e   M a x i m u m   A c c u r a c y   o f   9 9 . 8 2 %   L a c k   o f   so p h i s t i c a t e d   f e a t u r e   e x t r a c t i o n   t e c h n i q u e s.   N a r i n   e t   a l .   [ 1 9 ]   R e sN e t 5 0 ,   R e sN e t 1 0 1 ,   R e sN e t 1 5 2 ,   I n c e p t i o n - V 3   a n d   I n c e p t i o n R e sN e t V 2   O n e   d a t a se t   c o n t a i n i n g   C O V I D - 1 9   X - r a y s a n d   t w o   d a t a se t s   o f   g e n e r a l   c h e st   X - r a y s.   R e sN e t 5 0   y i e l d e d   t h e   h i g h e st   a c c u r a c y   F e a t u r e s a r e   n o t   e x t r a c t e d   u s i n g   i mag e   p r o c e ssi n g   me t h o d s.   A b b a e t   a l .   [ 4 ]   D e e p   C N N   C o h e n   e t   a l .   [ 5 ]   R e sN e t 1 8   p e r f o r me d   b e t t e r .   L a c k   o f   u si n g   o t h e r   d e e p   l e a r n i n g   mo d e l s.   O z t u r k   e t   a l .   [ 3 ]   D a r k N e t   C o h e n   e t   a l .   [ 5 ]   B i n a r y - c l a ss a c h i e v e d   b e t t e r   a c c u r a c y   t h a n   mu l t i - c l a ss   c l a ss i f i c a t i o n .   S c a r c i t y   o f   C O V I D - 1 9   X - r a y s.   S a l i h   [ 2 0 ]   M o d i f i e d   A l e x N e t   A   d a t a se t   f r o m K a g g l e   M o d i f i e d   A l e x N e t   p e r f o r me d   b e t t e r   t h a n   o r i g i n a l   A l e x N e t   L a c k   o f   B a l a n c e d   d a t a se t   a n d   n o t   a p p l y i n g   t h e   mo d i f i c a t i o n s   t o   o t h e r   d e e p   l e a r n i n g   mo d e l s.           Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       P r e - tr a in ed   d ee p   lea r n in g   mo d els in   a u to ma tic  C OV I D - 1 9   d ia g n o s is   ( A h med   W a s i f R eza )   1547   RE F E R E NC E S   [1 ]   R.   M .   P e re ira,   D.   Be rto li n i,   L .   O.   T e ix e ira,  C.   N.   S il la,   a n d   Y.  M .   G .   Co sta ,   COV ID - 1 9   i d e n ti f ica ti o n   i n   c h e st   X - ra y   i m a g e o n   f lat  a n d   h iera rc h ica c las si f ica ti o n   sc e n a rio s,”   Co mp u t.   M e th o d Pro g ra ms   Bi o me d . ,   2 0 2 0 ,     d o i:   1 0 . 1 0 1 6 /j . c m p b . 2 0 2 0 . 1 0 5 5 3 2 .     [2 ]   T .   M a jee d ,   R.   Ra sh id ,   D.  A li ,   a n d   A .   A s a a d ,   Iss u e a s so c iate d   w it h   d e p lo y in g   CNN   tran s f e lea rn in g   to   d e tec COV ID - 1 9   f ro m   c h e st X - ra y s,”   Ph y s.  En g .   S c i.   M e d . ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /s 1 3 2 4 6 - 0 2 0 - 0 0 9 3 4 - 8.     [3 ]   T .   Oz tu rk ,   M .   T a lo ,   E.   A .   Yild iri m ,   U.  B.   Ba lo g lu ,   O.  Yild iri m ,   a n d   U.  Ra jen d ra   A c h a r y a ,   A u to m a ted   d e tec ti o n   o f   COV ID - 1 9   c a se u sin g   d e e p   n e u ra n e tw o rk w it h   X - ra y   i m a g e s,”   Co mp u t.   Bi o l.   M e d . ,   2 0 2 0 ,     d o i:   1 0 . 1 0 1 6 /j . c o m p b io m e d . 2 0 2 0 . 1 0 3 7 9 2 .     [4 ]   A .   A b b a s,  M .   M .   A b d e lsa m e a ,   a n d   M .   M .   G a b e r,   Clas sif ica ti o n   o f   COV ID - 1 9   in   c h e st  X - ra y   i m a g e u sin g   De T r a d e e p   c o n v o l u ti o n a n e u ra n e tw o rk ,   Ap p l.   In tell . ,   2 0 2 1 ,   d o i:   1 0 . 1 0 0 7 /s1 0 4 8 9 - 0 2 0 - 0 1 8 2 9 - 7.     [5 ]   J.  P a u C o h e n ,   P .   M o r riso n ,   a n d   L .   Da o ,   COV ID - 1 9   Im a g e   Da ta C o ll e c ti o n ,   a rXiv .   2 0 2 0 .     [6 ]   I.   D.  A p o sto l o p o u l o a n d   T .   A .   M p e sia n a ,   Co v id - 1 9 :   a u t o m a ti c   d e tec ti o n   f ro m   X - ra y   i m a g e u ti li z in g   tran sf e lea rn in g   w it h   c o n v o l u ti o n a n e u ra n e tw o rk s,”   Ph y s.  En g .   S c i.   M e d . ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /s1 3 2 4 6 - 0 2 0 - 0 0 8 6 5 - 4.     [7 ]   T .   Ra h m a n ,   M .   E.   H .   Ch o w d h u r y ,   A .   Kh a n d a k a r,   a n d   A .   Kh a n d a k a r ,   T ra n s f e lea rn in g   w it h   d e e p   Co n v o lu ti o n a l   Ne u ra Ne tw o rk   (CNN f o p n e u m o n ia d e tec ti o n   u sin g   c h e st  X - ra y ,   Ap p l.   S c i. ,   2 0 2 0 ,   d o i:   1 0 . 3 3 9 0 / a p p 1 0 0 9 3 2 3 3 .     [8 ]   H.  S h a rm a ,   J.  S .   Ja in ,   P .   Ba n sa l,   a n d   S .   G u p ta,  F e a tu re   e x trac ti o n   a n d   c las sif ica ti o n   o f   c h e st  X - ra y   i m a g e u sin g   CNN   to   d e tec p n e u m o n ia,” 2 0 2 0 ,   d o i:   1 0 . 1 1 0 9 /C o n f lu e n c e 4 7 6 1 7 . 2 0 2 0 . 9 0 5 7 8 0 9 .     [9 ]   X .   X u ,   e a l. ,   A   d e e p   lea rn in g   s y ste m   to   sc r e e n   n o v e c o ro n a v iru d ise a se   2019  p n e u m o n ia ,   En g i n e e rin g ,   2 0 2 0 ,   d o i:   1 0 . 1 0 1 6 /j . e n g . 2 0 2 0 . 0 4 . 0 1 0 .     [1 0 ]   O.  S tep h e n ,   M .   S a in ,   U.   J.   M a d u h ,   a n d   D.  U.   Je o n g ,   A n   e ff icie n d e e p   lea rn in g   a p p ro a c h   to   p n e u m o n ia   c las si f ica ti o n   in   h e a lt h c a re ,   J .   H e a lt h c .   E n g . ,   2 0 1 9 ,   d o i:   1 0 . 1 1 5 5 /2 0 1 9 /4 1 8 0 9 4 9 .     [1 1 ]   G .   Ja in ,   D.  M it tal,   D.  T h a k u r,   a n d   M .   K.  M it tal,   A   d e e p   lea rn i n g   a p p ro a c h   t o   d e tec Co v id - 1 9   c o ro n a v iru w it h     X - Ra y   i m a g e s,”   Bi o c y b e rn .   Bi o m e d .   En g . ,   2 0 2 0 ,   d o i:   1 0 . 1 0 1 6 /j . b b e . 2 0 2 0 . 0 8 . 0 0 8 .   [1 2 ]   M .   T o ğ a ç a r,   B.   Erg e n ,   a n d   Z.   m e rt,   COV ID - 1 9   d e tec ti o n   u si n g   d e e p   lea rn in g   m o d e ls  to   e x p lo it   S o c ial  M im ic  Op ti m iza ti o n   a n d   stru c t u re d   c h e st  X - ra y   i m a g e u sin g   f u z z y   c o lo a n d   sta c k in g   a p p ro a c h e s,”   Co mp u t.   Bi o l.   M e d . v o l.   1 2 1 ,   p p .   1 0 3 8 0 5 ,   Ju n .   2 0 2 0 ,   d o i:   1 0 . 1 0 1 6 /j . c o m p b io m e d . 2 0 2 0 . 1 0 3 8 0 5 .     [1 3 ]   J.  P .   Co h e n ,   e a l . ,   P re d ict in g   c o v id - 1 9   p n e u m o n ia  se v e rit y   o n   c h e st  x - ra y   w it h   d e e p   lea rn i n g ,   a r Xi v ,   v o l.   1 2 ,   n o .   7 ,   2 0 2 0 ,   d o i:   1 0 . 7 7 5 9 /c u re u s.9 4 4 8 .     [1 4 ]   A .   M .   Is m a e a n d   A .   Ş e n g ü r,   De e p   lea rn in g   a p p ro a c h e f o COV ID - 1 9   d e tec ti o n   b a se d   o n   c h e st   X - ra y   i m a g e s,”   Exp e rt S y st.  A p p l . ,   v o l.   1 6 4 ,   p .   1 1 4 0 5 4 ,   F e b .   2 0 2 1 ,   d o i:   1 0 . 1 0 1 6 /j . e sw a . 2 0 2 0 . 1 1 4 0 5 4 .     [1 5 ]   P .   A f sh a r,   S .   He id a rian ,   F .   Na d e r k h a n i,   A .   Oik o n o m o u ,   K.  N.   P lat a n io ti s,   a n d   A .   M o h a m m a d i,   COV ID - CA P S A   c a p su le  n e tw o rk - b a se d   f ra m e w o r k   f o id e n ti f ica ti o n   o f   COV ID - 1 9   c a se f ro m   X - ra y   ima g e s,”   Pa tt e rn   Rec o g n it i o n   L e tt e rs .   2 0 2 0 ,   d o i:   1 0 . 1 0 1 6 /j . p a tre c . 2 0 2 0 . 0 9 . 0 1 0 .     [1 6 ]   K.  H.  S h i b ly ,   S .   K.  De y ,   M .   T .   U.  Isla m ,   a n d   M .   M .   Ra h m a n ,   COV ID  f a ste R CNN A   n o v e f ra m e w o rk   to   d iag n o se   n o v e C o ro n a v iru D ise a se   (COV ID - 1 9 )   i n   X - Ra y   im a g e s,”   In fo rm a t ics   M e d .   Un lo c k e d ,   2 0 2 0 ,     d o i:   1 0 . 1 0 1 6 /j . im u . 2 0 2 0 . 1 0 0 4 0 5 .     [1 7 ]   A .   M a k ris,   I.   Ko n to p o u lo s,  a n d   K .   T se rp e s,  COV ID - 1 9   d e tec ti o n   f ro m   c h e st X - ra y   i m a g e s u sin g   d e e p   lea rn in g   a n d   c o n v o lu ti o n a n e u ra n e tw o rk s,”   2 0 2 0 ,   d o i:   1 0 . 1 1 4 5 /3 4 1 1 4 0 8 . 3 4 1 1 4 1 6 .     [1 8 ]   A .   J a is w a l,   N.  G ian c h a n d a n i,   D.  S in g h ,   V .   Ku m a r,   a n d   M .   Ka u r,   Clas sif ic a ti o n   o f   th e   COV ID - 1 9   i n f e c ted   p a ti e n ts  u sin g   De n se Ne t2 0 1   b a se d   d e e p   tran sf e lea rn in g ,   J .   Bi o mo l .   S tru c t.   Dy n . ,   2 0 2 0 ,     d o i:   1 0 . 1 0 8 0 /0 7 3 9 1 1 0 2 . 2 0 2 0 . 1 7 8 8 6 4 2 .     [1 9 ]   A .   Na rin ,   C.   Ka y a ,   a n d   Z.   P a m u k ,   A u to m a ti c   d e tec ti o n   o f   c o r o n a v iru d ise a se   (COV ID - 1 9 )   u sin g   X - ra y   ima g e a n d   d e e p   c o n v o l u ti o n a n e u ra n e t w o rk s,”   a rXiv .   2 0 2 0 .     [2 0 ]   S .   Q.   S a li h ,   H.   K.  A b d u ll a ,   Z.   S .   A h m e d ,   N.   M .   S .   S u ra m e e r y ,   a n d   R.   D.   Ra sh i d ,   M o d if ied   A lex Ne c o n v o l u ti o n   n e u ra n e tw o rk   f o Co v id - 1 9   d e tec ti o n   u si n g   c h e st  X - ra y   im a g e s ,   Ku rd ist a n   J .   Ap p l .   Res . ,   2 0 2 0 ,     d o i:   1 0 . 2 4 0 1 7 /c o v id . 1 4 .     [2 1 ]   P .   P a t e l ,   C h e s t   X - r a y   ( C o v i d - 1 9   &   P n e u m o n i a ) ,   2 0 2 0 .   [ O n l i n e ] .   A v a i l a b l e .   h t t p s : / / w w w . k a g g l e . c o m / p r a s h a n t 2 6 8 / c h e s t - x r a y - c o v i d 1 9 - p n e u m o n i a   [2 2 ]   K.  S im o n y a n   a n d   A .   Zi ss e r m a n ,   V GG - 1 6 ,   a rXiv  Pre p r. ,   2 0 1 4 .     [2 3 ]   C.   S z e g e d y ,   V .   V a n h o u c k e ,   S .   Io ff e ,   J.  S h len s,  a n d   Z.   W o jn a ,   Re th in k in g   t h e   in c e p ti o n   a rc h it e c tu r e   f o c o m p u ter   v isio n ,   Co m p u ter   Vi si o n   a n d   Pa t ter n   Rec o g n it io n 2 0 1 6 ,   d o i:   1 0 . 1 1 0 9 /CVP R. 2 0 1 6 . 3 0 8 .     [2 4 ]   F .   Ch o ll e t,   X c e p ti o n De e p   lea rn in g   w it h   d e p t h w ise   se p a ra b le  c o n v o lu ti o n s,”   IEE Co n fer e n c e   o n   Co m p u te r   Vi sio n   a n d   P a tt e rn   Rec o g n it i o n   ( CVP R) 2 0 1 7 ,   d o i:   1 0 . 1 1 0 9 /C VP R. 2 0 1 7 . 1 9 5 .     [2 5 ]   G .   Hu a n g ,   Z.   L iu ,   L .   V a n   De r   M a a ten ,   a n d   K.   Q.   W e in b e rg e r,   De n se l y   c o n n e c ted   c o n v o lu ti o n a l   n e tw o rk s,   2 0 1 7 ,   d o i:   1 0 . 1 1 0 9 /C VP R. 2 0 1 7 . 2 4 3 .     [2 6 ]   C.   S z e g e d y ,   S .   Io f f e ,   V .   V a n h o u c k e ,   a n d   A .   A .   A le m i,   In c e p ti o n - v 4 ,   in c e p t io n - Re sN e a n d   th e   imp a c o f   re sid u a l   c o n n e c ti o n s o n   lea rn i n g ,   Co mp u ter   Vi sio n   a n d   P a tt e rn   Rec o g n it i o n 2 0 1 7 .     [2 7 ]   M .   T a n   a n d   Q.   V .   L e ,   Eff icie n tNe t:   Re th in k in g   m o d e sc a li n g   f o c o n v o l u ti o n a n e u ra n e tw o rk s,”   a rXiv 2 0 1 9 .     [2 8 ]   A .   I.   Kh a n ,   J.   L .   S h a h ,   a n d   M .   M .   Bh a t ,   Co ro Ne t:   A   d e e p   n e u ra l   n e tw o rk   f o d e tec ti o n   a n d   d iag n o sis  o f   COV ID - 1 9   f ro m   c h e st  x - ra y   ima g e s,”   Co mp u t.   M e th o d Pr o g ra ms   Bi o me d . ,   v o l .   1 9 6 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j. c m p b . 2 0 2 0 . 1 0 5 5 8 1 .     [2 9 ]   A .   W a h e e d ,   M .   G o y a l,   D.  G u p ta,   A .   Kh a n n a ,   F .   A l - T u rjm a n ,   a n d   P .   R.   P in h e iro ,   Co v id G A N:  Da t a   A u g m e n tatio n   Us in g   A u x il iar y   Cla ss i f ier   GA f o I m p ro v e d   Co v id - 1 9   De tec ti o n ,   IEE E   Acc e ss ,   2 0 2 0 ,     d o i:   1 0 . 1 1 0 9 /A CCES S . 2 0 2 0 . 2 9 9 4 7 6 2 .     Evaluation Warning : The document was created with Spire.PDF for Python.