T E L KO M N I KA  T e lec om m u n icat ion ,   Com p u t i n g,   E lec t r on ics   an d   Cont r ol   Vol.   1 8 ,   No.   1 F e br ua r y   2020 ,   pp.   4 41 ~ 4 49   I S S N:  1693 - 6930,   a c c r e dit e F ir s G r a de   by  Ke me nr is tekdikti ,   De c r e e   No:   21/E /KP T /2018   DO I 10. 12928/ T E L KO M NI KA . v1 8 i 1 . 12997     441       Jou r n al  h omepage ht tp: // jour nal. uad . ac . id/ index . php/T E L K OM N I K A   D e e p  l e ar n in m od e f or   t h o r ax d is e ase d e t e c t io n       Gh ad A.   S h ad e e d ,   M oh a m m e d   A .   T awf e e q ,   S a ws an   M .   M ah m ou d   Co mp u t er  E n g i n eer i n g   D e p art me n t ,   Co l l e g o E n g i n eer i n g ,   Mu s t a n s i ri y a h   U n i v er s i t y ,   Iraq       Ar t icle   I n f o     AB S T RA CT     A r ti c le  h is tor y :   R e c e ived   Apr   25 ,   2019   R e vis e J ul   7 ,   20 19   Ac c e pted  J ul   1 8 ,   20 19       D es p i t t h av ai l ab i l i t y   o rad i o l o g y   d ev i ces   i n   s o me   h eal t h   care  cen t ers ,   t h o rax   d i s ea s es   are  co n s i d ere d   as   o n o t h mo s t   co m mo n   h ea l t h   p ro b l em s ,   es p ec i al l y   i n   ru ral   area s .   By   ex p l o i t i n g   t h p o w er  o t h In t er n et   o t h i n g s   an d   s p ec i fi p l a t fo rm s   t o   an a l y ze   l ar g e   v o l u me  o f   med i cal   d at a,   t h h eal t h   o a   p at i en t   co u l d   b i m p ro v ed   ear l i er.   I n   t h i s   p ap er,   t h p ro p o s ed   mo d el   i s   b as e d   o n   p re - t ra i n e d   Res N et - 5 0   fo r   d i a g n o s i n g   t h o r ax   d i s eas e s .   Ch es t   x - ray   i mag e s   are  cro p p e d   t o   ex t rac t   t h ri b   cag p art   fro t h ch es t   rad i o g ra p h s .     Res N e t - 5 0   w as   re - t ra i n   o n   Ch es t   x - ray 1 4   d at a s et   w h er ch es t   rad i o g ra p h   i mag e s   are  i n s er t ed   i n t o   t h mo d el   t o   d e t ermi n i t h e   p ers o n   i s   h eal t h y   o r   n o t .   In   t h cas e   o an   u n h eal t h y   p at i en t ,   t h mo d e l   can   cl as s i fy   t h d i s eas e   i n t o   o n o t h fo u rt ee n   c h es t   d i s ea s es .   T h re s u l t s   s h o w   t h a b i l i t y     o Res N et - 5 0   i n   ach i ev i n g   i m p res s i v p erfo rma n ce  i n   cl a s s i fy i n g     t h o rax   d i s ea s es .   K e y w o r d s :   C he s r a diogr a phy   De e l e a r ning   I nter ne of   t hings   R e s Ne t - 50   T hor a dis e a s e s   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i ce n s e .     C or r e s pon din A u th or :   Gha da   A.   S ha de e d,   C omput e r   E nginee r ing   De p a r tm e nt,   C oll e ge   of   E n ginee r ing ,     M us tans ir iyah  Unive r s it y ,     B a ghda d,   I r a q .   E mail:   gha da . s ha de e d@gmail. c om       1.   I NT RODU C T I ON     C he s dis e a s e s   a r e   one   of   the  mos im por tant  he a lt pr oblems   pe ople  e xpe r ienc e .   M or e   than     mi ll ion  a dult s   with   pne umoni a   a r e   hos pit a li z e d ,   with  a bout   50, 000   dying  e a c ye a r   in   the  Unite S tate s     a lone  [ 1,   2] .   C he s x - r a im a ge s   a r e   the  mos t   c omm on  tool   u s e to   diagnos e   c he s dis e a s e s ,   s i nc e   their   de vice s ,   in  a ddit ion  to  making  the  pa ti e nt  e xpos e d   to  li tt le  r a diation,   a r e   a ls f a ir ly  c he a [ 3 ] .   De pe n ding  on  wor ld  he a lt or ga niza ti on   e s ti mate s ,   a bout  two - thi r ds   of   the   plane t's   population  s uf f e r s   f r om   a   lac o f   a c c e s s   to  r a diation  diagnos is   [ 4 ] .   E ve wi th  the  a v a il a bil it of   the  ne c e s s a r e quipm e nt  f or   r a di ogr a phy,     the  e xpe r ts   who  a r e   a ble  to   int e r pr e t   the  x - r a ys   a r e   f e w,   e s pe c ially  in  r ur a l   a r e a s ,   lea ding  to   a in c r e a s e   in    the  mor talit y   r a te  of   tr e a tab le  dis e a s e s   in  many  c ountr ies   [ 5 ] .   S e a r ly  diagnos is   a nd  tr e a tm e nt  s hould  be   a va il a ble  to  pr e ve nt  c ompl ica ti ons   o f   pne umoni a   t ha may  lea to   de a th.     I r e c e nt  ye a r s ,   de e p   lea r ning   models   ha ve   ma de   s igni f ica nt   a dva nc e s   in  many  dig it a l   im a ge   a ppli c a ti ons   [ 6 - 9 ] ,   whic h   ha ve   include f a s ter   a nd   e a r li e r   de tec ti on  of   a ny  dis e a s e s   with  the  he lp   of   medic a l   im a ge   c las s if ica ti on  a nd  de tec ti on.   Ac c or ding  to  t he   s uc c e s s   of   de e lea r ning,   many  r e s e a r c he r s   ha ve   s ought  to  be ne f it   f r o de e ne ur a ne twor ks   ( DN Ns )   f o r   diag nos ing  many  dis e a s e s ,   including  thor a dis e a s e s   on   c he s r a diogr a phy,   whe r e   numer ous   r e po r ts   ha ve   be e publi s he c onf ir mi ng  h igh  a c c ur a c y   of   de e lea r ning   in  dis e a s e s   diagnos is .   M uc r e s e a r c ha s   be e n   do ne   us ing  de e p   lea r ning   methods   to   de tec t   a bnor ma obj e c ts   in  medic a im a ge s   [1 0 - 1 5 ].   F or   ins tanc e ,   in  [ 1 6 ] ,   d igi tal  im a ge   pr oc e s s ing  tec hniques   a r e   us e to  de ve lop  a   s im ple  pr e pr oc e s s ing   pipeline  a nd  e xpe r t   r a diol ogis a dvice .   T hr e e   ne u r a ne twor k   a r c hit e c tur e s GoogL e Ne t,   I nc e pti on Ne t,   a nd   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   1 F e br ua r 2020 :    4 41   -   4 49   442   R e s Ne a r e   c r e a te d.   T he s e   models   ha ve   e f f icie ntl pr ove n   in   c las s if ica ti on  tas ks   whic a r e   a ppli e on   c he s   x - r a im a ge s .   I [ 1 7 ]   a   unif ied   c onvolut ional  ne ur a ne twor ( C NN )   f r a mew or wa s   pr opos e us ing    we a kly - s up e r vis e mul ti - labe c la s s if ica ti on,   taking  int a c c ount  t ha pooli ng  s tr a tegie s   a r e   dif f e r e nt   a s   we ll   a s   va r ious   C NN 's   mul ti - labe los s e s .   Als o,   in   [ 1 8 ]   the   C he XN e t   model,   whic h   is   a   model   of   de e p   l e a r ning,   ha s   be e pr opos e f or   the  de tec ti on  of   pne umoni a   whe r e   the  a r e a   wa s   diagno s e with  the  dis e a s e   is   i de nti f i e in  the   im a ge   a nd  us e d   de ns e   c onne c ti ons   [ 19 ]   a nd  ba tch  nor maliza ti on   [ 2 0 ]   f or   making   the   opti m iza ti on  mor e   pos s ibi li ty  to   e xe c uti on  f o r   s uc a   model.   Ac c or di ng  to   the   r e s ult s   they   r e por ted,   C he XN e t   ha s   the   c a pa bil it to  de tec pne umoni a   a a   leve e qua l   to  or   g r e a ter   than  that  of   r a diol ogis ts .   I [ 2 1 ba c kpr opa ga ti o ne ur a ne twor ( B P NN ) ,   C NN   plus   c ompetit ive  ne ur a ne twor ( C P NN )   we r e   tes ted  f or   the  mos c omm on  dis e a s e   c las s if ica ti on  in  C he s x - r a y.   T he   r e c ognit ion   r a t e s   we r e   high   a nd  pe r f or manc e   wa s   g ood  whe r e   t he   input   im a ge   ha s   a   s ize   of   32× 32   pixels   a c c or ding   to   the   r e s ult s   that  they   pr e s e nted.   C P NN   a nd   B P NN   a c hieve les s   ge ne r a li z a ti on  powe r   than  that  a c hieve d   by  C NN .   I n   [ 2 2 C he s tNe t   is   pr opos e d   to   a ddr e s s   the  diag nos is   of   thor a dis e a s e s   on  c h e s t   r a diogr a phy  a nd  wa s   c o mpar e with  thr e e   de e lea r ning  models   on  C he s x - r a y14   da tas e [ 1 7 ]   us ing  the  of f icia pa ti e nt - wis e   s pli t.   Ac c or ding  to  the  r e s ult s   pr e s e nted  the  r e s ult s   we r e   higher   than  thos e   a c hieve by  pr e vious   methods .   I a ll   of   the  a bove ,   a   nu mber   o f   methods   we r e   of f e r e to  diagnos e   c he s dis e a s e s   with  the  he lp  of   c omput e r - a ided  diagnos is .   How e ve r ,   the   pr oble of   incr e a s ing  the   s uc c e s s   r a te  of   diagnos is   of   dis e a s e s   r e mains   one   o f   the   mos im po r tant   tas ks   to   c omp lete   the   diagnos is   pr oc e s s   a nd  ma ke   it   mo r e   e f f ic ient.   S   the  model  wa s   pr opos e to  diagnos e   the  c he s c ondit ion  ba s e on  r a diogr a phy.   T he   diagnos is   de ter mi ne s   whe ther   the  pe r s on  is   nor mal  ( no   f indi ng )   or   a bnor mal.   I c a s e   of   a bnor mal,   the  model  c a de tec t   f our tee n   types   of   c he s dis e a s e s .   One   of   the  de e lea r ning   models ,   R e s tNe t - 50,   ha s   be e s ugge s ted  f or   it s   hi gh  a bil it to  diagnos e   c he s dis e a s e s   on  X - r a y s ,   a s   we ll   a s   high  potential  to  a void  many  of   the  pr obl e ms   that    the  ne twor k   may   e nc ounter   whe they   be c ome   de e pe r .   T he   pr opos e d   R e s Ne t - 50  model  wa s   e va luate a ga ins t   f our   de e lea r ning   models   on   C he s x - r a y14  da tas e t.   T he   b lock  diag r a o f   the  p r opos e model   is   s hown  in   F igur e   1.   T he   r e maining  of   thi s   pa pe r   is   s tr uc tur e a s   f oll ows i s e c ti on  2 ,   the   pr opos e model  R e s Ne t - 50  a nd  it s   a r c hit e c tur e s   a r e   de s c r ibed.   T he   da tas e u s e in  the  e xpe r im e ntation  is   de s c r ibed  in  s e c ti on  3   a long   with  it s   p r e pr oc e s s ing.   F inally ,   the   r e s ult s   a r e   pr e s e nted  in  s e c ti on  4   with   c or r e s ponding   d is c us s ions   f oll owe d   by  the  c onc lus ions   in  s e c ti on  5 .           F igur e   1.   I l lus tr a ti on  of   c he s im a ge   a na lys is   with  R e s Ne t - 50  model       2.   P ROP OS E M ODE L   I thi s   wor k,   the  pr opos e model  is   divi de int thr e e   s teps pr e pr oc e s s ing,   R e s Ne t - 50,   dis e a s e   diagnos is   a s   s hown  in  F igur e   2.   I the  pr e pr oc e s s ing  s t e p,   ther e   a r e   thr e e   blocks f ir s t,   to  obt a in  mor e   a c c ur a te  a nd  r e li a ble   da ta  f r om   C he s x - r a im a ge ,   the   r ib   c a ge   a r e a   is   c ut  to  r e tain  on   it   a n lea ve     the  r e maining   a r e a s   in   the   im a ge .   T his   c r oppin pr oc e s s   make s   the  tr a ini ng   da ta  mo r e   us e f ul   a nd  thus   incr e a s e s   the  a c c ur a c of   the  r e s ult s   a nd  r e duc e s   t he   ti me  o f   tr a ini ng .   S e c ondly,   the  im a ge s   a r e   c on ve r ted  to   R GB .   T hir dly,   the  im a ge s   c ome  with  dif f e r e nt  s iz e s .   T he r e f or e ,   the  im a ge s   mus be   unif ied  withi a   c e r tain  s ize   a s   r e quir e by  the  p r opos e ne twor k.   Dur in the  tr a ini ng   pr oc e s s ,   s ome  de tails   may  be   f or g ott e in     the  im a ge s ,   s the  im a ge s   a r e   r e pe a ted  to  make   the  ne twor r e membe r   the  mos de tails .   I a ddit ion,   thi s   pr oc e s s   incr e a s e s   ne twor r e s olut ion.   I n   R e s Ne t - 5 0,   the   e a r li e r   laye r s   a r e   f r e e z e ,   while  the   f ull y   c on ne c ted  is   r e plac e a c c or ding  to  r e quir e ments   of   the  wor k.   T he   las de c is ion  a pp e a r s   to  de ter mi ne   the  c a s e   of   the  c he s t   is   take in  the  las t   s tep.     2. 1.   R es N et - 50   T he   a r c hit e c tur e   of   the  R e s Ne t - 50  de e lea r nin models   is   s hown  in  F igur e   3 .   I t   c ons is ts   of     50  laye r s .   Unlike  othe r   DN N,   R e s Ne t - 50  model  is   c ha r a c ter ize by  it s   a bil it y   to  a void   s ome  of   the   p r oblems   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         De e lear ning  mode for   thor ax   dis e as e s   de tec ti on  ( Ghada  A .   Shade e d)   443   c onf r ont  the  ne twor k   whe incr e a s ing  i ts   laye r s .   One   of   thes e   pr oblems   is   whe the  numbe r   o f   laye r s   incr e a s e s   to  mor e   than   25  laye r s   s tar ti ng   with   th e   pr oblem  o f   va nis hing   gr a dients ,   whic h   is   f or m e whe   the  gr a dient   is   ve r y   s mall  then   the   we ight s   will   not  be   c ha nge   e f f e c ti ve ly  a nd   it   may   c a u s e   the   ne ur ona ne twor to  s top  c ompl e tely   f or   f utu r e   tr a ini ng   [ 23 ] .   S o,   thi s   model  ha s   be e uti l ize in  thi s   wo r due   to  it s   high  a bil it to   a void  many   pr oblems   a s   we ll   a s   i ts   e f f icie nt  pe r f o r manc e   in  the  diagnos is   of   c he s dis e a s e s .           F igur e   2 P r opos e model   block  diag r a m           F igur e   3 Ar c hit e c tur e   of   R e s Ne t - 50  model       I thi s   pa pe r ,   two  im po r tant  s tr a tegie s   f or   R e s Ne t - 50   is   inves ti ga ted.   F ir s t,   the  model  pa r a mete r s   with  r a ndom  va lues   we r e   in it ialize d,   s the   mod e is   tr a ined  f r om  the   be ginni ng.     I the  s e c ond  s tr a tegy,     the  we ight s   of   the  model  a r e   ini t ialize f r om  p r e - tr a ined.   I the  pr opos e model,   the  f ir s laye r   r e qui r e s   input   im a ge s   of   s ize   224× 224× 3,   whe r e   3   is   the   number   of   c olor s   ( R e s Ne t - 50  we r e   de s igned  in  or de r   to   pr oc e s s     the  R GB   im a ge s   de pe nding  on  the  I mage Ne t   [ 24]   da tas e t) ,   s gr a im a ge s   c onve r ted  to  c olor   im a g e s .   T he c olor   im a ge s   a r e   pa s s e to   the   pr opos e d   model  a s   the  ini ti a l   laye r s   whe r e   their   we ight s   a r e   f r oz e by   making   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   1 F e br ua r 2020 :    4 41   -   4 49   444   lea r ning  r a tes   e qua l   to  z e r o .   V a r ious   leve ls   of   th e   f e a tur e s   of   C he s x - r a im a ge s   a r e   e xtr a c ted  in   the  f ir s t   c onvolut ional  laye r   a nd  th is   is   s hown  in  F igur e   4   whe r e   the  lea r ne d   f i lt e r s   a r e   s hown  a t   c onvolut ion   laye r .   T o   r e tr a in  the  model  f or   ne c las s if ica ti on  tas ks ,   whe r e   the  las f ull   c onne c ti on  ha s   be e r e moved,   whic h   c ontent  1000  c las s e s   a nd  r e plac e by   f ull y   c onne c ted  w it f if tee c las s e s .   Dur ing   t r a ini ng,   a t   the  f r oz e laye r s ,     the   pa r a mete r s   do   not   upda te.   T he   s pe e of   model   tr a ini ng  is   gr e a tl y   incr e a s e whe the   we ight s   of   t he   ini ti a l   laye r s   a r e   f r oz e a s   a   r e s ult   of   c ounti ng  the   gr a dien ts   of   the  laye r s   that  ha ve   be e f r oz e n.     R e s Ne t - 50  c ontains   two  blocks ,   C onvolut ional  block  a nd   I de nti ty  block   de pe nding  on    the  dim e ns ions   of   the  input /ou tput ,   whe ther   s im il a r   or   di f f e r e nt .   I de nti ty  block  is   us e whe the  di mens ions   a r e   s im il a r ,   while   the   c onvolut ional  b lock  is   u s e whe the  di mens ions   a r e   di f f e r e nt .   F igur e   5   s hows     the  a r c hit e c tur e   of   e a c of   c onvolut ional   block  a n d   identit block.   I n   the  ne xt  s e c ti on,   the  da tas e us e in  thi s   wor is   de s c r ibed .           F igur e   4 T r a ined  c onvolut ional   f il ter s   in  the  f ir s l a ye r         ( a )     ( b)     F igur e   5 T ype s   o f   blocks   in   R e s Ne model :   ( a )   i de nti ty  b lock ,   ( b)   c onvolut ional  b lock   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         De e lear ning  mode for   thor ax   dis e as e s   de tec ti on  ( Ghada  A .   Shade e d)   445   3.   DA T ASE T   I thi s   wor k ,   the  pub li c ly  a va il a ble  r a diog r a phic  da tas e t,   C he s X - r a 14  r e lea s e by     W a ng  e a l.   [ 17 ]   wa s   us e d.   T he   da tas e include s   3182  x - r a im a ge s ,   s ome  e xa mpl e s   of   thi s   da tas e a r e   s hown  in  F igur e   6 .   T his   da tas e ha s   f if tee labe ls   c ons is ti ng  of   Nor mal  labe a nd   14  dis e a s e   labe ls   include e f f us ion,   c ons oli da ti on,   e de ma,   c a r diom e ga ly,   a tele c tas is ,   e m phys e ma,   f ibr os is ,   nodule,   he r nia  mas s ,   inf il tr a ti on,   pne umot hor a x,   pleur a thi c ke ning ,   a nd  pne u mo nia.   T he   labe ls   of   our   da tas e a r e   c lea r ly  il lus tr a ted  in    F igur e   7 ,   whic dis plays   the  tot a number   o f   im a g e s .   F or   the  de tec ti on  tas k,   the  da tas e is   r a ndoml s pli int tes ti ng  15%   ( 476   im a ge s ) ,   va li da ti on  15 %   ( 480   i mage s ) ,   a nd  tr a ini ng   70%   ( 2226   im a ge s ) .   T he   im a ge s   we r e   s a ve in  P NG   f or mat.   T he   digi ti z e im a ge s   we r e   c r opping  a nd  dupli c a ti ng .           F igur e   6 E ight   e xa mpl e s   f r om  c he s t   x - r a 14  da tas e t,   whe r e   the   c he s x - r a 14  include s   112,   120  im a ge s   f r om   30, 805   pa ti e nts           F igur e   7 Numbe r   of   im a ge s   in  e a c labe l       4.   RE S NE T - 50  M ODE L   RE S UL T S   T he   r e s ult s   obtaine d   f r om   the   pr opos e model   we r e   p r e s e nted  in  thi s   s e c ti on.   T he   model   is   im pleme nted  in  M a tl a 2018a   us ing  De e L e a r ning  T oolbox   f o r   R e s Ne t - 50  Ne twor [ 6 ] ,   wor k ing  on  a   c omput e r   with   8   GB   memor y   a nd   I ntel ( R )   C or e   ( T M )   i7 - 8550U   C P @   1 . 80GH z .   T he   t r a ini ng   pa r a mete r s   a r e   s e a s   f oll ows :   the   mi ni - ba tch  s tocha s ti c   gr a di e nt  de s c e nt  a lgor it h ha s   be e a dopted   whe r e   the   lea r ning   r a te  to  0. 0001 ,   a nd  the  ba tch  s ize   is   10,   maxim um  it e r a ti on  number   is   13320  a nd  a the  laye r   of   f ull y   c onne c ted  that  the  f a c tor   of   bias   lea r r a te   is   10  a n the  we ight   o f   f a c tor   of   lea r ning   r a te  is   10 .     T he   pr o pos e model  a c hieve ve r high  r e s ult s   i r e a ding  r a diogr a phy  a nd  c he s diagnos is   whe r e   the  a r e a   unde r   c ur ve   ( AU C )   r e a c he to  0 . 9261.   I F igu r e   8,   the  e xa mpl e   s hows   the  e nd  r e s ult   of   how     the  diagnos is   is   made   thr ough  the  pr opos e model.   T he   pa ti e nt  wa s   di a gnos e with  the  E de ma.   T a ble  s hows   the  r e c ognit ion  r a tes   obtaine f or   the  p r o pos e ne twor whe r e   it   s howe that  the  a c c ur a c us ing    Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   1 F e br ua r 2020 :    4 41   -   4 49   446   the  pr opos e ne twor k   ha s   93. 03%   f o r   t r a ini ng  a nd  94. 49%   f o r   tes ti ng .   Als o,   the  ove r a ll   pe r f or m a nc e   f or   tr a ini ng  ti me,   a mo unt  o f   da ta ,   a nd   the  r e c ognit ion  r a te   is   de s c r ibed  in   T a ble   2.   T he   a ve r a ge d   ti me   of   c las s if ica ti on  a im a ge   us ing  the  tr a ined  ne twor wa s   0. s e c ond  pe r   im a ge .   T hus   p r ovidi ng  les s   t im e   a nd  les s   e f f or to   obtain  a   d iagnos is .   T he   tot a l   tr a ini ng   t im e   to  the   p r opos e ne twor took  a bout  29 - 30  hou r s .           F igur e   8 C he s x - r a ys   im a ge   with  it s   diagnos is   a n the  c las s e s   pr oba bil it ies       T a ble  1.   P e r f o r manc e   r a tes   f o r   R e s Ne t - 50  on  tr a ini ng,   va li da ti on,   tes ti ng,   a nd  ove r a ll   da ta   T a ble  2 .   P e r f o r manc e   r a tes   f o r   R e s Ne t - 50   of     the  pr opos e ne twor k   N e twor mode l   D a ta  f or   tr a in in ( 70% )   D a ta  f or   va li da ti on  ( 15% )   D a ta  f or   te s ti ng  ( 15% )   O ve r a ll   da ta   ( 100% )   R e s N e t - 50   93.03%   93.42%   94.49%   93.18%     N e twor mode l   T r a in in time   R e c ogni ti on  r a te   O ve r a ll   da ta   M a xi mum   numbe r  of   it e r a ti ons   R e s N e t - 50   1055  min   93.18%   3182  im a ge s   13320         T he   model  a c hieve good  diagnos ti c   r e s ult s   f or   a ll   gr oups ,   with  the  highes a c c ur a c be ing  96. 5%   o f   the  e de ma  dis e a s e   c a tegor y,   whic 86   im a ge s   a nd   les s   a c c ur a te  be ing  85. 71 %   of   the  he r nia  dis e a s e   c a tegor y,   whic 70  im a ge s   a s   s hown  in  F igur e   9 .   I n   T a bl e   3,   the  p r opos e model  wa s   c ompar e d   with   thr e e   de e lea r ning  models   whe r e   the   pe r - c las s   AU C   obtaine by  a pplyi ng  the  tes da tas e to  thos e   models .     T he   pr opos e model   a c hieve the   highes r a te   f or   mos o f   the  c las s e s   a s   s hown  by  the  r e s ult s .   Among     the  models   that  we r e   tr a ined   on  the  C he s x - r a y14  da tas e t,   our   model   a c hieve the   highes a c c ur a c r a ti os   f or   mos c a s e s .   T he   r e s ult s   s howe that  the  pr opos e model  with  the  de e pe r   ne ha a   lowe r   e r r o r   r a te   t ha thos e   with  lowe r   laye r 's   de pth.   T he   r e s ult s   s how  that  incr e a s ing  ne twor de pth  incr e a s e s   the  ne twor k's   a bil it to  c las s if y.   T he   pr opos e model   a c hieve a   r a ti ng   a c c ur a c of   92 . 71% ,   while  the   r e s ult s   o f   p r e vious   ne twor ks   we r e   84. 1378% ,   80 . 2714%   a nd  73 . 8142% .   De s pit e   the  de pth  of   the  model,   the  c ompl e xit y   is   s t il low.     An  im a ge   wa s   take f or   e a c c a s e   ( 15  dif f e r e nt  i mage s )   a nd  then  wa s   pr e s e nted  to  the  pr opos e models   to  de ter mi ne   the  a ppr op r iate   diagnos is   whe r e   the  r e s ult s   a r e   a s   s hown  in  F igu r e   10 .       T a ble  3 C ompar is on  AU C   on  c he s x - r a 14   C he s c a s e   w a ng e a l.  [ 18]   Y e a  e a l.  [ 25]   R a jp ur ka r  e a l.  [ 19]   P r opos e d ne twor k   A te l e c t a s is   71.6%   77.2%   80.94%   93.5%   C a r di ome ga ly   80.7%   90.4%   92.48%   94%   C on s ol i da ti on   70.8%   78.8%   79.01%   91.33%   E f f us io n   78.4%   85.9%   86.38%   91%   E mphys e m a   81.5%   82.9%   93.71%   94.5%   F ib r os i s   76.9%   76.7%   80.47%   96.5%   I nf il tr a ti o n   60.9%   69.5%   73.45%   88.5%   M a s s   70.6%   79.2%   86.76%   94.06%   N odul e   67.1%   71. 7%   78.02%   91.58%   P ne umo ni a   63.3%   71.3%   76.8%   92.16%   P ne umo th or a x   80.6%   84.1%   88.87%   93.5%   E de ma   83.5%   88.2%   88.78%   96.51%   P le ur a l   T hi c ke n in g   70.8%   76.5%   80.62%   91.5%   H e r ni a   76.7%   91.4%   91.64%   85.71%   N or ma l   -   -   -   96.3%   A ve r a ge   73.8142%   80.2714%   84.1378%   92.71%   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         De e lear ning  mode for   thor ax   dis e as e s   de tec ti on  ( Ghada  A .   Shade e d)   447       F igur e   9 P e r f or manc e   r a tes   f or   f if tee c a s e s   in  c la s s if ica ti on               F igur e   10 S ome   r e s ult s   of   diagnos ti c   de tec ti on   in  r a diogr a phy  im a ge s .     An  e xa mpl e   of   e a c c las s if ica ti on  wa s   take n       5.   CONC L USI ON   I thi s   pa pe r ,   a   pr opos e c he s diagnos e   model   wa s   a ppli e to  c he s r a diogr a phs   to  diagno s e     15  c a s e s   ( 14  c he s dis e a s e s   a nd  nor mal  c ond it ion) ,   ba s e on  R e s Ne t - 50  r e - tr a ini ng.   I a c hie ve high  e f f icie nc in   the  diagnos is   of   c he s r a diogr a phy  us ing  the  de e lea r n ing  model   with   a AU C   r a t e   f or   a ll   c las s e s   of   0 . 9261.   T his   model   wa s   then  c ompar e d   to  th r e e   models   of   de e lea r ning   us e C he s X - r a 14   da ta   s e whe r e   it   wa s   s up e r ior .   I is   hope that  thi s   model  will   im pr ove   the  pr ogr e s s   of   he a lt c a r e   a nd   incr e a s a c c e s s   to  the   medic a e xpe r ienc e   th r oughout   the  wor ld  whe n   a c c e s s   to  s kil led  r a diol ogis ts   is   li mi te d.   I ou r   f utur e   wor k ,   wor k   s hould  be   done   to  incr e a s e   c ont r ol  of   R e s Ne t - 50  us ing  a c tual  x - r a da ta,   whe r e   R e s Ne t - 50  c a be   s igni f ica ntl incr e a s e by  thi s   c onf igur a ti on.   T he   r e s ult s   s howe that  the  us e   of   de e lea r ning  methods   is   us e f ul  f or   de tec ti ng  x - r a dis e a s e s   on  the  c he s t.             Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   1 F e br ua r 2020 :    4 41   -   4 49   448   AC KNOWL E DGM E N T   W e   c omm e nd  the  e f f o r ts   made   to  make   the  C he s X - r a 14  da tas e a va il a ble,   making  it   e a s ier   to   c ompar e   the  diag nos is   of   14   thor a x   dis e a s e s   on  c he s r a diogr a phs .   Als o,   the  a utho r s   would   li ke   t thank   M us tans ir iyah   Unive r s it ( ww w. uomus tans ir iyah. e du. iq)   B a ghda   I r a q   f or   it s   s uppor o f   th is   wor k.       RE F E RE NC E S     [1 ]   Cen t er s   fo D i s eas C o n t ro l   an d   Prev en t i o n   ( C D C ) ,   [O n l i n e ],   A v a i l a b l e :   h t t p s : / / w w w . c d c. g o v / p n e u mo n i a /   p rev e n t i o n . h t m l O ct   2 0 1 8 .   [2 ]   Ch eat S h eet ,   [O n l i n e],     A v ai l ab l e:   h t t p s : / / w w w . c h eat s h e et . co m/ h eal t h - f i t n es s / t h e s e - are - the - l ead i n g - cau s es - of - d e at h - in - the - u - s . h t ml ,   2 0 1 8 .   [3 ]   R.   G ru et zemach er  a n d   A .   G u p t a,   “U s i n g   d ee p   l e arn i n g   f o p u l m o n ar y   n o d u l d e t ect i o n   d i a g n o s i s ,     Twen t y - s eco n d   A m er i ca s   Co n f e r en ce  o n   In f o r m a t i o n   S y s t e m s p p .   1 - 9 2 0 1 6 .   [4 ]   D J .   Mo l l u ra,   et   a l . ,   “W h i t p a p er  rep o rt   o t h rad - ai d   co n feren ce  o n   i n t ern a t i o n a l   rad i o l o g y   f o d ev e l o p i n g   co u n t r i es :   i d en t i f y i n g   ch a l l e n g e s ,   o p p o rt u n i t i e s ,   an d   s t rat e g i e s   fo i mag i n g   s er v i ce s   i n   t h d e v el o p i n g   w o r l d ,   Jo u r n a l   o f   t h A m e r i c a n   C o l l eg o f   R a d i o l o g y,   A m   Co l l   R a d i o l v o l .   7 n o .   7 ,   p p .   4 9 5 - 5 0 0 ,   2 0 1 0 .   [5 ]   A .   K es s el ma n ,   et   al . ,   “2 0 1 5   rad - a i d   c o n fere n ce  o n   i n t e rn at i o n al   rad i o l o g y   f o d ev e l o p i n g   c o u n t r i es :   T h e v o l v i n g   g l o b a l   rad i o l o g y   l an d s ca p e, ”  Jo u r n a l   o f   t h A m e r i c a n   Co l l e g o f   R a d i o l o g y v o l .   13 n o .   9 ,   p p .   1 1 3 9 - 1 1 4 4 ,     Sep   2 0 1 6 .   [6 ]   K .   H e,   et   al . ,   “D eep   res i d u al   l earn i n g   fo i mag e   reco g n i t i o n , ”  P r o ceed i n g s   o f   t h IE E E   co n f e r en ce  o n   co m p u t e r   vi s i o n   a n d   p a t t er n   r eco g n i t i o n ,   p p .   7 7 0 - 7 7 8 ,   2 0 1 6 .   [7 ]   S .   Y an ,   et   al . D ri v er  Beh av i o Reco g n i t i o n   Bas e d   o n   D eep   Co n v o l u t i o n a l   N eu ra l   N et w o r k s ,   12 th   In t er n a t i o n a l   Co n f er e n ce  o n   N a t u r a l   Co m p u t a t i o n ,   F u z z S ys t em s   a n d   Kn o wl e d g D i s co ve r (ICNC - F S K D ) ,   2 0 1 6 .   [8 ]   J .   L i u ,   et   al . Sk el et o n   Bas e d   H u ma n   A ct i o n   Reco g n i t i o n   w i t h   G l o b a l   Co n t ex t - A w are  A t t en t i o n   L ST N et w o r k s ,   IE E E   Tr a n s a ct i o n s   o n   Im a g P r o ces s i n g ,   A p 2 0 1 8 .   [9 ]   M .   Ch en ,   et   al . D ee p   Feat u re  L earn i n g   fo Me d i ca l   Imag A n a l y s i s   w i t h   Co n v o l u t i o n al   A u t o e n co d er  N e u r al ,   IE E E   Tr a n s a ct i o n s   o n   B i g   D a t a p p .   1 - 1 ,   2 0 1 7 .   [1 0 ]   H .   A .   Al   Mu b arak ,   et   al . A   H y b r i d   D eep   L earn i n g   an d   H an d craft e d   Feat u re  A p p r o ac h   fo Cer v i ca l   Can cer   D i g i t a l   H i s t o l o g y   Ima g Cl as s i f i cat i o n ,   In t er n a t i o n a l   Jo u r n a l   o f   H e a l t h c a r In f o r m a t i o n   S ys t em s   a n d   In f o r m a t i cs v o l .   1 4 ,   n o .   2 ,   p p .   6 6 - 8 7 ,   2 0 1 9 .   [1 1 ]   T .   K o o i ,   et   al .,  L arg s cal d eep   l ear n i n g   f o co mp u t er  ai d ed   d e t ect i o n   o mammo g rap h i l e s i o n s ,”   M ed   Im a g e   A n a l ,   v o l .   3 5 ,   pp.   3 0 3 - 3 1 2 2 0 1 6 .   [1 2 ]   M.   G h afo o ri an ,   et   al .,  N o n - u n i f o rm  p at c h   s amp l i n g   w i t h   d ee p   co n v o l u t i o n a l   n eu ra l   n et w o r k s   fo w h i t mat t e r   h y p eri n t e n s i t y   s eg me n t a t i o n ,”   IE E E   I n t   S y m p   B i o m e d i c a l   Im a g i n g ,   p p .   1 4 1 4 - 1 4 1 7 2 0 1 6 .   [1 3 ]   J .   Ch arb o n n i er,   et   al .,  Imp ro v i n g   ai rw a y   s eg me n t a t i o n   i n   co m p u t ed   t o mo g rap h y   u s i n g   l ea k   d et ec t i o n   w i t h   co n v o l u t i o n a l   n et w o r k s ,”   M e d   Im a g A n a l ,   v o l .   36,   p p .   52 - 60 2 0 1 7 .   [1 4 ]   M.   J .   J .   P.   v an   G ri n s v en ,   e t   al .,  Fas t   co n v o l u t i o n al   n eu ra l   n e t w o rk   t rai n i n g   u s i n g   s e l ect i v e   d a t s am p l i n g :   A p p l i cat i o n   t o   h em o rrh a g d et ect i o n   i n   co l o fu n d u s   i mag e s ,”   IE E E   Tr a n s   M e d   Im a g i n g ,   v o l .   3 5 ,   n o .   5 ,     pp.   1 2 7 3 - 1 2 8 4 2 0 1 6 .   [1 5 ]   E .   K es i m,   et   al . ,   “X - Ray   Ch e s t   Ima g Cl as s i f i cat i o n   b y   A   Smal l - Si z e d   Co n v o l u t i o n al   N eu ra l   N et w o r k , ”  S ci e n t i f i c   M eet i n g   o n   E l ec t r i ca l - E l ect r o n i B i o m ed i ca l   E n g i n ee r i n g   a n d   Co m p u t e r   S c i en ce   ( E B B T) ,   2 0 1 9 .   [1 6 ]   C.   T at aru ,   et   al . ,   “D eep   L earn i n g   fo ab n o rmal i t y   d et ec t i o n   i n   Ch es t   X - Ray   i ma g es , ”  T e s i s   St an f o r d     U n i v er s i t y ,   2 0 1 7 .   [1 7 ]   X .   W an g ,   et   al . ,   “Ch es t X - Ra y 8 :   H o s p i t al - Sca l Ch es t   X - Ra y   D at a b as an d   Ben c h mark s   o n   W ea k l y - Su p erv i s e d   Cl as s i fi cat i o n   an d   L o cal i zat i o n   o Co mmo n   T h o rax   D i s eas e s , ”  2 0 1 7   IE E E   Co n f er e n ce  o n   Co m p u t er   V i s i o n   a n d   P a t t e r n   R ec o g n i t i o n   (C V P R ) ,   p p .   3 4 6 2 - 3 4 7 1 ,   2 0 1 7 .   [1 8 ]   P.   Raj p u r k ar,   et   a l . ,   Ch eX N et :   Rad i o l o g i s t - L ev e l   Pn e u mo n i D e t ect i o n   o n   Ch e s t   X - Ray s   w i t h   D ee p   L earn i n g , ”  i n   P r o ceed i n g s   o f   t h IE E E   co n f e r en ce  o n   co m p u t e r   vi s i o n   a n d   p a t t e r n   r eco g n i t i o n ,   D ec  2 0 1 7 .   [1 9 ]   G .   H u an g ,   e t   al . ,   “D e n s e l y   c o n n ect e d   co n v o l u t i o n al   n et w o r k s , ”  P r o cee d i n g s   o f   t h IE E E   c o n f er en ce  o n   c o m p u t e r   vi s i o n   a n d   p a t t er n   r eco g n i t i o n ,   A u g   2 0 1 7 .     [2 0 ]   S.   Io ffe  an d   C.   Szeg ed y ,   “Bat ch   n o rmal i zat i o n :   A cce l er at i n g   d ee p   n et w o r k   t rai n i n g   b y   red u c i n g   i n t ern a l   co v ari at e   s h i f t , ”  In t er n a t i o n a l   co n f e r en ce  o n   m a ch i n l ea r n i n g ,   2 0 1 5 .   [2 1 ]   R.   H .   A b i y e v   an d   M .   K .   S.   Ma’ai t a h ,   “D ee p   Co n v o l u t i o n a l   N e u ral   N et w o r k s   f o Ch e s t   D i s eas e s   D e t ect i o n ,   H i n d a w i ,   Jo u r n a l   o f   H ea l t h ca r E n g i n eer i n g v o l .   2 0 1 8 ,   p p .   1 - 1 1 ,   2 0 1 8 .   [2 2 ]   H .   W an g   an d   Y .   X i a,   Ch es t N e t :   A   D ee p   N eu ra l   N et w o rk   fo Cl as s i f i ca t i o n   o T h o rac i D i s e as e s   o n   Ch es Rad i o g ra p h y , ”  P r o ceed i n g s   o f   t h IE E E   Co n f e r en ce  o n   Co m p u t er   V i s i o n   a n d   P a t t er n   R ec o g n i t i o n ,   2 0 1 8 .   [2 3 ]   T o w ard s   D at Sci e n ce,   [O n l i n e],   A v ai l ab l e:   h t t p s : / / t o w ar d s d at a s ci e n ce. co m/ u n d ers t an d i n g - res i d u al - n et w o r k s - 9 ad d 4 b 6 6 4 b 0 3 2 0 1 8 .   [2 4 ]   Imag eN e t ,   [O n l i n e],   A v a i l a b l e :   h t t p : / / w w w . i mag e - n et . o r g .   [2 5 ]   Y .   L i ,   et   al . ,   “L earn i n g   t o   d i a g n o s fr o s cra t ch   b y   e x p l o i t i n g   d ep en d en c i es   am o n g   l a b el s , ”  P r o ceed i n g s   o f   t h e   IE E E   co n f er e n ce  o n   co m p u t er   v i s i o n   a n d   p a t t er n   r ec o g n i t i o n ,   2 0 1 7 .           Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         De e lear ning  mode for   thor ax   dis e as e s   de tec ti on  ( Ghada  A .   Shade e d)   449   B I OG RA P HI E S   OF   AU T HO RS          G h ad A .   Sh ad eed   recei v ed   h er  B. Sc.     i n   Co mp u t er  E n g i n eer i n g   fro Mu s t an s i r i y a h   U n i v er s i t y ,   Bag h d ad ,   Iraq ,   i n   2 0 1 6 ,   s h i s   c u rren t l y   an   M. Sc.   s t u d e n t   i n   t h D e p art me n t   o Co m p u t er  E n g i n eeri n g ,   Mu s t a n s i ri y ah   U n i v ers i t y / Ba g h d ad ,   Iraq .           Mo h amme d   A l i   T a w feeq   i s   an   as s o c i at e d   Pro fes s o r   at   Co mp u t er  E n g i n eer i n g   D ep ar t men t ,   Co l l eg o E n g i n eeri n g ,   Mu s t an s i r i y ah   U n i v ers i t y .   H recei v e d   h i s   B. Sc.   i n   E l ec t ri ca l   E n g i n eeri n g   fro U n i v er s i t y   o T ec h n o l o g y / Ba g h d ad ,   Iraq   i n   1 9 7 9   a n d   h i s   M. Sc.   d e g ree  i n   Co mp u t er  E n g i n eeri n g   fro U n i v ers i t y   o Bag h d ad   i n   1 9 8 9 .   H o b t a i n e d   h i s   Ph . D .   i n   Co mp u t er   E n g i n eeri n g   fro U n i v er s i t y   o T ec h n o l o g y ,   Bag h d a d ,   Iraq   i n   2 0 0 6 .   H i s   res earc h   i n t eres t s   i n c l u d In t el l i g en t   Sy s t em s ,   O p t i mi za t i o n   T ec h n i q u es ,   W i re l es s   Sen s o N et w o r k s ,   a n d     Io T   ap p l i cat i o n s .                   Saw s a n   M.   Mah mo u d   recei v ed   h er  B. Sc.   i n   Co mp u t er  Sci e n ce  fro U n i v er s i t y   o f   T ech n o l o g y / Bag h d a d ,   Iraq   i n   1 9 9 4 .     Sh o b t ai n e d   h er   M. Sc.     fro U n i v er s i t y   o Bag h d ad   i n   1 9 9 8 .     H er  Ph . D .     d eg ree  i n   Co m p u t at i o n a l   In t e l l i g e n ce  i s   o b t ai n ed   fr o N o t t i n g h am  T re n t   U n i v er s i t y ,   N o t t i n g h am,   U K   i n   2 0 1 2 .     Saw s an   j o i n e d   Mu s t a n s i ri y ah   U n i v ers i t y /   E n g i n e er i n g   Co l l eg i n   1 9 9 4   a s   a   memb er  o t h aca d emi s t aff .     H er  res earc h   i n t ere s t s   i n cl u d e b u t   n o t   l i mi t e d   t o ,   Co m p u t at i o n al   I n t e l l i g e n ce,   A m b i e n t   In t e l l i g e n ce  (Smart   H o me  an d   In t el l i g en t   E n v i r o n me n t ),   W i rel e s s   Sen s o N et w o r k ,   D at Mi n i n g ,   an d   H ea l t h   Mo n i t o r i n g .         Evaluation Warning : The document was created with Spire.PDF for Python.