TELK O M N I K A   Te l e c ommu n i c at i on ,   C omp u ti n g ,   El e c t r on i c s   an d   C on tr o l   V ol .   1 8 ,   N o .   2 A pri l   2020 ,   p p.   8 0 7 ~ 8 1 4   IS S N :   1693 - 6930 ,   a c c r e di t e d   F i rs t   G r a de   by   K e m e n ri s t e kdi k t i ,   D e c r e e   N o:   21 / E / K P T / 2 018   D O I:   10 . 129 28/ T E L K O M N IK A . v1 8 i 2 . 1475 4     807       Jou r n al   h o m e pa ge ht t p: / / j our nal . uad . a c . i d/ i nd e x . php / T E L K O MNIKA   E v a l u a t i o n   o f   d e e p   n e u r a l   n e t w o r k   a r c h i t e c t u r e s   i n     t h e   i d e n t i f i c a t i o n   o f   b o n e   f i ssu r e s       F r e d M a r n e z ,   C é s ar   H e r n án d e z ,   F e r n an d M ar t í n e z   F a c u l t a d   T e c nol óg i c a ,   U ni v e r s i da d   D i s t r i t a l   F r a nc i s c J o s é   de   C a l d a s ,   C o l o m b i a       A r ti c l e   I n fo     A BS TR A C T   Ar t i c l e   h i s t or y :   Re c e i v e d   A ug  16 ,   201 9   Re vi s e J a 4 ,   2020   A c c e pt e F e 13 ,   202 0     A ut o m a t e d   m e d i c a l   i m a ge   pr oc e s s i ng ,   p a r t i c u l a r l y   o f   r a d i o l og i c a l   i m a g e s ,   c a n   r e du c e   t he   nu m b e r   o f   d i a gn os t i c   e r r o r s ,   i n c r e a s e   pa t i e nt   c a r e   a nd  r e d uc e   m e d i c a l   c os t s .   T h i s   p a pe r   s e e ks   t o   e v a l ua t e   t he   p e r f or m a nc e   of   t h r e e   r e c e n t   c onvo l u t i ona l   ne u r a l   n e t w o r k s   i t h e   a ut o no m ou s   i de nt i f i c a t i on   o f   f i s s u r e s   ove r   t w o - d i m e n s i ona l   r a d i o l og i c a l   i m a ge s .   T he s e   a r c h i t e c t ur e s   ha ve   be e n   pr op os e a s   de e ne u r a l   n e t w or k   t ype s   s pe c i a l l y   de s i gne d   f or   i m a g e   c l a s s i f i c a t i on ,   w hi c h   a l l ow s   t he i r   i nt e g r a t i o w i t h   t r a d i t i o na l   i m a g e   pr oc e s s i n s t r a t e g i e s   f or   a u t o m a t i c   a na l y s i s   o f   m e di c a l   i m a g e s .   I pa r t i c u l a r ,   w e   u s e   t h r e e   c onvo l u t i ona l   n e t w or k s :   R e s N e t   ( r e s i d ua l   ne ur a l   ne t w or k) ,   D e ns e N e t     ( de n s e   c onvo l u t i ona l   ne t w o r k) ,   a nd   N A S N e t   ( n e ur a l   a r c hi t e c t u r e   s e a r c h   ne t w o r k )   t o   l e a r n   i nf o r m a t i o f r om   a   s e t   of   20 i m a g e s   l a be l e d   h a l f   a s   f i s s ur e bone s   a nd  h a l f   a s   s e a m l e s s   bon e s .   A l l   t h r e e   n e t w or k s   a r e   t r a i ne a n a d j u s t e unde r   t h e   s a m e   c o ndi t i on s ,   a nd   t he i r   pe r f o r m a nc e   w a s   e va l u a t e d   w i t t he   s a m e   m e t r i c s .   T h e   f i na l   r e s u l t s   c on s i de r   n ot   o nl y   t he   m o de l ' s   a b i l i t y   t o   pr e d i c t     t he   c ha r a c t e r i s t i c s   of   a n   unk now n   i m a ge   b ut   a l s o   i t s   i nt e r na l   c o m p l e x i t y.     T he   t hr e e   n e ur a l   m ode l s   w e r e   op t i m i z e d   t o   r e duc e   c l a s s i f i c a t i on   e r r o r s   w i t h out   pr od uc i ng  ne t w or ov e r - a d j u s t m e nt .   I a l l   t h r e e   c a s e s ,   ge n e r a l i z a t i on    of   be h a vi or   w a s   obs e r v e d ,   a nd   t he   a b i l i t of   t he   m ode l s   t o   i d e n t i f y   t he   i m a g e s   w i t h   f i s s ur e s ,   how e ve r   t h e   e x pe c t e d   pe r f o r m a n c e   w a s   on l y   a c h i e ve d   w i t   t he   N A S N e t   m o de l .   Ke y w or d s :   Bi om e d i c a l   c o m pu t i ng   D e e p   ne ura l   n e t w or k   F i s s ure s   r e c og ni t i on   Im a g e   proc e s s i ng   T hi s   i s   an   op e n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e n s e .     Cor r e s pon di n g   Au t h or :   F re dy  M a rt í n e z ,   F a c ul t a T e c nol ógi c a ,     U ni ve rs i da d   D i s t ri t a l   F ra nc i s c o   J os é   de   Ca l d a s ,     Bogot á ,   Co l om bi a .   E m a i l :   fhm a rt i n e z s @ udi s t ri t a l . e du. c o       1.   I N TR O D U C TI O N   In  r e c e nt   y e a rs   t h e re   h a v e   b e e m or e   a nd   m ore   a dva nt a ge s   of  t he   us e   of   d i gi t a l   i m a ge   pr oc e s s i ng   i s   us e d   a s   a   t ool   t o   s uppor t   t h e   di a gn os i s   from   m e di c a l   i m a g e s   [1,   2]   a nd   i t ’s   e v e n   prov e d   v e ry   v a l u a bl e   t o   t ra c k   t hrough out   i m a ge s   ( t e m por a l   q ua n t i f i c a t i on   a nd   grow t h)   bo t h   d a m a ge   a nd   b e h a vi o r   of   t i s s ue s   [3 ,   4] .     A a u t o m a t e d   s ys t e m   ha s   t h e   a dv a nt a ge   of   qu i c k l i de nt i fy i ng  s p e c i fi c   pa t t e rns   i l a rg e   vol u m e s   of   i m a g e s   w i t a   hi gh   d e gre e   o r e l i a b i l i t y .   A s   a   s u pport   t o ol   for  s p e c i a l i z e m e d i c a l   pe rs o nne l ,   t h i s   t ool   c a not   onl re duc e   d i a g nos t i c   t i m e   b ut   a l s r e du c e s   c onfus i ng  or   m i s di a gnos e s   [ 5].   T h e   gr e a t   a dva n t a g e   of   di a gnos t i c   i m a gi ng   i s   i t s   non - i nv a s i v e   c ha r a c t e r   s i nc e   m os t   of  t h e s e   i m a ge s   a r e   c a p t ure by  r e s on a nc e   or   ra d i ogr a phy  [6].     In  g e ne ra l   t e r m s ,   t he s e   t ool s   us e   a   c e rt a i n   a l gor i t h m   of   c l a s s i fi c a t i on   on   t he   i m a ge   t d e t e r m i n e   i f   i t   pos s e s s e s   or  not   a   c e rt a i n   c h a r a c t e r i s t i c ,   a n t h us   t c l a s s i fy   i t   [7 ,   8] .   I m a ge s   a r e   no rm a l l pr e - pro c e s s e t m a x i m i z e   t h e   a bi l i t t o   de t e c t   t he   c h a ra c t e ri s t i c s   of  i nt e re s t   [9 - 11] .   T he   c l a s s i fi c a t i on   a l gori t h m ,   i g e ne ra l ,     i s   no t   a pp l i e d   t o   a i m a g e   i nd i s c ri m i na t e l y,   on   t he   c ont r a ry ,   a   r e gi on   o i nt e r e s t   (RO I)   i s   i d e nt i fi e d   on   t h e   i m a g e ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   1 8 ,   N o.   2 A pri l   2 020:    8 0 7   -   8 1 4   808   w hi c h   c a b e   d one   m a nu a l l y,   or  e ve a ut o m a t i c a l l y   i n   m ore   a d va n c e s c h e m e s ,   for   e x a m p l e ,   t hrou gh  s e gm e nt a t i on   s t r a t e gi e s   [ 12 - 14] .   It   i s   a l s o   pos s i b l e   t o   us e   i t e r a t i ve   s e a rc he s   on   c e rt a i i m a g e   s t ru c t ur e s   t o   de t e rm i ne   c h a ra c t e ri s t i c s   a nd   RO I .   S t a t i s t i c a l   m e t hods   a re   a l s o   us e d   i n   w hi c h   t he   i m a ge   i s   na v i ga t e d   f rom   pre vi ous   i nfor m a t i on   of   c ha r a c t e r i s t i c   be h a vi ors   [1 5].   D e e p   c on vol u t i o na l   n e ura l   ne t w orks   h a ve   b e c o m e   a   pow e rful   t oo l   for   i m a ge   c l a s s i f i c a t i on,   w i t pa rt i c u l a r   a ppl i c a t i on   t o   m e d i c a l   i m a ge s   [16 ,   17] .   T h e s e   c or re s pond   t o   r e gu l a r i z e d   ve rs i ons   of  t h e   t ra di t i on a l   m ul t i l a y e pe r c e p t rons   (fu l l y   c o nne c t e d   forw a r l a y e rs )   [ 18,   19] .   T ha nks   t t hi s   re gul a ri z a t i o pr oc e s s ,   c onvo l ut i ona l   n e t w o rks   a c hi e v e   c om p l e s t ru c t u re s   w i t h   s i m pl e   p a t t e rns   t h a t   r e du c e   t h e   pr obl e m   of  n e t w o rk  ove r - a dj us t m e nt   [20 ,   21 ].   W e   t ra i ne t hre e   m ode l s   of   de e p   ne ura l   n e t w o rks   t i de n t i fy   fi s s ur e s   on   di g i t i z e ra di o l og i c a l   i m a g e s .   T he   i m a ge s   us e d   f or  t h e   t ra i ni ng  c orr e s pond  t o   s e c t i ons   o bone s   i w h i c h   RO I   h a s   be e pre vi ous l y   i de n t i f i e d ,   bu t   no   m or phol ogi c a l   ope r a t i on   i s   a p pl i e d   t o   t he m   [22 ,   23] .   T h e   t yp e s   of   de e p   ne t s   s e l e c t e c orr e s pond  t t he   s t a t e   of  t he   a r t   i c onvo l ut i ona l   n e t s   for  i m a ge   c l a s s i fi c a t i o [24 ,   2 5].   T h e   fo l l ow i ng   pa rt   of   t h e   pa p e r   i s   a rr a ng e d   i n   t hi s   w a y .   S e c t i on   2   pr e s e nt s   pre l i m i na ry   c onc e pt s   a nd  probl e m   f orm u l a t i o n.   S e c t i on   3   i l l us t r a t e s   t he   d e s i gn   pro fi l e   a nd   d e ve l op m e n t   m e t hodol og y.   S e c t i on   w e   pre s e nt   t h e   pre l i m i na ry   re s ul t s .   A n f i na l l y ,   i n   S e c t i on  5,   w e   pr e s e n t   ou c on c l us i o ns .       2.   P R O BL EM   F O R M U LA TI O N   W e   e v a l u a t e   m ode l s   ba s e on  de e n e ur a l   n e t w or ks   by  i de n t i fyi ng   c h a ra c t e ri s t i c s   i bone   s t ru c t ur e s   a s   s how n   i n   F i g ure   1 .   In   p a rt i c ul a r,   w e   l oo k   for   m ode l s   t ha t   i d e nt i fy   a nd   c l a s s i fy   bone s   w i t h   f i s s ure s     a nd  fr a c t ur e s   i n   one   c a t e gory ,   a nd  t hos e   he a l t hy  b one s   i a   s e c on c a t e gory .   I d e e l e a rn i ng ,   a   c o nvol u t i o na l   ne ura l   n e t w or (CN N i s   a   c l a s s   of  d e e p   ne u ra l   ne t w or ks   c o m m o nl a pp l i e t o   a n a l y z i ng  i m a ge s .   T h e h a v e   t he   gre a t   a dva n t a ge   t h a t   t h e re qu i re   m uc h   l e s s   i m a ge   pr e - p roc e s s i n t i de nt i fy  t he   f e a t ure s   of  i nt e r e s t   t ha a ny  ot h e d i gi t a l   p roc e s s i ng   s t ra t e gy.   T h e y   op e ra t e   a s   c l a s s i f i c a t i o a l go ri t hm s   i w hi c a a dj us t a bl e   w e i gh t   va l u e   i s   a s s i gn e t t h e   c ha r a c t e r i s t i c s   of  t he   i m a ge   t h a t   m a ke   i t   d i s t i ngui s h a bl e   fro m   o t he rs .   W i t h   prop e r   t ra i ni ng   a nd  a dj us t m e n t ,   a   c o nvol ut i ona l   n e t w o rk  c a n   r e p l i c a t e   t he   b e ha vi or   of   a   s ophi s t i c a t e d   fi l t e o   t he   i m a g e .   B e s i d e s ,   unl i k e   t r a di t i on a l   ne ur a l   ne t w orks ,   a   c o nvol u t i ona l   ne t w ork  c a i d e n t i fy  s p e c i a l     a nd  t e m por a l   d e pe n de n c i e s   i i m a g e s .   T he   hi gh  pe rf orm a nc e   of   c on vol u t i on a l   ne t w orks   i s   d ue   t t he   de s i gn  of   t h e i ne t w ork  a rc h i t e c t ure .   W hi l e   t he i ope r a t i on   i s   s t i l l   a   bl a c k   bo x,   t he i hi gh   p e rfor m a n c e   i s   a t t r i but e d   t c h a ra c t e ri s t i c s   s uc a s   ne t w ork  de pt h ,   ne t w ork  w i dt (gr e a t e nu m b e o p a ra m e t e rs ) ,   a nd   s k i c onn e c t i ons   (w he t he d e ns e   or  r e s i d ua l ,   w hi c i nc r e a s e s   t h e   c o m pl e xi t o t he   ne t w ork  a nd   i t s   a b i l i t y   t o   re p re s e n t   i nfor m a t i on) .   Cons e q ue n t l y ,   t he   ne t w orks   s e l e c t e f or  t he   vi s u a l   c a t e g ori z a t i on   t a s of   t h i s   pe rfor m a nc e   t e s t   a r e   R e s N e t   ( r e s i du a l   ne ur a l   ne t w ork ) ,   D e ns e N e t   ( de ns e   c onvo l ut i on a l   ne t w ork ) ,   a nd   N A S N e t   ( n e ur a l   a r c hi t e c t ur e   s e a r c h   ne t w ork ).           F i gure   1 .   S a m p l e   da t a ba s e   of   c r a c ke d   bon e   i m a g e s   us e f or  m ode l   t r a i n i ng   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol           E v a l uat i on   of   d e e p   n e ur al   ne t wor k   ar c hi t e c t ur e s   i n   ….   ( F r e d y   M ar t í n e z )   809   3.   M ET H O D O L O G Y   T he   t ra i ni ng   o t h e   t hr e e   m ode l s   i s   pe rfo rm e d   w i t t h e   s a m e   d a t a s e t ,   a   c us t o m   s e t   of   X - ra y   i m a ge s   s e pa r a t e i n t t w o   c a t e gor i e s   (fi s s ur e d   a n s e a m l e s s ).   T h e   i m a g e s   c orr e s pond i ng   t o   a   c a t e gory   a r e   s t or e d   i n     t he   s a m e   fol d e r   for   e a s i de n t i f i c a t i on   by  c a t e gory   (t h e   na m e   of  t h e   fol d e r   i s   t he   n a m e   o t he   c a t e gory) .   W e   us e   1000   i m a g e s   for   e a c h   c a t e gor y   ke e pi ng   t h e   b a l a nc e   of   c l a s s e s   t o   a vo i d   b i a s e s   i n   t he   m od e l .   W e   us e   T e ns orF l ow   a s   t h e   f ra m e w ork  on  w hi c w e   r un  K e r a s .   N u m py ,   S c i ki t   L e a rn ,   P a nda s ,   O pe n CV   a n M a t pl o t l i w e r e   a l s us e a s   s upp ort   l i bra r i e s .   T he   i m a g e s   w e re   ra n dom l m i xe d   i n   t h e   da t a   l i s t   t i m pro ve   ne t w ork   p e rfor m a n c e .   Be s i de s ,   t he y   a r e   a l l   r e s i z e d   t o   t h e   s a m e   s i z e   ( 256*25 p i x e l s w i t h   t he   s a m e   go a l .   W e   do  n ot   c o ns i de t he   a s p e c t   r a t i o   of    t he   i m a g e s   w h e re s i z i n t he m .   In   a l l   t hr e e   c a s e s ,   t he   da t a s e t   w a s   di v i d e i nt o   t w o   gro ups ,   a   t r a i n i ng   group ,   a nd  a   t e s t   g roup .   W e   us e 7 0%  of  t he   d a t a   f or  t ra i ni n a nd   3 0%  for   p e rfor m a nc e   e va l ua t i o n.   T he   t hr e e   m o de l s   a r e   c o m pi l e d   s pe c i fy i ng  t he   op t i m i z a t i on  fun c t i on,   t h e   c os t   or  l os s   fun c t i on,     a nd  t he   m e t r i c s .   W e   us e   t h e   s t oc h a s t i c   gra d i e nt   de s c e nt   op t i m i z a t i on   fun c t i on,   t h e   c a t e gori c a l   c ros s - e n t ropy   func t i on ,   w h i c c a n   b e   us e d   t o   r e fl e c t   t he   a c c ura c y   of   t h e   p re di c t i ons ,   a nd   for   t h e   m e t r i c s ,   a c c ur a c y   (or   h i t   ra t e )   a nd  m s e   ( m e a of  t he   qu a dr a t i c   e rr ors ).     3. 1 .   R e s N e ( r e s i d u al   n e u r a l   n e tw o r k )   T hi s   ne t w ork  m i m i c s   t he   s t ru c t ur e   of  py ra m i d a l   c e l l s   i n   t h e   c e re br a l   c ort e x.   T hi s   s t ruc t ure   i s   a c hi e ve by  j u m pi ng  (d oubl e   or   t r i pl e o ve s o m e   of  t h e   l a ye rs ,   w h i c us e   Re L (Re c t i fi e L i n e a U ni t s a c t i v a t i on  func t i on   a s   s how i n   F i gur e   2.           F i gure   2 .   B ui l di ng   b l oc k   (R e s N e t )       3. 2 .   D e n s e N e t   ( d e n s e   c on vol u t i on al   n e tw o r k )   T he   D e ns e N e t   s t ru c t u re   a l s o   h a s   s i m i l a r   j u m ps   t t he   Re s N e t ,   bu t   e a c l a y e re c e i ve s   i npu t   fr om     t he   pr e vi o us   l a y e rs ,   a nd  c onn e c t s   t o   t h e   s u bs e qu e nt   l a y e rs   ( e a c h   l a y e r e c e i ve s   know l e dg e   fro m   t he   pr e vi ous   l a y e rs   a s   s how n   i n   F i g ure   3 .           F i gure   3 .   B ui l di ng   b l oc k   (D e ns e N e t )   Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   1 8 ,   N o.   2 A pri l   2 020:    8 0 7   -   8 1 4   810   3. 3 .   N A S N e t   ( n e u r al   a r c h i t e c tu r e   s e a r c h   n e tw o r k )   T he   N A S N e t   ne t w ork   c ons i s t s   of  a   s p e c i fi c   b l o c k,   t h e   be s t   c on vol u t i o na l   s t ru c t ure   for   CIF A R - 10 ,   w hi c h   i s   t h e g e n e ra l i z e d   for   Im a g e N e t ,   a nd   fi na l l y   re p l i c a t e a s   a   bl oc k   for   l a rge   d a t a s e t s   a s   s h ow   i F i gure   4 .           F i gure   4 .   I m a ge N e t   a r c hi t e c t ur e   (N A S N e t )       4.   F I N D I N G S   T o   e v a l u a t e   t h e   pe rfor m a n c e   of   t he   t hr e e   m ode l s ,   i n   a dd i t i on   t o   l os s   a nd   a c c ura c y   w i t h   t r a i n i ng     a nd   v a l i da t i on   da t a ,   w e   h a v e   us e d   pre c i s i o n,   r e c a l l ,   a nd   F 1 - s c ore   a s   pe rf orm a n c e   m e t ri c s .   T he   re s u l t s   s how   s upe ri or   N A S N e t   p e r for m a nc e   ov e r   Re s N e t   a nd   D e ns e N e t .   Re s N e t   ha d   t he   poor e s t   p e rfor m a n c e ,   no t   on l y   a re   i t s   m e t ri c s   v e ry   l ow ,   b ut   i t s   a c c u ra c d oe s   not   i n c r e a s e   s i gn i fi c a nt l w i t h   l os s   re du c t i on ,   a nd   t h e   m od e l   i s   t h e   m os t   c o m pl e ( ove r   23   m i l l i on   pa r a m e t e rs ) .   D e ns e N e t   h a s   s i m i l a r   p e rfor m a n c e   bu t   w i t o nl y   m i l l i on  pa ra m e t e rs ,   b ut   w i t h   s t i l l   ve ry   l ow   m e t r i c s .   N A S N e t   i s   t h e   on l on e   t ha t   g e t s   a a c c e pt a bl e   p e rfor m a nc e     a nd  w i t h   a   l ow e nu m b e o p a ra m e t e rs   (a   l i t t l e   ov e 4   m i l l i o n ).   S u m m a ry   of  t he   m ode l :   Re s N e t   ( re s i d ua l   n e ur a l   ne t w ork   a s   s how n   i n   F i g ure s   5,   6   a nd   7) :     T ot a l   pa r a m s :   23, 5 91, 810     T ra i na b l e   p a ra m s :   23 , 538 , 690     N on - t ra i n a bl e   p a r a m s :   53 , 120   S um m a ry   of  t h e   m od e l :   D e ns e N e t   (D e ns e   Co nvol u t i o na l   N e t w ork   a s   s how n   i n   F i gu re s   8,   9   a nd   10) :     T ot a l   pa r a m s :   7, 03 9, 5 54     T ra i na b l e   p a ra m s :   6, 955 , 906     N on - t ra i n a bl e   p a r a m s :   83 , 648   S um m a ry   of  t h e   m od e l :   N A S N e t   (N e ura l   A rc h i t e c t ure   S e a rc N e t w ork ,   F i gure s   11 ,   1 a nd   13) :     T ot a l   pa r a m s :   4, 27 1, 8 30     T ra i na b l e   p a ra m s :   4, 235 , 092     N on - t ra i n a bl e   p a r a m s :   36 , 738           F i gure   5 .   T ra i ni ng  l os s   a nd  a c c ur a c y   (R e s N e t )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol           E v a l uat i on   of   d e e p   n e ur al   ne t wor k   ar c hi t e c t ur e s   i n   ….   ( F r e d y   M ar t í n e z )   811       F i gure   6 .   C onfus i o m a t ri x   (R e s N e t )           (a )   (b)     F i gure   7 .   P e rfor m a n c e   m e t ri c s   (R e s N e t ) :   (a Cl a s s i fi c a t i on   re port   (R e s N e t ),   (b)   RO C   c ur ve   a n RO a re a   (R e s N e t )             F i gure   8 .   T ra i ni ng  l os s   a nd  a c c ur a c y   (D e ns e N e t )     F i gure   9 .   C onfus i o m a t ri x   (D e ns e N e t )     Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   1 8 ,   N o.   2 A pri l   2 020:    8 0 7   -   8 1 4   812       (a )   (b)     F i gure   10 .   P e rfor m a n c e   m e t ri c s   (D e ns e N e t ) :   (a Cl a s s i fi c a t i on   re port   (D e ns e N e t ) ,   (b RO C   c urv e   a nd   RO a r e a   (D e ns e N e t )             F i gure   11 .   T r a i n i ng  l os s   a nd     a c c ura c y   (N A S N e t )   F i gure   12 .   Confus i on  m a t ri (N A S N e t )               (a )   (b)     F i gure   13 .   P e rfor m a n c e   m e t ri c s   (N A S N e t ) :   (a Cl a s s i fi c a t i on   re port   (N A S N e t ),   (b)   RO C   c urve   a nd  RO a re a   (N A S N e t )       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol           E v a l uat i on   of   d e e p   n e ur al   ne t wor k   ar c hi t e c t ur e s   i n   ….   ( F r e d y   M ar t í n e z )   813   T he   c onvo l ut i on a l   n e t w or m od e l s   us e d   ha v e   a n   opt i m i z e d   s t r uc t ure   f or   i m a g e   c l a s s i f i c a t i on .     T he   R e s N e t   n e t w or k - ba s e d   m od e l   a c h i e v e s   a   c ons i de ra b l e   r e duc t i o c o m pa r e d   t o   t he   nu m b e of  a dj us t a bl e   pa ra m e t e rs   for   a   d e e p   n e t w ork ,   how e v e r   t h e   n um b e r   of  pa r a m e t e rs   r e m a i ns   hi g h,   a n t he   be s t   o pt i m i s a t i on   s t i l l   s how s   a n   und e r - a dj us t m e nt   of   t he   d a t a   ( 50%   a c c u ra c y).   T he   D e ns e N e t   m od e l   w i t h   a   m uc h   d e ns e r   a rc h i t e c t ure   a c h i e v e s   h i ghe a c c ura c t ha R e s N e t   (58 %),   but   w i t a   m u c h i gh e nu m b e o p a ra m e t e rs .     F i na l l y ,   t h e   op t i m i z e d   N A S N e t   a rc h i t e c t ur e   a c hi e v e s   t h e   hi g he s t   m e t ri c   va l u e s   (75%  a c c ur a c y w i t a   m u c l ow e r   nu m be r   of   p a ra m e t e rs ,   be c om i ng   t h e   r i gh t   s o l ut i on   t o   t he   p robl e m .       5.   C O N C LU S I O N   In  t hi s   p a p e r,   w e   h a ve   e va l u a t e d   t h e   p e rfor m a n c e   of   t h re e   c onvo l ut i on a l   n e ur a l   n e t w or ks   i n     t he   i de nt i fi c a t i on  of  f i s s ure s   on   bon e s .   T he   a i m   of  t he   re s e a rc i s   t f i nd   a a u t om a t i c   m od e l   t h a t   i s   c a pa bl e     of  p roc e s s i ng   r a di ol og i c a l   i m a ge s   a nd   g i vi n g   a   p re l i m i n a ry   di a gn os i s   of   pos s i b l e   bone   fi s s ure s ,   i n   t h e   hop e     of  r e duc i ng   t he   prob a bi l i t y   of   m i s di a gnos i s ,   i nc r e a s i ng   t h e   pe r c e nt a ge   of   p a t i e n t s   a t t e nd e d   a nd   i m pr ovi n   t he   qua l i t of  m e di c a l   s e r vi c e .   T he   s e l e c t e n e t w o rks   w e re :   R e s N e t   ( re s i du a l   ne ur a l   n e t w ork ) ,   D e ns e N e t   ( d e ns e   c onvo l ut i ona l   ne t w ork ) ,   a nd   N A S N e t   ( ne ura l   a rc hi t e c t ur e   s e a rc n e t w o rk ).   T he   pe rfor m a n c e   of   e a c h     of  t h e   m od e l s   w a s   e v a l u a t e b c a l c u l a t i ng   t h e   pr e c i s i on ,   r e c a l l ,   a n F 1 - s c ore   m e t r i c s .   T he   m od e l s   w e re   a l s us e t e v a l ua t e   l os s   a n a c c ur a c w i t t ra i ni ng  a nd  v a l i d a t i on  d a t a .   D e t a i l s   of  t he   nu m be r   of  p a r a m e t e rs     of  e a c m od e l ,   c onfus i on   m a t r i c e s   a nd   RO C   c ur ve   w e r e   a l s s how n .   A f t e a na l yz i ng   t h e   be h a v i or  of  t h e   m ode l s ,   i t   w a s   found   t ha t   o nl y   t h e   N A S N e t   n e t w ork   pr oduc e s   a n   a c c e p t a b l e   c l a s s i fi c a t i on   for   t he   pro bl e m .   T h e   pre c i s i on   v a l u e s   of   t he   N A S N e t   m ode l   w e r e   h i gh e t ha t he   ot he r   t w m od e l s .   S i m i l a r   b e ha vi or   w a s   obs e rve d   i t h e   o t h e r   c a l c ul a t e m e t r i c s .   I a dd i t i on,   t he   N A S N e t   m o de l   i s   t he   s m a l l e s t   of   t he   t hre e ,   r e qu i ri n a   l i t t l e   m ore   t ha n   4   m i l l i on   t ra i na b l e   p a ra m e t e rs ,   c o m pa r e d   t o   7   m i l l i on   i n   t h e   D e ns e N e t   m ode l   a nd   m ore   t ha n   23   m i l l i o i t h e   Re s N e t   m ode l .   T he s e   re s u l t s   a re   i m por t a n t   for   t he   c o rre c t   s e l e c t i on   of  a a ut om a t e d i a g nos t i c   m ode l ,   a nd   s how   t ha t   i t   i s   pos s i bl e   t o   i m pro ve   t he   p e rfor m a nc e   of   t hi s   m ode l   t hr ough   a   l a r ge r   s e t   of   t r a i n i ng   i m a ge s   a nd   b e t t e r   t un i ng   of   pa r a m e t e rs .   F ut ure   w ork   w i l l   f oc us   on  i m provi ng  t he   f i t   of  t hi s   ne t w ork   by   a l t e ri ng   i t s   d e pt a nd   us i ng   i m a ge s   w i t m ore   v i s ua l   i nfor m a t i on .       A C K N O WL ED G E M EN TS   T hi s   w ork   w a s   s u pport e d   by   t h e   U ni v e rs i d a D i s t r i t a l   F ra n c i s c J os é   d e   Ca l da s ,   i n   pa r t   t hrou gh  CID C ,   a nd   p a rt l y   by   t he   F a c u l t a d   T e c n ol óg i c a .   T h e   vi e w s   e xpr e s s e i n   t h i s   pa p e r   a re   n ot   n e c e s s a ri l y   e n dors e   by  D i s t r i c t   U n i ve rs i t y .   T he   a ut hors   t h a nk  t h e   r e s e a rc h   gr oup  A RM O S   fo t he   e v a l u a t i on  c a r ri e ou t   o prot ot ype s   of   i d e a s   a nd   s t r a t e gi e s .       R EF ER EN C ES   [ 1]     M .   H u s s a i n ,   A .   B hui ya n ,   A .   T ur p i n ,   C .   L uu,   R .   S m i t h ,   R .   G u y m e r ,   a nd   R . ,   K o t a g i r i .   A ut o m a t i c   i de n t i f i c a t i on   o f   pa t h ol ogy - di s t or t e d   r e t i na l   l a ye r   boun da r i e s   u s i ng   s d - oc t   i m a gi n g ,”   I E E E   T r ans a c t i on s   on   B i om e di c al   E ngi ne e r i ng ,   vol .   64 ,   n o.   7 ,   pp.   1 638 1649 ,   201 7.     [ 2]     O .   Z e nt e no ,   F .   Z v i e t c ov i c h,   D .   Z a p a t a ,   H .   M a r ue n da ,   B .   V a l e nc i a ,   A .   L l a n os ,   J .   A r e va l o ,   M .   M on t e r o,   R .   L a va r e l l o ,   a nd  B .   C a s t a ne d a ,   A i n t e g r a t e pr o t o c ol   f o r   t he   r e s e a r c h   a n m on i t o r i ng  o f   c ut a ne ous   l e i s h m a n i a s i s ,”   I E E E   L at i n   A m e r i c a   T r a ns a c t i on s v ol .   15 ,   n o.   1 1 ,   pp .   2164 217 0,   20 17 .     [ 3]     S .   M a kr og i a nn i s ,   K .   F i s hbe i n ,   A .   M oo r e ,   R .   S pe n c e r ,   a nd   L .   F e r r u c c i ,   I m a ge - ba s e d   t i s s u e   d i s t r i bu t i on   m ode l i ng   f or   s ke l e t a l   m u s c l e   qua l i t y   c ha r a c t e r i z a t i o n ,”   I E E E   T r ans a c t i on s   on  B i om e di c al   E n gi n e e r i n g vo l .   63 ,   n o.   4   pp.   80 5 81 3,   20 16.     [ 4]     A .   A na n d,   I .   M oo n,   a nd   B .   J a vi di ,   A u t o m a t e d   di s e a s e   i de nt i f i c a t i o w i t h   3 - d   op t i c a l   i m a g i n g:   A   m e d i c a l   di a gno s t i c   t oo l ,”   P r oc e e d i ng s   of   t he   I E E E vo l .   1 05 ,   n o.   5 ,   pp .   9 24 9 46 ,   2 017 .     [ 5]     J .   Z hou ,   T .   Z hong ,   a nd  X .   H e ,   A ux i l i a r di a gno s i s   o f   b r e a s t   t u m or   ba s e d   on   pn c l a s s i f i e r   op t i m i z e b p c a   a nd  ps o   a l go r i t h m ,”   I n   9 t h   I nt e r n at i ona l   C on f e r e n c e   o n   I n t e l l i g e nt   H um an - M ac hi n e   Sy s t e m s   a nd   C y b e r n e t i c s   ( I H M SC   201 7) ,   vol .   2,   p p.   222 227 ,   201 7.   [ 6]     N .   T s a i ,   J .   G oodw i n ,   M .   S e m l e r ,   R .   K ot h e r a ,   M .   V a n   H o r n ,   B .   W o l f ,   a nd   D .   G a r n e r ,   D e v e l op m e n t   of   a   no n - i nv a s i ve   bl i nk   r e f l e x o m e t e r ,”   I E E E   J our nal   of   T r an s l a t i ona l   E ng i n e e r i ng   i n   H e al t h   an d   M e d i c i ne vo l .   5 ,   n o.   1 ,   p p.   1 4,   2017 .     [ 7]     O .   B e r t e l ,   C .   M o r e no ,   a nd   E .   T or o ,   A p l i c a c i ó de   l a   t r a ns f or m a d a   w a v e l e t   pa r a   e l   r e c ono c i m i e n t o   de   f o r m a s   e n   vi s i ón   a r t i f i c i a l ,”   T e k hnê vo l .   6 ,   no .   1 ,   pp .   3 8 ,   2009 .     [ 8]     Y .   G uo ,   L .   J i a o ,   S .   W a ng,   S .   W a ng ,   F .   L i u,   a n W .   H ua ,   F uz z y   s u pe r pi xe l s   f o r   p ol a r i m e t r i c   s a r   i m a ge s   c l a s s i f i c a t i on ,”   I E E E   T r an s ac t i ons   o F uz z y   Sy s t e m s vo l .   26 ,   no .   5 ,   pp .   2846 286 0,   20 18 .   [ 9]     J .   C a s t a ñe d a   a nd   Y .   S a l gue r o ,   A dj us t m e n t   of   v i s u a l   i de n t i f i c a t i on   a l go r i t h m   f or   u s e   i n   s t a nd - a l one   r obo t   na vi g a t i on   a ppl i c a t i on s ,”   R e v i s t a   T e k hnê vo l .   14 ,   no .   1 ,   p p.   73 86 ,   2017 .     [ 10]     P .   J or i s ,   W .   D e ve l t e r ,   W .   V oo r d e ,   P .   S u e t e ns ,   F .   M a e s ,   D .   V a nde r m e u l e n ,   a nd   P .   C l a e s ,   P r e pr oc e s s i ng   of   he t e r o s c e da s t i c   m e d i c a l   i m a ge s ,”   I E E E   A c c e s s vo l .   6 ,   no .   1 ,   pp .   26 047 2 6058 ,   201 8.   Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   1 8 ,   N o.   2 A pri l   2 020:    8 0 7   -   8 1 4   814   [ 11]     V .   J a o ue n ,   J .   B e r t ,   N .   B ous s i o n,   H .   F a y a d ,   M .   H a t t ,   a n d   D .   V i s vi ki s ,   I m a g e   e n ha n c e m e n t   w i t h   P D E s     a nd   non c on s e r va t i ve   a dv e c t i on   f l ow   f i e l ds ,”   I E E E   T r an s ac t i ons   on   I m age   P r oc e s s i ng vo l .   28 ,   no .   6   pp.   30 75 3 088 ,   2019 .   [ 12]     B .   L a s s e n,   E .   va R i kx oor t ,   M .   S c h m i dt ,   S .   K e r ks t r a ,   B .   va G i nn e k e n,   a nd  J .   K uhn i gk ,   A ut o m a t i c   s e g m e nt a t i on   of   t he   pu l m ona r y   l o be s   f r o m   c he s t   c t   s c a n s   b a s e o f i s s u r e s ,   ve s s e l s ,   a nd   br onc hi ,”   I E E E   T r ans a c t i on s   on  M e di c al   I m ag i ng vol .   32 ,   no .   2 ,   pp .   210 222 ,   2013 .     [ 13]     P .   M o e s k ops ,   M .   V i e r ge ve r ,   A .   M e nd r i k,   L .   d e   V r i e s ,   M .   B e nde r s ,   a nd   I .   I s gu m ,   A u t o m a t i c   s e gm e n t a t i o o f   m r   br a i n   i m a ge s   w i t h   a   c onvo l u t i ona l   ne u r a l   ne t w or k ,”   I E E E   T r a n s ac t i o ns   on   M e d i c a l   I m a gi n g vo l .   35 ,   n o.   5   pp.   12 52 1 261 ,   2016 .     [ 14]     G .   W a ng ,   W .   L i ,   M .   Z u l ua g a ,   R .   P r a t t ,   P .   P a t e l ,   M .   A e r t s e n ,   T .   D oe l ,   A .   D a v i d ,   J .   D e pr e s t ,   S .   O ur s e l i n ,   a nd  T .   V e r c a ut e r e n ,   I n t e r a c t i ve   m e di c a l   i m a g e   s e g m e nt a t i on   us i ng   de e l e a r n i n w i t h   i m a ge - s p e c i f i c   f i ne   t uni ng ,”   I E E E   T r ans ac t i ons   on   M e d i c a l   I m a gi n g vo l .   37 ,   n o.   7 ,   pp.   1 562 1573 ,   2 018.     [ 15]     J .   S e dl a r ,   M .   B a j ge r ,   M .   C a on ,   a n G .   L e e ,   M o de l - g ui de d   s e g m e n t a t i on   o f   l i ve r   i C T   a nd   P E T - C T   i m a ge s   of   c hi l d   pa t i e n t s   ba s e d   on   s t a t i s t i c a l   r e gi on  m e r g i ng ,”   I I nt e r n at i on al   C o nf e r e n c e   on  D i g i t .   I m ag e   C om p ut .   T e c h .   A pp l .   ( D I C T A   20 16) ,   p p.   1 8 ,   2016 .   [ 16]     H .   T a ng ,   C .   Z ha n g,   a n X .   X i e ,   A ut o m a t i c   pu l m on a r y   l obe   s e g m e nt a t i on   us i ng   d e e p   l e a r ni ng ,”   2019   I E E E   1 6t I nt e r n at i on al   Sy m pos i um   on   B i om e d i c a l   I m a gi n ( I SB I   20 19) ,   vo l .   1 ,   no .   1 ,   pp .   122 5 12 28,   2 019 .     [ 17]     J .   M i ng ,   W .   K i m ,   a nd   K .   R yo ung ,   F i nge r - ve i r e c ogn i t i o ba s e d   o d e e p   D e n s e N e t   us i ng   c om pos i t e   i m a ge ,”   I E E E   A c c e s vo l .   7 ,   no .   1 ,   pp .   668 45 6 6863 ,   201 9.     [ 18]     V .   N e a go e ,   A .   C i o t e c ,   a nd   G .   C u c u ,   D e e c onv ol u t i ona l   ne u r a l   ne t w or ks   v e r s us   m ul t i l a ye r   pe r c e p t r on   f o r   f i na nc i a l   pr e d i c t i on ,”   I n   I nt e r n at i on al   C on f e r e n c e   on   C om m un i c a t i on s   ( C O M M   2 018) ,   pp .   201 206 ,   201 8.   [ 19]     S .   C ui ,   Y .   L u o,   H .   T s e n g,   R .   H a ke n,   a nd   I .   E l   N a qa ,   A r t i f i c i a l   n e ur a l   ne t w o r k   w i t h   c o m pos i t e   a r c h i t e c t ur e s   f o r   pr e d i c t i on   of   l oc a l   c on t r ol   i r a d i o t he r a p y ,”   I E E E   T r a ns a c t i on s   on  R adi a t i on   and   P l as m a   M e d i c al   Sc i e n c e s vo l .   3 no.   2 ,   pp.   2 42 2 49,   2 019 .   [ 20]     H .   T ong   a nd   Z .   a nd   Z hi ,   B a g   of   t r i c k s   f or   i m a ge   c l a s s i f i c a t i on   w i t h   c onvo l u t i ona l   ne ur a l   n e t w o r k s ,”   I n   I E E E   C onf e r e n c e   on   C om p ut e r   V i s i on  and   P a t t e r n   R e c og ni t i on  ( C V P R   2 019) ,   p p.   558 567 ,   2019 .   [ 21]     X .   Z ha o ,   T .   Z h a ng ,   H .   L i u ,   G .   Z hu ,   a nd   X .   Z ou ,   A ut o m a t i c   w i ndo w i ng   f or   m r i   w i t h   c on vol ut i on a l   ne u r a l   ne t w o r k ,”   I E E E   A c c e s s vo l .   7 ,   no .   1 ,   pp .   685 94 6 8606 ,   201 9.     [ 22]     H .   M o nt i e l ,   E .   J a c i n t o ,   a nd   F .   M a r t í n e z ,   R e c ogn i t i o n   of   f i s s u r e s   i n   bo ny   s t r uc t ur e s   t hr ough   i m a g e   p r oc e s s i ng ,”   I nt e r n at i on al   J o ur n al   o f   E ngi ne e r i ng  and   T e c hno l o gy v ol .   10 ,   no.   4 ,   pp .   1223 122 9,   20 18.     [ 23]     T .   S a v i t hr i   a nd   S .   D e v i ,   N odu l e   de t e c t i on   f r o m   p os t e r i o r   a n d   a n t e r i or   c he s t   r a d i og r a phs   w i t h   di f f e r e nt   m e t h ods ,”     I F ut ur e   T e c hn ol o gi e s   C on f e r e nc e   ( F T C   20 16) ,   p p.   504 515 ,   2016 .     [ 24]     G .   H ua ng ,   S .   L i u,   L .   M a a t e n ,   a n d   K .   W e i nbe r g e r ,   C on de n s e n e t :   A e f f i c i e n t   de n s e n e t   u s i ng   l e a r ne d   gr o up   c onvo l u t i ons ,”   I I E E E / C V F   C on f e r e nc e   on  C om pu t e r   V i s i on   an P at t e r R e c og n i t i on , p p.   2 752 2761 ,   201 8.     [ 25]     J .   S e n   a n d   B .   N e i l ,   E m l - ne t :   A n   e xp a nd a b l e   m u l t i - l a y e r   n e t w or f o r   s a l i e nc y   pr e d i c t i o n ,”   A r X i v   1 805 ( 010 47)   pp.   1 10,   2 018 .     Evaluation Warning : The document was created with Spire.PDF for Python.