T E L KO M N I KA  T e lec om m u n icat ion ,   Com p u t i n g,   E lec t r on ics   an d   Cont r ol   Vol.   18 ,   No.   3 J une   2020 ,   pp.   131 0 ~ 13 1 8   I S S N:  1693 - 6930 ,   a c c r e dit e F ir s G r a de   by  Ke me nr is tekdikti ,   De c r e e   No:   21/E /KP T /2018   DO I 10. 12928/ T E L KO M NI KA . v18i3. 14753     1310       Jou r n al  h omepage ht tp: // jour nal. uad . ac . id/ index . php/T E L K OM N I K A   U N e t - V GG 16 w ith   t r a n sf e r  l e ar n in   f or  M R I - b as e d   b r ai n   t u m or  s e gm e n t a t io n       Ani n d ya  Aprili yan t P r avit as ar i 1 ,   Nur   I r iawan 2 ,   M awand Alm u h ayar 3 ,   T au f ik   Az m i 4   I r h am ah 5 ,   Kart ik a   F i t h r ias ar i 6 ,   S a n t W u lan   P u r n am i 7 ,   Wi d ian F e r r ias t u t i 8   1, 2, 3, 4 , 5, 6 , 7 D ep ar t men t   o St a t i s t i cs ,   In s t i t u t   T e k n o l o g i   Sep u l u h   N o p em b er,   In d o n e s i a   1 D ep ar t men t   o St a t i s t i cs ,   U n i v ers i t a s   Pad j a j aran ,   In d o n es i a   8 D ep ar t men t   o Rad i o l o g y ,   U n i v ers i t a s   A i r l an g g a,   In d o n es i a       Ar t icle   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e ived   Aug  15 ,   2019   R e vis e J a 29 ,   2020   Ac c e pted  F e 26 ,   2020     A   b ra i n   t u m o i s   o n e   o a   d ea d l y   d i s ea s t h a t   n ee d s   h i g h   acc u racy   i n   i t s   med i ca l   s u rg er y .   Brai n   t u m o d et ec t i o n   can   b d o n t h ro u g h   mag n et i c   res o n an ce  i ma g i n g   (MRI).   Imag s eg men t at i o n   fo t h MRI  b rai n   t u m o ai ms   t o   s e p ara t t h t u mo area  (a s   t h reg i o n   o i n t eres t   o r   RO I)  w i t h   h eal t h y   b r a i n   a n d   p r o v i d e   a   c l e a r   b o u n d a r y   o f   t h e   t u m o r .   T h i s   s t u d y   c l a s s i f i e s   t h e   R O I   a n d   n on - R O I   u s i n g   f u l l y   c o n v o l u t i o n a l   n e t w o r k   w i t h   n e w   a r c h i t e c t u r e ,   n a m e l y     U N e t - V G G 1 6 .   T h i s   m o d e l   o r   a r c h i t e c t u r e   i s   a   h y b r i d   o f   U - N e t   a n d   V G G 1 6   w i t h   t r a n s f e r   L e a r n i n g   t o   s i m p l i f y   t h e   U - N e t   a r c h i t e c t u r e .   T h i s   m e t h o d   h a s   a   h i g h   a c c u r a c y   o f   a b o u t   9 6 . 1 %   i n   t h e   l e a r n i n g   d a t a s e t .   T h e   v a l i d a t i o n   i s   d o n e   b y   c a l c u l a t i n g   t h e   c o r r e c t   c l a s s i f i c a t i o n   r a tio  ( C C R )   t o   c o m p a r i n g   t h e   s e g m e n t a t i o n   r e s u l t   w i t h   t h e   g r o u n d   t r u t h .   T h e   C C R   v a l u e   s h o w s   t h at   t h i s   U N et - V G G 1 6   c o u l d   reco g n i ze  t h b ra i n   t u mo area  w i t h   mean   o CCR   v a l u i s   ab o u t   9 5 . 6 9 % .   K e y w o r d s :   F ull c onvolut ion   ne twor k   I mage   s e gmenta ti on   T r a ns f e r   l e a r ning   U - Ne t   VG G16   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i ce n s e .     C or r e s pon din A u th or :   Nur   I r iaw a n,     De pa r tm e nt  of   S tatis ti c s ,     I ns ti tut   T e knologi   S e puluh  Nope mber ,   Ka mpus   I T S   S ukoli lo - S ur a ba ya   60111,   I ndone s ia .   E mail:   nu r _i@s tatis ti ka . it s . a c . id       1.   I NT RODU C T I ON   br a in  tum or   is   the  15 th   de a dly  dis e a s e   in  I ndone s ia  c ompar e to  a ll   types   of   c a nc e r .   Ac c or ding  to   the  W HO ,   ther e   we r e   5, 323   c a s e s   of   br a in  a nd   ne r vous   s ys tem  tum or s   in  I ndone s ia  with  4 , 229  mor ta li ty  c a s e s   dur ing  2018   [ 1] .   Due   to   thi s   r e a s on,   a   br a in   tum o r   is   c ons ider e to   be   a n   im por tant   top ic.   De tec ti on   of   b r a in  tum or   c ould  be   done   unde r   the  medic a e quipm e nt  c a ll e magne ti c   r e s ona nc e   im a ging  or   M R I .   Ge ne r a Hos pit a ( R S UD )   Dr .   S oe tom S u r a ba ya   pr ovides   r a diol ogica e xa mi na ti on  s e r vice s   u s ing  M R I   1 . T e s la     a nd  T e s la.   T he   gr e a ter   the  T e s la  number ,   the  be tt e r   the  im a ge   qua li ty,   but  it s   a ls mor e   c os tl y.   T he   M R I   1. T e s la  is   a   f a vor a ble  s e r vice ,   s ince   it   ha s   a   mi nim um  c os a nd  a ls c ove r e by  the  I ndone s ian   gove r nment's   s oc ial  s e c ur it ( B P J S ) .   How e ve r ,   be tt e r   im a ge   qua li ty  is   ne e de in  medic a t r e a tm e nt.     T he   im a ge   s e gmenta ti on  is   one   of   methodology  th a c ould  pr ovide   be tt e r   s ight   of   br a in   tum or s   by   s e pa r a ti ng  the  tum or   a r e a   ( a s   the  r e gion  of   int e r e s or   R OI )   with  the  he a lt hy  br a in  a nd  pr ovide  a   c lea r   boun da r of     the  tum or .   T he   c lea r   bounda r he lps   the   medic a tr e a tm e nt,   e s pe c ially  in   s ur ge r y,   to  r unning   s a f e ly  without   da maging  he a lt hy  pa r ts   of   the  br a in .   T his   s tudy  tr i e s   to  s e gment  the  M R I   br a in  tum o r   to   give  a   be tt e r   s ight   of   the  M R I   im a ge   f r o a   1 . T e s la  mac hine.   M a ny  types   o f   r e s e a r c ha be e n   de ve loped  f o r   im a ge   s e gmenta ti on.   S e ve r a l   methods   us e   c lus ter ing   a s   the  ba s is   of   modeling,   while  other s   us e   c las s if ica ti on.   T he   a im   is   to  ge the  be s model  that   c ould  r e c ognize   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         UN e t - V GG 16  w it tr ans fer   lear ning  for   M R I - bas e br ain  tumor     ( A nindya  A pr il iyanti   P r av it as ar i )   1311   the  tum or   a r e a   mor e   pr e c is e ly.   T he   pr e vious   s tudi e s   us e   th e   c lu s ter ing  a s   the  ba s is   of   s e gment a ti on  a r e   pe r f or med  by   [ 2]   whic us e s   the  ge ne ti c   a lgor i th a nd  [ 3 ]   whic e mpl oy   fu z z c lus ter ing ,   Ots m e thod  a nd  K - mea ns   c lus ter   to  s e gment  the  ve hi c le  im a g e .   T he   model - ba s e c l us ter ing  is   pe r f or med  by  [ 4 - 6]     in  the   f o r m   of   a   F ini te   mi xtu r e   model   to   s e gment   the   M R I   b r a in  tum or   im a ge .   Di f f e r e nt   f r om   the   pr e vious   s tudi e s ,   thi s   s tudy  us e s   the  c la s s if ica ti on  method  with  Ne ur a Ne twor k.   Ne ur a Ne twor is   us e s in c e   it   c a a da pt  the  wor king  of   human  ne ur ons   in  r e c ognizing  im a ge s .   P r e vious   s tudi e s   done   unde r   the  NN   a p pr oa c is   pe r f or med  by   [ 7 - 9]   that  us e the   c onvolut ional   ne ur a ne twor k   ( C NN )   a nd  De e L e a r ning  f o r   im a ge   s e gmenta ti on.   T his   s tudy  us e s   the   F ull y   C onvolu ti ona Ne twor k   ( F C N)   s ince   it   ha s   g r e a pe r f or m a nc e   f or   s e mantic  s e gmenta ti on  [ 10,   11] .   T he   F C us e the  U - N e a r c hit e c tur e   by  the  r e c omm e nda ti on  of   [ 12] .   T he   U - Ne model  c a a c hiev e   ve r good  pe r f or manc e   on  ve r d if f e r e nt   biom e dica s e gmenta ti on  a ppli c a ti ons .   T his   pa pe r   us e s   a   r e a da tas e f r om   Ge ne r a Hos pit a ( R S UD )   Dr .   S oe tom o .   T he   li mi ted  number   o f   br a in   tum or   pa ti e nts   who  c ome  to    Dr .   S oe tom o ,   make s   the  number   of   da tas e ts   a na lyze a ls li mi ted.   T he   U - Ne will   be   hybr idi z e with  VG G16  a r c hit e c tur e   a s   it s   e nc ode r   ( c ont r a c ti ng)   laye r   [ 13]   to   s im pli f y   the  a r c hit e c tur e   a nd   o ve r c ome    the  pr oblem  o f   s mall  number   da ta  c las s if ica ti on.   On  the  other   ha nd ,   the   c ompl e xit of   U - Ne of te s pe nds     a   lot   of   ti me  in   it s   e xe c uti on  a nd   is   gr e a tl a f f e c ted  whe the  c omput e r   s pe c if ica ti ons   a r e   inade qua te.   I n   view   of   thes e   s hor tcomings   a nd  to  give  the  s tage   of   the  a r of   thi s   pa pe r   we   pe r f or m   the  tr a ns f e r   lea r ning  i the  pa r t   of   tr a ini ng  da ta  in  the  hyb r id  of   U - Ne a nd  VG G16.   T he   na me  of   th is   pr opos e model  or   a r c hit e c tur e   is   UN e t - VG G16  with  T r a ns f e r   L e a r ning.   M or e ove r ,   we   tr to  c ompar e   the  UN e t - VG G16  with  s e ve r a s c e na r ios   of   the   U - Ne model   a nd  de c ide   the   be s model   wit the   va lue  o f   los s   a nd   a c c ur a c y.   T he   c or r e c t   c las s if ica ti on  r a ti ( CCR)   will   be   c a lcula ted  to   c ompar e   the  s e g menta ti on  r e s ult s   f r om   the  be s mode with   the   gr o und  tr uth   a s   the  mea s ur e   of   E va luation.   All   the  da ta   a nd  g r ound  t r uth  us e d   in  thi s   s tudy  a r e   pa s s e by  the   medic a a ppr ova f r om   Dr .   S oe tom o   S ur a ba ya .       2.   RE S E AR CH  M E T HO D   2 . 1.   F u ll c on vol u t ion al   n e t wor k :   U - n e t   wit h   t r an s f e r   lear n in g   F ull c onvolut ional  ne twor k   ( F C N)   is   one   of   the   d e e lea r ning  us e in  s e mantic  s e gmenta ti on.   F C pr opos e by  [ 14]   that   e xa mi ne s   pixel - to - pixel  mapping  a nd  us e the  gr ound  tr uth  to  de ter mi ne   t he   pixel  c las s .   T he   F C is   the   de ve lopm e nt  o f   the   c las s ica c onvolut ion a l   ne ur a l   ne twor k   ( C NN ) .   C NN   c ons is ts     of   c onvolut ion ,   poo li ng,   a nd  f ull y - c onne c ted  a s   th e   main  laye r s ,   whic h   in   the  F C N,   the   f ull y   c onne c ted  laye r   is   r e plac e by  the  c onvolut ion   laye r .   F C N,   ther e f or e ,   c a c las s if e ve r pixel   in  the   im a ge   a nd  gi ve   them    t he   a bil it to  make   pr e dictions   on  a r bit r a r y - s ize input s .   T he   input   da ta  is   a im a ge   that  c ons is ts   of   thr e e   laye r s   na mely  he ight   ( ) ,   width   ( ) ,   a nd  de pth   ( ) .   T he     a nd     e xplaine the   s pa ti a dim e ns ion,   while     is   the  f e a tur e   or   c ha nne dim e ns ion.   T he   im a g e   f ir s laye r   ha s   ×   dim e ns ion   a nd    c olor   c ha nne l     ( = 1   whe it   c ontains   only  gr a ys c a le  int e ns it y,   or   = 3   whe it   ha s   r e d,   gr e e n,   a nd  blue  ( R GB )   int e ns it ies ) .   S uppos e we   ha ve   input   da ta  ve c tor    ,   in   the   loca ti on  ( , )   o f   a   pa r ti c ular   laye r .   W e   a ls c a n   c a lcula te  the  ve c tor   output   y    with  the  f o ll owing  f or mul a   [ 14 ] :     y  =  ( {  +  ,  +  } , 0 , )   ( 1)     whe r e     is   the   ke r ne l   s ize ,     is   the  s ubs a mpl ing  f a c tor ,   a nd     s pe c if ies   the  type   of   laye r   us e d:   a   mat r ix  mul ti pli c a ti on  f or   c onvolut ion  or   a ve r a ge   pooli ng ,   a   s pa ti a max  f or   max  poo li ng,   o r   other   types   o f   laye r s .   Applying  thi s   laye r   c a s igni f ica ntl r e duc e   the  nu mber   of   pa r a mete r s   of   the  ne twor k.   M or e ove r ,   the  ne tw or c a lea r n   the   c or r e lation   be twe e ne i ghbo r hood   pixels   [ 15] .   F igur e   1   is   a   s tr uc tur a l   model   in   t he   F C method.   I F igu r e   1,   we   c ould  s e e   that  F C c a n   e f f icie ntl lea r to  make   de ns e   pr e dictions   f or   pe r - pixel  tas ks   li ke   s e mantic  s e gmenta ti on  [ 14] .   S e ve r a a r c hit e c tur e s   a r e   buil ding  unde r   F C N,   th is   s tudy  us e the  U - Ne a r c hit e c tur e   that  f ir s tl r e c omm e nde by  [ 12] ,   whic is   g r e a f or   bio medic a im a ge   s e gmenta ti on.   I F igur e   2 ,   we   c a s e e     the  vis ua li z a ti on  of   U - Ne a r c hit e c tur e .   T he   U - s ha pe   of   a r c hit e c tur e   is   the   r e a s on  be hind  it s   na me.   T he   letter   c ontains   two  pa ths .   T he   le f pa th   is   c a ll e the   e nc ode r   ( c ontr a c ti ng   laye r )   a nd  the  r ight   pa th  is   the   de c ode r   ( e xpa nding  laye r ) .   T he   e nc ode r   is   a   ne twor in   whic the   output   is   the   f e a tur e   map/   ve c tor   th a holds     the  inf or mation  r e pr e s e nti ng  the  input .   T he   de c o de r   whic ha s   the  s a me  s tr uc tur e   but  in  the  oppo s it e   wa y,     is   a   ne twor k   that   take s   f e a tu r e   maps   f r om   the   e n c ode r   a nd  p r ovides   a   s im il a r   matc o f   the  a c tual   input   or   int e nde output .   T he   p r oc e s s   in  the  e nc ode r   pa th   i s   r e duc ing  the  s ize   input   matr ix   by  inc r e a s ing  the  number   of   the  f e a tur e   maps ,   while   in  the  de c ode r   pa th  i s   r e tur ning  the  matr ix   to  it s   or igi na l   s ize   by  mi nim izing    the  number   of   the   f e a tur e   maps .   T he   s e gmenta ti o r e s ult s ,   ther e f or e ,   c a n   be   c ompar e d   with   the   gr o und  tr uth   in  e ve r pixel .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   3 J une   2020:    131 0   -   13 1 8   1312       F igur e   1.   S t r uc tur e   o f   f ul ly  c onvolut ional   ne twor ( s our c e f r om   [ 14] )           F igur e   2 T he   U - Ne a r c hit e c tur e   ( e xa mpl e   f or   32x32  pixels   in   the  lowe s r e s olut ion,   s our c e f r om   [ 12 ] )       U - Ne tr a ns mi ts   the  f e a tur e   map  of   e a c c ontr a c pa th  leve a the  a na log  leve of   the  e xtens ion  pa th   s that  the  c las s if ier   c a n   c ons ider   f e a tur e s   o f   va r yi ng  s c a les   a nd  c ompl e xit ies   to  make   i ts   de c is ion.   T he r e f or e ,   U - Ne c a lea r f r om   r e latively   s mall  tr a ini ng   s e t s   [ 16] .   S ince   it s   c ompl e xit ies ,   the  U - Ne a r c hit e c tur e   of ten   s pe nds   a   lot   of   ti me  on  it s   e xe c uti on.   I or de r   to  de a with  the  pr oblem,   thi s   s tudy  tr ies   to  hybr id  t he   U - Ne t   a r c hit e c tur e   with  T r a ns f e r   l e a r n ing.   T r a ns f e r   l e a r ning   is   a a ppr oa c h   in  whic p r e - tr a ined  models   a r e   us e a s   a   s tar ti ng   point   f or   c omput e r   vis ion  a nd  langua ge   pr oc e s s ing  tas ks ,   s ince   the  de ve lopm e nt  of   ne ur a ne twor models   f or   thes e   pr oblems   a nd  due   to   the   e nor mous   lea ps   in   qua li f ica ti ons   r e quir e s   e xtens ive  c omput ing  a nd   ti me  r e s our c e s .   T he   a im   of   T r a ns f e r   l e a r ning  is   to   im pr ove   le a r ning  in  the  ta r ge tas by  us ing  the  knowle d ge   f r om     the  s our c e   tas k.   T r a ns f e r   l e a r ning   is   a e f f e c ti ve   tec hnique  f or   r e duc ing   tr a ini ng   ti me   [ 17 ] .   T his   te c hnique  may  be   r e late to   the  de ve lopm e nt  o f   de e lea r nin models   f or   im a ge   c las s if ica ti on  pr oblems .     M or e ove r ,   to  s im pli f ying  the  U - Ne a r c hit e c tur e ,   s e ve r a a r c hit e c tur e s   f r om   C NN   ha ve   be e c ons ider e to  hybr id   with   the  U - Ne t,   s uc a s   L e Ne [ 18] ,   Ale xNe t   [ 19] ,   Z F Ne t   [ 20]   a nd  VG G - Ne [ 21] .     T he   VG G - Ne c onf ir ms   that   a   s maller   ke r ne l   s ize   a nd  a   de e C NN   c a im p r ove   model  pe r f o r manc e .     T he   a r c hit e c tur e   of   VG G - Ne a s   s hown  in  F igur e   3   is   qui te   s im il a r   to   the   U - Ne t,   ther e f or e ,   th is   s tud c hoos e s     VGG - Ne to  r e plac e   the   e nc ode r   pa th   of   U - Ne a s   the  hybr id   be twe e thes e   two   powe r f ul   a r c hit e c tur e s .     T he   ne a r c hit e c tur e   will   be   dis c us s e in  r e s ult s   a nd  a na lys is .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         UN e t - V GG 16  w it tr ans fer   lear ning  for   M R I - bas e br ain  tumor     ( A nindya  A pr il iyanti   P r av it as ar i )   1313       F igur e   3 T he   VG G16  a r c hit e c tur e   ( a da pted  f r om  [ 21] )       T his   s tudy  will   us e   the   los s   a nd  a c c ur a c y   to  mea s ur e   model  pe r f o r manc e .   L os s   is   the  va lue     of   e r r or   be twe e pr e dicte d   a nd  a c tual   va lue.   T he   c a s e   with   two  c las s e s   in  mac hine   lea r ni ng  us e s     the  binar y   c r os s - e ntr opy  los s   f unc ti on   to   c a lcula te  the  va lue   of   los s   o r   e r r or   [ 22] .   T he   binar y   c r os s - e ntr opy    is   pr ovid e by   ( 2) .     ( ) = 1 log ( ( ) ) = 1 + ( 1 ) log ( 1 ( ) ) ,   ( 2)     whe r e     is   the   number   o f   da ta ,     is   the   c las s   of   c las s if ica ti on  whic h   ha s   the   va lue  o f   0   o r   1 ,   a nd   ( )   is     the  pr oba bil it o f   Ac c ur a c is   the  c los e ne s s   be t we e pr e dicte a nd  a c tual  va lue.   I n   or de r   to  de te r mi ne     the  a c c ur a c y,   we   us e   the   c onf us ion  mat r ix  a s   in   T a ble  [ 22] .   T he   f o r mul a   f or   c a lcula ti ng  the  a c c ur a c is   s hown  by  ( 3) .     a c c ur a c =    +   +  +  +    .   ( 3)       T a ble  1.   C onf us ion  m a tr ix   A c tu a V a lu e   P r e di c te d V a lu e   T r ue   F a ls e   T r ue      ( T r ue  P os it iv e )      ( F a ls e  N e ga ti ve )   F a ls e      ( F a ls e  P os it iv e )      ( T r ue  N e ga ti ve )       2 . 2.   T r ain in an d   o p t im izat ion   T he   opti mi z a ti on  us e in  thi s   pa pe r   is   Ada pti ve   M oment  E s ti mator   ( Ada m)   to  e s ti mate     the  pa r a mete r s   .   Ada wa s   a   c ombi na ti on  of   tw method’ s   Ada Gr a a nd  R M S P r op  [ 23] .   Ada uti li z e s   two  mom e nts   va r iable     a s   the  f ir s t   mom e nt   ( the  mea n)   a nd  va r iable     a s   the  s e c ond  mo ment     ( the  unc e nter e va r ianc e )   of   the  gr a dients   r e s pe c ti ve ly.   Give the  hype r - pa r a mete r   0 1 < 1   a nd  0 2 < 1   a nd  pe r f or m   a e xpone nti a ll y - we ight e movi ng  a ve r a ge   ( E W M A) ,   the  Ada e s ti mator   c a be   c ons tr uc ted  in   Algor it hm  1   a s   f oll ows   [ 24 ]     Algorithm 1.   Adam Estimator     a.  Initialize  the  value  of  1 , 2 [ 0 , 1 ) 0 0 learning  rate  ,   and  stochastic  objective   function  ( ( ) )   with parameters  .   b.  Calculate   the gradient of  ( )   with following formula     = ( 1 ) .   (4)     c.  Update   the first and second moment with equation (5) and (6)     = 1 1 + ( 1 1 ) ,   (5)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   3 J une   2020:    131 0   -   13 1 8   1314   = 2 1 + ( 1 2 )     (6)     d.  Calculate   the bias correction with (7) and (8)     ̂ =   1 1   ,   (7)     ̂ =   1 2   .   (8)     e.  Re - adjust  the  learning   rate  for   each  element  in  the  model   parameters  using   el ement  operations with bias - corrected variables  ̂   and  ̂   as in following formula       =   ̂ ̂ +   ,   (9)     where    is the learning rate and    is error criterion set to  1 0 8 .     f.  Update the parameter    as the (10)     = 1 ,   (10)     g.  Do step 2 to step 6 until the parameter    is convergence.       As   in  Algor it hm  1 ,   Ada m   us e s tocha s ti c   gr a dient  de s c e nt  to  maintain  a   s ingl e   lea r ning   r a te  f or   a ll   we ight   upda tes .   T his   ha s   e ns ur e that  the  lea r ning  r a te  doe s   not  c ha nge   dur ing  the  tr a ini ng  pr oc e s s .     T he   lea r ning   r a te  is   maintaine d   f or   e a c h   ne twor we igh t   ( pa r a mete r )   a nd  a djus ted   s e pa r a tely  a s   lea r ning   unf olds .   B e s ides ,   the   a lgor it hm   c a lcula tes   a e xp one nti a movi ng   a ve r a ge   of   the   gr a dient   a nd  the   s qua r e d   gr a dient,   with   hype r - pa r a mete r s   1   a nd  2   to  c ontr ol   th e   de c a r a tes .   T he   in it ializa ti on  is   s e f o r   lea r ning   r a te     = 0 . 0001 1 = 0 . 9 ,   a nd  2 = 0 . 999 .   T he   los s   f unc ti on  us e binar c r os s - e ntr opy  a s   a   s e up  binar y   c las s if ica ti on.   T he   binar y   c r os s - e ntr opy  wa s   a   c ombi na ti on  of   s igm oid   a c ti va ti on  a nd  c r os s - e ntr opy  los s .     I thi s   s tudy,   we   divi de   da ta  int o   thr e e   pa r ti t ions .   W e   do  the   s a mpl ing  without   r e pla c e ment  to  ge t     the  r a ndomi z e da ta   f o r   t r a ini ng,   va li da ti on ,   a nd   t e s ti ng.   T he   thr e e   s e ts   a r e   divi de d   us ing  a   r a ti o   of   80:10: 10.   T he   a mount   o f   da ta  f or   e a c s e is   a s   F igur e   4 .           F igur e   4.   Divis ion  o f   the  da ta       2 . 3 .   E valu at ion   C or r e c C las s if ica ti on  r a ti o   ( CCR )   is   c a lcula ted  a s   a   mea s ur e   of   e va luation.   CCR   va lue  is   obtaine to   f ind  out   whe ther   the  R OI   f r o s e gmenta ti on  r e s ult s   in  a c c or da nc e   with  the  g r ound  t r uth.   T he   g r e a ter   the  CCR   va lue,   the  be tt e r   the  s e gmenta ti on  r e s ult   a nd  vice   v e r s a .   As   s hown  in   ( 11 )   is   the   f or mul a   of   CCR   [ 25 ] .      =   |   | |  | 2 = 1 ,   ( 11)     whe r e      is   gr ound  tr uth  f or   non - R OI   ( = 1 )   a nd  R OI   ( = 2 )   f or   = 1   de f ines   pixel  s e gmente d   ba s e on  the  model   a s   non - R OI   a r e a ,   mea nwhile  f or     = 2   de s c r ibes   pixel  s e gmente a s   R OI     a nd  =    2 = 1 .       3.   RE S UL T S   A ND  AN AL YSI S   3. 1.   T h e   p r op os e d   ar c h it e c t u r e   U - Ne is   one   o f   C NN   a r c hit e c tur e   that   is   us e s pe c if ica ll f or   im a ge   s e gmenta ti on.   T he   c ompl e xit y   of   U - Ne ( thi s   r e s e a r c ha s   31, 031 , 685  pa r a mete r s )   im pa c ts   the  t im e   of   e xe c uti on  a nd   in   s e ve r a c omput e r s   with  the   li m i ted  s pe c if ica ti on,   the   U - Ne a r c hit e c t ur e   c a nnot   be   r un.   T o   ove r c ome   thi s   pr oblem,   we   pr opos e Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         UN e t - V GG 16  w it tr ans fer   lear ning  for   M R I - bas e br ain  tumor     ( A nindya  A pr il iyanti   P r av it as ar i )   1315   a   ne model   that  r e duc e s   the  laye r   a nd  pa r a mete r   of   U - Ne by   c ombi ning  it   with   a nother   a r c hit e c tur e   na mely   VG G16.   T he   c hoice   of   VG G16  is   be c a us e   of   i ts   s im il a r i ty  to   U - Ne t's   c ontr a c ted  laye r   a nd  it s   number     of   pa r a mete r s   is   a ls les s   than  U - Ne t.   I a ddit io n,   VG G16  a l r e a dy  ha s   we ight s   f r om   pa r a mete r s   that  a r e   e a s il a c c e s s e d,   s we   e mpl oy  thes e   we ight s   to  thi s   ne model.   S e ve r a models   us e f or   s e gmenta ti on  f r e que ntl c ons is of   the   c ontr a c ti ng   laye r   a nd   the   e xpa ns ion  laye r .   I th is   s tudy,   we   modi f ied  the   VG G16  to  r e s e mbl e   the  U - Ne a r c hit e c tur e   by  a dding  a e xpa ns i ve   laye r   c ons is ti ng  of   s e ve r a ups a mpl ing   laye r s   a nd   c onvo lut ion  laye r s   a the   e nd   of   the   VG G16  a r c hi tec tur e .   T his   is   done   unti the  ove r a ll   a r c hit e c tur e   of   the  model   is   s ymm e tr ica a nd  r e s e mbl e s   the  s ha pe   of   the   l e tt e r   U.   T he r e f or e ,   in   the  a r c hit e c tur e   of   the   UN e t - VG G16  model,   we   will   ha ve   a   c ontr a c ti ng  laye r ,   whic is     the  VG G16,   a nd  the  e xpa ns ion  laye r   that   will   be   a dde late r .   W it thi s   ne w   a r c hit e c tur e ,   the  pa r a me ter s   will   be   r e duc e to  17 , 040, 001   with  t r a inable   pa r a mete r s   is   a bout  2, 324 , 353.   T he   M R I   b r a in  tum o r   im a ge   will   be   tr a ined   us ing  the  UN e t - VG G16  model   with   the  T r a ns f e r   L e a r ning   method.   T his   m e thod  f r e e z e s   the  c ontr a c ti on  laye r   in  UN e t - VG G16  s that  the  we ight e laye r   is   not  upda ted  whe e xe c uti ng  tr a ini ng  da ta.   I ns tea d,   we   us e   the  we ight   of   the  c onvolut ion  laye r   of   the  VG G16  model.   T he   goa l   is   to   r e duc e   the  c omput ing   pr oc e s s   a nd  s pe e up  the  t r a ini ng   ti me   of   the  model .   F igur e   5   s hows   the  a r c hit e c tur e   of   the  pr opos e model,   na mely  UN e t - VG G16  with  T r a ns f e r   L e a r ning,   while    F igur e   6   is   the  pr oc e s s   vis ua li z a ti on  of   im a ge   s e gmenta ti on  unde r   the   ne pr opos e a r c hit e c tur e .           F igur e   5.   T he   a r c hit e c t ur e   o f   UN e t - VG G16  with  tr a ns f e r   lea r ning           F igur e   6.   T he   s e gmenta ti on  pr oc e s s   unde r   UN e t - VG G16  with  tr a ns f e r   lea r ning       3. 2 .   Choos in t h e   b e s t   m od e l   I thi s   s tudy,   we   tr y   to   c ompar e   the  p r opos e mod e with   the  p r e vious   s tate   of   the   a r t   model.   U - Ne a r c hit e c tur e   is   de ve loped  with  va r ious   s c e na r ios   s that  s e ve r a a lt e r na ti ve   models   a r e   obtaine w hich  will   then  be   c ompar e d   f o r   a c c ur a c be twe e one   a n othe r   a nd   with   the  p r opos e model .   T he s e   mod if ica ti on  s c e na r ios   of   U - Ne a r e   done   s ince   the  or igi na of   U - Ne model  c a nnot  r un  in  ou r   c ompu ter   with    the  s pe c if ica ti on  of   P r oc e s s or   I n tel  C or e   i7,   32 GB   R AM ,   128GB   S S D,   a nd   without   G P a nd   VR AM .     T a ble  is   a   br e a kdown  of   the  numbe r   of   c onvolut i on  laye r s   a nd  c onvolut ion   blocks   in  e a c U - Ne s c e na r io.   All  the  models   buil unde r   the  P ython  pr og r a mm i ng  langua ge   with  T e ns or f low,   Ke r a s ,   a nd  NumP y   li br a r ies .   I the   tr a ini ng   pr oc e s s ,   we   us e   100   e poc h s   a nd  e xe c uted  in  a   c o mput e r   with  p r oc e s s or   I ntel  C or e   i7,   32GB   R AM ,   128GB   S S D ,   a nd   without   GPU  a nd  VR AM .   E a c e poc h   of   the  p r opos e mod e take s     80  mi nutes   of   c omput e r   pr oc e s s ing.   I is   long e r   than  the  f our   s c e na r ios   of   U - Ne s ince   the  number     of   pa r a mete r s   of   the  p r opos e mod e is   mo r e   than  t he   modi f ied  U - Ne t.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   3 J une   2020:    131 0   -   13 1 8   1316   T a ble  2.   C onvolut ion   s c e na r io  f o r   U - Ne t   S c e na r io   N umbe r  of   C onv la ye r   C onv bloc k   P a r a me te r   T im e /e poc h   M ode 1   1 C onv @   bl oc k   bl oc k   3,929,985   23 mi n   M ode 2   1 C onv @   bl oc k   bl oc k   980,097   20 mi n   M ode 3   2 C onv @   bl oc k   bl oc k   7,862,113   34 mi n   M ode 4   2 C onv @   bl oc k   bl oc k   1,962,337   32 mi n       F igur e   7   de mons tr a tes   a   lea r ning  c u r ve   of   f ou r   U - Ne s c e na r ios   c ompar e s   with  the  UN e t - VG G1 s e gmenta ti on  model  with   T r a ns f e r   L e a r ning.   F i gur e   7   ( a )   s hows   the  c ompa r is on  of   the   los s   va lue  of     the  U - Ne a nd   the   pr opos e model ,   while   F igur e   7   ( b )   is   a   c ompar is on   of   it s   a c c ur a c y.   B a s e on   thi s   f igur e ,   it   c a be   s e e that  dur ing  the  tr a ini ng  pr oc e s s   with  100  e poc hs ,   the  pr opos e model  pr ovides   a   mi ni mu los s   va lue  a nd  maximum   a c c ur a c c ompar e d   to  the   f our   U - Ne s c e na r ios .   M or e ove r ,   the   los s   a nd  a c c ur a c of     the  pr opos e model  a r e   f a s ter   c onve r ge nt   a nd  s t a ble  with  s moot he r   moveme nts   c ompar e d   to  the  los s   a nd   a c c ur a c of   U - Ne models   that  a r e   s ti ll   volatil e   dur ing   the  t r a ini ng  p r oc e s s .   T a ble  3   s hows   the  ove r a ll   pe r f or manc e   of   e a c model.         ( a )     ( b)     F igur e   7.   ( a )   L os s   a nd  ( b)   a c c ur a c f r om   the  f ou r   U - Ne s c e na r ios     c ompar e   to   UN e t - VG G16  with  tr a ns f e r   lea r ning       F r om  T a ble  a nd  F igur e   7 ,   the   mi nim um   los s   a nd  maximum   a c c ur a c a r e   r e a c he by  the  p r opos e model.   I ts   los s   va lue  is   0 . 054  a nd   the  a c c ur a c v a lue  is   0. 961 .   B a s e on  thes e   r e s ult s ,   the  p r opos e model   gives   be tt e r   pe r f or manc e   than   the   f our   s c e na r ios   of   U - Ne t.   S ince   the   be s model   be longs   to   UN e t - VG G16   with  T r a ns f e r   L e a r ning,   f or   the   ne xt  a na lys is ,   we   will   us e   the   model  a s   the  ba s is   o f   M R I   br a in  tum o r   s e gmenta ti on.     3. 2 .   S e gm e n t at ion   r e s u lt s   b as e d   on   t h e   b e s t   m od e l     T he   s e gmenta ti on  is   done   to  the  16 - tes ti ng   da ta  unde r   UN e t - VG G16  with  T r a ns f e r   L e a r ning.     T he   vis ua li z a ti on  of   s e gmenta ti on  r e s ult s   is   de s c r i be in  F igu r e   8 .   T his   f igu r e   ha s   s hown  that   s e gmenta ti on  r e s ult s   of   s a mpl e   s e que nc e   c ould   r e c ognize   the   tu mor   a r e a   a s   R OI   in   va r ious   tum o r   s ize   a nd  loca ti on,   bo th  on   the  lef t   or   r ight   of   the   br a in .   F or   the  tes ti ng   d a ta,   we   c a lcula te  the  CCR   a s   the  mea s ur e   o f   e va luation    a nd  the  s umm a r y   is   s hown  in   T a ble   4.   T he   s e gmenta ti on  r e s ult s   a r e   a ppr oa c hing  gr ound   t r uth  ve r y   we ll   s ince     the  a ll   CCR   va lue  a bove   90% .   T he   C CR   gr a nd   mea f or   a ll   tes ti ng  da ta  is   r e a c hing  95. 69 % .       T a ble  3.   T he   pe r f or manc e   c ompar is on  of   e a c mo de l   M ode c ompa r is on   L os s   A c c ur a c y   U - N e :   M ode 1   0.124   0.942   M ode 2   0.083   0.951   M ode 3   0.085   0.953   M ode 4   0.244   0.938   U N e t - VGG 16 w it h T L   0.054   0.961     T a ble  4.   T he   s umm a r y   of   CCR   f o r   tes ti ng  da ta   T e s ti ng  numbe r   CCR   T e s ti ng  numbe r   CCR   1   0.957184   9   0.957489   2   0.970047   10   0.965225   3   0.916245   11   0.961166   4   0.935806   12   0.905029   5   0.982773   13   0.933807   6   0.981598   14   0.928635   7   0.979904   15   0.985748   8   0.974136   16   0.975601       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         UN e t - V GG 16  w it tr ans fer   lear ning  for   M R I - bas e br ain  tumor     ( A nindya  A pr il iyanti   P r av it as ar i )   1317     I nput   s l i c e   gr ou nd  t r ut h   s e g m e n t .   r e s ul t     I nput   s l i c e   gr ou nd  t r ut h   s e g m e n t .   r e s ul t   D a ta   te s 1     D a ta   te s 9     D a ta   te s 2     D a ta   te s 10     D a ta   te s 3     D a ta   te s 11     D a ta   te s 4     D a ta   te s 12     D a ta   te s 5     D a ta   te s 13     D a ta   te s 6     D a ta   te s 14     D a ta   te s 7     D a ta   te s 15     D a ta   te s 8     D a ta   te s 16     ]     F igur e   8.   T he   s e gmenta ti on  r e s ult s   of   16   tes ti ng  da ta       4.   CONC L USI ON   B a s e on  the  r e s ult s   a nd  a na lys i s   we   c a c on c lude  that  the  pr opos e model  na mely  UN e t - VG G16   with  T r a ns f e r   L e a r ning  is   r unning   we ll   on  the  c omput e r   with  a   pr oc e s s or   of   I ntel  C or e   i7,   32G B   R AM ,   128GB   S S D,   a nd  without   GPU  a nd  VR AM .   T he   pr opos e model  ha s   gr e a pe r f or manc e   c ompar e to     the  U - Ne model  ( in  f our   s c e na r ios )   s ince   it   ha s   the  mi nim um  va lue  of   los s   a nd  maximum   va lue  of   a c c ur a c y.   T he   s e gmenta ti on  r e s ult s   unde r   the  pr opos e mode tend  to  a ppr oa c the  R OI   tar ge of   e a c br a in  tu mor   M R I   im a ge   ve r y   we ll .   T he   r e s ult s   of   s e gmenta ti on  f r om  tes ti ng   da ta  we r e   obtaine d   by   C C R   va lue  o f   95. 69 % .   F or   f utu r e   r e s e a r c h,   the  dif f e r e nt  a r c hit e c tur e   or   c onvolut ional  block  s c e na r io  c ould  be   obtaine to   ge mor e   a lt e r na ti ve   models .   Not   to   mention   that   the  op ti m um  e poc is   s ti ll   de mande to   ge t   the   opti mal   c o mput ing  ti me  f or   buil ding   the  t r a ini ng  model .           Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   3 J une   2020:    131 0   -   13 1 8   1318   AC KNOWL E DGE M E NT S   T he   a uthor s   a r e   gr a tef u to  the   Dir e c tor a te  f o r   R e s e a r c a nd  C omm unit S e r vice   ( DR P M )   M ini s tr of   R e s e a r c h,   T e c hnology   a nd  Highe r   E duc a ti on  I ndone s ia  whic s uppor ts   thi s   r e s e a r c unde r   P T   r e s e a r c h   gr a nt  no.   944/P KS/ I T S /2019 .       RE F E RE NC E S   [1 ]   G l o b o can ,   In d o n es ia  S o u r ce:  G l o b o c a n   2 0 1 8 ,   2 0 1 9 .   [ O n l i n e].   A v ai b l e :   h t t p : / / g co . i arc. fr/ t o d a y / d at a / fac t s h e et s /   p o p u l at i o n s / 3 6 0 - I n d o n e s i a - fac t - s h eet s . p d f .   [2 ]   V .   J ai s w a l ,   V .   Sh arma,   S.   V arma. ,   “A n   Imp l eme n t a t i o n   o N o v e l   G en et i c - Ba s ed   C l u s t er i n g   A l g o ri t h fo C o l o r   Imag Seg men t at i o n ,”   TE LKO M NIK A   Tel eco m m u n i c a t i o n   Co m p u t i n g   E l ec t r o n i cs   a n d   Co n t r o l ,   v o l   1 7 ,   n o   3 ,     p p   1 4 6 1 - 1 4 6 7 ,   J u n 2 0 1 9 .     [3 ]   P.   B.   Prak o s o ,   Y .   Sar i . ,   “V e h i c l D e t ect i o n   u s i n g   Back g r o u n d   S u b t rac t i o n   a n d   C l u s t er i n g   A l g o r i t h m s ,”   TE LKO M NIK A   Tel ec o m m u n i c a t i o n   Co m p u t i n g   E l ec t r o n i c s   a n d   Co n t r o l ,   v o l   1 7 ,   n o   3 ,   p p   1 3 9 3 - 1 3 9 8 ,   J u n 2 0 1 9 .     [4 ]   N .   Iri aw a n ,   A .   A .   Prav i t as ar i ,   K .   Fi t h ri a s ari ,   Irh ama h ,   S.   W .   Pu rn ami ,   W .   Ferri a s t u t i . ,   “Co mp ara t i v St u d y   o Brai n   T u m o Seg me n t a t i o n   u s i n g   D i ffere n t   Se g me n t a t i o n   T ec h n i q u es   i n   H an d l i n g   N o i s e ,”   2 0 1 8   I n t e r n a t i o n a l   C o n f er e n ce   o n   Co m p u t e r   E n g i n ee r i n g ,   Net w o r a n d   I n t e l l i g e n t   M u l t i m e d i a   (C E NIM ),   Su ra b ay a,   In d o n es i a,   p p .   2 8 9 - 2 9 3 ,   2 0 1 8 .   [5 ]   A .   A .   Prav i t a s ar i ,   M.   A .   I.   Safa,   N .   Iri aw an ,   Irh ama h ,   K .   Fi t h r i as a ri ,   S.   W .   Pu rn ami ,   W .   Ferri a s t u t i ,   “MRI - Bas e d   Brai n   T u m o Seg men t at i o n   u s i n g   Mo d i fie d   St ab l St u d e n t ’s   t   fro Bu rr  Mi x t u re  Mo d el   w i t h   Bay es i an   A p p ro a c h ,”   M a l a y s i a n   Jo u r n a l   o f   M a t h e m a t i c a l   S ci e n ces ,   v o l   1 3 ,   n o   3 ,   p p .   2 9 7 - 3 1 0 ,   2 0 1 9 .   [6 ]   A .   A .   Prav i t a s ari ,   N .   I.   N i rma l as ar i ,   N .   Iri a w an ,   Ir h ama h ,   K .   Fi t h r i as ar i ,   S.   W .   Pu rn am i ,   W .   Ferr i as t u t i ,   “Bay e s i an   Sp at i al l y   co n s t rai n ed   Fern a n d e z - St ee l   Sk ew   N o rmal   M i x t u re  mo d el   fo MRI - b as e d   Brai n   T u mo Se g men t at i o n ,     In   A IP   C o n f er e n ce  P r o ceed i n g s ,   v o l .   2 1 9 4 ,   n o .   1 ,   D e ce mb er  2 0 1 9 .   [7 ]   M.   Pat h ak ,   N .   Sri n i v a s u ,   V .   Bai rag i ,   “E ffect i v S eg men t at i o n   o Scl era,   Iri s ,   an d   Pu p i l   i n   N o i s y   E y e     Imag es , ”  TE LK O M NIK A   Tel e co m m u n i ca t i o n   C o m p u t i n g   E l ec t r o n i cs   a n d   Co n t r o l ,   v o l   1 7 ,   n o   5 ,   p p   2 3 4 6 - 2 3 5 4 ,   O ct o b er  2 0 1 9 .   [ 8 ]   I .   B .   K .   S u d i a t m i k a ,   F .   R a h m a n ,   T r i s n o ,   S u y o t o ,   I m a g e   F o r g e r y   D e t e c t i o n   U s i n g   E r r o r   L e v e l   A n a l y s i s   a n d   D e e p   L e a r n i n g ,   T E L K O M N I K A   T e l e c o m m u n i c a t i o n   C o m p u t i n g   E l e c t r o n i c s   a n d   C o n t r o l ,   v o l   1 7 ,   n o   2 ,   p p   6 5 3 - 6 5 9 ,   A p r i l   2 0 1 9 .   [ 9 ]   E .   G i b s o n ,   W .   L i ,   C .   H .   S u d r e ,   L .   F i d o n ,   D .   S h a k i r ,   G .   W a n g ,   Z .   E a t o n - R o s e n ,   R .   G r a y ,   T .   D o e l ,   Y .   H u ,   T .   W h y n t i e ,   P .   N a c h e v ,   D .   C .   B a r r a t t ,   S .   O u r s e l i n ,   M .   J .   C a r d o s o ,   T .   V e r c a u t e r e n . ,   N i f t y n e t :   a   D e e p - L e a r n i n g   P l a t f o r m   f o r   M e d i c a l   I m a g i n g , ”  C o m p u t e r   M e t h o d s   a n d   P r o g r a m s   i n   B i o m e d i c i n e ,   v o l .   1 5 8 ,   p p .   1 1 3 - 1 2 2 ,   M a y   2 0 1 8 .   [1 0 ]   P. V .   T ran ,   “A   F u l l y   C o n v o l u t i o n a l   N e u ral   N et w o r k   fo r   Card i ac  Se g men t at i o n   i n   Sh o rt - A x i s   MRI , ”  arX i v   p re p ri n t   arX i v : 1 6 0 4 . 0 0 4 9 4 ,   2 0 1 6 .   [1 1 ]   Y .   L i ,   H .   Q i ,   J .   D ai ,   X .   J i ,   Y .   W ei ,   “F u l l y   C o n v o l u t i o n a l   In s t a n ce - A w are  Sema n t i Seg me n t a t i o n , ”  2 0 1 7   I E E E   Co n f er e n ce  o n   C o m p u t er   V i s i o n   a n d   P a t t er n   R ec o g n i t i o n   (CV P R ),   H o n o l u l u ,   H I,   p p .   4 4 3 8 - 4 4 4 6 ,   2 0 1 7 .   [1 2 ]   O .   Ro n n eb er g e r,   P.   Fi s ch er,   T .   Bro x ,   “U - N e t :   C o n v o l u t i o n a l   N et w o r k s   f o Bi o me d i ca l   Imag Se g men t at i o n , ”  M ed i ca l   Im a g Co m p u t i n g   a n d   Co m p u t e r - A s s i s t ed   In t er ve n t i o n - M ICC A 2 0 1 5 ,   v o l .   9 3 5 1 ,   p p .   2 3 4 - 2 4 1 ,     N o v emb er  2 0 1 5 .   [1 3 ]   C.   Bal ak ri s h n a,   D .   Sars h ar,   S.   So l t an i n e j ad ,   “A u t o mat i d et ec t i o n   o l u me n   an d   med i i n   t h IV U i ma g es   u s i n g     U - N e t   w i t h   V G G 1 6   E n c o d er ,”     a r X i p r e p r i n t   a r X i v:1 8 0 6 . 0 7 5 5 4 ,   J u n 2 0 1 8 .   [1 4 ]   J .   L o n g ,   E .   Sh e l h amer,   T .   D arre l l ,   “Fu l l y   Co n v o l u t i o n a l   N et w o r k s   f o Seman t i Seg me n t a t i o n , ”  2 0 1 5   IE E E   Co n f er e n ce  o n   C o m p u t er   V i s i o n   a n d   P a t t er n   R ec o g n i t i o n   (CV P R ),   Bo s t o n ,   MA ,   p p .   3 4 3 1 - 3 4 4 0 ,   2 0 1 5 .   [1 5 ]   Y .   L e   Cu n ,   Y .   Ben g i o ,   “Co n v o l u t i o n al   N e t w o rk s   fo Imag es ,   Sp eech ,   an d   T i me  Seri e s , ”  H a n d   B r a i n   Th eo r Neu r a l   Net w ,   p p   3 3 6 1 - 3 3 7 1 ,   J an u ary   1 9 9 5 .   [1 6 ]   H .   C.   Sh i n ,   H .   R.   Ro t h ,   M.   G ao ,   L .   L u ,   Z .   X u ,   I.   N o g u es ,   J .   Y ao ,   D .   Mo l l u ra,   R.   Su mmer s ,   “D ee p   Co n v o l u t i o n a l   N eu ra l   N et w o r k s   f o Co m p u t er - ai d ed   D et ec t i o n :   C N N   A rc h i t ect u re s ,   D at a s et   C h aract er i s t i c s ,   an d   T ran s fer   L earn i n g , ”  in   IE E E   T r a n s a ct i o n s   o n   M e d i c a l   Im a g i n g ,   v o l .   3 5 ,   n o .   5 ,   p p .   1 2 8 5 - 1 2 9 8 ,   May   2 0 1 6 .   [1 7 ]   F.   Ch o l l e t ,   D ee p   L earn i n g   w i t h   Py t h o n ,”   M a n n i n g S h e l t e r   Is l a n d 2 0 1 8 .   [1 8 ]   Y .   L ecu n ,   L .   Bo t t o u ,   Y .   Ben g i o ,   P.   H affn er,   “G ra d i en t - b as e d   L earn i n g   A p p l i e d   t o   D o c u men t   Reco g n i t i o n , ”    P r o ceed i n g s   o f   t h IE E E ,   v o l .   8 6 ,   n o .   1 1 ,   p p .   2 2 7 8 - 2 3 2 4 ,   N o v .   1 9 9 8 .   [1 9 ]   A .   K ri z h ev s k y ,   I.   Su t s k ev er,   G .   E .   H i n t o n ,   “Imag en e t   Cl as s i fi cat i o n   w i t h   D eep   Co n v o l u t i o n al   N eu ra l   N et w o r k s , ”    i A d va n ces   i n   n e u r a l   i n f o r m a t i o n   p r o ces s i n g   s ys t em s ,   p p   1 0 9 7 - 1 1 0 5 ,   2 0 1 2 .   [2 0 ]   M.   D .   Z ei l er,   R.   Ferg u s ,   “V i s u al i zi n g   an d   U n d er s t a n d i n g   Co n v o l u t i o n a l   N et w o r k s ,   E u r o p ea n   co n f e r en ce   o n   co m p u t er   vi s i o n ,   Sp r i n g er,   Ch am,   v o l .   8 6 8 9 ,   p p   8 1 8 - 8 3 3 ,   2 0 1 4 .   [2 1 ]   A .   K ami l ar i s ,   F.   A   Pren afet a - Bo l d ú ,   “A   Rev i e w   o T h U s o Co n v o l u t i o n al   N eu ral   N et w o r k s   i n   A g r i cu l t u r e , ”    Th Jo u r n a l   o f   A g r i cu l t u r a l   S ci e n ce ,   p p   1 1 1 ,   2 0 1 8 .   [2 2 ]   A .   Z h an g ,   Z .   C.   L i p t o n ,   M.   L i ,   A .   J .   Smo l a ,   D i v i n t o   D eep   L earn i n g ,”   S A G E   P u b l i c a t i o n s   In c ,   2 0 1 9 .   [2 3 ]   D .   P.   K i n g ma,   J .   Ba ,   “A d am:   A   Me t h o d   fo S t o c h as t i O p t i mi zat i o n , ”  arX i v   p rep r i n t   arX i v : 1 4 1 2 . 6 9 8 0 ,   2 0 1 4 .   [2 4 ]   S.   Red d i ,   S.   K al e,   S.   K u mar,   “O n   t h C o n v erg e n ce  o A d am  an d   Be y o n d , ”  arX i v   p re p ri n t   ar X i v : 1 9 0 4 . 0 9 2 3 7 ,   2 0 1 9 .   [2 5 ]   C.   N i k o u ,   N .   P.   G al at s an o s ,   A .   C.   L i k as ,   “A   Cl as s - ad a p t i v Sp at i al l y   V ar i an t   Mi x t u re  Mo d e l   fo Imag e   Seg men t at i o n , ”  in   IE E E   T r a n s a ct i o n s   o n   Im a g P r o ce s s i n g ,   v o l .   1 6 ,   n o .   4 ,   p p .   1 1 2 1 - 1 1 3 0 ,   A p r i l   2 0 0 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.