I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   1 Feb r u ar y   2020 ,   p p .   1 0 1 7 ~ 1 0 2 6   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 10 i 1 . pp 1 0 1 7 - 1 0 2 6           1017       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Res S eg R esidua enco der - de co der  co nv o lutiona l neural  netw o rk  f o r f o o seg m en tatio n       J a v ier  O .   P inzó n - Are na s ,   Ro bin s o n J i m é nez - M o re no ,   Cesa G .   P a chó n - Su esc ún   F a c u lt y   o f   En g in e e rin g ,   Nu e v a   G r a n a d a   M il it a ry   Un iv e rsit y ,   Co lo m b ia         Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   2 ,   2 0 1 9   R ev i s ed   Sep   2 ,   2 0 1 9   A cc ep ted   Sep   2 7 ,   2 0 1 9       T h is  p a p e p re se n ts  th e   i m p le m e n tatio n   a n d   e v a lu a ti o n   o f   d iff e re n t   c o n v o lu ti o n a n e u ra n e tw o rk   a rc h it e c tu re f o c u se d   o n   f o o d   se g m e n tatio n .     T o   p e rf o r m   th is  tas k ,   it   is  p ro p o se d   th e   re c o g n it i o n   o f   6   c a teg o ri e s,  a m o n g   w h ich   a re   th e   m a in   f o o d   g ro u p s   (p ro tein ,   g ra in s,  f ru it ,   a n d   v e g e t a b les a n d   tw o   a d d it io n a g ro u p s,  rice   a n d   d rin k   o ju ice .   In   a d d it i o n ,   to   m a k e     th e   re c o g n it i o n   m o re   c o m p lex ,   it   is  d e c id e d   t o   tes th e   n e tw o rk w it h   f o o d   d ish e a lrea d y   sta rted ,   i. e .   d u rin g   d if fe re n m o m e n ts,   f ro m   it se r v in g   to   it f in ish in g ,   in   o rd e t o   v e rify   th e   c a p a b il it y   to   se e   w h e n   th e re   is  n o   m o re   f o o d   o n   t h e   p late .   F i n a ll y ,   a   c o m p a ris o n   is  m a d e   b e twe e n   th e   tw o   b e s re su lt in g   n e tw o rk s,  a   S e g N e w it h   a rc h it e c tu re   V GG - 1 6   a n d   a   n e tw o rk   p ro p o se d   in   th is  w o rk ,   c a ll e d   Re sid u a S e g m e n tatio n   Co n v o lu t io n a Ne u ra N e tw o rk   o r   Re sSeg ,   w it h   w h ich   a c c u ra c ies   g r e a ter  th a n   9 0 %   a n d   in terc e p ti o n - o v e r - u n io n   g re a ter  th a n   7 5 %   w e re   o b tain e d .   T h is  d e m o n stra tes   th e   a b il it y ,   n o o n ly   o S e g Ne a rc h it e c tu re f o f o o d   se g m e n tatio n ,   b u t h e   u se   o f   re sid u a lay e r to   im p ro v e   th e   c o n to u o f   th e   se g m e n tatio n   a n d   se g m e n tatio n   o f   c o m p le x   d istri b u ti o n   o in it iate d   o f   f o o d   d ish e s,  o p e n in g   th e   f ield   o f   a p p li c a ti o n   o f     th is  ty p e   o f   n e tw o rk to   b e   im p le m e n ted   in   f e e d in g   a ss ista n ts  o i n     a u to m a ted   re sta u ra n ts,   in c l u d i n g   a lso   f o d ieta ry   c o n tro l   f o th e   a m o u n o f     f o o d   c o n s u m e d .   K ey w o r d s :   E n co d er - d ec o d er   C NN   Fo o d   r ec o g n itio n   R esid u al  la y er s   Seg Net   Se m a n tic  s e g m e n tatio n   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   J av ier   Or lan d o   P in n   A r e n as ,     Me ch atr o n ic s   E n g in ee r i n g   P r o g r a m ,   Fac u lt y   o f   E n g i n ee r i n g ,   Nu e v Gr an ad Militar y ,   U n i v er s it y ,   C ar r er 1 1   # 1 0 1 - 8 0 ,   B o g o tá  D . C . ,   C o lo m b ia.   E m ail:  u 3 9 0 0 2 3 1 @ u n i m ilit ar . ed u . co       1.   I NT RO D UCT I O N     T h r ec o g n itio n   o f   p atter n s   a p p lied   to   f o o d   is   to p ic  th at   h as   b eg u n   to   ta k i m p o r tan ce   w it h i n   m ac h in v is io n   s y s te m s ,   m ai n l y   f o c u s ed   o n   ca lo r ie  co n tr o l   [ 1 ]   o r   d iet  co n tr o [ 2 ] .   Ho w ev er ,   th at  ap p licatio n   h as  b ee n   ch alle n g b ec au s th d is h e s   d o   n o co n tain   ch ar ac ter is tic  s h ap e s   o r   th in g r ed ie n ts   u s ed   ca n   d if f er   b y   d r asti ca ll y   c h a n g i n g   t h v is u al   ch ar ac ter i s tics   o f   t y p e   o f   f o o d .   Fo r   th e x ec u tio n   o f   t h i s   tas k ,   s ev er a l   d ev elo p m en t s   h a v b ee n   i m p l e m en te d ,   s u ch   as   th o s e   p r ese n ted   i n   [ 3 - 5 ] ,   b u t   t h m ai n   p r o b lem   is   t h at  t h ese   s y s te m s   d ep en d   o n   th d is h   co n tai n in g   o n l y   o n t y p e   o f   f o o d ,   r ec o g n izin g   s p ec if ic  d is h   w i th o u t   d is cr i m i n ati n g   t h i n g r ed ie n ts   [ 6 ]   o r   b ein g   in   co n tr o lled   o r   k n o w n   en v ir o n m e n t [ 7 8 ].   T o   in cr ea s th r o b u s tn e s s   o f   t h f o o d   r ec o g n itio n   s y s te m s ,   o t h er   tec h n iq u es   h a v b eg u n   to   b e   ap p lied   in   w a y   t h at   allo w s   r ec o g n izi n g   d i f f er e n t y p es  o f   f o o d   in   a   s i n g le  d is h .   So m d ev elo p ed   ex a m p le s   ar p r esen ted   in   [ 9 ]   an d   [ 10 ] .   T h f ir s o n m a k es  u s o f   p air w i s s tati s tic s   to   r ec o g n ize  d if f er e n ca teg o r ies   o f   f o o d   o n   p late  b y   m ea n s   o f   th e   ex p lo itatio n   o f   lo ca f ea tu r es,  b u it  d ep en d s   o n   b ein g   in   co n tr o lled   en v ir o n m e n w it h   w h ite  b ac k g r o u n d .   I n   th s ec o n d   o n e,   co m b in a tio n   o f   s e g m e n tati o n   o f   o b j ec ts   w i t h   p er ce p tu al  s i m ilar i ties   is   u s ed ,   in   s u c h   w a y   t h at  th e   al g o r ith m   r ec o g n ize s   an d   s eg m e n ts   f o o d   t y p es  w it h   r esp ec to   th eir   ch ar ac ter is t ics,  ac h ie v i n g   a n   ac cu r ac y   o f   4 4 in   t h s e g m e n tat io n   o f   3 2   m ea ls .     A lt h o u g h   t h ese  tec h n iq u es  alr ea d y   d is cr i m i n ate  p ar ts   o f   t h s a m d is h ,   t h p er f o r m a n ce   is   v er y   lo w ,   w h ich   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   1 0 1 7   -   1 0 2 6   1018   w h y   r esear ch er s   b eg a n   to   i n clu d ar ti f icia in telli g en ce   in   t h i s   ar ea ,   m o r s p ec i f ic all y   Dee p   L ea r n in g     ( DL )   tech n iq u e s   [ 11 ] .   W ith in   D L ,   t h er i s   tech n iq u ca lled   C o n v o lu tio n al   Neu r al  Net w o r k   ( C NN)   [ 1 2 ,   1 3 ] ,   w h ic h   h as   h ad   an   e x p o n e n tial  e v o lu tio n ,   n o o n l y   i n   it s   p er f o r m a n ce   i n   t h r ec o g n itio n   o f   p atter n s   i n   i m ag e s   b u i n   it s   v ar iatio n s   an d   ap p licatio n .   I n   th w o r k   d escr ib ed   in   [1 4 ] ,   co m p ar is o n   is   m ad b et w ee n   r eg io n - b ased   C N N   an d   Dee p   C N N,   to   s eg m e n an d   lo ca te  f o o d   in   p h o to ,   wh ile  in   [1 5 ] ,   Dee p   C NN  i s   u s ed   w it h   a   v ar iat io n   in   t h s tr u ct u r o f   th e   f u ll y   co n n ec ted   la y er s   to   s e g m en t   th e   f o o d   alo n g   w it h   m u lti - s ca le  C NN  to   e s ti m ate  it s   d ep th ,   ac h iev i n g   r esu lts   w i th   r an g e s   b et w ee n   7 0 % a n d   7 5 % a cc u r ac y   i n   th e s ti m atio n   o f   f o o d   q u an tit y .   On   t h e   o th er   h a n d ,   o th er   a r ch itect u r es  h av e   b ee n   d ev e lo p ed   to   ac h iev e   an   i m p r o v e m en i n     th s e g m e n tat io n   o f   o b j ec ts ,   c alled   E n co d er - Dec o d er   C NNs,  o r   c o m m o n l y   k n o w n   a s   Seg Net  [1 6 ] ,   w h ic h   i s     C NN   t h at  co n s is ts   o f   t wo   s tag e s .   T h f ir s s ta g co n s i s ts   o f   a n   e n co d er   in   ch a r g o f   g e n er ati n g   th r ec o g n itio n   o f   t h o b j ec t,   h o w ev er ,   it  d o es  n o co n tai n   f u ll y   co n n ec ted   la y er s ,   i.e .   i ts   las co n v o lu tio n   la y er   is   co n n ec ted   d ir ec tl y   to   th s ec o n d   s tag e,   w h ic h   i s   m ir r o r   o f   t h e n co d er ,   ca lled   d ec o d er ,   ad d in g   d ir ec co n n ec tio n   b et w ee n   ea ch   s ec tio n   o f   t h en co d er 's   d o w n s a m p li n g   w i th   it s   r esp ec tiv p ar o f   th d ec o d er ' s   u p s a m p li n g ,   allo w i n g   h av i n g   b etter   ch ar ac ter izatio n   o f   th i m ag i n   th last   la y er s .   T h is   t y p o f   n et w o r k   h as  h ad   g r ea p er f o r m a n ce   i n   ta s k s   r elate d   to   t h s e g m en tatio n   o f   o b j ec ts   [ 1 7 - 1 9 ] ,   ev en   in   th e   s eg m e n tatio n   o f   m ed ical  i m ag es  [ 20 - 2 3 ] ,   w h ich   h av t h ch ar ac ter is tic  o f   n o h a v i n g   s ec t i o n s   w it h   s p ec if ic   s h ap o r   to tall y   a m o r p h o u s .   Ho w e v er ,   th i s   n et w o r k   h a s   n o b ee n   w id el y   u s ed   i n   th ta s k   o f   f o o d   s eg m e n tatio n ,   f o r   t h is   r ea s o n ,   t h is   w o r k   e x p lo r es  th e   p o s s ib ilit y   o f   b ei n g   u s ed   a n d   d e m o n s tr ate  i ts   p er f o r m a n ce   i n   th i s   task .   A lt h o u g h   t h f o o d   s eg m en tatio n   d ev elo p m e n t s   ar m a in l y   f o c u s ed   o n   th d ietar y   co n tr o l,  th i s   w o r k   e x p an d s   th e   u s o f   t h ese  s y s te m s   to   k n o th e   ex i s te n ce   o r   n o o f   f o o d   o n   a   d is h ,   s o   t h at   it   ca n   b ap p lied   in   f u t u r w o r k   to   d ev elo p m e n ts   t h at  r eq u ir k n o w i n g   th p er ce n ta g e   o f   cu r r en f o o d   o r   au to n o m o u s   s y s te m s   o f   ass is t ed   f ee d in g .   L i k e w i s e,   d if f er en ar ch itect u r es  ar i m p le m e n te d   an d   ev alu ated   to   an al y ze   t h eir   r es u lt s   w it h   r es p ec to   an   ar ch itectu r p r o p o s ed   in   th s tate  o f   t h ar t,  e x p lo r in g   t h u s o f   r esid u al  la y er s   in   co n j u n ctio n   w it h   t h Se g Net,   w h ich   i s   ca ll ed   in   t h i s   w o r k   R e s Se g .   T h w o r k   i s   d iv id ed   in to   4   s ec tio n s ,   i n cl u d in g   t h p r ese n t   in tr o d u ctio n .   I n   s ec tio n   2 ,   t h d atab ase  p r ep ar e d   alo n g   w i th   t h p r o p o s ed   ar ch itect u r es  i s   p r esen te d .   Sectio n   3   d escr ib es  th e   r es u lts   o b tain ed   f r o m     th tr ain i n g   an d   test i n g   o f   t h e   n et w o r k s ,   tak i n g   in to   ac co u n th u s an d   n o n - u s o f   th e   b ac k g r o u n d   lab el.   Fin all y ,   i n   s ec tio n   4 ,   th co n cl u s io n s   r ea ch ed   ar g i v en .       2.   M E T H O DO L O G Y   T h w o r k   d o n f o cu s es  o n   th s eg m e n tatio n   o f   6   f o o d   g r o u p s ,   f o r   t h is   ca s e,   f r o m   t h l u n ch   m ea l,   w it h i n   w h ich   ar th 4   m ai n   g r o u p s   o f   f o o d s   ( P r o tein ,   Veg etab les,  Fru i ts ,   an d   Gr ain s )   p lu s   t w o   s u b g r o u p s ,   w h er J u ice  a n d   R ice  ar lo ca ted .   T h is   is   d o n s i n ce ,   i n   th ca s e   o f   r ice,   i n   t h co m m o n   f o o d   m e n u   o f     th C o lo m b ian   r e g io n   i is   f o u n d   in   m o s d i s h e s ,   an d   f o r   j u ice,   b ec au s it  i s   th e   liq u id   p ar o f   lu n c h .   I s h o u ld   b n o ted   th at  th s o u p ,   w h ic h   is   also   an   ess e n tial  ele m e n i n   th f o o d   o f   th r eg io n ,   is   n o tak en   i n to   ac co u n t.  Fo r   th is ,   t h co n s tr u c tio n   o f   o u r   o w n   d ataset   is   m ad e,   as  well  as  t h p r o p o s al  o f   d if f er en ar ch itect u r es  a n d   th eir   co m p ar is o n   w i th   t h VG G - 1 6   f o r   s e m a n tic  s eg m e n tati o n .   Nex t,  t h d ev elo p m e n t o f   t h w o r k   is   e x p o s ed .     2 . 1 .   Da t a ba s e   T h elab o r ated   d ataset  co n s is t s   o f   i m a g es  o f   b asic  f o o d   d is h es,  o r   co m m o n l y   ca lled   " E x ec u ti v es"   i n   th r eg io n .   T h is   d is h   co n s i s t s   o f   p o r tio n   o f   r ice,   t y p o f   g r ain ,   p r o tein ,   a   p o r tio n   o f   f r u it,  g las s   o f   j u ice,   an d   m o s tl y   a   p o r tio n   o f   s alad ,   an d   ar ta k en   o n   b ac k g r o u n d s   w it h   s i m p le   an d   co m p le x   te x t u r es.   A d d itio n a ll y ,   n o o n l y   i m a g es  o f   f r es h l y   p r ep ar ed   d is h es  ar e   tak e n ,   b u a s   th p er s o n   co n s u m es  it,  p ict u r es  o f   it  ar tak e n ,   in cr ea s i n g   its   co m p le x it y   f o r   r ec o g n itio n ,   b ec a u s i n   th d is h ,   t h er ar r esid u es  o f   s a u ce s   a n d   th f o o d   p o r tio n s   b eg in   to   b s ep ar at ed   o r   m i x ed .   T h p ictu r es  ar tak en   i n   t w o   r esta u r an t s ,   w i t h o u co n tr o o f   th li g h ti n g   a n d   w it h o u a   f i x e d   d is tan ce   b et w ee n   th e   p late  a n d   th ca m er a,   b u m o s t l y   tak en   ar o u n d   5 5   c m   o f   d is tan ce .   T h ese  i m a g es   ar ad j u s ted   to   s ta n d ar d   s ize  o f   4 8 0 x 3 6 0   p ix els,  to   a v o id   h i g h   co m p u tatio n al  co s t   in   tr ai n i n g   i f   h ig h e r   r eso l u tio n s   ar u s ed .   E ac h   p h o to   is   m an u al l y   lab eled ,   o b tain in g   a   t o tal  o f   2 3 6   i m a g es,   w h er 2 0 0   ar u s ed   f o r   tr ain in g   an d   3 6   f o r   v alid atio n   o f   n e t w o r k s .   A n   e x a m p le  o f   t h d ataset  ca n   b s ee n   i n   Fig u r 1   alo n g   w it h   it s   lab elin g .   I t sh o u ld   b n o ted   th at  n o   d ata  au g m e n tatio n   h a s   b ee n   p er f o r m ed .     2 . 2 .   P ro po s ed  a rc hite ct ures   I n   o r d er   to   ev al u ate  t h f o o d   s eg m e n tat io n   ca p ac it y   w ith   s m all   d atab ase  as   th e   o n e   elab o r ated   h er e,   d if f er e n ar ch itectu r e s   o f   C N Ns  w er p r o p o s ed ,   u s in g   co n f i g u r atio n s   s u c h   as  Seg Net  o r   E n co d er - Dec o d er   w it h   v ar iatio n   in   d ep t h ,   an d   v ar ian t s   o f   th i s   ar ch itect u r e,   w h ic h   co n tai n   r esid u al  la y er s .   T h is   w as  d o n e     in   o r d er   to   o b s er v th eir   p er f o r m an ce   a n d   q u alit y   o f   th s e g m e n tat io n   o f   ea ch   c ateg o r y .   E ac h   o f     th ar ch itect u r es i s   s h o w n   i n   F ig u r 2   an d   ar d escr ib ed   b elo w .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R esS eg :   R esid u a l e n co d er - d ec o d er c o n vo l u tio n a n eu r a l n et w o r …  ( Ja vier O r la n d o   P in z ó n   A r en a s )   1019     ( a)       ( b )     Fig u r 1 .   E x a m p les o f   th d ata s et,   w h er ( a)   r ec en tl y   p r ep ar ed   d is h   an d   ( b )   alr ea d y   s tar te d   to   b ea ten ,     w it h   t h eir   r esp ec tiv lab el s       T h f ir s ar ch itect u r is   Seg Net  o f   d ep th   3   ( o r   Seg Net   D3 ) ,   i.e .   it  is   f o r m ed   b y   a n   E n co d er   n et w o r k   th at  co n s is ts   o f   3   s et s   o f   la y er s .   E ac h   s et   co n tai n s   2   g r o u p s   o f   co n v o lu tio n ,   i n   o th er   w o r d s ,   g r o u p   is   co m p o s ed   o f   co n v o lu tio n   l a y er ,   b atch   n o r m aliza t io n   l a y er   an d   R e L la y er .   At  t h en d   o f   ea ch   s et,     a   d o w n s a m p li n g   o r   m a x p o o lin g   la y er   i s   ad d ed .   T h E n co d er   is   f o llo w ed   b y   Dec o d er   n et w o r k   t h at  is   b asicall y   m ir r o r   o f   th en co d er ,   w it h   t h d if f er en ce   th a in s tead   o f   h a v i n g   d o w n s a m p l i n g ,   t h d ec o d er   h as  u p s a m p l in g   la y er s   ca l led   u n p o o lin g   la y er .   I n   o r d er   to   i m p r o v th e   d elin ea tio n   o f   th e   s e g m en tatio n   b y   m ea n s   o f   t h r ete n tio n   o f   t h d et ails   o f   t h e n co d er s   ea r l y   la y er s ,   t h i n d ices   o f   ea c h   p o o lin g   la y er   ar e   in ter co n n ec ted   w it h   t h i n d ic es  o f   t h eir   r esp ec ti v m ir r o r   u n p o o lin g   la y er ,   as  d e f i n ed   in   [1 6 ] .   T h e   s ec o n d   ar ch itect u r e,   ca lled   Seg Net   D 4 ,   h as  s i m ilar   co n f i g u r atio n   as  th p r ev io u s   o n e,   w it h   s l i g h t   v ar iatio n   i n   its   d ep th ,   b ein g   o f   4 ,   th at  is ,   w it h   an   ad d itio n al  s et  o f   la y er s   in   b o th   th e n co d er   an d   d ec o d er .   Fo r   ar ch itectu r 3 ,   w h ic h   is   m o d i f icat io n   o f   t h Seg Net  D3 ,   t h f i lter s   s ize   o f   th f ir s s et  o f   t h en co d e r   an d   th last   s et  o f   th d ec o d er   w er v ar ied ,   estab lis h i n g   th e m   in   5 x 5   p ix el  s q u ar es,  s o   th at  th n e t w o r k   co u ld   lear n   in   b etter   w a y   tex tu r es a n d   in ter n al  s h ap es o f   th f o o d .   L ik e w is e,   t h n u m b er   o f   f ilter s   w er i n cr ea s e d   in   s o m la y er s .   I n   o r d er   to   ex p lo r ar ch itectu r es  d if f er e n f r o m   co n v e n tio n al  o n es,  it  w a s   p r o p o s ed   to   u s r esid u al   la y er s   w it h in   ea ch   la y er   s et.   A s   r ep o r ted   in   [ 2 4 ] ,   th ad d iti o n   o f   th i s   t y p o f   la y er   i m p r o v es  th e   ac c u r ac y   o f   th n et w o r k   i n   co n j u n ctio n   with   th e   q u alit y   o f   th e   s e g m en tatio n   w i th   r esp ec to   th e   co n to u r   o f   th e   o b j ec th an k s   to   th tr an s f er   o f   th f ea tu r e s   o f   ea r l y   la y er s   to   d ee p er   lay er s Fo r   th i s   r ea s o n ,   th f o llo w i n g   ar ch itect u r es,  ca lled   E - R e s id u al  v . 1   a n d   v . 2 ,   co n s is t   o f   a   Se g Net  o f   d ep th   th r ee   w i th   s et s   o f   la y er s   co m p o s ed   o f   3   g r o u p s   o f   co n v o lu tio n ,   ad d in g   r es id u al  la y er s   in   ea ch   s et   o f   t h e n co d er Ho w e v er ,   d u to     th in ter co n n ec ti v it y   o f   th e n co d er   w it h   th d ec o d er ,   th r e s id u al  la y er   i n p u is   ta k e n   f r o m   th f ir s g r o u p   o f   co n v o lu tio n   o f   th s e t,  an d   its   o u tp u is   co n n ec ted   to   th p o o lin g   lay er   i n p u t .   T h c o n n ec tio n s   ca n   b e   o b s er v ed   m o r g r ap h icall y   i n   Fig u r 3 ,   w h er t h o u tp u o f   t h co n n ec tio n   is   th e   R e L U   f u n ctio n .   I n   t h is   f i g u r e,   co n v ”  r ef er s   to   c o n v o l u tio n   la y er   an d   B - n o r m ”  to   b atch   n o r m aliza t io n   la y er .   T h m ai n   d if f er e n ce   b et w ee n   t h ese  t w o   n et w o r k s   is   t h n u m b er   o f   f ilt er s   u s ed   p er   la y er .   T o   f u r th er   s tr e n g th e n   t h p r ev io u s   ar ch i tectu r es,   r esid u al   co n n e ctio n s   ar ad d ed   in   th e   d ec o d er .     T h is   v ar iatio n   is   n a m ed   R e s id u al  Se g m e n tatio n   C o n v o l u tio n al  Neu r al  Net w o r k   o r   R esS e g ,   w h ich   h as   d ep th   o f   3 ,   o r   R esS eg   D3 .   Fi n all y ,   t h last   p r o p o s ed   ar ch itectu r is   R es Seg   w i th   d ep th   o f   5   s ets  ( R e s Se g   D5 ) .   I ts   m ai n   c h ar ac ter is tic  th at,   i n   th f ir s s et   o f   th e n co d er   an d   last   o f   t h d ec o d er ,   r esid u al  b r an ch es  ar n o t   u s ed ,   an d   f ilter s   o f   s ize  3   ar u s ed   in   t h f ir s co n v o l u tio n   l a y er ,   ex ce p in   s tag 4 ,   b ec au s it  is   n ec ess ar y   to   ad j u s t th o u tp u t v o l u m to   a v o i d   lo s s   o f   in f o r m atio n ,   d u to   th s ize  o f   t h i m ag e.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   1 0 1 7   -   1 0 2 6   1020   I s h o u ld   b n o ted   th a f o r   th e   co n v o l u tio n   la y er s   w it h   3 x 3   f ilter   s ize  in   ev er y   ar ch itect u r e ,   p ad d in g   o f   1   is   u s ed ,   in   s u ch   w a y   t h at  t h s ize  o f   t h i n p u v o l u m o f   t h la y er   is   m a in ta in ed .   T h n et w o r k   w ith   w h ic h   it  w ill  b co m p ar ed   to   th p er f o r m a n ce   o f   all  p r o p o s ed   ar ch itectu r es  is   S eg Net  v er s io n   o f   th VGG - 16  [2 5 ] ,   s in ce   it s   d ep th ,   an d   i n   g en er al,   it s   ar ch i tectu r is   s i m ilar   to   t h p r o p o s ed   o n es,  b u w i th   g r ea ter   n u m b er   o f   co n v o lu ti o n   la y er s   a n d   lear n i n g   f ilter s .             Fig u r 2 .   P r o p o s ed   ar ch itectu r es   In p u t 3x3 ,   64 3x3 ,   64 Poo l   / 2 Unp o o l x2 3x3 ,   64 3x3 ,   64 Softm ax 3x3 ,   64 3x 3,   64 Poo l   / 2 3x3 ,   64 3x3 ,   64 Poo l   / 2 Unp o o l x2 3x 3,   64 3x3 ,   64 Unp o o l x2 3x 3,   64 3x3 ,   6 In p u t 3x3 ,   64 3x3 ,   64 Poo l   / 2 Unp o o l x2 3x3 ,   64 3x3 ,   64 Softm ax 3x3 ,   64 3x 3,   64 Poo l   / 2 3x3 ,   64 3x3 ,   64 Poo l   / 2 Unp o o l x2 3x3 ,   64 3x3 ,   64 Unp o o l x2 3x3 ,   64 3x3 ,   6 3x3 ,   64 3x3 ,   64 Poo l   / 2 Unp o o l x2 3x3 ,   64 3x3 ,   64 In p u t 5x5 ,   64 5x5 ,   64 Poo l   / 2 Unp o o l x2 3x3 ,   256 3x3 ,   128 Softm ax 3x3 ,   64 3x 3,   12 8 Poo l   / 2 3x3 ,   128 3x3 ,   256 Poo l   / 2 Unp o o l x2 3x 3,   12 8 3x3 ,   64 Unp o o l x2 5x 5,   64 5x5 ,   6 In p u t 3x3 ,   128 1x1 ,   64 Poo l   / 2 Unp o o l x2 1x1 ,   512 3x3 ,   512 Softm ax 3x3 ,   128 1x1 ,   128 3x3 ,   256 Poo l   / 2 1x1 ,   128 1x1 ,   128 3x3 ,   512 Poo l   / 2 1x1 ,   512 1x1 ,   128 Unp o o l x2 1x1 ,   128 3x3 ,   256 1x1 ,   128 Unp o o l x2 3x3 ,   128 1x1 ,   128 3x3 ,   6 1x1 ,   128 1x1 ,   512 In p u t 3x3 ,   64 1x1 ,   32 Poo l   / 2 Unp o o l x2 1x1 ,   256 3x3 ,   256 Softm ax 3x3 ,   64 1x1 ,   64 3x3 ,   128 Poo l   / 2 1x1 ,   64 1x1 ,   64 3x3 ,   256 Poo l   / 2 1x1 ,   256 1x1 ,   64 Unp o o l x2 1x1 ,   64 3x3 ,   128 1x1 ,   64 Unp o o l x2 3x3 ,   64 1x1 ,   64 3x3 ,   6 1x1 ,   64 1x1 ,   256 Se gN e t D3 Se gN e t D4 Se gN e t D3 M o d if ied Se gN e t D E - R esid u al  v .1 Se gN e t D3 E - R esid u al  v .2 In p u t 3x3 ,   64 1x1 ,   32 Poo l   / 2 Unp o o l x2 1x1 ,   256 3x3 ,   256 Softm ax 3x3 ,   64 1x1 ,   64 3x3 ,   128 Poo l   / 2 1x1 ,   64 1x1 ,   64 3x3 ,   256 Poo l   / 2 1x1 ,   256 1x1 ,   64 Unp o o l x2 1x1 ,   64 3x3 ,   128 1x1 ,   64 Unp o o l x2 3x3 ,   64 1x1 ,   64 3x3 ,   6 1x 1,   64 1x1 ,   256 1x1 ,   64 1x1 ,   256 In p u t 3x3 ,   32 3x3 ,   64 Poo l   / 2 U n p oo l x2 3x3 ,   128 3x3 ,   128 Softm ax 3x3 ,   64 3x3 ,   64 3x3 ,   64 Poo l   / 2 1x1 ,   128 3x3 ,   128 3x3 ,   128 Poo l   / 2 1x1 ,   128 1x1 ,   128 1x1 ,   128 4x3 ,   128 3x3 ,   128 Poo l   / 2 1x1 ,   128 3x3 ,   128 3x3 ,   128 Poo l   / 2 1x1 ,   128 Unp o o l x2 3x3 ,   128 3x3 ,   128 2x3 ,   128 Unp o o l x2 3x3 ,   128 3x3 ,   128 1x1 ,   128 Unp o o l x2 3x3 ,   64 3x3 ,   64 1x1 ,   64 Unp o o l x2 3x3 ,   6 3x3 ,   64 3x3 ,   64 1x1 ,   128 1x1 ,   128 1x1 ,   64 In p u t 3x3 ,   32 3x3 ,   64 Poo l   / 2 Unp o o l x2 3x3 ,   512 3x3 ,   512 Softm ax 3x 3,   12 8 3x3 ,   128 Poo l   / 2 3x3 ,   256 3x 3,   25 6 Poo l   / 2 3x3 ,   256 3x3 ,   512 3x3 ,   512 3x3 ,   512 Poo l   / 2 3x3 ,   512 3x3 ,   512 3x3 ,   512 Poo l   / 2 3x3 ,   512 Unp o o l x2 3x3 ,   256 3x3 ,   512 3x3 ,   512 Unp o o l x2 3x3 ,   128 3x3 ,   256 3x3 ,   256 Unp o o l x2 3x3 ,   64 3x3 ,   128 U n p oo l x2 3x3 ,   6 3x3 ,   64 3x3 ,   256 3x3 ,   256 3x3 ,   512 3x3 ,   512 3x3 ,   512 3x3 ,   512 Se gN e t V GG16 R esSe g D5 R esSe g D3 Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R esS eg :   R esid u a l e n co d er - d ec o d er c o n vo l u tio n a n eu r a l n et w o r …  ( Ja vier O r la n d o   P in z ó n   A r en a s )   1021       Fig u r 3 .   R esid u al  co n n ec t io n   s tr u ct u r e       3.   RE SU L T S AN D I SCU SS I O NS   3 . 1 .   P er f o r m a nce  w it ho ut  la beled ba c k g ro un d   Fo r   th p u r p o s o f   co m p ar in g   th p er f o r m a n ce   o f   th e   ar ch ite ctu r es,  id en tical  tr ai n i n g   p ar a m eter s   ar e   s et,   s o   th at  t h e y   ca n   lear n   u n d er   th s a m co n d itio n s .   T ak in g   in to   ac co u n t t h ab o v e,   th i n itial lea r n i n g   r ate  i s   s et  to   1 0 - 4   w ith   d r o p   f ac to r   o f   0 . 5   p er   1 0 0   e p o ch s ,   u s i n g   b atch   s ize  o f   2   an d   to t al  o f   4 0 0   ep o ch s   o f   tr ain i n g .   T h o s p ar a m eter s   wer s et  b y   d o in g   iter ati v test s ,   w i th   w h ic h   b etter   r esu lt s   wer o b tain ed   d u r in g   th tr ai n in g .   W it h   th is ,   t h e   b eh av io r s   s h o w n   i n   Fi g u r e   4   ar o b tain ed ,   w h er n o   n et w o r k   s u r p as s es     an   ac cu r ac y   o f   5 0 %,  ev en   h a v i n g   t h VGG1 6   as t h w o r s t p er f o r m er ,   w ith   3 0 % a cc u r ac y .           Fig u r 4 .   T r ain in g   b eh a v io r   o f   ea ch   ar ch itect u r e,   u s i n g   d ata b ase  w it h o u t la b eled   b ac k g r o u n d       Du to   th e   lo w   p er f o r m an ce   o f   t h n et w o r k s   d u r in g   t h eir   t r ain in g ,   it  i s   n ec es s ar y   to   o b s er v w h at  th e y   lear n ed   to   u n d er s tan d   t h eir   b eh av io r s .   Fo r   th i s ,   test s   ar m ad w ith   te s i m a g es,  o b tain in g   r es u lt s   li k   th o n in   Fi g u r 5 ,   w h er e,   d esp ite  b ein g   ab le  to   s e g m en ea ch   t y p o f   f o o d ,   th e y   ar n o ab le  to   eli m i n ate     th b ac k g r o u n d   o r   p ar ts   o f   th d is h es,  ca u s in g   lar g a m o u n ts   o f   f alse  p o s iti v es  to   b g en er ated   f r o m   all  f o o d s ,   w h ic h   m a k es t h n et w o r k   i n ef f icie n t.           Fig u r 5 .   C o m p ar is o n   b et w ee n   g r o u n d   tr u t h   an d   s e g m e n tati o n   o b tain ed   f r o m   R e s Se g   D3   Co n v R e LU Co n v B - N o r m B - N o r m Re LU Co n v B - N o r m R e LU Co n v B - N o r m + CON V CON V CON V R e s CON V Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   1 0 1 7   -   1 0 2 6   102 2   3 . 2 .   P er f o r m a nce  w it h la beled b a ck g ro un d   T o   s o lv th ab o v p r o b le m ,   it  is   p r o p o s ed   to   ad d   an   ad d itio n al  ca te g o r y   ca lled   " B ac k g r o u n d " ,   w h er ea ch   u n lab eled   p ar o f   th i m ag b ec o m e s   p ar o f   th is   ca teg o r y ,   g en er ati n g   i m ag e s   lik e   t h ex a m p l e   s h o w n   i n   Fi g u r 6 .   W ith   t h i s   m o d if ica tio n ,   it   is   p r o ce ed ed   to   p er f o r m   t h tr ai n in g   o f   e ac h   n et w o r k   a g ai n .   H o w e v er ,   s l ig h m o d if icati o n   is   m ad i n   th lear n i n g   r a te  p ar a m et er ,   u s i n g   an   in i tial   v al u o f   10 - 3 ,   w it h     d r o p   r atio   o f   0 . 5   p er   1 5 0   ep o ch s ,   i n   s u c h   w a y   t h at   th e   n et w o r k s   s tar t   w it h   r ap id   le ar n in g   p r o ce s s ,   a n d   th en   f i n e - tu n i n g   th p ar a m eter s   lear n ed   ev er y   ce r tai n   n u m b e r   o f   ep o ch s .   T h is   m o d i f icatio n   w as  d ec id ed   af ter   lo o k in g   at  t h i n itial  b e h av io r   o f   th n et w o r k s   co m p ar ed   to   th f ir s lear n in g   r ate  u s e d ,   s ee in g   th at  w it h   s m al ler   lear n i n g   r ate,   t h n et w o r k s   te n d ed   to   o b tain   ac cu r a cies lo w er   th a n   7 0 % a f ter   2 0 0   ep o ch s .   W ith   t h ese   p ar am eter s ,   tr ai n in g   b e h av i o r   lik t h o n e   s h o w n   in   Fi g u r 7   is   o b tain ed ,   h av i n g   as   th t w o   b est  n et w o r k s   th R esS e g   o f   d ep th   5   an d   th Se g Net  w it h   VGG - 1 6   ar ch itect u r e,   w ith   9 4 . 1 an d   9 5 . 5 ac cu r ac y ,   r esp ec tiv el y ,   s u r p ass i n g   b y   m o r th an   3 t h m o d i f ied   Se g Net  D3 ,   w h ich   w as  th o n l y   o n to   ac h iev e   m o r e   th an   9 0 % a m o n g   th r e m ai n in g   n et w o r k s .           Fig u r 6 .   Gr o u n d   tr u t h   w it h   th a d d itio n al  ca teg o r y   B ac k g r o u n d           Fig u r 7 .   T r ain in g   b eh a v io r   o f   ea ch   ar ch itect u r e,   u s i n g   d atab ase  w it h   lab eled   b ac k g r o u n d       3 . 3 .   T est  perf o r m a nce  o f   f ina l t ra ined a rc hite ct ures   Sin ce   th e   ar ch itect u r es   h ad   b etter   b eh av io r   d u r i n g   t h eir   tr ain i n g ,   it  i s   p r o ce ed ed   to   v er if y   th e ir   p er f o r m a n ce   w it h   t h tes t   i m a g es.  T ab le  1   s h o w s   th r es u lts   o b tai n ed   w i th   ea ch   ar ch itect u r e.     T h ar ch itectu r es  w i th   t h lo west p er f o r m a n ce   w er th Se g Net s   to   w h ic h   t h r esid u al  la y er s   w er ad d ed   o n l y   in   th e n co d er   s tag e.   On   th o th er   h an d ,   th er ar n et w o r k s   w i th   p er ce n ta g es  o f   ac cu r ac y   g r ea ter   th a n   9 0 %,  w it h   Se g Net  D4 ,   m o d if ied   D3 ,   an d   R e s Se g   D5 ,   w i th   s l ig h d if f er e n ce s .   H o w e v er ,   a n   i m p o r tan f ac to r   f o r   it s   ev alu a tio n   is   p r ese n ted   i n   t h e   in ter ce p o v er   u n io n   ( I o U) ,   w h er t h R esS e g   o b tai n ed   h i g h er   r ela tio n ,   i.e .   h o w   w ell  t h n et w o r k   c lass if ies  t h p ix el s   o f   th c lass e s ,   g i v en   b y   ( 1 ) ,   w h er T P   ar e   th tr u p o s iti v es,     FP   th f alse  p o s it iv e s   an d   t h e   FN  t h f alse  n e g ati v es,  b ein g   t h v a lu s h o w n   i n   t h tab l th a v er ag o f   al l     th clas s es o f   t h ev a lu ated   d a taset.       T ab le  1 .   A r ch itect u r es p er f o r m an ce   w i th   t h te s t d atab ase   N e t w o r k   S e g N e t   D3   S e g N e t   D4   S e g N e t   D 3   M   S e g N e t   D 3   E - R   v . 1   S e g N e t   D 3   E - R   v . 2   R e sS e g   D3   R e sS e g   D5   S e g N e t   V G G 1 6   Me a n   Ac c u r a c y   ( % )   8 9 . 6 1   9 0 . 0 6   9 0 . 3 5   8 7 . 8 5   8 6 . 7 1   8 8 . 1 7   9 0 . 4 3   9 4 . 8 6   Me a n   I o U   0 . 6 3 5   0 . 6 6 3   0 . 6 6 1   0 . 6 3 8   0 . 6 3 1   0 . 6 4 2   0 . 7 5 6   0 . 8 2 1   Me a n   BF  S c o r e   0 . 5 4 7   0 . 5 6 8   0 . 5 9 0   0 . 5 6 7   0 . 5 5 4   0 . 5 6 7   0 . 7 0 7   0 . 7 6 8   Me a n   Pr o c e ss i n g   T i m e   ( m s)   1 6 3 . 9   1 8 3 . 3   2 6 0 . 3   3 1 7 . 6   2 0 3 . 3   2 1 0 . 0   2 6 4 . 1   3 5 4 . 1   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R esS eg :   R esid u a l e n co d er - d ec o d er c o n vo l u tio n a n eu r a l n et w o r …  ( Ja vier O r la n d o   P in z ó n   A r en a s )   1023                            ( 1 )     Ma k i n g   co m p ar is o n   b et w e en   th t w o   p r o p o s ed   R esS eg   ar ch itectu r e s ,   it  ca n   b s ee n   th at,   w it h     th in cr ea s in   t h d ep th   o f   th n et w o r k ,   th a v er ag ac c u r ac y   i n cr ea s ed   b y   2 . 2 6 %.  L ik e w i s e,   th m I o U   o b tain ed   s i g n if ica n i m p r o v e m e n t,  in cr ea s in g   b y   0 . 1 1 4 ,   lik th e   p ar a m eter   B ( b o u n d ar y   F1 )   w h ic h   i s   d ef in ed   a s   t h p r ec is io n   i n   t h e   alig n m en o f   th e   p r ed icted   b o u n d ar y   w it h   r esp ec t   to   t h g r o u n d   tr u t h ,   g r o w i n g   b y   0 . 1 4 ,   o b s er v in g   an   in cr ea s in   t h p r o ce s s i n g   t i m o f   o n l y   5 0   m s .   W it h   t h is ,   it  c a n   b in f er r ed   th at  b y   in cr ea s i n g   t h d ep th   to   ce r tai n   d eg r ee ,   it c a n   b ea s il y   r ea c h ed   t h p er f o r m a n ce   o f   t h e   Se g Net  VGG1 6 ,   ev e n   b ein g   ab le  to   h a v b etter   p r o ce s s i n g   ti m e.     A   co m p ar i s o n   o f   th ar c h itec tu r es  i n   d if f er e n d is h es  a n d   en v ir o n m e n t s   ca n   b s ee n   i n   Fig u r 8 ,   w h er th er ar f r esh l y   s er v e d   d is h es,  s tar ted   to   b e   ea ten   a n d   f in is h ed .   Si m ilar l y ,   tab les  w it h   f lat  co lo r   an d   co m p le x   tex tu r es  ar u s ed   in   s u ch   w a y   t h at  it  i s   m o r d if f i cu lt  to   d if f er e n tiate  it  f r o m   f o o d .   W h en   th d is h es   ar f r esh l y   s er v ed ,   s u c h   as  n u m b er   4 ,   t h n et w o r k s   ten d   to   g en er ate  g o o d   class i f icat io n   an d   s e g m e n tatio n   o f   th f o o d ,   alth o u g h   t h e y   h av p ar ts   o f   th tab le  th at  ar r ec o g n ized   as  s o m t y p o f   f o o d ,   ex ce p R esS e g   D5   an d   VGG1 6 .   I n   th s a m w a y ,   w h e n   th p late  is   al m o s e m p t y   ( co lu m n   5 ) ,   th e y   g e n er ate  g o o d   class i f icatio n ,   ev en   o f   p ar ts   n o lab eled   in   th g r o u n d   tr u th ,   alth o u g h   th e y   also   m a n a g to   lab el  lef to v er s   o f   s au ce   lo ca ted   in   t h u p p er   p ar o f   th p late.   I n   th f ir s co lu m n ,   t h n et w o r k s   te n d   to   b w r o n g   m a in l y   i n     th s eg m e n tatio n   o f   t h j u ice ,   m ai n l y   b y   it s   co lo r ,   w it h   t h e x ce p tio n   o f   th e   las t w o   ar ch itect u r es,  e v en   th o u g h   p ar o f   th m ea s au ce   w a s   lab eled   as  m ea i n   th g r o u n d   tr u th ,   t h ese  t w o   w er ab le  to   id en tify   w h ic h   w a s   th p r o tein   a n d   s ep ar ate  it f r o m   th s au ce .           Fig u r 8 .   Dif f er en t te s ts   o f   t h e   ar ch itectu r e s   w it h   th te s t d ataset       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   1 0 1 7   -   1 0 2 6   1024   T h m o s co m p lex   i m ag e   is   lo ca ted   in   co l u m n   2 ,   w h er e   th er is   a   p late  t h at  h as   alr ea d y   b e en   s tar ted   an d   b ac k g r o u n d   w i th   co m p lex   tex tu r e.   I n   th i s ,   t h f ir s 6   ar ch itectu r es   g e n er ate  lar g n u m b er   o f   f alse   p o s itiv es,  esp ec iall y   p r o tein   d u to   th d ar k   co lo r   o f   th e   tex tu r e.   T h R esS eg   D5   n et w o r k ,   alt h o u g h   it s   a m o u n o f   f al s p o s iti v es  i s   la r g el y   le s s   t h a n   o th er   n et w o r k s ,   ten d s   to   b w r o n g   w h er t h e   ca n d y   i s   ( w h ic h   i s   n o t p ar t o f   a n y   ca te g o r y ) .   On   t h o th er   h a n d ,   VGG1 6   w as a b le  to   d is cr i m in ate   th is   a n d   av o id   in   lar g q u a n tit y   f alse  p o s iti v es  ca u s ed   b y   t h e n v ir o n m e n t.   I n   g en er al  ter m s ,   th t w o   b e s ar ch itect u r es  ar t h R e s Se g   D5   an d   Seg Net  V GG1 6 ,   w h ic h   ar ab le  to   eli m i n ate  t h n o i s th a d o es  n o b elo n g   to   t h d is h   to   a   lar g ex te n a n d   to   s eg m e n w it h   g o o d   p r ec is io n   t h t y p es o f   f o o d .   On   t h o th er   h a n d ,   alth o u g h   t h VGG1 6   h a s   b etter   o v er all  p er f o r m an ce ,   w h e n   m a k i n g     th co m p ar i s o n   b et w ee n   th is   n et w o r k   a n d   t h R es Se g   D5 ,   e s p ec iall y   w it h   f r es h l y   s er v ed   d is h es,     th R e s Se g   h a s   b etter   b eh av io r   r eg ar d in g   th d eli n ea ti o n   o f   th co n to u r s   o f   t h s eg m e n ted   s ec t io n s ,     as  s h o w n   in   Fi g u r 9 .   T h R es Seg   i s   ab le  to   s eg m e n e m p t y   s p ac es  b et w ee n   p ar ts   o f   t h s a m f o o d ,   as  ca n   b e   s ee n   in   t h le f t   p ar o f   th e   d is h ,   w h er a   n o o d le  lea v es   an   e m p ty   s p ac e,   w h ic h   is   f i lled   b y   t h VG G1 6 .   I ev e n   h as  b etter   s e g m en ta tio n   o f   t h v e g etab le  ca te g o r y .   T h is   al lo w s   y o u   to   h a v b etter   id ea   o f   th a m o u n o f   f o o d   th at  is   ac t u all y   o n   th p la te.           Fig u r 9 .   C o m p ar is o n   o f   b o u n d ar y   s e g m en tatio n   p er f o r m a n c b et w ee n   R es Seg   D5   a n d   VGG1 6       3 . 4 .   Ca s es o f   w ro ng   s eg m ent a t io n f o ResSeg   D5   T h R esS e g   D5 ,   alth o u g h   it  h as  a   g o o d   b eh av io r   esp ec iall y   w h e n   t h er i s   f o o d   s till   o n   th e   p late,   h as  d if f ic u lt y   w h e n   t h er is   n o   f o o d   b u th er ar r esid u es  o f   s au ce s   th at  ca n   s i m u late  t h tex tu r o f   t h r ice  b y   th d i v is io n   an d   co lo r   o f   t h d is h ,   ca u s in g   it  to   g e n er ate  co n f u s io n   o f   q u an ti t y   o f   f o o d .   I ca n   b s ee n   i n   Fig u r 1 0 a,   w h er ac co r d in g   to   th eir   ac ti v atio n s ,   t h n e t w o r k   ac tiv ate s   ar ea s   m ai n l y   w h er t h s a u ce   is   lo ca ted .   T h is   ca n   b ca u s ed   b y   co n v o l u tio n s   f r o m   p i x el  to   p ix el  ( f ilter s   o f   s ize  1 ) ,   s in ce   th e y   ca n   d iv er th eir   lear n in g   to w ar d s   ac ti v b u t   lit tle  r elev a n p ar ts ,   tak in g   i n to   ac co u n th at   p r io r   to   th e s t h e r ar o n l y   2   la y er s   o f   co n v o l u tio n   an d   d o   n o u s lar g n u m b er   o f   f ilter s   i n   th la y er s ,   co n s id er in g   th e   n u m b er   o f   p o s s ib le   d etails th at  m a y   b in   th e m p t y   p lates.   An o th er   s i m ilar   s it u atio n   h ap p en s   b u th i s   ti m w h e n   co m p lex   b ac k g r o u n d s   ar p r ese n t ed ,   s u ch   a s   th o n p r esen ted   i n   Fi g u r 1 0 b .   Her e,   th n et w o r k ,   d esp it h a v i n g   b ee n   ab le   to   co r r ec tly   id e n ti f y   t h m ai n   f o o d   d is h   w it h   s o m e   m is ta k e s   i n   t h f r u it  p late,   p r esen t s   s eg m e n tat io n   o f   t h e   p r o tein   ca teg o r y   in   th e   tab le,     d u to   t h te x tu r e   it  h as,  m a k i n g   it  lo o k   li k g r o u n d   m ea t,  a l s o   b ein g   ac ti v ated   w h er t h s w ee t   is ,   a n d   i n s id e   th g las s   as  i f   it  w er r ice.   A l th o u g h   th is   d o es  n o h ap p en   t o   lar g ex te n t,  w h en   l ig h ti n g   is   lo w ,   t h i s   er r o r   ten d s   to   ap p ea r .           ( a)   ( b )     Fig u r 1 0 .   C ases   o f   w r o n g   s e g m en tatio n   O rig in a l   G ro u n d  T ru th   Seg N e V G G 1 6   Re s Seg  D5     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       R esS eg :   R esid u a l e n co d er - d ec o d er c o n vo l u tio n a n eu r a l n et w o r …  ( Ja vier O r la n d o   P in z ó n   A r en a s )   1025   4.   CO NCLU SI O NS   I n   th is   p ap er ,   it  w a s   ex p lo r ed   th u s o f   r esid u al  la y er s   f o r   th task   o f   f o o d   s eg m en tatio n   i n   co n v o lu tio n al  n eu r al  n e t w o r k s ,   w it h in   w h ic h   an   ar ch itect u r e   w it h   p er f o r m an ce   clo s to   o n o f   th m o s u s ed   n et w o r k s   i n   s eg m e n tatio n   w a s   i m p le m e n ted ,   w h ich   w a s   n a m ed   R esS e g .   Dif f er e n ar c h itect u r es  w i th   d if f er e n t   co n f i g u r atio n s   w er s tr u c tu r ed   in   th lo ca tio n   o f   th r esid u al  la y er s ,   m ak in g   co m p ar is o n s   w ith   b asic   s eg m e n tatio n   n et w o r k s ,   s h o w i n g   th at  h a v i n g   s h allo w   d ep th ,   th r esid u al  la y er s   m ak th ar ch itect u r pe r f o r m   les s   t h a n   t h o s e   ar ch it ec tu r es  th at   d o   n o t   u s t h e m ,   ev en   w it h   th e   s a m d ep th ,   as   s h o w n   i n   T ab le  1 .     On   t h o th er   h a n d ,   w h e n   i n cr ea s in g   t h d ep th   o f   t h n et w o r k ,   in   t h ca s o f   co m p ar is o n   b et w ee n   R esS e g   D3   an d   D5 ,   th p er f o r m a n ce   i m p r o v es  g r ea tl y ,   b y   m o r th a n   2 in   t h a v er ag ac cu r a c y ,   an d   u p   to   1 1 %     th p er f o r m a n ce   o f   t h m I o U.   T h co r r ec lab elin g   o f   th e   d atab ase  p la y s   f u n d a m e n tal  r o le  in   t h tr ai n i n g   o f   ar ch itect u r es,  s i n ce ,   as  ev id e n ce d   in   s ec tio n   3 . 1 ,   n o h av i n g   lab el  co r r esp o n d in g   to   th b a c k g r o u n d ,   m a k es   th p er f o r m a n ce s   o f   th ese  b cr iticall y   i m p air ed ,   tak i n g   i n to   ac co u n ev er y t h i n g   n o lab eled   as  p ar ts   o f   th o th er   ca teg o r ies.     Fo r   th is   r ea s o n ,   it  i s   i m p o r tan to   in cl u d an   ad d itio n a lab el  th at  in c lu d es  t h p ar ts   n o r elate d   to     th ca te g o r ies   in   t h i m a g e.   A lt h o u g h   t h e   R e s Se g   D5   h a s   h ig h   p er f o r m a n ce ,   e x ce ed in g   9 0 ac c u r ac y ,   it  s till   r e m ai n s   b elo w   t h Se g Net  VGG - 1 6 ,   h o w e v er ,   w h en   p r o ce s s in g   i m a g es  w it h   f r esh l y   s er v ed   f o o d ,   th co n to u r   o f   t h s e g m en ted   s ec tio n s   i m p r o v e s ,   av o id in g   s eg m e n ti n g   e m p t y   s p ac es  b et wee n   th s a m t y p e s   o f   f o o d   an d   b etter   d elin ea tin g   th co n to u r s   b et w ee n   ea c h   ca teg o r y ,   as  s h o w n   i n   Fi g u r 9 .   I n   f u tu r w o r k ,   it  is   p r o p o s ed   to   in cr ea s t h ca p ac it y   o f   t h n et w o r k   b y   ad d in g   a   g r ea ter   d ep th   in   ea ch   p h ase   o f   th e n co d er / d ec o d er   w it h   3 x 3   f ilter s .   T h i s   ca n   i m p r o v its   ac cu r ac y ,   s in ce   it  w o u ld   allo w   it   to   lear n   i n   b etter   w a y   th c h ar ac ter is tic s   o f   th co m p le x   tex t u r es  o f   t h en v ir o n m e n to   av o id   th co n f u s io n   t h at  m a y   b e   g en er ated   b y   t h la y er s   w it h   1 x 1   f ilter s ,   i m p le m e n ti n g   n e w   c o n f i g u r atio n s .       ACK NO WL E D G E M E NT S   T h au th o r s   ar g r atef u to   th Nu e v Gr an ad Militar y   Un iv er s it y ,   w h ich ,   t h r o u g h   its   Vice - ch an ce l lo r   f o r   r esear ch ,   f i n a n ce s   th e   p r esen t   p r o j ec w ith   c o d I MP - I NG - 2 9 3 5   ( b ein g   in   f o r ce   2 0 1 9 - 2 0 2 0 )   an d   titl ed   “Flex ib l r o b o tic  p r o to ty p f o r   f ee d in g   ass is ta n ce ”,   f r o m   w h ich   t h p r esen w o r k   is   d er iv ed .       RE F E R E NC E   [1 ]   P.  P o u lad z a d e h ,   G .   V il lalo b o s,  R.   A l m a g h ra b i   a n d   S .   S h irm o h a m m a d i,   " n o v e S V M   b a se d   fo o d   re c o g n it io n   m e th o d   f o c a lo rie  m e a su re m e n t   a p p li c a ti o n s,"   i 2 0 1 2   IEE In t e rn a ti o n a C o n fer e n c e   o n   M u lt i me d ia   a n d   Exp o   W o rk sh o p s ,   IE EE ,   p p .   4 9 5 - 4 9 8 ,   2 0 1 2 .   [2 ]   V .   Br u n o   a n d   C .   J.  S il v a   Re se n d e ,   " A   su rv e y   o n   a u to m a ted   f o o d   m o n it o r in g   a n d   d ieta ry   m a n a g e m e n s y ste m s, "   J o u rn a o h e a lt h   &   me d ica in f o rm a ti c s ,   v o l.   8 ( 3 ) ,   2 0 1 7 .   [3 ]   M .   Bo sc h ,   F .   Z h u ,   N.  Kh a n n a ,   C.   J.  Bo u sh e y   a n d   E.   J.  De lp ,   " Co m b in in g   g lo b a a n d   lo c a f e a tu re f o f o o d   id e n ti f ica ti o n   in   d ieta ry   a ss e ss m e n t, "   in   Im a g e   Pro c e ss in g   ( ICIP) ,   2 0 1 1   1 8 th   IEE E   In ter n a ti o n a l   Co n fer e n c e   o n IEE E ,   p p .   1 7 8 9 - 1 7 9 2 ,   2 0 1 1   [4 ]   Y.  M a tsu d a ,   H.  Ho a sh a n d   K.  Ya n a i,   " Re c o g n it io n   o f   m u lt ip le - f o o d   im a g e b y   d e te c ti n g   c a n d id a te  re g io n s, "     in   M u lt ime d ia   a n d   Exp o   ( ICM E),   2 0 1 2   IE EE   I n ter n a t io n a C o n fer e n c e   o n IEE E ,   p p .   2 5 - 30,   2 0 1 2   [5 ]   F .   Ko n g   a n d   J.  T a n ,   " Die tCa m A u to m a ti c   d ieta r y   a ss e ss m e n w it h   m o b il e   c a m e ra   p h o n e s, "   Per v a siv e   a n d   M o b il e   Co mp u t in g ,   v o l .   8 ( 1 ) ,   p p .   1 4 7 - 1 6 3 ,   2 0 1 2 .   [6 ]   L .   Bo ss a rd ,   M .   G u il lau m in   a n d   L.   V a n   G o o l,   " F o o d - 1 0 1 m in in g   d isc rim in a ti v e   c o m p o n e n ts  w it h   ra n d o m   f o re sts, "   in   E u ro p e a n   C o n fer e n c e   o n   C o mp u ter   Vi si o n ,   S p rin g e r Ch a m ,   p p .   4 4 6 - 4 6 1 2 0 1 4   [7 ]   W .   Zh a n g ,   Q.  Yu ,   B.   S id d iq u ie,   A .   Div a k a r a n   a n d   H.  S a w h n e y ,   "” S n a p - n - Eat”   f o o d   re c o g n it io n   a n d   n u tri t io n   e sti m a ti o n   o n   a   sm a rtp h o n e , "   J o u rn a o d ia b e tes   sc ien c e   a n d   tec h n o lo g y ,   v o l.   9 ( 3 ) ,   p p .   5 2 5 - 5 3 3 ,   2 0 1 5 .     [8 ]   M .   Y.  Ch e n ,   e a l .,  " A u to m a ti c   Ch in e se   f o o d   id e n ti f ica ti o n   a n d   q u a n t it y   e sti m a ti o n , "   in   S IGG RA PH  Asia   2 0 1 2   T e c h n ica Briefs ,   A CM ,   p p .   2 9 2 0 1 2   [9 ]   S .   Ya n g ,   M .   Ch e n ,   D.  P o m e rlea u   a n d   S u k t h a n k a R. ,   " F o o d   re c o g n it io n   u si n g   sta ti stics   o f   p a irw is e   lo c a f e a tu re s, "   in   Co m p u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n   ( CVP R),   2 0 1 0   IE EE   Co n fer e n c e   o n ,   IEE E ,   p p .   2 2 4 9 - 2 2 5 6 2 0 1 0   [1 0 ]   F .   Zh u ,   M .   B o sc h ,   N.   Kh a n n a ,   C.   J.  Bo u sh e y   a n d   E.   J.   De lp ,   " M u lt il e v e se g m e n tatio n   f o f o o d   c las sif ic a ti o n   i n   d ieta ry   a ss e ss m e n t, "   in   Ima g e   a n d   S ig n a l   Pro c e ss in g   a n d   An a lys i s   ( IS PA ),   2 0 1 1   7 t h   In ter n a ti o n a l   S y mp o si u o n ,   IEE E ,   p p .   3 3 7 - 3 4 2 2 0 1 1 .   [1 1 ]   Y.  L e Cu n ,   Y.   Be n g io   a n d   G .   Hin t o n ,   " De e p   lea rn i n g ,"   Na tu re ,   v o l .   5 2 1 ( 7 5 5 3 ) ,   4 3 6 ,   2 0 1 5 .   [1 2 ]   M .   D.  Zeiler  a n d   R.   F e rg u s,  " V isu a li z in g   a n d   u n d e rs tan d i n g   c o n v o lu ti o n a n e tw o rk s,"   in   Eu ro p e a n   c o n fer e n c e   o n   c o mp u ter   v isio n S p ri n g e r C h a m ,   p p .   8 1 8 - 8 3 3 2 0 1 4   [1 3 ]   S .   M a ll a t,   " Un d e rsta n d in g   d e e p   c o n v o l u ti o n a l   n e tw o rk s, "   Ph il o so p h ic a T ra n s a c ti o n o t h e   R o y a S o c iety   A :   M a th e ma ti c a l ,   P h y sic a a n d   En g i n e e rin g   S c ien c e s ,   v o l.   3 7 4 ( 2 0 6 5 ) ,   p p .   2 0 1 5 0 2 0 3 ,   2 0 1 6 .     [1 4 ]   W .   S h im o d a   a n d   K.   Ya n a i,   " CNN - b a se d   f o o d   im a g e   se g m e n tatio n   w it h o u p ix e l - w is e   a n n o tati o n , "   in   I n ter n a ti o n a l   Co n fer e n c e   o n   Ima g e   An a lys is  a n d   Pro c e ss in g ,   S p rin g e r Ch a m ,   p p .   4 4 9 - 4 5 7 2 0 1 5   [1 5 ]   A .   M e y e rs,   e a l .,  " I m 2 Ca lo ries :   T o w a rd a n   a u to m a t e d   m o b il e   v isio n   f o o d   d iary , "   in   Pro c e e d in g o th e   IEE E   In ter n a t io n a C o n fer e n c e   o n   C o mp u ter   Vi si o n ,   p p .   1 2 3 3 - 1 2 4 1 2 0 1 5   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   1 0 1 7   -   1 0 2 6   1026   [1 6 ]   V .   Ba d rin a ra y a n a n ,   A .   Ke n d a ll ,   R.   Cip o ll a ,   " S e g n e t:   A   d e e p   c o n v o lu ti o n a e n c o d e r - d e c o d e a rc h it e c tu re   f o i m a g e   se g m e n tatio n , "   IEE tra n sa c ti o n s   o n   p a tt e rn   a n a lys is  a n d   m a c h in e   in telli g e n c e ,   v o l.   3 9 ( 12 ) ,   p p .   2 4 8 1 - 2 4 9 5 ,   2 0 1 7 .     [1 7 ]   M .   Ka m p ffm e y e r,   A .   B.   S a lb e r g   a n d   R.   Je n ss e n ,   " S e m a n ti c   se g m e n tatio n   o f   sm a ll   o b jec ts  a n d   m o d e li n g   o f   u n c e rtain ty   in   u r b a n   re m o te  se n sin g   im a g e u sin g   d e e p   c o n v o l u t io n a n e u ra n e tw o rk s, "   in   Pro c e e d in g o th e   IE EE   c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n   wo rk sh o p s ,   p p .   1 - 9 ,   2 0 1 6 .   [1 8 ]   J.   Ch e n g ,   Y.  H.  Tsa i,   W .   C.   Hu n g ,   S .   W a n g   a n d   M .   H.   Ya n g ,   " F a st  a n d   a c c u ra te  o n li n e   v id e o   o b je c se g m e n tatio n   v ia t ra c k in g   p a rts ,"   i Pro c e e d in g s o th e   IEE Co n fer e n c e   o n   Co m p u ter   Vi sio n   a n d   P a tt e rn   Rec o g n i ti o n ,   p p .   7 4 1 5 - 7 4 2 4 ,   2 0 1 8 .   [1 9 ]   A .   Ke n d a ll ,   V .   Ba d r in a ra y a n a n   a n d   R.   Cip o ll a ,   " Ba y e sia n   se g n e t:   M o d e u n c e rtain ty   in   d e e p   c o n v o l u ti o n a e n c o d e r - d e c o d e a rc h it e c tu re s f o sc e n e   u n d e rsta n d in g ,"   a rXiv  p re p rin a rX iv:1 5 1 1 . 0 2 6 8 0 ,   2 0 1 5 .   [2 0 ]   J.  T a n g ,   J.  L a n d   X .   Xu ,   " S e g n e t - b a se d   g lan d   se g m e n tatio n   f ro m   c o lo n   c a n c e h isto l o g y   i m a g e s , "   in   2 0 1 8   3 3 r d   Y o u t h   Ac a d e mic   An n u a C o n fer e n c e   o Ch i n e se   Asso c ia ti o n   o A u t o ma ti o n   ( Y AC) ,   IEE E ,   p p .   1 0 7 8 - 1 0 8 2 2 0 1 8   [2 1 ]   P .   Ku m a r,   P .   Na g a r,   C.   A ro ra   a n d   A .   G u p ta,  " U - S e g n e t:   F u ll y   c o n v o lu ti o n a n e u ra n e tw o rk   b a se d   a u to m a ted   b ra in   ti ss u e   se g m e n tatio n   to o l , "   in   2 0 1 8   2 5 t h   IEE In ter n a ti o n a C o n fer e n c e   o n   Ima g e   Pro c e ss in g   ( ICIP) ,   IEE E   p p .   3 5 0 3 - 3 5 0 7 2 0 1 8   [2 2 ]   N.  In g ,   e a l .,  " S e m a n ti c   s e g m e n tatio n   f o p ro sta te  c a n c e g r a d in g   b y   c o n v o lu ti o n a n e u ra n e tw o rk s, "   in   M e d ica Ima g i n g   2 0 1 8 :   Dig it a P a t h o l o g y ,   In tern a ti o n a S o c iety   f o Op ti c s a n d   P h o to n ics ,   p p .   1 0 5 8 1 1 B 2 0 1 8   [2 3 ]   S.   A lq a z z a z ,   X .   S u n ,   X.   Ya n g   a n d   L .   N o k e s,   " A u to m a ted   b ra in   tu m o se g m e n tatio n   o n   m u lti - m o d a M R   im a g e   u sin g   S e g Ne t, "   Co mp u t a ti o n a Vi su a M e d i a ,   v o l.   5 ( 2 ) p p .   2 0 9 - 2 1 9 ,   2 0 1 9 .   [2 4 ]   T .   P o h len ,   A .   He r m a n s,  M .   M a th ias   a n d   B.   L e ib e ,   " F u ll - re so lu t i o n   re sid u a n e tw o rk f o se m a n ti c   se g m e n tatio n     in   stre e sc e n e s ,"   in   Co mp u ter   Vi sio n   a n d   Pa tt e rn   Rec o g n it io n   ( CVP R),   2 0 1 7   IEE Co n fer e n c e   o n IEE E   p p .   3 3 0 9 - 3 3 1 8 2 0 1 7   [2 5 ]   K.  S im o n y a n   a n d   A .   Zi ss e r m a n ,   " V e r y   d e e p   c o n v o lu ti o n a n e tw o rk f o lar g e - sc a le  i m a g e   re c o g n it io n , "   a rXiv   p re p rin a rXiv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .         B I O G RAP H I E S   O F   AUTH O RS        J a v ier   O r la n d o   Pi n z ó n   A r e n a s   w a b o rn   in   S o c o rr o - S a n tan d e r,   Co lo m b ia,  in   1 9 9 0 .     He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   En g in e e rin g   (Cu m   L a u d e in   2 0 1 3 ,   S p e c ializa ti o n   i n   En g in e e rin g   P ro jec M a n a g e m e n in   2 0 1 6 ,   a n d   M . S c .   in   M e c h a tr o n ics   E n g in e e rin g   in   2 0 1 9 ,   a th e   Nu e v a   G ra n a d a   M il it a r y   Un iv e rsit y   -   UMN G .   He   h a e x p e rie n c e   in   th e   a re a o f   a u to m a ti o n ,   e lec tro n ic  c o n tro l ,   a n d   m a c h in e   lea rn in g .   Cu rre n tl y ,   h e   is  stu d y in g   a   P h . D.  in   A p p li e d   S c ien c e s   a n d   w o rk in g   a G r a d u a te  A ss i s tan a th e   UMNG   w it h   e m p h a sis  o n   R o b o ti c a n d   M a c h in e   L e a rn in g .   E - m a il u 3 9 0 0 2 3 1 @ u n im il it a r. e d u . c o         Ro b i n s o n   J i m é n e z   M o r e n o   w a s   b o r n   i n   B o g o tá,  C o lo m b ia,  i n   1 9 7 8 .   He   re c e iv e d   th e   En g i n e e d e g re e   in   El e c tro n ics   a t h e   F ra n c isc o   Jo   d e   Ca ld a s District   Un iv e rsit y   -   UD  -   in   2 0 0 2 .   M . S c .   i n   In d u strial  A u to m a ti o n   f ro m   th e   Un iv e rsid a d   Na c io n a d e   Co lo m b ia  -   2 0 1 2   a n d   P h . D .   in   En g in e e rin g   a th e   F ra n c isc o   Jo s é   d e   Ca ld a District  Un iv e rsity   -   2 0 1 8 .   He   is  c u rre n tl y   w o rk in g   a a   P ro f e ss o in   th e   M e c h a tro n ics   En g i n e e rin g   P r o g ra m   a th e   Nu e v a   G ra n a d a   M il it a r y   Un iv e rsit y   -   UMN G .   He   h a s   e x p e rien c e   in   th e   a re a o In stru m e n tatio n   a n d   El e c tro n ic  Co n tro l ,   a c ti n g   m a in ly   in   Ro b o t ics ,   c o n t ro l ,   p a tt e rn   re c o g n it io n ,   a n d   im a g e   p ro c e ss in g .   E - m a il ro b in so n . ji m e n e z @u n im il it a r. e d u . c o         sa r   G io v a n y   Pa c h ó n   S u e s c ú n   w a b o rn   in   B o g o tá,  Co l o m b ia,  in   1 9 9 6 .   He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   En g in e e r in g   f ro m   th e   P il o Un iv e rsity   o f   Co lo m b ia  in   2 0 1 8 .   Cu rre n tl y ,   h e   is  stu d y in g   h is  M a ste r’s  d e g re e   in   M e c h a tro n ics   En g in e e ri n g   a n d   w o rk in g   a Re se a rc h   A s sista n a th e   Nu e v a   G ra n a d a   M il it a ry   Un iv e rsit y   w it h   a n   e m p h a sis  o n   Ro b o ti c a n d   M a c h in e   L e a rn in g .   E - m a il u 3 9 0 0 2 5 9 @ u n im il it a r. e d u . c o     Evaluation Warning : The document was created with Spire.PDF for Python.