I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   5 ,  Octo b er   2 0 2 0 ,   p p .   4 7 1 2 ~ 4 7 2 0   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 5 . pp 4 7 1 2 - 4 7 2 0          4712       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Alg o rith m  of d ete ction, clas sifi ca tion a nd gripp ing     o f  o ccluded ob jec ts by CN N t echni ques a nd  H a a r cl a ss ifiers       P a ula   Useche 1 ,   Ro bin s o n J i m e nez - M o re no 2 ,   J a v ier  M a r t ínez  B a qu er o 3   1, 2 De p a rtm e n t  o f   M e c h a tro n ic E n g in e e rin g ,   M il it a r   N u e v a   G r a n a d a   M il it a ry   Un iv e rsit y ,   Co lo m b ia   3 De p a rtme n t  o f   El e c tro n ic E n g in e e rin g ,   De   lo s L lan o s Un iv e rsity ,   Co lo m b ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   No v   4 ,   2 0 1 9   R ev i s ed   Ma r   4 ,   2 0 2 0   A cc ep ted   Ma r   21 ,   2 0 2 0       T h e   f o l l o w i n g   p a p e r   p r e s e n t s   t h e   d e v e l o p m e n t   o f   a n   a lg o r i t h m ,   i n   c h a rg e   o f   d e t e c t i n g ,   c la s s if y i n g   a n d   g ra b b i n g   o c c l u d e d   o b j e c t s ,   u s i n g   a r t if ic i a l  i n t e l l i g e n c e   te c h n i q u e s ,   m a c h i n e   v i s i o n   f o r   t h e   r e c o g n i t i o n   o f   t h e   e n v i r o n m e n t ,   a n   a n t h r o p o m o r p h i c   m a n i p u l a t o r   f o r   t h e   m a n i p u l a t i o n   o f   t h e   e l e m e n t s .   5   t y p e s  o f   t o o l s   w e re   u s e d   f o r   t h e i r   d e te c ti o n   a n d   c l a s s if i c a t i o n ,   w h e r e   t h e   u s e r   se l e c t s  o n e   o f   t h e m ,   s o   t h a t   t h e   p r o g r a m   s e a rc h e s   f o r   i t   i n   t h e   w o r k   e n v ir o n m e n t   a n d   d e l i v e rs   i t   i n   a   s p e c if i c   a re a ,   o v e r c o m i n g   d i f f ic u l t i e s   s u c h   a s   o c c l u s i o n s   o f   u p   t o   7 0 % .   T h e se   t o o l s   w e r e   c l a s s if ie d   u s i n g   tw o   C N N   ( c o n v o l u t i o n a l   n e u r a l  n e t w o rk )   ty p e   n e tw o rk s ,   a   f a s t   R - C N N   ( f a s t   r e g i o n - b a s e d   C N N )   f o r    t h e   d e t e c t i o n   a n d   c la s s if ic a t i o n   o f   o c c l u s i o n s ,   a n d   a   DA G - C NN   ( d i r e c te d   a c y c l ic   g ra p h - C N N )   f o r   t h e   c l a s s if ic a t i o n   t o o l s .   F u r t h e r m o r e ,   a   Ha a r   c l a ss if i e r  w a s   tr a i n e d   i n   o r d e r  t o   c o m p a re   i ts   a b i l i ty   t o   r e c o g n i z e   o c c l u s i o n s   w i t h   r e s p e c t  t o   t h e   f a s t   R - C NN .   F a s t   R - C NN   a n d   D A G - C N N   a c h i e v e d   7 0 . 9 %   a n d   9 6 . 2 %   a c c u ra c y ,   r e s p e c t iv e ly ,   H a a r   c la s s if i e rs   w i t h   a b o u t   5 0 %   a c c u ra c y ,   a n d   a n   a c c u ra c y   o f   g r i p   a n d   d e l i v e ry   o f   o c c l u d e d   o b j e c t s   o f   9 0 %   i n   t h e   a p p l i c a t i o n ,   w a s   a c h i e v e d .   K ey w o r d s :   DAG - C NN   Fas t R - C NN   Haa r   class i f ier s   Ma ch i n e  v i s io n   Ma n ip u la to r   r o b o t   Occ lu d ed   o b j ec ts   VR M L   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   R o b in s o n   J i m en ez - Mo r en o ,     Dep ar t m en t o f   Me ch atr o n ic  E n g i n ee r i n g ,   Militar   Nu e v a  Gr an ad a  Milita r y   U n i v er s it y ,   C ar r er a  1 1   #   1 0 1 - 8 0 ,   B o g o tá,   C o lo m b ia .   E m ail:  r o b in s o n . j i m en ez @ u n i m ilit ar . ed u . co       1.   I NT RO D UCT I O N     W o r k in g   co n d itio n s   t h at  o cc u r   in   an   u n k n o w n   p h y s ical  en v ir o n m e n t  h a v e  led   r o b o tics   to   th e  n ee d   to   in cr ea s e  th e   in d ep en d e n ce   o f   r o b o ts   to   p er f o r m   ta s k s   th a t  o v er co m e   v ar io u s   d i f f icu lti es  n o t  f o r eseen   in     th e  en v ir o n m en t,  s u c h   as  th e  p r esen ce   o f   o cc lu s io n s   d u r in g   t h e  tr ac k   o f   a  tr aj ec to r y   f o r   a  m an ip u lato r     r o b o t  [ 1 ] ,   o r   v ar io u s   o b s tacle s   th at  m o v e  ar o u n d   th e  e n v ir o n m e n t,  w h er e  t h e  m an ip u lat o r   m u s t  r et h i n k   it s   tr aj ec to r y   w h e n   s aid   o b s tacle   is   to o   clo s e  to   i ts   s tr u c tu r e,   to   av o id   a  co llis io n   [ 2 ] .   Ho w ev er ,   th e  p r esen ce   o f   o b s tacle s   in   th e  p ath   o f   a  m a n ip u lato r   is   n o t  th e  o n l y   u n f o r eseen   ev e n t  th a t  m u s t  b e  o v er co m e,   b u t  o cc lu s io n s   in   th e  ele m e n ts   to   b e  f aste n e d   as  m e n tio n ed   in   [ 3 ] ,   w h er e   an   R GB - D  s en s o r   w a s   u s e d   in   th e  g r ip p er   o f     th e  m a n ip u lato r   to   g e n er ate  a   3 D  v o x e l  m ap   o f   th e   en v ir o n m e n t,  w h ic h   a llo w s   to   r ec o g n ize   t h e  o cc lu d ed   o b j ec ts   an d   g e n er ate  a  tr aj ec to r y   f o r   its   s u b j ec tio n   w i th o u t   co llis io n s .   Ki n ec t  s e n s o r s   is   an   R GB - D  ca m er a   u s ed   f o r   co n tr o l r o b o ts   [ 4 ,   5]   I n   w o r k s   s u c h   as   t h o s e  p r es en ted   i n   [ 6 ]   an d   [ 7 ] ,   alg o r it h m s   f o c u s ed   o n   t h e  o cc lu s io n   d etec tio n   p r o ce s s   h av e  b ee n   d ev elo p ed ,   to   u s e  th is   in f o r m at io n   in   t h e  m o v e m e n t  o f   m an ip u lato r   an d   m o b ile  r o b o ts ,   w h er e  [ 6 ]   p er f o r m ed   an   al g o r ith m   o f   o cc l u s io n   ed g e  d e tectio n ,   u s in g   C NN  w it h   R GB ,   R GB - D,   a n d     R GB - D - UV  i n p u t  i m ag e s   an d   v id eo s ,   w h er e  D  r ep r ese n ts   t h e  d ep th   an d   UV  h o r izo n tal  an d   v er tical   co m p o n e n t s   o f   th e  o p tical  f lo w   f ield ,   th u s   allo w in g   d if f er en t iatio n   b et w ee n   o c clu s io n   ed g es,  o f     th e  ap p ea r an ce   ed g es  o f   t h e  d esire d   ele m en t s ,   w h ile  i n   [ 7 ] ,   an   alg o r ith m   w a s   m ad e  f o r   th e  d etec tio n   o f   m u ltip le  p eo p le  in   a  r ea l - w o r ld   en v ir o n m e n t,  u s in g   t h er m al  an d   d ep th   in f o r m atio n ,   to   d eter m in e  t h e  p o s itio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith m  o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o f  o cc lu d ed   o b jects b y  C N N   tech n iq u es ... ( P a u la   Usech e )   4713   o f   ea ch   p er s o n   f r o m   th e ir   t h er m al  d etec tio n ,   a n d   d ef i n e  t h e  p r esen ce   o f   o cc lu s io n s   ac co r d in g   to   t h e  r es u lt s   o f   th e  d ep th   in f o r m a tio n ,   to   g e n e r ate  a  f r ee   p ath   o f   o b s tacle s   f o r   a  m o b ile  r o b o t.   C N N' s   a r e   d es ig n e d   t o   p e r f o r m   r e c o g n i t i o n   o f   d e s i r e d   p a tt e r n s   a n d   c h a r a c t e r is ti c s   i n   im a g e s ,   to   c l a s s if y   t h em   in t o   a   s p e c if ic   c at eg o r y ,   a s   m en t i o n e d   in   [ 8 ,  9 ] .   T h e  C N N  is   c o m p o s e d   o f   c o n v o lu t i o n al   f il t e r s   w h o s e  p a r am et e r s   a r e   t r a in e d   w ith   a  d a t a b a s e  th a t  h a s   im ag es   o r   r ef er e n c es   o f   t h e   p a tt e r n s   t o   b e   c l as s i f i e d ,   w h ich   a ll o w   t h e   n e t w o r k   t o   le a r n   an d   ex t r a c t   th e   m o s t   r e le v a n t   ch a r a c t er i s t ic s   o f   an   im ag e ,   w h o s e   i n f o r m a ti o n   is   u s e d   to   g en e r a te   a   c l ass if i c at i o n ,   a s   e x p l a i n e d   in   [ 1 0 ] ,   b u t   n o t   o n ly   im a g es   l ik e   i s   ex p o s e d   in   [ 1 1 ] .   So m e  o f   th e   r ec en tl y   d e v elo p ed   C NN  ap p licatio n s   ar e:  1 )   a   34 - la y er   C NN  led   to   t h e  d e tectio n   o f     a  w id e  r an g e  o f   ca r d iac  ar r h y th m ia s   f r o m   elec tr o ca r d io g r a m s ,   w h o s e  p er f o r m a n ce   e x c ee d ed   th e  av er ag e   r esu lt s   o f   Me d ical  p r ed ictio n ,   m ad e  b y   a  g r o u p   o f   6   ca r d io lo g is t s   [ 1 2 ] ;  2 )   a   tr ain ed   ca s ca d e   o f   C NNs  to   d etec t  an d   class i f y   f ac es  i n   a  r ea l  en v ir o n m e n t,  o v er co m i n g   d if f i c u lties   s u c h   as  p o s e  ch an g es,  ex p r ess io n ,   an d   lig h ti n g ,   a v o id in g   b ec o m in g   co m p u tatio n all y   e x p en s i v e  [ 1 3 ] ;  3 )   e x p an d ed   u s e  o f   C NN s   to w ar d s   a  th r ee - d i m en s io n al   en v ir o n m e n t,  wh er e  v o l u m es   o f   m a g n e tic  r eso n an ce   v o x el  o f   t h e  p r o s t ate  w er e  ev a lu ated ,   g en er ati n g   a  s e g m en tatio n   o f   th e  e n tire   v o l u m e,   u s i n g   o n l y   a  f r ac tio n   o f   p r o ce s s i n g   ti m e   co m p ar ed   to   o th er   m et h o d s   p r ev io u s l y   u s ed   [ 1 4 ] .   B esid es  C NN,   o th er   ar tif icia l   in telli g en ce   m et h o d s   h av e  b ee n   d ev elo p ed   f o r   th e  class i f icatio n   o f   p atter n s ,   s u ch   a s   t h e  f a s t  R - C NN  [ 1 5 ]   an d   th e  D AG - C N N  [ 1 6 ,   1 7 ] ,   in   th e  f ir s t  ca s e  i s   f o r m er   a  s tag e  o f   ex tr ac tio n   o f   a  R e g io n s   o f   I n t er est  ( R OI s )   th a t  is   r esp o n s ib le  f o r   o f   d etec tin g   d esire d   ele m en ts   i n   t h e  in p u t   i m a g e,   ex tr ac ti n g   th e m   a n d   en ter in g   t h e m   in to   a  C NN  f o r   class i f icatio n ,   as  e x p lai n ed   in   [ 1 8 ] ,   w h i le  th e  la s t   co n s is ts   o f   a  b r an c h ed   s tr u ct u r e  w h er e  ea c h   b r an ch   co n tain s   a  s eq u en ce   o f   co n v o l u tio n al  l a y er s   w h o s e  f i lter s   v ar y   o f   d i m e n s io n ,   to   ex tr ac t  ch ar ac ter is tic s   o f   g r ea ter   an d   s m al ler   s ize  o f   t h e  i n p u t  i m a g e,   an d   in   t h e  en d   to   un i f y   t h e  r esu l ts   to   g i v e  a  clas s if ica tio n ,   as i n d icate d   in   [ 1 9 ] .   So m e  e x a m p le s   o f   ap p licatio n s   f o r   th e  f as t  R - C NN   ar e  r ep o r ted   in   [ 2 0 ]   an d   [ 2 1 ] .   T h e  f ir s t  r ep o r t   ap p lied   th e  Fas ter   R - C NN  f o r   f ac e  d etec tio n   an d   class if icatio n ,   to   ac h ie v e  a  h i g h er   p r o ce s s in g   s p ee d   co n ce r n i n g   o th er   m et h o d s   o f   d ee p   lear n in g ,   a n d   t h e  s ec o n d   r ep o r t  a  m u lti - clas s   f r u i t  d etec tio n   u s i n g   a   r o b o tic  v is io n   s y s te m   b ased   o n   Fas ter   R C NN.   O n   t h e  o t h er   h a n d ,   th e  D A G - C N N  h a s   b ee n   u s ed   i n   ap p licatio n s   s u c h   as  th o s e  d escr ib ed   in   [ 2 2 ]   an d   [ 2 3 ] ,   w h er e  t h e  f ir s t  p u b licati o n   u s ed   t h e  D A G - C N N  f o r   th e  esti m a tio n   o f   a g e   in   p eo p le  o f   d if f er en t  g e n d er s   an d   eth n icitie s ,   tak i n g   ad v an ta g e  o f   th e  e x tr ac tio n   o f   ch ar ac t er is tics   at  m u l tip le   s ca les  o f   s aid   n et w o r k ,   w it h   an   ac cu r ac y   o f   ar o u n d   8 0 %,  an d   th e  s ec o n d   p u b licatio n   u s ed   th e  D A G - C NN  f o r   th e  clas s i f icatio n   o f   h ea r tb ea ts   f r o m   e lectr o ca r d io g r a m   i m ag es  ( E C G) ,   ac h iev in g   t h e  i d en tific atio n   o f   1 5   d if f er e n t si g n als  w i th   9 7 . 1 5 % a cc u r ac y .   A p ar t  f r o m   th e  C NNs,  t h er e  ar e  o th er   m e th o d s   o f   r ec o g n i zin g   ele m e n t s   in   i m a g es ,   s u c h   as  Haa r   class i f ier s ,   w h ich   tr ai n   a  s er ies  o f   w ea k   ca s ca d in g   clas s i f i er s ,   w h ich   r ec eiv e  a n   in p u t  i m ag e  a n d   th r o u g h     a  s lid in g   w i n d o w   t h e y   d is c ar d   th o s e  ar ea s   t h at  d o   n o t   co n tain   th e   d es ir ed   ele m e n t  u n til,  i n   t h e  e n d ,     th e  w in d o w s   i n d icatin g   th e  o b j ec t  o f   in ter est,  ar e  o b tain ed ,   [ 2 4 ] .   E x a m p les  o f   ap p licatio n   o f   Haa r   class if ier s   ar e  r ep o r ted   in   [ 2 5 ]   an d   [ 2 6 ] ,   w h er e  t h e  f ir s t o n e  ca r r ied   o u t   a  p r o ce s s   o f   r ea l - ti m e  d etec ti o n   o f   co w   n ip p les t o   g en er ate  an   a u to m at ic  m il k i n g   s y s te m ,   w h ile  t h e  s ec o n d   d ev elo p e d   a  m eth o d   o f   co u n tin g   an d   d etec tin g     th e  n u m b er   o f   b o o k s   s tack ed   o n   s h el v es,  w h er e  9 6 %  r ec o g n itio n   w a s   ac h ie v ed   w h en   tes tin g   th e  s y s te m   o n     a  to tal  o f   2 0   s h elv e s   an d   2 3 3   b o o k s .   Fo r   th e  f o llo w i n g   ar ticle,   a  s y s te m   f o r   d etec tin g ,   clas s if y i n g   a n d   g r ab b in g   o c clu d ed   o b j ec ts   w a s   d esig n ed   u s in g   a  m a n ip u lato r   r o b o t  in   a  p h y s ical  a n d   v i r tu al  e n v ir o n m e n t,  w h er e  ar t if icial   in telli g en c e   tech n iq u es  w er e  u s ed   f o r   th e  p r o ce s s   o f   d etec tio n   an d   c lass i f icatio n   o f   ele m e n ts   i n   t h e  w o r k   ar ea ,   an d     a  Kin ec t   V1   w a s   u s ed   as   th e   m ac h i n e  v is io n   s y s te m .   T h is   w o r k   g en er ate s   a  f u n d a m en t al  co n tr ib u tio n   f o r     th e  i n cr ea s e  o f   t h e  a u to m atio n   o f   r o b o tized   p r o ce s s es  w it h in   u n k n o w n   en v ir o n m e n ts ,   wh er e  a  s eq u en ce   o f   d etec tio n   an d   eli m in atio n   o f   o cc lu s io n s   w as  estab li s h ed   s i n ce   it  is   n o t  p o s s ib l e  to   d o d g e  th e m   e m p lo y i n g   o b s tacle   av o id an ce   alg o r it h m s ,   b u t th e y   m u s t b e  r e m o v ed   to   b e  ab le  to   h o ld   th e  d esire d   o b ject.   T h e  p r esen t a r ticle  is   d iv id ed   i n to   4   m ai n   s ec tio n s .   I n   t h e  f ir s t sectio n ,   a  b r ief   i n tr o d u ctio n   w a s   m ad e.   I n   th e  s ec o n d   s ec t io n ,   t h e  o p er atio n   o f   t h e  al g o r ith m   p r o p o s ed   f o r   th e  eli m i n atio n   o f   o cc l u s io n s   i s   ex p lai n ed .   I n   th e  th ir d   s ec t io n ,   ca r r ied   o u t  o n   t h e  al g o r ith m   i n   a  p h y s ical  en v ir o n m e n t,  to   o b tain   t h e  q u ali t y   o f   r ec o g n itio n   an d   d eli v er y   o f   d e s ir ed   ele m e n ts ,   i n   t h e  p r esen c e  o f   p ar tial  o cc lu s io n s .   F in al l y ,   in   t h e  last   s ec tio n ,   a  s er ies  o f   co n clu s io n s   w er e  estab lis h ed   r eg ar d in g   t h e  o p er atio n   o f   th e  al g o r ith m ,   ac co r d in g   to   th e  r es u lts   o b tain ed   d u r in g   t h e  tes ts .       2.   RE S E ARCH   M E T H O D   T h e  f o llo w i n g   is   t h e  b asic  o p er atio n   o f   th e  p r o g r a m   f o r   d etec tin g ,   clas s if y i n g   an d   g r ab b in g     o cc lu d ed   o b j ec ts ,   u s i n g   ar ti f i cial  in tel lig e n ce   tec h n iq u es,  an d   ca p tu r ed   th r ee - d i m e n s io n al  i n f o r m atio n   b y   Kin ec t  V1   ( s ee   [ 2 7 ] ) .   Fo r   th is ,   s ec tio n   2   w a s   d iv id ed   in t o   2   s u b s ec tio n s ,   t h e  f ir s t  r aise s   th e  p h y s ical  w o r k i n g   co n d itio n s   f o r   th e  i m p le m e n ta tio n   o f   t h e  ap p licatio n ,   th e  s ec o n d   d escr ib es th e  alg o r it h m ’ s   f lo w .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 ,  Octo b e r   2 0 2 0   :    4 7 1 2   -   4720   4714   T h e  d ev elo p ed   alg o r ith m   c ap tu r es  a n   R GB   i m a g e  o f   th e   w o r k   e n v ir o n m en t,  t h en   ac q u ir es     th e  th r ee - d i m en s io n al  i n f o r m atio n   o f   th e  e n v ir o n m e n t  to   d etec t  th e  h eig h t  o f   ea c h   e le m e n t  co n ce r n i n g     th e  tab le,   an d   ac co r d in g   to   th e  d is p o s itio n   o f   t h e  f o u n d   o b j ec ts ,   a  g r ip   alg o r ith m   is   g e n er ated   th at  allo ws     to   r e m o v e  t h e  to o ls   u s in g   a   m an ip u lato r   r o b o t  an d   r elo ca te  th e m   i n   t h e  d eli v er y   ar ea .   T h e  s eq u en ce   o f   o p er atio n   o f   th e   alg o r it h m   is   s h o w n   i n   t h e  f lo w ch ar t   o f   Fig u r e  1 ,   w h er e  ea c h   s tep   o f   t h e  p r o g r a m   w a s     m ar k ed   w it h   n u m b er s   f r o m   1   to   5 ,   w h ic h   ar e  d escr ib ed   in   th e  f o llo w i n g   s u b s ec tio n s .   Ne x t,  th e  o p er atio n   o f   th e  al g o r ith m   is   e x p lai n ed ,   th e  s tep s   in   Fi g u r e  1   ar e  d escr ib ed ,   an d   its   ap p licatio n   i n   th e  p h y s ical  an d   v ir tu a l   en v ir o n m e n t i s   s h o w n .             Fig u r e  1 .   A l g o r ith m   f lo w   c h ar t       2 . 1 .   M e t ho ds   a nd   m a t er ia ls   A   p h y s ical  w o r k   e n v ir o n m e n t  o f   3 0 x 2 0 c m   ar ea   w as  e s tab lis h ed ,   at  a  h ei g h t  o f   6 c m   f r o m   t h e  g r o u n d ,   w it h   a  b l u e  h u e  li k e  t h e  o n e  s h o w n   i n   F ig u r e  2 ( a ) .   A   Ki n ec t  V1   w a s   u s ed   to   ca p tu r e  th e  w o r k   e n v ir o n m en t   an d   w a s   lo ca ted   at  a  h eig h t  o f   9 8 cm   f r o m   t h e  g r o u n d ,   in   th e  ce n ter   o f   th e  w o r k   ar ea   tab le  o r   G r ip   Z o n e.     A   Del iv er y   Z o n e  w as   e s tab l is h ed ,   w h er e  t w o   r e g io n s   wer e  d em ar ca ted   to   o r g an ize  th e  to o ls ,   o n e  f o r     th e  Occ l u s io n s   an d   th e  o t h er   f o r   th e   Desire d   Ob j ec ts ,   as  s h o w n   i n   Fi g u r e  2 ( b ) .   T h e  r o b o t  u s ed   is   s h o w n   i n   Fig u r e  2 ( c )   an d   h as  3   DOF  ( Deg r ee s   o f   Fre ed o m ) ,   all  r o t atio n al.   I ts   s ch e m atic  r ep r esen tatio n   i s   s h o w n   i n   Fig u r e  2 ( d ) ,   w h er e  th e  a n g les  o f   r o tatio n   w er e  m ar k ed ,   th e  j o in ts   f r o m   1   to   3   w er e  lis ted ,   an d   th e  li n k s   f r o m   e1   to   e3   w er e  m ar k ed .   Fiv e   t y p e s   o f   to o ls   w er e  s e lec ted   f o r   t h e  ap p licatio n :  S ca lp el,   Scis s o r ,   Scr e w d r i v er ,   Sp an n er ,   an d   P lier s ,   w h er e  ea c h   o n e  was  d esi g n ed   w i th   a  li g h t  an d   s o f t  m ater ial  ( f o a m )   t h at  f ac ili t ates  t h e  ad j u s t m en t  o f   th e  g r ip p er   o n   th e  ele m en t s   an d   r ed u ce s   th e  i n f lu e n ce   o f   th e  w ei g h t  o f   t h e  o b j ec ts   o n   th e  d y n a m ics  o f   th e  m a n ip u lato r .   E ac h   o b j ec t  w a s   m a n u f ac t u r ed   w i th   1 c m   t h ick n e s s   an d   m ax i m u m   d i m e n s io n s   o f   3 . 5 x 1 0   c m ,   an d   f o r   ea ch   ca teg o r y ,   th e  s h a p e  an d   co lo r   o f   th e  to o ls   w er e  v ar ied ,   in   o r d er   to   teac h   t h e  p r o g r a m   to   r ec o g n iz e   ea ch   ele m e n t  w i th   to ler an ce   f o r   v ar iatio n s .                 ( a)   ( b )   ©   ( d )     Fig u r e  2 .   ( a)   W o r k tab le,   ( b )   g r ip   an d   d eliv er y   zo n es o f   ele m e n ts ,   ( c)   an t h r o p o m o r p h ic  r o b o t,    an d   ( d )   s ch e m atic  r ep r esen tati o n   o f   th e  r o b o t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith m  o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o f  o cc lu d ed   o b jects b y  C N N   tech n iq u es ... ( P a u la   Usech e )   4715   2 . 2 .   Alg o rit h m   f lo w     Step   1   p r o g r am   i n it ializatio n :  T h e  f ir s t step   co n s i s ts   o f   th e   i n itializa tio n   o f   th e  v ar iab les to   b e  u s ed   in   th e  co u r s e   o f   t h e  ap p licatio n ,   w h er e  i m a g D  w as   d ef i n ed   a s   th e   v ec to r   t h at  co n ta in s   t h e   n u m b er   o f   p i x els   o cc u p ied   b y   t h e  Gr ip   Z o n e  in   t h e   R GB   i m a g e   o f   th e   K in ec t  ( [ 1 2 8   1 7 4 ]   p ix el s ) ,   an d   th e   P FH  v ar iab le     s to r es  t w o   m atr ices,  ea c h   w it h   1 0   r o w s   an d   3   co lu m n s ,   wh er e  th e  f ir s t  m atr i x   s a v es  t h e  f in a l  p o s itio n s   f o r     th e  d esire d   o b j ec ts ,   an d   th e  s ec o n d   s av es t h e  f in a l p o s itio n s   f o r   th e  u n w a n ted   ele m e n t s   ( o cc lu s io n s ) .   Step   2   to o l  d etec tio n :   I n   th is   s tep ,   th e  f ir s t  d etec tio n   o f   to o ls   in   th e   e n v ir o n m e n t  is   p er f o r m ed ,   w h er e  it  is   d eter m in ed   w h eth er   t h e  p r o g r am   is   e x ec u ted   o r   ter m in a ted   ac co r d in g   to   w h a t  is   id en ti f ied   in     th e  Gr ip   Z o n e  as  s h o w n   i n   Fig u r e  1 .   T w o   m eth o d s   o f   o b j ec t  d etec tio n ,   th e   f ast  R - C NN ,   an d   th e  Haa r   class i f ier s ,   w er e  tr ain ed   i n   o r d er   to   co m p ar e  th e   ac cu r ac y   a n d   p r ec is io n   o f   d etec tio n   o f   ea ch ,   an d   th u s   d ef i n e  w h ic h   o f   th e   t w o   is   u s ed   in   t h e  al g o r ith m .   A   d atab ase  o f   4 5 0   p h o to s   w as   estab li s h ed   t h at  w er e  a u g m e n ted   w it h   t h e  Data   A u g m en tat io n   p r o g r am   d e v elo p ed   in   [ 2 8 ] ,   r e ac h in g   a  to tal  o f   3 1 5 0   im a g es ,   w h er e  2 8 0 0   w er e   u s ed   f o r   tr ain i n g   a n d   3 5 0   f o r   test in g .   T h e  d etec tio n   b o x es  f o r   b o th   m et h o d s   w er e  d ef in ed   as  5 5 x 2 8   p ix els   s in ce   t h at  is   t h e  m ax i m u m   v a l u e  o f   t h e  s p ac e  o cc u p ied   b y   t h e  to o ls   in   th e  i m a g e.   T h e  f ast   R - C NN   i s   a   C N N - t y p e   n e u r al  n et w o r k   t h at  h as   an   R OI   e x tr ac tio n   s ta g e  d e s ig n ed   f o r     th e  d etec tio n   o f   ele m e n ts   in   i m a g e s ,   as   d etailed   i n   [ 1 8 ] .   T h e  ar ch itect u r e  o f   t h is   n et w o r k   is   d ef i n ed   i n   th e  s a m e   w a y   as  t h at  o f   a  co n v en t io n al  C NN ,   u s in g   co n v o l u tio n al   la y er s   ( C V) ,   r ec ti f ied   lin ea r   u n i ts   ( R L U) ,   m ax p o o l  ( MP ) ,   av er ag e   p o o l,  b atch   n o r m aliza tio n   ( B ) ,   f u ll y   co n n ec ted   ( F C ) ,   d r o p o u t  ( DO) ,   s o f t m a x   ( S OFT ) ,   a m o n g   o t h er s ,   e x p lain ed   i n   [ 1 0 ] .   T h e  tr ain ed   f ast   R - C NN   h a s   t h e  ar ch i tectu r e  s h o w n   i n   T ab le  1 ,   w h er e  it  w as   o b s er v ed   th at,   w h e n   u s i n g   r ec tan g u lar   f il ter s ,   4   co n v o lu tio n   la y er s ,   3 0 0   tr ai n in g   t i m e s   a n d   a  Min iB atc h Size   less   t h an   3 0 ,   th e  h i g h est  p e r ce n tag e  o f   ac c u r ac y   w as  ac h iev ed ,   r ec eiv i n g   as  in p u t  a n   i m a g e  o f   i m a g e   d i m en s io n s   ( [ 1 2 8   1 7 4 ]   p ix e ls ).       T ab le  1 .   A r ch itect u r e  o f   th e  f a s t R - C NN   f o r   th e  d etec tio n   an d   class if icatio n   o f   o cc l u d ed   to o ls   L a y e r s   C V + B + R L U   C V + B + R L U   MP   C V + B + R L U   C V + B + R L U   F C 1 + R L U + D O   F C 2 + R L U + D O   Fi l t e r   S i z e   6 x 4   5 x 3   2 x 3   4 x 3   4 x 3   --   --   S t r i d e   1   1   2   1   1   --   --   N u m b e r   o f   F i l t e r s   16   1 2 8   --   2 5 6   5 1 2   --   --       T h e  r esu lts   o f   th e  tr ain ed   f ast  R - C NN   ar e  s h o w n   in   Fi g u r e  3 ,   w h er e  Fi g u r e  3 ( a )   s h o w s   th e  co n f u s io n   m atr i x   an d   Fig u r e  3 ( b )   s h o w s   t h e  r ec all  v s   p r ec is io n   g r ap h ,   w it h   1   b ein g   th e  f r ee   ca teg o r y ,   2   b ein g     th e  Occ l u s io n   ca teg o r y ,   a n d   3   th e  B ac k g r o u n d .   T h e  r esu l ts   o b tain ed   in   t h e  f ast  R - C N N   w er e  n o t  id ea l,  h o w ev er ,   it  w as  d ec id ed   to   u s e  th is   n e t w o r k ,   s i n ce   th e  s tr u ct u r e  p r o p o s ed   f o r   th e  alg o r ith m   allo w s   i n   s tep   5   to   r ec o g n ize  t h e  to o ls   t h at  w er e  n o t  ca p tu r ed   in   S tep   2 ,   r ed u cin g   t h e  i n f l u en ce   o f   th e  lo w   a cc u r ac y   o f   th e  Fas t     R - C NN  i n   t h e  ap p licatio n ,   as  d escr ib ed   later   in   s ec tio n   3 .   Fo r   th e  tr ain i n g   o f   t h e  Haa r   cl ass i f ier s ,   t h e  v al u es  o f   a  s er ie s   o f   p ar a m eter s   th a t  d eter m i n e  th e  b asic  tr ain i n g   ch ar ac ter is tics ,   e x p lai n ed   in   [ 2 9 ] ,   w er e  ad j u s ted .   A   Haa r   class i f ier   w a s   tr ai n ed   f o r   th e  r ec o g n it io n   o f   th e  f r ee   ca teg o r y   a n d   an o th er   f o r   th e  Occ lu s io n   ca te g o r y ,   wh o s e  ac c u r ac y   a n d   tr ain i n g   p a r a m eter s   ar e  s h o w n   in   T ab le  2 ,   w h er e  t h e  h ig h e s t  ac cu r ac y   o b tai n ed   w as   4 2 %  a n d   4 8 %,  r esp ec tiv el y .   As  e x p l ain ed   i n   [ 2 2 ] ,   Haa r   class i f ier s   n ee d   lar g er   d atab as es  to   o b tain   b etter   d etec tio n   r esu lt s ,   h o w ev er ,   t h e   o b j ec tiv e  is   to   co m p ar e  Haa r  class i f ier s   w i th   f ast  R - C N N ,   th e  r ea s o n   w h y   t h e  d atab ase  was n o t in cr ea s ed   an d   w a s   u s ed   in   b o th   ca s es .           ( a)   ( b )     Fig u r e  3 .   Fas t R - C NN :   ( a)   c o n f u s io n   m atr i x   an d   ( b )   r ec all  v s   p r ec is io n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 ,  Octo b e r   2 0 2 0   :    4 7 1 2   -   4720   4716   T ab le  2 .   T r ain in g   p ar a m eter s   o f   Haa r   class i f ier s   P a r a me t e r   A c c u r a c y   F a l s e   A l a r m  Rate   N u mb e r   C a sc a d e   S t a g e s   N e g a t i v e   S a mp l e s  F a c t o r   T r u e   P o si t i v e   Rate   T o t a l   P o si t i v e s  S a mp l e s   T o t a l   N e g a t i v e   S a mp l e s   N e g a t i v e   S a mp l e s   N u mb e r   P o si t i v e   S a mp l e s   Fr e e   4 2 %   0 . 0 1   15   3   6 0 %   2 8 0 0   5 0 0 0   1 2 7 2   4 2 4   Occ   4 8 %   0 . 0 1   1 0 0   3   6 0 %   2 8 0 0   5 0 0 0   2 0 4   68       Step   3   to o l  class i f icatio n :   Af t er   th e  to o l  d etec tio n   p r o ce s s ,   th e  r ec o g n ized   ele m en t s   w er e   ex tr ac ted   f r o m   t h e  i m a g e  to   cla s s i f y   t h e m   b y   m ea n s   o f   a   D A G - C NN  i n   o n e  o f   t h e  5   tr ai n ed   ca teg o r i es: Scalp el,   Scis s o r ,   Scr e w d r i v er ,   Sp an n er ,   Scis s o r   an d   th e  r esu l t  w as  co m p ar ed   w it h   t h e  d esire d   o b j ec t  b y   th e  u s er ,   in   o r d er   to   d eter m in e  i f   it  b elo n g s   to   th e  g r o u p   o f   d esire d   o b j ec ts   o r   o c clu s io n s .   A   clas s i f icatio n   b o x   o f   7 0 x 7 0   p ix els  w a s   d ef in ed ,   t h e  d i m e n s io n s   o f   wh ich   w er e  tak e n   f r o m   t h e  u p p er   lef t  co r n er   o f   th e  d etec tio n   b o x   g e n er ated   in     Step   2   o r   Step   5 ,   an d   7 0   p ix e ls   to   t h e  r i g h t   an d   7 0   p ix el s   d o w n   w er e  ca p tu r ed .   I n   Fi g u r e   4 ( a ) ,   th e  s tr u ctu r e   u s ed   f o r   th e  D AG - C NN  o f   t h e  ap p licatio n   is   s h o w n ,   w h er e  a  d iv is io n   o f   2   b r an ch e s   th at  r ec eiv e  th e  i n p u t   i m a g e  w as  g en er ated   an d   f i n all y   j o in ed   in   a  F C   t o   clas s if y ,   an d   i n   Fi g u r e  4 ( b )   s h o w s   a n   e x a m p le  o f     th e  d atab ase  u s ed   f o r   n et w o r k   tr ain i n g .         ( a)     No   in ter f er e n ce     P lier s   1   in ter f er en ce     Scalp el   2   in ter f er en ce     Scis s o r   3   in ter f er en ce     Scr e w d r i v er   4   o r   m o r e  in ter f er e n ce     Sp an n er   ( b )     Fig u r e  4 .  ( a)   Stru ctu r e  o f   an d   ( b )   d atab ase  f o r   th e  DA G - C NN       T ab le  3   r ef lecte d   th e  ar ch itectu r e  o f   t h e  D A G - C NN,   w h ic h   w a s   tr ai n ed   f o r   9 0   ep o ch s ,   w it h   a  d atab ase  o f   3 0 0 0   tr ain in g   i m ag e s   an d   3 0 0   test   i m a g es,  p er   ca teg o r y .   Fig u r e  5   s h o w s   t h e  co n f u s io n   m atr i x   o f   th e  D AG - C NN,   w h ich   r ea ch ed   9 6 . 2 %  ac cu r ac y ,   w it h   a  m in i m u m   o f   9 1 %  ac cu r ac y   p er   ca teg o r y .   T h e  n u m b er s   co r r esp o n d   to   th e  c lass if ica tio n   ca teg o r ies ,   w h er e  1   i s   p lier s ,   2   i s   s c alp el,   3   is   s c is s o r ,   4   is   s cr e w d r i v er ,   an d   5   is   s p a n n er .  Fo r   ex a m p le ,   t h e  c lass if icatio n   o f   Sca lp el  w as   o n e   o f   th e   ca teg o r ies   t h at   p r esen ted   m o r e  d if f icu lties   i n   r ec o g n itio n ,   co n f u s in g   its e lf   with   t h e  P lier s   ca teg o r y   m ain l y .        T ab le  3 .   A r ch itect u r e  o f   th e  D A G - C NN   ( a)   la y er s   b r an c h   1     C V + B   + R L U   MP   C V + B   + R L U   MP   C V + B   + R L U   MP   C V + B   + R L U   F C 1 + R L U + D O   F C 2 + R L U + D O   F i l t e r   S i z e   4 x 4   3 x 3   3 x 3   3 x 3   3 x 3   3 x 3   3 x 3   --   --   S t r i d e   1   2   1   2   1   2   1   --   --   N u mb e r   o f   F i l t e r s   16   --   1 2 8   --   2 5 6   --   5 1 2   --   --       T ab le  3 .   A r ch itect u r e  o f   th e  D A G - C NN   ( b )   la y er s   b r an ch   2     C V + B   + R L U   MP   C V + B   + R L U   MP   C V + B   + R L U   MP   F C 1 + R L U + D O   F C 2 + R L U + D O   F i l t e r   S i z e   6 x 6   3 x 3   4 x 4   3 x 3   3 x 3   2 x 2   --   --   S t r i d e   1   2   1   2   1   2   --   --   N u mb e r   o f   F i l t e r s   16   --   2 5 6   --   5 1 2   --   --   --       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith m  o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o f  o cc lu d ed   o b jects b y  C N N   tech n iq u es ... ( P a u la   Usech e )   4717       Fig u r e  5 .   C o n f u s io n   m atr ix   f o r   th e  D A G - C N N       Step   4   g r ip   an d   d eliv er y   o f   to o ls :  On ce   th e  alg o r it h m   d e f in es  w h et h er   th e  to o l  is   a  d esire d   o b j ec t   o r   an   o cc lu s io n ,   th e  m o v e m en t  o f   th e  m a n ip u lato r   r o b o t  f o r   th e  tr an s f er   o f   th e  ele m e n t  to   th e  d eliv er y   zo n e  i s   ex ec u ted .   T h e  ce n ter   o f   th e  d e tectio n   b o x   o f   t h e  to o l  clas s if i ed   as  th e  h o ld in g   p o i n t  w as  s e lecte d ,   an d   th e  d ata  o f   th e  P FH  v ar iab le  w a s   u s ed   to   d eter m in e  t h e  d eliv er y   co o r d in ates  o f   th e  ele m en t.  T o   d etec t  th e  cla m p i n g   h eig h t  o f   ea ch   to o l  co n ce r n in g   th e  tab le  ( Z   co o r d in ate)   it  w a s   n ec e s s ar y   to   ev al u ate  t h e   th r ee - d i m e n s io n a l   in f o r m ati o n   o f   ea ch   d etec tio n   b o x   an d   ca lc u late  its   a v er ag e.   T h e  alg o r ith m   f ir s t  r e m o v es  th e  e le m e n t s   class i f ied   a s   f r ee ,   an d   t h e n   t h o s e  d ef i n ed   a s   o cc lu s io n ,   c h a n g in g   t h e  d etec tio n   b o x   o n l y   w h en   all   t h e  ele m e n ts   o f   th e  to o l  s tack   h a v e  b ee n   r e m o v ed ,   w h ich   m ea n s   th a t  th e  ca lc u lated   a v er ag e  h ei g h t   co r r esp o n d s   to     th e  h ei g h t o f   t h e  tab le.   Step   5   n e w   to o l  d etec tio n :   B ef o r e  ter m in at in g   t h e  p r o g r a m ,   Step   5   w as  ad d ed ,   to   v er if y   th e  p r esen ce   o f   to o ls   in   th e  Gr ip   Z o n e.   T h is   s tep   is   r esp o n s ib le  f o r   r ep ea tin g   t h e  p r o ce s s   o f   d e tectio n   o f     Step   2 ,   th r o u g h   w h ich   th e   e x is te n ce   o f   n e w   ele m e n ts   in   th e  e n v ir o n m en t  is   d ef i n ed ,   an d   ac co r d in g   to     th e  r esu lts   o b tain ed ,   Step   3   an d   Step   4   ar e  ex ec u ted ,   o r   th e  p r o g r a m   is   ter m in a ted ,   as sh o wn   in   Fig u r e  1 .       3.   RE SU L T S AN D  AN AL Y SI S   T h e  f ir s t  co m p ar is o n   b et w ee n   th e  m et h o d s   o f   d etec tio n   an d   class i f icat io n   o f   o cc lu s io n s   m en tio n ed     in   s ec tio n   2 ,   w h er e  th e  p er ce n tag e s   o f   ac cu r ac y ,   w h er e  th e  f ast  R - C NN  ex ce ed ed   th e  Haa r   class if ier s   b y     2 0 %  ac cu r ac y .   A d d itio n all y ,   a  co m p ar is o n   w as  m ad e  b et w ee n   b o th   m et h o d s   ap p l y i n g   t h e m   to   th e  p h y s ica l   w o r k   en v ir o n m e n t,  w it h   d if f er en t  p er ce n tag e s   o f   o cc lu s io n .   T h e  f ast  R - C NN  m an a g ed   to   r ec o g n ize  a  g r ea ter   n u m b er   o f   to o ls   in   t h e  e n v ir o n m e n t,  a n d   ca teg o r ized   th e m   m o r e  ac c u r atel y   t h an   t h e  Haa r   class i f ier s ,   i n   ad d itio n   t o   p r esen ti n g   g r ea te r   ac cu r ac y   i n   t h e  d etec tio n   b o x es.  Fo r   th e s e  r ea s o n s ,   it  was  d ec id ed   to   u s e     th e  f a s t  R - C NN  i n   th e  al g o r ith m .   T h e  alg o r ith m   w a s   ap p lied   in   a  p r ev io u s   s i m u latio n   en v i r o n m e n t  w as  te s ted   b y   co m p ar in g   th e  n u m b er   o f   d esire d   to o ls   m o v ed   to   t h e  d eli v er y   z o n e ,   w it h   r e s p ec t  to   t h e  to tal  n u m b er   o f   d esire d   to o ls   p r esen t  i n   t h e  Gr ip   Z o n e,   t h e   r esu lt s   o f   w h ich   ar e  s h o w n   i n   T ab le  4 ,   w h er e  t h e  co l u m n   “ Del iv er ed   to o ls ”   s h o w s   t h e  a m o u n t  o f   Desire d   o b j ec ts   d eliv er ed   ( n u m er at o r )   w it h   r esp ec t  to   th e  to tal  n u m b er   o f   d es ir ed   o b j ec ts   p r esen t  i n   t h e  e n v ir o n m e n t  ( d en o m i n ato r )   f o r   tw o   f aste n i n g   test s   p er   to o l,  an d   th e   co lu m n   “ P er ce n ta g e”   s h o w s   t h e  p er ce n tag e s   o f   s u cc e s s f u l  d eli v er ies  f o r   ea ch   c ase  ac co r d in g   to   th e   r es u lts   o f   th e  co lu m n   “De li v er ed   to o ls ”,   in   w h ic h   t h e  n u m b er   o f   ele m en ts ,   t h eir   p o s itio n s ,   t h e  o cc lu s io n   p er ce n tag e s ,   an d   th e  o b j ec ts   d esire d   b y   th e  u s er   w as  v ar ied .   A cc o r d in g   to   th e   r esu lts   o f   T ab le  4 ,   th e  al g o r it h m   r ea ch ed   8 0 %  ac cu r ac y   i n   t h e  p r o ce s s   o f   d etec tin g ,   class i f y in g   a n d   g r ab b in g   o cc l u d ed   o b j ec ts ,   w ith in   a  s i m u lat ed   en v ir o n m e n t,  w h ic h   m ea n s   th at  a t  least   4   o f   5   d esire d   o b j ec ts   w il l  b e  d eliv er ed   co r r ec tly .   Du r i n g   t h e  te s ts ,   it  w a s   p o s s ib le  to   o b s er v e  t w o   f ac to r s   th a t  af f ec ted   th e  ac c u r ac y   o f   th e  a l g o r ith m :  t h e  lo w   ac cu r ac y   o f   t h e  d etec tio n   b o x e s   g e n er ated   b y   t h e  f ast  R - C NN ,  an d   th e  r es u lts   o f   Step   5 ,   w h ic h   d e m o n s tr ated   in ab ili t y   to   r ec o g n ize  a n y   ele m e n t   in   th e  s i m u lated   en v ir o n m e n t,  s i n ce   t h er e  ar e  n o   v ar iatio n s   i n   th e  i n p u t i m a g e   th at  allo w   n e w   ele m e n t s   to   b e  r ec o g n ized .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 ,  Octo b e r   2 0 2 0   :    4 7 1 2   -   4720   4718   T ab le  4 .   Qu alit y   o f   d eli v er y   o f   d e s ir ed   o b j ec ts   o f   th e  s i m u la t ed   alg o r ith m   D e si r e d   o b j e c t s   D e l i v e r e d   t o o l s   P e r c e n t a g e   A v e r a g e   S c r e w d r i v e r   3 / 4   3 / 3   7 5 %   1 0 0 %   80%   S c a l p e l   3 / 5   2 / 2   6 0 %   1 0 0 %   S c i sso r   4 / 5   4 / 5   8 0 %   8 0 %   P l i e r s   5 / 5   1 / 2   1 0 0 %   5 0 %   S p a n n e r   3 / 4   4 / 5   7 5 %   8 0 %       3 . 1 .   F un ct io nin g   in t he  ph y s ica l e nv iro n m ent   T o   d eter m i n e  t h e  p er f o r m a n c e  o f   th e  a lg o r it h m   w it h i n   a  p h y s ical  e n v ir o n m en t,  t w o   p r e m is e s   w er e   estab lis h ed ,   th e  f ir s t  f o cu s ed   o n   d eter m i n in g   t h e  p er ce n ta g e  o f   to o l  s tack s   d etec ted   w ith   r esp ec t  to   th e  to tal   a m o u n t  o f   to o l  to w er s   p r ese n t   in   t h e  Gr ip   Z o n e  ( Dete ctio n   Q u alit y ) ,   an d   th e  s ec o n d   d ef i n e d   th e  p er ce n tag e  o f   to o ls   h eld   co r r ec tly ,   w it h   r esp ec t  to   th e  to tal  a m o u n t  o f   ele m en t s   p r esen t  i n   th e  e n v ir o n m e n t  ( Ho ld in g   q u alit y ) .   T ab le  5   r ef lecte d   th e   r esu lt s   o b tain ed   f o r   b o th   p r em is e s ,   w h er e   th e   “Stac k ed   T o o ls ”  r o w   i n d icate d   th e  n u m b er   o f   to o ls   p r esen t  in   a  s tack   o f   ele m e n ts ,   an d   i n   th e  “ R ei n f o r ce m e n t  Dete ctio n ”  r o w   th e  p er ce n ta g e   o f   r ec o g n ized   to o l stack s   w as  r ec o r d e d   in   th e  en v ir o n m e n t a f ter   ex ec u ti n g   Step   5   o n ce .   T ests   w er e  ca r r ied   o u t  w i t h   s t ac k s   o f   ele m en ts   th a t  h a v e  b etw ee n   1   an d   5   to o ls ,   w h er e  1 0   test s   w er e  m ad e  f o r   ea ch   q u a n tit y   o f   s ta ck ed   ele m en ts   a n d   v ar ied   f r o m   t h eir   p o s i tio n s   to   t h eir   o r ie n tatio n s .   T h e  b est   r esu lt s   o f   d etec tio n   a n d   cla m p in g   o f   to o ls   w er e  o b tain ed   f o r   p iles   o f   ele m e n ts   b et w ee n   1   an d   3   to o ls ,   w h er e   th eir   av er a g e  p r ec is io n   r a n g ed   b et w ee n   8 0 %  an d   9 0 %  w h ile   w h e n   in cr ea s in g   to   4   an d   5   to o ls ,   th e  p er ce n ta g e   d r o p p ed   t o   alm o s t  a  6 0 %.  T h e  d etec tio n   f ail u r es  w er e  b ec au s e,   w h e n   th e  h eig h t  o f   t h e  s tack   o f   o b j ec ts   in cr ea s es,  t h e y   g et  to o   clo s e  to   th e  Kin ec t’ s   ca m er a,   ca u s i n g   th e m   to   ta k e  u p   a  lo t  o f   s p ac e  in   t h e  i m a g e  a n d   th e  d etec tio n   b o x   f a ils   to   r ec o g n ize  t h e m   d u e  to   th eir   d i m en s io n s ,   w h ile  t h e  cla m p i n g   f au lts   w er e  d u e   to   t h e  f a c t  th a t ,   w h en   c a l cu la t in g   t h e  h e ig h t  o f   th e  e l em en t ,   th e  h e i g h ts   o f   th e  l o w e r   t o o l s   o f   th e  s ta ck   a r e  d e t e ct e d ,   c a u s in g   t h e   av e r ag e  t o   b e  a lt e r e d   a n d   l es s   th an   th e   d es i r e d   t o o l .   On   t h e   o th e r   h a n d ,   th e  r e in f o r c em en t  d e t e ct i o n   p r o v e d   t o   g en e r a t e   a   1 5 . 5 %  im p r o v em en t   i n   th e  d e t e ct i o n   q u a li ty   o f   th e   p r o g r am ,   r e a ch i n g   a  9 0 %  d e t e ct i o n   o f   e l em en ts   w i th   a   s in g l e   ex e cu t i o n   o f   S t e p   5 ,   w h i ch   d em o n s t r a t es   th e   a lg o r i th m ' s   a b i l ity   t o   r e c o g n iz e   n e w   e l em en ts   af t e r   th e   f i r s t   d el iv e r y   o f   t o o ls ,   an d   th e   a b i li ty   t o   d e liv e r   th em   alm o s t   e n t i r e ly .       T ab le  5 .   Qu alit y   o f   t h e  alg o r it h m   ap p lied   to   a  p h y s ical  en v ir o n m e n t   S t a c k e d   T o o l s   1   2   3   4   5   1   t o   3     st a c k e d   o b j e c t s   4   t o   5     st a c k e d   o b j e c t s   G e n e r a l     a v e r a g e   D e t e c t i o n   Q u a l i t y   ( %)   7 1 . 4 3   1 0 0   7 8 . 5 7   6 4 . 2 9   6 0 . 3 1   8 3 . 3 3   6 2 . 3   7 4 . 9 2   H o l d i n g   Q u a l i t y   ( %)   1 0 0   7 9 . 1 7   8 5 . 1 9   8 8 . 8 9   7 7 . 7 8   8 8 . 1 2   8 3 . 3 4   8 6 . 2 1   R e i n f o r c e me n t   D e t e c t i o n   ( %)   9 0 . 4 8       4.   CO NCLU SI O N    T h e  alg o r ith m   o f   d etec tio n ,   class i f icatio n   a n d   to o l  g r ip   p r o p o s ed ,   s u cc ess f u l l y   d eli v er ed   8 0 %  o f     th e  v ir tu a l  to o ls ,   a n d   9 0 %  o f   to o ls   in   th e  p h y s ical  e n v ir o n m en t,  id en t if y i n g   t h e  p r esen c e  o f   o cc lu s io n s   a n d   class i f y in g   u p   to   5   d if f er en t   t y p e s   o f   ele m e n ts .   T h ese   r es u lt s   d e m o n s tr ate   th e   ab ilit y   o f   t h e  alg o r it h m   to   h o ld   an d   d eliv er   th e  to o ls   d esire d   b y   t h e  u s er   o v er co m in g   d if f ic u lties   s u c h   as  o cc lu s io n s   o f   o n e  an d   m o r e   ele m e n ts .   Step   5   allo w ed   to   i m p r o v e  th e  ab ilit y   to   r ec o g n i ze   ele m en ts   i n   th e  p h y s ical  e n v ir o n m e n t  b y   m o r e  th an   1 0 %  w i th   a  s in g le  e x ec u tio n ,   h o w ev er ,   it  d id   n o t  g e n er ate  an y   ef f ec t  o n   th e  s i m u lated   en v ir o n m e n t,  b ec au s e  t h e  in p u t  i m a g e  i n   St ep   5   d o es  n o t  s h o w   lar g e  v ar i atio n s   w i th   r e s p ec t  to   th at  o f   Step   2 ,   w h ich   av o id s   a  n e w   d etec tio n   o f   to o ls .   T h e  ca lcu latio n   o f   t h e  h ei g h t   o f   ea ch   to o l  w i th   r esp ec t  to   t h e  tab le  w as   af f ec ted   b y   th e  p r esen ce   o f   o th er   ele m e n ts   i n   t h e  d etec tio n   b o x ,   r esu lt in g   i n   a  h o ld in g   q u al it y   o f   8 6 %.   Fin all y ,     a  co m p a r is o n   b et w ee n   t w o   d et ec tio n   m et h o d s   w as   ac h ie v ed ,   s u c h   a s   t h e  Haa r   cla s s i f ier s   an d   th e  f ast   R - C NN ,  w h er e  t h e  s ec o n d   p r ese n ted   a  2 0 % i m p r o v e m e n t  in   th e  d ete ctio n   ac cu r ac y   w it h   r e s p ec t to   th e  f ir s t,  i n   ad d itio n   to   d em o n s tr ati n g   a  b etter   ab ilit y   to   r ec o g n ize  ele m en ts   a n d   class i f y   t h e m   co r r ec tl y   as Fr ee   o r   Occ lu s io n .       ACK NO WL E D G E M E NT S     T h e  au th o r s   ar e  g r atef u l  to   t h e   Un i v er s id ad   Militar   N u e v a  G r an ad a,   w h ic h   t h r o u g h   it ’ s   Vi ce   r ec to r y   f o r   r esear ch s   f in a n ce s   t h e  p r es en t p r o j ec t w it h   co d e  I MP - I NG - 2290.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith m  o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o f  o cc lu d ed   o b jects b y  C N N   tech n iq u es ... ( P a u la   Usech e )   4719   RE F E R E NC E S     [1 ]   M .   Be n z a o u i,   e t  a l . ,   “ T ra jec to r y   trac k in g   w it h   o b sta c le  a v o id a n c e   o f   re d u n d a n t  m a n ip u lato r  b a se d   o n   f u z z y   in f e re n c e   s y ste m s , ”   Ne u ro c o mp u t in g ,   v o l.   1 9 6 ,   p p .   2 3 - 3 0 ,   2 0 1 6 .   [2 ]   D.  Ha n ,   e t  a l. ,   “ Dy n a m ic  o b sta c le  a v o id a n c e   f o r  m a n ip u lato rs  u si n g   d istan c e   c a lcu latio n   a n d   d isc r e te  d e tec ti o n , ”   Ro b o ti c s a n d   Co mp u ter - In teg r a te d   M a n u fa c t u rin g ,   v o l .   4 9 ,   p p .   9 8 - 1 0 4 ,   2 0 1 8 .   [3 ]   G .   Ka h n ,   e t  a l. ,   “ A c ti v e   e x p lo ra ti o n   u sin g   traje c to ry   o p ti m iza ti o n   f o r  r o b o ti c   g ra sp in g   in   t h e   p re se n c e   o f  o c c lu sio n s , ”   in   2 0 1 5   IE EE   In ter n a ti o n a l  Co n fer e n c e   o n   Ro b o t ics   a n d   A u to m a ti o n ,   ICRA ,   2 0 1 5 ,   p p .   4 7 8 3 - 4 7 9 0 ,     doi :   1 0 . 1 1 0 9 /ICRA . 2 0 1 5 . 7 1 3 9 8 6 4 .   [4 ]   Q .   Ch a n g   a n d   Z .   X io n g ,   “ V isi o n - a wa re   t a rg e t   re c o g n it io n   to w a rd s  a u to n o m o u s  ro b o t  b y   Kin e c t   s e n so rs, ”   S ig n a l   Pro c e ss in g :  Ima g e   Co mm u n ica t i o n ,   2 0 2 0 .   Do i :  1 0 . 1 0 1 6 /j . im a g e . 2 0 2 0 . 1 1 5 8 1 0 .   [5 ]   X .   L i,   “ Hu m a n – ro b o t  in tera c ti o n   b a se d   o n   g e stu re   a n d   m o v e m e n t  re c o g n it io n , ”   S i g n a l  Pr o c e ss in g :  Ima g e   Co mm u n ica ti o n ,   v o l .   8 1 ,   2 0 2 0 .   D o i :  1 0 . 1 0 1 6 / j. im a g e . 2 0 1 9 . 1 1 5 6 8 6 .   [6 ]   S .   S a rk a r,   e t  a l. ,   “ D e e p   lea rn in g   f o r  a u to m a ted   o c c lu sio n   e d g e   d e tec ti o n   in   RG B - D  f r a m e s , ”   J o u rn a l  o f  S i g n a l   Pro c e ss in g   S y ste ms ,   v o l .   8 8 ,   n o .   2 ,   p p .   2 0 5 - 2 1 7 ,   2 0 1 7 .   [7 ]   H.  S .   Ha d i ,   e t  a l. ,   “ F u si o n   o f   th e rm a l  a n d   d e p th   im a g e s  f o r  o c c lu sio n   h a n d li n g   f o r  h u m a n   d e tec ti o n   f ro m   m o b il e   ro b o t , ”   i n   2 0 1 5   1 0 t h   Asi a n   C o n tr o l  Co n fer e n c e   ( AS CC) ,   p p .   1 - 5 ,   2 0 1 5 . D oi :  1 0 . 1 1 0 9 /A S CC.2 0 1 5 . 7 2 4 4 7 2 2   [8 ]   A .   Kriz h e v s k y ,   I.   S u tsk e v e r,   a n d   G .   E.   Hin to n ,   “ Im a g e N e t  c las si f ic a ti o n   w it h   d e e p   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s , ”   Ad v a n c e s i n   n e u r a l  i n f o rm a ti o n   p ro c e ss in g   sy ste ms ,  p p .   1 0 9 7 - 1 1 0 5 ,   2 0 1 2 .    [9 ]   D .   Ko n sta n ti n id is,  e t  a l . ,  “ A   m o d u lar  CNN - b a se d   b u il d i n g   d e tec to r  f o r  re m o te   se n sin g   i m a g e s, ”   Co mp u ter   Ne two rk s ,   v o l.   1 6 8 ,   2 0 2 0 .   D o i :  1 0 . 1 0 1 6 / j. c o m n e t. 2 0 1 9 . 1 0 7 0 3 4 .   [1 0 ]   C.   C.   A g g a r w a l,   “ Ne u ra l  n e tw o rk s a n d   d e e p   lea rn in g , ”   Be rli n ,   G e rm a n y :  S p rin g e r ,  2 0 1 8 .    [1 1 ]   J .   O .   P i n z ó n - A re n a s   a n d   R .   Ji m é n e z - M o re n o ,   “ C o m p a riso n   b e tw e e n   h a n d w rit ten   w o rd   a n d   sp e e c h   re c o rd   i n     re a l - ti m e   u sin g   CNN   A rc h it e c tu re s ,”   In ter n a t io n a l   J o u r n a l   o f   E lec trica l  a n d   Co mp u ter   E n g i n e e rin g   ( IJ ECE ) ,    v o l.   1 0 ,   n o   4 ,   p p .   4 3 1 3 - 4 3 2 1 ,  2 0 2 0 .   [1 2 ]   P .   Ra jp u rk a r,   e t  a l. ,   “ Ca rd io l o g ist - lev e l  a rrh y th m ia  d e tec ti o n   w it h   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s , ”  a rXiv  p re p rin t   a rX iv :1 7 0 7 . 0 1 8 3 6 ,   2 0 1 7 .   [1 3 ]   H.  L i,   e t  a l. ,   “ A   c o n v o lu ti o n a l  n e u ra l  n e tw o rk   c a sc a d e   f o r  f a c e   d e t e c ti o n , ”   in   Pro c e e d i n g s  o f  t h e   IEE E  c o n fer e n c e   o n   c o m p u ter   v isi o n   a n d   p a tt e rn   re c o g n i ti o n ,   p p .   5 3 2 5 - 5 3 3 4 ,   2 0 1 5 .   [1 4 ]   F .   M il leta ri,   N.  Na v a b ,   a n d   S .   A .   A h m a d i,   “ V - n e t:   F u ll y   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s  f o r  v o lu m e tri c   m e d ica l  im a g e   s e g m e n tatio n , ”   i n   2 0 1 6   Fo u rt h   I n ter n a t io n a l  C o n fer e n c e   o n   3 D  Vi sio n   ( 3 DV) ,   p p .   5 6 5 - 5 7 1 ,   2 0 1 6 .     Do i :  1 0 . 1 1 0 9 / 3 DV . 2 0 1 6 . 7 9 .   [1 5 ]   J .   O.  P in z ó n - A re n a s,  R.   Jim é n e z - M o re n o ,   a n d   Cé sa r  G .   P a c h ó n - S u e sc ú n ,   “ Re sSeg :  Re sid u a l  e n c o d e r - d e c o d e r   c o n v o lu ti o n a l  n e u ra l  n e tw o rk   f o r  f o o d   se g m e n tatio n ,”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   Co m p u te r   En g i n e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   1 ,   p p .   1 0 1 7 - 1 0 2 6 ,   2 0 2 0 .   [1 6 ]   J .   O .   P i n z ó n - A re n a s ,   R .   J im é n e z - M o r e n o ,  a n d   C é s a r  G   P a c h ó n - S u e s c ú n ,   “ Of f l i n e   s ig n a t u r e   v e r if i c a t io n   u s i n g   DA G - C N N ,”   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r ic a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J EC E ) ,   v o l .   9 ,   n o .   4 ,   p p .   3 3 1 4 - 3322 ,  2 0 1 9 .   [1 7 ]   J .   O.  P in z ó n - A re n a s   a n d   R.   Jim é n e z - M o re n o ,   “ Ob jec t  so rti n g   i n   a n   e x ten d e d   w o rk   a re a   u sin g   c o ll a b o ra ti v e   ro b o ti c s   a n d   DA G - CNN , ”  AR PN  J o u rn a l  o f  E n g i n e e rin g   a n d   A p p l ied   S c ien c e s ,   v o l.   15 ,   n o .   2 ,   2 0 2 0 .   [1 8 ]   R.   G irsh ick ,   “ F a st  R - CNN , ”   in   Pro c e e d in g s  o f  th e   IE EE   i n ter n a ti o n a l  c o n fer e n c e   o n   c o m p u te r  v isió n ,   2 0 1 5 ,    p p .   1 4 4 0 - 1 4 4 8 .   [1 9 ]   S .   Ya n g   a n d   D.  Ra m a n a n ,   “ M u lt i - sc a le  re c o g n it io n   w it h   DA G - C NN s , ”   in   Pro c e e d in g s  o f  th e   IE E E  in ter n a ti o n a l   c o n fer e n c e   o n   c o mp u ter   v isió n ,   p p .   1 2 1 5 - 1 2 2 3 ,   2 0 1 5 .   [2 0 ]   H.  Jia n g   a n d   E.   L e a rn e d - M il l e r,   “ F a c e   d e tec ti o n   w it h   th e   f a st e r  R - CNN , ”   in   2 0 1 7   1 2 t h   IEE E  In ter n a ti o n a l   Co n fer e n c e   o n   Au to ma ti c   Fa c e   &   Ge stu re   Rec o g n it io n   ( FG  2 0 1 7 ) ,   p p .   6 5 0 - 657 ,   2 0 1 7 . D o i:   1 0 . 1 1 0 9 / F G . 2 0 1 7 . 8 2   [2 1 ]   S .   W a n   a n d   S ,   G o u d o s,  “ F a ste r  R - CNN   f o r  m u lt i - c las s  f ru it   d e te c ti o n   u si n g   a   ro b o ti c   v isio n   sy ste m , ”   Co mp u ter   Ne two rk s ,   v o l.   1 6 8 ,   2 0 2 0 .   D o i :  1 0 . 1 0 1 6 / j. c o m n e t. 2 0 1 9 . 1 0 7 0 3 6 .   [2 2 ]   S .   T a h e ri  a n d   Ö.  T o y g a r,   “ On   th e   u se   o f   DA G - C NN   a rc h it e c tu re   f o r  a g e   e sti m a ti o n   w it h   m u lt i - sta g e   f e a tu re s  f u sio n , ”   Ne u ro c o m p u t in g ,   v o l.   3 2 9 ,   p p .   3 0 0 - 3 1 0 ,   2 0 1 9 . D o i:   1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 8 . 1 0 . 0 7 1   [2 3 ]   Z.   G o lri z k h a ta m i,   S .   T a h e ri,   a n d   A .   A c a n ,   “ M u lt i - sc a le  fe a tu re s  fo r  h e a rtb e a t  c las sif ica ti o n   u sin g   d irec ted   a c y c li c   g ra p h   CNN , ”   Ap p li e d   Art if icia l   In telli g e n c e ,   v o l.   3 2 ,   n o .   7 - 8 ,   p p .   6 1 3 - 6 2 8 ,   2 0 1 8 .     [2 4 ]   M .   G .   Krish n a   a n d   A .   S rin iv a su lu ,   “ F a c e   d e tec ti o n   sy ste m   o n   A d a Bo o st  a lg o rit h m   u sin g   Ha a r  c las si f ier s , ”   In ter n a t io n a l  J o u rn a l  o f  M o d e rn   En g i n e e rin g   Res e a rc h ,   v o l.   2 ,   n o .   5 ,   p p .   3 5 5 6 - 3 5 6 0 ,   2 0 1 2 .   [2 5 ]   A .   Ra sto g i,   A .   P a l,   a n d   B.   S .   R y u h ,   “ Re a l - ti m e   tea t  d e tec ti o n   u sin g   h a a r  c a sc a d e   c l a ss i f ier  in   s m a rt  a u to m a ti c   m il k in g   s y ste m , ”   in   2 0 1 7   7 t h   I EE E  In ter n a ti o n a l  Co n fer e n c e   o n   Co n tro l  S y ste m,  Co m p u ti n g   a n d   E n g i n e e rin g   ( ICCS CE) ,   p p .   7 4 - 79 ,   2 0 1 7 .   Do i :  1 0 . 1 1 0 9 /ICC S CE. 2 0 1 7 . 8 2 8 4 3 8 3 .   [2 6 ]   A .   B.   Ka n b u r o g lu   a n d   F .   B .   T e k ,   “ A   Ha a r  Clas si f ier  Ba se d   Ca ll   N u m b e r  De tec ti o n   a n d   C o u n ti n g   M e th o d   f o r   L ib ra r y   Bo o k s,”   2 0 1 8   3 rd   In ter n a ti o n a l   Co n fer e n c e   o n   Co m p u te r  S c ien c e   a n d   En g in e e rin g   ( UBM K) ,   S a ra jev o ,     p p .   5 0 4 - 508 ,   2 0 1 8 .   [2 7 ]   Z.   Zh a n g ,   “ M icro so f t  k in e c t  se n s o r  a n d   it s e f f e c t , ”   IEE E  mu lt ime d i a ,   v o l.   1 9 ,   n o .   2 ,   p p .  4 - 1 0 ,   2 0 1 2 .   [2 8 ]   P .   C.   U.  M u r il lo ,   J.  O.  P .   A re n a s,  a n d   R.   J.  M o re n o ,   “ Im p lem e n tatio n   o f   a   Da ta  A u g m e n tatio n   A lg o rit h m   V a li d a ted   b y   M e a n s  o f   th e   Ac c u ra c y   o f  a   Co n v o l u ti o n a l  Ne u ra l  Ne tw o rk , ”   J o u rn a l  o f  En g in e e rin g   a n d   Ap p li e d   S c ien c e s ,    v o l.   1 2 ,   n o .   2 0 ,   p p .   5 3 2 3 - 5 3 3 1 ,   2 0 1 7 .   [2 9 ]   M a th W o rk s,  “ train Ca sc a d e Ob jec tDe tec to r ,”   2 0 2 0 .   [ On li n e ]   A v a il a b le  o n :   h tt p s:/ /l a . m a th w o rk s.c o m /h e lp /v is io n /ref /t ra in c a sc a d e o b jec td e tec to r . h tm l.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 ,  Octo b e r   2 0 2 0   :    4 7 1 2   -   4720   4720   B I O G RAP H I E S   O F   AUTH O RS         Pa u la   Us e c h e   M u r il lo   is  a   M e c h a tro n ics   En g in e e r   g ra d u a ted   w it h   h o n o rs  i n   2 0 1 7   f ro m     th e   Nu e v a   G ra n a d a   M il it a ry   U n iv e rsity   in   Bo g o tá,  Co lo m b ia,  w h e re   sh e   c u rre n tl y   stu d ies     a n   M . S c .   i n   M e c h a tr o n ics   E n g in e e rin g   a n d   w o rk s  a s  a   re se a rc h   a ss istan t  in   th e   M e c h a tro n ics   En g in e e rin g   p r o g ra m .         Ro b i n s o n   J i m é n e z - M o r e n o   is  a n   e lec tro n ic  e n g in e e r  g ra d u a ted   f ro m   th e   F ra n c isc o   Jo sé   d e   Ca ld a s  District  Un iv e rsity   in   2 0 0 2 .   He   re c e iv e d   a n   M . S c .   i n   E n g in e e rin g   f ro m   th e   Na ti o n a l   Un iv e rsit y   o f   Co lo m b ia i n   2 0 1 2   a n d   P h . D i n   En g in e e rin g   a t  th e   F ra n c isc o   Jo sé   d e   Ca ld a s D istri c t  Un iv e rsit y   in   2 0 1 8 .   His  c u rre n t  r e se a rc h   f o c u se s  o n   th e   u se   o f   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s  f o r  o b jec t  re c o g n it i o n   a n d   im a g e   p ro c e ss in g   f o r  ro b o ti c   a p p li c a ti o n s  su c h   a s  h u m a n - m a c h in e   in tera c ti o n .           J a v ier   E d u a r d o   M a r tin e z   B a q u e ro   is  a n   El e c tr o n ic  En g in e e r  g ra d u a ted   f ro m   Un iv e rsit y   o f   th e   L lan o s  in   2 0 0 2 .   P o sg ra d u a ted   in   El e c tro n ic  In stru m e n tatio n   f ro m   S a n to   T o m a s   Un iv e rsit y   in   2 0 0 4   a n d   M .S c .   in   Ed u c a ti v e   Tec h n o l o g y   a t   A u to n o m a   o f  Bu c a ra m a n g a   Un iv e rsit y   in   2 0 1 3 .   His c u rre n t  re se a rc h   f o c u se s o n   In stru m e n tatio n ,   A u to m a ti o n   a n d   C o n tr o l.     Evaluation Warning : The document was created with Spire.PDF for Python.