I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   5 Octo b er   2 0 2 0 ,   p p .   4 7 1 2 ~ 4 7 2 0   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 5 . pp 4 7 1 2 - 4 7 2 0          4712       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Alg o rith m  of d ete ction, clas sifi ca tion a nd gripp ing     o o ccluded ob jec ts by CN N t echni ques a nd  H a a r cl a ss ifiers       P a ula   Useche 1 ,   Ro bin s o n J i m e nez - M o re no 2 ,   J a v ier  M a r t ínez  B a qu er o 3   1, 2 De p a rtm e n o f   M e c h a tro n ic E n g in e e rin g ,   M il it a r   N u e v a   G r a n a d a   M il it a ry   Un iv e rsit y ,   Co lo m b ia   3 De p a rtme n o f   El e c tro n ic E n g in e e rin g ,   De   lo s L lan o s Un iv e rsity ,   Co lo m b ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   No v   4 ,   2 0 1 9   R ev i s ed   Ma r   4 ,   2 0 2 0   A cc ep ted   Ma r   21 ,   2 0 2 0       T h e   f o l l o w i n g   p a p e r   p r e s e n t s   t h e   d e v e l o p m e n t   o f   a n   a lg o r i t h m ,   i n   c h a rg e   o f   d e t e c t i n g ,   c la s s if y i n g   a n d   g ra b b i n g   o c c l u d e d   o b j e c t s ,   u s i n g   a r t if ic i a i n t e l l i g e n c e   te c h n i q u e s ,   m a c h i n e   v i s i o n   f o r   t h e   r e c o g n i t i o n   o f   t h e   e n v i r o n m e n t ,   a n   a n t h r o p o m o r p h i c   m a n i p u l a t o r   f o r   t h e   m a n i p u l a t i o n   o f   t h e   e l e m e n t s .   5   t y p e o f   t o o l s   w e re   u s e d   f o r   t h e i r   d e te c ti o n   a n d   c l a s s if i c a t i o n ,   w h e r e   t h e   u s e r   se l e c t o n e   o f   t h e m ,   s o   t h a t   t h e   p r o g r a m   s e a rc h e s   f o r   i t   i n   t h e   w o r k   e n v ir o n m e n t   a n d   d e l i v e rs   i t   i n   a   s p e c if i c   a re a ,   o v e r c o m i n g   d i f f ic u l t i e s   s u c h   a s   o c c l u s i o n s   o f   u p   t o   7 0 % .   T h e se   t o o l s   w e r e   c l a s s if ie d   u s i n g   tw o   C N N   ( c o n v o l u t i o n a l   n e u r a n e t w o rk )   ty p e   n e tw o rk s ,   a   f a s t   R - C N N   ( f a s t   r e g i o n - b a s e d   C N N )   f o   t h e   d e t e c t i o n   a n d   c la s s if ic a t i o n   o f   o c c l u s i o n s ,   a n d   a   DA G - C NN   ( d i r e c te d   a c y c l ic   g ra p h - C N N )   f o r   t h e   c l a s s if ic a t i o n   t o o l s .   F u r t h e r m o r e ,   a   Ha a r   c l a ss if i e w a s   tr a i n e d   i n   o r d e t o   c o m p a re   i ts   a b i l i ty   t o   r e c o g n i z e   o c c l u s i o n s   w i t h   r e s p e c t o   t h e   f a s t   R - C NN .   F a s t   R - C NN   a n d   D A G - C N N   a c h i e v e d   7 0 . 9 %   a n d   9 6 . 2 %   a c c u ra c y ,   r e s p e c t iv e ly ,   H a a r   c la s s if i e rs   w i t h   a b o u t   5 0 %   a c c u ra c y ,   a n d   a n   a c c u ra c y   o f   g r i p   a n d   d e l i v e ry   o f   o c c l u d e d   o b j e c t s   o f   9 0 %   i n   t h e   a p p l i c a t i o n ,   w a s   a c h i e v e d .   K ey w o r d s :   DAG - C NN   Fas t R - C NN   Haa r   class i f ier s   Ma ch i n v i s io n   Ma n ip u la to r   r o b o t   Occ lu d ed   o b j ec ts   VR M L   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   R o b in s o n   J i m en ez - Mo r en o ,     Dep ar t m en t o f   Me ch atr o n ic  E n g i n ee r i n g ,   Militar   Nu e v Gr an ad Milita r y   U n i v er s it y ,   C ar r er 1 1   #   1 0 1 - 8 0 ,   B o g o tá,   C o lo m b ia .   E m ail:  r o b in s o n . j i m en ez @ u n i m ilit ar . ed u . co       1.   I NT RO D UCT I O N     W o r k in g   co n d itio n s   t h at  o cc u r   in   an   u n k n o w n   p h y s ical  en v ir o n m e n h a v led   r o b o tics   to   th n ee d   to   in cr ea s th e   in d ep en d e n ce   o f   r o b o ts   to   p er f o r m   ta s k s   th a o v er co m e   v ar io u s   d i f f icu lti es  n o f o r eseen   in     th en v ir o n m en t,  s u c h   as  th p r esen ce   o f   o cc lu s io n s   d u r in g   t h tr ac k   o f   tr aj ec to r y   f o r   m an ip u lato r     r o b o [ 1 ] ,   o r   v ar io u s   o b s tacle s   th at  m o v ar o u n d   th e n v ir o n m e n t,  w h er t h m an ip u lat o r   m u s r et h i n k   it s   tr aj ec to r y   w h e n   s aid   o b s tacle   is   to o   clo s to   i ts   s tr u c tu r e,   to   av o id   co llis io n   [ 2 ] .   Ho w ev er ,   th p r esen ce   o f   o b s tacle s   in   th p ath   o f   m a n ip u lato r   is   n o th o n l y   u n f o r eseen   ev e n th a m u s b o v er co m e,   b u o cc lu s io n s   in   th ele m e n ts   to   b f aste n e d   as  m e n tio n ed   in   [ 3 ] ,   w h er e   an   R GB - s en s o r   w a s   u s e d   in   th g r ip p er   o f     th m a n ip u lato r   to   g e n er ate  a   3 v o x e m ap   o f   th e   en v ir o n m e n t,  w h ic h   a llo w s   to   r ec o g n ize   t h o cc lu d ed   o b j ec ts   an d   g e n er ate  tr aj ec to r y   f o r   its   s u b j ec tio n   w i th o u t   co llis io n s .   Ki n ec s e n s o r s   is   an   R GB - ca m er a   u s ed   f o r   co n tr o l r o b o ts   [ 4 ,   5]   I n   w o r k s   s u c h   as   t h o s p r es en ted   i n   [ 6 ]   an d   [ 7 ] ,   alg o r it h m s   f o c u s ed   o n   t h o cc lu s io n   d etec tio n   p r o ce s s   h av b ee n   d ev elo p ed ,   to   u s th is   in f o r m at io n   in   t h m o v e m e n o f   m an ip u lato r   an d   m o b ile  r o b o ts ,   w h er [ 6 ]   p er f o r m ed   an   al g o r ith m   o f   o cc l u s io n   ed g d e tectio n ,   u s in g   C NN  w it h   R GB ,   R GB - D,   a n d     R GB - D - UV  i n p u i m ag e s   an d   v id eo s ,   w h er r ep r ese n ts   t h d ep th   an d   UV  h o r izo n tal  an d   v er tical   co m p o n e n t s   o f   th o p tical  f lo w   f ield ,   th u s   allo w in g   d if f er en t iatio n   b et w ee n   o c clu s io n   ed g es,  o f     th ap p ea r an ce   ed g es  o f   t h d esire d   ele m en t s ,   w h ile  i n   [ 7 ] ,   an   alg o r ith m   w a s   m ad f o r   th d etec tio n   o f   m u ltip le  p eo p le  in   r ea l - w o r ld   en v ir o n m e n t,  u s in g   t h er m al  an d   d ep th   in f o r m atio n ,   to   d eter m in t h p o s itio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o o cc lu d ed   o b jects b C N N   tech n iq u es ... ( P a u la   Usech e )   4713   o f   ea ch   p er s o n   f r o m   th e ir   t h er m al  d etec tio n ,   a n d   d ef i n t h p r esen ce   o f   o cc lu s io n s   ac co r d in g   to   t h r es u lt s   o f   th d ep th   in f o r m a tio n ,   to   g e n e r ate  f r ee   p ath   o f   o b s tacle s   f o r   m o b ile  r o b o t.   C N N' s   a r e   d es ig n e d   t o   p e r f o r m   r e c o g n i t i o n   o f   d e s i r e d   p a tt e r n s   a n d   c h a r a c t e r is ti c s   i n   im a g e s ,   to   c l a s s if y   t h em   in t o   a   s p e c if ic   c at eg o r y ,   a s   m en t i o n e d   in   [ 8 9 ] .   T h C N is   c o m p o s e d   o f   c o n v o lu t i o n al   f il t e r s   w h o s p a r am et e r s   a r e   t r a in e d   w ith   d a t a b a s th a h a s   im ag es   o r   r ef er e n c es   o f   t h e   p a tt e r n s   t o   b e   c l as s i f i e d ,   w h ich   a ll o w   t h e   n e t w o r k   t o   le a r n   an d   ex t r a c t   th e   m o s t   r e le v a n t   ch a r a c t er i s t ic s   o f   an   im ag e ,   w h o s e   i n f o r m a ti o n   is   u s e d   to   g en e r a te   a   c l ass if i c at i o n ,   a s   e x p l a i n e d   in   [ 1 0 ] ,   b u t   n o t   o n ly   im a g es   l ik e   i s   ex p o s e d   in   [ 1 1 ] .   So m o f   th e   r ec en tl y   d e v elo p ed   C NN  ap p licatio n s   ar e:  1 )   a   34 - la y er   C NN  led   to   t h d e tectio n   o f     w id r an g o f   ca r d iac  ar r h y th m ia s   f r o m   elec tr o ca r d io g r a m s ,   w h o s p er f o r m a n ce   e x c ee d ed   th av er ag e   r esu lt s   o f   Me d ical  p r ed ictio n ,   m ad b y   g r o u p   o f   6   ca r d io lo g is t s   [ 1 2 ] 2 )   a   tr ain ed   ca s ca d e   o f   C NNs  to   d etec an d   class i f y   f ac es  i n   r ea en v ir o n m e n t,  o v er co m i n g   d if f i c u lties   s u c h   as  p o s ch an g es,  ex p r ess io n ,   an d   lig h ti n g ,   a v o id in g   b ec o m in g   co m p u tatio n all y   e x p en s i v [ 1 3 ] 3 )   e x p an d ed   u s o f   C NN s   to w ar d s   th r ee - d i m en s io n al   en v ir o n m e n t,  wh er v o l u m es   o f   m a g n e tic  r eso n an ce   v o x el  o f   t h p r o s t ate  w er ev a lu ated ,   g en er ati n g   s e g m en tatio n   o f   th e n tire   v o l u m e,   u s i n g   o n l y   f r ac tio n   o f   p r o ce s s i n g   ti m e   co m p ar ed   to   o th er   m et h o d s   p r ev io u s l y   u s ed   [ 1 4 ] .   B esid es  C NN,   o th er   ar tif icia l   in telli g en ce   m et h o d s   h av b ee n   d ev elo p ed   f o r   th class i f icatio n   o f   p atter n s ,   s u ch   a s   t h f a s R - C NN  [ 1 5 ]   an d   th D AG - C N [ 1 6 ,   1 7 ] ,   in   th f ir s ca s i s   f o r m er   s tag o f   ex tr ac tio n   o f   R e g io n s   o f   I n t er est  ( R OI s )   th a is   r esp o n s ib le  f o r   o f   d etec tin g   d esire d   ele m en ts   i n   t h in p u t   i m a g e,   ex tr ac ti n g   th e m   a n d   en ter in g   t h e m   in to   C NN  f o r   class i f icatio n ,   as  e x p lai n ed   in   [ 1 8 ] ,   w h i le  th la s t   co n s is ts   o f   b r an c h ed   s tr u ct u r w h er ea c h   b r an ch   co n tain s   s eq u en ce   o f   co n v o l u tio n al  l a y er s   w h o s f i lter s   v ar y   o f   d i m e n s io n ,   to   ex tr ac ch ar ac ter is tic s   o f   g r ea ter   an d   s m al ler   s ize  o f   t h i n p u i m a g e,   an d   in   t h en d   to   un i f y   t h r esu l ts   to   g i v clas s if ica tio n ,   as i n d icate d   in   [ 1 9 ] .   So m e x a m p le s   o f   ap p licatio n s   f o r   th f as R - C NN   ar r ep o r ted   in   [ 2 0 ]   an d   [ 2 1 ] .   T h f ir s r ep o r t   ap p lied   th Fas ter   R - C NN  f o r   f ac d etec tio n   an d   class if icatio n ,   to   ac h ie v h i g h er   p r o ce s s in g   s p ee d   co n ce r n i n g   o th er   m et h o d s   o f   d ee p   lear n in g ,   a n d   t h s ec o n d   r ep o r m u lti - clas s   f r u i d etec tio n   u s i n g   a   r o b o tic  v is io n   s y s te m   b ased   o n   Fas ter   R C NN.   O n   t h o t h er   h a n d ,   th D A G - C N h a s   b ee n   u s ed   i n   ap p licatio n s   s u c h   as  th o s d escr ib ed   in   [ 2 2 ]   an d   [ 2 3 ] ,   w h er t h f ir s p u b licati o n   u s ed   t h D A G - C N f o r   th esti m a tio n   o f   a g e   in   p eo p le  o f   d if f er en g e n d er s   an d   eth n icitie s ,   tak i n g   ad v an ta g o f   th e x tr ac tio n   o f   ch ar ac t er is tics   at  m u l tip le   s ca les  o f   s aid   n et w o r k ,   w it h   an   ac cu r ac y   o f   ar o u n d   8 0 %,  an d   th s ec o n d   p u b licatio n   u s ed   th D A G - C NN  f o r   th clas s i f icatio n   o f   h ea r tb ea ts   f r o m   e lectr o ca r d io g r a m   i m ag es  ( E C G) ,   ac h iev in g   t h i d en tific atio n   o f   1 5   d if f er e n t si g n als  w i th   9 7 . 1 5 % a cc u r ac y .   A p ar f r o m   th C NNs,  t h er ar o th er   m e th o d s   o f   r ec o g n i zin g   ele m e n t s   in   i m a g es ,   s u c h   as  Haa r   class i f ier s ,   w h ich   tr ai n   s er ies  o f   w ea k   ca s ca d in g   clas s i f i er s ,   w h ich   r ec eiv a n   in p u i m ag a n d   th r o u g h     s lid in g   w i n d o w   t h e y   d is c ar d   th o s ar ea s   t h at  d o   n o t   co n tain   th e   d es ir ed   ele m e n u n til,  i n   t h e n d ,     th w in d o w s   i n d icatin g   th o b j ec o f   in ter est,  ar o b tain ed ,   [ 2 4 ] .   E x a m p les  o f   ap p licatio n   o f   Haa r   class if ier s   ar r ep o r ted   in   [ 2 5 ]   an d   [ 2 6 ] ,   w h er t h f ir s t o n ca r r ied   o u t   p r o ce s s   o f   r ea l - ti m d etec ti o n   o f   co w   n ip p les t o   g en er ate  an   a u to m at ic  m il k i n g   s y s te m ,   w h ile  t h s ec o n d   d ev elo p e d   m eth o d   o f   co u n tin g   an d   d etec tin g     th n u m b er   o f   b o o k s   s tack ed   o n   s h el v es,  w h er 9 6 r ec o g n itio n   w a s   ac h ie v ed   w h en   tes tin g   th s y s te m   o n     to tal  o f   2 0   s h elv e s   an d   2 3 3   b o o k s .   Fo r   th f o llo w i n g   ar ticle,   s y s te m   f o r   d etec tin g ,   clas s if y i n g   a n d   g r ab b in g   o c clu d ed   o b j ec ts   w a s   d esig n ed   u s in g   m a n ip u lato r   r o b o in   p h y s ical  a n d   v i r tu al  e n v ir o n m e n t,  w h er ar t if icial   in telli g en c e   tech n iq u es  w er u s ed   f o r   th p r o ce s s   o f   d etec tio n   an d   c lass i f icatio n   o f   ele m e n ts   i n   t h w o r k   ar ea ,   an d     Kin ec t   V1   w a s   u s ed   as   th e   m ac h i n v is io n   s y s te m .   T h is   w o r k   g en er ate s   f u n d a m en t al  co n tr ib u tio n   f o r     th i n cr ea s o f   t h a u to m atio n   o f   r o b o tized   p r o ce s s es  w it h in   u n k n o w n   en v ir o n m e n ts ,   wh er s eq u en ce   o f   d etec tio n   an d   eli m in atio n   o f   o cc lu s io n s   w as  estab li s h ed   s i n ce   it  is   n o p o s s ib l to   d o d g th e m   e m p lo y i n g   o b s tacle   av o id an ce   alg o r it h m s ,   b u t th e y   m u s t b r e m o v ed   to   b ab le  to   h o ld   th d esire d   o b ject.   T h p r esen t a r ticle  is   d iv id ed   i n to   4   m ai n   s ec tio n s .   I n   t h f ir s t sectio n ,   b r ief   i n tr o d u ctio n   w a s   m ad e.   I n   th s ec o n d   s ec t io n ,   t h o p er atio n   o f   t h al g o r ith m   p r o p o s ed   f o r   th eli m i n atio n   o f   o cc l u s io n s   i s   ex p lai n ed .   I n   th th ir d   s ec t io n ,   ca r r ied   o u o n   t h al g o r ith m   i n   p h y s ical  en v ir o n m e n t,  to   o b tain   t h q u ali t y   o f   r ec o g n itio n   an d   d eli v er y   o f   d e s ir ed   ele m e n ts ,   i n   t h p r esen c o f   p ar tial  o cc lu s io n s .   F in al l y ,   in   t h last   s ec tio n ,   s er ies  o f   co n clu s io n s   w er estab lis h ed   r eg ar d in g   t h o p er atio n   o f   th al g o r ith m ,   ac co r d in g   to   th r es u lts   o b tain ed   d u r in g   t h tes ts .       2.   RE S E ARCH   M E T H O D   T h f o llo w i n g   is   t h b asic  o p er atio n   o f   th p r o g r a m   f o r   d etec tin g ,   clas s if y i n g   an d   g r ab b in g     o cc lu d ed   o b j ec ts ,   u s i n g   ar ti f i cial  in tel lig e n ce   tec h n iq u es,  an d   ca p tu r ed   th r ee - d i m e n s io n al  i n f o r m atio n   b y   Kin ec V1   ( s ee   [ 2 7 ] ) .   Fo r   th is ,   s ec tio n   2   w a s   d iv id ed   in t o   2   s u b s ec tio n s ,   t h f ir s r aise s   th p h y s ical  w o r k i n g   co n d itio n s   f o r   th i m p le m e n ta tio n   o f   t h ap p licatio n ,   th s ec o n d   d escr ib es th alg o r it h m s   f lo w .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 Octo b e r   2 0 2 0     4 7 1 2   -   4720   4714   T h d ev elo p ed   alg o r ith m   c ap tu r es  a n   R GB   i m a g o f   th e   w o r k   e n v ir o n m en t,  t h en   ac q u ir es     th th r ee - d i m en s io n al  i n f o r m atio n   o f   th e n v ir o n m e n to   d etec th h eig h o f   ea c h   e le m e n co n ce r n i n g     th tab le,   an d   ac co r d in g   to   th d is p o s itio n   o f   t h f o u n d   o b j ec ts ,   g r ip   alg o r ith m   is   g e n er ated   th at  allo ws     to   r e m o v t h to o ls   u s in g   a   m an ip u lato r   r o b o an d   r elo ca te  th e m   i n   t h d eli v er y   ar ea .   T h s eq u en ce   o f   o p er atio n   o f   th e   alg o r it h m   is   s h o w n   i n   t h f lo w ch ar t   o f   Fig u r 1 ,   w h er ea c h   s tep   o f   t h p r o g r a m   w a s     m ar k ed   w it h   n u m b er s   f r o m   1   to   5 ,   w h ic h   ar d escr ib ed   in   th f o llo w i n g   s u b s ec tio n s .   Ne x t,  th o p er atio n   o f   th al g o r ith m   is   e x p lai n ed ,   th s tep s   in   Fi g u r 1   ar d escr ib ed ,   an d   its   ap p licatio n   i n   th p h y s ical  an d   v ir tu a l   en v ir o n m e n t i s   s h o w n .             Fig u r 1 .   A l g o r ith m   f lo w   c h ar t       2 . 1 .   M e t ho ds   a nd   m a t er ia ls   A   p h y s ical  w o r k   e n v ir o n m e n o f   3 0 x 2 0 c m   ar ea   w as  e s tab lis h ed ,   at  h ei g h o f   6 c m   f r o m   t h g r o u n d ,   w it h   b l u h u li k t h o n s h o w n   i n   F ig u r 2 ( a ) .   A   Ki n ec V1   w a s   u s ed   to   ca p tu r th w o r k   e n v ir o n m en t   an d   w a s   lo ca ted   at  h eig h o f   9 8 cm   f r o m   t h g r o u n d ,   in   th ce n ter   o f   th w o r k   ar ea   tab le  o r   G r ip   Z o n e.     A   Del iv er y   Z o n w as   e s tab l is h ed ,   w h er t w o   r e g io n s   wer d em ar ca ted   to   o r g an ize  th to o ls ,   o n f o r     th Occ l u s io n s   an d   th o t h er   f o r   th e   Desire d   Ob j ec ts ,   as  s h o w n   i n   Fi g u r 2 ( b ) .   T h r o b o u s ed   is   s h o w n   i n   Fig u r 2 ( c )   an d   h as  3   DOF  ( Deg r ee s   o f   Fre ed o m ) ,   all  r o t atio n al.   I ts   s ch e m atic  r ep r esen tatio n   i s   s h o w n   i n   Fig u r 2 ( d ) ,   w h er th a n g les  o f   r o tatio n   w er m ar k ed ,   th j o in ts   f r o m   1   to   3   w er lis ted ,   an d   th li n k s   f r o m   e1   to   e3   w er m ar k ed .   Fiv e   t y p e s   o f   to o ls   w er s e lec ted   f o r   t h ap p licatio n S ca lp el,   Scis s o r ,   Scr e w d r i v er ,   Sp an n er ,   an d   P lier s ,   w h er ea c h   o n was  d esi g n ed   w i th   li g h an d   s o f m ater ial  ( f o a m )   t h at  f ac ili t ates  t h ad j u s t m en o f   th g r ip p er   o n   th ele m en t s   an d   r ed u ce s   th i n f lu e n ce   o f   th w ei g h o f   t h o b j ec ts   o n   th d y n a m ics  o f   th m a n ip u lato r .   E ac h   o b j ec w a s   m a n u f ac t u r ed   w i th   1 c m   t h ick n e s s   an d   m ax i m u m   d i m e n s io n s   o f   3 . 5 x 1 0   c m ,   an d   f o r   ea ch   ca teg o r y ,   th s h a p an d   co lo r   o f   th to o ls   w er v ar ied ,   in   o r d er   to   teac h   t h p r o g r a m   to   r ec o g n iz e   ea ch   ele m e n w i th   to ler an ce   f o r   v ar iatio n s .                 ( a)   ( b )   ©   ( d )     Fig u r 2 .   ( a)   W o r k tab le,   ( b )   g r ip   an d   d eliv er y   zo n es o f   ele m e n ts ,   ( c)   an t h r o p o m o r p h ic  r o b o t,    an d   ( d )   s ch e m atic  r ep r esen tati o n   o f   th r o b o t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o o cc lu d ed   o b jects b C N N   tech n iq u es ... ( P a u la   Usech e )   4715   2 . 2 .   Alg o rit h m   f lo w     Step   1   p r o g r am   i n it ializatio n T h f ir s t step   co n s i s ts   o f   th e   i n itializa tio n   o f   th v ar iab les to   b u s ed   in   th co u r s e   o f   t h ap p licatio n ,   w h er i m a g w as   d ef i n ed   a s   th e   v ec to r   t h at  co n ta in s   t h e   n u m b er   o f   p i x els   o cc u p ied   b y   t h Gr ip   Z o n in   t h e   R GB   i m a g e   o f   th e   K in ec ( [ 1 2 8   1 7 4 ]   p ix el s ) ,   an d   th e   P FH  v ar iab le     s to r es  t w o   m atr ices,  ea c h   w it h   1 0   r o w s   an d   3   co lu m n s ,   wh er th f ir s m atr i x   s a v es  t h f in a p o s itio n s   f o r     th d esire d   o b j ec ts ,   an d   th s ec o n d   s av es t h f in a l p o s itio n s   f o r   th u n w a n ted   ele m e n t s   ( o cc lu s io n s ) .   Step   2   to o d etec tio n :   I n   th is   s tep ,   th f ir s d etec tio n   o f   to o ls   in   th e   e n v ir o n m e n is   p er f o r m ed ,   w h er it  is   d eter m in ed   w h eth er   t h p r o g r am   is   e x ec u ted   o r   ter m in a ted   ac co r d in g   to   w h a is   id en ti f ied   in     th Gr ip   Z o n as  s h o w n   i n   Fig u r 1 .   T w o   m eth o d s   o f   o b j ec d etec tio n ,   th e   f ast  R - C NN ,   an d   th Haa r   class i f ier s ,   w er tr ain ed   i n   o r d er   to   co m p ar th e   ac cu r ac y   a n d   p r ec is io n   o f   d etec tio n   o f   ea ch ,   an d   th u s   d ef i n w h ic h   o f   th e   t w o   is   u s ed   in   t h al g o r ith m .   A   d atab ase  o f   4 5 0   p h o to s   w as   estab li s h ed   t h at  w er a u g m e n ted   w it h   t h Data   A u g m en tat io n   p r o g r am   d e v elo p ed   in   [ 2 8 ] ,   r e ac h in g   to tal  o f   3 1 5 0   im a g es ,   w h er 2 8 0 0   w er e   u s ed   f o r   tr ain i n g   a n d   3 5 0   f o r   test in g .   T h d etec tio n   b o x es  f o r   b o th   m et h o d s   w er d ef in ed   as  5 5 x 2 8   p ix els   s in ce   t h at  is   t h m ax i m u m   v a l u o f   t h s p ac o cc u p ied   b y   t h to o ls   in   th i m a g e.   T h f ast   R - C NN   i s   a   C N N - t y p e   n e u r al  n et w o r k   t h at  h as   an   R OI   e x tr ac tio n   s ta g d e s ig n ed   f o r     th d etec tio n   o f   ele m e n ts   in   i m a g e s ,   as   d etailed   i n   [ 1 8 ] .   T h ar ch itect u r o f   t h is   n et w o r k   is   d ef i n ed   i n   th s a m e   w a y   as  t h at  o f   co n v en t io n al  C NN ,   u s in g   co n v o l u tio n al   la y er s   ( C V) ,   r ec ti f ied   lin ea r   u n i ts   ( R L U) ,   m ax p o o ( MP ) ,   av er ag e   p o o l,  b atch   n o r m aliza tio n   ( B ) ,   f u ll y   co n n ec ted   ( F C ) ,   d r o p o u ( DO) ,   s o f t m a x   ( S OFT ) ,   a m o n g   o t h er s ,   e x p lain ed   i n   [ 1 0 ] .   T h tr ain ed   f ast   R - C NN   h a s   t h ar ch i tectu r s h o w n   i n   T ab le  1 ,   w h er it  w as   o b s er v ed   th at,   w h e n   u s i n g   r ec tan g u lar   f il ter s ,   4   co n v o lu tio n   la y er s ,   3 0 0   tr ai n in g   t i m e s   a n d   Min iB atc h Size   less   t h an   3 0 ,   th h i g h est  p e r ce n tag o f   ac c u r ac y   w as  ac h iev ed ,   r ec eiv i n g   as  in p u a n   i m a g o f   i m a g e   d i m en s io n s   ( [ 1 2 8   1 7 4 ]   p ix e ls ).       T ab le  1 .   A r ch itect u r o f   th f a s t R - C NN   f o r   th d etec tio n   an d   class if icatio n   o f   o cc l u d ed   to o ls   L a y e r s   C V + B + R L U   C V + B + R L U   MP   C V + B + R L U   C V + B + R L U   F C 1 + R L U + D O   F C 2 + R L U + D O   Fi l t e r   S i z e   6 x 4   5 x 3   2 x 3   4 x 3   4 x 3   --   --   S t r i d e   1   1   2   1   1   --   --   N u m b e r   o f   F i l t e r s   16   1 2 8   --   2 5 6   5 1 2   --   --       T h r esu lts   o f   th tr ain ed   f ast  R - C NN   ar s h o w n   in   Fi g u r 3 ,   w h er Fi g u r 3 ( a )   s h o w s   th co n f u s io n   m atr i x   an d   Fig u r 3 ( b )   s h o w s   t h r ec all  v s   p r ec is io n   g r ap h ,   w it h   1   b ein g   th f r ee   ca teg o r y ,   2   b ein g     th Occ l u s io n   ca teg o r y ,   a n d   3   th B ac k g r o u n d .   T h r esu l ts   o b tain ed   in   t h f ast  R - C N N   w er n o id ea l,  h o w ev er ,   it  w as  d ec id ed   to   u s th is   n e t w o r k ,   s i n ce   th s tr u ct u r p r o p o s ed   f o r   th alg o r ith m   allo w s   i n   s tep   5   to   r ec o g n ize  t h to o ls   t h at  w er n o ca p tu r ed   in   S tep   2 ,   r ed u cin g   t h i n f l u en ce   o f   th lo w   a cc u r ac y   o f   th Fas t     R - C NN  i n   t h ap p licatio n ,   as  d escr ib ed   later   in   s ec tio n   3 .   Fo r   th tr ain i n g   o f   t h Haa r   cl ass i f ier s ,   t h v al u es  o f   s er ie s   o f   p ar a m eter s   th a d eter m i n th b asic  tr ain i n g   ch ar ac ter is tics ,   e x p lai n ed   in   [ 2 9 ] ,   w er ad j u s ted .   A   Haa r   class i f ier   w a s   tr ai n ed   f o r   th r ec o g n it io n   o f   th f r ee   ca teg o r y   a n d   an o th er   f o r   th Occ lu s io n   ca te g o r y ,   wh o s ac c u r ac y   a n d   tr ain i n g   p a r a m eter s   ar s h o w n   in   T ab le  2 ,   w h er t h h ig h e s ac cu r ac y   o b tai n ed   w as   4 2 a n d   4 8 %,  r esp ec tiv el y .   As  e x p l ain ed   i n   [ 2 2 ] ,   Haa r   class i f ier s   n ee d   lar g er   d atab as es  to   o b tain   b etter   d etec tio n   r esu lt s ,   h o w ev er ,   t h e   o b j ec tiv is   to   co m p ar Haa class i f ier s   w i th   f ast  R - C N N ,   th r ea s o n   w h y   t h d atab ase  was n o t in cr ea s ed   an d   w a s   u s ed   in   b o th   ca s es .           ( a)   ( b )     Fig u r 3 .   Fas t R - C NN :   ( a)   c o n f u s io n   m atr i x   an d   ( b )   r ec all  v s   p r ec is io n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 Octo b e r   2 0 2 0     4 7 1 2   -   4720   4716   T ab le  2 .   T r ain in g   p ar a m eter s   o f   Haa r   class i f ier s   P a r a me t e r   A c c u r a c y   F a l s e   A l a r Rate   N u mb e r   C a sc a d e   S t a g e s   N e g a t i v e   S a mp l e F a c t o r   T r u e   P o si t i v e   Rate   T o t a l   P o si t i v e S a mp l e s   T o t a l   N e g a t i v e   S a mp l e s   N e g a t i v e   S a mp l e s   N u mb e r   P o si t i v e   S a mp l e s   Fr e e   4 2 %   0 . 0 1   15   3   6 0 %   2 8 0 0   5 0 0 0   1 2 7 2   4 2 4   Occ   4 8 %   0 . 0 1   1 0 0   3   6 0 %   2 8 0 0   5 0 0 0   2 0 4   68       Step   3   to o class i f icatio n :   Af t er   th to o d etec tio n   p r o ce s s ,   th r ec o g n ized   ele m en t s   w er e   ex tr ac ted   f r o m   t h i m a g to   cla s s i f y   t h e m   b y   m ea n s   o f   a   D A G - C NN  i n   o n o f   t h 5   tr ai n ed   ca teg o r i es: Scalp el,   Scis s o r ,   Scr e w d r i v er ,   Sp an n er ,   Scis s o r   an d   th r esu l w as  co m p ar ed   w it h   t h d esire d   o b j ec b y   th u s er ,   in   o r d er   to   d eter m in i f   it  b elo n g s   to   th g r o u p   o f   d esire d   o b j ec ts   o r   o c clu s io n s .   A   clas s i f icatio n   b o x   o f   7 0 x 7 0   p ix els  w a s   d ef in ed ,   t h d i m e n s io n s   o f   wh ich   w er tak e n   f r o m   t h u p p er   lef co r n er   o f   th d etec tio n   b o x   g e n er ated   in     Step   2   o r   Step   5 ,   an d   7 0   p ix e ls   to   t h r i g h t   an d   7 0   p ix el s   d o w n   w er ca p tu r ed .   I n   Fi g u r e   4 ( a ) ,   th s tr u ctu r e   u s ed   f o r   th D AG - C NN  o f   t h ap p licatio n   is   s h o w n ,   w h er d iv is io n   o f   2   b r an ch e s   th at  r ec eiv th i n p u t   i m a g w as  g en er ated   an d   f i n all y   j o in ed   in   F C   t o   clas s if y ,   an d   i n   Fi g u r 4 ( b )   s h o w s   a n   e x a m p le  o f     th d atab ase  u s ed   f o r   n et w o r k   tr ain i n g .         ( a)     No   in ter f er e n ce     P lier s   1   in ter f er en ce     Scalp el   2   in ter f er en ce     Scis s o r   3   in ter f er en ce     Scr e w d r i v er   4   o r   m o r in ter f er e n ce     Sp an n er   ( b )     Fig u r 4 ( a)   Stru ctu r o f   an d   ( b )   d atab ase  f o r   th DA G - C NN       T ab le  3   r ef lecte d   th ar ch itectu r o f   t h D A G - C NN,   w h ic h   w a s   tr ai n ed   f o r   9 0   ep o ch s ,   w it h   d atab ase  o f   3 0 0 0   tr ain in g   i m ag e s   an d   3 0 0   test   i m a g es,  p er   ca teg o r y .   Fig u r 5   s h o w s   t h co n f u s io n   m atr i x   o f   th D AG - C NN,   w h ich   r ea ch ed   9 6 . 2 ac cu r ac y ,   w it h   m in i m u m   o f   9 1 ac cu r ac y   p er   ca teg o r y .   T h n u m b er s   co r r esp o n d   to   th c lass if ica tio n   ca teg o r ies ,   w h er 1   i s   p lier s ,   2   i s   s c alp el,   3   is   s c is s o r ,   4   is   s cr e w d r i v er ,   an d   5   is   s p a n n er Fo r   ex a m p le ,   t h c lass if icatio n   o f   Sca lp el  w as   o n e   o f   th e   ca teg o r ies   t h at   p r esen ted   m o r d if f icu lties   i n   r ec o g n itio n ,   co n f u s in g   its e lf   with   t h P lier s   ca teg o r y   m ain l y       T ab le  3 .   A r ch itect u r o f   th D A G - C NN   ( a)   la y er s   b r an c h   1     C V + B   + R L U   MP   C V + B   + R L U   MP   C V + B   + R L U   MP   C V + B   + R L U   F C 1 + R L U + D O   F C 2 + R L U + D O   F i l t e r   S i z e   4 x 4   3 x 3   3 x 3   3 x 3   3 x 3   3 x 3   3 x 3   --   --   S t r i d e   1   2   1   2   1   2   1   --   --   N u mb e r   o f   F i l t e r s   16   --   1 2 8   --   2 5 6   --   5 1 2   --   --       T ab le  3 .   A r ch itect u r o f   th D A G - C NN   ( b )   la y er s   b r an ch   2     C V + B   + R L U   MP   C V + B   + R L U   MP   C V + B   + R L U   MP   F C 1 + R L U + D O   F C 2 + R L U + D O   F i l t e r   S i z e   6 x 6   3 x 3   4 x 4   3 x 3   3 x 3   2 x 2   --   --   S t r i d e   1   2   1   2   1   2   --   --   N u mb e r   o f   F i l t e r s   16   --   2 5 6   --   5 1 2   --   --   --       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o o cc lu d ed   o b jects b C N N   tech n iq u es ... ( P a u la   Usech e )   4717       Fig u r 5 .   C o n f u s io n   m atr ix   f o r   th D A G - C N N       Step   4   g r ip   an d   d eliv er y   o f   to o ls On ce   th alg o r it h m   d e f in es  w h et h er   th to o is   d esire d   o b j ec t   o r   an   o cc lu s io n ,   th m o v e m en o f   th m a n ip u lato r   r o b o f o r   th tr an s f er   o f   th ele m e n to   th d eliv er y   zo n i s   ex ec u ted .   T h ce n ter   o f   th d e tectio n   b o x   o f   t h to o clas s if i ed   as  th h o ld in g   p o i n w as  s e lecte d ,   an d   th d ata  o f   th P FH  v ar iab le  w a s   u s ed   to   d eter m in t h d eliv er y   co o r d in ates  o f   th ele m en t.  T o   d etec th cla m p i n g   h eig h o f   ea ch   to o co n ce r n in g   th tab le  ( Z   co o r d in ate)   it  w a s   n ec e s s ar y   to   ev al u ate  t h e   th r ee - d i m e n s io n a l   in f o r m ati o n   o f   ea ch   d etec tio n   b o x   an d   ca lc u late  its   a v er ag e.   T h alg o r ith m   f ir s r e m o v es  th e le m e n t s   class i f ied   a s   f r ee ,   an d   t h e n   t h o s d ef i n ed   a s   o cc lu s io n ,   c h a n g in g   t h d etec tio n   b o x   o n l y   w h en   all   t h ele m e n ts   o f   th to o s tack   h a v b ee n   r e m o v ed ,   w h ich   m ea n s   th a th ca lc u lated   a v er ag h ei g h t   co r r esp o n d s   to     th h ei g h t o f   t h tab le.   Step   5   n e w   to o d etec tio n :   B ef o r ter m in at in g   t h p r o g r a m ,   Step   5   w as  ad d ed ,   to   v er if y   th p r esen ce   o f   to o ls   in   th Gr ip   Z o n e.   T h is   s tep   is   r esp o n s ib le  f o r   r ep ea tin g   t h p r o ce s s   o f   d e tectio n   o f     Step   2 ,   th r o u g h   w h ich   th e   e x is te n ce   o f   n e w   ele m e n ts   in   th e n v ir o n m en is   d ef i n ed ,   an d   ac co r d in g   to     th r esu lts   o b tain ed ,   Step   3   an d   Step   4   ar ex ec u ted ,   o r   th p r o g r a m   is   ter m in a ted ,   as sh o wn   in   Fig u r 1 .       3.   RE SU L T S AN AN AL Y SI S   T h f ir s co m p ar is o n   b et w ee n   th m et h o d s   o f   d etec tio n   an d   class i f icat io n   o f   o cc lu s io n s   m en tio n ed     in   s ec tio n   2 ,   w h er th p er ce n tag e s   o f   ac cu r ac y ,   w h er th f ast  R - C NN  ex ce ed ed   th Haa r   class if ier s   b y     2 0 ac cu r ac y .   A d d itio n all y ,   co m p ar is o n   w as  m ad b et w ee n   b o th   m et h o d s   ap p l y i n g   t h e m   to   th p h y s ica l   w o r k   en v ir o n m e n t,  w it h   d if f er en p er ce n tag e s   o f   o cc lu s io n .   T h f ast  R - C NN  m an a g ed   to   r ec o g n ize  g r ea ter   n u m b er   o f   to o ls   in   t h e n v ir o n m e n t,  a n d   ca teg o r ized   th e m   m o r ac c u r atel y   t h an   t h Haa r   class i f ier s ,   i n   ad d itio n   t o   p r esen ti n g   g r ea te r   ac cu r ac y   i n   t h d etec tio n   b o x es.  Fo r   th e s r ea s o n s ,   it  was  d ec id ed   to   u s e     th f a s R - C NN  i n   th al g o r ith m .   T h alg o r ith m   w a s   ap p lied   in   p r ev io u s   s i m u latio n   en v i r o n m e n w as  te s ted   b y   co m p ar in g   th n u m b er   o f   d esire d   to o ls   m o v ed   to   t h d eli v er y   z o n e ,   w it h   r e s p ec to   t h to tal  n u m b er   o f   d esire d   to o ls   p r esen i n   t h Gr ip   Z o n e,   t h e   r esu lt s   o f   w h ich   ar s h o w n   i n   T ab le  4 ,   w h er t h co l u m n   Del iv er ed   to o ls   s h o w s   t h a m o u n o f   Desire d   o b j ec ts   d eliv er ed   ( n u m er at o r )   w it h   r esp ec to   th to tal  n u m b er   o f   d es ir ed   o b j ec ts   p r esen i n   t h e n v ir o n m e n ( d en o m i n ato r )   f o r   tw o   f aste n i n g   test s   p er   to o l,  an d   th e   co lu m n   P er ce n ta g e”   s h o w s   t h p er ce n tag e s   o f   s u cc e s s f u d eli v er ies  f o r   ea ch   c ase  ac co r d in g   to   th e   r es u lts   o f   th co lu m n   “De li v er ed   to o ls ”,   in   w h ic h   t h n u m b er   o f   ele m en ts ,   t h eir   p o s itio n s ,   t h o cc lu s io n   p er ce n tag e s ,   an d   th o b j ec ts   d esire d   b y   th u s er   w as  v ar ied .   A cc o r d in g   to   th e   r esu lts   o f   T ab le  4 ,   th al g o r it h m   r ea ch ed   8 0 ac cu r ac y   i n   t h p r o ce s s   o f   d etec tin g ,   class i f y in g   a n d   g r ab b in g   o cc l u d ed   o b j ec ts ,   w ith in   s i m u lat ed   en v ir o n m e n t,  w h ic h   m ea n s   th at  a least   4   o f   5   d esire d   o b j ec ts   w il b d eliv er ed   co r r ec tly .   Du r i n g   t h te s ts ,   it  w a s   p o s s ib le  to   o b s er v t w o   f ac to r s   th a af f ec ted   th ac c u r ac y   o f   th a l g o r ith m t h lo w   ac cu r ac y   o f   t h d etec tio n   b o x e s   g e n er ated   b y   t h f ast  R - C NN an d   th r es u lts   o f   Step   5 ,   w h ic h   d e m o n s tr ated   in ab ili t y   to   r ec o g n ize  a n y   ele m e n t   in   th s i m u lated   en v ir o n m e n t,  s i n ce   t h er ar n o   v ar iatio n s   i n   th i n p u t i m a g e   th at  allo w   n e w   ele m e n t s   to   b r ec o g n ized .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 Octo b e r   2 0 2 0     4 7 1 2   -   4720   4718   T ab le  4 .   Qu alit y   o f   d eli v er y   o f   d e s ir ed   o b j ec ts   o f   th s i m u la t ed   alg o r ith m   D e si r e d   o b j e c t s   D e l i v e r e d   t o o l s   P e r c e n t a g e   A v e r a g e   S c r e w d r i v e r   3 / 4   3 / 3   7 5 %   1 0 0 %   80%   S c a l p e l   3 / 5   2 / 2   6 0 %   1 0 0 %   S c i sso r   4 / 5   4 / 5   8 0 %   8 0 %   P l i e r s   5 / 5   1 / 2   1 0 0 %   5 0 %   S p a n n e r   3 / 4   4 / 5   7 5 %   8 0 %       3 . 1 .   F un ct io nin g   in t he  ph y s ica l e nv iro n m ent   T o   d eter m i n t h p er f o r m a n c o f   th a lg o r it h m   w it h i n   p h y s ical  e n v ir o n m en t,  t w o   p r e m is e s   w er e   estab lis h ed ,   th f ir s f o cu s ed   o n   d eter m i n in g   t h p er ce n ta g o f   to o s tack s   d etec ted   w ith   r esp ec to   th to tal   a m o u n o f   to o to w er s   p r ese n t   in   t h Gr ip   Z o n ( Dete ctio n   Q u alit y ) ,   an d   th s ec o n d   d ef i n e d   th p er ce n tag o f   to o ls   h eld   co r r ec tly ,   w it h   r esp ec to   th to tal  a m o u n o f   ele m en t s   p r esen i n   th e n v ir o n m e n ( Ho ld in g   q u alit y ) .   T ab le  5   r ef lecte d   th e   r esu lt s   o b tain ed   f o r   b o th   p r em is e s ,   w h er e   th e   “Stac k ed   T o o ls ”  r o w   i n d icate d   th n u m b er   o f   to o ls   p r esen in   s tack   o f   ele m e n ts ,   an d   i n   th R ei n f o r ce m e n Dete ctio n ”  r o w   th p er ce n ta g e   o f   r ec o g n ized   to o l stack s   w as  r ec o r d e d   in   th en v ir o n m e n t a f ter   ex ec u ti n g   Step   5   o n ce .   T ests   w er ca r r ied   o u w i t h   s t ac k s   o f   ele m en ts   th a h a v b etw ee n   1   an d   5   to o ls ,   w h er 1 0   test s   w er m ad f o r   ea ch   q u a n tit y   o f   s ta ck ed   ele m en ts   a n d   v ar ied   f r o m   t h eir   p o s i tio n s   to   t h eir   o r ie n tatio n s .   T h b est   r esu lt s   o f   d etec tio n   a n d   cla m p in g   o f   to o ls   w er o b tain ed   f o r   p iles   o f   ele m e n ts   b et w ee n   1   an d   3   to o ls ,   w h er e   th eir   av er a g p r ec is io n   r a n g ed   b et w ee n   8 0 an d   9 0 w h ile   w h e n   in cr ea s in g   to   4   an d   5   to o ls ,   th p er ce n ta g e   d r o p p ed   t o   alm o s 6 0 %.  T h d etec tio n   f ail u r es  w er b ec au s e,   w h e n   th h eig h o f   t h s tack   o f   o b j ec ts   in cr ea s es,  t h e y   g et  to o   clo s to   th Kin ec t’ s   ca m er a,   ca u s i n g   th e m   to   ta k u p   lo o f   s p ac in   t h i m a g a n d   th d etec tio n   b o x   f a ils   to   r ec o g n ize  t h e m   d u to   th eir   d i m en s io n s ,   w h ile  t h cla m p i n g   f au lts   w er d u e   to   t h f a c th a t ,   w h en   c a l cu la t in g   t h h e ig h o f   th e l em en t ,   th h e i g h ts   o f   th l o w e r   t o o l s   o f   th s ta ck   a r d e t e ct e d ,   c a u s in g   t h e   av e r ag t o   b a lt e r e d   a n d   l es s   th an   th e   d es i r e d   t o o l .   On   t h e   o th e r   h a n d ,   th r e in f o r c em en d e t e ct i o n   p r o v e d   t o   g en e r a t e   a   1 5 . 5 im p r o v em en t   i n   th d e t e ct i o n   q u a li ty   o f   th e   p r o g r am ,   r e a ch i n g   9 0 d e t e ct i o n   o f   e l em en ts   w i th   a   s in g l e   ex e cu t i o n   o f   S t e p   5 ,   w h i ch   d em o n s t r a t es   th e   a lg o r i th m ' s   a b i l ity   t o   r e c o g n iz e   n e w   e l em en ts   af t e r   th e   f i r s t   d el iv e r y   o f   t o o ls ,   an d   th e   a b i li ty   t o   d e liv e r   th em   alm o s t   e n t i r e ly .       T ab le  5 .   Qu alit y   o f   t h alg o r it h m   ap p lied   to   p h y s ical  en v ir o n m e n t   S t a c k e d   T o o l s   1   2   3   4   5   1   t o   3     st a c k e d   o b j e c t s   4   t o   5     st a c k e d   o b j e c t s   G e n e r a l     a v e r a g e   D e t e c t i o n   Q u a l i t y   ( %)   7 1 . 4 3   1 0 0   7 8 . 5 7   6 4 . 2 9   6 0 . 3 1   8 3 . 3 3   6 2 . 3   7 4 . 9 2   H o l d i n g   Q u a l i t y   ( %)   1 0 0   7 9 . 1 7   8 5 . 1 9   8 8 . 8 9   7 7 . 7 8   8 8 . 1 2   8 3 . 3 4   8 6 . 2 1   R e i n f o r c e me n t   D e t e c t i o n   ( %)   9 0 . 4 8       4.   CO NCLU SI O   T h alg o r ith m   o f   d etec tio n ,   class i f icatio n   a n d   to o g r ip   p r o p o s ed ,   s u cc ess f u l l y   d eli v er ed   8 0 o f     th v ir tu a to o ls ,   a n d   9 0 o f   to o ls   in   th p h y s ical  e n v ir o n m en t,  id en t if y i n g   t h p r esen c o f   o cc lu s io n s   a n d   class i f y in g   u p   to   5   d if f er en t   t y p e s   o f   ele m e n ts .   T h ese   r es u lt s   d e m o n s tr ate   th e   ab ilit y   o f   t h alg o r it h m   to   h o ld   an d   d eliv er   th to o ls   d esire d   b y   t h u s er   o v er co m in g   d if f ic u lties   s u c h   as  o cc lu s io n s   o f   o n an d   m o r e   ele m e n ts .   Step   5   allo w ed   to   i m p r o v th ab ilit y   to   r ec o g n i ze   ele m en ts   i n   th p h y s ical  e n v ir o n m e n b y   m o r th an   1 0 w i th   s in g le  e x ec u tio n ,   h o w ev er ,   it  d id   n o g e n er ate  an y   ef f ec o n   th s i m u lated   en v ir o n m e n t,  b ec au s t h in p u i m a g i n   St ep   5   d o es  n o s h o w   lar g v ar i atio n s   w i th   r e s p ec to   th at  o f   Step   2 ,   w h ich   av o id s   n e w   d etec tio n   o f   to o ls .   T h ca lcu latio n   o f   t h h ei g h t   o f   ea ch   to o w i th   r esp ec to   t h tab le  w as   af f ec ted   b y   th p r esen ce   o f   o th er   ele m e n ts   i n   t h d etec tio n   b o x ,   r esu lt in g   i n   h o ld in g   q u al it y   o f   8 6 %.   Fin all y ,     co m p a r is o n   b et w ee n   t w o   d et ec tio n   m et h o d s   w as   ac h ie v ed ,   s u c h   a s   t h Haa r   cla s s i f ier s   an d   th f ast   R - C NN w h er t h s ec o n d   p r ese n ted   2 0 % i m p r o v e m e n in   th d ete ctio n   ac cu r ac y   w it h   r e s p ec t to   th f ir s t,  i n   ad d itio n   to   d em o n s tr ati n g   b etter   ab ilit y   to   r ec o g n ize  ele m en ts   a n d   class i f y   t h e m   co r r ec tl y   as Fr ee   o r   Occ lu s io n .       ACK NO WL E D G E M E NT S     T h au th o r s   ar g r atef u to   t h e   Un i v er s id ad   Militar   N u e v G r an ad a,   w h ic h   t h r o u g h   it s   Vi ce   r ec to r y   f o r   r esear ch s   f in a n ce s   t h p r es en t p r o j ec t w it h   co d I MP - I NG - 2290.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A lg o r ith o f d etec tio n ,   cl a s s if ica tio n   a n d   g r ip p in g   o o cc lu d ed   o b jects b C N N   tech n iq u es ... ( P a u la   Usech e )   4719   RE F E R E NC E S     [1 ]   M .   Be n z a o u i,   e a l . ,   T ra jec to r y   trac k in g   w it h   o b sta c le  a v o id a n c e   o f   re d u n d a n m a n ip u lato b a se d   o n   f u z z y   in f e re n c e   s y ste m s ,   Ne u ro c o mp u t in g ,   v o l.   1 9 6 ,   p p .   2 3 - 3 0 ,   2 0 1 6 .   [2 ]   D.  Ha n ,   e a l. ,   Dy n a m ic  o b sta c le  a v o id a n c e   f o m a n ip u lato rs  u si n g   d istan c e   c a lcu latio n   a n d   d isc r e te  d e tec ti o n ,   Ro b o ti c s a n d   Co mp u ter - In teg r a te d   M a n u fa c t u rin g ,   v o l .   4 9 ,   p p .   9 8 - 1 0 4 ,   2 0 1 8 .   [3 ]   G .   Ka h n ,   e a l. ,   A c ti v e   e x p lo ra ti o n   u sin g   traje c to ry   o p ti m iza ti o n   f o r o b o ti c   g ra sp in g   in   t h e   p re se n c e   o o c c lu sio n s ,   in   2 0 1 5   IE EE   In ter n a ti o n a Co n fer e n c e   o n   Ro b o t ics   a n d   A u to m a ti o n ,   ICRA ,   2 0 1 5 ,   p p .   4 7 8 3 - 4 7 9 0 ,     doi :   1 0 . 1 1 0 9 /ICRA . 2 0 1 5 . 7 1 3 9 8 6 4 .   [4 ]   Q .   Ch a n g   a n d   Z .   X io n g ,   V isi o n - a wa re   t a rg e t   re c o g n it io n   to w a rd a u to n o m o u ro b o b y   Kin e c t   s e n so rs,   S ig n a l   Pro c e ss in g Ima g e   Co mm u n ica t i o n ,   2 0 2 0 .   Do i 1 0 . 1 0 1 6 /j . im a g e . 2 0 2 0 . 1 1 5 8 1 0 .   [5 ]   X .   L i,   Hu m a n ro b o in tera c ti o n   b a se d   o n   g e stu re   a n d   m o v e m e n re c o g n it io n ,   S i g n a Pr o c e ss in g Ima g e   Co mm u n ica ti o n ,   v o l .   8 1 ,   2 0 2 0 .   D o i 1 0 . 1 0 1 6 / j. im a g e . 2 0 1 9 . 1 1 5 6 8 6 .   [6 ]   S .   S a rk a r,   e a l. ,   D e e p   lea rn in g   f o a u to m a ted   o c c lu sio n   e d g e   d e tec ti o n   in   RG B - f r a m e s ,   J o u rn a o S i g n a l   Pro c e ss in g   S y ste ms ,   v o l .   8 8 ,   n o .   2 ,   p p .   2 0 5 - 2 1 7 ,   2 0 1 7 .   [7 ]   H.  S .   Ha d i ,   e a l. ,   F u si o n   o f   th e rm a a n d   d e p th   im a g e f o o c c lu sio n   h a n d li n g   f o h u m a n   d e tec ti o n   f ro m   m o b il e   ro b o t ,   i n   2 0 1 5   1 0 t h   Asi a n   C o n tr o Co n fer e n c e   ( AS CC) ,   p p .   1 - 5 ,   2 0 1 5 . D oi 1 0 . 1 1 0 9 /A S CC.2 0 1 5 . 7 2 4 4 7 2 2   [8 ]   A .   Kriz h e v s k y ,   I.   S u tsk e v e r,   a n d   G .   E.   Hin to n ,   Im a g e N e c las si f ic a ti o n   w it h   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s ,   Ad v a n c e s i n   n e u r a i n f o rm a ti o n   p ro c e ss in g   sy ste ms p p .   1 0 9 7 - 1 1 0 5 ,   2 0 1 2   [9 ]   D .   Ko n sta n ti n id is,  e a l . A   m o d u lar  CNN - b a se d   b u il d i n g   d e tec to f o re m o te   se n sin g   i m a g e s,   Co mp u ter   Ne two rk s ,   v o l.   1 6 8 ,   2 0 2 0 .   D o i 1 0 . 1 0 1 6 / j. c o m n e t. 2 0 1 9 . 1 0 7 0 3 4 .   [1 0 ]   C.   C.   A g g a r w a l,   Ne u ra n e tw o rk s a n d   d e e p   lea rn in g ,   Be rli n ,   G e rm a n y S p rin g e r 2 0 1 8   [1 1 ]   J .   O .   P i n z ó n - A re n a s   a n d   R .   Ji m é n e z - M o re n o ,   C o m p a riso n   b e tw e e n   h a n d w rit ten   w o rd   a n d   sp e e c h   re c o rd   i n     re a l - ti m e   u sin g   CNN   A rc h it e c tu re s ,”   In ter n a t io n a l   J o u r n a l   o f   E lec trica a n d   Co mp u ter   E n g i n e e rin g   ( IJ ECE )   v o l.   1 0 ,   n o   4 ,   p p .   4 3 1 3 - 4 3 2 1 2 0 2 0 .   [1 2 ]   P .   Ra jp u rk a r,   e a l. ,   Ca rd io l o g ist - lev e a rrh y th m ia  d e tec ti o n   w it h   c o n v o lu ti o n a n e u ra n e tw o rk s , ”  a rXiv  p re p rin t   a rX iv :1 7 0 7 . 0 1 8 3 6 ,   2 0 1 7 .   [1 3 ]   H.  L i,   e a l. ,   A   c o n v o lu ti o n a n e u ra n e tw o rk   c a sc a d e   f o f a c e   d e t e c ti o n ,   in   Pro c e e d i n g o t h e   IEE c o n fer e n c e   o n   c o m p u ter   v isi o n   a n d   p a tt e rn   re c o g n i ti o n ,   p p .   5 3 2 5 - 5 3 3 4 ,   2 0 1 5 .   [1 4 ]   F .   M il leta ri,   N.  Na v a b ,   a n d   S .   A .   A h m a d i,   V - n e t:   F u ll y   c o n v o lu ti o n a n e u ra n e tw o rk f o v o lu m e tri c   m e d ica im a g e   s e g m e n tatio n ,   i n   2 0 1 6   Fo u rt h   I n ter n a t io n a C o n fer e n c e   o n   3 Vi sio n   ( 3 DV) ,   p p .   5 6 5 - 5 7 1 ,   2 0 1 6 .     Do i 1 0 . 1 1 0 9 / 3 DV . 2 0 1 6 . 7 9 .   [1 5 ]   J .   O.  P in z ó n - A re n a s,  R.   Jim é n e z - M o re n o ,   a n d   sa G .   P a c h ó n - S u e sc ú n ,   Re sSeg Re sid u a e n c o d e r - d e c o d e r   c o n v o lu ti o n a n e u ra n e tw o rk   f o f o o d   se g m e n tatio n ,”   In ter n a ti o n a J o u rn a o El e c trica a n d   Co m p u te r   En g i n e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   1 ,   p p .   1 0 1 7 - 1 0 2 6 ,   2 0 2 0 .   [1 6 ]   J .   O .   P i n z ó n - A re n a s ,   R .   J im é n e z - M o r e n o a n d   C é s a G   P a c h ó n - S u e s c ú n ,   Of f l i n e   s ig n a t u r e   v e r if i c a t io n   u s i n g   DA G - C N N ,”   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r ic a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J EC E ) ,   v o l .   9 ,   n o .   4 ,   p p .   3 3 1 4 - 3322 2 0 1 9 .   [1 7 ]   J .   O.  P in z ó n - A re n a s   a n d   R.   Jim é n e z - M o re n o ,   Ob jec so rti n g   i n   a n   e x ten d e d   w o rk   a re a   u sin g   c o ll a b o ra ti v e   ro b o ti c s   a n d   DA G - CNN , ”  AR PN  J o u rn a o E n g i n e e rin g   a n d   A p p l ied   S c ien c e s ,   v o l.   15 ,   n o .   2 ,   2 0 2 0 .   [1 8 ]   R.   G irsh ick ,   F a st  R - CNN ,   in   Pro c e e d in g o th e   IE EE   i n ter n a ti o n a c o n fer e n c e   o n   c o m p u te v isió n ,   2 0 1 5   p p .   1 4 4 0 - 1 4 4 8 .   [1 9 ]   S .   Ya n g   a n d   D.  Ra m a n a n ,   M u lt i - sc a le  re c o g n it io n   w it h   DA G - C NN s ,   in   Pro c e e d in g o th e   IE E in ter n a ti o n a l   c o n fer e n c e   o n   c o mp u ter   v isió n ,   p p .   1 2 1 5 - 1 2 2 3 ,   2 0 1 5 .   [2 0 ]   H.  Jia n g   a n d   E.   L e a rn e d - M il l e r,   F a c e   d e tec ti o n   w it h   th e   f a st e R - CNN ,   in   2 0 1 7   1 2 t h   IEE In ter n a ti o n a l   Co n fer e n c e   o n   Au to ma ti c   Fa c e   &   Ge stu re   Rec o g n it io n   ( FG  2 0 1 7 ) ,   p p .   6 5 0 - 657 ,   2 0 1 7 . D o i:   1 0 . 1 1 0 9 / F G . 2 0 1 7 . 8 2   [2 1 ]   S .   W a n   a n d   S ,   G o u d o s,  F a ste R - CNN   f o m u lt i - c las f ru it   d e te c ti o n   u si n g   a   ro b o ti c   v isio n   sy ste m ,   Co mp u ter   Ne two rk s ,   v o l.   1 6 8 ,   2 0 2 0 .   D o i 1 0 . 1 0 1 6 / j. c o m n e t. 2 0 1 9 . 1 0 7 0 3 6 .   [2 2 ]   S .   T a h e ri  a n d   Ö.  T o y g a r,   On   th e   u se   o f   DA G - C NN   a rc h it e c tu re   f o a g e   e sti m a ti o n   w it h   m u lt i - sta g e   f e a tu re f u sio n ,   Ne u ro c o m p u t in g ,   v o l.   3 2 9 ,   p p .   3 0 0 - 3 1 0 ,   2 0 1 9 . D o i:   1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 8 . 1 0 . 0 7 1   [2 3 ]   Z.   G o lri z k h a ta m i,   S .   T a h e ri,   a n d   A .   A c a n ,   M u lt i - sc a le  fe a tu re fo h e a rtb e a c las sif ica ti o n   u sin g   d irec ted   a c y c li c   g ra p h   CNN ,   Ap p li e d   Art if icia l   In telli g e n c e ,   v o l.   3 2 ,   n o .   7 - 8 ,   p p .   6 1 3 - 6 2 8 ,   2 0 1 8 .     [2 4 ]   M .   G .   Krish n a   a n d   A .   S rin iv a su lu ,   F a c e   d e tec ti o n   sy ste m   o n   A d a Bo o st  a lg o rit h m   u sin g   Ha a c las si f ier s ,   In ter n a t io n a J o u rn a o M o d e rn   En g i n e e rin g   Res e a rc h ,   v o l.   2 ,   n o .   5 ,   p p .   3 5 5 6 - 3 5 6 0 ,   2 0 1 2 .   [2 5 ]   A .   Ra sto g i,   A .   P a l,   a n d   B.   S .   R y u h ,   Re a l - ti m e   tea d e tec ti o n   u sin g   h a a c a sc a d e   c l a ss i f ier  in   s m a rt  a u to m a ti c   m il k in g   s y ste m ,   in   2 0 1 7   7 t h   I EE In ter n a ti o n a Co n fer e n c e   o n   Co n tro S y ste m,  Co m p u ti n g   a n d   E n g i n e e rin g   ( ICCS CE) ,   p p .   7 4 - 79 ,   2 0 1 7 .   Do i 1 0 . 1 1 0 9 /ICC S CE. 2 0 1 7 . 8 2 8 4 3 8 3 .   [2 6 ]   A .   B.   Ka n b u r o g lu   a n d   F .   B .   T e k ,   A   Ha a Clas si f ier  Ba se d   Ca ll   N u m b e De tec ti o n   a n d   C o u n ti n g   M e th o d   f o r   L ib ra r y   Bo o k s,”   2 0 1 8   3 rd   In ter n a ti o n a l   Co n fer e n c e   o n   Co m p u te S c ien c e   a n d   En g in e e rin g   ( UBM K) ,   S a ra jev o ,     p p .   5 0 4 - 508 ,   2 0 1 8 .   [2 7 ]   Z.   Zh a n g ,   M icro so f k in e c se n s o a n d   it s e f f e c t ,   IEE mu lt ime d i a ,   v o l.   1 9 ,   n o .   2 ,   p p 4 - 1 0 ,   2 0 1 2 .   [2 8 ]   P .   C.   U.  M u r il lo ,   J.  O.  P .   A re n a s,  a n d   R.   J.  M o re n o ,   Im p lem e n tatio n   o f   a   Da ta  A u g m e n tatio n   A lg o rit h m   V a li d a ted   b y   M e a n o f   th e   Ac c u ra c y   o a   Co n v o l u ti o n a Ne u ra Ne tw o rk ,   J o u rn a o En g in e e rin g   a n d   Ap p li e d   S c ien c e s   v o l.   1 2 ,   n o .   2 0 ,   p p .   5 3 2 3 - 5 3 3 1 ,   2 0 1 7 .   [2 9 ]   M a th W o rk s,  train Ca sc a d e Ob jec tDe tec to r ,”   2 0 2 0 .   [ On li n e ]   A v a il a b le  o n :   h tt p s:/ /l a . m a th w o rk s.c o m /h e lp /v is io n /ref /t ra in c a sc a d e o b jec td e tec to r . h tm l.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   5 Octo b e r   2 0 2 0     4 7 1 2   -   4720   4720   B I O G RAP H I E S   O F   AUTH O RS         Pa u la   Us e c h e   M u r il lo   is  a   M e c h a tro n ics   En g in e e r   g ra d u a ted   w it h   h o n o rs  i n   2 0 1 7   f ro m     th e   Nu e v a   G ra n a d a   M il it a ry   U n iv e rsity   in   Bo g o tá,  Co lo m b ia,  w h e re   sh e   c u rre n tl y   stu d ies     a n   M . S c .   i n   M e c h a tr o n ics   E n g in e e rin g   a n d   w o rk a a   re se a rc h   a ss istan in   th e   M e c h a tro n ics   En g in e e rin g   p r o g ra m .         Ro b i n s o n   J i m é n e z - M o r e n o   is  a n   e lec tro n ic  e n g in e e g ra d u a ted   f ro m   th e   F ra n c isc o   Jo   d e   Ca ld a District  Un iv e rsity   in   2 0 0 2 .   He   re c e iv e d   a n   M . S c .   i n   E n g in e e rin g   f ro m   th e   Na ti o n a l   Un iv e rsit y   o f   Co lo m b ia i n   2 0 1 2   a n d   P h . D i n   En g in e e rin g   a th e   F ra n c isc o   Jo   d e   Ca ld a s D istri c Un iv e rsit y   in   2 0 1 8 .   His  c u rre n r e se a rc h   f o c u se o n   th e   u se   o f   c o n v o lu ti o n a n e u ra n e tw o rk f o o b jec re c o g n it i o n   a n d   im a g e   p ro c e ss in g   f o ro b o ti c   a p p li c a ti o n su c h   a h u m a n - m a c h in e   in tera c ti o n .           J a v ier   E d u a r d o   M a r tin e z   B a q u e ro   is  a n   El e c tr o n ic  En g in e e g ra d u a ted   f ro m   Un iv e rsit y   o f   th e   L lan o in   2 0 0 2 .   P o sg ra d u a ted   in   El e c tro n ic  In stru m e n tatio n   f ro m   S a n to   T o m a s   Un iv e rsit y   in   2 0 0 4   a n d   M .S c .   in   Ed u c a ti v e   Tec h n o l o g y   a t   A u to n o m a   o Bu c a ra m a n g a   Un iv e rsit y   in   2 0 1 3 .   His c u rre n re se a rc h   f o c u se s o n   In stru m e n tatio n ,   A u to m a ti o n   a n d   C o n tr o l.     Evaluation Warning : The document was created with Spire.PDF for Python.