I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   1 ,  Feb r u ar y   2020 ,   p p .   1 0 5 3 ~ 1 0 6 2   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 1 . pp 1 0 5 3 - 1 0 6 2          1053       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Ass ista nt  ro bo t  th ro ug h  deep learn i ng       Ro bin s o n J i m é nez - M o re no ,   J a v ier  O .   P inzó n - Are na s ,  Césa r  G .   P a chó n - Su esc ún   F a c u lt y   o f   En g in e e rin g ,   Nu e v a   G r a n a d a   M il it a ry   Un iv e rsit y ,   Co lo m b ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   17 ,   2 0 1 9   R ev i s ed   O ct  1 1 ,   2 0 1 9   A cc ep ted   Oct  2 0 ,   2 0 1 9       T h is  a rti c le  p re se n ts  a   w o rk   o rien ted   to   a ss isti v e   ro b o ti c s,  w h e re   a   sc e n a rio   is   e sta b li sh e d   f o r  a   ro b o t  t o   re a c h   a   to o l  in   t h e   h a n d   o f   a   u se r  w h e n   th e y   h a v e   v e rb a ll y   re q u e ste d   it   b y   h is  n a m e .   F o r  th is,   th re e   c o n v o l u ti o n a l  n e u ra l   n e tw o rk s  a re   train e d ,   o n e   f o r  re c o g n it io n   o f   a   g ro u p   o f   to o ls,   w h i c h   o b tain e d   a n   a c c u ra c y   o f   9 8 %   id e n ti fy in g   th e   to o ls  e sta b li sh e d   f o r  th e   a p p li c a ti o n ,   t h a t  a re   sc a lp e l,   sc re w d riv e r  a n d   sc isso rs;  o n e   f o r  s p e e c h   re c o g n it i o n ,   tr a in e d   w it h   th e   n a m e s   o f   th e   to o ls  in   S p a n i sh   lan g u a g e ,   w h e re   it s  v a li d a ti o n   a c c u ra c y   re a c h es   a   9 7 . 5 %   in   th e   re c o g n it io n   o f   th e   w o rd s;  a n d   a n o t h e r  f o r  r e c o g n it io n   o f   th e   u se r' s  h a n d ,   tak in g   in   c o n sid e ra ti o n   th e   c las sif ica ti o n   o f   2   g e stu re s:   Op e n   a n d   Cl o se d   h a n d ,   w h e re   a   9 6 . 2 5 %   a c c u ra c y   w a s  a c h iev e d .   W it h   th o se   n e tw o rk s,  tes ts  in   re a l - ti m e   a re   p e rf o r m e d ,   p re se n ti n g   re su lt s  in   t h e   d e li v e r y   o f   e a c h   to o l  w it h   a   1 0 0 %   o f   a c c u ra c y ,   i. e .   th e   ro b o t  w a s  a b le  t o   id e n ti f y   c o rre c tl y   w h a t  th e   u se r  re q u e ste d ,   re c o g n ize   c o rre c tl y   e a c h   to o l   a n d   d e li v e r  th e   o n e   n e e d   w h e n   th e   u se r  o p e n e d   th e ir   h a n d ,   tak in g   a n   a v e ra g e   ti m e   o f   4 5   se c o n d s in   th e   e x e c u ti o n   o f   th e   a p p li c a ti o n .   K ey w o r d s :   3 D  en v ir o n m e n t   C o n v o lu tio n al  n e u r al  n e t w o r k   R o b o tic  ap p licatio n s   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   R o b in s o n   J i m én ez   Mo r en o ,   Me ch atr o n ic s   E n g in ee r i n g   P r o g r a m ,   Fac u lt y   o f   E n g i n ee r i n g ,   Nu e v a  Gr an ad a  Militar y   Un i v er s it y ,   C ar r er a  1 1   # 1 0 1 - 8 0 ,   B o g o tá  D . C . ,   C o lo m b ia.   E m ail:  r o b in s o n . j i m en ez @ u n i m ilit ar . ed u . co       1.   I NT RO D UCT I O N   I n   r ec en t  y ea r s ,   r o b o tics   h as  m o v ed   f r o m   t h e  in d u s tr ial  en v ir o n m en t  to   th e  d o m es tic,   d ab b lin g   w it h     a  w id e  v ar iet y   o f   ap p licatio n s   s u c h   as   en ter tai n m e n t  r o b o ts   [ 1 ] ,   p et  s itter s ,   f lo o r   [ 2 ]   an d   p o o l  clea n er s   [ 3 ] ,  la w n m o w er s ,   an d   h ea lth ca r e   ass is tan t s   [ 4 ] ,   am o n g   m a n y   o th er   ap p licatio n s .   Fo r   th is   r ea s o n ,   w h er e     th e  i n cr ea s e  i n   h u m an - r o b o t  in ter ac tio n   i s   ev id en t,  it  i s   n ec ess a r y   to   d ev e lo p   tech n iq u es  t h at  p r o v id e  s ec u r it y   to o ls   in   s aid   i n ter ac tio n   [ 5 ] .   W ith in   t h e  f ield   o f   h u m an - r o b o t  in ter ac tio n ,   at  a n   i n d u s tr ial  lev el,   d ev e lo p m en ts   h av e  b ee n   p r esen ted   to   f ac ilit ate  th is   ta s k   s a f el y .   Fo r   ex am p le,   in   [ 6 ] ,   t h e  d ev elo p m e n t  o f   a  co llab o r ativ e   en v ir o n m e n t  b ased   o n   r estrict io n s   i s   p r esen ted   s o   th at   a  p er s o n   ca n   s h ar e  t h e  w o r k   ar ea   w it h   a  s et  o f   r o b o tic  ar m s ,   s a f el y .   T h ese  ap p licatio n s   i n v o l v e  eq u ip p in g   th e  r o b o t  w it h   a  ce r tain   d e g r ee   o f   ar tif i cial  in telli g e n ce   f o r   v ar io u s   ta s k s ,   s u ch   a s   f i n e  co n tr o l ( Fin e  m o tio n )   o f   t h e  s a m e  [ 7 ] .   So m e  o f   th e s e  d ev e lo p m en t s   e m p lo y   n o n - li n ea r   o p ti m i za tio n   al g o r ith m s   a n d   m ac h in e  v is io n   s y s te m s   to   estab li s h   a  s ec u r e  in ter ac tio n   s p ac e,   as  d is cu s s ed   in   [ 8 ] .   A d d itio n a ll y ,   t h e  s y s te m s   t h at  u s e   ar tif icial  v is io n   co m p le m e n t  t h is   tas k   b y   n e u r o n al  lear n i n g ,   as  illu s tr ated   in   [ 9 ] ,   w h er e  th e   g en er al  f r a m e w o r k   o f   an   a s s i s ta n t  r o b o t  b ased   o n   ar ti f icial  i n tell ig e n ce   i s   s et.   W ith i n   t h ese  ar ti f icial  in te lli g en ce   tech n iq u e s ,     th e  ap p licatio n s   o f   p atter n   r ec o g n itio n   th r o u g h   co n v o l u tio n al  n eu r al  n e t w o r k s   ( C NN)   ar e  h ig h li g h ted ,   w h ic h   in te g r ate  b o th   asp ec ts ,   id en ti f i ca tio n   in   i m a g es ( v is io n )   an d   p atter n   r ec o g n itio n   [ 1 0 ] .   C NNs  h a v e  s h o w n   h i g h   p e r f o r m an ce   in   th e  r ec o g n it io n   o f   o b j ec ts   [ 1 1 ]   an d   to d a y   s e v er al   ar ch itect u r es  o f   t h is   t y p e  o f   n e t w o r k   ar e  ap p lied   in   m ac h i n e  v is io n   ap p licatio n s   [ 1 2 ] .  So m e   ex a m p le s   o f   C NN  ap p licatio n   ar e  f r a m ed   in   f i eld s   s u ch   as   te x t  c lass if ica t io n ,   w it h   w eb   ap p licatio n s   [ 1 3 ]   o r   s ig n at u r e    r ec o g n itio n   [ 1 4 ] ,   th u s   s h o w i n g   t h e  v er s ati l it y   o f   th e s e  n et wo r k s   i n   p atter n   r ec o g n itio n .   H o w e v er ,   v ar iatio n s   o f   C NN  b ase  ar c h itect u r es  ar e  s t ill  b ein g   d ev elo p ed   in   o r d er   to   i m p r o v e  asp ec t s   o f   lear n i n g ,   s u c h   as  th e  ca s e  o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .  1 ,  Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1054   v ar iatio n s   in   th e  d ep th   at  w h ich   t h e  o b j ec ts   ar e,   as  s h o w n   in   [ 1 5 ,   1 6 ] .   I n   tu r n ,   m an y   f i eld s   o f   ap p licatio n   r eq u ir e  v ir tu a l  test   en v ir o n m en ts   i n   o r d er   to   v alid ate   t h e   alg o r ith m s   to   b e  u s ed   [ 1 7 ] ,   w h er e  C NNs  al s o   f ac ilit ate   th is   ta s k   f o r   r o b o tic  s y s te m s ,   as  s et  o u t  i n   [ 1 8 ] .   Ho w e v er ,   in   t h e  ar ea   o f   r o b o tics ,   s o m e  w o r k s   h a v e  j u s t  s tar ted   to   b e  d e v elo p ed   w it h   th i s   tec h n iq u e.   Fo r   ex a m p le,   i n   [ 1 9 ,   2 0 ]   o b j ec t  g r ip p in g   a lg o r i t h m s   ar e   d ev elo p ed   b y   m ea n s   o f   a  r o b o tic  m a n ip u lato r ,   p er f o r m i n g   r ec o g n itio n   b y   C NN.   An d   in   th e  ar ea   o f   h u m a n - r o b o t  in ter ac tio n   o f   th e   f e w  d ev elo p m e n ts   f o u n d ,   i s   t h e  o n e  p r esen ted   in   [ 2 1 ] ,   w h er e  th e y   d e s cr ib e   th e  d ev elo p m e n t  o f   a  s o cial   r o b o t  f o r   in ter ac tio n   in   a  d o m e s tic  en v ir o n m e n t.  An o th er   ar ea   o f   in ter est   ad d r ess ed   in   t h is   ar t icle  is   t h e   u s e   o f   C NN s   f o r   s p ee ch   r ec o g n i tio n   [ 2 2 ] ,   d e m o n s tr atin g   t h e  v er s ati lit y   o f   th i s   n et w o r k   f o r   a  w id e  r an g e  o f   a p p li ca tio n s .     Du e  to   t h e  g r ea t  v er s a tili t y   an d   ef f icie n c y   o f   t h e  C NN,   in   t h e  p r esen t  p ap er ,   th ese  a r e  u s ed   i n     th e  o p er atio n   o f   an   ass is ta n t  r o b o t  ar m .   Said   ar m   i s   co m m an d ed   b y   th e   tr ain in g   o f   t h r ee   C NN  n et w o r k s ,   o n e  f o r   id en ti f icatio n   o f   a  g r o u p   o f   th r ee   to o l s ,   a n o th er   f o r   s p ee ch   r ec o g n itio n   a n d   an o t h e r   f o r   id en tific atio n   of   th e  u s er ' s   h an d .   T h e  ass i s t an ce   s y s te m   w ill  b e  ab le  to   lis ten   to   w h at  to o l   is   d esire d ,   id en tify   it  w it h i n   a  g r o u p ,   tak e  it a n d   d eliv er   it i n   th e  h a n d ,   if   it i s   o p en ,   o f   a  u s er .   T h is   ar ticl e  is   d iv id ed   i n to   4   s ec tio n s .   Sectio n   t w o   s h o w s   t h e  C NN   ar ch itec tu r es  d e v elo p ed   an d   i m p le m e n ted   i n   t h is   w o r k .   Sectio n   3   s h o w s   t h e  r es u lt s   o b tain ed   an d   th e  r esp ec tiv e  a n al y s i s .   I n   s ec tio n   4 ,   th e  d er iv e d   co n clu s io n s   ar e  p r esen ted .       2.   CNN   ARCH I T E CT U RE S   T h e  p r o p o s ed   elem e n ts   t h at  m ak e  u p   t h e  co m p lete  i m p le m e n tatio n   o f   t h e  ass is ta n t  r o b o t  is   p r esen ted   in   F ig u r e  1 .   I t   co n s i s ts   o f   a  u s er   th at   v er b all y   i n d icate s   th e   d esire d   to o l  s o   t h at  th r o u g h   a  s u p er v is o r y   ca m er a,   w h ic h   ta k es  t h e  to p   v ie w   o f   th e  s ce n e,   a n d   w it h   t h is ,   th e  to o l  an d   t h e  u s er 's  h an d   ar e  ca p tu r ed .   T h e  id en tif icat io n   o f   th e  s p ee ch   co m m a n d ,   th e  to o l,  an d   t h e   h an d   i s   d o n e  t h r o u g h   t h e  u s e  o f   C NN.   T h is   t y p e   o f   n et w o r k   in v o l v es  th e  ca lc u latio n   o f   p ar ticu lar   ar ch itec t u r es  b ased   o n   lay er s   o f   th e  C o n v o lu tio n - R e L U - P o o lin g   s ets  [ 8 ] .   Her e,   th e  in p u t  v o l u m e  f o r   th e  in iti al  la y er   co r r esp o n d s   to   m atr ices  th at  co n tai n     th e  lear n in g   p atter n s ,   f o r   th e   ca s e,   i m ag e s ,   an d   a u d io   in f o r m at io n ,   u s i n g   th r ee   co m p o n en t s   f o r   ea ch   o n e   ( d ep th ) .   Ho w ev er ,   w h e n   t h e  v o lu m e  p a s s es   th r o u g h   t h e  n ex t  la y er s ,   i t  v ar ie s   it s   s ize,   f o r   t h at  r ea s o n ,   th e  ( 1 )     to   ( 3 )   illu s tr ate  h o w   to   ca lcu la te  th e  v o l u m es  f o r   th e  f o llo w i n g   la y er s .         ( 1 )       ( 2 )                      ( 3 )     I n   t h e  eq u at io n s ,   n   an d   n +1   a r e  th e  i n p u t  a n d   o u tp u t  v o lu m e,   r esp ec ti v el y ,   W   is   t h e  w i d th   a n d   H,     th e  h ei g h t  o f   t h e  in p u t  i m ag e   o f   la y er   n ,   P   is   th e  ze r o   p ad d in g ,   F  i s   th e  s ize   o f   th e  f ilte r   o r   k er n el  an d   S,   th e  s tep   o f   th e  f ilter s .   I n   ( 3 ) ,   D  r ep r esen ts   h o w   d ee p   th e   lay er   is   a n d   K ,   th e  n u m b er   o f   f ilter s   u s ed   in   la y er   n   [ 2 3 ] .           Fig u r e   1 .   E le m en t s   t h at  ar e  p ar t o f   th e  w o r k       2 . 1 .     I m ple m e nte d a rc hite ct u re s     Fo r   th e  d e s ig n   o f   th e   C N N  ar c h itect u r es,  t h r ee   d atab ase s   w er e  b u ilt   ac co r d in g   to   t h e  a f o r em en tio n ed   ele m e n ts .   Nex t,   th e   ch ar ac t er is tics   o f   ea c h   ar c h itect u r e  i m p le m e n ted   w it h   i ts   r esp ec tiv e  d atab ase  ar e   p r esen ted .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1055   2 . 1 . 1   Arc hite ct ure  1   ( s peec h )   T h e  d atab ase  co n s is ts   o f   3   S p an is h   w o r d s   ( “ b is tu r í”  ( s ca l p el) ,   “ d esto r n illad o r ”  ( s cr e w d r iv er )   an d   “ tij er as”  ( s ciss o r s ) ) ,   th at  ar e  th e  to o ls   to   b e  u s ed ,   f r o m   wh ich     5 5   r ec o r d in g s   p er   w o r d   w er e  ta k en   f r o m   d if f er e n t  u s er s ,   ea ch   au d io   i s   2   s ec o n d s   lo n g .   T h e  d atab ase  is   d iv id ed   in to   2   s e ts ,   o n e  f o r   tr ain i n g   w it h   a  to ta l   o f   3 7 5   au d io s ,   an d   o n e  f o r   v alid atio n   w i th   9 0   s a m p les.  E ac h   au d io   is   ac q u ir ed   w it h   a  s a m p lin g   f r eq u en c y     o f   1 6 0 0 0   Hz .   Fo r   th is ,   ex tr ac ti o n   o f   f ea tu r es  o f   ea ch   a u d io   s i g n al  is   d o n e,   i n   o r d er   to   o b tai n   a  m ap   t h at  allo ws   s ee in g   t h e  b eh av io r   o f   th e  s ig n al  th r o u g h   ti m e  at  d i f f er en t  f r eq u en cie s .   T h is   ex tr ac tio n   is   ca r r ied   o u t b y   m ea n s   o f   an   ap p r o x i m atio n   o f   t h e  M F C C   o b tain ed   b y   t h e  Hid d en   Ma r k o v   Mo d el  T o o lk it  [ 2 4 ] ,   u s in g   ( 4 ) ,   w h er e  C   is   th e  n u m b er   o f   ce p s tr al  co ef f ic ien ts ,   i n   th is   ca s e ,   is   1 3 ;  M   is   th e  n u m b er   o f   f ilter   ch a n n els ,   w h o s e  v a lu e  i s   2 0 ;  L   is   th e  v al u e  r esp o n s ib le  f o r   in cr e m e n t i n g   t h e  ce p s tr al  v al u es,  u s in g   a  v al u e  o f     L=2 2 ,   w h ic h   is   n o r m al l y   u s ed   to   g e n er ate  a  g o o d   f r o n t - en d   p ar a m eter izatio n   i n   s p ee c h   r ec o g n itio n   s y s te m s ;  a n d   m j   is   th e  lo g ar it h m   o f   th e  m a g n it u d e  s p ec tr u m .   A   f ea tu r e  m ap   as  t h e  o n e  s h o wn   in   Fig u r e  2   is   o b tain ed ,   an d ,   f o r   r o b u s tn es s   p u r p o s es  in   ter m s   o f   t h e  n et wo r k   lear n in g ,   its   f ir s t  a n d   s ec o n d   d er iv ativ es  ar e  ad d ed   to   t h e  m atr i x ,   f o r m in g     a  th r ee - c h an n el  i n p u t  v o lu m e.           (              (      ) ) √     ∑         (      (           ) )                             ( 4 )           Fig u r e   2 .   E x a m p le  o f   a n   au d io   s ig n al  f r o m   th e  d atab ase  a n d   th e  MF C C   o b tain ed       T ab le  1   s h o w s   t h e  ar ch i tectu r e  u s ed ,   w h ic h   i s   b ased   o n   a  p r ev io u s   d e v elo p m e n t  [ 2 5 ] .   T h is   co n s is t s   o f   3   s et s   o f   C o n v o lu tio n - C o n v o l u tio n - P o o lin g ,   w it h   s q u a r e  f ilter s   i n   o r d e r   to   allo w   t h e  n et w o r k   to   lear n   th e  b eh a v io r   o f   th e   w o r d s   i n   ter m s   o f   ti m e  a n d   f r eq u e n c y   at  th e  s a m e  ti m e.   T h e  s e co n d   p ar a m et er   o f   th e  k er n el  i s   g i v e n   as  S /P ,   w h er e  S  is   t h e  s tr id e  o f   th e  m o v e m e n t  o f   th e  f ilter   a n d   P   is   th e  ze r o - p ad d in g   ap p lied   to   th e  in p u t  v o lu m e.   I n   ad d itio n ,   2   f u ll y   co n n ec te d   lay er s   ar e  ad d ed ,   allo w i n g   a  b etter   lear n in g   o f   th e  co m b in a tio n   o f   t h e  d if f er en t  f ea t u r es.  Si n ce   in   MF C C ,   co ef f icie n t  v alu e s   h a v e  v ar iatio n   b o th   n eg a tiv e  a n d   p o s itiv e,   th e  ac ti v atio n   f u n ct io n   R e L U  is   n o t  u s ed ,   in   o r d er   to   k ee p   n eg ati v e  v al u es.   W ith   t h e  ar ch itect u r e  an d   th e  d atab ase  b u i lt,  th e  tr ai n in g   i s   p er f o r m ed   f o r   5 0 0   ep o ch s ,   ac h ie v i n g   a   9 7 . 5 %  ac cu r ac y   w it h   th e  v al id atio n   s et.       T ab le  1 .   C NN  A r ch i tectu r e  f o r   s p ee ch   L a y e r   K e r n e l   F i l t e r s   I n p u t   1 2 x 1 9 9 x 3   -   C o n v o l u t i o n   5 x 5   1 / 2   32   C o n v o l u t i o n   5 x 5   1 / 2   32   M a x P o o l i n g   2 x 1   2 / 0   -   C o n v o l u t i o n   3 x 3   1 / 1   64   C o n v o l u t i o n   3 x 3   1 / 1   64   M a x P o o l i n g   2 x 3   2 / 0   -   C o n v o l u t i o n   2 x 2   1 / 1   1 2 8   C o n v o l u t i o n   3 x 3   1 / 1   1 2 8   M a x P o o l i n g   2 x 2   2 / 0   -   F u l l y - C o n n e c t e d   1   5 1 2   F u l l y - C o n n e c t e d   1   2 0 4 8   F u l l y - C o n n e c t e d   1   3   S o f t max   3   -   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .  1 ,  Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1056   2 . 1 . 2 .   Arc hite ct ure  2   ( ha nd )   Fo r   th e  r ec o g n itio n   o f   t h e  h a n d ,   th er e  w er e  e s tab lis h ed   2   ca teg o r ie s :  Op e n   an d   C lo s ed ,   s in ce   it  i s   w a n ted   to   k n o w   th e s e  t w o   g estu r es.  W it h   th i s ,   a  d ataset  w a s   b u ilt,  co n s i s ti n g   o f   1 9 0 0   i m ag e s ,   w h ic h   w as  d iv id ed   to   h av e  a  s et  f o r   tr ain i n g   a n d   an o t h er   f o r   v a lid ated   th e  n et w o r k   p er f o r m a n ce .   Fo r   t r ain in g ,   7 0 0   i m a g es   o f   th e  o p en   h a n d   an d   7 0 0   o f   th e  clo s ed   h a n d   w er e  ta k en ,   an d   f o r   v al id atio n ,   2 5 0   i m ag e s   o f   ea c h   ca teg o r y   w er e  u s ed .   T h e  ar ch i tectu r e  p r o p o s ed   is   b ased   o n   p r ev io u s   w o r k ,   s h o w n   in   [ 2 3 ]   an d   th at  ca n   b e  s ee n   in   T ab le  2 .   I t  s h o u ld   b e  h i g h lig h t ed   t h at  ea c h   co n v o l u ti o n   an d   f u l l y   co n n ec ted   h a v e  a   R e L U   la y er .   T h is   ar ch itect u r e,   af ter   b ein g   t r ain ed ,   ac h iev ed   a n   ac cu r ac y   o f   9 6 . 2 5 % in   th e  class i f ica tio n   o f   b o th   g est u r es.       T ab le  2 .   C NN  A r ch i tectu r e  f o r   h an d   g e s tu r e   L a y e r   K e r n e l   F i l t e r s   I n p u t   6 4 x 6 4 x 3   -   C o n v o l u t i o n   4 x 4   1 / 2   20   C o n v o l u t i o n   4 x 4   1 / 0   20   Ma x Po o l i n g   2 x 2   2 / 1   -   C o n v o l u t i o n   5 x 5   1 / 0   50   C o n v o l u t i o n   5 x 5   1 / 0   50   Ma x Po o l i n g   2 x 2   2 / 0   -   C o n v o l u t i o n   4 x 4   1 / 0   2 0 0   Ma x Po o l i n g   3 x 3   2 / 0   -   Fu l l y - C o n n e c t e d   1   2 0 0   Fu l l y - C o n n e c t e d   1   2   S o f t m a x   2   -       T o   im p r o v e  t h e  r ec o g n itio n   o f   th e  g es tu r es,   a  p r ep r o ce s s in g   alg o r ith m   w a s   ap p lied ,   w h er e  b y   m ea n s   o f   ac q u i s itio n   o f   th e   m ea n   o f   th e   b ac k g r o u n d   a n d   m o r p h o lo g ic  f ilter s ,   th e   lo ca tio n   o f   t h e  h a n d   is   o b tain ed ,   in   s u ch   a  w a y   th at  t h e  alg o r it h m   g e n er ates  a  b o u n d i n g   b o x   o f   th e  n e w   o b j ec t  in   th e  s ce n e.   T h en ,   it  is   cr o p p e d   an d ,   d ep en d in g   o n   t h e  g r ea ter   v alu e  o f   t h e  b o x   s id e,   th e  cr o p p e d   i m a g e  i s   p asted   i n   a  w h ite  s q u ar e,   to   th e   b ein g   e n ter ed   to   t h e   n et w o r k   f o r   i ts   r ec o g n i tio n .   T h e  f i n al  r es u lt   o f   t h e  r ec o g n itio n   i s   s h o w n   i n   Fig u r e  3 ,   w h er e  th e  y el lo w   b o x   is   th e  f ir s t  b o u n d i n g   b o x   f o u n d .   A d d itio n all y ,   t h e  n u m b er   g iv e n   in   th e  b o x   is     th e  co n f id e n ce   o f   t h e  n et w o r k   w it h   r esp ec t to   t h e   g e s tu r e   r ec o g n ized ,   w h er e  t h e  h i g h   e f f ici en c y   o f   th e   s u cc es s   is   ev id e n t .           Fig u r e  3 .   Han d   r ec o g n itio n       2 . 1 . 3 .  Arc hite ct ure  3   ( t o o ls )   T h e  th ir d   ar ch itec tu r e  i s   r esp o n s ib le  f o r   id en ti f y i n g   t h e  t h r ee   to o ls   to   b e  u s ed .   Fo r   t h e   n et w o r k   tr ain i n g ,   i t  i s   b u il t  a  d atab as e  th at   is   co m p o s ed   o f   7 0 0   i m ag e s .   D u e  to   t h e  f ac t   th a t  t h e  to o ls   h a v e  m o r e   f ea t u r es  to   b e  lear n ed   an d   th e  n ee d   o f   d if f er en tiati n g   s o m e  o f   th e  s i m ilar ities   t h at  t h e  to o ls   h av e,   it  w as   d ec id ed   to   u s e  a  b ig g er   i m a g e  s ize,   th at  f o r   th is   ca s e,   it   w as  1 2 8   x   1 2 8   p ix els  in   R GB   s ca le.   T o   allo w   th e  n et w o r k   to   lear n   g lo b al  f e atu r es  o f   t h e  to o ls ,   s u c h   as  ed g es  a n d   s h ap es,  t h e  f ilter s   ar e  p r o p o s ed   w it h   s izes   b ig g er   th a n   t h e  n o r m al l y   u s ed ,   as  th e  p r ev io u s   n et w o r k .   I n   t h is   ca s e,   f ilter s   t h at  v ar y   th e ir   s izes  f r o m   7 x 7   to   1 2 x 1 2   ar e  u s ed .   I n   ad d itio n ,   ea ch   co n v o lu tio n   la y er   h as   a n   ac ti v atio n   f u n ctio n   o f   R e L U.   T h e  ar ch itect u r e  p r o p o s ed   is   s h o w n   in   T ab le  3 .   Fig u r e  4   illu s tr ates  t h e  r esu lt  o f   th e  n et w o r k   a n d   th e  m ai n   ac tiv atio n s   o b tain ed ,   th ese  allo w   to   d e m o n s tr ate  t h e  clea r   lear n in g   o f   ea c h   to o l,  w h er e  an   ac c u r ac y   o f   9 8 %  o f   ac cu r ac y   i n   th e  clas s i f icatio n   o f   t h e  t h r ee   class es  w a s   o b tain ed   af ter   it s   tr ain i n g   w i th   t h e  d atab ase  b u ilt   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1057   T ab le  3 .   C NN  a r ch itectu r e  f o r   t ool   L a y e r   K e r n e l   F i l t e r s   I n p u t   1 2 8 x 1 2 8 x 3   -   C o n v o l u t i o n   1 2 x 1 2   1 / 0   20   C o n v o l u t i o n   1 1 x 1 1   1 / 0   40   Ma x Po o l i n g   3 x 3   2 / 0   -   C o n v o l u t i o n   1 0 x 1 0   1 / 0   80   C o n v o l u t i o n   9 x 9   1 / 0   1 6 0   Ma x Po o l i n g   2 x 2   2 / 0   -   C o n v o l u t i o n   8 x 8   1 / 0   1 8 0   C o n v o l u t i o n   7 x 7   1 / 0   2 0 0   Fu l l y - C o n n e c t e d   1   2 0 0   Fu l l y - C o n n e c t e d   1   3   S o f t m a x   3   -           Fig u r e  4 .   R ec o g n i tio n   o f   to o ls       2 . 2 .     K inem a t ic  m o del o f   t he  ro bo t     T h e  k in e m atic   m o d el  o f   t h e  ar m   i s   r eq u ir ed   to   b e  ab le  to   est ab lis h   t h e  d i s p lace m e n t  o f   t h is   w ith in   it s   w o r k s p ac e,   in   w h ich   b o th   t h e  to o ls   a n d   t h e  u s er ' s   h a n d   ar e  lo ca ted .   I n   Fi g u r e  5 ,   it  ca n   b e  o b s er v ed     th e  g eo m etr ic  m o d el  th at  allo w s   i n f er r in g   ( 5 )   to   ( 14 ) ,   th r o u g h   w h ic h   it  ca n   b e  s et  th e  an g u lar   m o v e m e n ts   o f   th e  r o b o t.  Fro m   th e   to p   v ie w ,   t h e  an g le  o f   j o in t 1   (     )   an d   t h e  X  co m p o n en t o f   p o in t P   o f   t h e   f i n al  e f f ec to r   ar e  o b s er v ed ,   th r o u g h   w h ich   ( 5 )   an d   ( 6 )   ar e  estab lis h ed .           √                   ( 5 )                         ( 6 )           Fig u r e  5 .   Kin e m atics o f   th e  r o b o tic  ar m       B y   m ea n s   o f   t h e  f r o n ta l  v ie w ,   th e  a n g le s   o f   j o in t s   2   an d   3   ar e  o b tain ed ,   ca lcu lati n g   t h e  l en g t h   " d " ,   an d   th e  an g le  α   th r o u g h   ( 7 )   to   ( 10 ) ,   th u s   d eter m in in g   t h e  an g le        o f   j o in t 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .  1 ,  Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1058       √ (          )                ( 7 )                                               ( 8 )               √                   ( 9 )                 (   √                                                         )   ( 1 0 )     T h e        an g le  o f   j o in t  2   is   ca lcu la ted   u s i n g   β  a n d   α   u s i n g   ( 11 )   an d   ( 13 ) .   Sin ce   th e  an g le  o f   th e   s ec o n d   j o in t   ca n   h a v e  t w o   d i f f er en t   v alu es,  d ep en d i n g   o n   t h e  g r ip   o f   t h e  m a n ip u lato r   u s in g   e lb o w   u p   o r   elb o w   d o w n ,   th e  ( 1 4 )   is   u s ed .                                     ( 1 1 )                                           ( 1 2 )                                               ( 1 3 )         {     |   |     |   |   ( 1 4 )     W ith   t h ese   p ar a m eter s ,   it  i s   p o s s ib le  to   co n tr o l  t h e  m o v e m e n t  o f   t h e  r o b o t,  wh er e,   o n ce   o b tai n ed     th e  p o s itio n s   o f   th e  g eo m etr i c  ce n ter   o f   th e  to o l  an d   th e  h an d ,   th eta  an g les  ar e  s et  i n   o r d er   to   r ea ch   th o s e   p o s itio n s ,   tak in g   i n to   ac co u n t  th at  t h e  r ef er en ce   i s   th e  r o b o t b ase .       3.   E XP E R I M E NT A L   RE SUL T S   T h e  ap p licatio n   s tar ts   b y   s a y i n g   t h e  d esire d   to o l,  i.e .   th e  u s er   s tar ts   th e  r ec o r d in g ,   w h er e  th eir   v o ice   is   ca p tu r ed .   Af ter   2   s ec o n d s ,   th e  v o ice  s i g n al  is   s en t   to   th e  p r o ce s s in g   al g o r ith m   to   t h en   b e  en ter ed   to     th e  C NN  f o r   s p ee ch .   On ce   t h e   n et w o r k   r ec o g n ize s   th e  w o r d ,   th e  u s er   d ec id es  if   it  w as  co r r ec tl y   r ec o g n ized   o r   n o t.  I f   n o t,  it  r etak e s   t h e  au d io .   I f   s o ,   th e  alg o r ith m   p r o ce ed s   to   id en tify   th e  to o l  r eq u este d ,   tak i n g   a  ca p tu r e  o f   th e  to o ls   an d   th e n   s e n d   it  to   th e  C N N  f o r   to o ls .   W h en   t h e   o n e  w a n ted   is   id en t if ied   an d   lo ca ted ,   th e  r o b o t   tak es  it.  I n   o r d er   to   d eliv er   th e  o b j ec t,  th e  u s er   p u t  h is   h a n d   in   f r o n t  o f   t h e  ca m er a,   i n   o r d er   to   ca p tu r e  it  an d   r ec o g n ize  i f   it  is   o p en   o r   clo s e d .   W h en   i t  id e n ti f ies   th e   o p en   h an d   f o r   2   s ec o n d s ,   t h e  r o b o t  d eliv er s   t h e  o b j ec t  to   th e  p o s itio n   o f   t h e  h an d ,   g i v e s   th e  to o l,  an d   t h en   r etu r n s   to   its   i n itia l  p o s itio n .   W h e n   t h e  u s er   c lo s es  th eir   h an d ,   t h e   alg o r it h m   e n d s   a   c y cle  a n d   w ai t s   f o r   t h e  u s er   t o   s tar ts   a n o t h er   r ec o r d in g .   T h e  f lo w c h ar t  o f   t h is   alg o r ith m   ca n   b e  s ee n   i n   Fi g u r e  6 .   Fig u r e  7   illu s tr ates  t h e  f ir s t  s t ep   o f   th e  p r o ce s s ,   w h er e  th e  s cr e w d r i v er   to o l  is   ch o s en   a s   an   o p tio n   an d   th e  r ec o g n i tio n   o f   it  s u cc e s s f u l l y   i s   v alid ated .  Fro m   th e  ca p tu r e  o f   th e  to o ls ,   th e  r ec o g n itio n   a n d   p o s itio n   o f   t h e  s cr e w d r i v er   ar e   v alid at ed ,   as  s h o w n   i n   F ig u r e  8 .  Fig u r e  9   ill u s tr ates   th e   p r o ce s s   o f   m o v in g   th e   r o b o tic  ar m   to   th e  lo ca tio n   o f   th e  d esire d   to o l,   w h er e  it  is   g r asp ed   b y   t h e  en d   ef f ec to r   to   b e   d eli v er ed   to   th e  u s er 's   h an d ,   i f   it   is   o p en ,   as   s h o w n   i n   F ig u r e  1 0 .   T h e  p r o ce s s   o f   t h e  f lo w   c h ar t  o f   Fi g u r e  6   is   r ep ea ted   w it h   ea ch   o f   th e  t h r ee   to o ls ,   s u cc e s s f u ll y   a ch iev in g   t h e  th r ee   b as ic  p r o ce s s es:   s p ee c h ,   to o l  an d   h a n d   g est u r e  r ec o g n itio n ,   an d   m an a g i n g   to   d eli v er   ea ch   to o l.  T h e  av er ag e  e x ec u tio n   ti m e  o f   t h e  w h o le  p r o ce s s   is   4 5   s ec o n d s .   F ig u r e  1 1   s h o w s   t h e  g r ip   an d   tr a n s f er   o f   t h e  to o l  s cis s o r s .   T h e  tes ts   w er e  ca r r ied   o u t   w it h   p o l y s t y r en e   to o ls ,   i n   s u c h   a  w a y   t h at  t h e y   e m u lated   th e  r ea l  d im e n s io n s ,   d u e  to   th e  u s e  o f   a n   ac ad e m ic  r o b o tic  ar m   w it h   n o   lo ad   ca p ac it y   an d   s u f f ic ien t  g r ip   f o r   m a n ip u latio n   o f   th e  r ea l to o ls .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1059       Fig u r e  6 .   A l g o r ith m   f lo w ch ar t           Fig u r e  7 .   Sp ee ch   r ec o g n itio n   t est           Fig u r e  8 .   R ec o g n i tio n   o f   t h e  t o o l     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .  1 ,  Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1060             Fig u r e  9 .   L o ca ti o n   an d   g r ip           Fig u r e  1 0 .   Deliv er y   o f   t h e  to o l             Fig u r e  1 1 .   Valid atio n   w i th   s c i s s o r s         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1061   4.   CO NCLU SI O N     I t  w as  p o s s ib le  to   o b tain   a  f u n ctio n al  ap p licatio n   o f   ass is ti v e   r o b o tics ,   w h ich   i s   ca p ab le  o f   r ec eiv in g   an d   co r r ec tly   id en t if y i n g   a  v o i ce   co m m a n d ,   a s s o ciatin g   it  w i th   a  p h y s ical  o b j ec t,  tak in g   it  an d   d eliv er in g   it  to   th e  h a n d   o f   a  u s er .   I n   ad d itio n ,   it  w as  e v id en ce d   b y   t h e  v e r s atilit y   o f   C NN  n et w o r k s   f o r   ass is t iv e  r o b o tics   ap p licatio n s ,   w h ich   r eq u ir e  p atter n   r ec o g n itio n   al g o r ith m s .   W h ile  t h e  t i m e s   o b t ain ed   m a y   s ee m   h i g h ,   it  i s   n o te w o r t h y   th a t  a  co m p u ter   was  u s ed   th at  d o es  n o t  o p er ate  th e  al g o r ith m   i n   r ea l - t i m e,   s o   t h at  it s   ex ec u tio n   i n   a  d ed icate d   eq u ip m e n t  w o u ld   b e  r ed u ce d .   T h e  d ev elo p ed   s y s te m   m a n a g es  to   s u cc es s f u l l y   d eliv er   th e  tr ai n ed   to o ls ,   h o w e v e r ,   in cr ea s i n g   t h e  s et  o f   t h ese  to   m o r e  ca t eg o r ies,  r eq u ir es  r ed esig n i n g   th e  co n v o l u tio n a l  n et w o r k s ,   w h ich   ca n   in v o l v e  ar ch itect u r es  w i th   g r ea ter   d ep th   a n d   co n s eq u e n tl y   ta k e  m o r e  ti m e   to   e x ec u te   th e  as s is ti v e  tas k .       ACK NO WL E D G E M E NT S   T h e  au th o r s   ar e  g r atef u l  to   th e   N u ev a   Gr an ad a  Mi litar y   U n i v er s it y   f o r   t h e  s u p p o r t  g i v e n   i n     th e  d ev elo p m e n t o f   t h i s   w o r k .       RE F E R E NC E S     [1 ]   E.   Jo c h u m ,   P .   M il lar,  a n d   D.  N u ñ e z ,   “ S e q u e n c e   a n d   c h a n c e :  De sig n   a n d   c o n tr o l  m e th o d s  f o r  e n terta in m e n t  ro b o ts, ”   Ro b o ti c s a n d   Au t o n o mo u s S y ste ms ,   v o l.   8 7 ,   p p .   3 7 2 - 3 8 0 ,   2 0 1 7 .   DO I:  1 0 . 1 0 1 6 /j . r o b o t. 2 0 1 6 . 0 8 . 0 1 9   [2 ]   N.  K.  S a h u ,   N.K .   S h a rm a ,   M . R.   Kh a n ,   a n d   D . K.  G a u ta m ,   “ Co m p a ra ti v e   S tu d y   o n   F lo o r  Clea n e r, ”   J o u rn a l  o f  P u re   Ap p li e d   a n d   In d u stri a l  P h y sic s ,   v o l.   8 (1 2 ),   p p .   2 3 3 - 2 3 6 ,   2 0 1 8 .   [3 ]   V . R.   Ba ti sta   a n d   F . A .   Z a m p iro ll i,   “ Op ti m isin g   Ro b o ti c   P o o l - Cl e a n in g   w it h   a   G e n e ti c   A lg o rit h m , ”   J o u rn a l  o f   In telli g e n t  &   Ro b o ti c   S y ste ms ,   v o l.   9 5 (2 ),   p p .   4 4 3 - 4 5 8 ,   2 0 1 9 .   DO I:  1 0 . 1 0 0 7 /s 1 0 8 4 6 - 0 1 8 - 0 9 5 3 - y   [4 ]   R. M .   A g ri g o ro a ie,  a n d   A .   T a p u s,  “ De v e lo p in g   a   h e a lt h c a re   ro b o t  w it h   p e rso n a li z e d   b e h a v io rs  a n d   so c ial  sk il ls  f o r   th e   e ld e rly , ”   In   2 0 1 6   1 1 th   AC M /IE EE   In ter n a ti o n a l  Co n fer e n c e   o n   Hu ma n - R o b o t  In ter a c ti o n   ( HRI),   IEE E ,    p p .   5 8 9 - 5 9 0 ,   2 0 1 6 .   DO I:   1 0 . 1 1 0 9 /HRI. 2 0 1 6 . 7 4 5 1 8 7 0   [5 ]   J.  G u io c h e t,   M .   M a c h i n ,   a n d   H.  W a e se l y n c k ,   “ S a f e t y - c rit ica l  a d v a n c e d   ro b o ts:  A   su rv e y , ”   Ro b o ti c s  a n d   Au to n o m o u s  S y ste ms ,   v o l.   9 4 ,   p p .   4 3 - 5 2 ,   2 0 1 7 .   DO I:  1 0 . 1 0 1 6 /j . r o b o t. 2 0 1 7 . 0 4 . 0 0 4   [6 ]   J.  De   Ge a   F e rn á n d e z ,   e t  a l . ,   “ M u lt im o d a l  se n so r - b a se d   w h o le - b o d y   c o n tro l  f o r  h u m a n – ro b o t  c o ll a b o ra ti o n   i n   in d u strial  se tt in g s,”  R o b o ti c s a n d   Au to n o m o u s  S y ste ms ,   v o l.   9 4 ,   p p .   1 0 2 - 1 1 9 ,   2 0 1 7 .     [7 ]   J.  W a rc z y ń sk i,   “ Ro b o t  F in e - M o ti o n   C o n tr o l, ”   IF AC  Pro c e e d i n g s V o lu me s ,   v o l.   3 3 ,   n o .   2 7 ,   p p .   4 3 - 4 8 ,   2 0 0 0 .   [8 ]   R. J.  M o re n o ,   M .   M a u led o u x ,   a n d   O . F .   A v il é s,  “ P a t h   Op ti m iz a ti o n   P lan n in g   f o r  H u m a n - Ro b o t  I n tera c ti o n , ”   In ter n a t io n a l  J o u rn a l  o f  A p p li e d   En g i n e e rin g   Res e a rc h ,   v o l.   1 1 ,   n o .   2 2 ,   p p .   1 0 8 2 2 - 1 0 8 2 7 ,   2 0 1 6 .   [9 ]   C.   Bo u sq u e t - Je tt e ,   e t  a l . ,   “ F a st   sc e n e   a n a l y sis  u sin g   v isio n   a n d   a rti f icia l  in telli g e n c e   f o r  o b jec t  p re h e n sio n     b y   a n   a ss isti v e   ro b o t, ”   En g in e e rin g   Ap p l ica ti o n s  o f  Arti f ici a l  In telli g e n c e ,   v o l.   6 3 ,   p p .   33 - 4 4 ,   2 0 1 7 .     DO I:  1 0 . 1 0 1 6 / j. e n g a p p a i. 2 0 1 7 . 0 4 . 0 1 5   [1 0 ]   M . D.  Zeiler  a n d   R .   F e rg u s,   “ V is u a li z in g   a n d   u n d e r sta n d in g   c o n v o lu ti o n a l   n e tw o rk s,”   In   E u ro p e a n   c o n fer e n c e   o n   c o mp u ter   v isio n ,   S p ri n g e r,  C h a m ,  2 0 1 4 ,   p p .   8 1 8 - 8 3 3 ,   S e p   2 0 1 4 .   D OI:  1 0 . 1 0 0 7 /9 7 8 - 3 - 3 1 9 - 1 0 5 9 0 - 1 _ 5 3   [1 1 ]   A .   Kriz h e v sk y ,   I.   S u tsk e v e r,   a n d   G .   E.   Hin to n ,   “ Im a g e n e t  c las si f ic a ti o n   w it h   d e e p   c o n v o l u ti o n a l  n e u ra l  n e tw o rk s,”  In   Ad v a n c e s in   n e u r a l  i n fo rm a ti o n   p r o c e ss in g   sy ste ms ,   p p .   1 0 9 7 - 1 1 0 5 ,   2 0 1 2 .   [1 2 ]   F .   T u ,   e t  a l. ,  “ De e p   Co n v o l u ti o n a l  Ne u ra l  Ne tw o rk   A rc h it e c tu re   w it h   Re c o n f ig u ra b le  Co m p u tatio n   P a tt e rn s, ”     IEE E  T ra n sa c ti o n s  o n   Ver y   L a rg e   S c a le  I n teg ra t io n   ( VL S I)   S y ste ms ,   v o l.   2 5 ( 8 ) ,   p p .   2 2 2 0 - 2 2 3 3 ,   2 0 1 7 .   DOI :  1 0 . 1 1 0 9 /T V L S I. 2 0 1 7 . 2 6 8 8 3 4 0   [1 3 ]   S .   A ich ,   S .   Ch a k ra b o rt y ,   a n d   H.C.   Kim ,   “ Co n v o lu ti o n a l  n e u ra l  n e tw o rk - b a s e d   m o d e l  f o r  w e b - b a se d   te x t  c las si f ica ti o n , ”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   Co mp u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l.   9 (6 ),   p p .   5 1 8 5 - 5 1 9 1 ,   2 0 1 9 .   DO I:   1 0 . 1 1 5 9 1 / ij e c e . v 9 i6 . p p 5 1 8 5 - 5 1 9 1   [1 4 ]   J.O.  P in z ó n - A re n a s,  R.   Jim é n e z - M o re n o ,   a n d   C. G .   P a c h ó n - S u e sc ú n ,   “ Of f li n e   sig n a tu re   v e ri f ica ti o n   u si n g   DA G - CNN , ”  In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   9 (4 ),   p p .   3 3 1 4 - 3 3 2 2 ,   2 0 1 9 .     DO I:  1 0 . 1 1 5 9 1 /i jec e . v 9 i4 . p p 3 3 1 4 - 3 3 2 2   [1 5 ]   R.   Jim e n e z - M o re n o   a n d   D.  Ov a l le  M a tri n e z ,   “ A   No v e l  P a ra ll e l  Co n v o l u ti o n a l  Ne tw o rk   A r c h it e c tu re   f o r  De p th - De p e n d e n t  Ob jec t  Re c o g n it io n , ”   In ter n a ti o n a l  Rev iew  o f  Au t o ma ti c   Co n tro l ,   v o l.   1 2 (2 ),   p p .   7 6 - 8 1 ,   2 0 1 9 .     DO I:  1 0 . 1 5 8 6 6 /i re a c o . v 1 2 i2 . 1 6 4 6 7   [1 6 ]   M.   S.   H.   Al - Ta m i m i,   “ Co m b in in g   c o n v o l u ti o n a l  n e u ra l  n e t w o rk s   a n d   sla n tl e t  tran sf o rm   fo r  a n   e ff e c ti v e     im a g e   r e tri e v a l  s c h e m e , ”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   Co m p u ter   E n g i n e e rin g   ( IJ ECE ) ,   v o l.   9 ( 5 ) ,     p p .   4 3 8 2 - 4 3 9 5 ,   2 0 1 9 .   DO I:   1 0 . 1 1 5 9 1 /i jec e . v 9 i5 . p p 4 3 8 2 - 43 95   [1 7 ]   A .   V o ro to v a ,   V .   F in a e v ,   V .   S o l o v iev ,   a n d   M .   M e d v e d e v ,   “ S tati stica l  Da ta   P ro c e ss in g   o f   Tw o   M o b i le  Ob jec ts  Be h a v io r  in   Ra n d o m   En v iro n m e n ts  Us in g   S i m u latio n   M o d e li n g   M e th o d , ”   In ter n a ti o n a l  Rev iew  o f  Au to ma ti c   Co n tro l ,   v o l.   1 2 (4 ) ,   2 0 1 9 .   [1 8 ]   J.  O.  P .   A re n a s,  R.   Jim é n e z ,   a n d   P .   C.   U.   M u r il lo ,   “ F a ste r  R - CNN   f o r  o b jec t  l o c a ti o n   in   a   Virtu a l  E n v iro n m e n t  f o r  so rti n g   tas k , ”   In ter n a ti o n a l   J o u r n a l  o f  On li n e   E n g i n e e rin g   ( iJO E) ,   v o l.   1 4 (0 7 ),   p p .   4 - 1 4 ,   2 0 1 8 .   [1 9 ]   Z.   W a n g ,   Z.   L i,   B.   W a n g ,   a n d   H.  L iu ,   “ Ro b o t  g ra sp   d e tec ti o n   u sin g   m u lt im o d a l  d e e p   c o n v o lu ti o n a l  n e u ra l   n e tw o rk s,”  Ad v a n c e s in   M e c h a n i c a l  En g in e e rin g ,   v o l .   8 ( 9 ) ,   p p .   1 - 1 2 ,   2 0 1 6 .   DO I:  1 0 . 1 1 7 7 / 1 6 8 7 8 1 4 0 1 6 6 6 8 0 7 7   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .  1 ,  Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1062   [2 0 ]   D.  Ka las h n ik o v ,   e t  a l . ,   “ Qt - o p t:   S c a lab le  d e e p   re in f o rc e m e n t  lea rn in g   f o r  v isio n - b a se d   ro b o ti c   m a n ip u latio n , ”   a rXi v   p re p rin t  a rXiv:1 8 0 6 . 1 0 2 9 3 ,   2 0 1 8 .   [2 1 ]   M . A .   G u ti é rre z ,   L . J.  M a n so ,   H.  P a n d y a   a n d   P .   Nú ñ e z ,   “ A   P a ss iv e   Lea rn in g   S e n so r  A rc h it e c tu re   fo r  M u lt im o d a l   Im a g e   L a b e li n g :  A n   A p p li c a ti o n   f o r  S o c ial  Ro b o ts , ”   S e   s o rs   ( Ba se l) ,   v o l.   1 7 ( 2 ) ,   p .   3 5 3 ,   2 0 1 7 .     [2 2 ]   Y.  Qia n ,   a n d   P . C.   W o o d lan d ,   “ V e ry   d e e p   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s  f o r  ro b u st  sp e e c h   re c o g n it io n , ”   In   2 0 1 6   IEE E  S p o k e n   L a n g u a g e   T e c h n o l o g y   W o rk sh o p   ( S L T ) ,   p p .   4 8 1 - 4 8 8 ,   2 0 1 6 .   DO I:   1 0 . 1 1 0 9 /S L T . 2 0 1 6 . 7 8 4 6 3 0 7   [2 3 ]   J.O.P .   A re n a s,  R. D.H.  Be leñ o ,   a n d   R. J.  M o re n o ,   “ De e p   Co n v o lu ti o n a l  Ne u ra l  Ne tw o rk   f o r   Ha n d   G e stu re   Re c o g n it io n   Us e d   f o r  Hu m a n - Ro b o t  I n tera c ti o n , ”   J o u rn a l   o f   E n g i n e e rin g   a n d   A p p li e d   S c ien c e s ,   v o l.   1 2 ( 11 ) ,    p p .   9 2 7 8 - 9 2 8 5 ,   2 0 1 7 .   [2 4 ]   S .   Yo u n g ,   e t  a l . ,   T h e   HTK   b o o k ,   Ca m b rid g e   Un iv e rsit y   En g in e e rin g   De p a rt m e n t,   2 0 0 2 .   [2 5 ]   J.O.  P in z ó n   A re n a s,  R.   Jim é n e z   M o re n o ,   R. D.   He rn á n d e z   Be l e ñ o ,   “ W o rd - b a se d   De e p   Co n v o l u ti o n a l  Ne u ra l   Ne tw o rk   a rc h it e c tu re   f o r  S p e e c h   Re c o g n it io n , ”   In   II  C o n g re so   I n ter n a c i o n a l  d e   Cien c i a s  Bá sic a s  e   In g e n ier ía ,    p p .   1 - 1 0 ,   2 0 1 8 .         B I O G RAP H I E S   O F   AUTH O RS       Ro b i n s o n   J i m é n e z   M o r e n o   w a s   b o rn   i n   Bo g o tá,  Co l o m b ia,  in   1 9 7 8 .   He   re c e iv e d   th e   En g in e e r  d e g re e   in   El e c tro n ics   a t  th e   F ra n c isc o   Jo sé   d e   Ca ld a s   District  Un iv e rsit y   -   UD  -   in   2 0 0 2 .   M . S c .   i n   In d u strial  A u to m a ti o n   f ro m   th e   Un iv e rsid a d   Na c io n a l  d e   Co lo m b ia  -   2 0 1 2   a n d   P h . D.  in   En g in e e ri n g   a t  th e   F ra n c isc o   Jo sé   d e   Ca ld a s  District  Un iv e rsit y   -   2 0 1 8 .   He   is  c u rre n tl y   w o rk in g   a s  a   P r o f e ss o r  in   th e   M e c h a tro n ics   En g in e e rin g   P ro g ra m   a t  th e   Nu e v a   G ra n a d a   M il it a r y   Un iv e rsit y   -   UMNG .   He   h a s  e x p e rien c e   in   th e   a re a s o f   In stru m e n tatio n   a n d   El e c tro n ic  Co n tro l,   a c ti n g   m a in l y   in   Ro b o ti c s,  c o n tro l ,   p a tt e r n   re c o g n i ti o n ,   a n d   im a g e   p ro c e ss in g .   E - m a il :  ro b in so n . ji m e n e z @u n im il it a r. e d u . c o         J a v ier   O r l a n d o   Pi n z ó n   Ar e n a s   w a s  b o rn   in   S o c o rro - S a n tan d e r,   Co lo m b ia,  in   1 9 9 0 .   He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   E n g in e e rin g   (Cu m   Lau d e )  in   2 0 1 3 ,   S p e c ializa ti o n   in   En g in e e rin g   P r o jec t  M a n a g e m e n t  in   2 0 1 6 ,   a n d   M . S c .   i n   M e c h a tro n ics   En g i n e e rin g   in   2 0 1 9 ,   a t  th e   Nu e v a   G ra n a d a   M il it a r y   Un iv e rsit y   -   U M NG .   He   h a s  e x p e rien c e   in   th e   a re a s  o f   a u to m a ti o n ,   e lec tro n i c   c o n tro l,   a n d   m a c h in e   lea rn in g .   C u rre n tl y ,   h e   is  stu d y in g   a   P h . D.  in   A p p li e d   S c ien c e s  a n d   w o rk in g   a s a G r a d u a te A ss ist a n t  a t  th e   U M NG   w it h   e m p h a sis o n   R o b o ti c s  a n d   M a c h i n e   L e a rn in g .   E - m a il :  u 3 9 0 0 2 3 1 @ u n im il it a r. e d u . c o           Cé sa r   G io v a n y   Pa c h ó n   S u e sc ú n   w a s  b o rn   i n   Bo g o t á ,   Co l o m b ia,  in   1 9 9 6 .   He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   En g i n e e rin g   f ro m   th e   P il o t  Un iv e rsity   o f   Co lo m b ia  in   2 0 1 8 .   C u rre n tl y ,   h e   is   stu d y in g   h is  M a ste r’s  d e g re e   in   M e c h a tro n ics   E n g in e e rin g   a n d   w o rk in g   a s  a  Re se a rc h   As sista n t  a t  th e   Nu e v a   G ra n a d a   M il it a ry   Un iv e rsit y   w it h   a n   e m p h a sis o n   R o b o ti c s an d   M a c h i n e   L e a rn in g .   E - m a il :   u 3 9 0 0 2 5 9 @ u n im il it a r. e d u . c o     Evaluation Warning : The document was created with Spire.PDF for Python.