I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   1 Feb r u ar y   2020 ,   p p .   1 0 5 3 ~ 1 0 6 2   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 1 . pp 1 0 5 3 - 1 0 6 2          1053       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Ass ista nt  ro bo th ro ug deep learn i ng       Ro bin s o n J i m é nez - M o re no ,   J a v ier  O .   P inzó n - Are na s Césa G .   P a chó n - Su esc ún   F a c u lt y   o f   En g in e e rin g ,   Nu e v a   G r a n a d a   M il it a ry   Un iv e rsit y ,   Co lo m b ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   17 ,   2 0 1 9   R ev i s ed   O ct  1 1 ,   2 0 1 9   A cc ep ted   Oct  2 0 ,   2 0 1 9       T h is  a rti c le  p re se n ts  a   w o rk   o rien ted   to   a ss isti v e   ro b o ti c s,  w h e re   a   sc e n a rio   is   e sta b li sh e d   f o a   ro b o t o   re a c h   a   to o in   t h e   h a n d   o f   a   u se w h e n   th e y   h a v e   v e rb a ll y   re q u e ste d   it   b y   h is  n a m e .   F o th is,   th re e   c o n v o l u ti o n a n e u ra l   n e tw o rk a re   train e d ,   o n e   f o re c o g n it io n   o f   a   g ro u p   o f   to o ls,   w h i c h   o b tain e d   a n   a c c u ra c y   o f   9 8 %   id e n ti fy in g   th e   to o ls  e sta b li sh e d   f o th e   a p p li c a ti o n ,   t h a a re   sc a lp e l,   sc re w d riv e a n d   sc isso rs;  o n e   f o s p e e c h   re c o g n it i o n ,   tr a in e d   w it h   th e   n a m e s   o f   th e   to o ls  in   S p a n i sh   lan g u a g e ,   w h e re   it v a li d a ti o n   a c c u ra c y   re a c h es   a   9 7 . 5 %   in   th e   re c o g n it io n   o f   th e   w o rd s;  a n d   a n o t h e f o r e c o g n it io n   o f   th e   u se r' h a n d ,   tak in g   in   c o n sid e ra ti o n   th e   c las sif ica ti o n   o f   2   g e stu re s:   Op e n   a n d   Cl o se d   h a n d ,   w h e re   a   9 6 . 2 5 %   a c c u ra c y   w a a c h iev e d .   W it h   th o se   n e tw o rk s,  tes ts  in   re a l - ti m e   a re   p e rf o r m e d ,   p re se n ti n g   re su lt in   t h e   d e li v e r y   o f   e a c h   to o w it h   a   1 0 0 %   o f   a c c u ra c y ,   i. e .   th e   ro b o w a a b le  t o   id e n ti f y   c o rre c tl y   w h a th e   u se re q u e ste d ,   re c o g n ize   c o rre c tl y   e a c h   to o l   a n d   d e li v e th e   o n e   n e e d   w h e n   th e   u se o p e n e d   th e ir   h a n d ,   tak in g   a n   a v e ra g e   ti m e   o f   4 5   se c o n d s in   th e   e x e c u ti o n   o f   th e   a p p li c a ti o n .   K ey w o r d s :   3 en v ir o n m e n t   C o n v o lu tio n al  n e u r al  n e t w o r k   R o b o tic  ap p licatio n s   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   R o b in s o n   J i m én ez   Mo r en o ,   Me ch atr o n ic s   E n g in ee r i n g   P r o g r a m ,   Fac u lt y   o f   E n g i n ee r i n g ,   Nu e v Gr an ad Militar y   Un i v er s it y ,   C ar r er 1 1   # 1 0 1 - 8 0 ,   B o g o tá  D . C . ,   C o lo m b ia.   E m ail:  r o b in s o n . j i m en ez @ u n i m ilit ar . ed u . co       1.   I NT RO D UCT I O N   I n   r ec en y ea r s ,   r o b o tics   h as  m o v ed   f r o m   t h in d u s tr ial  en v ir o n m en to   th d o m es tic,   d ab b lin g   w it h     w id v ar iet y   o f   ap p licatio n s   s u c h   as   en ter tai n m e n r o b o ts   [ 1 ] ,   p et  s itter s ,   f lo o r   [ 2 ]   an d   p o o clea n er s   [ 3 ] la w n m o w er s ,   an d   h ea lth ca r e   ass is tan t s   [ 4 ] ,   am o n g   m a n y   o th er   ap p licatio n s .   Fo r   th is   r ea s o n ,   w h er e     th i n cr ea s i n   h u m an - r o b o in ter ac tio n   i s   ev id en t,  it  i s   n ec ess a r y   to   d ev e lo p   tech n iq u es  t h at  p r o v id s ec u r it y   to o ls   in   s aid   i n ter ac tio n   [ 5 ] .   W ith in   t h f ield   o f   h u m an - r o b o in ter ac tio n ,   at  a n   i n d u s tr ial  lev el,   d ev e lo p m en ts   h av b ee n   p r esen ted   to   f ac ilit ate  th is   ta s k   s a f el y .   Fo r   ex am p le,   in   [ 6 ] ,   t h d ev elo p m e n o f   co llab o r ativ e   en v ir o n m e n b ased   o n   r estrict io n s   i s   p r esen ted   s o   th at   p er s o n   ca n   s h ar t h w o r k   ar ea   w it h   s et  o f   r o b o tic  ar m s ,   s a f el y .   T h ese  ap p licatio n s   i n v o l v eq u ip p in g   th r o b o w it h   ce r tain   d e g r ee   o f   ar tif i cial  in telli g e n ce   f o r   v ar io u s   ta s k s ,   s u ch   a s   f i n co n tr o l ( Fin m o tio n )   o f   t h s a m [ 7 ] .   So m o f   th e s d ev e lo p m en t s   e m p lo y   n o n - li n ea r   o p ti m i za tio n   al g o r ith m s   a n d   m ac h in v is io n   s y s te m s   to   estab li s h   s ec u r in ter ac tio n   s p ac e,   as  d is cu s s ed   in   [ 8 ] .   A d d itio n a ll y ,   t h s y s te m s   t h at  u s e   ar tif icial  v is io n   co m p le m e n t h is   tas k   b y   n e u r o n al  lear n i n g ,   as  illu s tr ated   in   [ 9 ] ,   w h er th e   g en er al  f r a m e w o r k   o f   an   a s s i s ta n r o b o b ased   o n   ar ti f icial  i n tell ig e n ce   i s   s et.   W ith i n   t h ese  ar ti f icial  in te lli g en ce   tech n iq u e s ,     th ap p licatio n s   o f   p atter n   r ec o g n itio n   th r o u g h   co n v o l u tio n al  n eu r al  n e t w o r k s   ( C NN)   ar h ig h li g h ted ,   w h ic h   in te g r ate  b o th   asp ec ts ,   id en ti f i ca tio n   in   i m a g es ( v is io n )   an d   p atter n   r ec o g n itio n   [ 1 0 ] .   C NNs  h a v s h o w n   h i g h   p e r f o r m an ce   in   th r ec o g n it io n   o f   o b j ec ts   [ 1 1 ]   an d   to d a y   s e v er al   ar ch itect u r es  o f   t h is   t y p o f   n e t w o r k   ar ap p lied   in   m ac h i n v is io n   ap p licatio n s   [ 1 2 ] So m e   ex a m p le s   o f   C NN  ap p licatio n   ar f r a m ed   in   f i eld s   s u ch   as   te x c lass if ica t io n ,   w it h   w eb   ap p licatio n s   [ 1 3 ]   o r   s ig n at u r   r ec o g n itio n   [ 1 4 ] ,   th u s   s h o w i n g   t h v er s ati l it y   o f   th e s n et wo r k s   i n   p atter n   r ec o g n itio n .   H o w e v er ,   v ar iatio n s   o f   C NN  b ase  ar c h itect u r es  ar s t ill  b ein g   d ev elo p ed   in   o r d er   to   i m p r o v asp ec t s   o f   lear n i n g ,   s u c h   as  th ca s o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No 1 Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1054   v ar iatio n s   in   th d ep th   at  w h ich   t h o b j ec ts   ar e,   as  s h o w n   in   [ 1 5 ,   1 6 ] .   I n   tu r n ,   m an y   f i eld s   o f   ap p licatio n   r eq u ir v ir tu a test   en v ir o n m en ts   i n   o r d er   to   v alid ate   t h e   alg o r ith m s   to   b u s ed   [ 1 7 ] ,   w h er C NNs  al s o   f ac ilit ate   th is   ta s k   f o r   r o b o tic  s y s te m s ,   as  s et  o u i n   [ 1 8 ] .   Ho w e v er ,   in   t h ar ea   o f   r o b o tics ,   s o m w o r k s   h a v j u s s tar ted   to   b d e v elo p ed   w it h   th i s   tec h n iq u e.   Fo r   ex a m p le,   i n   [ 1 9 ,   2 0 ]   o b j ec g r ip p in g   a lg o r i t h m s   ar e   d ev elo p ed   b y   m ea n s   o f   r o b o tic  m a n ip u lato r ,   p er f o r m i n g   r ec o g n itio n   b y   C NN.   An d   in   th ar ea   o f   h u m a n - r o b o in ter ac tio n   o f   th e   f e d ev elo p m e n ts   f o u n d ,   i s   t h o n p r esen ted   in   [ 2 1 ] ,   w h er th e y   d e s cr ib e   th d ev elo p m e n o f   s o cial   r o b o f o r   in ter ac tio n   in   d o m e s tic  en v ir o n m e n t.  An o th er   ar ea   o f   in ter est   ad d r ess ed   in   t h is   ar t icle  is   t h e   u s e   o f   C NN s   f o r   s p ee ch   r ec o g n i tio n   [ 2 2 ] ,   d e m o n s tr atin g   t h v er s ati lit y   o f   th i s   n et w o r k   f o r   w id r an g o f   a p p li ca tio n s .     Du to   t h g r ea v er s a tili t y   an d   ef f icie n c y   o f   t h C NN,   in   t h p r esen p ap er ,   th ese  a r u s ed   i n     th o p er atio n   o f   an   ass is ta n r o b o ar m .   Said   ar m   i s   co m m an d ed   b y   th e   tr ain in g   o f   t h r ee   C NN  n et w o r k s ,   o n f o r   id en ti f icatio n   o f   g r o u p   o f   th r ee   to o l s ,   a n o th er   f o r   s p ee ch   r ec o g n itio n   a n d   an o t h e r   f o r   id en tific atio n   of   th u s er ' s   h an d .   T h ass i s t an ce   s y s te m   w ill  b ab le  to   lis ten   to   w h at  to o l   is   d esire d ,   id en tify   it  w it h i n   g r o u p ,   tak it a n d   d eliv er   it i n   th h a n d ,   if   it i s   o p en ,   o f   u s er .   T h is   ar ticl is   d iv id ed   i n to   4   s ec tio n s .   Sectio n   t w o   s h o w s   t h C NN   ar ch itec tu r es  d e v elo p ed   an d   i m p le m e n ted   i n   t h is   w o r k .   Sectio n   3   s h o w s   t h r es u lt s   o b tain ed   an d   th r esp ec tiv a n al y s i s .   I n   s ec tio n   4 ,   th d er iv e d   co n clu s io n s   ar p r esen ted .       2.   CNN   ARCH I T E CT U RE S   T h p r o p o s ed   elem e n ts   t h at  m ak u p   t h co m p lete  i m p le m e n tatio n   o f   t h ass is ta n r o b o is   p r esen ted   in   F ig u r 1 .   I t   co n s i s ts   o f   u s er   th at   v er b all y   i n d icate s   th e   d esire d   to o s o   t h at  th r o u g h   s u p er v is o r y   ca m er a,   w h ic h   ta k es  t h to p   v ie w   o f   th s ce n e,   a n d   w it h   t h is ,   th to o an d   t h u s er 's  h an d   ar ca p tu r ed .   T h id en tif icat io n   o f   th s p ee ch   co m m a n d ,   th to o l,  an d   t h e   h an d   i s   d o n t h r o u g h   t h u s o f   C NN.   T h is   t y p e   o f   n et w o r k   in v o l v es  th ca lc u latio n   o f   p ar ticu lar   ar ch itec t u r es  b ased   o n   lay er s   o f   th C o n v o lu tio n - R e L U - P o o lin g   s ets  [ 8 ] .   Her e,   th in p u v o l u m f o r   th in iti al  la y er   co r r esp o n d s   to   m atr ices  th at  co n tai n     th lear n in g   p atter n s ,   f o r   th e   ca s e,   i m ag e s ,   an d   a u d io   in f o r m at io n ,   u s i n g   th r ee   co m p o n en t s   f o r   ea ch   o n e   ( d ep th ) .   Ho w ev er ,   w h e n   t h v o lu m p a s s es   th r o u g h   t h n ex la y er s ,   i v ar ie s   it s   s ize,   f o r   t h at  r ea s o n ,   th ( 1 )     to   ( 3 )   illu s tr ate  h o w   to   ca lcu la te  th v o l u m es  f o r   th f o llo w i n g   la y er s .         ( 1 )       ( 2 )                      ( 3 )     I n   t h eq u at io n s ,   n   an d   n +1   a r th i n p u a n d   o u tp u v o lu m e,   r esp ec ti v el y ,   W   is   t h w i d th   a n d   H,     th h ei g h o f   t h in p u i m ag e   o f   la y er   n ,   P   is   th ze r o   p ad d in g ,   i s   th s ize   o f   th f ilte r   o r   k er n el  an d   S,   th s tep   o f   th f ilter s .   I n   ( 3 ) ,   r ep r esen ts   h o w   d ee p   th e   lay er   is   a n d   K ,   th n u m b er   o f   f ilter s   u s ed   in   la y er   n   [ 2 3 ] .           Fig u r e   1 .   E le m en t s   t h at  ar p ar t o f   th w o r k       2 . 1 .     I m ple m e nte d a rc hite ct u re s     Fo r   th d e s ig n   o f   th e   C N ar c h itect u r es,  t h r ee   d atab ase s   w er b u ilt   ac co r d in g   to   t h a f o r em en tio n ed   ele m e n ts .   Nex t,   th e   ch ar ac t er is tics   o f   ea c h   ar c h itect u r i m p le m e n ted   w it h   i ts   r esp ec tiv d atab ase  ar e   p r esen ted .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1055   2 . 1 . 1   Arc hite ct ure  1   ( s peec h )   T h d atab ase  co n s is ts   o f   3   S p an is h   w o r d s   ( b is tu r í”  ( s ca l p el) ,   d esto r n illad o r ”  ( s cr e w d r iv er )   an d   tij er as”  ( s ciss o r s ) ) ,   th at  ar th to o ls   to   b u s ed ,   f r o m   wh ich     5 5   r ec o r d in g s   p er   w o r d   w er ta k en   f r o m   d if f er e n u s er s ,   ea ch   au d io   i s   2   s ec o n d s   lo n g .   T h d atab ase  is   d iv id ed   in to   2   s e ts ,   o n f o r   tr ain i n g   w it h   to ta l   o f   3 7 5   au d io s ,   an d   o n f o r   v alid atio n   w i th   9 0   s a m p les.  E ac h   au d io   is   ac q u ir ed   w it h   s a m p lin g   f r eq u en c y     o f   1 6 0 0 0   Hz .   Fo r   th is ,   ex tr ac ti o n   o f   f ea tu r es  o f   ea ch   a u d io   s i g n al  is   d o n e,   i n   o r d er   to   o b tai n   m ap   t h at  allo ws   s ee in g   t h b eh av io r   o f   th s ig n al  th r o u g h   ti m at  d i f f er en f r eq u en cie s .   T h is   ex tr ac tio n   is   ca r r ied   o u t b y   m ea n s   o f   an   ap p r o x i m atio n   o f   t h M F C C   o b tain ed   b y   t h Hid d en   Ma r k o v   Mo d el  T o o lk it  [ 2 4 ] ,   u s in g   ( 4 ) ,   w h er C   is   th n u m b er   o f   ce p s tr al  co ef f ic ien ts ,   i n   th is   ca s e ,   is   1 3 M   is   th n u m b er   o f   f ilter   ch a n n els ,   w h o s v a lu i s   2 0 L   is   th v al u r esp o n s ib le  f o r   in cr e m e n t i n g   t h ce p s tr al  v al u es,  u s in g   v al u o f     L=2 2 ,   w h ic h   is   n o r m al l y   u s ed   to   g e n er ate  g o o d   f r o n t - en d   p ar a m eter izatio n   i n   s p ee c h   r ec o g n itio n   s y s te m s a n d   m j   is   th lo g ar it h m   o f   th m a g n it u d s p ec tr u m .   A   f ea tu r m ap   as  t h o n s h o wn   in   Fig u r 2   is   o b tain ed ,   an d ,   f o r   r o b u s tn es s   p u r p o s es  in   ter m s   o f   t h n et wo r k   lear n in g ,   its   f ir s a n d   s ec o n d   d er iv ativ es  ar ad d ed   to   t h m atr i x ,   f o r m in g     th r ee - c h an n el  i n p u v o lu m e.           (              (      ) )             (      (           ) )                             ( 4 )           Fig u r e   2 .   E x a m p le  o f   a n   au d io   s ig n al  f r o m   th d atab ase  a n d   th MF C C   o b tain ed       T ab le  1   s h o w s   t h ar ch i tectu r u s ed ,   w h ic h   i s   b ased   o n   p r ev io u s   d e v elo p m e n [ 2 5 ] .   T h is   co n s is t s   o f   3   s et s   o f   C o n v o lu tio n - C o n v o l u tio n - P o o lin g ,   w it h   s q u a r f ilter s   i n   o r d e r   to   allo w   t h n et w o r k   to   lear n   th b eh a v io r   o f   th e   w o r d s   i n   ter m s   o f   ti m a n d   f r eq u e n c y   at  th s a m ti m e.   T h s e co n d   p ar a m et er   o f   th k er n el  i s   g i v e n   as  S /P ,   w h er is   t h s tr id o f   th m o v e m e n o f   th f ilter   a n d   P   is   th ze r o - p ad d in g   ap p lied   to   th in p u v o lu m e.   I n   ad d itio n ,   2   f u ll y   co n n ec te d   lay er s   ar ad d ed ,   allo w i n g   b etter   lear n in g   o f   th co m b in a tio n   o f   t h d if f er en f ea t u r es.  Si n ce   in   MF C C ,   co ef f icie n v alu e s   h a v v ar iatio n   b o th   n eg a tiv a n d   p o s itiv e,   th ac ti v atio n   f u n ct io n   R e L is   n o u s ed ,   in   o r d er   to   k ee p   n eg ati v v al u es.   W ith   t h ar ch itect u r an d   th d atab ase  b u i lt,  th tr ai n in g   i s   p er f o r m ed   f o r   5 0 0   ep o ch s ,   ac h ie v i n g   a   9 7 . 5 ac cu r ac y   w it h   th v al id atio n   s et.       T ab le  1 .   C NN  A r ch i tectu r f o r   s p ee ch   L a y e r   K e r n e l   F i l t e r s   I n p u t   1 2 x 1 9 9 x 3   -   C o n v o l u t i o n   5 x 5   1 / 2   32   C o n v o l u t i o n   5 x 5   1 / 2   32   M a x P o o l i n g   2 x 1   2 / 0   -   C o n v o l u t i o n   3 x 3   1 / 1   64   C o n v o l u t i o n   3 x 3   1 / 1   64   M a x P o o l i n g   2 x 3   2 / 0   -   C o n v o l u t i o n   2 x 2   1 / 1   1 2 8   C o n v o l u t i o n   3 x 3   1 / 1   1 2 8   M a x P o o l i n g   2 x 2   2 / 0   -   F u l l y - C o n n e c t e d   1   5 1 2   F u l l y - C o n n e c t e d   1   2 0 4 8   F u l l y - C o n n e c t e d   1   3   S o f t max   3   -   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No 1 Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1056   2 . 1 . 2 .   Arc hite ct ure  2   ( ha nd )   Fo r   th r ec o g n itio n   o f   t h h a n d ,   th er w er e s tab lis h ed   2   ca teg o r ie s Op e n   an d   C lo s ed ,   s in ce   it  i s   w a n ted   to   k n o w   th e s t w o   g estu r es.  W it h   th i s ,   d ataset  w a s   b u ilt,  co n s i s ti n g   o f   1 9 0 0   i m ag e s ,   w h ic h   w as  d iv id ed   to   h av s et  f o r   tr ain i n g   a n d   an o t h er   f o r   v a lid ated   th n et w o r k   p er f o r m a n ce .   Fo r   t r ain in g ,   7 0 0   i m a g es   o f   th o p en   h a n d   an d   7 0 0   o f   th clo s ed   h a n d   w er ta k en ,   an d   f o r   v al id atio n ,   2 5 0   i m ag e s   o f   ea c h   ca teg o r y   w er u s ed .   T h ar ch i tectu r p r o p o s ed   is   b ased   o n   p r ev io u s   w o r k ,   s h o w n   in   [ 2 3 ]   an d   th at  ca n   b s ee n   in   T ab le  2 .   I s h o u ld   b h i g h lig h t ed   t h at  ea c h   co n v o l u ti o n   an d   f u l l y   co n n ec ted   h a v a   R e L U   la y er .   T h is   ar ch itect u r e,   af ter   b ein g   t r ain ed ,   ac h iev ed   a n   ac cu r ac y   o f   9 6 . 2 5 % in   th class i f ica tio n   o f   b o th   g est u r es.       T ab le  2 .   C NN  A r ch i tectu r f o r   h an d   g e s tu r e   L a y e r   K e r n e l   F i l t e r s   I n p u t   6 4 x 6 4 x 3   -   C o n v o l u t i o n   4 x 4   1 / 2   20   C o n v o l u t i o n   4 x 4   1 / 0   20   Ma x Po o l i n g   2 x 2   2 / 1   -   C o n v o l u t i o n   5 x 5   1 / 0   50   C o n v o l u t i o n   5 x 5   1 / 0   50   Ma x Po o l i n g   2 x 2   2 / 0   -   C o n v o l u t i o n   4 x 4   1 / 0   2 0 0   Ma x Po o l i n g   3 x 3   2 / 0   -   Fu l l y - C o n n e c t e d   1   2 0 0   Fu l l y - C o n n e c t e d   1   2   S o f t m a x   2   -       T o   im p r o v t h r ec o g n itio n   o f   th g es tu r es,   p r ep r o ce s s in g   alg o r ith m   w a s   ap p lied ,   w h er b y   m ea n s   o f   ac q u i s itio n   o f   th e   m ea n   o f   th e   b ac k g r o u n d   a n d   m o r p h o lo g ic  f ilter s ,   th e   lo ca tio n   o f   t h h a n d   is   o b tain ed ,   in   s u ch   w a y   th at  t h alg o r it h m   g e n er ates  b o u n d i n g   b o x   o f   th n e w   o b j ec in   th s ce n e.   T h en ,   it  is   cr o p p e d   an d ,   d ep en d in g   o n   t h g r ea ter   v alu o f   t h b o x   s id e,   th cr o p p e d   i m a g i s   p asted   i n   w h ite  s q u ar e,   to   th e   b ein g   e n ter ed   to   t h e   n et w o r k   f o r   i ts   r ec o g n i tio n .   T h f i n al  r es u lt   o f   t h r ec o g n itio n   i s   s h o w n   i n   Fig u r 3 ,   w h er th y el lo w   b o x   is   th f ir s b o u n d i n g   b o x   f o u n d .   A d d itio n all y ,   t h n u m b er   g iv e n   in   th b o x   is     th co n f id e n ce   o f   t h n et w o r k   w it h   r esp ec t to   t h e   g e s tu r e   r ec o g n ized ,   w h er t h h i g h   e f f ici en c y   o f   th e   s u cc es s   is   ev id e n t .           Fig u r 3 .   Han d   r ec o g n itio n       2 . 1 . 3 Arc hite ct ure  3   ( t o o ls )   T h th ir d   ar ch itec tu r i s   r esp o n s ib le  f o r   id en ti f y i n g   t h t h r ee   to o ls   to   b u s ed .   Fo r   t h e   n et w o r k   tr ain i n g ,   i i s   b u il d atab as th at   is   co m p o s ed   o f   7 0 0   i m ag e s .   D u to   t h f ac t   th a t h to o ls   h a v m o r e   f ea t u r es  to   b lear n ed   an d   th n ee d   o f   d if f er en tiati n g   s o m o f   th s i m ilar ities   t h at  t h to o ls   h av e,   it  w as   d ec id ed   to   u s b ig g er   i m a g s ize,   th at  f o r   th is   ca s e,   it   w as  1 2 8   x   1 2 8   p ix els  in   R GB   s ca le.   T o   allo w   th n et w o r k   to   lear n   g lo b al  f e atu r es  o f   t h to o ls ,   s u c h   as  ed g es  a n d   s h ap es,  t h f ilter s   ar p r o p o s ed   w it h   s izes   b ig g er   th a n   t h n o r m al l y   u s ed ,   as  th p r ev io u s   n et w o r k .   I n   t h is   ca s e,   f ilter s   t h at  v ar y   th e ir   s izes  f r o m   7 x 7   to   1 2 x 1 2   ar u s ed .   I n   ad d itio n ,   ea ch   co n v o lu tio n   la y er   h as   a n   ac ti v atio n   f u n ctio n   o f   R e L U.   T h ar ch itect u r p r o p o s ed   is   s h o w n   in   T ab le  3 .   Fig u r 4   illu s tr ates  t h r esu lt  o f   th n et w o r k   a n d   th m ai n   ac tiv atio n s   o b tain ed ,   th ese  allo w   to   d e m o n s tr ate  t h clea r   lear n in g   o f   ea c h   to o l,  w h er an   ac c u r ac y   o f   9 8 o f   ac cu r ac y   i n   th clas s i f icatio n   o f   t h t h r ee   class es  w a s   o b tain ed   af ter   it s   tr ain i n g   w i th   t h d atab ase  b u ilt   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1057   T ab le  3 .   C NN  a r ch itectu r f o r   t ool   L a y e r   K e r n e l   F i l t e r s   I n p u t   1 2 8 x 1 2 8 x 3   -   C o n v o l u t i o n   1 2 x 1 2   1 / 0   20   C o n v o l u t i o n   1 1 x 1 1   1 / 0   40   Ma x Po o l i n g   3 x 3   2 / 0   -   C o n v o l u t i o n   1 0 x 1 0   1 / 0   80   C o n v o l u t i o n   9 x 9   1 / 0   1 6 0   Ma x Po o l i n g   2 x 2   2 / 0   -   C o n v o l u t i o n   8 x 8   1 / 0   1 8 0   C o n v o l u t i o n   7 x 7   1 / 0   2 0 0   Fu l l y - C o n n e c t e d   1   2 0 0   Fu l l y - C o n n e c t e d   1   3   S o f t m a x   3   -           Fig u r 4 .   R ec o g n i tio n   o f   to o ls       2 . 2 .     K inem a t ic  m o del o f   t he  ro bo t     T h k in e m atic   m o d el  o f   t h ar m   i s   r eq u ir ed   to   b ab le  to   est ab lis h   t h d i s p lace m e n o f   t h is   w ith in   it s   w o r k s p ac e,   in   w h ich   b o th   t h to o ls   a n d   t h u s er ' s   h a n d   ar lo ca ted .   I n   Fi g u r 5 ,   it  ca n   b o b s er v ed     th g eo m etr ic  m o d el  th at  allo w s   i n f er r in g   ( 5 )   to   ( 14 ) ,   th r o u g h   w h ic h   it  ca n   b s et  th an g u lar   m o v e m e n ts   o f   th r o b o t.  Fro m   th e   to p   v ie w ,   t h an g le  o f   j o in t 1   (     )   an d   t h co m p o n en t o f   p o in t P   o f   t h e   f i n al  e f f ec to r   ar o b s er v ed ,   th r o u g h   w h ich   ( 5 )   an d   ( 6 )   ar estab lis h ed .                             ( 5 )                         ( 6 )           Fig u r 5 .   Kin e m atics o f   th r o b o tic  ar m       B y   m ea n s   o f   t h f r o n ta v ie w ,   th a n g le s   o f   j o in t s   2   an d   3   ar o b tain ed ,   ca lcu lati n g   t h l en g t h   " d " ,   an d   th an g le  α   th r o u g h   ( 7 )   to   ( 10 ) ,   th u s   d eter m in in g   t h an g le        o f   j o in t 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No 1 Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1058       (          )                ( 7 )                                               ( 8 )                                 ( 9 )                 (                                                           )   ( 1 0 )     T h       an g le  o f   j o in 2   is   ca lcu la ted   u s i n g   β  a n d   α   u s i n g   ( 11 )   an d   ( 13 ) .   Sin ce   th an g le  o f   th e   s ec o n d   j o in t   ca n   h a v t w o   d i f f er en t   v alu es,  d ep en d i n g   o n   t h g r ip   o f   t h m a n ip u lato r   u s in g   e lb o w   u p   o r   elb o w   d o w n ,   th ( 1 4 )   is   u s ed .                                     ( 1 1 )                                           ( 1 2 )                                               ( 1 3 )         {     |   |     |   |   ( 1 4 )     W ith   t h ese   p ar a m eter s ,   it  i s   p o s s ib le  to   co n tr o t h m o v e m e n o f   t h r o b o t,  wh er e,   o n ce   o b tai n ed     th p o s itio n s   o f   th g eo m etr i ce n ter   o f   th to o an d   th h an d ,   th eta  an g les  ar s et  i n   o r d er   to   r ea ch   th o s e   p o s itio n s ,   tak in g   i n to   ac co u n th at  t h r ef er en ce   i s   th r o b o t b ase .       3.   E XP E R I M E NT A L   RE SUL T S   T h ap p licatio n   s tar ts   b y   s a y i n g   t h d esire d   to o l,  i.e .   th u s er   s tar ts   th r ec o r d in g ,   w h er th eir   v o ice   is   ca p tu r ed .   Af ter   2   s ec o n d s ,   th v o ice  s i g n al  is   s en t   to   th p r o ce s s in g   al g o r ith m   to   t h en   b en ter ed   to     th C NN  f o r   s p ee ch .   On ce   t h e   n et w o r k   r ec o g n ize s   th w o r d ,   th u s er   d ec id es  if   it  w as  co r r ec tl y   r ec o g n ized   o r   n o t.  I f   n o t,  it  r etak e s   t h au d io .   I f   s o ,   th alg o r ith m   p r o ce ed s   to   id en tify   th to o r eq u este d ,   tak i n g   ca p tu r o f   th to o ls   an d   th e n   s e n d   it  to   th C N f o r   to o ls .   W h en   t h e   o n w a n ted   is   id en t if ied   an d   lo ca ted ,   th r o b o t   tak es  it.  I n   o r d er   to   d eliv er   th o b j ec t,  th u s er   p u h is   h a n d   in   f r o n o f   t h ca m er a,   i n   o r d er   to   ca p tu r it  an d   r ec o g n ize  i f   it  is   o p en   o r   clo s e d .   W h en   i id e n ti f ies   th e   o p en   h an d   f o r   2   s ec o n d s ,   t h r o b o d eliv er s   t h o b j ec to   th p o s itio n   o f   t h h an d ,   g i v e s   th to o l,  an d   t h en   r etu r n s   to   its   i n itia p o s itio n .   W h e n   t h u s er   c lo s es  th eir   h an d ,   t h e   alg o r it h m   e n d s   a   c y cle  a n d   w ai t s   f o r   t h u s er   t o   s tar ts   a n o t h er   r ec o r d in g .   T h f lo w c h ar o f   t h is   alg o r ith m   ca n   b s ee n   i n   Fi g u r 6 .   Fig u r 7   illu s tr ates  t h f ir s s t ep   o f   th p r o ce s s ,   w h er th s cr e w d r i v er   to o is   ch o s en   a s   an   o p tio n   an d   th r ec o g n i tio n   o f   it  s u cc e s s f u l l y   i s   v alid ated Fro m   th ca p tu r o f   th to o ls ,   th r ec o g n itio n   a n d   p o s itio n   o f   t h s cr e w d r i v er   ar e   v alid at ed ,   as  s h o w n   i n   F ig u r 8 Fig u r 9   ill u s tr ates   th e   p r o ce s s   o f   m o v in g   th e   r o b o tic  ar m   to   th lo ca tio n   o f   th d esire d   to o l,   w h er it  is   g r asp ed   b y   t h en d   ef f ec to r   to   b e   d eli v er ed   to   th u s er 's   h an d ,   i f   it   is   o p en ,   as   s h o w n   i n   F ig u r 1 0 .   T h p r o ce s s   o f   t h f lo w   c h ar o f   Fi g u r 6   is   r ep ea ted   w it h   ea ch   o f   th t h r ee   to o ls ,   s u cc e s s f u ll y   a ch iev in g   t h th r ee   b as ic  p r o ce s s es:   s p ee c h ,   to o an d   h a n d   g est u r r ec o g n itio n ,   an d   m an a g i n g   to   d eli v er   ea ch   to o l.  T h av er ag e x ec u tio n   ti m o f   t h w h o le  p r o ce s s   is   4 5   s ec o n d s .   F ig u r 1 1   s h o w s   t h g r ip   an d   tr a n s f er   o f   t h to o s cis s o r s .   T h tes ts   w er ca r r ied   o u t   w it h   p o l y s t y r en e   to o ls ,   i n   s u c h   w a y   t h at  t h e y   e m u lated   th r ea d im e n s io n s ,   d u to   th u s o f   a n   ac ad e m ic  r o b o tic  ar m   w it h   n o   lo ad   ca p ac it y   an d   s u f f ic ien g r ip   f o r   m a n ip u latio n   o f   th r ea l to o ls .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1059       Fig u r 6 .   A l g o r ith m   f lo w ch ar t           Fig u r 7 .   Sp ee ch   r ec o g n itio n   t est           Fig u r 8 .   R ec o g n i tio n   o f   t h t o o l     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No 1 Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1060             Fig u r 9 .   L o ca ti o n   an d   g r ip           Fig u r 1 0 .   Deliv er y   o f   t h to o l             Fig u r 1 1 .   Valid atio n   w i th   s c i s s o r s         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A s s is ta n t ro b o t th r o u g h   d ee p   l ea r n in g   ( R o b in s o n   Jimé n ez - M o r en o )   1061   4.   CO NCLU SI O N     I w as  p o s s ib le  to   o b tain   f u n ctio n al  ap p licatio n   o f   ass is ti v e   r o b o tics ,   w h ich   i s   ca p ab le  o f   r ec eiv in g   an d   co r r ec tly   id en t if y i n g   v o i ce   co m m a n d ,   a s s o ciatin g   it  w i th   p h y s ical  o b j ec t,  tak in g   it  an d   d eliv er in g   it  to   th h a n d   o f   u s er .   I n   ad d itio n ,   it  w as  e v id en ce d   b y   t h v e r s atilit y   o f   C NN  n et w o r k s   f o r   ass is t iv r o b o tics   ap p licatio n s ,   w h ich   r eq u ir p atter n   r ec o g n itio n   al g o r ith m s .   W h ile  t h t i m e s   o b t ain ed   m a y   s ee m   h i g h ,   it  i s   n o te w o r t h y   th a co m p u ter   was  u s ed   th at  d o es  n o o p er ate  th al g o r ith m   i n   r ea l - t i m e,   s o   t h at  it s   ex ec u tio n   i n   d ed icate d   eq u ip m e n w o u ld   b r ed u ce d .   T h d ev elo p ed   s y s te m   m a n a g es  to   s u cc es s f u l l y   d eliv er   th tr ai n ed   to o ls ,   h o w e v e r ,   in cr ea s i n g   t h s et  o f   t h ese  to   m o r ca t eg o r ies,  r eq u ir es  r ed esig n i n g   th co n v o l u tio n a n et w o r k s ,   w h ich   ca n   in v o l v ar ch itect u r es  w i th   g r ea ter   d ep th   a n d   co n s eq u e n tl y   ta k m o r ti m e   to   e x ec u te   th as s is ti v tas k .       ACK NO WL E D G E M E NT S   T h au th o r s   ar g r atef u to   th e   N u ev a   Gr an ad Mi litar y   U n i v er s it y   f o r   t h s u p p o r g i v e n   i n     th d ev elo p m e n t o f   t h i s   w o r k .       RE F E R E NC E S     [1 ]   E.   Jo c h u m ,   P .   M il lar,  a n d   D.  N u ñ e z ,   S e q u e n c e   a n d   c h a n c e De sig n   a n d   c o n tr o m e th o d f o e n terta in m e n ro b o ts,   Ro b o ti c s a n d   Au t o n o mo u s S y ste ms ,   v o l.   8 7 ,   p p .   3 7 2 - 3 8 0 ,   2 0 1 7 .   DO I:  1 0 . 1 0 1 6 /j . r o b o t. 2 0 1 6 . 0 8 . 0 1 9   [2 ]   N.  K.  S a h u ,   N.K .   S h a rm a ,   M . R.   Kh a n ,   a n d   D . K.  G a u ta m ,   Co m p a ra ti v e   S tu d y   o n   F lo o Clea n e r,   J o u rn a o P u re   Ap p li e d   a n d   In d u stri a P h y sic s ,   v o l.   8 (1 2 ),   p p .   2 3 3 - 2 3 6 ,   2 0 1 8 .   [3 ]   V . R.   Ba ti sta   a n d   F . A .   Z a m p iro ll i,   Op ti m isin g   Ro b o ti c   P o o l - Cl e a n in g   w it h   a   G e n e ti c   A lg o rit h m ,   J o u rn a o f   In telli g e n &   Ro b o ti c   S y ste ms ,   v o l.   9 5 (2 ),   p p .   4 4 3 - 4 5 8 ,   2 0 1 9 .   DO I:  1 0 . 1 0 0 7 /s 1 0 8 4 6 - 0 1 8 - 0 9 5 3 - y   [4 ]   R. M .   A g ri g o ro a ie,  a n d   A .   T a p u s,  De v e lo p in g   a   h e a lt h c a re   ro b o w it h   p e rso n a li z e d   b e h a v io rs  a n d   so c ial  sk il ls  f o r   th e   e ld e rly ,   In   2 0 1 6   1 1 th   AC M /IE EE   In ter n a ti o n a Co n fer e n c e   o n   Hu ma n - R o b o In ter a c ti o n   ( HRI),   IEE E   p p .   5 8 9 - 5 9 0 ,   2 0 1 6 .   DO I:   1 0 . 1 1 0 9 /HRI. 2 0 1 6 . 7 4 5 1 8 7 0   [5 ]   J.  G u io c h e t,   M .   M a c h i n ,   a n d   H.  W a e se l y n c k ,   S a f e t y - c rit ica a d v a n c e d   ro b o ts:  A   su rv e y ,   Ro b o ti c a n d   Au to n o m o u S y ste ms ,   v o l.   9 4 ,   p p .   4 3 - 5 2 ,   2 0 1 7 .   DO I:  1 0 . 1 0 1 6 /j . r o b o t. 2 0 1 7 . 0 4 . 0 0 4   [6 ]   J.  De   Ge a   F e rn á n d e z ,   e a l . ,   M u lt im o d a se n so r - b a se d   w h o le - b o d y   c o n tro f o h u m a n ro b o c o ll a b o ra ti o n   i n   in d u strial  se tt in g s,”  R o b o ti c s a n d   Au to n o m o u S y ste ms ,   v o l.   9 4 ,   p p .   1 0 2 - 1 1 9 ,   2 0 1 7 .     [7 ]   J.  W a rc z y ń sk i,   Ro b o F in e - M o ti o n   C o n tr o l,   IF AC  Pro c e e d i n g s V o lu me s ,   v o l.   3 3 ,   n o .   2 7 ,   p p .   4 3 - 4 8 ,   2 0 0 0 .   [8 ]   R. J.  M o re n o ,   M .   M a u led o u x ,   a n d   O . F .   A v il é s,  P a t h   Op ti m iz a ti o n   P lan n in g   f o H u m a n - Ro b o I n tera c ti o n ,   In ter n a t io n a J o u rn a o A p p li e d   En g i n e e rin g   Res e a rc h ,   v o l.   1 1 ,   n o .   2 2 ,   p p .   1 0 8 2 2 - 1 0 8 2 7 ,   2 0 1 6 .   [9 ]   C.   Bo u sq u e t - Je tt e ,   e a l . ,   F a st   sc e n e   a n a l y sis  u sin g   v isio n   a n d   a rti f icia in telli g e n c e   f o o b jec p re h e n sio n     b y   a n   a ss isti v e   ro b o t,   En g in e e rin g   Ap p l ica ti o n o Arti f ici a In telli g e n c e ,   v o l.   6 3 ,   p p .   33 - 4 4 ,   2 0 1 7 .     DO I:  1 0 . 1 0 1 6 / j. e n g a p p a i. 2 0 1 7 . 0 4 . 0 1 5   [1 0 ]   M . D.  Zeiler  a n d   R .   F e rg u s,   V is u a li z in g   a n d   u n d e r sta n d in g   c o n v o lu ti o n a l   n e tw o rk s,”   In   E u ro p e a n   c o n fer e n c e   o n   c o mp u ter   v isio n ,   S p ri n g e r,  C h a m 2 0 1 4 ,   p p .   8 1 8 - 8 3 3 ,   S e p   2 0 1 4 .   D OI:  1 0 . 1 0 0 7 /9 7 8 - 3 - 3 1 9 - 1 0 5 9 0 - 1 _ 5 3   [1 1 ]   A .   Kriz h e v sk y ,   I.   S u tsk e v e r,   a n d   G .   E.   Hin to n ,   Im a g e n e c las si f ic a ti o n   w it h   d e e p   c o n v o l u ti o n a n e u ra n e tw o rk s,”  In   Ad v a n c e s in   n e u r a i n fo rm a ti o n   p r o c e ss in g   sy ste ms ,   p p .   1 0 9 7 - 1 1 0 5 ,   2 0 1 2 .   [1 2 ]   F .   T u ,   e a l. De e p   Co n v o l u ti o n a Ne u ra Ne tw o rk   A rc h it e c tu re   w it h   Re c o n f ig u ra b le  Co m p u tatio n   P a tt e rn s,     IEE T ra n sa c ti o n o n   Ver y   L a rg e   S c a le  I n teg ra t io n   ( VL S I)   S y ste ms ,   v o l.   2 5 ( 8 ) ,   p p .   2 2 2 0 - 2 2 3 3 ,   2 0 1 7 .   DOI 1 0 . 1 1 0 9 /T V L S I. 2 0 1 7 . 2 6 8 8 3 4 0   [1 3 ]   S .   A ich ,   S .   Ch a k ra b o rt y ,   a n d   H.C.   Kim ,   Co n v o lu ti o n a n e u ra n e tw o rk - b a s e d   m o d e f o w e b - b a se d   te x c las si f ica ti o n ,   In ter n a ti o n a J o u rn a o El e c trica a n d   Co mp u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l.   9 (6 ),   p p .   5 1 8 5 - 5 1 9 1 ,   2 0 1 9 .   DO I:   1 0 . 1 1 5 9 1 / ij e c e . v 9 i6 . p p 5 1 8 5 - 5 1 9 1   [1 4 ]   J.O.  P in z ó n - A re n a s,  R.   Jim é n e z - M o re n o ,   a n d   C. G .   P a c h ó n - S u e sc ú n ,   Of f li n e   sig n a tu re   v e ri f ica ti o n   u si n g   DA G - CNN , ”  In ter n a ti o n a J o u rn a o El e c trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   9 (4 ),   p p .   3 3 1 4 - 3 3 2 2 ,   2 0 1 9 .     DO I:  1 0 . 1 1 5 9 1 /i jec e . v 9 i4 . p p 3 3 1 4 - 3 3 2 2   [1 5 ]   R.   Jim e n e z - M o re n o   a n d   D.  Ov a l le  M a tri n e z ,   A   No v e P a ra ll e Co n v o l u ti o n a Ne tw o rk   A r c h it e c tu re   f o De p th - De p e n d e n Ob jec Re c o g n it io n ,   In ter n a ti o n a Rev iew  o Au t o ma ti c   Co n tro l ,   v o l.   1 2 (2 ),   p p .   7 6 - 8 1 ,   2 0 1 9 .     DO I:  1 0 . 1 5 8 6 6 /i re a c o . v 1 2 i2 . 1 6 4 6 7   [1 6 ]   M.   S.   H.   Al - Ta m i m i,   Co m b in in g   c o n v o l u ti o n a n e u ra n e t w o rk s   a n d   sla n tl e tran sf o rm   fo a n   e ff e c ti v e     im a g e   r e tri e v a s c h e m e ,   In ter n a ti o n a J o u rn a o El e c trica a n d   Co m p u ter   E n g i n e e rin g   ( IJ ECE ) ,   v o l.   9 ( 5 ) ,     p p .   4 3 8 2 - 4 3 9 5 ,   2 0 1 9 .   DO I:   1 0 . 1 1 5 9 1 /i jec e . v 9 i5 . p p 4 3 8 2 - 43 95   [1 7 ]   A .   V o ro to v a ,   V .   F in a e v ,   V .   S o l o v iev ,   a n d   M .   M e d v e d e v ,   S tati stica Da ta   P ro c e ss in g   o f   Tw o   M o b i le  Ob jec ts  Be h a v io in   Ra n d o m   En v iro n m e n ts  Us in g   S i m u latio n   M o d e li n g   M e th o d ,   In ter n a ti o n a Rev iew  o Au to ma ti c   Co n tro l ,   v o l.   1 2 (4 ) ,   2 0 1 9 .   [1 8 ]   J.  O.  P .   A re n a s,  R.   Jim é n e z ,   a n d   P .   C.   U.   M u r il lo ,   F a ste R - CNN   f o o b jec l o c a ti o n   in   a   Virtu a E n v iro n m e n f o so rti n g   tas k ,   In ter n a ti o n a l   J o u r n a o On li n e   E n g i n e e rin g   ( iJO E) ,   v o l.   1 4 (0 7 ),   p p .   4 - 1 4 ,   2 0 1 8 .   [1 9 ]   Z.   W a n g ,   Z.   L i,   B.   W a n g ,   a n d   H.  L iu ,   Ro b o g ra sp   d e tec ti o n   u sin g   m u lt im o d a d e e p   c o n v o lu ti o n a n e u ra l   n e tw o rk s,”  Ad v a n c e s in   M e c h a n i c a En g in e e rin g ,   v o l .   8 ( 9 ) ,   p p .   1 - 1 2 ,   2 0 1 6 .   DO I:  1 0 . 1 1 7 7 / 1 6 8 7 8 1 4 0 1 6 6 6 8 0 7 7   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No 1 Feb r u ar y   2 0 2 0   :   1 0 5 3   -   1 0 6 2   1062   [2 0 ]   D.  Ka las h n ik o v ,   e a l . ,   Qt - o p t:   S c a lab le  d e e p   re in f o rc e m e n lea rn in g   f o v isio n - b a se d   ro b o ti c   m a n ip u latio n ,   a rXi v   p re p rin a rXiv:1 8 0 6 . 1 0 2 9 3 ,   2 0 1 8 .   [2 1 ]   M . A .   G u ti é rre z ,   L . J.  M a n so ,   H.  P a n d y a   a n d   P .   ñ e z ,   A   P a ss iv e   Lea rn in g   S e n so A rc h it e c tu re   fo M u lt im o d a l   Im a g e   L a b e li n g A n   A p p li c a ti o n   f o S o c ial  Ro b o ts ,   S e   s o rs   ( Ba se l) ,   v o l.   1 7 ( 2 ) ,   p .   3 5 3 ,   2 0 1 7 .     [2 2 ]   Y.  Qia n ,   a n d   P . C.   W o o d lan d ,   V e ry   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk f o ro b u st  sp e e c h   re c o g n it io n ,   In   2 0 1 6   IEE S p o k e n   L a n g u a g e   T e c h n o l o g y   W o rk sh o p   ( S L T ) ,   p p .   4 8 1 - 4 8 8 ,   2 0 1 6 .   DO I:   1 0 . 1 1 0 9 /S L T . 2 0 1 6 . 7 8 4 6 3 0 7   [2 3 ]   J.O.P .   A re n a s,  R. D.H.  Be leñ o ,   a n d   R. J.  M o re n o ,   De e p   Co n v o lu ti o n a Ne u ra Ne tw o rk   f o r   Ha n d   G e stu re   Re c o g n it io n   Us e d   f o Hu m a n - Ro b o I n tera c ti o n ,   J o u rn a l   o f   E n g i n e e rin g   a n d   A p p li e d   S c ien c e s ,   v o l.   1 2 ( 11 )   p p .   9 2 7 8 - 9 2 8 5 ,   2 0 1 7 .   [2 4 ]   S .   Yo u n g ,   e a l . ,   T h e   HTK   b o o k ,   Ca m b rid g e   Un iv e rsit y   En g in e e rin g   De p a rt m e n t,   2 0 0 2 .   [2 5 ]   J.O.  P in z ó n   A re n a s,  R.   Jim é n e z   M o re n o ,   R. D.   He rn á n d e z   Be l e ñ o ,   W o rd - b a se d   De e p   Co n v o l u ti o n a Ne u ra l   Ne tw o rk   a rc h it e c tu re   f o S p e e c h   Re c o g n it io n ,   In   II  C o n g re so   I n ter n a c i o n a d e   Cien c i a sic a e   In g e n ier ía   p p .   1 - 1 0 ,   2 0 1 8 .         B I O G RAP H I E S   O F   AUTH O RS       Ro b i n s o n   J i m é n e z   M o r e n o   w a s   b o rn   i n   Bo g o tá,  Co l o m b ia,  in   1 9 7 8 .   He   re c e iv e d   th e   En g in e e d e g re e   in   El e c tro n ics   a th e   F ra n c isc o   Jo   d e   Ca ld a s   District  Un iv e rsit y   -   UD  -   in   2 0 0 2 .   M . S c .   i n   In d u strial  A u to m a ti o n   f ro m   th e   Un iv e rsid a d   Na c io n a d e   Co lo m b ia  -   2 0 1 2   a n d   P h . D.  in   En g in e e ri n g   a th e   F ra n c isc o   Jo   d e   Ca ld a District  Un iv e rsit y   -   2 0 1 8 .   He   is  c u rre n tl y   w o rk in g   a a   P r o f e ss o in   th e   M e c h a tro n ics   En g in e e rin g   P ro g ra m   a th e   Nu e v a   G ra n a d a   M il it a r y   Un iv e rsit y   -   UMNG .   He   h a e x p e rien c e   in   th e   a re a s o f   In stru m e n tatio n   a n d   El e c tro n ic  Co n tro l,   a c ti n g   m a in l y   in   Ro b o ti c s,  c o n tro l ,   p a tt e r n   re c o g n i ti o n ,   a n d   im a g e   p ro c e ss in g .   E - m a il ro b in so n . ji m e n e z @u n im il it a r. e d u . c o         J a v ier   O r l a n d o   Pi n z ó n   Ar e n a s   w a b o rn   in   S o c o rro - S a n tan d e r,   Co lo m b ia,  in   1 9 9 0 .   He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   E n g in e e rin g   (Cu m   Lau d e in   2 0 1 3 ,   S p e c ializa ti o n   in   En g in e e rin g   P r o jec M a n a g e m e n in   2 0 1 6 ,   a n d   M . S c .   i n   M e c h a tro n ics   En g i n e e rin g   in   2 0 1 9 ,   a th e   Nu e v a   G ra n a d a   M il it a r y   Un iv e rsit y   -   U M NG .   He   h a e x p e rien c e   in   th e   a re a o f   a u to m a ti o n ,   e lec tro n i c   c o n tro l,   a n d   m a c h in e   lea rn in g .   C u rre n tl y ,   h e   is  stu d y in g   a   P h . D.  in   A p p li e d   S c ien c e a n d   w o rk in g   a s a G r a d u a te A ss ist a n a th e   U M NG   w it h   e m p h a sis o n   R o b o ti c a n d   M a c h i n e   L e a rn in g .   E - m a il u 3 9 0 0 2 3 1 @ u n im il it a r. e d u . c o           sa r   G io v a n y   Pa c h ó n   S u e sc ú n   w a b o rn   i n   Bo g o t á ,   Co l o m b ia,  in   1 9 9 6 .   He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   En g i n e e rin g   f ro m   th e   P il o Un iv e rsity   o f   Co lo m b ia  in   2 0 1 8 .   C u rre n tl y ,   h e   is   stu d y in g   h is  M a ste r’s  d e g re e   in   M e c h a tro n ics   E n g in e e rin g   a n d   w o rk in g   a Re se a rc h   As sista n a th e   Nu e v a   G ra n a d a   M il it a ry   Un iv e rsit y   w it h   a n   e m p h a sis o n   R o b o ti c s an d   M a c h i n e   L e a rn in g .   E - m a il :   u 3 9 0 0 2 5 9 @ u n im il it a r. e d u . c o     Evaluation Warning : The document was created with Spire.PDF for Python.