I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 ,  Decem b er   2 0 2 0 ,   p p .   6 3 0 0 ~ 6 3 0 8   I SS N:  2088 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 10 i 6 . pp 6 3 0 0 - 6 3 0 8           6300       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   To o l delivery  robo t  using  conv o luti o na l neural netw o rk       J a v ier  P inzo n - Are na s ,   Ro bin s o n J i m énez - M o re no   F a c u lt y   o f   En g in e e rin g ,   M il it a r  N u e v a   G ra n a d a   Un iv e rsit y ,   Co lo m b i a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oc t 3 0 ,   2 0 1 9   R ev i s ed   J u n   6 ,   2020   A cc ep ted   J u n   17 ,   2 0 2 0       In   th e   f o ll o w in g   a rti c le,  it   is  p re se n ted   a   h u m a n - ro b o t  i n tera c ti o n   sy ste m   w h e re   a l g o rit h m s  w e re   d e v e lo p e d   to   c o n tro l   th e   m o v e m e n t  o f   a   m a n ip u lat o r  in   o rd e r  t o   a ll o w   it   to   se a rc h   a n d   d e li v e r,   in   th e   h a n d   o f   th e   u se r,   a   d e sire d   to o l   w it h   a   c e rtain   o rien tati o n .   A   c o n v o l u ti o n a l  n e u ra l  n e tw o rk   (CNN )  w a s   u se d   to   d e tec t  a n d   re c o g n ize   th e   u se r ' s   h a n d ,   g e o m e tri c   a n a ly sis   f o r   th e   a d j u stm e n t  o f   th e   d e li v e ry   sta tu s  o f   t h e   to o l  f ro m   a n y   p o siti o n   o f   th e   ro b o t  a n d   a n y   o rien tatio n   o f   th e   g rip p e r,   a n d   a   traje c to r y   p lan n in g  a lg o rit h m   f o r  th e   m o v e m e n t  o f  th e   m a n i p u lato r .   It  w a s  p o ss i b le  to   u se   th e   a c ti v a ti o n s  o f   a   CNN   d e v e lo p e d   in   p re v io u s  w o rk s  f o r  th e   d e tec ti o n   of   th e   p o siti o n   a n d   o rie n tatio n   o f   th e   h a n d   in   th e   w o rk sp a c e   a n d   th u s  trac k   it   in   re a l  ti m e ,   b o th   i n   a   sim u late d   e n v iro n m e n t  a n d   i n   a   re a l  e n v iro n m e n t .   K ey w o r d s :   C o n v o lu tio n al  n e u r al  n e t w o r k   Deliv er y   s tat u s   ad j u s t m e n t   Han d   tr ac k i n g   Hu m an - r o b o t in ter ac tio n   P ath   p lan n i n g   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   R o b in s o n   J i m én ez - Mo r en o ,     Me ch atr o n ic s   E n g in ee r i n g   P r o g r a m ,   Fac u lt y   o f   E n g i n ee r i n g ,   Militar   Nu e v a  Gr an ad a  U n iv e r s it y ,   C ar r er a  1 1   # 1 0 1 - 8 0 ,   B o g o tá  D . C . ,   C o lo m b ia.   E m ail: r o b in s o n . j i m en ez @ u n i m ilit ar . ed u . co       1.   I NT RO D UCT I O N   T h e  h u m an - r o b o t  in ter ac tio n   r eq u ir es  a  m ac h in e  v is io n   s y s te m   t h at  allo w s   th e  r o b o t  to   r ec o g n ize    th e  h u m an   m o v e m e n t  an d   i n t er p r et  it  as  an   in s tr u c tio n   f o r   th e  ex ec u tio n   o f   a  ce r tain   tas k ,   as  clar if ied   i n   [ 1 ]   an d   [ 2 ] .   So m e  o f   th e s e  co o p e r ativ e  w o r k s   lead   to   th e  n ee d   to   d ev elo p   alg o r ith m s   th at  al lo w   th e  i n ter ac tio n   b et w ee n   b o th ,   m a k in g   co n tr o l  o v er   th e  f o r ce   ex er ted   b y   th e  m an ip u lato r   at  th e  p o in t  o f   co n tact  w i t h     th e  h u m a n ,   as  ex p lai n ed   in   [ 3 ] ,   o r   u s in g   a n   i n telli g e n t  s u p p o r t  s y s te m   i n   t h e  ex ec u tio n   o f   task s   p er f o r m ed   b y   an   o p er ato r ,   w h er e  h u m a n   e f f o r t is  m in i m ized   an d   th e  e x ec u tio n   o f   th e  ta s k   i s   o p ti m ized ,   as sh o w n   i n   [ 4 ] .   Fo r   th e  d ev elo p ed   a p p licatio n   ex p o s ed   in   th is   ar ticle,   h u m an   in te n tio n   is   r ep r esen ted   as  th e  h an d   th a t  ex p ec ts   to   r ec eiv e  a  to o l,  an d   th e  task   o f   t h e  r o b o t  is   to   g o   an d   d eliv er   th e  to o l  in   it,   w h ich   ca n   ch a n g e   p o s itio n   an d   o r ien ta tio n   at  a n y   ti m e.   T h is   t y p e  o f   ap p licati o n s   r eq u ir es  a  m ac h i n e  v is io n   s y s te m   th a t  allo w s   th e  m a n ip u la to r   to   s ee   an d   f o llo w   t h e   h a n d   co n tin u o u s l y   as  w ell   as   a  co n t r o l  s y s te m   t h at  m o v e s   t h e   en d   ef f ec to r   o f   t h e  m a n ip u la to r   to   its   d e s ti n atio n ,   r e g ar d less   o f   w h et h er   it   is   ch a n g i n g ,   a n d   th at  i n   tu r n   allo w s   ad j u s tin g   th e  o r ien ta tio n   o f   t h e   to o l to   b e   d eliv er ed ,   s o   th at  it c an   b e  h eld   b y   th e  u s er .   So m e  p r ev io u s   s tu d ie s   r el ated   to   h u m a n - r o b o t  in ter ac tio n   in v o lv e s   s en s o r   f o r   th e  task   o f   in ter ac tio n   in   t h e  g r ip p er   o f   a  3   DO F  r o b o t,  as  a  p r ev io u s   s ta g e  o f   u s e  o f   m ac h in e   v i s io n ,   a s   ex p lai n ed   in   [ 5 ] .   A d d itio n al l y ,   it  m u s t  h av e  t h e  ab ilit y   to   r ec o g n ize  t h e  j o in ts   o f   th e  h an d   a n d   i ts   v ar ie d   p o s itio n s   [ 6 ]   f o r     th e  d ev e lo p m en t  o f   co m p le x   t ask s   s u c h   as   v id eo   g a m es  a n d   h u m a n - co m p u ter   i n ter ac tio n s .   E v en   ta k in g   j o b s   lik e  w ea r ab le  r o b o ts   w h er e  t h e  i n ter ac tio n   allo w s   r ed u ce   th e   h u m an   m etab o lic  e n er g y   co s t   i n   p h y s ical   m o v e m e n ts   [ 7 ] .   A ll  th i s   s et  o f   ac tiv ities   i n v o l v es,  g e n er all y ,   th e  u s e  o f   ca m er as  o r   d ep th   s en s o r s   th at  allo w   to   ex tr ac t  t h e  h an d   f r o m   t h e  en v ir o n m e n t,  to g et h er   w it h   its   ar tic u latio n s ,   as   s h o w n   i n   [ 8 ,   9 ] ,   an d   th at   s i m u lta n eo u s l y ,   m an a g e  to   tr ac k   w ith   t ec h n iq u es  li k e  ar tif ic ial  i n telli g e n ce   o r   th e  u s e  o f   co r r elatio n s   f ilter s ,   r esp ec tiv el y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       To o l d elive r y  r o b o t u s in g   c o n v o lu tio n a l  n eu r a l n etw o r k   ( Ja vier P in z o n - A r en a s )   6301   A r ti f icial  i n telli g e n ce   tech n iq u e  b ased   o n   d ee p   lear n in g   i s   ex p o s ed   in   [ 1 0 ]   f o r   g iv e  s m ar t  attr ib u tes   to   a  r o b o t  u s ed   a s   a s s i s ta n t,  t h e  co n v o l u tio n al   n eu r al   n et wo r k   ( C NN)   w as   u s ed   to   d ev e l o p   th e   al g o r ith m   to   h u m a n   r o b o t  in ter ac tio n .   C o n v o l u tio n a l  n et w o r k s   h a v e  m an y   ap p licatio n s   in   t h e  to p   o f   th e  s tate  o f   ar t,   ex a m p le  li k e  b io lo g ical  i m a g e  class if icatio n   [ 1 1 ] ,   h an d w r itte n   c h ar ac ter   r ec o g n itio n   [ 1 2 ]   an d   d etec tio n     o f   p ac k ed   a n d   u n p ac k ed   m a l w ar e   [ 1 3 ] ,   th e y   ar e  r ec en t   r esear ch es  o f   d i f f er en t   s cie n ce   f ield 's  t h at  u s e    th is   tec h n iq u e .   B ased   o n   it,  th i s   w o r k   i s   o r ien ted   to   in te g r ate  t h e  ab o v e  co n ce p ts   in   th e  d e v elo p m e n t   o f   a  n e w  h u m a n - r o b o t  in ter ac tio n   s y s t e m ,   in   c h ar g e  o f   f ac ili tatin g   d if f er en t  t y p es  o f   to o ls   t o   a  u s er   th r o u g h     an   an th r o p o m o r p h ic  m an ip u lato r ,   w h o s e  d is p lace m en t  d ep en d s   o n   th e  lo ca tio n   o f   th e  h an d ,   w h er e     th e  en v ir o m e n t  i s   ca p tu r ed   b y   a  ca m er a  an d   r ec o g n ized   b y   m ea n s   o f   a  C NN.   Fo r   th e  f i n al  o r ien tatio n   o f     th e  g r ip p er   o f   th e  m a n ip u la t o r ,   a  co r r ec tio n   o f   th e  d eliv e r y   s tat u s   o f   th e  to o l  is   g en er ated ,   w h ich   allo w s     th e  r o b o t  to   leav e   th e   in s tr u m en t  i n   t h e  h a n d   o f   t h e  u s er   in   s u c h   a  w a y   th at   it  ca n   g e n er at e  a  c y l in d r ical  g r ip   o n   th e  ele m en t,  as  a  co m p le m en tar y   s u p p o r t  o f   s tate  o f   ar t  i n   h u m an - r o b o t  in ter ac tio n s .   As  a  co m p le m e n t  o f   p r ev io u s   w o r k s   r elate s   i n   th e  s tate  o f   ar t lik e  [ 1 4 ,   1 5 ] .   T h e  d ev elo p m e n t  o f   th is   ap p l icatio n   is   f u n d a m e n tal  f o r   th e   p r o g r am m i n g   o f   a n   as s is tiv e   r o b o t,  f o r   ex a m p le,   in   t h e  m ed ical  ar ea ,   w h er e   it  o p er ates  a s   a n   in s tr u m e n tal is t   w it h   t h e   ab ilit y   to   p r o v id e  th e  s u r g ical   in s tr u m en t s   to   th e  d o cto r   [ 1 6 ] ,   d eliv er in g   th e m   i n   t h e  h a n d   w it h   t h e  ap p r o p r iate  o r ien tatio n   f o r   its   s u p p o r t.    I n   p r ev io u s   w o r k s ,   th e   r ec o g n i tio n   an d   cla s s i f ica tio n   p ar t o f   s u r g ical  i n s tr u m en ta tio n   h as   b ee n   s o l v ed   to   allo w  th e  m a n ip u la to r   to   f in d   th e   to o l  r eq u ested   b y   t h e  u s er ,   h o l d   it  a n d   tak e   it   to   a  ce r tai n   p o in t,  i n   ad d itio n   to   tr ain i n g   a  C NN  f o r   th e  cla s s i f icatio n   o f   h an d   g est u r es  ( s u c h   as  o p en   o r   clo s ed ) ,   as  s h o w n   i n   [ 1 7 ] .   I n   s u c h     a  w a y   t h at  t h e  n e x t  s tep   is   b as ed   o n   th e  d eli v er y   o f   t h e  i n s tr u m e n t  in   th e  p al m   o f   t h e  u s er ,   w h ic h   is   ex p o s ed   b elo w ,   as a   co n tr ib u tio n   to   th e   s tate  o f   th e  ar t.   T h e  in teg r atio n   o f   a  r o b o tic  a g en t  w i th   ar ti f icial  i n tell ig e n c e  s y s te m s   is   co m m o n   [ 1 8 ] ,   w h er e  C NN s   allo w   th i s   i n te g r atio n   at   d if f er en t  s ca les  s u c h   a s   r o b o tic  co n tr o l  [ 1 9 ] ,   clea n in g   r o b o ts   [ 2 0 ]   o r   r ec y cler s   [ 2 1 ] .   T h is   tech n iq u e  h a s   d e m o n s tr a ted   its   v er s ati lit y   [ 2 2 ]   an d   ar ticu latio n   ca p ac it y   w it h   o th er   t ec h n iq u es  [ 2 3 ,   2 4 ] ,   ev en   i n   v ir tu al   r o b o tic  w o r k   e n v ir o n m e n t s   [ 2 5 ] ,   w h ic h   is   w h y   t h e y   ar e  t h e  tec h n iq u e  u s ed   i n   t h i s   d ev elo p m en t.   T h e  p ap er   is   d i v id ed   in to   3   m a in   s ec tio n s ,   wh er e  t h e  f ir s t   ex p lai n s   i n   d eta il  t h e  m et h o d o lo g y   d ev elo p ed   f o r   th e  ex ec u tio n   o f   th e  h a n d   tr ac k i n g   a lg o r i th m   b y   t h e  m an ip u lato r ,   an d   th e  ad j u s t m en t  o f     th e  d eli v er y   s tat u s   o f   t h e  to o l.  T h e  f o llo w i n g   p r esen ts   th e   r esu l ts   a n d   a n al y ze s   ac h ie v e d ,   an d   i n   t h e  la s t   s ec tio n   t h e  co n cl u s io n s   o b tain ed   f r o m   t h e  ap p licatio n   ar e  p r esen ted .       2.   RE S E ARCH   M E T H O D   A   r o b o tic  ass is ta n ce   al g o r ith m   w a s   d ev elo p ed   w h o s e  o b j ec tiv e  i s   to   p r o v id e  to o ls   to   a  u s er   b y   co n s ta n tl y   m o n ito r in g   h i s   h a n d   w i th i n   a  li m ited   w o r k   ar ea ,   an d   f in al izin g   t h e  d eliv er y   p r o ce s s   w i th   a n   ad j u s t m e n t  o f   th e   o r ien tatio n   o f   th e   to o l,  r o tatin g   it  u n til  it  is   ar r an g ed   in   s u ch   a  w a y   t h a t  a  c y l in d r ical  g r ip   ca n   b e   g en er ated   o n   it,  as  s h o w n   i n   Fi g u r e   1 .   A   C NN  w as  tr ai n ed ,   an d   s eg m en tatio n   al g o r ith m s   w er e  u s ed   f o r   h an d   r ec o g n itio n   d u r i n g   a  v id eo   s eq u en ce   an d   d ata  a u g m e n tat i o n   tech n iq u es  [ 2 6 ] .     Su b s eq u en tl y ,   t h e  i n v er s e   k in e m atic s   o f   t h e  m an ip u lato r   w a s   ca lc u lated   to   ex ec u te  it s   d is p lace m e n t,  an d   g eo m etr ic  an al y s is   w as  u s ed   to   ad j u s t  t h e  d eliv er y   s tat u s   o f   th e  to o l  w ith   r esp ec t  to   t h e  p o s itio n   o f   t h e  u s er ' s   h an d ,   at  t h e  m o m en t  w h e n   t h e  r o b o t  s to p s   o n   th e  p al m   o f     th e  h a n d .   Fi g u r e   2   s h o w s   t h e   s eq u en ce   o f   b asic  o p er atio n   o f   th e  al g o r ith m ,   i n   w h ich   a  to tal  o f   5   s tep s   ar e  d em ar ca ted ,   w h er e  t h e  f ir s t  ta k es  t h e  m a n ip u lato r   to   th e  in i t ial  p o s itio n   s h o w n   in   Fi g u r e   7 a,   w it h   th e  to o l  h eld   b y   th e   g r ip p er ,   an d   t h e  f o l lo w i n g   t h r ee   ar e  r esp o n s ib l e  f o r   ex ec u ti n g   t h e  tr ac k in g   o f   th e   h a n d   an d     th e  ad j u s t m e n t  o f   t h e  d eli v er y   o f   t h e  to o l,  r ep ea tin g   i n   a   c y c le  th at   o n l y   e n d s   w h e n   t h e  g r i p p er   is   o n   t h e  h an d   an d   th e  to o l  h a s   alr ea d y   b ee n   ac co m m o d ated   f o r   th e  g r ip ,   th en   it  i s   p ass ed   to   th e  f i f t h   s tep   an d   th e  al g o r ith m   is   f i n i s h ed .           Fig u r e  1 .   C y li n d r ical  g r ip   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Decem b er   2020   :    6 3 0 0   -   6 3 0 8   6302         Fig u r e  2 .   A l g o r ith m   f lo w ch ar t       2 . 1 .     M a nip ula t o r  t ra j ec t o r y   An   al g o r ith m   w as   d ev elo p ed   th at   allo w s   to   s e t  a  c u r v ed   p ath   b et w ee n   t h e  h an d   o f   th e  u s er   an d     th e  m an ip u lato r ,   an d   r ec alcu l ate  it  ea ch   ti m e  t h e  p o s itio n   o f   th e  h a n d   v ar ies   s ig n i f ica n tl y .   T h e  tr aj ec to r y   is   ca lcu lated   i n   s u c h   a  w a y   th at   th e  s p ee d   o f   d is p lace m e n t  o f   th e  e n d   e f f ec to r   is   co n tr o lled ,   en s u r in g   a   li n ea r   v elo cit y   eq u al   to   ze r o   at  t h e  b eg in n i n g   a n d   en d   o f   t h e  tr aj ec to r y ,   d e s cr ib in g   a  p ar ab o lic  b eh av io r   a s   s h o w n   i n   Fi g u r e   3 ,   w h er e  th e  m a x i m u m   v elo cit y   i n   t h e  m id d le  o f   th e  p ath   is   r ea ch ed .   Fo r   th e  d is p la ce m en t  o f   t h e  en d   ef f ec to r ,   a  tr a j ec to r y   w i th   c u b ic  b eh av io r   is   u s ed   f o r   th e  X  ax is ,   th e  Y  a x is   a n d   t h e  Z   ax is ,   as  s h o w n   i n     Fig u r e  4 ,   w h er e  t h e  r o b o t  g en er ates  s m al l  d i s p lace m e n ts   at  th e  en d s   o f   t h e  tr aj ec to r y   an d   g r ea t  ad v an ce s   i n   th e  m id d le  o f   it,  th u s   allo w i n g   to   en s u r e  t h e  d esire d   s p ee d .             Fig u r e  3 .   E n d   ef f ec to r   v e lo cit y     Fig u r e  4 .  Dis p lace m e n t o f   t h e  en d   ef f ec to r       T o   ca lcu late  ea ch   o f   th e  p o in ts   o f   th e  tr aj ec to r y   in   th e  t h r ee   co o r d in ate  ax es,  ( 1 )   w as  u s ed ,   w h ic h   d escr ib es  th e  cu b ic  b eh a v io r   s h o w n   i n   Fi g u r e   4 ,   w h er e  x ( t)   is   th e  p o s itio n   f u n ctio n   f o r   an y   o f   t h e  co o r d in ate  ax es,  a, b , c, d   ar e  co n s tan ts ,   an d   t  is   th e  ti m e,   w h ic h   is   b et w e en   0 ,   f o r   th e  in i tial  p o s itio n ,   a n d   th e  to tal  ti m e  o f   th e  ex ec u tio n   o f   t h e  m o v e m e n t  ( T t) ,   d ef in ed   b y   th e  u s er .   F o r   th e  ca lcu latio n   o f   ea c h   o f   t h e  co n s tan t s   o f   ( 1 ) ,   th e  v elo cit y   f u n ctio n   o f   ( 2 )   w as  o b tain ed ,   d er iv i n g   eq u atio n   ( 1 )   w it h   r esp ec t  to   ti m e,   a n d   it  w as  e s tab lis h ed   th at  t h e  in i tial ( v _ i)   an d   f in al  v elo cit y   ( v _ f )   s h o u ld   b e  eq u al  to   ze r o ,   as p r ev io u s l y   s h o w n   i n   Fig u r e   3 .     ( ) = 3 + 2 +  +   ( 1 )     ( ) = 2 +  +   ( 2 )     T h en ,   th e  p o s itio n   an d   v elo cit y   f u n ctio n s   w er e  ev al u ate d   f o r   a   ti m e  t=0   an d   f o r   t= T t  t o   f in d     th e  co n s tan ts   a, b , c, d .   Fin all y ,   th e  co n s ta n ts   f o u n d   i n   ( 1 )   w er e  r ep lace d ,   an d   t  w as   r ep lace d   b y   d i f f er e n t   eq u is p ac ed   ti m e  i n s ta n ts   to   g en er ate  t h e  co m p lete  tr aj ec to r y   as  a  s et  o f   5 0   in ter m ed iate  p o in ts   b et w ee n   th e  in i tial  ( x ( 0 ) )   an d   f in al  ( x ( T t) )   p o s itio n   o f   th e  tr aj ec to r y ,   an d   th e  m a n ip u lato r   an d   th e  in v er s e  k i n e m atic s   p r esen ted   in   [ 1 4 ]   w er e  u s ed   to   ex ec u te  t h e  m o v e m en t in   t h e  ap p licatio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       To o l d elive r y  r o b o t u s in g   c o n v o lu tio n a l  n eu r a l n etw o r k   ( Ja vier P in z o n - A r en a s )   6303   2 . 2 .     CNN  f o r  t he  det ec t io n a nd   o rient a t io n o f   t he  ha nd   T h e  C NN  tr ai n ed   in   [ 1 3 ]   w a s   u s ed   f o r   th e  r ec o g n it io n   a n d   c lass if icatio n   o f   t h e  h an d s ,   an d   a  s eg m e n tatio n   al g o r ith m   w a s   d ev elo p ed   in   w h ic h   a n   i m a g e  o f   th e   w o r k i n g   b ac k g r o u n d   is   ca p tu r ed   an d     th e  a v er ag e   o f   t h e  to n es  o f   th e  w h o le   i m ag e   is   o b tain ed ,   i n   s u ch   a  w a y   th a t  t h e  o b j ec t  th at  is   lo ca ted   u n d er     th e  ca m er a  a n d   th a t   h a s   a  d i f f er en t  co lo r   to   th e  b ac k g r o u n d   w il l  b e  r ec o g n ized   as  t h e  u s er 's  h a n d ,   an d   w ill  b e   cr o p p e d   f r o m   t h e  o r ig i n al  i m ag e  to   b e  s en t  to   t h e  C NN.   Data   au g m e n tat io n   tec h n iq u e s   h a v e  b ee n   u s ed   i n   tr ain i n g   to   i m p r o v e  t h e  d atab ase  u s ed   [ 2 7 ] .   On ce   t h at  i m ag e  i s   e n ter ed   in   th e  C NN,   th e  f ir s t  ac ti v atio n   o f   t h e  n et w o r k   is   e x tr ac ted ,   i.e .   th e  r es u lt   o f   p ass i n g   th e   i m ag e  th r o u g h   th e  f ir s t  R e L U  ( R ec ti f ied   L i n ea r   Un it)  la y er   o f   t h e  n e t wo r k ,   an d   th e n   it   is   b in ar ized   in   o r d er   to   o b tain   th e  o v er all  s h ap e  o f   t h e  h a n d ,   as  s h o w n   i n   Fi g u r e   5 .   T h is   f o r m   allo w s   k n o w i n g   th e  o r ien tatio n   o f   t h e  h a n d ,   g e n er atin g   a n   ellip s e  o n   t h e  lar g est n u m b er   o f   w h ite  p i x els o f   t h e  b in ar ized   i m a g e,   an d   tak i n g   th e  a n g le  o f   i n cli n atio n   b et w ee n   t h e  h o r izo n ta l  o f   th e  i m a g e  a n d   th e  m aj o r   ax is   o f   th e  e l lip s e     θ m   s h o w n   i n   Fi g u r e   5 .   A d d iti o n all y ,   t h e  f i n al  p o s itio n   o f   t h e  h an d   i s   o b tain ed   w h en   ex tr ac tin g   t h e  ce n ter   o f   th e  b o x   th at   co v er s   it,  as   s h o wn   i n   F ig u r e   6   ( " +"   s ig n ) .   I n   th i s   w a y ,   t h e  m an ip u lato r   s ee k s   t o   b r in g   t h e  to o l  to   th e  " +"   s y m b o l,   an d   w h e n   p la ce d   o n   it,   ad j u s ts   th e   o r ien tat i o n   o f   t h e  to o l,  a n d   m ak e s   s u r e   th at   w h en   f in is h ed ,   it h as  n o t c h a n g ed   n eit h er   th e  l o ca tio n   o f   th e  h an d   n o r   its   o r ien tatio n   to   f i n all y   d eli v er   th e  to o l .             Fig u r e  5 .   Or ien tatio n   o f   th e  h a n d     Fig u r e  6 .  T r ac k in g   th e  h an d   i n   a  r ea l e n v ir o n m en t       2 . 3 .   H a nd   t ra ck ing   a lg o rit h m   On ce   t h e  m an ip u lato r   h as  g r as p ed   th e  d esire d   to o l a n d   m o v e d   it to   th e  p o s it io n   s h o w n   i n   Fi g u r e   7 ( a ) ,  it  is   p r o ce ed ed   to   ca lcu late  t h e  f ir s t  tr ac k in g   p at h   o f   t h e  h an d ,   g en er ati n g   5 0   p o in ts   b et w ee n   t h e  c u r r en t  p o s itio n   o f   t h e  f in al  e f f ec to r   ( in itial  p o s it io n   x ( 0 ) )   an d   th e  c u r r en t  p o s itio n   o f   t h e  h a n d   ( f i n al  p o s itio n   x ( T t) ) ,   w h ic h   is   o b tain ed   b y   m ea n s   o f   th e  s eg m e n tatio n   alg o r it h m ,   w h ic h   ex tr ac ts   t h e  co o r d in ates   o f   t h is   o n e  f r o m   a n   i m a g e  o f   t h e  w o r k s p ac e,   lik e  t h e  o n e  s h o w n   i n   Fi g u r e   7 ( b ) .           Fig u r e  7 .   ( a)   I n itial   p o s itio n   f o r   h an d   tr ac k i n g   a n d   ( b )   ex a m p le  o f   w o r k s p ac e  ca p tu r e     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Decem b er   2020   :    6 3 0 0   -   6 3 0 8   6304   On ce   t h e  tr aj ec to r y   is   g e n er at ed ,   th e  m an ip u lato r   m o v es   p o in t  b y   p o in t  u s in g   t h e  i n v er s e  k in e m atics,   an d   in   ea ch   s tep   a  p h o to   o f   t h e  w o r k s p ac e  is   ca p tu r ed   ag ai n   to   s ea r ch   t h e  h a n d   ag ai n   a n d   th u s   d etec t  c h a n g e s   o f   its   p o s itio n ,   i n   a  co n s tan t  wa y .   Dep en d in g   o n   h o w   f ar   t h e   n e w   p o s itio n   o f   t h e  h an d   is   l o ca ted   w ith   r e s p ec t   to   th e  f ir s t  d etec ted   p o s itio n ,   s to r ed   as  x ( T t ) ,   th e  alg o r ith m   i s   p ass ed   to   a   s er ies  o f   co n d itio n als  t h at  ch a n g e   th e  tr aj ec to r y   o f   th e  m a n ip u la to r   to   b r in g   it  to   a  n e w   f i n al  p o s itio n .   Fi g u r e   8   s h o w s   t h e  tr aj ec to r y   ch a n g e s   g en er ated   b y   th e   v ar iatio n   i n   th e  lo ca tio n   o f   t h e  h an d   d u r in g   t h e  tr ac k in g   p r o ce s s ,   w h er e  x ( ta)   is   t h e  c u r r en t   p o s itio n   o f   t h e  h a n d ,   u 1 , u 2 , u 3   ar e  th e   d is ta n ce   t h r es h o ld s   th at  d eter m i n e  h o w   clo s e   o r   f ar   th e  h a n d   i s   f r o m     th e  p o s itio n   x ( T t) ,   P1 %,P 2 %,P 3 %  ar e  p er ce n tag es  w h er e  P 1 %>P2 %>P 3 %,  P a  r e p r esen ts   h o w   m u c h   p er ce n tag e  o f   t h e  tr aj ec to r y   h a s   tr av eled   t h e  m a n ip u lato r   s o   f ar ,   an d   P   is   eq u al   to   th e   p er ce n tag e   P 1 %,  P 2 % o r   P 3 % o f   th e  co n d itio n al  to   w h i ch   th e  p r o g r a m   h as e n ter ed .           Fig u r e  8 .  Han d   tr ac k in g   co n d i tio n als       I n   th e  f ir s t  in s ta n ce ,   it  is   e v a lu ated   i f   th e  d i f f er en ce   b et wee n   x ( T t)   an d   x ( ta)   is   le s s   t h an   u 1 ,   i.e .   if   t h e  h a n d   is   clo s e  e n o u g h   to   its   p r ev io u s   p o s i tio n   to   co n s id er   th at  it  h as   n o t  m o v ed ,   o th er w i s e  it   is   ev a lu ated   h o w   f ar   it  i s   f r o m   i ts   f ir s t  p o s itio n .   Fo r   a  d is tan ce   b et w ee n   u 1   an d   u 2 ,   it  is   s a id   th at  t h e  h an d   is   n o t  v er y   f ar   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       To o l d elive r y  r o b o t u s in g   c o n v o lu tio n a l  n eu r a l n etw o r k   ( Ja vier P in z o n - A r en a s )   6305   f r o m   x ( T t) ,   s o   a  p er ce n tag e  P 1 %  clo s e  to   1 0 0 %  is   estab lis h ed   s o   th at  t h e  r o b o t  alm o s t   en d s   its   tr aj ec to r y   b ef o r e  co r r ec tin g   its   d ir ec tio n   in   s ea r c h   o f   th e  h a n d .   Fo r   a  d i s tan ce   b et w ee n   u 2   an d   u 3   is   s aid   th at  th e  h an d   i s   f air l y   f ar   a w a y ,   s o   a  P 2 %  p er ce n tag e   clo s e  to   5 0 %  is   s et  to   a v o id   th e   en d   e f f ec to r   m o v i n g   to   a  p o in t  n o t  v er y   clo s e  to   its   f in a l  o b j ec tiv e.   F o r   a  d is tan ce   g r ea ter   t h a n   u 3 ,   it  i s   s aid   th at   t h e  h an d   i s   v e r y   f ar   f r o m   it s   f ir s t   p o s itio n ,   s o   a  P 3 % c lo s e  to   0 % is   s et  to   r ec alcu la te  th e  tr aj ec to r y   q u ick l y   a n d   co r r ec t th e  d ir ec tio n   o f   ad v a n ce .   T h en ,   it  is   e v al u ated   w h a t  p er ce n tag e   o f   t h e  tr aj ec to r y   t h e  m an ip u lato r   h a s   m o v ed   ( P a) ,   an d   if   it  is   g r ea ter   th a n   P ,   th e  tr aj ec to r y   i s   i m m ed iatel y   s to p p ed   an d   th e  n ex t  o n e  i s   r ec a lcu lated   w it h   t h e  n e w   v a lu e s   o f   x ( 0 )   an d   x ( T t ) ,   o th er w i s e,   it  is   ex p ec ted   th at  t h e  m a n ip u la to r   r ea ch es  th e  p er ce n tag e  P   o f   ad v an ce   b ef o r e   s to p p in g   t h e  tr aj ec to r y   a n d   ca l cu lati n g   th e  n e x t o n e.   I n   ca s e  t h e  d if f er en ce   b et w ee n   x ( T t)   a n d   x ( ta)   is   le s s   t h a n   u 1 ,   th e   estab li s h ed   tr aj ec to r y   is   co m p leted ,   t h e  d eli v er y   s tat u s   o f   t h e  to o l  i s   ad j u s ted ,   t h e  cu r r en t  p o s it io n   o f   th e  h a n d   is   ag ai n   co m p ar ed   w i th   x ( T t) ,   an d   if   it  is   s till   les s   th an   u 1 ,   th e  to o l  is   d eliv er ed   an d   th e  m o n ito r i n g   i s   co m p leted ,   o th er w i s e  a  n e w   tr aj ec to r y   is   r ec alcu lated   w it h   t h e  n e w   v al u es o f   x ( 0 )   an d   x ( T t) .     2 . 4 .   Deliv er y   s t a t us   a djust m ent   E ac h   ti m e  th e  m a n ip u lato r   c o m p lete s   1 0 0 %  o f   its   tr aj ec to r y ,   t h e  d e g r ee   o f   r o tatio n   r eq u ir ed   b y     th e  g r ip p er   is   ca lcu lated   to   eq u alize   its   o r ien ta tio n   to   th at  o f   th e  h an d   an d   t h u s   ad j u s t  th e  t o o l  to   a   cy li n d r ical  g r ip .   T h e  p r o g r am   is   r esp o n s ib le  f o r   eq u alin g   t h e  an g le  o f   r o tatio n   o f   th e  g r ip p er   θ P   t o   th e  o r ien tatio n   o f     th e  h an d   θ m ,   f o r   w h ic h   ( 3 )   to   ( 6 )   ar e  ap p lied ,   w h er e  ( 3 )   ca lcu lates  th e  a n g le  o f   r o tatio n   θ R   b et w ee n   t h e  p o in t   w h er e  th e  to o l  is   an d   th e  h o r izo n tal  ax i s   o f   th e  s y s te m   a s   s h o w n   i n   Fi g u r e  9 ,   in   ( 4 )   ca l cu lates  t h e  cu r r en t   o r ien tatio n   o f   th e  g r ip p er   θ P   ad d in g   t h e  p r ev io u s   r o tatio n s   θ i   to   its   i n itial  o r ien tatio n   t h at  is   at  - 9 0 °  f r o m   θ R .  B y   ( 5 ) ,   th e  d if f er e n ce   b et w ee n   th e  cu r r en t  r o tatio n   o f   t h e  h a n d   θ m   an d   t h e  cu r r en t  o r ien tat i o n   o f   th e  g r ip p er   is   ca lcu lated ,   in   o r d er   to   ad d   th is   d if f er e n ce   to   θ P   to   e q u al  it  to   th e  o r ien tatio n   o f   th e  h a n d ,   lead in g   b y   d ef au lt   th e  to o l  to   b e   lo ca ted   p er p en d icu lar   to   th e  s ag ittal  p lan e  o f   th e  h a n d   to   allo w   t h e  c y li n d r ical  g r ip .   I n   ( 6 )   u p d ates θ i ,   ad d in g   t h e  n e w   r o t atio n   ap p lied   θ Rot   to   th e  p r ev io u s   r o tatio n s .     = 180° − ta n − 1 − −   ( 3 )     = − 90° +   ( 4 )      = −   ( 5 )     =  +   ( 6 )     W h er e  W   an d   H  ar e  th e  w id th   an d   h ei g h t  o f   th e  i m a g e  ca p t u r ed   b y   t h e  ca m er a,   r esp ec tiv el y ,   an d   X,   Y  ar e  th e  cu r r en t  co o r d in ates  o f   th e  en d   ef f ec to r   at  th e  en d   o f   1 0 0 %  o f   a   tr a j ec to r y .   Fig u r e   9   s h o w s   t h e  an g les  an d   d i m e n s io n s   u s ed   f o r   t h e  ad j u s t m e n t  o f   th e   d eliv er y   s t atu s ,   a s   w ell   as  a n   e x a m p le  o f   a  f ir s t   o r ien tatio n   alr ea d y   m ad e  a n d   t h e  n e w   a n g les   to   b e  ca lcu lated ,   to   g e n er ate  th e   ad j u s t m e n t   o f   t h e  to o l  to   a  n e w   p o s itio n   o f     th e  h an d .  T h is   al g o r ith m   allo w s   ad j u s ti n g   t h e  d eli v er y   s tat u s   o f   t h e  to o l  f r o m   a n y   o r ien tat io n   o f   t h e  g r ip p er   to   an y   o r ien ta tio n   o f   t h e  h a n d ,   u s e f u l  f o r   ca s es  i n   w h ic h   af t er   h av i n g   m ad e  a  f ir s t  ad j u s t m en t,  th e  h a n d   h as   m o v ed   an d   t h e  r o b o t m u s t  f o ll o w   it a g a in   a n d   m a k e  a  s ec o n d   ad j u s t m en t.           Fig u r e  9 .  Deliv er y   s tat u s   ad j u s t m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Decem b er   2020   :    6 3 0 0   -   6 3 0 8   6306   3.   RE SU L T S AN D  D I SCU SS I O N   Fig u r e   1 0   s h o w s   t h e  r es u lt  o b tain ed   b y   t h e  al g o r ith m   f o r   a  r ea l  w o r k   en v ir o n m e n t  s u c h   as   t h at  p o s ed   in   Fi g u r e   7 ( b ) ,   w h o s e   b eh a v i o r   f o llo w s   t h e  m o v e m en t s   o f   th e  s i m u lated   r o b o t  in   V R M L   o f   M A T L A B ®,   p er f o r m in g   t h e   d eliv er y   o f   t h e   to o l  in   b o th   e n v ir o n m en t s ,   v i r tu al  a n d   i n   r ea l  ti m e,   s i m u lta n eo u s l y .   As   ca n   b e  s ee n   i n   Fi g u r e   1 0 ,   th e  s i m u latio n   s h o w s   th e  tr ac k i n g   p er f o r m ed   b y   t h e  r o b o t  to w ar d s   th e  h a n d   an d     th e  ad j u s t m en t  o f   t h e  d eliv er y   s tatu s   o f   t h e  to o l,  s u ch   a s   t h e  p o s itio n   an d   o r ien tat io n   o f   t h e  h a n d   in   th e  r ea l   en v ir o n m e n t.  T h e  o n l y   d i f f er en ce   b et w ee n   b o th   s itu a tio n s   is   th at  t h e  r ea l  r o b o t  d o es  n o t  ad j u s t  th e   o r ien tatio n   o f   t h e  to o l  b ec a u s e   it  d o es   n o t  h a v e  t h i s   d e g r ee   o f   f r ee d o m .   T en   te s t s   w er e   p er f o r m ed   to   d eter m i n e   th e  av er ag e  ti m e  it  tak e s   f o r   th e  m a n ip u lato r   to   d eliv er   th e  to o l,  f r o m   its   i n itial  p o s itio n   f o r   tr ac k in g   t h e  h a n d   s ee   Fi g u r e   7 ( a )   to   th e  ad j u s t m en t  o f   th e   d eliv er y   s tatu s ,   m ak in g   5   d i f f er en t  p o s it io n   c h an g es   f o r   ea c h   te s t.   A d d itio n al l y ,   f r o m   ea ch   o f   t h e  test s ,   th e  d is ta n c e  b et w ee n   th e  p o s itio n   o f   th e  e n d   ef f ec to r   an d   th e  h an d   p o s itio n ,   ex tr ac ted   b y   t h e  al g o r ith m ,   w as   m ea s u r ed   to   o b tai n   a  m ar g i n   o f   er r o r   in   t h e  ac c u r ac y   o f   th e   d eliv er y .   T ab le   1   s h o w s   th e  ti m e  u s e d   b y   th e  ap p licatio n   f o r   th e  d eliv er y   o f   th e  to o l  an d   th e  d is t an ce   d if f er en c e   b et w ee n   th e  d esire d   p o in t a n d   th e  f in al  e f f ec to r ,   tak en   i n   m ill i m eter s .           Fig u r e  10 .  Deliv er y   o f   t h e  to o l b o th   in   s i m u latio n   a n d   in   a  r e al  en v ir o n m e n t       T ab le  1 .   R esu lts   o b tain ed   T e st   T i me   ( s)   D i st a n c e   e r r o r   ( mm )   1   1 5 . 1 4   1   2   1 9 . 5 7   5   3   1 0 . 2 5   17   4   1 5 . 4 5   8   5   1 3 . 7 3   3   6   1 6 . 0 4   2   7   1 5 . 0 1   1   8   1 6 . 3 0   2   9   1 6 . 7 6   3   10   1 5 . 3 2   9   A v e r a g e   1 5 . 3 5 7   5 . 1       T h e  ap p licatio n   ta k es   ar o u n d   1 5 s   to   tr ac k   th e   h an d ,   w i th   ch an g e s   i n   p o s itio n   d u r in g   th e   a p p licatio n ,   an d   it  h as  a   m ar g i n   o f   er r o r   o f   less   th a n   1 0 m m   i n   m o s t   ca s es .   As  ca n   b e  s ee n   i n   Fi g u r e   1 0 ,   o n e  o f   t h e  g r ea tes t   d if f ic u lt ies  o f   th e  ap p licatio n   is   t h e  r ec o g n itio n   o f   t h e  h a n d   w h en   t h e  m a n ip u lato r   i s   n e ar   o r   o n   to p   o f   it.  B ec au s e  th e  o b j ec t  d etec tio n   alg o r ith m   i n cl u d es  all  th o s e  w h o s e  d if f er e n ce   o f   to n es  w i t h   th e  b ac k g r o u n d   is   h ig h er   t h a n   a  t h r es h o ld ,   th e   al g o r ith m   te n d s   to   r ec o g n ize   th e  r o b o t  as  p ar t  o f   t h e  h a n d ,   wh ich   g e n er ates   t h at   th e  s ize  o f   t h e  b o x   th at  co v er s   it  ex p an d s   a n d   co v er s   t h e  m a n ip u lato r ,   d is p laci n g   t h e  r ea l  p o s itio n   o f   t h e  h an d ,   as  s h o w n   in   Fi g u r e   1 0 .   On   t h e  o th er   h a n d ,   t h e  p r esen ce   o f   th e  m a n ip u lato r   o n   th e   h a n d   c au s e s   d eter io r atio n     o r   f ail u r e  o f   t h e  d etec tio n   o f   th e   o r ien tatio n   o f   t h e  h a n d ,   b ec au s e   i n   t h e  f ir s t  ac ti v ati o n   o f   t h e  n et w o r k     th e  r o b o t  is   r ec o g n ized   as  p a r t  o f   th e  h an d ,   ca u s in g   th e  el lip s e  to   en co m p ass   p ar t  o f   th e  r o b o t  an d   d ef lect    th e  in c lin a tio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       To o l d elive r y  r o b o t u s in g   c o n v o lu tio n a l  n eu r a l n etw o r k   ( Ja vier P in z o n - A r en a s )   6307   4.   CO NCLU SI O N   T h is   alg o r ith m   is   t h e  id ea l  co m p le m e n t  f o r   h u m a n - r o b o t  in t er ac tio n   w o r k s ,   s u c h   as  t h e  d ev elo p m e n t   o f   as s is ta n ce   r o b o ts ,   s i n ce   it  i s   ca p ab le  o f   e n s u r in g   t h e  d eli v e r y   o f   th e   o b j ec t  d esire d   b y   t h e  u s er   r eg ar d less   o f   th e  lo ca tio n   o f   h is   h a n d ,   its   o r ien tatio n   o r   an y   c h a n g e  i n   d eliv er y   co n d itio n s   t h at  o cc u r s   at  a n y   p o in t  i n     th e  in ter ac tio n   p r o ce s s .   T h e  d eliv er y   o f   to o ls   m ad e  b y   t h e  r o b o t  allo w s   th e  u s er   to   co n ce n tr ate  o n   th e  ta s k   h e   is   d ev e lo p in g ,   eit h er   a  s u r g er y   o r   th e   r ep air   o f   a   v e h icle,   s i n ce   th e   u s er   d o   n o t   h a v e  to   s p e n d   p ar t  o f   t h e  ti m e   lo o k in g   f o r   a  to o l a m o n g   a  lar g e  s et  o f   ele m e n ts ,   b u t o n l y   a s k   f o r   it a n d   w ait  f o r   it to   b e  d e liv er ed .   I t  is   p r o p o s ed   to   tr ain   a  C NN  th at  r ec o g n ize s   th e  h an d   ev e n   w h e n   it  h as  a n   o b s tr u ctio n   o n   it,  in   o r d er   to   o b tain   ac tiv atio n s   ca p ab le  o f   f o c u s i n g   clea r l y   o n   th e  h a n d ,   an d   n o t  o n   t h e  r o b o t,  an d   to   en s u r e  th at  th e  b o x   co v er in g   th e  h a n d   is   m o r e  ac cu r ate  an d   d o es  n o t  co v er   m o r e  th an   n ec e s s ar y .   A s   a  s ec o n d   o p tio n ,   a  m o r e   r o b u s t  o b j ec t  d etec tio n   alg o r ith m   co u ld   b e  u s ed   t h at  o n l y   e x tr ac ts   t h e  h an d   f r o m   t h e  w o r k   en v ir o n m e n t  an d   en ter s   i t  i n to   th e   C N N  alr ea d y   tr ai n ed .   Desp ite  t h e  d i f f icu lties   p r ese n ted   w h e n   d etec ti n g   t h e  p o s itio n   an d   o r ien tat io n   o f   t h e  h a n d ,   th e  a lg o r ith m   h a s   th e  ab ilit y   to   f o l lo w   t h e  d esire d   en d   p o in t,  ev en   if   it  m o v e s   an d   ch an g es   p o s itio n   co n s ta n tl y ,   an d   ca n   a ls o   co r r ec t  th e   o r ien tatio n   o f   th e  to o l,  th e  n u m b er   o f   ti m e s   it   is   n ec es s ar y ,   u n til i t d etec ts   th a t it  r ea ll y   is   i n   t h e  p o s itio n   an d   o r ien tatio n   n ec ess ar y   to   ca r r y   o u t th e  d eli v er y .       ACK NO WL E D G E M E NT S   T h e  au th o r s   ar e  g r atef u l   to   t h e   Militar   Nu e v a  Gr a n ad a  U n i v er s it y ,   w h ic h   th r o u g h   i ts   Vice   ch an ce l lo r   f o r   r esear ch   f i n an ce s   t h e  p r esen t  p r o j ec t  w it h   co d e  I MP - I NG - 2 2 9 0   an d   titl ed   " P r o to ty p e  o f   r o b o t    ass is tan ce   f o r   s u r g er y " .   L ik e w i s e,   ac k n o w led g e m e n t  i s   g i v en   to   th e  p ar ticip atio n   o f   t h e  en g i n ee r   Pa u la     Usech e   w h o ,   t h r o u g h   t h e  s er v ice  p r o v is io n   o r d er   n u m b er   0 721 /2 0 1 8 ,   w as  h ir ed   f o r   t h e  d ev elo p m e n t  o f     th e  ex p o s ed   alg o r it h m s .       RE F E R E NC E S   [1 ]   A n n a   He n sc h e l,   Ru u d   Ho rte n siu s,  Em il y   S .   Cro ss ,   “ S o c ial  Co g n it io n   in   t h e   Ag e   o f  Hu m a n – Ro b o t  In tera c ti o n , ”   T re n d s i n  Ne u ro sc ien c e s,   v o l.   4 3 ,   n o .   6 ,   p p .   3 7 3 - 3 8 4 ,   2 0 2 0 .   [2 ]   A n g e li k i  Zac h a ra k i,   Io a n n is  Ko sta v e li s,  “ A n to n io s  G a ste ra to s,  Io a n n is  D o k a s,  S a f e t y   b o u n d s  in   h u m a n   ro b o t   in tera c ti o n :   A   su rv e y , ”   S a fety   S c ien c e ,   v o l.   1 2 7 ,   2 0 2 0 .   [3 ]   Yu e y u e   L iu ,   Zh ij u n   L i,   Hu a p i n g   L iu ,   Zh e n   Ka n ,   “ S k il l  tran sf e r  le a rn in g   f o r  a u to n o m o u s  ro b o ts  a n d   h u m a n – ro b o t   c o o p e ra ti o n :  A   su rv e y , ”   Ro b o ti c s a n d   Au to n o mo u s S y ste ms ,   v o l.   12 8 ,   2 0 2 0 .   [4 ]   S .   Eh sa n   Ha sh e m i - P e tro o d i,   S imo n   T h e v e n in ,   S e rg e y   Ko v a le v ,   A l e x a n d re   Do lg u i,   “ Op e ra ti o n s  m a n a g e m e n t  issu e s   in   d e sig n   a n d   c o n tr o l  o f   h y b rid   h u m a n - ro b o t  c o ll a b o ra ti v e   m a n u f a c tu rin g   s y ste m s:  a   su rv e y , ”   An n u a l  Rev iews   in   Co n tro l,   2 0 2 0 .   [5 ]   Am in   Ha m e d ,   M e h d i  T a le  M a s o u leh ,   A h m a d   Ka lh o r,   “ De sig n   a n d   c h a ra c teriz a ti o n   o f   a   b io - i n sp ired   3 - DO F  T a c ti le/F o rc e   se n so r  a n d   im p le m e n tatio n   o n   a   3 - DO F   d e c o u p led   p a ra ll e l  m e c h a n ism   f o r  h u m a n - r o b o t  in tera c ti o n   p u r p o se s, ”   M e c h a tro n ics ,   v o l.   6 6 ,   2 0 2 0 .   [6 ]     J.  T a y lo r,   L .   Bo rd e a u x ,   T .   Ca sh m a n ,   B.   Co r ish ,   C .   Ke sk in ,   S h a rp ,   T . ,   e t  a l,   “ Ef f icie n t  a n d   p re c ise   i n tera c ti v e   h a n d   trac k in g   th ro u g h   jo i n t,   c o n t in u o u s  o p ti m iza ti o n   o f   p o se   a n d   c o rre sp o n d e n c e s, ”   ACM   T ra n sa c ti o n s  o n   Gr a p h ics   (T OG) ,   v o l.   3 5 ,   n o .   4 ,   p p .   1 - 1 2 ,   2 0 1 6 .   [7 ]   Jin g   F a n g ,   Yu a n   Yu a n ,   “ Hu m a n - in - th e - l o o p   o p ti m iza ti o n   o f   we a ra b le  ro b o ts  to   re d u c e   th e   h u m a n   m e tab o li c   e n e rg y   c o st i n   p h y sic a l  m o v e m e n ts, ”   Ro b o ti c s a n d   Au t o n o mo u s   S y ste ms ,   v o l.   1 2 7 ,   2 0 2 0 .   [8 ]   Yo n g   W a n g ,   X ian   Wei,   Ha o   S h e n ,   L u   Din g ,   Jiu q in g   W a n ,   “ Ro b u st  f u sio n   f o r  R G B - D   trac k in g   u sin g   CNN   f e a tu re s, ”  Ap p li e d   S o ft   C o mp u ti n g ,   v o l.   9 2 ,   2 0 2 0 .   [9 ]   Di  Yu a n ,   W e i  Ka n g ,   Zh e n y u   He ,   “ Ro b u st  v isu a l  trac k in g   w it h   c o r re latio n   f il ters   a n d   m e tri c   lea rn in g , ”   Kn o wled g e - Ba se d   S y ste ms ,   v o l.   1 9 5 ,   2 0 2 0 .   [1 0 ]   Ja v ier  Orla n d o   P i n z ó n - A re n a s,  Cé sa r  G io v a n y   P a c h ó n - S u e sc ú n   a n d   Ro b in s o n   Jim é n e z - M o re n o ,   “ As sista n t  ro b o t   th ro u g h   d e e p   lea rn in g , ”   In ter n a t io n a l  J o u rn a l  o f   El e c trica l  a n d   Co mp u ter   E n g i n e e rin g   ( IJ ECE ) ,  v o l.   1 0 ,   n o .   1 ,    p p .   1 0 5 3 - 1 0 6 2 ,   2 0 2 0 .   [1 1 ]   Jia o h u a   Qi n ,   W e n y a n   P a n ,   X u y u   X ia n g ,   Yu n   T a n ,   G u im in   Ho u ,   “ A   b io lo g ica l  im a g e   c las sif ic a ti o n   m e th o d   b a se d   o n   im p ro v e d   CNN , ”   Eco l o g ica l  I n fo rm a t ics ,   v o l.   5 8 ,   2 0 2 0 .   [1 2 ]   M a y u r  Bh a rg a b   Bo ra ,   Din th isra n g   Da i m a r y ,   Kh wa irak p a m   Am i tab ,   De b d a tt a   Ka n d a r,   “ Ha n d w rit ten   Ch a ra c ter  Re c o g n it io n   f ro m   I m a g e s u sin g   CNN - ECOC, ”   Pro c e d ia   C o mp u ter   S c ien c e ,   v o l.   1 6 7 ,   p p .   2 4 0 3 - 2 4 0 9 ,   2 0 2 0 .   [1 3 ]   Da n ish   V a sa n ,   M a m o u n   A laz a b ,   S o b ia  W a ss a n ,   Ba b a k   S a f a e i,   Qin   Zh e n g ,   “ Im a g e - Ba se d   m a l w a r e   c las si f ica ti o n   u sin g   e n se m b le o f   CNN   a rc h it e c t u re s (IM CEC), ”   Co m p u ter s &   S e c u rity,  v o l.   9 2 ,   2 0 2 0 .   [1 4 ]   P a u la  Us e c h e ,   Ro b in so n   Jim é n e z - M o re n o   a n d   Ja v ier  M a rti n e z   B a q u e ro ,   “ A lg o rit h m   o f  d e tec ti o n ,   c las sif ic a ti o n   a n d   g rip p in g   o f   o c c lu d e d   o b jec ts  b y   CNN   tec h n i q u e s  a n d   Ha a r  c las sif iers , ”   In ter n a ti o n a l   J o u r n a l   o f   El e c trica l  a n d   Co mp u ter   E n g in e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   2 .  p p .   1 3 0 8 - 1 3 1 6 ,   2 0 2 0 .   [1 5 ]   Cé sa r  G io v a n y   P a c h ó n - S u e sc ú n ,   Ca rlo s  J.  En c iso - A ra g o n   a n d   Ro b i n so n   Jim é n e z - M o re n o ,   “ Ro b o ti c   n a v ig a ti o n   a lg o rit h m   w it h   m a c h in e   v isio n , ”   In ter n a t io n a l  J o u rn a l  o f  E lec t ric a l  a n d   Co m p u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   no .   1 ,   p p .   1 3 2 9 - 1 3 4 2 ,   2 0 2 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Decem b er   2020   :    6 3 0 0   -   6 3 0 8   6308   [1 6 ]   Ra c h e ll e   M o rg e n ste rn ,   Ed w in   P .   S u ,   “ T h e   g rip p e r  ta b le  m o u n ted   re trac ti o n   sy ste m :  A   ti re les s  su rg ica l  a ss istan t, ”   S e min a rs   i n   Art h ro p la sty ,   v o l .   2 9 ,   n o .   3 ,   p p .   1 3 4 - 1 3 6 ,   2 0 1 8 .   [1 7 ]   J.  O.  P .   A re n a s,  P .   C .   U.  M u ri ll o   a n d   R.   J.   M o re n o ,   “ Co n v o lu ti o n a l  n e u ra l  n e tw o rk   a rc h it e c tu re   f o r  h a n d   g e stu re   re c o g n it io n , ”  IEE E   XX IV   In ter n a ti o n a l  C o n fe re n c e   o n   E lec tro n ics ,   E lec trica l  E n g i n e e rin g   a n d   Co m p u ti n g   ( INT ER CON) ,   p p .   1 - 4 ,   2 0 1 7 .   [1 8 ]   T re sn a   De w i,   S it i  Nu rm a in i,   P o la   Rism a ,   Yu rn i  Ok tarin a ,   M u h a m m a d   Ro riz,  “ In v e rse   k in e m a ti c   a n a l y sis  o f   4   DO F   p ick   a n d   p lac e   a rm   ro b o t  m a n ip u lat o r  u sin g   f u z z y   lo g ic  c o n tro ll e r, ”   In ter n a ti o n a l  J o u r n a l  o f   El e c trica l  a n d   Co mp u ter   E n g in e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   2 ,  p p .   1 3 7 6 - 1 3 8 6 ,   2 0 2 0 .   [1 9 ]   P a u la  Ca talin a   Us e c h e   M .   a n d   Ro b i n so n   Jim é n e z - M o re n o ,  “ De tec ti o n   a n d   g rip p i n g   o f   a n   o c c lu d e d   to o l  u sin g   DAG - CNN , ”   AR PN  J o u rn a l  o f  E n g i n e e rin g   a n d   A p p l ied   S c ie n c e s,   v o l.   1 5 ,   n o .   9 ,   p p .   1 0 6 9 - 1 0 7 8 ,  20 2 0 .   [2 0 ]   M a ry a m   Ko u z e h g a r,   Yo k h e sh   Krish n a sa m y   T a m il se lv a m ,   M a n u e l  V e g a   He re d ia,  M o h a n   Ra jes h   El a ra ,     “ S e lf - re c o n f ig u ra b le  f a ç a d e - c lea n in g   r o b o t  e q u i p p e d   w it h   d e e p - lea rn in g - b a se d   c ra c k   d e tec ti o n   b a se d   o n   co n v o lu ti o n a l  n e u ra l  n e tw o rk s, ”  Au to m a ti o n   i n   C o n stru c ti o n ,   v o l.   1 0 8 ,   2 0 1 9 .   [2 1 ]   Zeli  W a n g ,   He n g   L i,   X iao li n g   Z h a n g ,   “ Co n str u c ti o n   w a ste   re c y c li n g   ro b o t  f o r  n a il s  a n d   sc re w s:  C o m p u ter  v isio n   tec h n o l o g y   a n d   n e u ra l  n e tw o rk   a p p ro a c h , ”  A u to m a ti o n   in   C o n str u c ti o n ,   v o l.   9 7 ,   p p .   2 2 0 - 2 2 8 ,   2 0 1 9 .   [2 2 ]   S im o n y a n ,   K.  a n d   Zi ss e r m a n ,   A . ,   “ V e r y   d e e p   c o n v o lu ti o n a l  n e tw o rk s  f o r  lar g e - sc a le  i m a g e   re c o g n it io n , ”     a rXiv p re p ri n t  a rX iv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [ 2 3 ]   E n c i s o - A r a g ó n ,   C .   J . ,   P a c h ó n - S u e s c ú n ,   C .   G .   a n d   J i m e n e z - M o r e n o ,   R . ,   “ Q u a l i t y   c o n t r o l   s y s t e m   b y   m e a n s   o f   C N N   a n d   f u z z y   s y s t e m s , ”   I n t e r n a t i o n a l   J o u r n a l   o f   A p p l i e d   E n g i n e e r i n g   R e s e a r c h ,   v o l .   1 3 ,   n o .   1 6 ,   p p .   12846 - 1 2 8 5 3 ,   2 0 1 8 .   [2 4 ]   F e n g y i  Zh a n g ,   Zh iy o n g   L iu ,   F a n g z h o u   X io n g ,   Jia n h u a   S u ,   Ho n g   Qia o ,   “ WAG NN :  A   W e ig h ted   A g g re g a ti o n   G ra p h   Ne u ra l  Ne tw o rk   f o r  ro b o t   sk il l  lea rn in g , ”   R o b o ti c s a n d   Au t o n o mo u s S y ste ms ,   v o l.   1 3 0 ,   2 0 2 0 .   [2 5 ]   F u rre r,   F . ,   B u rri,   M . ,   A c h telik ,   M .   a n d   S ieg w a rt,   R. ,   “ Ro to rS - A   m o d u lar  G a z e b o   M A V   sim u lato r  f ra m e w o rk , ”   Ro b o t  Op e ra ti n g   S y ste m ( ROS ),   p p .   5 9 5 - 6 2 5 ,   2 0 1 6 .   [2 6 ]   Yo n g   W a n g ,   X ian   W e i,   Xu a n   T a n g ,   Ha o   S h e n ,   L u   Din g ,   “ CNN   tr a c k in g   b a se d   o n   d a ta  a u g m e n tatio n , ”   Kn o wled g e - Ba se d   S y ste ms ,   v o l.   1 9 4 ,   2 0 2 0 .   [2 7 ]   T ian h a o   Hu ,   T a n g   T a n g ,   Ro n g lai   L in ,   M i n g   Ch e n ,   S h u f a   Ha n ,   Jie   W u ,   “ A   si m p le  d a ta  a u g m e n tatio n   a lg o rit h m   a n d   a   se l f - a d a p ti v e   c o n v o lu ti o n a l  a r c h it e c t u re   f o r  f e w - sh o t  f a u lt   d i a g n o sis  u n d e r  d if f e r e n t  w o rk in g   c o n d it i o n s, ”  M e a su re me n t,   v o l.   1 5 6 ,   2 0 2 0 ,         B I O G RAP H I E S   O F   AUTH O RS       Ro b i n s o n   J i m é n e z   M o r e n o   w a s   b o r n   i n   B o g o tá,  C o lo m b ia,  i n   1 9 7 8 .   He   re c e iv e d   th e   En g i n e e r  d e g re e   in   El e c tro n ics   a t  t h e   F ra n c isc o   Jo sé   d e   Ca ld a s District  Un iv e rsit y   -   UD  -   in   2 0 0 2 .   M . S c .   i n   In d u strial  A u to m a ti o n   f ro m   th e   Un iv e rsid a d   Na c io n a l  d e   Co l o m b ia  -   2 0 1 2   a n d   P h D  i n   En g in e e rin g   a t  th e   F ra n c isc o   Jo s é   d e   Ca ld a s  District  Un iv e rsity   -   2 0 1 8 .   He   is  c u rre n tl y   w o rk in g   a s  a   P ro f e ss o r  in   th e   M e c h a tro n ics   En g in e e rin g   P r o g ra m   a t  th e   Nu e v a   G ra n a d a   M il it a r y   Un iv e rsit y   -   UMN G .   He   h a s   e x p e rien c e   in   th e   a re a s  o f  In stru m e n tatio n   a n d   El e c tro n ic  C o n tro l ,   a c ti n g   m a in ly   in :  Ro b o ti c s,  c o n tro l,   p a tt e rn   re c o g n it i o n   a n d   im a g e   p ro c e ss in g .   E - m a il :  ro b in so n . ji m e n e z @u n im il it a r. e d u . c o         J a v ier   O r la n d o   Pi n z ó n   A r e n a s   w a s  b o rn   in   S o c o rr o - S a n tan d e r,   Co lo m b ia,  i n   1 9 9 0 .   He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   En g in e e rin g   (Cu m   L a u d e )  in   2 0 1 3 ,   S p e c ializa ti o n   i n   En g in e e rin g   P ro jec t  M a n a g e m e n t  in   2 0 1 6 ,   a n d   M . S c .   in   M e c h a tro n ics   En g i n e e rin g   in   2 0 1 9 ,   a t  th e   Nu e v a   G ra n a d a   M il it a ry   Un iv e rsity   -   UMN G .   He   h a s  e x p e rien c e   in   t h e   a re a s  o f  a u to m a ti o n ,   e lec tro n ic  c o n tro l ,   a n d   m a c h in e   lea rn in g .   C u rre n tl y ,   h e   is  stu d y in g   a   P h . D.   i n   A p p li e d   S c ien c e s  a n d   w o rk in g   a s   a   G ra d u a te  A s sista n t  a t  th e   UMNG  w it h   e m p h a sis  o n   Ro b o ti c s  a n d   M a c h i n e   L e a rn in g .   E - m a il :  u 3 9 0 0 2 3 1 @ u n im il it a r. e d u . c o     Evaluation Warning : The document was created with Spire.PDF for Python.