I AE S   I n t e r n at ion al  Jou r n al   of   Ar t if icial   I n t e ll ig e n c e   ( I J - AI )   Vol.   14 ,   No.   1 ,  F e br ua r y   2025 ,   pp.   1 93 ~ 203   I S S N:  2252 - 8938 ,   DO I :  10 . 11591/i jai . v 14 .i 1 . pp 19 3 - 203             193     Jou r n al  h omepage :  ht tp: // ij ai . iaes c or e . c om   Im itat io n  of   t h e  h u m a n  u p p e r  l imb  b y c o n vol u t io n al  n e u r al   n e t w or k s       P au la  Us e c h e   M u r il lo 1 ,   Robi n s on   Ji m é n e z - M or e n o 1 ,   Javier   E d u ar d o   M ar t ín e z   B aq u e r o 2   1 D ep ar t men t   o f  Mech a t ro n i c  E n g i n e eri n g ,   U n i v ers i d a d   Mi l i t ar  N u ev a  G ran a d a,   Bo g o t á ,   Co l o m b i a   2 Facu l t y   o f  Ba s i c  Sci e n ces   a n d   E n g i n eer i n g ,   U n i v ers i d a d   d e  l o s   L l an o s ,   V i l l av i cen c i o ,   Co l o m b i a       Ar t icle   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e ived   Apr   3 ,  2024   R e vis e d  J un   28 ,  2024   Ac c e pted  J ul   26 ,  2024       T h e  p ap er  o u t l i n es   t h e  d e v el o p me n t   o f  an   al g o ri t h m  fo cu s ed   o n   i m i t a t i n g   mo v eme n t s   o f  a  h u man   arm  an d   rep l i cat i n g   s t ro k es   g e n erat e d   b y   t h e  u s er' s   h an d   w i t h i n   a  w o r k i n g   e n v i ro n men t .   T h e  a l g o ri t h m  w as   craft ed   t o   d i s cer n   t h e   p o s i t i o n   o f  ei t h er  t h e  u s er' s   l eft   o r  ri g h t   arm,   t rack i n g   each   s ect i o n   (fi n g er s ,   w ri s t ,   el b o w ,   an d   s h o u l d er)  t h r o u g h   a  d et ec t i o n   an d   t ra ck i n g   s y s t em.   T h es e   mo v eme n t s   are  t h en   re p l i cat e d   o n t o   a  v i rt u al   arm,   s i m u l at i n g   t h e  ac t i o n s   o f  a   cu t t i n g   t o o l ,   g e n erat i n g   s t r o k e s   as   i t   mo v es .   Co n v o l u t i o n a l   n eu ra l   n et w o r k s   (CN N s )  w ere  emp l o y ed   t o   d et ec t   an d   cl a s s i fy   each   arm  s ect i o n ,   w h i l e   g eo me t ri c  a n al y s i s   d et erm i n e d   t h e  ro t at i o n   an g l e s   o f  e ach   j o i n t ,   faci l i t at i n g   t h e  v i rt u al   ro b o t 's   mo t i o n .   T h e  s t r o k e  rep l i ca t i o n   p r o g ra m  ach i ev e d   an   8 4 . 2 %   accu racy   i n   s t ro k e  ex ecu t i o n ,   g au g ed   b y   t h e  cl o s u re  o f  t h e  p o l y g o n ,   d i s t a n ce   b et w een   i n i t i a l   an d   fi n a l   d ra w i n g   p o i n t s ,   an d   g en era t e d   n o i s e,   w h i c h   w a s   u n d er  1 0 % ,   w i t h   a  9 9 %   p r o b a b i l i t y   o f  d ra w i n g   a   cl o s ed   p o l y g o n .   A   Fas t   reg i o n - b as e d   co n v o l u t i o n a l   n eu r al   n e t w o rk   ( Fas t   R - CN N )   n et w o r k   d et ec t e d   each   arm  s ect i o n   w i t h   6 0 . 2 %   accu racy ,   p r o d u ci n g   d et ect i o n   b o x es   w i t h   p reci s i o n   ran g i n g   fro m  1 7 %   t o   5 9 % .   A n y   reco g n i t i o n   s h o rt c o mi n g s   w ere   ad d re s s e d   t h ro u g h   mat h ema t i ca l   es t i mat i o n   o f  mi s s i n g   p o i n t s   an d   n o i s e  fi l t er s ,   res u l t i n g   i n   a  9 0 . 4 %   i mi t at i o n   rat e  o f  h u ma n   u p p er  l i mb   mo v eme n t .   K e y w o r d s :   C onvolut ional  ne ur a l  ne twor ks   F a s t  R - C NN   Ge s tur e s   r e c ognit ion  s ys tem   human  mot ions     M oti on  c a ptur e   da ta   R e a l - ti me  im it a ti on   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i ce n s e.     C or r e s pon din g  A u th or :   R obins on  J im é ne z - M or e no   M e c ha tr onics   E nginee r ing  P r ogr a m ,   F a c ult y  of   E n ginee r ing,   Unive r s idad  M il it a r   Nue va   Gr a na da   C a r r e r a   11  #   101 - 80,   B ogotá  D. C . ,   C olom bia   E mail:   r obins on. ji mene z @unim il it a r . e du. c o       1.   I NT RODU C T I ON   R e s e a r c h  or iente d  to  the  de tec ti on  a nd  t r a c king  of   the  human  body   [ 1]   a ll ows   e xplor ing  a ppli c a ti ons   a s s oc iate d  with  im pr oving  the   li v ing   c ondit ions   of   pe ople,   f or   e xa mpl e ,   with  the  moni to r ing  o f   pa in   t he r a pies   thr ough  yoga   a s   mentioned   in   [ 2] .   Anothe r   a ppr oa c h  to   body  tr a c king  is   in   human  mac hine  int e r a c ti on   to  a void   c oll is ions   be twe e n  thes e   [ 3] .   Als o  by  pe r f or mi ng  s p e c if ic  identif ica ti ons   s uc h  a s   ha nd  a nd  e lbow,   dr on e   c ontr ol  c a n  be   pe r f or med  a s   dis c us s e d  in   [ 4] .   As pe c t  th a t  a t  the  s pe c if ic  leve l  of   pa tt e r n   lea r ning  a ll ows   to  ge ne r a te  tr a jec tor y  tr a c king   [ 5] .   Now a da ys ,   pa tt e r n  lea r ning   a nd/or   r e inf or c e ment   lea r ning   tec hniques   a r e   us e d  by   de e p  lea r ning   a lgor it hms   to  tr a c k,   f or   e xa mpl e ,   c onvolut ional  ne u r a l  ne twor ks   ( C NN )   [ 6 ]   a ppli e d  to  t r a c king  mobi le  s ys tems   unde r   the   c onc e pt   of   int e r ne t   o f   thi ngs   [ 7]   or   s a tel li te   in f or mation   [ 8 ] .   F o r   the   topi c   of   int e r e s t   C NN s   c a n  be   us e d  to  tr a c k  gr oups   of   pe ople   [ 9 ]   or   a   va r ied  g r o up  of   tar ge ts   [ 10] .   W ha t  is   im po r tant  in   thi s   c a s e   is   to  ha ve   one   or   s e ve r a l  tr a c king  tar ge ts   a nd  to  tr a in  the  C N N  a de qua tely  with  s uf f icie nt  da ta  a s   de s c r ibed  in   [ 11]   a nd  r obus t  e nough  to   s uppor t  oc c lus ions   [ 12] .   I f   r e quir e d,   many   tr a c king   s ys tems   ha ve   de pth  c a mer a s   f or     dis tanc e - b a s e d  tr a c king   [ 13] ,   [ 14] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell ,  Vol.   14 ,   No.   1 ,  F e br ua r y   2025 :  19 3 - 203   194   As pe c ts   s uc h  a s   the  t r a c king  o f   ge ometr ies   f or   r a il wa y  s a f e ty  by   mea ns   of   C NN s   [ 15 ]   a nd  the   t r a c king  of   body  pa r ts   s uc h  a s   the  e ye   [ 16] ,   s how  the  potential  of   C NN s   in  tr a c king  tas ks .   I n  thi s   wor k,   th e   us e   of   c onvolut ional  ne twor ks   to  identif y  a nd  tr a c k  pa r ts   of   the  human  a r m  to  r e pli c a te  it s   moveme nt  in  a   r oboti c   manipulator   to  pe r f o r m  s pe c if ic  c utt ing  ge ometr i e s   or iente d  to  indus tr ial  wor k  f or   e xa mpl e   s tee l  s he e ts   or   s im il a r   is   e xpos e d.   T he   tr a c king  of   the  s houlder ,   e lbow  a nd  ha nd  to  r e pli c a te  a   pa r ti c ular   ge ometr y   with  the   r oboti c   manipulator   us ing  c onvolut ional  ne twor ks   by  r e gions ,   to  know  it s   s pa ti a l  loca ti on  a nd  matc h  it   with  that  of   the  r obo t,   thus   pr opos ing   the  ne twor k   a r c hi tec tur e   a nd  the   tr a c king  method .   Ne two r ks   by  r e gi ons   s uc h   a s   the  F a s ter   r e gion - ba s e d  c onvolut ional  ne ur a l  ne twor k   ( R - C NN )   [ 17]   a r e   us e d  f or   objec t  c las s if ica ti on  a nd  loca li z a ti on,   with  a ppli c a ti ons   s uc h  a s   r oa d  s a f e ty  [ 18] ,   objec t  c oll e c ti on  by  r obo ts   [ 19] ,   a mong  o th e r s   [ 20] .  T his   a ll ows   the  us e   of   thes e   ne twor ks   f or   tr a c king  objec ts   in  c ompl e x  e nvir onments   whe r e   t he y  ne e d  to  be   loca ted.   T he   f o ll owing   is   the   de ve lopm e nt   of   a n  a ppli c a ti on  f oc us e d  on   r e c ognizing   the   pos it ion   of   a   us e r 's   a r m  in  r e a l  ti me ,   by   mea ns   of   a n   r e d,   gr e e n  a nd   blue  ( R GB )   s upe r vis or y   c a mer a   a nd  C NN - ba s e d  pa tt e r n   r e c ognit ion  methods .   T he   objec ti v e   is   to   ge ne r a te  a   t r a c king  s ys tem  in   or de r   to  move   a   vir tual   r oboti c   manipulator   r e s pons ibl e   f or   mi m icking  the   movem e nts   of   the  us e r ,   a nd  t r a c e   the   pa th   of   it s   e nd  e f f e c t or   a s   if   it   we r e   a   c utt ing  tool .   T his   a lgor it hm  p r e s e nts   a n  innovative  method  of   r e c o gnizing   a nd  tr a c king  the  m ove ment  of   the   human   uppe r   li mb ,   by   us ing  F a s t  R - C NN   to  e xtr a c t   r e leva nt   s e c ti ons   of   the   a r m   s uc h  a s   the  s houlder ,   e lbow,   wr is t  a nd  f inger s ,   a nd  f r om   their   r e lative  po s it ions ,   c ontr ol  the  r otation  a ngles   of   e a c h  joi nt  of   t he   r obot   to  a c hieve   the  de s ir e d  dis plac e ment,   in  a ddit ion  to  e s ti mating  the  mi s s ing  point s   in  the  de tec ti on  of   the  ne twor k  to  s olve  it s   low  pe r c e ntage   o f   a c c ur a c y.   T he   a r ti c le  is   divi de d  in to  f ive  s e c ti ons :  in  the  f ir s t   s e c ti on,   a   br ief   int r oduc ti on  to  human  movem e nt   im it a ti on  s ys tems ,   the   us e   o f   C NN s   a nd  thei r   d if f e r e nt  va r iations   a nd   a ppli c a ti ons   is   given.   I n   the   s e c ond  s e c ti on,   the  ope r a ti on   of   the  a lgo r it hm   f r om   the   f ir s t  c ontac t  of   the  us e r   with   the   int e r f a c e   to   the   c omp letion  of   the  pr ogr a m   with   the  f ull y   r e p li c a ted  s tr oke   is   e xplaine d.   I n   the   thi r d   s e c ti on,   the  a r c hit e c tur e   of   the  F a s t     R - C N N  tr a ined  f or   f e a tur e   e xtr a c ti on  is   p r e s e nted.       2.   M E T HO D     Ne xt,   the   methodology   that  a ll ows   obtaining   the  a lgor it hm   of   im it a ti on   of   moveme nts   o f   the   human   uppe r   li mb ,   whos e   pur pos e   is   to   r e pli c a te  the   a c tu a l  pos it ion   of   the   a r m   dur ing   a   video   s hot,   a nd   to   ge ne r a te   s tr oke s   with  the  f inal  e f f e c tor ,   s im ulating  a   c utt ing   tool ,   is   pr e s e nted.   T he   de ve loped  a lgor it hm  is   r e s pons ibl e   f or   de tec ti ng  a nd   tr a c king  the   loca ti on  of   th e   r e leva nt  r e gions   of   the  a r m ,   s uc h  a s   the  s houlder ,   e lb ow,   wr is t   a nd  f inger ti ps .   F or   t his   pu r pos e ,   F a s t  R - C NN   a nd   R GB   s upe r vis ing  c a mer a   a r e   us e d,   in  o r de r   to  e xtr a c t  a   r e lations hip  of   a ngles   be twe e n  e a c h  of   the   r e gions   f ound  a nd   thus   e xtr a c t   the  de gr e e s   o f   r otation  o f   e a c h  joi nt   of   a   vi r tual  r obo t  to   ge ne r a te  the  i mi tation  o f   the   m ove ment.     S im ult a ne ous ly,   the  e nd  e f f e c to r   of   the   r obot  ge n e r a tes   a   s e r ies   of   s tr oke s   dur ing  it s   dis plac e ment,   whic h  r e pr e s e nt  the  c ut   made   by   a   too l  that   would   be   loca ted  a t   it s   f a r   e nd .   T he   s e que nc e   of   ope r a ti on  of   the  a lgor it hm  is   s hown  in   the  diagr a m   in   F ig ur e   1,   whe r e   e a c h  s tep  wa s   de mar c a ted  with   number s   f r om   0   to  4  a nd   dif f e r e nt  f unc ti ons   we r e   us e d  f or   e a c h  of   the  tas ks   r e quir e d  by  the  pr ogr a m ,   whic h  a r e   e xplaine d  in  e a c h  of   the  f oll owing  s tage s .   T he   pr ogr a m   int e r f a c e   is   pr e s e nted  in  F igu r e   2.       2. 1 .    S t e p   0:   I n it ial iza t ion   o f   v ar iab les   T he   de ve lopm e nt  r e quir e d  the  us e   of   a n  R GB   c a mer a   to  c a ptur e   the  wor king   e nvir onment  a nd  the   input   im a ge   wa s   r e s ize d  f r om   480x640   pixels   to   32 0x427  pixels ,   in  o r de r   to  s pe e d  up   the   a r m   pos it ion  de tec ti on  pr oc e s s   by  r e duc ing  the  number   o f   pixels   to   be   e v a luate d.   T o  ge ne r a te   the  F a s t  R - C NN   tr a ini ng  da taba s e ,   the  e leme nts   of   the  wor king   e nvir onment   we r e   va r ie d  a nd  the  ba r e   a r m  wa s   c a ptu r e d  f r om   the  s hould e r   to  the   f inger ti ps ,   a s   the  e xa mpl e   s hown  in  F igu r e   3,   whe r e   it   is   pos s ibl e   to  obs e r ve   the  R OI s   mar ke d  on  e a c h  s e c ti on  of   the  a r m  ( s houlder ,   e lbow ,   wr is t,   f inger s ).   As   s hown  in  F igur e   3 ,   the  a r m  mus t  a lwa ys   e nter   f r o m  the  r ight   s ide  of   the  im a ge ,   a nd  the   ha nd  mus t  ha ve   it s   f inge r s   f ull y  e xtende d  in  or de r   to   de tec t  the  f inger s   ( F in ge r s ) .             F igur e   1.   Algor i thm   f lowc ha r t   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       I mitat ion  of   the  human   uppe r   li mb  by   c onv olut iona l  ne ur al  ne tw or k s   ( P aula  Us e c he )   195       F igur e   2.   R e a l  a nd  vi r tual  pos it ion  o f   the   a r m   withi n  the  int e r f a c e   ( GU I )           F igur e   3.   Ar m   c a ptur e   with   labe ls   s houlder   ( blue ) ,   e lbow  ( ye ll ow) ,   wr is t  ( gr e e n) ,   a nd  f inger s   ( r e d)       T he   f i r s t  s tep  of   the  a lgo r it hm   c ons is ts   of   ini ti a li z in g  the  va r iable s   to   be   us e d  th r oughout  the   pr og r a m,   whic h  a r e   li s ted  in   T a ble   1,   whe r e   thei r   f unc ti o n,   na me  a nd  ini ti a li z a ti on   va lue  a r e   mentioned,   with  ti m e L   be ing  the  c ompl e ti on   ti me  e nte r e d  by   the   us e r   in   the   gr a phica l  int e r f a c e .   B oth  the  length   of   the   li nks   ( L )   a nd  the  a ngles   of   the  r obot  ( Q)   we r e   take n  in  or de r   f r om   t he   point   a nc hor e d  to  the  gr ound  ( e quivale nt  to  s h oulder   in  F igur e   3) ,   to  the  e nd  e f f e c tor   ( e quivale nt  to   f inger s   in  F igur e   3) .   T he   va lues   of   L   we r e   take n  a s   a n  a ve r a ge   of   the  lengths   of   a n  a dult   a r m  a s   mea s ur e d  e xpe r im e ntally  with  dif f e r e nt   tes t  s ubjec ts .   I n  a ddit ion  to  the  va r iable s   men ti one d  in  T a ble   1 ,   the  c a mer a ,   the  vi r tual  e n vir onment,   a nd   the  F a s t  R - C NN   tr a ined  f o r   the  a lgor it hm   ( c a ll e d  de tec tor )   a r e   ini ti a li z e d.       T a ble  1.   V a r ibale   i nit ial iza ti on   V a r ia bl e   F unt io n   V a lu e   L   L e ngt h of  t he  l in ks  of  t he  vi r tu a l  ma ni pul a to r  [ L ( 1 )   L ( 2 )  L ( 3 ) ]  ( me te r s )   [ 0.36  0.3  0.2]   Q   A ngl e s  of  t he  j oi nt s  of  t he  vi r tu a l  ma ni pul a to r  [ Q ( 1)  Q ( 2 )  Q ( 3) ]  ( r a di a ns )   [ 0  0  0]   C ount T im e   T im e r  t o de te r mi ne  t he  e nd of  t he  pr ogr a m ( s e c onds )   0   ti me L   T im e  l im it  f or  pr ogr a m c ompl e ti on   U s e r - de f in e d   ite   I te r a to r  f or  pl o tt in g t he  t r a c e  ge ne r a te d by the  r obot   1   numN   N umbe r  of  i nt e r me di a te  poi nt s  be twe e n a n e nd e f f e c to r  poi nt  a nd t he  ne xt  one   4   P   A r r a y c ont a in in g t he  pos it io n of  t he  e nd e f f e c to r  a t  e a c h de te c ti on [ P ( it e ,1)  P ( it e ,2)  P ( it e ,3) ]   --   boxe s   D e te c ti on f r a me s  on t he  i nput  i ma ge  [ x y width height]  ( pi xe ls )   --   [x c   y c ]   G e ome tr ic  c e nt e r  of  t he  boxe s   --   D im   I nput  i ma ge  di me ns io ns  [ r ow  c ol umn] .  ( pi xe ls )   [ 320 427]       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell ,  Vol.   14 ,   No.   1 ,  F e br ua r y   2025 :  19 3 - 203   196   2. 2 .    S t e p   1 :  Wait   f or   t h e   ar m   Dur ing  the  pr oc e s s   of   de tec ti on  a nd  tr a c king  of   the  uppe r   li mb,   the  s e c ti ons   f ound  a nd/or   e s ti mate d  a r e   plot ted  in   " Us e r 's   Ar m" ,   a s   s hown  in  F igur e   4   ( whe r e   e a c h  c olor   c o r r e s ponds   to  the  labe ls   in   F ig ur e   3) ,   in   or de r   to   give   f e e dba c k  to   the   us e r   a bout   the   r e c ognit ion  pr oc e s s ,   a nd   the   c ur r e nt   loca ti on  o f   t he   a r m.   S ubs e que ntl y,   the  a ngles   f or   the  moveme nt   of   the  vir tual  r obo t  a r e   c a lcula ted  us ing  the   " Ar mAngles " ,   whic h   is   e xplaine d  be low.   T he   di r e c t  kinema ti c s   o f   the   m a nipul a tor   is   us e d  to   obtain   the  pos it ion   of   the  e nd   e f f e c tor   a c c or ding  to   the  a ngles   f ou nd,   s tor ing   in   the   matr i x  P ( i te , :)   that   point .   F inally,   ite   is   incr e a s e d  by  one   ( in   e a c h   it e r a ti on)   a nd   S tep  3   is   e xe c uted.           F igur e   4.   De tec ti on  of   a r m   s e c ti ons       2. 3 .    S t e p   2 :  Ob t ain in g   a n gles   I n  the  s e c ond  s tep,   the  de tec tor   is   us e d  to  obtain  t he   a r m  s e c ti ons   in  e a c h  i ter a ti on  of   the  " while"   of   F igur e   1  a nd   the  f unc ti ons   " uniqB oxe s "   a nd  " Ang ulos B r a z z o"   a r e   a ppli e d  to  s e lec t  the  de tec ti on  bo xe s   with  the  highes t  pe r c e ntage   of   c onf idenc e   in  c a s e   of   de tec ti ng  mor e   than  one   e leme nt  pe r   c a tegor y,   a nd  to   c onve r t  the  inclination  a ngles   of   the  f inger s ,   w r is t,   e lbow  a nd  s houlder   point s ,   ge ne r a ted  on  the  im a ge ,   int o   r otation   a ngles   f or   the   joi nts   of   the   manipulator .   T he   de tec tor   r e c e ives   a s   input   the   im a ge   c a ptur e d   by   the   c a mer a   a nd   ge ne r a tes   a s   output   the  c la s s if ica ti on  of   the  s e c ti o ns   ( labe ls ) ,   the   pe r c e ntage   of   c onf idenc e   with   wh ich  e a c h   e leme nt  wa s   c las s if ied  ( s c or e s )   a nd  the  de tec ti on  bo xe s   ge ne r a ted  on  the  im a ge ,   whe r e   the  a r m  s e c ti ons   ( boxe s )   we r e   f ound.   T he   " uniqB oxe s "   f unc ti on  e va luate s   t he   number   o f   d e tec ti on   boxe s   ge ne r a ted  pe r   c a tego r y,   a nd  if   mor e   than  one   is   f ound,   it   c ompar e s   the  s c or e s   of   t he s e   boxe s   a nd  s e lec ts   the  one   with  the  highes t  pe r c e ntage .   A   human  c e nter e d   mot ion   de tec ti on  ( HC M D )   m a tr ix   is   c a lcula ted  to  s tor e   the  c oo r dinate s   of   the   ge ome tr ic  c e nter   of   the   de tec ti on   boxe s   o f   e a c h  c a t e gor y,   whe r e   e a c h   r ow   of   the  mat r ix   c ontains   the   p os it ions   [ xc   yc ]   o f   the  s houlder ,   e lbow,   wr is t ,   a nd   f inge r s   s e c t ions ,   in  that   o r de r ,   e a c h   s e c ti on  be ing   a   d if f e r e nt  r ow ,   number e d  f r om   1   to  4 .   T he   c oo r dinate s   [ xc   yc ]   a r e   obtaine d  a s   s hown  in   ( 1 )   a nd   ( 2) ,   yc   be ing  the  ve r ti c a l   c omponent  a nd   xc   the  ho r izonta l   one .   E a c h   r ow   o f   boxe s   is   c ompos e d  o f   the  e leme nts   pr e vious ly   ind ica ted  in  T a ble  1 ,   a nd  a s   in  HC M D,   it s   r ows   c or r e s pond  to   e a c h  of   the  boxe s   de t e c ted  in   the  c las s if ica ti on  c a tegor ies .     =  ( : , 1 ) −   ( : , 3 ) 2   ( 1)     =  ( : , 2 ) +   ( : , 4 ) 2   ( 2)     T he   f unc ti on   " E s ti mate dAngle s "   s e e ks   to  e s ti mate   the  a ngle  of   r otation   of   the  point   whos e   c oor dinate s   of   the   ne ighbor ing   s e c ti ons   a r e   kno wn ,   e . g. ,   the   c a s e   whe r e   the  s houlder   a nd   wr is t   we r e   de tec ted,   bu t   t he   e lbow  wa s   not  ( P C 1,   P C 2  a nd  P e   f or   F igu r e   5 ,   r e s pe c ti ve ly) .   F o r   whic h,   it   is   r e qui r e d  to  know  the  c oor dinat e s   of   the  ne ighbor ing  point s   a nd  the  a nter io r   pos it ion  o f   t he   mi s s ing  point   ( P C a 1  or   P C a 2  in  F igu r e   5 ).   W it h  thi s   inf or mation,   a   tr iangle   r e lation   is   made   a s   s hown  in   F igur e   5 ,   whe r e   the  di mens ions   of   e a c h   r obot   li nk   i n  pixels   ( L m  c a lcula ted  in   ( 3 )   a s s umi ng  that  the   a r m   s pa ns   the  e nti r e   length   Dim( 2 )   of   the   im a ge )   a r e   kn own  a nd,   the r e f or e ,   the  int e r na l   a ngles   of   the  tr iangle   c a n  be   known,   us ing  the  c os ine  theor e m .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       I mitat ion  of   the  human   uppe r   li mb  by   c onv olut iona l  ne ur al  ne tw or k s   ( P aula  Us e c he )   197       F igur e   5.   R a ti o  of   tr iangle s   a pplyi ng  the  c os ine  the or e m       [  ( 1 )  ( 2 )  ( 3 ) ] = [ ( 1 ) ( 2 ) ( 3 ) ] ∗  ( 2 ) ( 1 ) + ( 2 ) + ( 3 )   ( 3)     W he r e   qd   is   the   a ngle   be twe e n  the   ve r ti c a l   a nd   the   li ne   ge ne r a ted   be twe e n  the   point s   P C 1= [ P C 1x  P C 1y]   a nd   P C 2= [ P C 2x  P C 2y] ,   c a ll e d   d,   whic h   c a n  be   known   by   a pplyi ng   the  d is tanc e   e qua ti on  be twe e n  two  p oint s   ( 4) .   P e   is   the   point   to  be   e s ti mate d,   P C a 1  o r   P C a 2  is   t he   pr e vious   pos it ion  o f   the  point   to   be   e s ti mate d,   whic h  is   known,   L m  a r e   the   lengths   of   the   r obot   li nks   in   pi xe ls   ( L m( 1)   a nd   L m( 2)   f o r   the   c a s e   in   whic h  the   e lbow  is   e s ti mate d,   L m( 2)   a nd   L m( 3)   in   c a s e   of   e s ti mating   the   wr is t)   a nd   β   is   the   a ngle  be twe e n   d   a nd   L m( 1) ,   whic h   will   a ll ow  e s ti mating  the   f i r s t   a ngle  of   the  q   ve c tor .       = √ (  1 −  2 ) 2 + (  1 −  2 ) 2   ( 4)     C a lcula te  β   with  the  c os ine  theor e m   a s   s hown  in   ( 5) ,   a nd   e s ti mate   the  a ngle  be twe e n  P e   a nd  P C 1    ( qe 1  a nd  qe 2)   a s   s hown  in  ( 6)   a nd   ( 7) ,   whe r e   qe 1  or   qe 2  is   s e lec ted  a s   the  e s ti mate d  a ngle,   a c c or ding  to  it s   dif f e r e nc e   with  r e s pe c t  to  the  p r e vious   a ngle  f o r   t h a t  li nk,   c hoos ing  the  one   that   is   c los e r .     = co s − 1 (  ( 1 ) 2 + 2 −  ( 2 ) 2 2 ∗  ( 1 ) ∗ )   ( 5)      1 =  −   ( 6)      2 =  +   ( 7)     Af ter   e s ti mating  the  f ir s t  a ngle  ( qe ) ,   we   p r oc e e d  to   obtain  the  e s ti mate d  c oor dinate s   of   the  m is s ing  point   ( P e )   us ing   ( 8) ,   whe r e   h  is   1   f or   the  c a s e   in  whic h  the  e l bow  is   e s ti mate d,   a nd  2  f o r   e s ti mating  the  w r is t.   I n   ( 8)   wha t   is   done   is   to   take   the   tr iangle   f o r med  by   L m( h ) ,   the   ve r ti c a l  a nd   a   ho r izonta l  pa s s ing  th r ough  P e   a nd   the   ve r ti c a l,   a nd  c a lcula te  it s   two   legs ,   in   or de r   to   a dd   them   to   the  c ur r e nt   pos it ion   of   po int   P C 1  a nd   thus   obtain   P e .   Onc e   the  e s ti mate d  c oor dinate s   of   the  m is s ing  point   a r e   known,   P e   is   s tor e d  in   HC M D( h+ 1, :) ,   c onve r ti ng  the  unknown  point   int o   a n  e s ti mate d  point .     = [ ] = [  1 +  ( ℎ ) ∗ co s ( )  1 −  ( ℎ ) ∗ s in (  ) ]   ( 8)     I n  or de r   to  s ubtr a c t  the  a ngles   of   a r m  inclination ,   is   c a lcula t e d  to  q( 1)   ( a ngle  be twe e n  L ( 1)   a nd  the   ve r ti c a l)   to  obtain  the  f ir s t  e s ti mate d  a ngle.   Af ter   q ( 1) ,   the  e s ti mate d  pos it ion  of   e lbow  is   c a lcula ted  us ing  ( 9) ,   whe r e   a   r otation  o f   e lbow ,   q( 1)   de gr e e s   with  r e s pe c t  to  s houlder   is   made ,   taking  a s   ini ti a l   pos it ion  of   e lbow  a  point   jus t  a bove   s houlder ,   a s s umi ng  that  the  dis t a nc e   both  is   L m( 1) ,   a s   s hown  in   ( 10 ) ,   be ing   R otZ   the   r otation   matr ix  with   r e s pe c t  to  Z   in   ( 11) ,   in   HC M D  matr ix .     ( 2 , : ) =  ( ( 1 ) ) ∗ ( ( 2 , : ) − ( 1 , : ) ) + ( 1 , : )   ( 9)     ( 2 , : ) = [ ( 1 , 1 ) , ( 1 , 2 ) +  ( 1 ) ]   ( 10)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell ,  Vol.   14 ,   No.   1 ,  F e br ua r y   2025 :  19 3 - 203   198    ( ( 1 ) ) = [ co s ( 1 ) − s in ( 1 ) s in ( 1 ) co s ( 1 ) ]   ( 11)     Af ter   obtaining   a nd  e s ti mating  the  la r ge s t  number   of   a r m  s e c ti ons ,   the   pos it ion  point s   HC M D( i, : )   a nd   HC M D( i+1, :) ,   be ing  i  the  i ter a tor   of   a   f o r   f r om   on e   to   thr e e ,   a r e   us e d  to  c a lcula te   the   ti lt   a ngle   of   e a c h  pa ir   of   point s   us ing  the  tange nt   a s   s hown  in   ( 12) ,   whe r e   a ll   a ngles   s tor e d  in   q   we r e   take n   with  r e s pe c t  t o  the   ve r ti c a l.   Onc e   the  a ngles   a r e   obtaine d   ( e it he r   c a lcula ted  or   e s ti mate d) ,   they   a r e   a djus ted  to   be   take n   with   r e s pe c t  to   the   r obot's   c oor dinate   a xis ,   whe r e   q( 1)   is   take n  with  r e s pe c t  to  the  ve r ti c a l,   q( 2)   with  r e s pe c t  to  q( 1) ,   a nd  q( 3)   with   r e s pe c t  to  q( 2) ,   us ing   ( 13)   thr ough  ( 15 ) ,   f or mi ng  t he   ve c tor   Q  with  the  a ngles   ne e de d  to  mi mi c   the  mot ion  of   the  human  a r m   in   the   vir tual   e nvir onment .   F inall y,   a   nois e   f il ter   wa s   a dde d   to  a void   a br upt   c ha ng e s   in  the  pos it ion  of   the  vi r tual  a r m  be twe e n  e a c h   it e r a ti on,   de nying  i ts   moveme nt  in  c a s e s   whe r e   the   va r iatio n  of   the   a ngles   be twe e n  the  pr e vious   a nd  the  c ur r e nt   it e r a ti on  is   gr e a ter   than  15º ,   whos e   va lue  wa s   e xpe r i menta ll y  s e lec ted  to  e ns ur e   s moot h  moveme nts   a nd  a void  e r r one ous   de tec ti ons   a lt e r ing  the  polygonal   tr ace.     ( ) = ta n ( ( + 1 , 2 ) − ( , 2 ) ( + 1 , 1 ) − ( , 1 ) )   ( 12)     ( 1 ) = ( 1 )   ( 13)     ( 2 ) = ( 2 ) − ( 1 )   ( 14)     ( 3 ) = ( 3 ) − ( 1 ) − ( 2 )   ( 15)     2. 4 .    S t e p   3 :  Dr aw  s t r ok e   T o  dr a w  the  c ut  li ne   made   by  the  vi r tual  a r m  with  t he   e nd  e f f e c tor ,   s tr a ight   li ne s   we r e   dr a wn  be twe e n   e a c h  pa ir   of   point s   of   the  P   matr ix  a nd  the  s tar t  a nd   e nd  point s   of   the  tr a jec tor y  we r e   c ha nge d  to  g r e e n  a nd  r e d ,  a s   s hows   F igur e   6 ( a ) .  T he   f ir s t   joi nt ,   a nc hor e d   to   th e   gr ound,   r e p r e s e nts   the  s houlder ,   the  s e c ond  the   e l bow  a nd  the  thi r d   the  w r is t,   with  the   f inal   e f f e c tor   be ing   th e   us e r 's   f inger ti ps .   T he   dr a wing   is   pe r f or med  du r i ng  e a c h  it e r a ti on,   a ll owing   the  us e r   to  obs e r ve   the   c utt ing  p r oc e s s   a s   he /s he   moves   the  a r m.   T o  p r e ve nt  the   number   of   point s   dr a wn   in  " Vir tual   r obot  a r m"   f r om   a lt e r ing   the  e xe c uti on   ti me   of   the   a lgor it hm,   the  c utt ing   im a ge   wa s   r e f r e s he d  e ve r y  100  point s ,   a nd  the  c ompl e te  s tr oke   wa s   dr a wn  a t  the  e nd  of   the  pr ogr a m .   T he   Q   a ngles   a r e   s e nt  dir e c tl y   to   the  r obot's   joi nts   to   move   it   a r ound   the  e nvir on ment,   n o  matter   whic h  a r m   of   the   us e r   is   be ing  r e c ognize d,   a nd   if   a ny  of   the   a r m   s e c ti ons   a r e   not   de tec ted,   the   mi s s ing  a ngle  is   r e plac e d  by  the  a ngle  o f   the   pr e vious   it e r a ti on .   A  F a s t  R - C NN   type  ne twor k  wa s   u s e d  f or   the  de tec ti on  a nd  c las s if ica ti on  of   the  a r m  s e c ti ons :   s houlder ,   e lbow,   w r is t ,   a nd   f inger s ,   whic h  wa s   tr a i ne d  with  a   tot a l  o f   4900   tr a ini ng   im a ge s ,   f or   250  e poc hs ,   a   M ini B a tchSi z e   of   49,   a n  input   im a ge   of   320x427  p ixels   a nd  de tec ti on  f r a mes   of   dim e ns ions   40x40  pixels .   An  ini ti a l  a c quis it ion  of   700   tr a ini ng   im a ge s ,   a nd  10 0  tes t  im a ge s   we r e   made ,   whe r e   the  us e r 's   ge nde r ,   a r m  pos it ion,   he ight   r e lative  to  the  c a mer a ,   a nd  wo r king  e nvir on ment  we r e   va r ied,   a nd  then  the  im a ge s   we r e   a ugme nted  with  the  Da ta  Augme ntation  pr og r a m  f r om  [ 21] ,   a lt e r in g  the  li ght   int e ns it y,   c olor s ,   a nd   a dding  nois e   to   the   im a ge .   T he   a r c hit e c tur e   f or   the  ne twor k  C NN   [ 22 ]   is   pr e s e nted  in  s e c ti on  3  ( Ne twor k  1) ,   whe r e   s mall  a nd   s qua r e   f il ter s   we r e   us e d  to  e xt r a c t  the  de tails   of   e a c h  s e c ti on  of   the  a r m ,   a nd   to  di f f e r e nti a te  e a c h  c a t e gor y  by   a s pe c ts   s uc h  a s   the  f inger s   of   the   ha nd,   the  c ha nge   of   a r e a   a t   the  w r is t  be twe e n  the  ha nd   a nd  the   a r m ,   t he   f olds   of   the  e lbow,   a nd  the   c ontac t  of   the  s houlder   wit h  the  c lot hing.   T he   F a s t  R - C NN   us e d  ( Ar m_F a s t R C NN )   a c hieve d  60. 2%   a c c ur a c y  f or   a   tot a l   of   700   tes t   im a ge s .   F igur e   6 ( b )   s hows   a n  e xa mpl e   of   de tec ti on  a nd   c las s if ica ti on  of   the  human  uppe r   li mb  whe r e   it   is   pos s ibl e   to  obs e r ve   the  de tec ti on  of   e a c h  of   the  s e c ti ons   of   the  a r m,   a nd  the  manipulato r 's   im it a ti on  o f   the   r e c ognize d  pos it ion,   in  a ddi ti on  to   the  c ut  t r a c e   ge ne r a ted  f r om   the  pr e vious   pos it ion  to   the  c ur r e nt  one .     2. 5 .    S t e p   4 :  Calc u lat io n   of   t i m e   I n  e a c h  it e r a ti on  of   the  " while"   in  F igu r e   1,   it   is   e va luate d  whe ther   the  a r m  is   r e c ognize d  or   not ,   us ing   a   c ondit ional  that   c ounts   the  number   of   s e c ti ons   de tec ted  by  the  de tec tor ,   whe r e   a   c ount  o f   the   ti me   that  the   a ppli c a ti on  ha s   be e n  e xe c uted  is   s tar ted,   in  c a s e   no  s e c ti on  is   f ound.   I f   the  a r m   is   not  de tec ted  w it hin  the   wor king  a r e a ,   the   ti me  that  ha s   e laps e d  f r om   the  c a ptur e   of   the   e nvir onment  to   the  de t e c ti on  of   the  up pe r   li mb   is   s tor e d  in  the   va r iable   C ountT im e   a nd  is   a dde d  to   the  f oll owing  it e r a ti ons   unti l   a   s e c ti on  is   de tec ted,   i n  whic h  c a s e ,   C ountT im e   is   e qua led  to  z e r o  a nd  s teps   2  a n d  3  a r e   e xe c uted.   T his   c ondit ional  is   only  e xe c uted  a f ter   the  f ir s t  de tec ti on  o f   the  a r m  ( S tep  1 ) .         Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       I mitat ion  of   the  human   uppe r   li mb  by   c onv olut iona l  ne ur al  ne tw or k s   ( P aula  Us e c he )   199       ( a )   ( b)     F igur e   6.   S t r oke   tes t   ( a )   s tr oke   e xa mpl e   a nd   ( b)   a r m  tr a c king  f or   s tr oke       3.   RE S UL T S   AN D  DI S CU S S I ON     T he   a lgor it h m  wa s   tes ted  wi th  the   r e a l iza ti on   of   12  polygons   a s   s hown  in   F igur e   7 ,   whe r e   the  a c c ur a c y   of   the  s tr oke   wa s   e va luate d  ba s e d  on  the  c los ur e   of   the  dr a wing  a nd  the  number   o f   li ne s   that   r e maine d   outs ide  the  polygon,   a s   s hown  in   T a ble  2 ,   whe r e   " C los ur e "   r e pr e s e nts   the   pe r c e ntage   o f   c los ur e   o f   the  po lygo n,   be ing   0%   c ompl e tely  ope n  ( a   s tr a ight   li ne )   a nd  100 %   c o mpl e tely  c los e d.   " Nois e "   r e pr e s e nts   the  pe r c e ntage   of   li ne s   that  r e maine d  outs ide  the  polygon   a nd  do   not   be lo ng  to  the   f igu r e ,   obtaine d  with   r e s pe c t  to   the  dim e ns io ns   of   the  polygon  ( c or r e s ponding  to   100% )   a nd  wi thout   c ons ider ing  the  s tar t  a nd   e nd  li ne s   o f   the   s tr oke .   " Ac c ur a te  c los ur e "   r e pr e s e nts   the  dis tanc e   be tw e e n  the  e nd  point   a nd  the  ini ti a l   point   of   the  f igu r e ,   100 %   be ing  c o mpl e tely  togethe r ,   a nd  0 %   be ing  the  dr a wing  o f   a   c ompl e tel y  s tr a ight   li ne   be twe e n  both   point s .   T he   " Ave r a ge   C los ur e "   wa s   obtaine d  a s   the   a ve r a ge   be twe e n   the  r e s ult s   of   " C los ur e "   a nd  " Ac c ur a te  C los ur e " ,   a nd   the   " S tr oke   Ac c ur a c y"   wa s   c a lcula ted  by  s ubtr a c ti ng  the  a ve r a ge   nois e   pe r c e ntage   f r om   the  " Ave r a ge   C los ur e " .           F igur e   7 .   P olygons   made   with  the   pr ogr a m       T a bl e   2 .  P r e c is ion  of   the  p r ogr a m  f or   the  r e a li z a ti o n  of   mu lt ipol ygona l  t r a c e s   P ol ygon   C lo s in g   (%)   N oi s e   (%)   A c c ur a te  c lo s in g   (%)   1   100   0   95   2   96   10   90   3   100   15   90   4   100   10   100   5   96   0   98   6   100   15   90   7   100   10   50   8   100   5   98   9   95   5   95   10   100   0   80   11   100   15   98   12   100   30   80   A ve r a ge   98 . 92   9 . 58   88 . 67   A ve r a ge  c lo s in g   93 . 79   S tr oke  pr e c is io n   84 . 21   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell ,  Vol.   14 ,   No.   1 ,  F e br ua r y   2025 :  19 3 - 203   200   Ac c or ding  to  the   r e s ult s   in  T a ble  2,   in   94%   o f   th e   c a s e s   it   will   be   pos s ibl e   to  make   a   99%   f igu r e   c los ur e ,   with   a   c los ing  a c c ur a c y  o f   89% .   99 %   of   th e   c a s e s   it   will   be   pos s ibl e   to   c los e   the   f igu r e ,   with   a   c los ing  a c c ur a c y  of   89% .   Additi ona ll y ,   in   84%   o f   the  c a s e s   it   will   be   pos s ibl e   to  d r a w  a   polygon   without   nois e .   nois e ,   a nd  in   c a s e   of   ha ving   nois e ,   it   will   be   les s   than   10% .   On   the   other   ha nd ,   the  pe r c e ntage   of   a c c ur a c y  o f   i mi tation  of   uppe r   li mb  moveme nts   wa s   c a lcula ted,   ba s e d  o n  the   pe r c e ntage   the   ti me   dur ing   whic h   the   pos it ion  of   the   vir tual  a r m  r e s e mbl e s   that  o f   the  upp e r   l im b.   the   vir tual  a r m   pos it ion   r e s e mbl e s   the  r e a l  one   by   mor e   th a n  90% .   F or   thi s   pur pos e ,   f ive  polygons   we r e   5   polygons   w e r e   pe r f or med ,   two  with   the  r ight   a r m ,   two   with  the   lef t  a r m   a nd  one   with  both  a r ms .   the  r ight   a r m,   two  wi th  the  lef t  a r m  a nd  one   wi th  both  a r ms ,   obtaining  th e   r e s ult s   s hown  in  T a ble  3,   whe r e   a ll   ti me  va lues   a r e   in  s e c onds .   ti me  va lues   a r e   in  s e c onds .   T he   " I mi tation  pe r c e ntage "   wa s   obtaine d  by  divi ding  the  " S uc c e s s f ul  im it a ti on  ti me"   by  the  " T otal  im it a ti on  ti me"   a nd  mul t ipl y ing  it   by   100% ,   a nd   the  " Ave r a ge "   is   the  a ve r a ge   pe r c e ntage   f or   the  5  c a s e s   pr e s e nted.   T he   " T otal   I mi tation   T i me"   wa s   s tar ted  c ounti ng  f r om  the   f i r s t  de tec ti on  o f   the   4  a r m  s e c ti ons ,   unti l   the   be ginni ng  o f   the   c ount  f or   th e   e nd  of   the  pr ogr a m .       T a ble  3.   P r og r a m  a c c ur a c y  f o r   the  im it a ti on  o f   hu man  uppe r   li mb   moveme nts   T e s t  a r m   T ot a l  im it a ti on  tim e   S uc c e s s f ul   im it a ti on t im e   P e r c e nt a ge  of   im it a ti on   (%)   A ve r a ge   R ig ht   31   27   87 . 10   90 . 39   R ig ht  2   20   20   100 . 00   L e f t   30   28   93 . 33   L e f t  2   24   21   87 . 50   B ot h   25   21   84 . 00       I n  a ll   tes ts ,   the  vir tual  a r m  f oll owe d  the  r e a l  one   w it h  ve r y  s mall  dif f e r e nc e s   in  pos it ion,   de ter mi ning   a s   a   not  a c c ur a te  im it a ti on  the  pos it ions   in  whic h  2  or   mor e   s e c ti ons   of   the  a r m  we r e   not  de tec ted  a nd  e s ti mate d   f or   mor e   than  ha l f   a   s e c ond,   whic h  we r e   the  only  s it ua ti ons   in  whic h  a   dif f e r e nc e   in  the  im it a ti on  wa s   a ppr e c iate d.   As   c a n  be   s e e n  in  T a ble  3 ,   the   pr o gr a m  a c hieve d  90. 39 %   a c c ur a c y  in  the   im it a ti o n  of   the   moveme nts   of   the  human   uppe r   li mb   dur ing   the   r e a li z a ti on  of   a   mul ti polygonal   f igu r e ,   than ks   to   the   e s ti mation  of   unde tec ted  point s ,   whic h  made   up   f or   the  low   p e r c e ntage   of   a c c ur a c y  of   the  F a s t  R - C NN .   Ne xt ,   a   c o mpa r is on   be twe e n   t hr e e   di f f e r e n t   R - C NN   a r c h it e c tur e s   tr a ined   f o r   the   r e c og nit ion   of   a r m   pa r ts   is   p r e s e n ted ,   wh os e   r e s ult s   ob taine d  b y  c o nf us ion  mat r ice s   a nd  r e c a ll   Vs   p r e c is i on  plo ts   we r e   us e d   to   s e lec t   the   f inal   ne tw or k   a r c hit e c tu r e .   All   ne tw or ks   w e r e   tr a ined   f o r   250   e poc hs   w it h   a   M in iB a tch S ize   o f   4 9,   w hich   wa s   s e lec ted   a s   hi ghe r   va lu e s   inc r e a s e d   t r a in ing   ti me   pe r   e p oc h   a nd   r e d uc e d   a c c u r a c y .   F igu r e s   8 ( a )   to   8 ( c )   s h ows   the  c onf us ion  matr ice s   [ 23] – [ 25 ]   ( whe r e   1   is   s houlder ,   2   is   e lbow ,   3   is   w r is t ,   a nd   4   is   f inger s )   f or   the   ne twor ks   tr a ined  with   the  a r c hit e c tu r e s   in  T a ble  4 .   W he r e   the  f ir s t  ne two r k  is   a n  R - C NN   a s   s hown  in  F ig ur e   8 ( a )   Ar m_R C NN   a nd  the   s e c ond  one s   a r e   F a s t   R - C NN   a s   s hown  in  F ig ur e   8 ( b ) ,   whic h  p r e s e nted  a   lowe r   d e tec ti on  ti me  than   the   R - C NN   with  be tt e r   de tec ti on  r e s ult s   ( T hr id   ne twor k   F ig u r e   8 ( c ) ) ,   r e a s on  why   it   wa s   de c ided  to  us e   a   F a s t  R - C NN   f or   the  a ppli c a ti on.             ( a )   ( b)   ( c )     F ig ur e   8.   C onf us ion  m a tr i x   ( a )   r e d   a r m _R C NN ,   ( b )   r e d   a r m _F a s tR C NN ,   a nd   ( c )   r e d  a r m _F a s tR C NN       Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       I mitat ion  of   the  human   uppe r   li mb  by   c onv olut iona l  ne ur al  ne tw or k s   ( P aula  Us e c he )   201   T a ble  4   pr e s e nt   the   a r c hit e c tur e s   o f   the  t r a ined   ne t wor ks   [ 26] ,   whe r e   we   tr ied   to   va r y   the   s ize   of   the   f il ter s ,   the  or de r   o f   the   laye r s   a nd  the   de pth  o f   the  n e twor ks .   F or   a ll   c a s e s ,   the  dim e ns ions   of   the  de tec ti on  f r a me   we r e   40x40  pixels ,   s ince   thi s   is   the  mi nim um   s ize   of   the  labe ls   ge ne r a ted  on  the  t r a ini ng  im a ge s .   W he r e   C   c or r e s ponds   to  a   c onvolut ion   laye r ,   R   to   t he   r e c ti f i e d  li ne a r   unit s ,   B   to   a   ba tch   nor maliza ti on ,   M AX P   to  one   of   M a xpooli ng,   F C   to   a   f ull y   c onne c ted ,   DR OP  to   a   d r opout ,   a nd   S OFT   to   a   s of tm a x .       T a ble  4.   C NN   a r c hit e c tur e s   N E T W O R K  1   N E T W O R K  2   N E T W O R K  3   L A Y E R S   F il te r   S iz e   S tr id e   N umbe r     F il te r s   L A Y E R S   F il te r   S iz e   S tr id e   N umbe r     F il te r s   L A Y E R S   F il te r   S iz e   S tr id e   N umbe r     F il te r s   C + B + R   6x6   1   16   C + B + R   6x6   1   16   C + B + R   3x3   1   16   C + B + R   5x5   1   64   C + B + R   5x5   1   64   M A X P   2x2   2   --   C + B + R   4x4   1   128   M A X P   3x3   2   --   C + B + R   3x3   1   256   M A X P   3x3   2   --   C + B + R   4x4   1   128   M A X P   3x3   2   --   C + B + R   3x3   1   256   C + B + R   3x3   1   256   C + B + R   3x3   1   512   C + B + R   3x3   1   512                     F C 1+ R E L U + D R O P   F C 2+ R E L U + D R O P   F C 3+ S O F T       Obs e r ving  that  none   of   the   ne twor ks   e xc e e de d  61% ,   the   ne twor k  with   the  highes t  pe r c e ntage   wa s   take n  a nd  tr a ined  f or   a n   a ddit ional  200   e poc hs ,   h owe ve r ,   it s   a c c ur a c y  dr oppe d   to  59 . 5% ,   with   no  n oti c e a ble  im pr ove ment  in  f r a me  de tec ti on  pe r c e ntage .   W e   tr ied  to  tr a in   that  s a me  ne twor k  with   a   lar ge r   M ini B a tchSi z e ,   a nd  with  a   s maller   one ,   obtaining  pe r c e ntage s   of   4 3 %   a nd  43. 1 % ,   r e s pe c ti ve ly  ( Ar m_F a s tR C NN _3  be ing  the   ne twor k  with   43%   a c c ur a c y) .   T o  ve r if y   that   the  p e r c e ntage   r e duc ti on  wa s   not   due   to   ove r - tr a ini ng,   the  ne w   tr a ined  ne twor ks   we r e   tes ted  with  the  tr a ini ng  da taba s e ,   obtaining  a bout  44%   a c c ur a c y,   whic h  a ll ow s   us   to  de duc e   that  the  ne twor k   did  not   memor ize .   Due   to  thes e   r e s ult s ,   it   wa s   de c ided  to  e va lu a te  the  a c ti va ti ons   [ 27]   of   the  t r a ined  ne twor ks   to  obs e r ve   the  qua li ty   of   the   inf o r mation   e xtr a c ted  by   e a c h  o f   t he m  a nd  f r om   ther e   de ter mi ne   the   s tr uc tur e   r e quir e d  f o r   the  f inal  ne twor k .   T he   a c ti va ti ons   s howe d  that   thes e   a r c hit e c tur e s   did  not   mana ge   to   f oc us   on   lea r ning   the   a r m,   but   c a pt ur e d  other   types   of   f e a tur e s   s uc h  a s   the  wood ,   the  c ha ir   a nd  the   body,   while  the  A r m_F a s tR C NN ,   f oc us e d  on  the  a r m  a nd  pa r t  o f   the  ba c kgr ound.   F or   a ny  o f   t he   tr a ined  ne twor ks ,   the  mos t  dif f icult  s e c ti on  of   th e   a r m  to   r e c ognize   is   the  e lbow,   due   to  the  mul ti ple  pos it ions   it   c a n  a dopt,   f r om  f ull y  s tr e tche d  to  tucke d  tow a r ds   the   c he s t,   in   a ddit ion   to   the  upwa r d   o r   downw a r d   ti lt   ( with   r e s pe c t  to  the  g r ound) ,   whic h   c a n  oc c ur   d ur ing  the   moveme nt  of   the   a r m.   S i mi lar ly ,   the   dis plac e ment  of   W r is t   a nd  it s   r otation   th r oughout  the  im a ge   a ls o  led  to   mul ti ple  r e pr e s e ntations ,   s ome  of   them   s im il a r   to   o ther   pa r ts   of   the  a r m  s uc h  a s   E lbow .   Due   to  thes e   de tec ti on  dif f iculti e s ,   the  de c is ion  wa s   made   to  make   the  p r oc e s s   of   " P oint   E s ti mation"   a s   a   T r a c king  s ys tem  f or   the  a lgor it h m,   in  or de r   t o  ke e p  tr a c k  of   a s   many  pa r ts   of   the  a r m  a s   pos s i ble  f or   a   r obot  tele ope r a ti on  c los e r   to   the   r e a l   one ,   ove r   the   lac k   of   in f or mation   ge ne r a ted   by   the   ne twor k.   A s s umi ng   that  the  point   e s ti mation  c ondit ionals   make   up  f or   the  low   de tec ti on  of   e lbo w ,   the  c onf us ion  matr ix  of   Ar m_F a s tR C NN   wa s   c a lcula ted  f or   the  r e maining   3  s e c ti ons   of   the  a r m ,   whe r e   the  a c c ur a c y  r os e   to   6 6. 3% .       4.   CONC L USI ON   T he   t r a c king  s ys tem   ( point   e s ti mation)   im pleme nt e d  in   the   pr ogr a m ,   a ll owe d   r e a c hing  a   pe r c e ntage   of   r e c ognit ion  a nd  r e pli c a ti on  of   moveme nts   of   t he   human  uppe r   li mb  of   up  to  90 %   a c c ur a c y,   lea ding  the  pr ogr a m  to   a c hieve   mo r e   than   98%   of   c los ur e   in   th e   mul ti polygonal   f igur e s ,   with   a   pe r c e ntage   of   nois e   of   les s   than  10% ,   de s pit e   us ing  a   F a s t  R - C NN   with  on ly  60%   a c c ur a c y .   C onc ludi ng  that   the   a c ti on  o f   ne twor k  r e c ognit ion  c a n   be   s tr e ngthene d  withi n   the  a ppli c a ti on.   T he   wide   va r iation   of   pos it ions   that   the  e lbow   c a n  a dopt   thr oughout  the  a ppli c a ti on ,   a nd  the  high   de gr e e   of   s im il a r it y  be twe e n  the  dif f e r e nt  s e c ti ons   of   the  a r m   a nd  it s   mul ti ple  pos it ions   ( both  f or   the  r ight   a nd  lef t  a r m ) ,   ge ne r a ted  dif f iculti e s   in  the  tr a ini ng   of   the  ne two r k,   due   to   the  de manding  ne e d  not  to  c onf us e   the  s e c ti ons   w it h  e a c h  other ,   nor   wi th  the  ba c kgr ound,   a nd  to   a c hieve   a n  a c c ur a c y  in  the  de tec ti o n  f r a mes   that  would  a ll ow   the  pos it ion  of   the  vir tual   a r m  to  be   s im il a r   to  the   r e a l  one .   Due   to   thes e   c ompl ica ti ons ,   it   wa s   pr e f e r r e d   to   s e lec t  a   ne two r k  wi th  a n   a c c ur a c y   of   60%   ins tea d  o f   a nother   with  72% ,   be c a us e   of   the  a c c ur a c y  o f   the  A r m_F a s tR C NN   in  th e   ge ne r a ti on   of   the   de tec ti on   f r a mes   f or   e a c h  c a tegor y,   whe r e   a   s maller   number   of   f r a mes   we r e   r e c ognize d,   but  c los e r   to  wha t  wa s   e xpe c ted.   T he   us e   of   lar ge r   input   im a ge s   than  thos e   us e d  in  the   tr a ini ng   da taba s e   f or   a   F a s t  R - C NN ,   may  incr e a s e   it s   a c c ur a c y  i n  the  c las s if ica ti on  of   the   ne twor k   c a tegor ies ,   howe ve r ,   i t  doe s   not   mea n  that   it   inc r e a s e s   in  the   s a me  wa y  the  a c c ur a c y  of   the  de tec ti on   f r a mes ,   nor   the   ove r a ll   p e r f or manc e   o f   the  p r ogr a m   pe r f or med  f or   the   r e pli c a ti on  of   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell ,  Vol.   14 ,   No.   1 ,  F e br ua r y   2025 :  19 3 - 203   202   tr a c e s   a nd  im it a ti on  o f   human   uppe r   li mb,   s o  it   is   e s s e nti a l,   f or   thi s   type  of   a ppli c a ti ons ,   to  e va luate   both  the   a c c ur a c y  of   the  ne twor k   a nd  the   a c c ur a c y  in  the  de tec ti on  of   e a c h  o f   it s   c a tegor ies .       AC KNOWL E DGE M E NT S     T he   a uthor s   a r e   gr a tef ul   to  Unive r s idad  M il it a r   Nu e va   Gr a na da   a nd  Unive r s idad  de   los   L lanos .       RE F E RE NC E S   [ 1]   Q .  W u,  “ R e s e a r c h  on  h uma n   bod y  d e te c ti o n  a nd  tr a c k in g  a lg or i t hm  ba s e d  o n  ki n e c t, ”   in   2 021  I nt e r na ti ona l  C onf e r e n c e   on  E le c t r oni c   I nf or m at io n T e c hn ol og y  a nd S m a r t  A g r ic ul tu r e , I C E I T SA   2021 ,  2021,  pp.  7 – 10 , d oi :  1 0.11 09/ I C E I T S A 5422 6.20 21.0 0011 .   [ 2]   A . A . K upi n, S . B a ne r je e , N . B a n e r je e , S . H . R oy, J . C . K li ne ,  a nd B . S hi w a ni , “ S ys te m  a r c hi te c tu r e   f or  V R   yoga  t he r a py pla tf or m  w it h  6 - D oF   w hol e - body  a va ta r   t r a c k in g,”   in   2024   I E E E   I nt e r nat io nal   C onf e r e nc e   on  A r ti fi c ia l  I nt e ll ig e nc e   and  e X te nde d  and  V ir tu al  R e al it y , A I x V R  2024 , 2024, pp. 360 – 366 , doi :  10.1109/ A I xV R 59861.2024.00062.   [ 3]   N .  A .  S .  N .  N a nda s e na ,  W .  A .  A .  V im ukt hi ,   H .  M .  K .  K .  M .  B .  H e r a th ,  R .  W ij e s in gh e ,  a nd  S .  L .   P .  Y a s a ke th u,  “ R e a l - ti me   uppe r   body  mot io n  tr a c ki ng  us in g  c omput e r   vi s io n  f or   im pr ove d  huma n - r obot   in te r a c ti on  a nd  te le op e r a ti on,”   M or at uw a  E ngi ne e r in g  R e s e ar c h C onf e r e n c e , M E R C on , pp. 201 – 206, 2023, doi:  10.1109/M E R C on60487.2023.10355479.   [ 4]   S . M . L .   G io i,   G . L oi a nno,  a nd F . C or de ll a , “ R obus t  uppe r  l i mb  ki ne ma ti c  r e c ons tr uc ti on us in g a   R G B - D  c a me r a ,”   I E E E  R obo ti c s   and A ut om at io n L e tt e r s , vol . 9, no. 4, pp. 3831 – 3837, 2024, doi:  10.1109/L R A .2024.3373236.   [ 5]   H .  X u,  J .  F a n,  H .  M a ,  a nd  Q .  W a ng,  “ S e mi pa r a me tr ic   m us c ul os ke le ta l  mode l  f or   r e in f or c e me nt   le a r ni ng - ba s e d  tr a je c to r y  tr a c ki n g,”   I E E E  T r ans ac ti ons  on I ns tr um e nt at io n and M e as u r e m e nt , vol .  73, pp. 1 – 16, 2024, doi:  10.1109/T I M .2024.3370760.   [ 6]   Z .  F e ng  a nd  P .  W a ng,  “ A   mode l   a da pt iv e   upda ti ng  k e r ne l  c or r e la ti on  f il te r   tr a c ke r   w it h   de e p  C N N   f e a tu r e s ,”   E ngi ne e r in g  A ppl ic at io ns  of  A r ti fi c ia l  I nt e ll ig e nc e , vol . 123, 2023, doi:  10.1 016/ j. e nga ppa i. 2023.106250.   [ 7]   L .  A .  H us s a in ,  S .  S in gh,  R .  M iz ouni ,  H .  O tr ok,  a nd  E .  D a mi a ni ,  “ A   pr e di c ti ve   ta r ge t  tr a c ki ng  f r a me w or k  f or   I oT   us in g  C N N – L S T M ,”   I nt e r ne t  of  T hi ngs , vol . 22, 2023, doi:  10.1016/j .i ot .2023.100744.   [ 8]   Q .  Z hu,  X .  H ua ng,  a nd  Q .  G ua n,  “ T a bC tNe t:   T a r ge t - a w a r e   bi la t e r a l  C N N - tr a ns f or me r   ne twor k  f or   s in gl e   obj e c t  tr a c ki ng  in   s a te ll it e   vi de os ,”   I nt e r na ti onal  J ou r nal  of  A ppl ie d E ar th  O bs e r v at io n an d G e oi nf or m at io n , vol . 128, 2024, doi:  10.1016/j .j a g.2024.1037 23.   [ 9]   M .  B a b a e e ,  Z .  L i,   a nd  G .  R ig ol l,   “ A   du a l  C N N – R N N   f or   mul ti pl e   pe opl e   tr a c ki ng,”   N e u r oc om put in g ,  vol .   368,  pp.  69 – 83,   20 19,  doi :  10.1016/j .ne uc om.2019.08.008.   [ 10]   G .  L i  e t  al . ,   “ O ne - s hot   mul ti - obj e c t  tr a c ki ng  us in g  C N N - ba s e d  ne twor ks   w it h  s pa ti a l - c ha nne l  a tt e nt io n  me c h a ni s m,”   O pt ic s   and  L as e r  T e c hnol ogy , vol . 153, 2022, doi:  10.1016/j .opt la s te c .202 2.108267.   [ 11]   Y .  W a ng,  X .  W e i,   X .  T a ng,   H .  S h e n,  a nd   L .  D in g,  “ C N N   tr a c ki ng  ba s e d  on   da ta   a ugm e nt a ti on,”   K no w le dge - B as e d  Sy s te m s ,   vol .  194, 2020, doi:  10.1016/j .knos ys .2020.105594.   [ 12]   M . F . A s la n, A . D ur du, K. S a ba nc i,  a nd M . A . M ut lu e r , “ C N N  a nd H O G  ba s e d c ompa r is on s tu dy f or  c ompl e te  oc c lu s io n ha ndl in g   in   huma n  tr a c ki ng,”   M e as ur e m e nt :   J our nal   of   th e   I nt e r nat io nal   M e as ur e m e nt   C onf e de r at io n ,  vol .  158,  2020,  doi :  10.1016/j .me a s ur e me nt .2020.107704.   [ 13]   Y .  W a ng,  X .  W e i,   H .  S he n,  L .  D in g,  a nd   J .  W a n,  “ R obu s t  f us io n   f or   R G B - D   tr a c ki ng  us in g  C N N   f e a tu r e s ,”   A ppl ie d  Sof t  C om put in g  J our nal , vol . 92, 2020, doi:  10.1016/j .a s oc .2020.106302.   [ 14]   Y .  W a ng,  X .  W e i,   L .  L uo,   W .  W e n,  a nd  Y .  W a ng,  “ R obus t  R G B - D   tr a c ki ng  vi a   c ompa c t  C N N   f e a tu r e s ,”   E ngi ne e r in g  A ppl ic at io ns   of  A r ti fi c ia l  I nt e ll ig e nc e , vol . 96, 2020, doi:  10.1016/j .e nga ppa i. 2020.103974.   [ 15]   X .  W a ng,  Y . B a i,   a nd X .  L iu ,  “ P r e di c ti on  of   r a il r o a d  tr a c k  ge o me tr y  c ha nge   us in g a   hybr id   C N N - L S T M  s pa ti a l - te mpor a l  mode l, ”   A dv anc e d E ngi ne e r in g I nf or m at ic s , vol . 58, 2023, doi:  10.1016 /j .a e i. 2023.102235.   [ 16]   N .  G una w a r de na ,  J .  A .  G in ig e ,  B .  J a va di ,  a nd  G .  L ui ,  “ P e r f o r ma nc e   a na ly s i s   of   C N N   mode ls   f or   mob il e   de vi c e   e ye   tr a c ki ng   w it h   e dge  c omp ut in g,”   P r oc e di a C om put e r  Sc ie n c e , vol . 207, pp. 22 91 – 2300, 2022, doi:  10.1016/j .pr oc s .2022.09.288.   [ 17]   R .  G ir s hi c k,  “ F a s t  R - C N N ,”   in   P r oc e e di ng s   of   th e   I E E E   I nt e r nat io nal   C onf e r e nc e   on  C om put e r   V is io n ,  2015,  I C C V   201 5,  pp.   1440 – 1448 , doi :  10.1109/I C C V .2015.169.   [ 18]   F .  C ui ,  M .  N in g,  J .  S he n,  a nd   X .  S hu,  “ A ut oma ti c   r e c ogni ti on  a n d  tr a c ki ng  of   hi ghw a y  la ye r - in te r f a c e   us in g  F a s te r   R - C N N , ”   J ou r nal   of  A ppl ie d G e ophy s ic s , vol . 196, J a n. 2022, doi:  10.1016/j .j a ppge o.2021.104 477.   [ 19]   J . O . P .   A r e na s , M .  R . J im é ne z ,  a nd P . C . U .   M ur il lo , “ F a s te r  R - C N N  f or  obj e c t  lo c a ti on i n a  vi r tu a l  e nvi r onme nt  f or  s or t in g t a s k,”   I nt e r nat io nal  J our nal  of  O nl in e  E ngi ne e r in g , vol . 14, no. 7, pp.  4 – 14, 2018, doi:  10.3991/i jo e .v14i07.8465.   [ 20]   L .  H .  L i  a nd  R .  T a non e ,  “ E ns e mbl e   l e a r ni ng  ba s e d   on  C N N   a nd  tr a ns f or me r   mode ls   f or   le a f   di s e a s e s   c la s s if ic a ti on ,”   in   P r o c e e di ngs   of  t he  2024 18th  I nt e r nat io nal  C onf e r e nc e  on Ubiquit ous  I nf or m at io n M anage m e nt  and C om m uni c at io n, I M C O M  2024 , 2024,  pp.  1 – 6 , doi :  10.1109/I M C O M 60618.2024.10418393.   [ 21]   M .  P .  C .  U s e c he ,  J .  P .  A r e na s ,  a nd  R .  J .  M or e no,  “ I mpl e me nt a ti on  of   a   da ta   a ugme nt a ti on  a lg or it hm  va li da te d  by  me a ns   of   th e   a c c ur a c y  of   a   c onvolut io na l  ne ur a l   ne twor k,”   J ou r nal   of   E ngi n e e r in g  and  A ppl ie d  S c ie n c e s ,  vol .  12,   no.  20,  pp.   5323 – 5331,  2 017,  doi :  10.3923/j e a s c i. 2017.5323.5331.   [ 22]   P . A . J a vi e r  O r la ndo,  J . M .  R obi ns on,  a nd J .  E . M . B a que r o, “ C ompa r is on of  c onvolut io na l  ne ur a l  ne twor k mode ls  f or  us e r ’ s  f a c ia l   r e c ogni ti on,”   I nt e r nat io nal   J our nal   of   E le c tr ic al   and   C o m put e r   E ngi ne e r in g ,   vol .  14,  no.  1,   pp.  192 – 198,  2024,   doi :   10.11591/i je c e .v14i1.pp192 - 198.   [ 23]   H .  Y un,  “ P r e di c ti on  mode l   of   a lg a l  bl ooms   us in g  lo gi s ti c  r e gr e s s io n  a nd  c onf us io n  ma tr ix ,”   I nt e r nat io nal   J our nal   of  E le c tr ic al   and  C om put e r  E ngi ne e r in g , vol . 11, no. 3, pp. 2407 – 2413, 2021, do i:  10.11591/i je c e .v11i3.pp2407 - 2413.   [ 24]   L .  E .  P omm e ,  R .  B our qui ,  R .  G io t,   a nd  D .  A ube r ,  “ R e la ti ve   c onf us io n  ma tr ix :  e f f ic ie nt   c ompa r is on  of   de c i s io n  mode ls ,”   in   P r oc e e di ngs   of   th e   I nt e r nat io nal   C onf e r e nc e   on  I nf or m at io n  V is ual is at io n ,  2022,  vol .  2022,  pp.  98 – 103 ,  doi :  10.1109/I V 56949.2022.00025.   [ 25]   A .  K r iz he vs ky,  I .  S ut s k e ve r ,  a nd  G .  E .  H in to n,  “ I ma ge N e t  c la s s if ic a ti on  w it h  de e p  c onvolut io na l  ne ur a l  ne twor k s ,”   C om m uni c at i ons   of  t he  A C M , vol . 60, no. 6, pp. 8 4 – 90, 2017, doi:  10.1145/3065 386.   [ 26]   T .  D .  T r in h,  P .  C .  L .  T .  V u,  a nd  P .  T .  B a o,  “ C ompa r in g  m a s k  R - C N N   ba c kbone   a r c hi te c tu r e s   f or   huma n  de te c ti on  u s in g  th e r ma l   im a gi ng,”   I nt e r nat io nal   J our nal   of   E le c tr ic al   and  C om put e r   E ngi ne e r in g ,  vol .  14,  no.  4,   pp.  3962 – 3970,   2024,  doi :  10.11591/i je c e .v14i4.pp3962 - 3970.   [ 27]   P .  K .  B a ll a ,  A .  K uma r ,  a nd   R .  P a nde y,  “ A   4 - c ha nne ll e d   ha z y  im a ge   in put   ge ne r a ti on  a nd  d e e p  le a r ni ng - ba s e d  s in gl e   i ma ge   de ha z in g,”   J ou r nal  of  V is ual  C om m uni c at io n and I m age  R e pr e s e nt at io n , vol . 10 0, 2024, doi:  10.1016/j .j vc ir .2024.104099.   Evaluation Warning : The document was created with Spire.PDF for Python.