I AE S In t er na t io na l J o urna l o f   Ro bo t ics a nd   Aut o m a t io n  ( I J RA)   Vo l.  1 4 ,   No .   1 ,  Ma r ch   20 2 5 ,   p p .   1 1 ~ 1 8   I SS N:  2722 - 2 5 8 6 ,  DOI :  1 0 . 1 1 5 9 1 /i jr a . v 1 4 i 1 . pp 1 1 - 1 8           11       J o ur na l  ho m ep a g e :  h ttp : //ij r a . ia esco r e. co m   Desig n and   dev el o pment of  huma n o id robo tic  a rm       Sh ripa d  B ha t la wa nd e 1 ,   Sa k s hi K ulk a rni 1 ,   Sh a j j a d Sha ik h 1 ,   Sa chi K uria n 2 ,   Swa t i Shi l a s k a r 1    1 El e c t r o n i c s   a n d   Te l e c o m mu n i c a t i o n   En g i n e e r i n g ,   V i s h w a k a r m a   I n st i t u t e   o f   Te c h n o l o g y ,   P u n e ,   I n d i a   2 D e p a r t me n t   o f   B i o m e d i c a l   E n g i n e e r i n g ,   R u t g e r s Un i v e r si t y   S c h o o l   o f   E n g i n e e r i n g ,   N e w   B r u n sw i c k ,   U n i t e d   S t a t e s       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   6 ,   2 0 2 4   R ev is ed   Oct  2 2 ,   2 0 2 4   Acc ep ted   No v   1 9 ,   2 0 2 4       Th is  p a p e r  p re se n ts  t h e   d e sig n ,   d e v e lo p m e n t,   a n d   e v a lu a ti o n   o f  a   5 - d e g re e s   o f  fre e d o m   (5 - D o F )   h u m a n o i d   r o b o ti c   a rm   fe a tu rin g   a   so p h isti c a te d   5 - fin g e r  g rip p e r.   Th e   f iv e   d e g re e s  o f  fr e e d o m   in c l u d e   th e   b a se ,   s h o u ld e r,   e lb o w,   wrist,   a n d   g ri p p e r,   a ll   c o n tro ll e d   b y   M G 9 9 6 R  se rv o   m o t o rs  to   e n h a n c e   g ra sp in g ,   p o sit io n in g ,   f lex ib il it y ,   a n d   m o b il it y .   Th e   a rm   is  c o n stru c ted   fro m   las e r - c u t  a lu m in u m   sh e e ts.  It  e ff e c ti v e ly   p ic k s  a n d   p lac e s  o b jec t s  su c h   a s   b o tt les   a n d   b a g s.  A   h i g h - s p e e d   p o rtab le  c o m p u ti n g   sy ste m   is   u se d   to   c o n tro l   ro b o ti c s  h a n d   o p e ra ti o n s.  A  we b c a m   is  u se d   fo r  o b jec t  d e tec ti o n   a n d   t o   a c q u ire  i n fo rm a ti o n   a b o u t   th e   su r ro u n d i n g s.   T h e   sy ste m   u se s  a   c o n v o l u ti o n a l   n e u ra l  n e two r k - b a se d   M o b il e N e t  a rc h it e c tu re   fo r  o b jec t  d e te c ti o n .   Th e   ro b o ti c   h a n d   is  u se d   a s  a n   a ss isti v e   a id   fo r  a m p u tee s.  It  m imic s  fin g e r  m o v e m e n ts  b a se d   o n   d e tec ted   o b jec ts.  Th e   sy ste m   a c h iev e d   a   p re c isio n   o f   0 . 9 7   f o r  b a g s  a n d   0 . 9 3   f o r  b o tt les ,   with   a c c u ra c ies   o f  9 6 . 8 3 %   a n d   9 2 . 4 2 % ,   re sp e c ti v e ly .   Th e   sy ste m   e m p lo y s  a d v a n c e d   c o m p u ter  v isi o n   a l g o r it h m s  a n d   re a l - ti m e   stra teg ies ,   e n su rin g   a d a p tab il i ty   a c ro ss   v a rio u s  tas k s.  It  in teg ra tes   a d v a n c e d   v isu a l   sy ste m s  a n d   imp ro v e d   fe e d b a c k   t o   e n h a n c e   u se r  i n tera c ti o n   a n d   o v e ra ll   u sa b il it y .   It  a d d re ss e s   trad e - o ffs  b e twe e n   d e tec ti o n   p re c isio n   a n d   p ro c e ss in g   ti m e .   K ey w o r d s :   Ass i s tiv e  aid   Dee p   lear n in g   E n d   ef f ec t o r s   Han d   am p u tee   Hu m an o id   r o b o tic  ar m   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Swati Sh ilas k ar   E lectr o n ics  an d   T elec o m m u n i ca tio n   E n g in ee r in g ,   Vis h wak ar m a  I n s titu te  o f   T ec h n o l o g y   Pu n e,   I n d ia   E m ail: swati.sh ila s k ar @ v it.e d u       1.   I NT RO D UCT I O N   T h is   p ap er   p r esen ts   th e  d esig n ,   d ev elo p m en t,  an d   ev alu ati o n   o f   a  5 - d e g r ee s   o f   f r ee d o m   ( 5 - Do F)  h u m an o id   r o b o tic  ar m   with   a  s o p h is ticated   5 - f in g er   g r ip p e r .   T h e  5   Do Fs   ar e  th e  b ase,   s h o u ld er ,   elb o w,   wr is t,  an d   g r ip p er .   T h ese  r eso u r ce s   ar e  co n tr o lled   with   s er v o   m o t o r s ,   en h a n cin g   t h e  ar m ’ s   ca p a b ilit ies  in   g r asp in g ,   p o s itio n in g ,   f lex i b ilit y ,   an d   m o b ilit y .   Ser v in g   as  th e  ce n t r al  co n tr o l  u n it  is   th e  R asp b er r y   Pi,  d ir ec tin g   th e   m o v em en ts   o f   th e  f iv e  s er v o   m o to r s   th r o u g h   a d v an ce d   alg o r ith m s   to   e n s u r e  s ea m le s s   an d   p r ec is e  ar m   o p er atio n s .   T h is   r o b o tic  ar m   i s   d ev elo p ed   f o r   th e   r eh a b ilit atio n   o f   h an d   a m p u tees  an d   ca n   b e  u s ed   f o r   o th e r   in d u s tr ial  ap p licatio n s   with   ce r tain   m o d if icatio n s .   Facto r s   af f ec tin g   lim b   m o v e m en t  an d   g r asp   ar e  an al y ze d   b y   m ea s u r in g   jo in t  an g les  u s in g   Kin ec t   d ep th   s en s o r s   a n d   Me d iaPip e  Fra m ewo r k   [ 1 ] .   T h is   em p h asized   th e  in te g r ated   a p p r o ac h es  f o r   r ea l - tim e   ch allen g es.  T o   o v er s ee   th e   s y s tem   [ 2 ] ,   h a n d h eld   in p u t  d ev i ce s   lik e  jo y s tick s ,   k ey b o ar d s ,   co m p u ter   m ice,   an d   to u ch   s cr ee n s   ar e  c o m m o n ly   em p lo y ed .   T h e  c o n s tr ain t  o f   lim ited   Do F  p r esen ts   a  h u r d le,   p ar ticu lar ly   wh e n   m an ag in g   r o b o ts   with   n u m er o u s   d e g r ee s   o f   f r ee d o m ,   s u ch   as  r o b o tic   ar m s .   A d d itio n ally ,   jo y s tick   m an ip u latio n   o f   a   r o b o tic  a r m   n ec ess itates  n o n - in tu itiv e   tr an s itio n s   b etwe en   p o s itio n ,   o r ien tatio n ,   an d   g r ip p in g   co n tr o l  m o d es.  No d e s   [ 3 ]   ca n   co n tr o l  th e  ar m ,   p la n   s af e  m o v em en ts ,   an d   ex ec u te  ac tio n s   to   r ea ch   in itial  an d   f in al   p o s itio n s .   Neu r al  n etwo r k - b ased   [ 4 ]   lear n in g   o f f er s   ac c u r ate  c o n tin u o u s   m ap p in g   an d   h an d les   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 4 ,   No .   1 ,  Ma r ch   20 2 5 :   1 1 - 1 8   12   m u ltip le  o b ject  s h ap es ,   en h a n cin g   o b ject  d etec tio n   ca p ab ilit ies  e s s en tial  f o r   r o b o tic  in ter ac tio n   in   v ar ie d   en v ir o n m en ts   [ 5 ] .   I t  en ab les  co n tin u o u s   esti m atio n   an d   ad d r ess es  n o n - lin ea r ities .   T h e  s u g g ested   s tr ateg y   in   [ 6 ]   s ee k s   to   o v er co m e   th is   d r a wb ac k   an d   im p r o v e   s em an tic  r ep r esen tatio n   w h ich   a d o p ts   r o b o tic  f i n g er s   wit h   f o r ce   s en s o r s   d esig n ed   to   h o l d   o b jects  f o r   d aily   ac tiv ities   lik e  ea tin g   an d   d r in k in g   wer e   co n tr o lled   u s in g   a  p r o p o r tio n al - in te g r ated - d er iv a tiv e  ( PID )   al g o r ith m .   T h is   a r m   was  d esig n ed   f o r   c h ild r en   [ 7 ] .  A  r o b o tic  a r m   f o r   p ick   an d   p lace   r o b o t  o p er atio n   u s in g   a  g r ee d y   alg o r ith m   f o r   p r io r itizin g   th e   ac tio n   is   d es cr ib ed   [ 8 ] .  Def in ed   s eq u en ce s   o f   o p er atio n   wer e   u s ed   alo n g   with   im a g e - b ase d   o b ject  r ec o g n itio n   f o r   in d u s tr ial  ap p licatio n s .   Dec is io n   tr ee - b ased   d ec is io n   is   in teg r ated   with   r o tatin g   t h e  r o b o tic  a r m   in   th e   tr ajec t o r y   d ef in e d   b y   t h e  s eq u en ce   o f   o p e r atio n s   [ 9 ] .   R o b o tic  h an d   g r asp in g   u n s ee n   o b jects  is   d escr ib ed   in   [ 1 0 ] .  I t  im p lem en ted   th e   p ick ,   s en s e,   an d   p lace   s tr ateg y   u s in g   ad ap tiv e  tec h n iq u es.  A  r o b o tic  ar m   th at  ca n   g r asp   o b jects f r o m   o u ts id e  is   m o r e  co m m o n .   T h e  ar m   th at  h o ld s   th e  o b ject  f r o m   in s id e  is   i m p lem en ted   in   [ 1 1 ] .   Sy m m etr ical  m o v em en t  f o r   g r asp in g   is   u s ed   h er e   f o r   h o l d in g   th e  o b ject  with   s tab ilit y .   W ater   b o ttle  id en tific atio n   wa s   ca r r ied   o u t  u s in g   th e  YOL Ov 5   alg o r ith m   with   8 5 %  ac cu r ac y   o f   g r asp in g   th e  b o ttle  b y   tak in g   th e  p ath   tr ajec to r y   [ 1 2 ] .   Fo r   d ef o r m a b le  o b jects,  g r ip   s tr en g th   is   im p o r tan t  [ 1 3 ]   t o   f o r m   a  s tab le  g r ip   with o u t  d a m ag in g   th e  o b ject.   Po in t   clo u d   s ca n n ed   o u tp u t  is   u s ed   to   d ef in e  th e  g r ip p er   c o o r d in ates  to   h o ld   th e  o b ject.   T ac tile  s en s o r - b ased   id en tific atio n   o f   o b ject  h a r d n e s s   is   ca r r ied   o u t   u s in g   m ac h in e  lear n in g   [ 1 4 ] .  T h e   C ar tesi an   r o b o t  is   tr ain e d   t o   d etec t  5   h ar d n ess   lev els  u s in g   a  m ac h in e  lear n in g   alg o r ith m .   T wis ted   s tr in g s   co n tr o l  th e  r o b o tic  h an d   [ 1 5 ]   an d   in tellig en t  s en s in g - b ased   g r ip   is   ac h iev ed .   A  h u m an o i d   3 D - p r in ted   h a n d   with   5   f in g er s   with   a  v ir tu al  r ea lity - b ased   m o n ito r in g   s y s tem   is   im p lem en ted .   E x o s k el eto n   r o b o ts   ar e  p iv o tal  in   s tr o k e  r eh a b ilit atio n ,   u tili zin g   in n o v ativ e   in v er s e  k in em atics  an d   r o b u s t  n o n li n ea r   co n tr o l   ap p r o ac h es.   T h ese  ad v an ce m e n ts   en h an ce   tr ajec to r y   ac cu r ac y   a n d   en s u r e  s tab ilit y   d u r i n g   p ass iv e  th er ap y .   Fu t u r e  d ir ec tio n s   in v o lv e  in teg r atin g   v is u al  s y s tem s   lik e  Kin ec t  f o r   f u r th e r   r e f in em en t   an d   ef f ec t iv en ess   in   r eh a b ilit atio n   p r o to co ls   [ 1 6 ] .   B ilater al  h ap tic  co llab o r atio n   [ 1 7 ]   is   p r o p o s ed   f o r   h u m a n - r o b o t  c o o p er atio n ,   f ea tu r in g   a   C o Gr ip p er   a n d   wea r ab l e   in ter f ac e.   T h r ee   u s er   s tu d ies  co n f ir m   ef f icac y ,   s h o win g   r e d u ce d   task   tim e   an d   im p r o v e d   g r asp   co n tr o l.   T h e   s y s tem   in teg r ates  s o n ar   s en s in g   an d   v ib r o tactile  f ee d b ac k   f o r   en h an ce d   co m m u n icatio n .   Fu tu r e  en h an ce m en ts   in clu d e  au to m ate d   g r ip p er   r ec o n f ig u r atio n   an d   im p r o v e   tactile  cu es  f o r   u s er   r ec o g n itio n .   G r asp in g   an d   liftin g   o b jects  [ 1 8 ]   with   s u itab le  c o n tr o l  r em ai n s   a  ch allen g e  in   r o b o tics .   Neu r o p h y s io lo g y   s h ed s   lig h t  o n   h u m an   h an d   d y n am ics,  in s p ir in g   r o b o tic  s o lu tio n s .   R ea l - tim e  p r o ce s s in g   o f   tactile  d ata   p o s es  c o m p u tatio n al  h u r d les.   A  b io - in s p ir ed   ap p r o ac h   u tili z in g   ce llu lar   n o n lin ea r / n eu r al  n etwo r k s   is   p r o p o s ed ,   en h an ci n g   r o b o tic  g r asp in g   ca p ab ilit ies.  Su cc ess f u l  g r asp s   o f   d iv er s e  o b jects  v alid ate  th e  s y s tem ’ s   ef f icac y .   State  o f   t h e  ar t  m an ip u lato r s   co n tr o l  u s in g   m ac h in e   lear n in g   alg o r ith m s   r e v iewe d   in   [ 1 9 ]   in d icate   c o g n itiv e   s k ills   d ev e lo p m en t  f o r   r o b o t s .  R ec en t  s tu d ies  [ 2 0 ]   h av e  f o c u s ed   o n   th e  ev o lu tio n   o f   r o b o tic  ar m s   o v er   th e  p ast  two   d ec ad es,  d elin ea tin g   v ar io u s   p a r am eter s   in f lu e n ci n g   th eir   p er f o r m a n ce .   T h ese  in clu d e  ac c u r ac y ,   r e p ea tab ilit y ,   k in em atics,  an d   wo r k in g   en v elo p e.   C o m m e r cially   av ailab le  ar m s   e x h ib it  d i v er s e  ca p ab ilit ies,  y et  r esear c h   h ig h li g h ts   g ap s   i n   o p tim izatio n   an d   s u g g ests   av en u es  f o r   f u t u r e  alg o r ith m ic  an d   s im u latio n - d r iv en   en h an c em en ts .   Desig n in g   [ 2 1 ]   a   th r ee   f in g e r   g r i p p er   r o b o tic  ar m   with   lo w - co s t  co m p o n en ts   to   en ab le  v ar io u s   o b j ec t - p ick in g   task s   is   d is cu s s ed .   I n co r p o r atin g   a  f i v e - f in g e r   g r i p p er   an d   p r ec is e   co n tr o l   alg o r ith m s ,   th e  p r o t o ty p e  d em o n s tr ates  ef f ec tiv e  f u n ctio n ality   th r o u g h   co m p r eh e n s iv e  test in g .   Hu m an o id   m o tio n   [ 2 2 ]   p lan n in g   f o r   r o b o tic  a r m s   in teg r ates  h u m an   ar m   p h y s ics  an d   r ein f o r ce m en t  lear n in g ,   p r o m is in g   s af er   in ter ac tio n   f o r   ag ed   in d i v id u als.   R o b o tic  ar m   co n tr o l f o r   p r ess ,   g r asp ,   an d   f lip   o p e r atio n   was c o n tr o lled   u s in g   im ag e  in p u ts   to   a  d u al - ar m   r o b o t   [ 2 3 ] .   E x p er im e n tal  r esu lts   s h o w  s u cc ess f u l  im p lem en tatio n ,   en ab lin g   o b ject  m an ip u latio n   v ia  h an d   g estu r es.  A  p ick - an d - p lace   alg o r ith m   [ 2 4 ]   u s in g   a  m u ltira te  ev e n t - tr ig g er ed   s lid in g   m o d e  co n tr o ller   f o r   a  r o b o tic  ar m   in   3 D  s p ac e  is   p r o p o s ed .   C o n tr o l  u p d ates  o cc u r   wh en   tr ig g e r in g   r u les  ar e  v io lated ,   o p tim izin g   r eso u r ce   u s e.   Valid ated   o n   a   h u m an   a r m   s y s tem ,   it  d em o n s tr ates  ef f icien cy   in   o b ject  m an i p u latio n   wit h   m in im u m   co n tr o l   u p d ates.  A  r em o tely   o p e r ated   6   d eg r ee s   o f   f r ee d o m   ( 6 - Do F)   r o b o tic  m an ip u lato r   was  d esig n ed   f o r   th e  s wab   co llectio n   o f   C o v i d   p atien ts   [ 2 5 ] .  R o b o tic  m an ip u lato r s   n e ed   p r ec is e  o p e r atio n ,   a n d   m o r e  wo r k   n ee d s   to   b e   d o n e  to   p r o v id e  ass is tiv e  s o lu tio n s   to   h u m a n s .   On e  o f   th e   p r im a r y   lim itatio n s   o f   cu r r en t  r o b o tic  a r m s   is   th e  ch allen g e   o f   r o b u s t  g r as p in g .   T h e  s u r f ac e  cu r v atu r e  o f   o b jects  p o s es  s ig n if ican t  d if f icu lties ,   n e ce s s itatin g   in teg r ated   ap p r o ac h es  to   m an ag e  r ea l - tim e  g r asp in g   e f f ec tiv ely .   Ad d itio n ally ,   th e   lim ited   Do F   in   m an y   r o b o tic  ar m s   r estri cts  p r ec is e  co n tr o l,   p ar ticu lar ly   in   ar m s   with   m u lt ip le  Do Fs .   T h e  co n tr o l  an d   in ter f ac e  m ec h an is m s   o f   r o b o tic   ar m s   also   p r esen t   s u b s tan tial  lim itatio n s .   C o m m o n   in p u t  d ev ices  s u ch   as  jo y s tick s ,   k ey b o ar d s ,   m ice,   a n d   to u ch   s cr ee n s   ar e  n o n - in tu itiv e  f o r   m an a g in g   t h e  p o s itio n ,   o r ien tatio n ,   an d   g r ip   o f   r o b o tic  ar m s .   J o y s tick   m an ip u latio n ,   in   p ar ticu lar ,   r eq u ir es  co m p lex   tr a n s itio n s   b etwe en   d if f er en t  co n tr o l  m o d es,  co m p licatin g   u s er   o p e r a tio n   an d   r ed u cin g   ef f icien cy .   R ea l - tim e  p r o ce s s in g   o f   tactile  d ata  an d   th e  n ee d   f o r   co m p u tatio n al  ef f icien cy   p o s e  s ig n if ican t  h u r d les  f o r   r o b o tic  ar m s .   B alan cin g   co m p u tatio n al  r eso u r c es  wh ile  m ain tain in g   p er f o r m an ce   is   an   o n g o in g   ch allen g e,   a f f ec ts   th e  o v er al l  ef f ec tiv en ess   o f   r o b o tic  s y s tem s .   C u r r en t  r o b o tic  s y s t em s   lack   in tu itiv e   in ter f ac es  f o r   ef f ec tiv e  h u m a n - r o b o t  c o o p er atio n ,   m ak in g   task s   s u ch   as  g r asp i n g   a n d   liftin g   c o m p lex   an d   in ef f icien t.  T h e   p r o p o s ed   s y s tem   ad d r ess es  th e  m ajo r ity   o f   ch allen g es.  I t  in te g r ates  ad v a n ce d   v is u al  s y s tem s   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         Desig n   a n d   d ev elo p men t  o f h u ma n o id   r o b o tic  a r m   ( S h r ip a d   B h a tla w a n d e )   13   an d   im p r o v e d   f ee d b ac k   to   e n h an ce   u s er   in ter ac tio n   an d   o v er all  u s ab ilit y .   I t   u s es  a  lig h tweig h t  Mo b ileNet  co n v o l u tio n al  n eu r al  n etwo r k   ( C NN)   ar ch itectu r e,   o f f er s   h ig h   ac cu r ac y   an d   a d d r ess es  tr ad e - o f f s   b etwe en   d etec tio n   p r ec is io n   a n d   p r o ce s s in g   tim e.       2.   M E T H O D    T h is   wo r k   p r esen ts   th e  d esig n   an d   d ev elo p m en t  o f   an   ass is ti v e  r o b o tic  ar m   f o r   h an d   a m p u tees,  with   a  p ar ticu lar   f o cu s   o n   m im ick i n g   f in g er   m o v em en ts .   Un lik e  a  b io lo g ical  h a n d   th at  r ec eiv e s   in s tr u ctio n s   f r o m   th e  b r ain ,   th is   r o b o tic  ar m   d et ec ts   o b jects  th r o u g h   a  co m p u t er   v is io n   s y s tem   an d   f o r m s   th e  g r ip   ac co r d in g ly .   T h e  wo r k f l o w  o f   th e  p r o p o s ed   s y s tem   in   Fig u r e  1   in v o l v es  a  s eq u en tial  p r o ce s s   s tar tin g   with   a  ca m er a   ca p tu r in g   v id eo   f r am es.  T h es e  f r am es  ar e  p r o ce s s ed   b y   t h e  Mo b ileNet  ar ch itectu r e   f o r   o b ject  d etec tio n ,   f o llo wed   b y   g r ip   f o r m atio n .   T h e  f r am es  u n d er g o   n o r m aliza tio n   an d   r esizin g   to   a  s tan d ar d i ze d   2 2 4 ×2 2 4 - p ix el   f o r m at.   T h e  cu r r en t sy s tem   u s es a   ca m er a - m o u n ted   s p ec tacl e  to   ac q u ir e  i n f o r m atio n   a b o u t   th e  s u r r o u n d in g s .           Fig u r e  1 .   Hu m an o id   r o b o tic  ar m       T h e  Mo b ileNet  C NN  ex tr ac t s   r elev an t  f ea tu r es  f o r   ef f ici en t  an d   lig h tweig h t  o b ject  r ec o g n itio n .   On ce   th e  s y s tem   r ec o g n izes  an   o b ject,   it  u s es  th e  id en tifie d   class   in f o r m atio n ,   s u ch   as  “ B o ttle ”   o r   “ B ag , ”   to   tr ig g er   s p ec if ic  s er v o   ac tio n s   f o r   g r i p   f o r m atio n .   T h e  s er v o   m o to r s   th en   co n tr o l  th e  r o b o tic  ar m   to   in ter ac t   with   th e  r ec o g n ized   o b jects in   r ea l - tim e,   estab lis h in g   a  s ea m less   in teg r atio n   b etwe en   v is io n - b ased   r ec o g n itio n   an d   r o b o tic  m an ip u latio n .   T h e   co m p r e h en s iv e  ap p r o ac h   d eta ils   th e  co llectio n   an d   p r e p r o ce s s in g   o f   th e  d ataset  as th e  in itial p h ase,   f o llo wed   b y   an   in - d ep th   e x p lo r atio n   o f   th e  s y s tem   d esig n   an d   im p lem en tatio n   p r o ce s s es.     2. 1 .     Da t a s et   a nd   prepro ce s s i ng   T h e  d ataset  u s ed   f o r   tr ai n in g   th e  r o b o tic   ar m ’ s   co m p u ter   v is io n   s y s tem   co m p r is es  1 , 9 4 3   cu s to m   im ag es  s o u r ce d   f r o m   v ar io u s   o p en - s o u r ce   d atasets .   T h ese  i m ag es  d ep ict  b ag s   an d   b o ttles   o f   d if f er en t  co l o r s ,   s h ap es,  an d   s izes.  T h e  d ataset  is   es s en tial  f o r   tr ain in g   th e  C NN  ar ch itectu r e,   s p ec if ically   Mo b ileNet,   to   class if y   o b jects  in to   two   d is tin ct  ca teg o r ies:   b ag s   an d   b o ttles .   Pre p r o ce s s in g   s tep s   in clu d e  n o r m aliza tio n   a n d   r esizin g   o f   im ag es  to   a  s tan d ar d ized   2 2 4 × 224 - p ix el   f o r m at.   T h is   o p tim izatio n   en s u r es  th e  d ataset  i s   s u itab l e   f o r   ef f ec tiv e  m o d el  tr ain in g .   T h e  ch o s en   C NN  ar ch itectu r e   e x ce ls   at  d is ce r n in g   p atter n s   u n iq u e  to   b o ttles   an d   b ag s ,   en ab lin g   ac cu r ate  r ea l - tim e  p r ed ictio n s   f o r   liv e  i n p u t i m ag es.     2 . 2 .   M ec ha nica l  des ig n o f   t he  ro bo t ic  ha nd   T h e  r o b o tic   ar m   is   cr af ted   f r o m   h ig h - q u ality   alu m in u m   s h ee ts   o f   2   m m   an d   4   m m   th ick n ess ,   p r o ce s s ed   th r o u g h   laser   cu ttin g ,   an d   d esig n ed   u s in g   So lid W o r k s   in   Fig u r e  2 .   T h is   d esig n   p r o m is es  a  d y n am ic   r an g e  o f   a p p licatio n s   d u e  t o   its   s tr u ctu r al  in teg r ity   an d   p r ec i s io n .   T h e  co m p o n en ts   u n d er g o   weld in g ,   d r illi n g ,   an d   lath e   wo r k   to   en s u r e  r o b u s t  co n s tr u ctio n .   T h e  So lid W o r k s   3 D   m o d el  s er v es   as  a  b l u ep r in t   f o r   s ea m less   co m p o n en t in teg r atio n ,   r esu lti n g   in   a  b alan ce d   s y s tem   wh er e   ea ch   Do F o p e r ates in   h ar m o n y .   T h e  g r ip p e r   in   Fig u r e  3   f ea tu r es f iv e  f in g er s ,   f o u r   o f   wh ich   ar e  co n n ec ted   with   s h af ts .   Gea r s   ar e  u s ed   to   co n tr o l  th e  p r ec is e  an d   s y n ch r o n ized   m o v em en t  o f   t h e  f i n g er s ,   en h a n cin g   th e  e f f icien c y   o f   th e  g r ip .   T h is   co o r d in ate d   d esig n   e n s u r es sm o o th   o p er atio n   a n d   im p r o v es   th e  o v er all  p er f o r m an ce   o f   th e  g r ip p er .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 4 ,   No .   1 ,  Ma r ch   20 2 5 :   1 1 - 1 8   14           Fig u r e  2 .   R o b o tic  ar m   d esig n   Fig u r e  3 .   Gr ip p er   d esig n       2 . 3 .   E lect ro nic  des ig n o f   t he  ro bo t ic  ha nd   T h e  elec tr o n ic  d esig n   f o cu s e s   o n   th e  co n tr o l  an d   ac tu atio n   o f   th e  r o b o tic  ar m .   MG 9 9 6 R   s er v o   m o to r s   ar e  s elec ted   b ased   o n   to r q u e   r eq u ir em en ts .   T h e   to r q u e  ca lcu latio n   is   g iv en   i n   ( 1 )   an d   ( 2 ) .   L et  th e   to r q u e   ( T )   in   k g   cm ,   f o r ce   ( F)  in   N ewto n ,   an d   d is tan ce   ( D)   i n   cm .   L et  weig h t = 0 . 5   k g   an d   D = 2 0   cm .     =   ∗           ( 1 )        =  ℎ   ∗        = 0 . 5   ∗   20     = 10    /    ( 2 )     T h e  s elec ted   MG 9 9 6 R   s er v o   m o to r ,   with   a  t o r q u e  ca p ac ity   o f   1 1   k g /cm ,   ac co m m o d ates  th e  p lace m en t  o f   a   0 . 5   k g   o b ject  at  a  d is tan ce   o f   2 0   cm   f r o m   th e  r o b o tic  ar m ’ s   b ase.   T h is   ch o ice  en s u r es  s u f f icien t  to r q u e  f o r   th e   s p ec if ied   lo ad   an d   d is tan ce   r eq u ir em en ts .   T h e  wo r k f lo w  o f   th e  p r o p o s ed   s y s tem   is   p r esen t ed   in   th is   s ec t io n   as  alg o r ith m   1 .   I t  b e g in s   with   ca p tu r in g   v i d eo   f r am es  f r o m   a  s p ec if ied   ca m er a  u s in g   Op en C V.   T h ese  f r am es  u n d er g o   n o r m aliza tio n   an d   r esizin g   to   a   s tan d ar d ize d   2 2 4 2 2 4 - p i x el   f o r m at.   T h e  r esized   im ag es  ar e   p r o ce s s ed   b y   t h e  Mo b ileNet  C NN  to   ex tr ac t r elev an t  f ea tu r e s   f o r   ef f icien t a n d   lig h tweig h t  o b ject  r ec o g n itio n .     Alg o r ith m   1 .   R o b o tic  ar m   c o n tr o l   while true do   ret, frame=cap.read()   if not then   PRINT  “ Failed to grab frame ”   BREAK   end if   predictions=model.predict(input_image)   predicted_class=int(predictions[0][0] > 0.5)   label=if predicted_class == 0 then  “ bottle ”     else  “ bag ”     end if   if predicted_class == 0 then   call bottle()   else   call bag()   end if     Fo llo win g   o b ject  d etec tio n ,   t h e  s y s tem   u tili ze s   th e  id en tifie d   class   in f o r m atio n   ( e. g . ,   “ B o ttle ”   o r   “ B ag ” )   to   tr ig g er   s p ec if ic  s er v o   ac tio n s   f o r   g r ip   f o r m atio n .   T h e  s cr ip t  ca lls   co r r esp o n d in g   f u n ctio n s — eith er   b o ttle( )   o r   b a g ( ) — to   e x ec u te   ac tio n s   r elate d   to   s er v o   c o n tr o l  b ased   o n   th e   class if icati o n .   T h is   p r o ce s s   is   lo o p ed ,   c o n tin u o u s ly   u p d atin g   th e  d is p lay ed   v id e o   f r am e  wi th   th e  p r ed icted   class   an d   r esp o n d in g   t o   d etec ted   o b jects  in   r ea l  tim e.   T h e   c o m p r eh e n s iv e  ap p r o ac h   e n s u r es  s ea m less   in teg r atio n   b etwe en   v is io n - b ased   r ec o g n itio n   a n d   r o b o tic  m a n ip u latio n ,   p r o v i d in g   an   ass is tiv e  aid   f o r   am p u tees.  B y   m im ick in g   f in g er   m o v em en ts   b ased   o n   d etec ted   o b jects,  th e  r o b o tic  ar m   d em o n s tr ates  s ig n if ican t  p o ten tial  in   v ar io u s   ap p licatio n s ,   in clu d in g   m a n u f ac tu r in g ,   lo g is tics ,   an d   h ea lth c ar e.     Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         Desig n   a n d   d ev elo p men t  o f h u ma n o id   r o b o tic  a r m   ( S h r ip a d   B h a tla w a n d e )   15   3.   RE SU L T S AN D  D I SCU SS I O N    T h e  s tu d y   p r esen ts   a  th o r o u g h   an aly s is   o f   th e  im p lem en ted   h u m an o id   r o b o tic  ar m   s y s tem ,   en ab lin g   s u cc ess f u l  o b ject  d etec tio n   an d   en s u in g   r o b o tic  m an ip u latio n .   Fig u r e  4   an d   Fig u r e  5 ,   illu s tr ate  th e  s y s tem ’ s  ad ep tn ess   in   d etec tin g   b i n ar y   class es  an d   ex ec u tin g   p r ec is e  g r ab b in g   f u n ctio n s .   T h e   s y s tem   in itiates   s p ec if ic  g r ab b in g   f u n ctio n s   d esig n ed   f o r   ea ch   class .   T h is   ac tio n   th en   p r o m p ts   th e  r o b o tic  ar m   to   ex ec u te  p ick - an d - p lace   task s   in   a   m an n er   th at  en s u r es  th e   ef f icien t  a n d   p r ec is e  h a n d lin g   o f   o b jects  with in   th e   g iv e n   en v ir o n m en t.  T h e  r o b o tic  ar m   ( Fig u r e  5 ) ,   d etec ts   th e  b o ttle a n d   g r ab s   it  p r ec is ely ,   f o llo wi n g   th e  el b o w  m o t o r ,   th e  f in g e r s   f o r m   th e   d esire d   g r ip   to   p ic k   u p   th e   b o ttle.  Su b s eq u en tly ,   th e  wr is t  r o tates  to   a  s p ec if ic  an g le,   a f ter   wh ich   th e  f in g er s   f o r m   th e  d es ir ed   g r ip   to   p ick   u p   t h e  b ag .               Fig u r e  4 .   B o ttle d etec tio n   Fig u r e  5 .   Gr ip   f o r m atio n       T h is   g r ap h ical  r ep r esen tatio n   o f   th e   tr ain in g   an d   v alid atio n   ac cu r ac y   o n   th e   y - ax is   with   r esp ec t  to   th e  n u m b er   o f   ep o ch s   o n   th e   x - a x is   in   Fig u r e   6   p r o v id es  a  co m p ellin g   n ar r ativ e   o f   th e   m o d el ’ s   lear n in g   b eh av io r .   T h e  cu r v e  illu s tr ates a   p o s itiv e  co r r elatio n   b etwe e n   th e  n u m b er   o f   e p o ch s   an d   t h e  tr ain in g   ac cu r ac y ,   s h o wca s in g   a  s tead y   in cr ea s e  o v er   tim e.   H o wev er ,   t h e  v alid atio n   ac cu r ac y   cu r v e  ex h ib its   an   in ter esti n g   tr e n d .   I n itially   alig n in g   with   th e  tr ai n in g   ac cu r ac y ,   it  e x p er ien ce s   a  d ec r ea s e  ar o u n d   th e  m id w ay   p o in t  o f   e p o ch s   b ef o r e  r esu m in g   an   u p war d   tr ajec to r y .   T h is   p h en o m en o n   s u g g ests   th at  th e  m o d el,   wh ile  ex ce llin g   in   lear n in g   f r o m   th e  tr ai n in g   d ata,   en co u n ter s   ch allen g es  in   g en er aliza ti o n ,   lead in g   to   a  tem p o r ar y   d ip   in   p er f o r m an ce   o n   u n s ee n   v alid atio n   d ata.   T h e  o b s er v ed   tr ain in g   ac c u r ac y   o f   9 8 %  s ig n if ies  a  h ig h   lev el  o f   m o d el  p r o f icien cy ,   b u t  th e  v alid atio n   ac cu r a cy   h o v er in g   ar o u n d   9 3 %  h ig h lig h t s   th e  n ee d   f o r   f u r th er   e x p lo r at io n   in to   tech n iq u es   f o r   m itig atin g   o v er f itti n g   an d   en h an cin g   th e  m o d el’ s   ab ilit y   to   g en er alize   to   n ew,   u n s ee n   d ata.           Fig u r e  6 .   T r ain in g   a n d   v alid atio n   ac cu r ac y       T h e  g r a p h ic al   r ep r es e n ta ti o n   o f   t h e   t r a in in g   a n d   v a li d at io n   l o s s   o n   t h e  y - a x is   wit h   r esp ec t   t o   th e   n u m b e r   o f   e p o c h s   o n   th e  x - a x i s   in   Fi g u r e  7   r e v e als  a  n o tic ea b le   p att e r n .   I n iti all y ,   t h e   t r ai n i n g   l o s s   d e m o n s tr ates   a  g r a d u al   d e cr ea s e   as   t h e   n u m b e r   o f   e p o c h s   i n c r e ases ,   i n d ic a tiv e   o f   t h e   m o d el   le a r n in g   f r o m   th e   t r ai n i n g   d at a.   Ho w ev er ,   t h e   v ali d a ti o n   l o s s   ex h i b its   a   d is t in cti v e   b e h a v i o r   b y   in cr ea s i n g   u p   t o   t h e  m i d p o in t  b e f o r e  lat er   d e cr ea s i n g .   T h is   d i v e r g e n ce   s u g g ests   th at ,   w h i le  th e  m o d el  i s   ef f ec t iv el y   l ea r n i n g   f r o m   t h e   tr ai n i n g   d at a,   t h e r e   m a y   b e  a  p o i n t   w h e r e  i t b e g i n s   o v e r f itti n g   a n d   d o es n o t g e n e r aliz e  w ell  t o   u n s e en   v ali d a ti o n   d a ta .   T h e  in c r ea s e   in   v ali d a ti o n   l o s s   c o u l d   b e   a ttr i b u te d   t o   t h e  m o d el  ca p t u r i n g   n o is e   o r   s p e cif ic   p att e r n s   u n iq u e  t o   t h e   t r ai n i n g   s et ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 4 ,   No .   1 ,  Ma r ch   20 2 5 :   1 1 - 1 8   16   wh i ch   m a y   n o t   n e ce s s a r i ly   ap p l y   to   n e w  d a ta .   T h is   b e h a v i o r   u n d e r s c o r es   t h e   i m p o r t an ce   o f   m o n i to r i n g   b o t h   tr a in in g   a n d   v al id ati o n   lo s s   t o   s tr i k e   a   b al an ce   b etw ee n   le ar n i n g   f r o m   t h e  d at a  a n d   a v o i d i n g   o v e r f itti n g .   T a b le   1   s h o ws  th at   t h e   m o d e l  was   s u b j ec t ed   t o   a   t o ta l  o f   1 9 2   test s ,   c o m p r is in g   1 2 6   i n s ta n c es   o f   t h e   ‘ B a g ’   c lass   a n d   6 6   in s t an ce s   o f   t h e   ‘ B o ttl e’   c las s .   I m p r ess iv el y ,   t h e   m o d el  ac h ie v ed   a   h i g h   o v e r a ll  ac cu r ac y   o f   9 5 . 3 1 % ,   wit h   9 6 . 8 3 %  ac c u r a cy ,   0 . 9 7   p r e d ic t in g   ‘ B a g ’   in s ta n c es,   a n d   9 2 . 4 2 % a c c u r ac y   f o r   ‘ B o ttl e’   i n s ta n ce s .           Fig u r e  7 .   T r ain in g   a n d   v alid atio n   lo s s       T ab le  1 .   Mo d el  p er f o r m a n ce   C l a s s   B a g   c l a ss   i n st a n c e s   B o t t l e   c l a ss  i n s t a n c e s   Te st s   1 2 6   66   C o r r e c t   P r e d i c t i o n   1 2 2   61   F a l se   P r e d i c t i o n   4   5   A c c u r a c y   ( %)   9 6 . 8 3   9 2 . 4 2   R e c a l l   0 . 9 1   0 . 8 9   P r e c i s i o n   0 . 9 7   0 . 9 3   F 1   S c o r e   0 . 9 5   0 . 8 0       T h e  ‘ B a g ’   c lass ,   p r ec is io n   s ta n d s   at  9 7 %,   e m p h asiz in g   t h e  m o d el ’ s   ab ilit y   t o   a cc u r at el y   id e n ti f y   ‘ B a g ’   in s t an ce s   w h e n   p r e d i cte d .   A d d it io n a ll y ,   a   r ec all   o f   9 1 %  s i g n if ies   t h e  m o d el ’ s   p r o f i ci en cy   i n   ca p t u r in g   t h e   m aj o r it y   o f   ‘ B a g ’   i n s ta n c es.   Simil a r l y ,   f o r   t h e   ‘ B o tt le ’   c la s s ,   w h il e  p r ec is i o n   is   s l ig h t ly   lo we r   a t  8 0 % ,   th e   m o d el   e x c els   wit h   a   r e ca l l  o f   9 3 % .   T h e  m o d el   e n c o u n te r e d   f o u r   f a ls e   p r e d ict io n s   f o r   t h e   ‘ B ag ’   c lass ,   li k el y   in f l u e n c ed   b y   v a r ia ti o n s   i n   l ig h ti n g ,   d i v er s e   b a g   s h ap es,   an d   o c cl u s i o n s   in   th e   r ea l - w o r ld   e n v ir o n m e n t.   I n s ta n c es,  wh e r e  b a g s   we r e   p a r t ial ly   o b s c u r e d   o r   p o s it io n e d   at  u n u s u a l  a n g l es,  c o u l d   c o n t r i b u te  to   m is c lass i f i ca ti o n s .   S im ila r l y ,   in   t h e   ‘ B o ttl e’   c lass ,   f i v e   f als e  p r e d i cti o n s   m a y   b e   a tt r i b u t ed   t o   v a r ia ti o n s   i n   b o ttl e  s h ap es,   s i ze s ,   a n d   o r ie n t ati o n s ,   as   w ell   as   c h all en g es  li k e   l ab el   p r ese n c e,   t r a n s l u ce n c y ,   an d   t h e   p r ese n c e   o f   o t h e r   o b jec ts .   F ac t o r s   s u ch   as   d i f f e r e n t   b ac k g r o u n d s   a n d   r ef lec ti o n s   co u l d   i m p a ct  ac c u r ate   ‘ B o ttl e’   class i f i ca t io n .   O v e r all ,   t h es e  m is class if ica ti o n s   a r e   c o m p l ex ,   i n f lu e n ce d   b y   d i v er s e  d at aset   c o n d iti o n s   a n d   r e al - wo r l d   c o m p le x it ies .   T h is   i n v o l v es a d d r ess in g   c h al le n g es b y   r ef i n i n g   t h e  d at aset ,   a u g m e n t in g   t r a in in g   d ata   wit h   d i v e r s e  s ce n a r i o s ,   a n d   e x p l o r i n g   a d v a n c ed   tec h n i q u es  l ik e  t r an s f e r   l ea r n i n g   f o r   im p r o v ed   a d a p t ab ilit y   in   v ar i e d   co n d iti o n s .   T h e  p r o ce s s   e n t ail s   r ef in in g   t h e  d atas et   t o   e n h a n ce   its   q u a lit y ,   i n c o r p o r a ti n g   d i v e r s e   s c en ar io s   i n t o   tr a in in g   d a ta   t o   en s u r e   r o b u s t   l ea r n in g ,   a n d   im p l em e n ti n g   a d v a n c e d   te ch n i q u es ,   s u c h   as   tr a n s f er   le ar n i n g ,   u s i n g   ad v a n ce d   tec h n i q u es   li k e   t r a n s f e r   lea r n i n g   t o   m a k e   t h e   s y s te m   w o r k   w ell   i n   v ar io u s   c o n d iti o n s .       4.   CO NCLU SI O N    T h is   p a p e r   p r ese n t ed   t h e  d es i g n ,   d e v el o p m e n t ,   an d   e v al u a t io n   o f   a  5 - D o F   h u m an o i d   r o b o tic   a r m   f e at u r i n g   a   s o p h is t ica te d   5 - f i n g e r   g r i p p e r .   T h e  s y s t em   is   o p e r at e d   b y   a  h i g h - s p ee d   p o r ta b l e   c o m p u ti n g   s y s t e m ,   u ti lizi n g   a  we b ca m   f o r   o b je ct   d e tec ti o n   a n d   e n v i r o n m e n t al   awa r e n ess .   T h e  r o b o t ic  h a n d   is   d esi g n e d   as  a n   ass is ti v e   ai d   f o r   a m p u te es,   m i m ic k i n g   f i n g e r   m o v em en ts   b a s ed   o n   d ete cte d   o b j ec ts .   Un li k e  a   b io lo g i ca l  h a n d   th a t r ec e iv es   i n s t r u cti o n s   f r o m   th e   b r ai n ,   th is   r o b o tic   ar m   d et e cts o b j ec ts   t h r o u g h   a   c o m p u t er   v is i o n   s y s t em   an d   f o r m s   t h e   g r ip   ac co r d i n g l y .   T h e   C NN - b ase d   M o b il eNe t   ar ch ite ct u r e   is   e m p l o y e d   f o r   o b je ct   d et ec t io n ,   ac h ie v i n g   p r ec is i o n   s c o r es   o f   0 . 9 7   f o r   b a g s   a n d   0 . 9 3   f o r   b o ttl es,   wit h   ac c u r ac i es  o f   9 6 . 8 3 %  a n d   9 2 . 4 2 % ,   r es p e cti v e ly .   T h e   r es u lts   d em o n s tr at e  t h e  p o te n t ial   o f   i n te g r at in g   a d v a n c ed   c o m p u t e r   v is io n   al g o r i th m s   a n d   r e al - ti m e   s t r at e g ies   t o   d e v e lo p   ass is ti v e   t ec h n o lo g i es.   T h e   n o v el   a p p r o ac h   o f   u s i n g   c o m p u te r   v is i o n   t o   g u i d e   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         Desig n   a n d   d ev elo p men t  o f h u ma n o id   r o b o tic  a r m   ( S h r ip a d   B h a tla w a n d e )   17   r o b o ti c  m a n i p u la ti o n   s ets   a  p r ec e d e n t   f o r   f u tu r e  d e v el o p m e n ts   in   t h e  f i el d   o f   ass is t iv e  an d   i n d u s tr ial   r o b o ti cs.   T h e   h ig h   ac cu r a c y   a n d   e f f ici en cy   o f   t h e   s y s t em   ar e   h i g h l ig h te d   b y   its   p e r f o r m a n c e   m etr ics .   T h e   m o d el ’ s  p r ec is i o n ,   r ec all ,   a n d   F 1   s c o r es  d em o n s t r at e   its   ab ilit y   t o   h an d l e   d iv er s e   r ea l - wo r l d   s c e n ar i o s .   H o we v e r ,   t h e   p r o j ec t  als o   id e n ti f i es  t h e  c o m p l e x   c h a lle n g es  th at  a r is e   in   r ea l - w o r l d   s it u ati o n s ,   es p e cia ll y   r e g a r d in g   m is c lass i f i ca ti o n .   Fa ct o r s   s u c h   as  v a r i ati o n s   i n   o b je ct  s h ap es,   s izes ,   a n d   li g h ti n g   c o n d iti o n s   co n t r i b u te   t o   f als e   p r e d ic ti o n s .   Ad d r ess in g   t h es e  ch all en g es   i n v o l v es   r ef in in g   t h e   d at aset ,   a u g m en ti n g   t r a in in g   d ata   wi th   d i v e r s e   s ce n a r i o s ,   a n d   e x p lo r i n g   ad v an ce d   t ec h n i q u es   li k e   t r a n s f e r   lea r n in g   f o r   im p r o v ed   a d ap ta b ili t y .       ACK NO WL E DG E M E NT S    T h e  au th o r s   wo u ld   lik e   to   th an k   all  wh o   h av e  h elp ed   d ir e ctly   o r   in d ir ec tly   to   c o m p lete   th is   wo r k   s u cc ess f u lly .       RE F E R E NC E S    [ 1 ]   P .   Jh a   e t   a l . ,   “ H u ma n – ma c h i n e   i n t e r a c t i o n   a n d   i m p l e me n t a t i o n   o n   t h e   u p p e r   e x t r e m i t i e s  o f   a   h u m a n o i d   r o b o t , ”   D i sco v e r  Ap p l i e d   S c i e n c e s ,   v o l .   6 ,   n o .   4 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s4 2 4 5 2 - 024 - 0 5 7 3 4 - 3.   [ 2 ]   S .   Li ,   R .   R a mes h w a r ,   A .   M .   V o t t a ,   a n d   C .   D .   O n a l ,   “ I n t u i t i v e   c o n t r o l   o f   a   r o b o t i c   a r m  a n d   h a n d   s y s t e m   w i t h   p n e u mat i c   h a p t i c   f e e d b a c k , ”   I EEE  Ro b o t i c s  a n d   A u t o m a t i o n   L e t t e rs ,   v o l .   4 ,   n o .   4 ,   p p .   4 4 2 4 – 4 4 3 0 ,   O c t .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / LR A . 2 0 1 9 . 2 9 3 7 4 8 3 .   [ 3 ]   W .   S .   B a r b o sa  e t   a l . ,   “ I n d u s t r y   4 . 0 :   e x a mp l e s   o f   t h e   u s e   o f   t h e   r o b o t i c   a r m  f o r   d i g i t a l   m a n u f a c t u r i n g   p r o c e sse s,”   I n t e rn a t i o n a l   J o u rn a l   o n   I n t e r a c t i v e   D e s i g n   a n d   M a n u f a c t u ri n g ,   v o l .   1 4 ,   n o .   4 ,   p p .   1 5 6 9 – 1 5 7 5 ,   S e p .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 2 0 0 8 - 0 2 0 - 0 0 7 1 4 - 4.   [ 4 ]   Z.   X u ,   Y .   Zh e n g ,   a n d   S .   A .   R a w a s h d e h ,   “ A   si mp l e   r o b o t i c   f i n g e r t i p   se n so r   u s i n g   i m a g i n g   a n d   s h a l l o w   n e u r a l   n e t w o r k s, ”   I E EE   S e n so rs J o u rn a l ,   v o l .   1 9 ,   n o .   1 9 ,   p p .   8 8 7 8 – 8 8 8 6 ,   O c t .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / JS EN . 2 0 1 9 . 2 9 1 9 4 9 2 .   [ 5 ]   Y .   L v ,   Y .   F a n g ,   W .   C h i ,   G .   C h e n ,   a n d   L.   S u n ,   “ O b j e c t   d e t e c t i o n   f o r   s w e e p i n g   r o b o t s   i n   h o me   sc e n e s  ( O D S R - I H S ) :   a   n o v e l   b e n c h mar k   d a t a s e t , ”   I EE E  A c c e ss ,   v o l .   9 ,   p p .   1 7 8 2 0 – 1 7 8 2 8 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 0 5 3 5 4 6 .   [ 6 ]   C. - W .   C h e n ,   A . - C .   Tsa i ,   Y . - H .   Z h a n g ,   a n d   J. - F .   W a n g ,   “ 3 D   o b j e c t   d e t e c t i o n   c o mb i n e d   w i t h   i n v e r se  k i n e ma t i c s  t o   a c h i e v e   r o b o t i c   a r m  g r a s p i n g , ”   i n   2 0 2 2   1 0 t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   O ra n g e   T e c h n o l o g y   ( I C O T ) ,   N o v .   2 0 2 2 ,   p p .   1 – 4 .   d o i :   1 0 . 1 1 0 9 / I C O T5 6 9 2 5 . 2 0 2 2 . 1 0 0 0 8 1 3 5 .   [ 7 ]   D .   B a b u ,   A .   N a si r ,   R a v i n d r a n ,   M .   F a r a g ,   a n d   W .   A .   Ja b b a r ,   “ 3 D   p r i n t e d   p r o st h e t i c   r o b o t   a r m   w i t h   g r a sp i n g   d e t e c t i o n   s y st e m   f o r   c h i l d r e n , ”   I n t e r n a t i o n a l   J o u r n a l   o n   Ad v a n c e d   S c i e n c e ,   E n g i n e e r i n g   a n d   I n f o rm a t i o n   T e c h n o l o g y ,   v o l .   1 3 ,   n o .   1 ,   p p .   2 2 6 – 2 3 4 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 8 5 1 7 / i j a s e i t . 1 3 . 1 . 1 6 5 4 7 .   [ 8 ]   S .   D .   H a n ,   S .   W .   F e n g ,   a n d   J.   Y u ,   “ T o w a r d   f a s t   a n d   o p t i m a l   r o b o t i c   p i c k - a n d - p l a c e   o n   a   m o v i n g   c o n v e y o r , ”   I E EE  R o b o t i c s   a n d   Au t o m a t i o n   L e t t e rs ,   v o l .   5 ,   n o .   2 ,   p p .   4 4 6 – 4 5 3 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / L R A . 2 0 1 9 . 2 9 6 1 6 0 5 .   [ 9 ]   J.  B o r r e l l   M e n d e z ,   C .   P e r e z - V i d a l ,   J .   V .   S e g u r a   H e r a s ,   a n d   J .   J.   P e r e z - H e r n a n d e z ,   “ R o b o t i c   p i c k - a n d - p l a c e   t i me  o p t i m i z a t i o n :   a p p l i c a t i o n   t o   f o o t w e a r   p r o d u c t i o n , ”   I EEE  A c c e ss ,   v o l .   8 ,   p p .   2 0 9 4 2 8 – 2 0 9 4 4 0 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 3 7 1 4 5 .   [ 1 0 ]   C .   M i t a sh ,   R .   S h o me,   B .   W e n ,   A .   B o u l a r i a s ,   a n d   K .   B e k r i s,  “ Ta s k - d r i v e n   p e r c e p t i o n   a n d   m a n i p u l a t i o n   f o r   c o n s t r a i n e d   p l a c e m e n t   o f   u n k n o w n   o b j e c t s,”   I EEE   R o b o t i c s   a n d   A u t o m a t i o n   L e t t e rs ,   v o l .   5 ,   n o .   4 ,   p p .   5 6 0 5 – 5 6 1 2 ,   O c t .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / L R A . 2 0 2 0 . 3 0 0 6 8 1 6 .   [ 1 1 ]   H .   H u a ,   Z.   Li a o ,   a n d   Y .   J.  C h e n ,   “ A   1 - D o f   b i d i r e c t i o n a l   g r a sp a b l e   f i n g e r   mec h a n i sm  f o r   r o b o t i c   g r i p p e r , ”   J o u r n a l   o f   M e c h a n i c a l   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   3 4 ,   n o .   1 1 ,   p p .   4 7 3 5 – 4 7 4 1 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 2 2 0 6 - 0 2 0 - 1 0 3 0 - 6.   [ 1 2 ]   M .   S u a l e h   a n d   G .   W .   K i m,  “ V i s u a l - L i D A R   b a se d   3 d   o b j e c t   d e t e c t i o n   a n d   t r a c k i n g   f o r   e mb e d d e d   s y st e ms, ”   I EE E  Ac c e ss ,   v o l .   8 ,   p p .   1 5 6 2 8 5 – 1 5 6 2 9 8 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 1 9 1 8 7 .   [ 1 3 ]   T.   B .   Jø r g e n se n ,   S .   H .   N .   Je n se n ,   H .   A a n æ s,  N .   W .   H a n s e n ,   a n d   N .   K r ü g e r ,   “ A n   a d a p t i v e   r o b o t i c   s y st e m   f o r   d o i n g   p i c k   a n d   p l a c e   o p e r a t i o n s   w i t h   d e f o r m a b l e   o b j e c t s, ”   J o u rn a l   o f   I n t e l l i g e n t   a n d   R o b o t i c   S y s t e m s:   T h e o ry   a n d   Ap p l i c a t i o n s ,   v o l .   9 4 ,   n o .   1 ,   p p .   8 1 – 1 0 0 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s1 0 8 4 6 - 0 1 8 - 0 9 5 8 - 6.   [ 1 4 ]   K .   K l e e b e r g e r ,   R .   B o r ma n n ,   W .   K r a u s,  a n d   M .   F .   H u b e r ,   “ A   su r v e y   o n   l e a r n i n g - b a s e d   r o b o t i c   g r a s p i n g , ”   C u rr e n t   R o b o t i c s  Re p o r t s ,   v o l .   1 ,   n o .   4 ,   p p .   2 3 9 – 2 4 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 4 3 1 5 4 - 0 2 0 - 0 0 0 2 1 - 6.   [ 1 5 ]   M .   L e v i n s  a n d   H .   L a n g ,   “ A   t a c t i l e   sen s o r   f o r   a n   a n t h r o p o m o r p h i c   r o b o t i c   f i n g e r t i p   b a s e d   o n   p r e ssu r e   se n si n g   a n d   m a c h i n e   l e a r n i n g , ”   I EEE   S e n s o rs  J o u r n a l ,   v o l .   2 0 ,   n o .   2 2 ,   p p .   1 3 2 8 4 – 1 3 2 9 0 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / JS EN . 2 0 2 0 . 3 0 0 3 9 2 0 .   [ 1 6 ]   B .   B r a h mi ,   M .   S a a d ,   M .   H .   R a h ma n ,   a n d   C .   O c h o a - L u n a ,   “ C a r t e s i a n   t r a j e c t o r y   t r a c k i n g   o f   a   7 - d o f   e x o s k e l e t o n   r o b o t   b a se d   o n   h u m a n   i n v e r se   k i n e m a t i c s, ”   I EE E  T r a n s a c t i o n s  o n   S y st e m s,   M a n ,   a n d   C y b e r n e t i c s:   S y st e m s ,   v o l .   4 9 ,   n o .   3 ,   p p .   6 0 0 – 6 1 1 ,   M a r .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / TS M C . 2 0 1 7 . 2 6 9 5 0 0 3 .   [ 1 7 ]   G .   S a l v i e t t i ,   M .   Z.   I q b a l ,   a n d   D .   P r a t t i c h i z z o ,   “ B i l a t e r a l   h a p t i c   c o l l a b o r a t i o n   f o r   h u m a n - r o b o t   c o o p e r a t i v e   t a sk s , ”   I EE E  R o b o t i c s   a n d   Au t o m a t i o n   L e t t e rs ,   v o l .   5 ,   n o .   2 ,   p p .   3 5 1 7 – 3 5 2 4 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / L R A . 2 0 2 0 . 2 9 7 5 7 1 5 .   [ 1 8 ]   L.   A sca r i ,   U .   B e r t o c c h i ,   P .   C o r r a d i ,   C .   La sc h i ,   a n d   P .   D a r i o ,   “ B i o - i n s p i r e d   g r a s p   c o n t r o l   i n   a   r o b o t i c   h a n d   w i t h   massi v e   s e n s o r i a l   i n p u t , ”   B i o l o g i c a l   C y b e rn e t i c s ,   v o l .   1 0 0 ,   n o .   2 ,   p p .   1 0 9 – 1 2 8 ,   D e c .   2 0 0 9 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 4 2 2 - 0 0 8 - 0 2 7 9 - 0.   [ 1 9 ]   S .   N a h a v a n d i ,   R .   A l i z a d e h sa n i ,   D .   N a h a v a n d i ,   C .   P .   Li m ,   K .   K e l l y ,   a n d   F .   B e l l o ,   “ M a c h i n e   l e a r n i n g   mee t s   a d v a n c e d   r o b o t i c   man i p u l a t i o n , ”   I n f o rm a t i o n   F u s i o n ,   v o l .   1 0 5 ,   M a y   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s. 2 0 2 3 . 1 0 2 2 2 1 .   [ 2 0 ]   V .   P a t i d a r   a n d   R .   T i w a r i ,   “ S u r v e y   o f   r o b o t i c   a r m   a n d   p a r a m e t e r s , ”   i n   2 0 1 6   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r  C o m m u n i c a t i o n   a n d   I n f o rm a t i c s ,   I C C C I   2 0 1 6 ,   Ja n .   2 0 1 6 ,   p p .   1 – 6 .   d o i :   1 0 . 1 1 0 9 / I C C C I . 2 0 1 6 . 7 4 7 9 9 3 8 .   [ 2 1 ]   S .   B h a t l a w a n d e ,   M .   A m b e k a r ,   S .   A m i l k a n t h w a r ,   a n d   S .   S h i l a s k a r ,   “ Th r e e - f i n g e r   r o b o t i c   g r i p p e r   f o r   i r r e g u l a r - sh a p e d   o b j e c t s, ”   i n   S m a r t   I n n o v a t i o n ,   S y s t e m s  a n d   T e c h n o l o g i e s ,   v o l .   3 6 4 ,   S p r i n g e r   N a t u r e   S i n g a p o r e ,   2 0 2 4 ,   p p .   6 3 – 7 5 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 99 - 5 1 8 0 - 2 _ 6 .   [ 2 2 ]   A .   Y a n g ,   Y .   C h e n ,   W .   N a e e m,   M .   F e i ,   a n d   L .   C h e n ,   “ H u m a n o i d   mo t i o n   p l a n n i n g   o f   r o b o t i c   a r m   b a se d   o n   h u man   a r m   a c t i o n   f e a t u r e   a n d   r e i n f o r c e me n t   l e a r n i n g , ”   Me c h a t r o n i c s ,   v o l .   7 8 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . me c h a t r o n i c s.2 0 2 1 . 1 0 2 6 3 0 .   [ 2 3 ]   D .   K i j d e c h   a n d   S .   V o n g b u n y o n g ,   “ M a n i p u l a t i o n   o f   a   c o m p l e x   o b j e c t   u si n g   d u a l - a r m  r o b o t   w i t h   m a sk   R - C N N   a n d   g r a s p i n g   st r a t e g y , ”   J o u r n a l   o f   I n t e l l i g e n t   a n d   Ro b o t i c   S y st e m s:   T h e o ry   a n d   A p p l i c a t i o n s ,   v o l .   1 1 0 ,   n o .   3 ,   Ju l .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 8 4 6 - 0 2 4 - 0 2 1 3 2 - 0.   [ 2 4 ]   M .   P h i l i p   a n d   P .   S .   La l   P r i y a ,   “ P i c k   a n d   p l a c e   o p e r a t i o n   o f   a   r o b o t i c   a r m  u s i n g   m u l t i r a t e   e v e n t   t r i g g e r e d   sl i d i n g   mo d e   c o n t r o l , ”   i n   2 0 2 1   I E EE  S e c o n d   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o n t r o l ,   Me a s u reme n t   a n d   I n s t r u m e n t a t i o n   ( C MI) ,   Ja n .   2 0 2 1 ,   p p .   6 1 – 6 6 .   d o i :   1 0 . 1 1 0 9 / C M I 5 0 3 2 3 . 2 0 2 1 . 9 3 6 2 8 7 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 4 ,   No .   1 ,  Ma r ch   20 2 5 :   1 1 - 1 8   18   [ 2 5 ]   M .   Le u n g ,   R .   O r t i z ,   a n d   B .   W .   J o ,   “ S e mi - a u t o m a t e d   mi d - t u r b i n a t e   sw a b   samp l i n g   u si n g   a   si x   d e g r e e s  o f   f r e e d o m   c o l l a b o r a t i v e   r o b o t   a n d   c a meras , ”   I A ES   I n t e r n a t i o n a l   J o u r n a l   o f   R o b o t i c s  a n d   A u t o m a t i o n   ( I J R A) ,   v o l .   1 2 ,   n o .   3 ,   p p .   2 4 0 – 2 4 7 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 1 1 5 9 1 / i j r a . v 1 2 i 3 . p p 2 4 0 - 2 4 7 .       B I O G RAP H I E S O F   AUTH O R        S h r ip a d   Bh a tl a wa n d e           re c e iv e d   th e   B. E.   d e g re e   in   e lec tro n ics   e n g i n e e rin g   fr o m   th e   S h ri  G u ru   G o b in d   S i n g h ji   C o ll e g e   o f  E n g i n e e rin g   a n d   Tec h n o l o g y ,   Na n d e d ,   In d ia,  in   2 0 0 0 ,   t h e   M . E.   d e g re e   in   e lec tro n ics   e n g i n e e rin g   ( d ig it a l  sy ste m s)  fro m   th e   G o v e rn m e n t   Co ll e g e   o f  E n g i n e e rin g ,   P u n e ,   In d ia,  in   2 0 0 8 ,   a n d   t h e   P h . D.  d e g re e   fro m   th e   In d ian   I n stit u te   o f  Tec h n o lo g y   Kh a ra g p u r,   I n d ia,   in   2 0 1 5 .   His  re se a rc h   in tere sts  i n c lu d e   e m b e d d e d   sy ste m s,   m a c h in e   in telli g e n c e ,   a n d   ro b o t ics .   He   c a n   b e   c o n tac ted   a t  sh ri p a d . b h a tl a wa n d e @v it . e d u .         S a k shi   K u lk a r n i           is  p u rsu i n g   B. Tec h .   in   El e c tro n ics   a n d   Tele c o m m u n ica ti o n   En g i n e e rin g   fro m   Vis h wa k a rm a   In stit u te   o f  Tec h n o lo g y ,   P u n e ,   I n d ia.  He r  re se a rc h   in tere sts   in c lu d e   Emb e d d e d   sy ste m s a n d   I o T.   S h e   c a n   b e   c o n tac ted   a t   sa k sh i. k u lk a rn i 2 0 @ v it . e d u .         S h a jj a d   S h a ik h           is   p u rsu i n g   B. Tec h .   i n   El e c tro n ics   a n d   Tel e c o m m u n ica ti o n   En g i n e e rin g   fr o m   Vish wa k a rm a   In stit u te   o f   Tec h n o l o g y ,   P u n e ,   I n d ia.  His   re se a rc h   in tere sts  in c lu d e   a rti ficia l  in telli g e n c e   a n d   m a c h in e   lea rn i n g .   He   c a n   b e   c o n tac ted   a t   sh a jj a d h u ss a in . sh a ik h 2 0 @v it . e d u   o r  sh a jj a d . sh a ik h 2 0 @v it . e d u .         S a c h i  K u r ia n           is  p u rsu i n g   B. S .   i n   Bi o m e d ica l  En g in e e rin g   fro m   R u tg e r s   Un iv e rsity   S c h o o l  o f  En g i n e e rin g   in   Ne w  Je rse y ,   Un it e d   S tate s  o f  Am e rica .   He r  re se a rc h   in tere sts  in c l u d e   a rti ficia l   in tell ig e n c e   a n d   m a c h in e   lea rn in g   i n   b i o m e d ica l  a p p l ica ti o n .   S h e   c a n   b e   c o n tac ted   a t  sa c h i. k u rian @ru tg e rs.ed u .         S wa ti   S h il a sk a r           re c e iv e d   a   B. E.   d e g re e   i n   e lec tro n ics   e n g i n e e rin g ,   a n   M . E .   d e g re e   in   d ig it a l  e lec tro n ics ,   a n d   a   P h . D .   d e g re e   fr o m   S a n t  G a d g e   Ba b a   Am ra v a ti   Un iv e rsity ,   In d ia.  He r  re se a rc h   in tere sts  in c lu d e   c o m p u ter - b a se d   d iag n o st i c   su p p o rt  sy ste m s,  b ra in - c o m p u ter  i n terfa c e s,  m a c h in e   lea rn in g ,   a n d   a u to m a ti o n .   S h e   c a n   b e   c o n tac ted   a t  sw a ti . sh il a sk a r@v it . e d u .     Evaluation Warning : The document was created with Spire.PDF for Python.