I AE S In t er na t io na l J o urna l o f   Ro bo t ics a nd   Aut o m a t io n  ( I J RA)   Vo l.  1 5 ,   No .   3 ,  Sep tem b er   20 2 6 ,   p p .   6 0 7 ~ 6 2 0   I SS N:  2722 - 2 5 8 6 ,  DOI :  1 0 . 1 1 5 9 1 /i jr a . v 1 5 i 3 . pp 6 0 7 - 620           607       J o ur na l ho m ep a g e :  h ttp : //ij r a . ia esco r e. co m   Integ ra ting  la rg e  la ng ua g e mo dels for con text - a wa re   decisio n  ma king  in  a utono mo us mo bile robo ts        Vis hn u K um a r  M is hra 1 ,   M e g ha   M is hra 2 ,   T a la s ila   Ra m   K um a r 1 ,   Yenna   G ee t ha   Red dy 1 ,    G un dla   Ra j esh 3 ,   B a t t ula   P hi j ik 3 ,   B a nd la   Srini v a s a   Ra o 4   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   M a l l a   R e d d y   E n g i n e e r i n g   C o l l e g e   f o r   W o me n ,   H y d e r a b a d ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   S h r i   S h a n k a r a c h a r y a   T e c h n i c a l   C a m p u s,  C h h a t t i s g a r h   S w a m i   V i v e k a n a n d   Te c h n i c a l   U n i v e r si t y ,  B h i l a i ,   I n d i a   3 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   V i g n a n 's I n st i t u t e   o f   M a n a g e m e n t   a n d   Te c h n o l o g y   f o r   W o men ,   K o n d a p u r ,   H y d e r a b a d ,   I n d i a   4 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   T e e g a l a   K r i s h n a   R e d d y   E n g i n e e r i n g   C o l l e g e ,   H y d e r a b a d ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   4 ,   2 0 2 6   R ev is ed   J u l 2 4 ,   2 0 2 6   Acc ep ted   Au g   6 ,   2 0 2 6       Th e   d y n a m ic  e v o lu ti o n   o f   in d u st rial  a u to m a ti o n   h a s  c re a ted   a n   i m p e ra ti v e   n e e d   t o   tran sit io n   fr o m   in f lex ib le,  ru le - b a se d   sy ste m s  to   flex i b le,  i n telli g e n t   a g e n ts  t h a t  c a n   fa c il i tate   h u m a n - ro b o t  c o ll a b o ra t io n .   Th e   p u r p o se   o f  t h is   re se a rc h   wa s  to   in teg ra te   larg e   l a n g u a g e   m o d e ls   (LL M s)  wit h   a u to n o m o u s   m o b il e   ro b o ts  (AMRs)  to   imp r o v e   c o n te x t - a wa re   d e c isio n - m a k in g .   T h e   in flex i b il it y   o f  t ra d it i o n a l  sy st e m s  h a s  o ften   h in d e re d   p e rfo r m a n c e   in   d y n a m ic  e n v ir o n m e n ts ,   a s  sy ste m s  o ften   re ly   o n   p re d e fin e d   a l g o rit h m s  a n d   se n so r  c o n f ig u ra ti o n s.  T o   im p ro v e   th is ,   a   m o d u lar   fra m e wo rk   w a s  c re a ted ,   c o n sistin g   o f  a   c e n tral  p ro c e ss in g   u n i t  a n d   a n   LL M   API  t o   i n terp r e t  n a tu ra l   lan g u a g e   a n d   p ro c e ss   e n v iro n m e n tal  i n fo rm a ti o n .   Qu a n ti tati v e   re su lt s  h a v e   b e e n   c lea rly   sp e c ifi e d   in   t h e   a b s trac t,   wh ich   sta tes   th a t  th e   su c c e ss   ra te  in   re so lv in g   n a v ig a ti o n   e x c e p ti o n s  b y   th e   p ro p o se d   fra m e wo rk   wa s  8 9 %   wit h   a   5 %   lo c a li z a ti o n   e rro r   ra te.  M o re o v e r,   su b sta n ti a l   sa v in g s  we re   o b se rv e d   in   to k e n   u sa g e   a n d   c o m p u tatio n a l  re so u rc e s.  T h is   s tu d y   p r o v i d e d   a n   i m p e ra t i v e   fra m e w o r k   f o r   sm a rte r  i n d u st ri a l  a u t o m a ti o n ,   fi ll i n g   t h e   g a p   b e tw e e n   m e c h a n ica l  p r e c i si o n   a n d   a r ti fi c ia l  i n te ll i g e n c e .   T h e   p ra c ti c a l  e x p e ri m e n tat i o n   o f   a n   A M R  m o d e l  g i v e s  a n   o u t c o m e   o f  a   s u c c e ss f u l   n a v i g a ti o n   e x c e p t i o n   re s o l u ti o n   ra te   o f   8 9 %   b y   m e a n s   o f   t h e   p r o p o se d   fra m e w o r k ,   w it h   a n   e rr o r   ra te  o f  5 %   lo c a l ize d   t o   e a c h   e x c e p t i o n .   A d d i t io n a l l y ,   si g n if ica n t   re d u c ti o n s  i n   th e   n u m b e r  o f  to k e n s  u se d   a n d   t h e   ti m e   t a k e n   t o   p r o c e ss   t o k e n s  p r o v i d e   a   sc a la b le   m e a n s   f o r   d e v e l o p i n g   c o n t e x t u a ll y - b a se d ,   r o b u s t,   a u to n o m o u s   m o b i le   p la tf o rm s ’  d e c is i o n s .   K ey w o r d s :   Ar tific ial  in tellig en ce   C o llab o r ativ e  r o b o tics   C o n tex t - awa r e  s y s tem s   I n d u s tr ial  au to m atio n   L ar g e  lan g u ag e  m o d els   Natu r al  lan g u ag e   p r o ce s s in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Me g h a  Mish r a   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   Sh r i Sh a n k ar ac h a r y a  T ec h n ical  C am p u s   B h ilai,  I n d ia   E m ail: m eg h a1 6 s h u k la@ g m ai l.c o m       1.   I NT RO D UCT I O N   T h e  d o m ain   o f   i n d u s tr ial  r o b o tics   h as  witn ess ed   a  p ar a d ig m   s h if t  f r o m   s im p le   m ec h an i ca l  ar m s   to   s o p h is ticated   tech n o lo g ies  in c o r p o r ati n g   a r tific ial  in tellig en ce   ( AI ) .   Au to n o m o u s   r o b o tics   h as  b ee n   id e n tifie d   as  a  cr itical  d o m ain   o f   i n n o v atio n   to   ad d r ess   th e   ch allen g e s   o f   th e   wo r ld   in   ter m s   o f   in d u s tr ial  au to m atio n ,   p r ec is io n ,   an d   ef f icien c y   ac r o s s   v ar io u s   in d u s tr ies.  Ho wev er ,   co n v en tio n al  r o b o tics   tech n o lo g y   is   h ea v ily   d ep en d e n t  u p o n   p r e - d ef i n ed   alg o r ith m s   an d   s en s o r   tech n o lo g ies,  wh ich   lim it  th eir   f lex ib ilit y   in   d y n am i c   in d u s tr ial  en v i r o n m e n ts .   Su ch   tech n o l o g ies  ar e   u s u ally   in f l ex ib le,   r e q u ir in g   s ig n if ica n t  p r o g r am m in g   ef f o r ts   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 5 ,   No .   3 ,  Sep tem b er   20 2 6 :   6 0 7 - 6 2 0   608   f o r   ev er y   ch an g e  o f   task   o r   en v ir o n m en t,  m ak in g   it  d if f icu lt  to   co p e  with   s ce n ar io s   t h at  r eq u ir e  h u m a n   in ter v en tio n   f o r   d ec is io n - m ak i n g   [ 1 ] .   R ec en t  r esear ch   h as  h ig h lig h t ed   th at  th e  m o s t  ch allen g in g   asp ec t  o f   m o d er n   r o b o tic  tech n o lo g ies  is   to   ac h iev e  h u m an   co n tr o l.  T h o u g h   r o b o tic  s war m s   an d   in d u s tr ial  ag en ts   ar e  u s u ally   ex p ec ted   to   f u n ctio n   au to n o m o u s ly   in   th eir   e n v ir o n m en ts ,   h u m an   i n ter v en tio n   i s   o f ten   cr itical  to   ch an g e  th e   o b jectiv es  o f   th e   m is s io n ,   p r o v id e   r ea s o n in g   in   u n s tr u ctu r ed   en v ir o n m en ts ,   a n d   en s u r e  th at  th e   o v er all  b eh a v io r   o f   th e  m ac h i n e  is   co n s is ten t  with   th e  o b jecti v es  o f   th e  o v er all  m is s io n .   Ho wev er ,   co n v e n tio n al  h u m a n - r o b o t  in ter ac tio n   tech n o lo g ies  o f te n   r esu lt  in   a   h ig h er   c o g n itiv e  lo a d   f o r   h u m an   o p er at o r s ,   esp ec ially   in   m an ag in g   c o m p lex   r o b o tic   s y s tem s   [ 2 ] .   C o n v e n tio n al  r o b o tic   p r o ce s s   au to m ati o n   ( R PA)   an d   in d u s tr ial  r o b o t s   ar e  o f ten   d esig n ed   u s in g   r ig i d   p r o g r am m in g   th at  f o llo ws  s tr ict  r u les  an d   also   r ec eiv e  f ee d b ac k   f r o m   lo ca lized   s en s o r s .   Pro g r am m in g   allo ws  th em   t o   o p er ate  in   a  h ig h ly   ac c u r ate  m an n er ;  h o wev er ,   r o b o tic  au to m atio n   ca n n o t  wo r k   in   a  co n s is ten tly   h ig h   ac cu r ac y   m an n er   in   d y n am ic  in d u s tr ial  en v ir o n m en ts   b ec au s e  th er e  is   n o   way   to   p r o g r a m   f o r   ev er y   p o ten tial   en v ir o n m e n t  ed g e  ca s e   o r   u n ex p ec te d   d ata  in p u t  —   it  h as  b ee n   p r o v en   m ath em atica lly   th at  th is   is   im p o s s ib le.   T h is   r esear ch   cr ea tes  a  n ew   way   in   wh ich   lar g e  lan g u a g e  m o d els  ca n   b e  u s ed   to   r ep lace   th e  f r eq u e n tly   u s ed   r ig id   r u les  an d   o n ly   s en s o r - d r iv e n   p ar a d ig m s   f o u n d   in   th e  tr ad itio n al  m an u f ac tu r in g   en v ir o n m en ts .   Un lik e   ex is tin g   ap p r o ac h es  th at  a r e  r elian t  o n   f ix ed   r u le   s ets,  th e  u s e  o f   g en er ativ e   ar tific ial  in tellig en ce   ( GAI )   em p o wer s   r o b o tic  s y s tem s   to   u n d er s tan d ,   p r o ce s s   an d   ac t  u p o n   n atu r al  lan g u ag e   in s tr u ctio n s   f r o m   h u m an   o p er ato r s   with   h ig h   lev els  o f   ac c u r ac y .   As  s u ch ,   GAI   en ab les  th e  r o b o tic  s y s tem   to   u s e  s en s o r y   f ee d b ac k   d ata  in   r ea l  tim e  to   m ak e  in tellig en t  d e cisi o n s   th at  ar e  in f o r m e d   b y   b o th   co n tex t  a n d   th e   cu r r en t  s tate  o f   th e  r o b o t,  th u s   elim in atin g   th e  d i v id e  b etw ee n   m ec h a n ical  p r ec is io n   a n d   in tellig en ce   s im ilar   to   th at  o f   a  h u m a n   [ 3 ] ,   [ 4 ] .   T h e  p u r p o s e  o f   th is   s tu d y   is   to   d ev elo p   a  h y b r id   a p p r o ac h   th at  in teg r ates  co m p u ter   v is i o n ,   m o to r   ac tu atio n ,   an d   la r g e  lan g u a g e  m o d els  ( L L M)   b ased   r e aso n in g   -   allo win g   f o r   s ea m less   h u m an /r o b o t   in ter ac tio n   with in   th e   in d u s tr i al  s ec to r .   T h e  f r am ewo r k   will  b e  b u ilt  u p o n   a  m o d u lar   ar ch itectu r e,   wh ich   will   co n s is t  o f   a  R asp b er r y   Pi  4   p r o ce s s in g   u n it  an d   an   L L M   API ,   en ab lin g   th e  r o b o t  to   co n v er t  h ig h - lev el  h u m a n   in ten t  ( i.e .   “ m o v e  r ig h t  an d   a v o id   th e  o b s tacle ” )   in to   p r ec i s e  m o tio n   co m m an d s   an d   co n cu r r e n tly   n av i g ate  th r o u g h   d y n am ic  wo r k   en v i r o n m en ts   u s in g   v is io n - b ased   o b ject  d etec tio n .   T h e  wo r k f lo w   o f   s tu d y   d is p lay   in   Fig u r e   1.           Fig u r e  1 .   W o r k i n g   f l o w  o f   a u to n o m o u s   m o b ile  r o b o t         T h e  n ew  v alu e  ad d ed   b y   th is   r esear ch   is   th e  in teg r atio n   o f   L L Ms,  wh ich   ca n   h elp   r o b o ts   o v er co m e   th e  in h er en t  in f lex i b ilit y   o f   tr a d itio n al  r u le - b ased   an d   s en s o r - b ased   ap p r o ac h es.  Un lik e  tr a d itio n al  ap p r o ac h es  th at  h ea v ily   r ely   o n   in s tr u cti o n s   an d   r u les,  th e  ap p licatio n   o f   L L M - b ased   AI   ca n   e n ab le  r o b o ts   to   in ter p r et  an d   u n d er s tan d   h u m an   lan g u ag e   m o r e  e f f ec tiv ely .   T h is   ca n   e n a b le  th e   r o b o t  t o   m a k e  i n tellig en t  d ec is io n s   in   r ea l - tim e  b ased   o n   s en s o r   in p u ts ,   ef f ec tiv ely   b r id g in g   th e   g a p   b etwe en   th e   p r ec is io n   o f   m ac h in es  an d   th e   in tellig en ce   o f   h u m a n s   [ 5 ] .   T h is   p r o b lem   is   a d d r ess ed   b y   p r o p o s in g   a   n o v el  way   t o   in co r p o r ate  ag en tic  L L Ms   with in   in d u s tr ial  au to m atio n   u s in g   th e  Gr ap h R AG  ar ch itectu r e  f o r   c o n tex t - d r iv en   d ec is io n - m ak in g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         I n teg r a tin g   l a r g e  la n g u a g e   mo d els fo r   co n text - a w a r e  d ec is io n   ma kin g   …   ( V is h n u   K u ma r   Mis h r a )   609   As  o p p o s ed   to   co n v en t io n a l  m eth o d s   wh e r e  d e ter m in i s t ic   r u le s   w er e  u s ed ,   o u r   n o v el  f r am e wo r k   u s e s   th e  L L M s   to   a ct  as  a n   in t er m e d i ar y   s u p er v i s o r   a n d   m ed i at e  b e tw ee n   lo g ica l   p r o g r am m in g   an d   en v ir o n m en ta l  r ea li ty .   T h is   r e s e ar ch   a im s   to   d ev e lo p   a  h y b r id   ap p r o ac h   f o r   s e am l es s   h u m an - r o b o t   in t er a ct io n s   b y   in teg r at in g   c o m p u te r   v i s io n ,   m o t o r   co n tr o l,  an d   L L M - b a s ed   d ec i s io n - m ak in g   f o r   a  m o r e   in t el lig en t  r o b o t ic  s y s tem   , b y   u ti li zin g   a  m o d u lar   s y s te m   ar ch it ec tu r e  co n s i s tin g   o f   a  R as p b er r y   P i  4   p r o ce s s i n g   u n i t  an d   an   L L M   API ,   th e  p r o p o s ed   s y s t em   ca n   en ab l e  th e  tr an s la ti o n   o f   h ig h - l ev e l  h u m an   in t en t io n s   ( e. g . ,  “ m o v e  r ig h t  an d   av o id   th e   o b s t ac le ” )   in t o   p r e ci s e  m o to r   m o v em en t s   w h il e  n av ig at in g   th e   en v ir o n m en t  th r o u g h   co m p u t er   v i s io n - b a s ed   o b je ct   d e te ct i o n .   I n   o r d er   to   ac h iev e  t h e  g o al s   o f   th i s   r es ea r ch   p r o je ct ,   d ev e lo p i n g   a  m o r e   ad v an ce d   an d   ca p ab l e  r o b o t ic   s y s tem   th at   c an   b e   u s ed   in   m a n y   d i f f er en t   way s   i s   th e  ai m   o f   th is   r e s e ar c h   [ 6 ] ,   [ 7 ] .   T h e  p ap e r ' s   s co p e  was  s h ar p en ed   b y   ex p licitly   co n n ec tin g   th e  au t o n o m o u s   m o b ile  r o b o t  ( AM R )   p latf o r m   to   in d u s tr ial  s af ety   p r o to co ls ,   m a n u f ac tu r in g   e f f i cien cy ,   an d   h u m an - m ac h in e  co llab o r atio n .   T h e   in tr o d u ctio n   n o w  clar i f ies  h o w  L L M - d r iv e n   r ea s o n in g   ad d r ess es  th e  m ath em atica l  im p o s s ib ilit y   o f   p r o g r a m m in g   tr ad itio n al  r u le - b ased   r o b o ts   f o r   e v er y   in d u s tr i al  ed g e  ca s e.   T h e  ev o lu tio n   o f   r o b o tics   h as seen   a  s ig n if ican t p ar ad ig m   s h if t f r o m   co n v en tio n al  s im p le  m ec h an ical  m an ip u lato r s   to   h ig h ly   ad v an ce d   m ac h in es  in c o r p o r atin g   th e  u s e  o f   ar tific ial  in tellig en c e.   T h e  m ai n   g o al  o f   au to n o m o u s   r o b o tics   in   th e   c o n tem p o r ar y   w o r ld   h as  b ee n   to   ad d r ess   th e  wo r ld ' s   ef f icien cy   an d   ac cu r ac y   ch allen g es  b y   en ab lin g   m ac h in es  to   p er f o r m   task s   in d ep en d en tly ,   h en ce   r e d u cin g   t h e  lev el  o f   h u m a n   in ter f er en ce .   Ho wev er ,   co n v e n tio n al  r o b o ts   u s e  p r e - d ef in e d   alg o r ith m s   an d   co n f ig u r atio n s   in   th eir   o p er atio n s ,   wh ich   m ak es  th em   less   ef f icien t  an d   m o r e  i n clin ed   to   ad ap tin g   to   u n s tr u ctu r ed   en v ir o n m en ts .   T h is   h as  s ee n   th e  u s e  o f   lar g e  lan g u ag e  m o d els  an d   h ig h ly   a d v an ce d   h u m an - s war m   in ter ac tio n   tech n iq u es  to   m a k e  th e   r o b o ts   m o r e  ef f icien t  [ 8 ] .   W h er ea s   th e  co m m o n   ap p r o ac h   in v o l v es  r ep lacin g   r o b o t  p r e cisi o n   with   AI   alg o r it h m s ,   we  in tr o d u ce   th e  u s e  o f   L L Ms to   in ter p r et  h u m an   in ten t,   in clu d in g   th e  n o t io n   o f   t h e  f ac t th at  “ J o h n   S ”   is   th e  s am e  p er s o n   as   “ J o h n   Sm ith , ”   an d   ex ec u te  t h e   lo g ical  d ec is io n s   m ad e  v ia  r o b o tic  m ea n s .   T h e  tech n iq u e  u s es  “ ex p ed ie n t  in v o ca tio n ”   in   o r d e r   to   r e d u ce   th e   tr em en d o u s   am o u n t   o f   e n er g y   co n s u m ed   b y   co n s tan t  AI   in v o ca tio n s   an d   av o i d   laten cy   p r o b lem s ;  L L Ms  will  o n ly   b e  u s ed   f o r   h ig h - lev el   r ea s o n in g   if   d eter m in e d   lo ca l   R eg ex   an d   d eter m in is tic  f in it e  au to m ato n   ( DFA)   f ilter s   f ai l  to   m ak e  s en s e  o f   th e  in p u t   Ma n y   r ec en t  s tu d ies  in d icate   th at  b y   in teg r atin g   n atu r al  lan g u ag e  p r o ce s s in g   ( NL P)  in to   m ec h an ical  m an ip u latio n   v ia  r o b o ts   allo ws  th e  cr ea tio n   o f   ad d itio n al  ty p es  o f   in ter ac tio n   b etwe en   r o b o ts   an d   h u m a n s .   L ar g e  lan g u ag e  m o d els ,   s u ch   as  GPT  m o d els,  allo w  r o b o t s   to   u n d er s tan d   co m p lex   n atu r al  lan g u ag e  in p u ts   an d   m a k e  co n tex t - awa r e   d ec is io n s   in   r ea l - tim e.   R esear ch er s   h av e  s h o wn   th at   th e  f u s io n   o f   L L Ms  an d   b eh av io r   tr ee s   ( B T s )   en ab les  r o b o ts   to   d ea l  with   u n ex p ec ted   ev en ts   m o r e  ef f ec tiv ely   co m p ar ed   to   tr ad itio n a l   r u le - b ased   s y s tem s .   I n   ad d itio n ,   h y b r id   m o d els  o f   L L Ms  an d   B T s   h av e  b ee n   p r o p o s ed   f o r   h u m an o id   r o b o ts   to   im p r o v e  e m o tio n al  in tellig e n c e  an d   n at u r al  h u m an   in ter ac tio n   [ 9 ] ,   [ 1 0 ] .   T h e  o r i g in ality   o f   th e   m an u s cr ip t  lies   in   th e   co n ce p t  o f   “ e x p ed ien t  i n v o ca tio n , ”   wh ic h   m ax im izes  ef f icien cy   b y   i n v o k in g   h ig h e r - o r d e r   r ea s o n in g   o n ly   wh en   lo ca l  R eg ex /DFA  f ilter s   p r o v e  in a d eq u ate.   I t   em p h asized   h o w  o u r   h y b r id   r ea s o n in g   s ch em e  was  n o v el  d u e  t o   its   in co r p o r ati o n   o f   Gr ap h R AG  as  an   in ter m ed iate  s u p e r v is o r   to   b alan ce   d eter m i n atio n   an d   r e al - wo r ld   c o n tex t.   R eso u r ce   o p tim izatio n   i n   th is   d esig n   is   ac h ie v ed   b y   u s in g   th e  L L M   as  a  last   r eso r t  th r o u g h   th e  cl o u d   o n l y   in   th o s e   5 %  o f   ex p e r im en ts   wh er e  th er e  o cc u r s   an   a m b iv al en t n av ig atio n   ex ce p tio n .   C o llab o r ativ e  r o b o tics   with   in teg r ated   L L Ms  p r o v id e  a n   in c r ea s ed   lev el  o f   i n d u s tr ial  s af ety   th r o u g h   f ails af e  r ea s o n s ,   alo n g   with   tr an s lu ce n t  u n ce r tain ty   c o m m u n icatio n ,   h elp in g   d ev el o p   in d u s tr ial  h u m an   tr u s t .  T h e  u s e  o f   a  ca s ca d in g   au to m ata  f r am ewo r k   in cr ea s es  o p er atio n al  ef f icien cy   b y   b r in g i n g   clo u d - m o d els  in to   p lay   o n ly   f o r   co m p lex   s itu atio n s .   T h er ef o r e,   th is   u s e  o f   a  h y b r id   a p p r o ac h   allo ws  au to n o m o u s   s y s tem s   to   ad ju s t  th eir   p er f o r m an ce   o n   th e  f ly   u s in g   ze r o - s h o t  lear n in g .   T h er e  is   a  d ef i n ite  c o n n ec tio n   b etwe en   d eter m in is tic  au to m atio n   an d   h u m an - lik e  c o g n itiv e  AI .   A   n ew  ap p licatio n   o f   ag e n t - b ased   L L Ms  in   th e  co n tex t  o f   in d u s tr ial  au to m ati o n   b ased   o n   th e  Gr ap h R AG  ar ch itectu r e  f r am ew o r k   is   p r o p o s ed   in   th e  p a p er .   W h ile  d eter m in is tic  tech n iq u es  ar e  u s ed   tr ad itio n ally ,   L L Ms  wo r k   h er e   as  an   in t er m ed iate  lay er   o f   s u p er v is io n   th at  co n n ec ts   lo g i c  p r o g r a m m in g   with   th e  r ea l  wo r ld .   Sp ec if ic  co n tr i b u tio n s   ar e  L L M  in teg r atio n   th r o u g h   “ ex p ed ien t   in v o ca ti o n , ”   m o d u lar   ar ch itectu r e,   an d   h y b r id   v is io n - lan g u a g e  co n tr o l.  Pre cise  co n tr ib u tio n s   in clu d e  L L M  in teg r atio n   v ia  “ ex p e d ien t  in v o c atio n ”   ( u s in g   L L Ms  o n ly   wh e n   lo ca l  f ilter s   f ail) ,   a  m o d u lar   ar ch itectu r e ,   an d   h y b r id   v is io n - la n g u a g e  co n t r o l.   T h e  p r im ar y   f o c u s   o f   HSI   r esear ch   is   th e   d e v elo p m e n t  o f   A MR  r o b o tic  s war m   s y s tem s   th at  allo w  a   s in g le  h u m an   o p e r ato r   to   m o n ito r   m u ltip le  au to n o m o u s   r o b o ts   wo r k in g   to g et h er   to   ac c o m p lis h   a  m is s io n   th r o u g h   co o r d in ate d   in ter ac tio n   am o n g   th em s elv es.  T h is   ar ea   o f   r esear c h   h as  m o v ed   f r o m   an   er a  o f   m an u ally   co n tr o llin g   i n d iv id u al  r o b o ts   to   o n e  wh e r e  an   o p er ato r   u s es th eir   s u p er v is o r   s k ills   to   m an ag e  an   en tire   m is s io n   an d   m ay   s witch   b etwe en   b ein g   “ on - l o o p ”   ( s u p er v is in g )   an d   “ in - lo o p ”   ( ac tiv ely   m a k in g   d e cisi o n s )   [ 1 1 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 5 ,   No .   3 ,  Sep tem b er   20 2 6 :   6 0 7 - 6 2 0   610   a.   R em o te  I n ter ac tio n :   Du e  to   th e  n ee d   f o r   r o b o ts   to   o p er ate  in   h az ar d o u s   o r   d if f icu lt  to   ac ce s s   en v ir o n m en ts ,   r e m o te  o p er atio n   is   b ec o m in g   th e   n o r m   r e g ar d less   o f   h o w  f a r   awa y   th e   o p e r ato r   is   f r o m   th e   r o b o t.  I n   o r d er   to   m an ag e  t h e  lar g e  am o u n t  o f   wo r k   r e q u ir ed   to   s u p er v is e  g r o u p s   o f   lar g e  s war m s ,   r esear ch er s   ar e  im p lem en tin g   im m er s iv e  in ter f ac es  lik e  v ir t u al  r ea lity   ( VR )   an d   au g m en t ed   r ea lity   ( AR ) .   Su ch   s o lu tio n s ,   in cl u d in g   th e   im m er s iv e  in ter ac tio n   in ter f a ce   ( I 3 ) ,   h a v e  s h o wn   th at  a   s in g le  h u m an   ca n   d ep lo y   a n d   c o n tr o l a s   m a n y   as   o n e  h u n d r ed   h ete r o g e n eo u s   r o b o ts   in   u r b an   e n v ir o n m en ts   [ 1 2 ] .   b.   Pro x im al  I n ter ac tio n :  I n   p r o x im ity   b ased   s h ar ed   p h y s ical  en v ir o n m en ts ,   an   o p er ato r   ca n   u s e  g estu r es,   to u ch   an d   s p o k e n   co m m a n d s   to   af f ec t  s war m   r o b o t  b e h a v io r .   So m e  a d v an ce d   m eth o d s   o f   p r o x im al  in ter ac tio n   in clu d e   h ap tic  f ee d b ac k   d ev ices lik e  v i b r o tactile  g lo v es,  n o n - in v asiv e  b r ain - c o m p u ter   in ter f ac e   ( B C I )   f o r   d ir ec t c o n tr o l  o f   r o b o ts ,   an d   f u ll  b o d y   m o tio n   d ete ctio n   to   d ir ec t m u ltip le  d r o n e  s war m s   [ 1 3 ] .     C o n tr o l  m eth o d s   f o r   m u lti - r o b o t   s y s tem s   ca n   b e   b r o ad ly   class if ied   in to   f o u r   ty p es:  b eh av io r /alg o r ith m   s elec tio n   m eth o d s ,   p ar am eter   s ettin g   m eth o d s ,   en v ir o n m en tal  i n f lu en ce   m eth o d s   ( u s in g   v ir tu al  p h er o m o n es  a n d   b ea co n s ) ,   an d   lead e r   s elec tio n   m eth o d s .   Am o n g   all  ty p es  o f   co n tr o l  m eth o d s ,   lead e r   s elec tio n   is   b es t  u s ed   f o r   tel ep o r tatio n   b u t  is   s u s ce p tib le  to   ad v er s ar ial  attac k s .   Au to n o m y   lev els  g r ea tly   in f lu en ce   wo r k l o ad .   T h e  d ir ec tio n   is   s h if tin g   to   f lex ib le  au to n o m y ,   wh ich   ca n   b e  ad a p tab le   ( h u m an - i n v o k ed ) ,   ad ap tiv e  ( s o f twar e - i n v o k ed ) ,   a n d   m ix e d - in itiativ e  ( s h ar ed   h u m an   an d   s o f twar e)   [ 1 4 ] .       2.   P RO P O SE D  M E T H O D/ AL G O RIT H M /P RO CE D URE   A s   i ll u s t r a t e d   i n   t h e   r e f e r e n c ed   s o u r c e   m a t e r i a ls ,   t h e   m et h o d o l o g y   u s e d   t o   i n t e g r a t e   l a r g e  l a n g u a g e  m o d e l s   ( L L Ms )   i n t o   c o o p e r a tiv e   i n d u s t r ia l   r o b o ts   i n v o l v es   a  m o d u l a r   s y s t e m   t h a t  t r i es   t o   b r i d g e   t h e   d i f f e r e n ce   b e t w e e n   A I - b as e d   t e c h n o l o g y   a n d   m e c h a n i c a l  a c c u r a c y .   T h is   m e t h o d   c a n   b e   b r o k e n   d o w n   i n t o   t h r e e  p r i m a r y   s e c ti o n s :   I n p u t ,   P r o c ess i n g ,   a n d   O u t p u t .     2 . 1 .     H a rdwa re   s elec t io n a nd   im plem ent a t io n   T h e   s y s t e m   wi l l   b e  i m p l e m e n t e d   u s i n g   c o s t - e f f e ct i v e   a n d   s c a l a b l e   h a r d wa r e   t o   e n s u r e   t h e   s y s t e m ’ s   a f f o r d a b i l i t y   w it h o u t   c o m p r o m i s i n g   f u n c t i o n a li t y ,   as   d e p i c t e d   i n   F i g u r e   2 .   a.   P o w e r :   T h e   s y s t e m   w il l   u t il i z e   a   r e c h a r g e a b l e   L i t h i u m - I o n   b a t t e r y   p a c k .   b.   A c t u a t i o n :  T h e   s y s t e m   w i ll   u t ili z e   a  f o u r - w h e e l   c h ass is   p r o p e ll e d   b y   B O   m o t o r s   a n d   c o n t r o l le d   b y   a n   L 2 9 8 N  m o t o r   d r i v e r .   c.   M a i n   c o n t r o l l e r :   T h e   s y s t e m   wi l l   u t il i z e   a   R as p b e r r y   P i   4   as   t h e   m a i n   c o n t r o l l e r .   d.   V i s u al   i n p u t :  T h e   s y s t e m   w i ll   u t i l i z e  a   w e b c a m   p l a c e d   i n   t h e  b e s t  p o s it i o n   t o   o b t a i n   t h e   d esi r e d   i n f o r m a t i o n   f r o m   t h e   e n v i r o n m e n t .           Fig u r e  2 .   Au t o n o m o u s   m o b ile  r o b o ts   ( AM R s )       2 . 2 .     S y s t e m  a r c h i t ec t u r e   Fig u r e  3   d e p icts   th e  m eth o d o lo g y   u s ed   to   i n teg r ate  L L Ms  in to   co o p e r ativ e  AM R   r o b o ts   as   r ef er en ce d   in   th e  s o u r ce   m a t e r i a l s ;  th is   is   a  m o d u lar ized   m eth o d   th at  attem p ts   to   b r id g e  th e  g a p   b etwe en   ar tific ial  in tellig en ce   ( AI )   an d   p r ec is io n   en g i n ee r in g   [ 1 5 ] ,   [ 1 6 ] .   T h e  m eth o d   is   d iv id ed   in to   th r ee   m ajo r   co m p o n en ts :  in p u t,  p r o ce s s in g ,   an d   o u tp u t .   a.   I n p u t  s u b s y s tem :  th e  in p u t  s u b s y s tem   r ec eiv es  b o th   v is u al  d ata  ( as  a  2 D  p ix el  m atr ix )   an d   n atu r a l   lan g u ag e   u s er   in p u t   ( wr itin g ,   s p ee ch   o r   tex t)   as  in p u ts .   T h e  v is u al  d ata  will  b e  e n co d e d   in   B ase6 4   f o r m at   f o r   tr an s m is s io n   to   th e   p r o ce s s in g   u n it .   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         I n teg r a tin g   l a r g e  la n g u a g e   mo d els fo r   co n text - a w a r e  d ec is io n   ma kin g   …   ( V is h n u   K u ma r   Mis h r a )   611   b.   Pro ce s s in g   s u b s y s tem :  th e  p r o ce s s in g   s u b s y s tem   co n s is ts   o f   th e  R asp b er r y   Pi  Mo d el  4   wh i ch   r ec eiv es  an d   p r o ce s s es  th e  u s er ' s   n atu r al   la n g u ag e   in p u t ( i.e .   “ T ak e   Me   t o   th e   B ath r o o m ” )   i n to   a   s tr u ct u r ed   s et  o f   m o t o r   co m m an d s   f o r   o u tp u t.   I t  p r o ce s s es  in f o r m atio n   i n   r ea l - tim e  th r o u g h   th e   in teg r atio n   o f   u s er   in ten t  a n d   en v ir o n m en tal  in f o r m atio n   [ 1 7 ] .   c.   Ou tp u t  s u b s y s tem :  th e   o u tp u t   s u b s y s tem   u s es  an   L 2 9 8 N   m o to r   d r iv er   to   c o n v e r t  p r o c ess in g   s ig n als  to   ac tu al  m o v em e n t  th r o u g h   p u l s e  wid th   m o d u latio n   ( PW M) ,   wh ich   co n tr o ls   th e   s p ee d   an d   d ir ec tio n   o f   m o to r   m o v em en t  [ 1 8 ] .           Fig u r e  3 .   Sy s tem   ar c h itectu r e  f o r   L L M - b ased   au to n o m o u s   m o b ile  r o b o ts       O u r   e x p e r i m e n t a l   s e t u p   u s es   a n   I n t e l l i D r i v e   A MR   r o b o t   p l a tf o r m   w i t h   a   R a s p b e r r y   P i ,   L 2 9 8 N   m o t o r   c o n t r o l l e r s ,   a n d   B O   m o t o r s   f o r   a c t u a l   m o v e m e n t .   R e p l i ca b i l ity   c a n   b e   a c h i e v e d   s i n ce   w e  h av e   p r o v i d e d   o u r   f u l l   P y t h o n - b a s e d   c o n t r o l   a l g o r i t h m   a n d   w i r i n g   d i a g r a m s   f o r   h a r d w a r e   i n   o u r   p u b l i c l y   a c c ess i b l e   Gi t H u b   r e p o .   A l g o r i t h m i c   D e c is i o n s :   F o r   o u r   a r c h i t e c t u r e ,   w e   u s e   c as c a d i n g   w h e r e   l o c a l   d e te r m i n is t i c   f i l t e r s   a n d   s t at is t i ca l  TF - I D F   v ec t o r s   w i ll   b e   u s e d   f ir s t   t o   ac h i e v e   h i g h   s p e e d   a n d   o n l y   a f t e r   s w i t c h i n g   t o   t h e   u s e   o f   G r a p h R AG   b y   t h e   L L M .   T h e   t r a d i t i o n a l  a l g o r it h m   u s es   t h e   G r a p h R A G   t h r o u g h   s u b g r a p h   e x t r a c ti o n   w h i c h   th e   m o d e l   w il l   u s e   f o r   c r e a t i n g   n e w   e x e c u t i o n   p a t h s .   T h e   a r c h i t e ct u r e   s e q u e n c e   s t ar t s   wi t h   t h e   R P A  e r r o r   t r i g g e r ,   f o l l o w e d   b y   G r a p h R AG   s u b   g r a p h   e x t r a c t i o n .   T h e  n e x t   s t e p   is   s e r i a l i z at i o n   o f   t h e   e x t r ac t e d   s u b g r a p h s   i n t o   p r o m p t s   t o   t h e  L L M .   C o r r e ct e d   J SO N  p a r t s   c r e at e d   b y   t h e   m o d e l   a r e  a p p l i e d   t o   t h e   p r o c es s   u s i n g   s t r i n g   p a t c h e s   t o   r e d e p l o y   a u t o n o m o u s l y .   V a li d a t i o n :  I n   o r d e r   t o   v a l i d a t e   o u r   s y s t e m ,   w e   h a v e   c r e a t e d   d i f f e r e n t   s c en a r i o s   i n v o l v i n g   K Y C   p r o c e s s in g   a n d   r e j e c t i o n   o f   d o c u m e n t s   w h e r e   w e   v a l i d at e   o u r   c a p a b i l i t y   t o   h a n d le   a m b i g u i t y   a n d   e n s u r e   l o w   l a te n c y .   Va l i d a t i o n s   w e r e  d o n e   t h r o u g h   t h e   i d e n t i f i c a ti o n   o f   b r e a k - e v e n   t o k e n   u s a g e   a n d   “ f i n al   f a l l b a c k ”   r e as o n i n g   i n   u n f o r e s e e n   c as e s .       3.   M E T H O DO L O G Y  M AT H E M A T I CAL  M O D E L   AND  AL G O RI T H M S    T h e  m ath e m atica l  m o d el  f o r   t h e  au to n o m o u s   r o b o tic   s y s tem ,   s p ec if ically   f o r   th e   I n telli Dr iv e  R o v er   as  d is cu s s ed   in   th e  s o u r ce s ,   is   in ten d ed   to   p r o v id e  p r ec is e  m o v em en t,   s tab ilit y ,   an d   a p p r o p r iate  o b s tacle   av o id an ce .   T h e  co m p o n en ts   o f   th is   m o d el  in clu d e   [ 1 9 ] :     3 . 1 .     K ine m a t ic  m o delin g   T h e  m o v em en t   o f   th e   r o b o t   is   b ased   o n   lin ea r   v elo city   ( )   a n d   a n g u lar   v el o city   ( ) ,   wh ich   d ep en d   o n   th e  r o tatio n al  s p ee d   o f   th e  wh ee ls   [ 2 0 ] .   a.   L in ea r   v el o city   ( ) :  T h is   is   t h e  s p ee d   at  wh ich   th e   r o b o t   m o v es  eith er   f o r war d   o r   b a ck war d   a n d   is   ca lcu lated   as  = { 1 , 2 , . . . , }   an d   d e f in e  as:   b.   L in ea r   v elo city   ( ) : T h is   r ef er s   to   th e  s p ee d   in   eith e r   d ir ec tio n   o f   th e  r o b o t .       = 2 ( + )             ( 1 )     Par am eter s :    is   th e  wh ee l  r ad iu s ,     is   th e  wh ee l  d is tan ce ,   an d     an d   ed g e  d ef i n e  as  ⊆ × ,   wh ich   ex p lo r e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 5 ,   No .   3 ,  Sep tem b er   20 2 6 :   6 0 7 - 6 2 0   612   c.   An g u lar   v el o city   ( ω ) :  T h is   r ef er s   to   th e  s p ee d   o f   r o tatio n   o f   th e  r o b o t.   = 2 ( + )       ( 2 )     R ep r esen t  th e  an g u lar   v el o city   o f   th e  lef t  a n d   r ig h t  w h ee ls .   Par am eter s :    r ef er s   t o   th e  r ad iu s   o f   th e   wh ee ls ;       r ef er s   to   th e  tr ac k   wid th   ( d is t an ce   b etwe en   th e  wh ee ls ) ,   wh ile    an d     r ef er   to   th e  an g u lar   v elo cities  o f   th e  r ig h t a n d   lef t w h ee ls   r esp e ctiv ely .     3 . 2 .     P a t h  pla nn ing   a nd   t ra j e ct o ry   ca lcula t i o n   Fo r   s af e  n av ig atio n   in   co m p le x   en v ir o n m en ts ,   th e   s y s tem   em p lo y s   th e  f o llo win g :   a.   (A - Star )   Alg o r ith m :*   Fo r   ca lc u latin g   th e  s h o r test   p ath   b etwe en   th e  s tar t p o in t  a n d   th e   g o al  p o in t,  a v o id in g   o b s tacle s   alo n g   th e  way   [ 2 1 ] ,  [ 2 2 ] .   T h e  f o r m u la  u s ed   is :     ( ) = ( ) + ℎ ( )                    ( 3 )     Her e,   ( )   is   th e  co s t  f u n ctio n   to   r ea ch   th e  cu r r en t  n o d e,   an d   ℎ ( )   is   th e  h eu r is tic  f u n ctio n   to   r ea ch   th e  g o al.     b.   Vec to r - b ased   tr ajec to r y   (    ) :  Af t er   d etec tin g   t h e  o b s tacle s   u s in g   alg o r ith m s   lik e  YOL O,   th e  r o b o t  will  co m p u te  th e   s af e  p ath   b y   ap p r o p r iately   m ix in g   th e  g o al - d i r e cted   f o r ce   a n d   th e   r ep u ls io n   f o r ce   [ 2 3 ] :     s a f e   = goa l   + r e puls ion                           ( 4 )     Her e,      is   th e  d ir ec tio n   to war d s   th e  g o al,   an d       is   th e  d ir ec tio n   awa y   f r o m   th e  o b s tacle s ,   wh ich   s h o u ld   alwa y s   b e  p r esen t  to   av o id   co llis io n s .   Pro ce s s ed   s eq u en tially   to   o b tain   th e  tr an s f o r m atio n   f r o m   th e   b ase  to   th e  e n d - ef f ec t o r   f r am e   ( 4 ) .     3 . 3 .     St a bil it y   a nd   s peed  co ntr o l   I n   o r d e r   to   en s u r e  s tab ilit y   an d   th at  th e  r o b o t  f o llo ws  th e  d esire d   p ath   co r r ec tly ,   th e  s y s tem   u s es  a  ty p e  o f   c o n tr o ller   ca lled   PID   [ 2 4 ] .   T h is   ty p e  o f   co n tr o ller   wo r k s   as f o llo ws r ep r esen t in   Fig u r e  4 .   a.   PID   co n tr o ller   f o r m u la       = ⋅ + ∫    +                                            ( 5 )       w h er e    r ep r esen ts   th e  er r o r   v al u e  o f   th e   d esire d   s p ee d / p o s itio n   an d   t h e  ac tu al  s p ee d /p o s itio n   [ 2 5 ] .   b.   Mo to r   ex ec u tio n   ( PW M) :  T h e  s p ee d   an d   d ir ec tio n   o f   th e   m o to r   ar e  co n tr o lled   th r o u g h   a  p u ls e  wid th   m o d u latio n   co n tr o ll er   [ 2 6 ] :        Duty   C yc l e   =      S p eed     Max   S p eed   × 100                                ( 6 )           Fig u r e  4 .   T h e  I n telliDr iv e  a u to n o m o u s   r o b o tic  r o v er   s y s tem ' s   tech n ical  s ch em atic  an d   m ath em atica l  f o u n d atio n       4.   SO F T WAR E   E NVIRO N M E NT   F O R  T H E   I N T E L L I D RIVE   A UT O NO M O US R O B O T   T h e  s o f twar e   en v ir o n m en t   f o r   th e   I n telliDr iv e   au to n o m o u s   r o b o t  is   b ased   o n   a   Py th o n - b ased   f r am ewo r k   im p lem en ted   in   th e  R asp b er r y   Pi o p er atin g   s y s tem .   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         I n teg r a tin g   l a r g e  la n g u a g e   mo d els fo r   co n text - a w a r e  d ec is io n   ma kin g   …   ( V is h n u   K u ma r   Mis h r a )   613   4 . 1 .     P y t ho n:  T he  co re   pro g r a m m ing   l a ng ua g e   Py t h o n   is   t h e  m a in   p r o g r a m m i n g   l a n g u ag e  f o r   d ev el o p in g   t h e   s c r i p ts   f o r   t h e   I n tel liD r i v e   r o b o t .   Py t h o n   h as  t h e  m a in   f u n cti o n   o f   c o n v e r t in g   th e  s t r u ct u r e d   r es p o n s es  f r o m   th e  A I   s y s tem   in to   p h y s ic al   co m m a n d s   f o r   t h e   r o b o t' s   m o t o r s .   Py th o n ' s   m o d u l e - b as e d   ap p r o ac h   als o   m ak es  it   p o s s i b l e  t o   wo r k   o n   d if f e r e n t   co m p o n e n ts   o f   t h e   r o b o t   i n d e p en d e n t ly   b e f o r e  i n t e g r ati n g   th e m   t o   p r o d u ce   t h e   f i n al   w o r k i n g   p r o d u ct .     4 . 2 .     O penCV:   Rea l - t i m e  ima g e  pro ce s s ing   Op en C V  is   th e  f o u n d atio n   o f   th e  I n telliDr iv e  r o b o t' s   v is u al  p r o ce s s in g   ca p ab ilit ies  th e  m ai n   f u n ctio n s   o f   th e  Op e n C V  lib r ar y   in clu d e:   a.   An aly s is   o f   v id eo   f ee d :  it  h as  th e  f u n ctio n   o f   ca p tu r in g   an d   p r o ce s s in g   r ea l - tim e  f ee d s   f r o m   th e  web ca m   in s talled   o n   th e  r o b o t' s   b o d y .   Nav ig atio n   an d   Dete ctio n   o f   Ob s tacle s .   b.   T h r o u g h   th e  an aly s is   o f   in d iv i d u al  f r am es  o f   th e  f ee d ,   th e  lib r ar y   h as  th e  f u n ctio n   o f   allo win g   th e  r o b o t  to   p er f o r m   n av i g atio n .   Alg o r ith m   I n teg r atio n   c.   T h e  l ib r a r y   h as   t h e   f u n ct io n   o f   in te g r ati n g   wit h   t h e  Y OL O v 5   al g o r it h m   f o r   t h e   p u r p o s e  o f   d ete cti n g   o b je cts  in   t h e   e n v ir o n m e n t   a n d   g e n e r a tin g   t h e   i n p u ts   f o r   t h e   r o b o t  to   s af el y   m a n e u v e r   a r o u n d   t h e  o b s tacl es.     4 . 3 .     RP i.G P I O :   H a rdwa re   i nte rf a ce   a nd   co ntr o l   T h e  R Pi.GPI O  in   Fig u r e  5 ,   lib r ar y   is   th e  ess en tial   in ter f ac e  f o r   in ter ac tin g   with   th e  h ar d wa r e  v ia  th e  R asp b er r y   Pi’s GPI O  p in s .   a.   Sig n al  tr an s latio n : it  en ab les  th e  Py th o n   s cr ip t t o   d ir ec tly   c o m m u n icate   with   th e  L 2 9 8 N  m o to r   d r i v er .   b.   Mo v em en t   ex ec u tio n :  it  e n ab l es  th e  ex ec u tio n   o f   d ir ec tio n a l  co m m an d s   s u ch   as  f o r war d ,   b ac k war d ,   lef t,  an d   r ig h t b y   s en d in g   s p ec if ic  s ig n als to   th e  B O  m o to r s .   c.   PW M  co n f ig u r atio n :  it  is   a l s o   u s ed   to   co n f ig u r e  PW M   s ig n als,  wh ich   ar e  es s en tia l  f o r   ex ec u tin g   co m m an d s   f o r   th e  r o b o t’ s   s p ee d .   T h e  h ar d war e  o f   th e   I n telliDr iv e  d if f e r en tial  Dr iv e  M o b ile  R o v er is   is   m ad e   u p   o f   a  m o d u le  with   a   f o u r - w h ee led   c h ass is   an d   two   B O  ( b i - d ir e ctio n al)   m o to r s   m o u n ted   o n t o   th e   ch ass is   s o   it  will  m o v e  r eliab ly .   T h e  m ain   p r o ce s s o r   o f   t h e  r o b o t  is   a  R asp b er r y   Pi  4 ,   wh ich   i s   co n n ec ted   to   th e   L 2 9 8 N  m o t o r   d r iv e r   v ia  GPI O  p in s   to   tu r n   t h e  co m p u tatio n al   lo g ic  f r o m   th e  R asp b er r y   Pi  i n to   p h y s ical  ac tio n s   o f   th e   r o b o t.  T o   ac h iev e   th is   p u r p o s e,   PW M   is   u s ed   f o r   c o n tr o l  o f   b o th   s p ee d   an d   d i r ec tio n ,   an d   th e r e  is   a   web ca m   attac h ed   to   th e   r o b o t  to   co llect  d ata  o f   th e  en v ir o n m e n t  ( as  th e  r o b o t  co llects  in f o r m atio n   ab o u t  its   en v ir o n m en t ) .   T h er e  is   also   a   r ec h ar g ea b le  lith iu m - i o n   b atte r y   p ac k   attac h ed   t o   th e   r o b o t   p o wer   t h e  en tire   s y s tem .   T h e  lin k   av ailab le   h er e   h ttp s : //g ith u b . co m/p yt h o n   - m  g r a p h r a g .   q u ery  -- r o o t . /r a g te s t  -- meth o d   g lo b a l ).   T h e  s o f twar e  o f   th e  I n telliDr iv e  d r iv e  M o b ile  R o v er is   b ase d   o n   a   Py th o n - b ased   en v ir o n m en t  u s in g   th e  R asp b er r y   Pi o p er atin g   s y s tem .   I t c o n tain s   th e  ar tific ial  i n tellig en ce   ( AI )   lo g ic  an d   t h e  h ar d war e  ex ec u tio n   AI   m o d els  in   o r d er   to   p r o v id e  a  f o r m   o f   s y n c h r o n izatio n   b etwe en   th e  two   en v ir o n m en t s   b y   u s in g   alr ea d y - cr ea ted   au th en ticatio n   to k en s   an d   th e  ass o ciate d   en d p o in ts .   T h e  u s e  o f   th e  s o f twar e  co n f i g u r atio n   e n ab les  th e  r o b o t  to   in ter p r et  an d   g e n er at e  co m p lex   f o r m s   o f   n atu r al  la n g u ag e  in f o r m atio n   to   f u lf il  t h e  r eq u ir em e n ts   o f   th e  u s er ' s   in ten tio n s   an d   th e  m ac h in e' s   ab ilit y   to   ex ec u te  th o s e  in ten tio n s .   Scalab ilit y   is   f ac ilit ated   b y   m ea n s   o f   “ ex p ed ien t  i n v o ca ti o n , ”   w h ich   e m p lo y s   L L Ms  i n   th e   clo u d   o n ly   in   ex ce p tio n al  ca s es,  m ain tain in g   ef f icien c y   at  a  ce r tain   b r ea k - e v en   p o i n t  o f   1 1 . 1 %  er r o r   r ate,   th u s   m in im izin g   en er g y   an d   to k e n   ex p en d itu r es.  L ar g e - s ca le  ap p licab ilit y   is   p r o v id ed   b y   a  ca s ca d in g   ar ch itectu r e   th at  is   m o d u lar   an d   m u lti - lay er ed ,   en ab lin g   th e  u s e  o f   d o m ain - s p ec if ic  m o d els  an d   f u z zy   lo g ic  in   h an d lin g   m illi o n s   o f   s im u ltan e o u s   tr an s ac tio n s .   Fin ally ,   in d u s tr ial  v i ab ilit y   is   also   g u a r an teed   b y   o f f lin e  alter n ativ es  s u ch   as c o m m an d   ca ch in g ,   ad d r ess in g   d ep lo y m en t iss u es in v o lv in g   n etwo r k   laten cy   an d   c lo u d - b ased   API s .           Fig u r e  5 .   T h e  h ar d war e  im p le m en tatio n   I n telliDr iv e  a u to n o m o u s   m o b ile  r o b o tic     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 5 ,   No .   3 ,  Sep tem b er   20 2 6 :   6 0 7 - 6 2 0   614   4 . 4 .     L L M   AP I   client :   AI  co m m un ica t io n bridg e   T h e  L L M  API   C lien t  is   a  b r id g e  b etwe en   th e   r o b o t  h a r d war e  an d   th e   lar g e  la n g u a g e  m o d e l ,   wh ich   is   b ased   in   th e  clo u d .   a.   C o m m an d   in ter p r etatio n :  T h e  L L M  API   clien t  is   r esp o n s ib le  f o r   s en d in g   n atu r al  l an g u ag e - b ased   co m m an d s   f r o m   th e   u s er   to   th e  AI .   b.   Secu r e  co m m u n icatio n :  T h e  clien t  is   al s o   r esp o n s ib le  f o r   s ec u r e  co m m u n icatio n ,   au th e n ticatin g   to k en s ,   an d   estab lis h in g   a  s tab le  en d p o in t f o r   d ata  ex c h an g e  b etwe en   th e  R asp b er r y   Pi an d   L L M.   c.   C o n tex t - awa r e  r ea s o n in g :   T h e  clien t  h elp s   th e   r o b o t   t o   ex ten d   its   ca p ab ilit ies  b e y o n d   tr ad itio n al   p r o g r a m m in g   b y   allo win g   it  to   in ter p r et  u n s tr u ctu r e d   co m m an d s   an d   m ak e  d ec is io n s   b ased   o n   th e   in f o r m atio n   it is   ab le  to   g ath e r   f r o m   its   s u r r o u n d i n g s .     4 . 5 .     L a t ency   a na ly s is   A  n ew  s ec tio n ,   laten c y   an al y s is ,   was  in clu d ed   to   d is cu s s   th e  ex ac t  laten cies  in cu r r ed   b et wee n   ed g e   co m p u tin g   an d   clo u d - b ased   r e aso n in g .  W e  p er f o r m e d   lo w  la ten cy   p r o ce s s in g   th r o u g h   R eg ex /TF - I DF  ag ain s t  h ig h   laten cy   d elay s   th r o u g h   Op en API - b ased   Gr ap h R AG  lo o k u p   f o r   ass ess in g   r ea l - tim e  co n tr o l  e f f ec ts   Ou r   r esu lts   s h o w  th at  th e  “ ex p ed ien t  in v o ca tio n ”   ap p r o ac h   h an d les  s u ch   laten cies  ef f ec tiv el y   b ec au s e  it  lim its   h ig h   laten c y   ca lls   to   5 %  o f   tes t  tr ials   in v o lv in g   e x ce p tio n   h a n d lin g .  T h is   s o f twar e   f r am ew o r k   e n s u r es  th at   th e   r o b o t  is   ab le  to   “ s ee ”   its   s u r r o u n d in g s ,   “ u n d er s tan d ”   t h e  co m m an d s   f r o m   th e   u s er ,   an d   ex ec u te  “ p r ec is e  m o v em en ts ” .   T h e  in teg r ated   s o lu tio n s   s h o wn   in   Fig u r e   6 .   R ea l - tim e  n a v ig atio n   f o r   b o th   s af ety   an d   n av ig atio n   r elies  o n   th e  in teg r atio n   o f   Op en C V  im ag e  p r o ce s s in g   an d   th e  YOL Ov 5   in s tan tan eo u s   o b ject  d etec tio n   alg o r ith m ;  a d d itio n ally ,   cu s t o m - wr itten   Py th o n   s cr ip ts   p er f o r m   f r am e   an aly s is   f r o m   th e  web   ca m er a  to   id en tify   p o ten tial  en v ir o n m e n tal  h az ar d s .   On ce   th ese  s cr ip t  p r o ce s s es  h av e  o cc u r r ed ,   th e  o u tp u t  d ata  is   p r o v id e d   to   th e  L L M ,   wh ic h   tr an s lates  th e  o cc u r r en ce s   in to   p a r ticu lar   m o to r   f u n cti o n s   an d   m o v em en t   co m m an d s   ( e. g . ,   m o v e  ah ea d ,   in   r ev er s e  o r   tu r n ) .   T h is   o v er all  in teg r ated   s o lu tio n   allo ws  th e  r o b o t  to   ac cu r ately   s en s e  its   en v ir o n m en t,  in ter p r et  th e  co m m an d   o f   th e  u s er   an d   ac c u r atel y   p er f o r m   p h y s ical  m o v em en ts   to   a v o id   o b s tacle s   an d   o th e r   h az ar d s   in   ch an g in g   en v ir o n m en ts .           Fig u r e   6.   Fu n ctio n al  s y s tem   in teg r atio n   r o b o tic  s y s tem ' s       5.   RE SU L T S AN D  D I SCU SS I O N   Fig u r e  7   c o m p ar es  th e   p er f o r m an ce   o f   th e  I n telliDr iv e  d r iv e  Mo b ile  R o v er   with   e x is tin g   o n es,  s u ch   as  th e  C h atGPT   au to n o m o u s   r o b o t ,   th e  r ein f o r ce m e n t  lear n in g - b ased   au to n o m o u s   r o b o t,  an d   th e  d ee p   lear n in g - b ased   au to n o m o u s   d r iv in g   r o b o t.  Per f o r m a n ce :   a.   B aselin e  1 : E x p er im en tal  en v i r o n m en t     T h e  test in g   o f   th is   ex p er im en t  was  p er f o r m ed   in   two   to tally   s ep ar ate  in d u s tr y   en v i r o n m en ts ,   B an k in g   ( KYC  v alid atio n ) ,   a n d   I n s u r an ce   ( C laim s   r ejec tio n   an aly s is ) ,   wh ile   u tili zin g   a   g r ap h   s tr u ctu r e  with   m an y   f ea tu r es th r o u g h   w h ich   to   au t o m ate  th e  p r o ce s s .   b.   B aselin e  2 : D ee p   lear n in g - b as ed   r o b o t    A  s y s tem   th at  u s es   an   ag en tic  f r am ewo r k   ( e. g . ,   Au to g e n   f r o m   Mic r o s o f t  o r   Gr an ite  f r o m   I B M)   u s in g   lar g e  tr an s f o r m er   ar c h itectu r e  to   m ak e  au t o m atic  d ec is io n s   with o u t a   f ail - s af e  p r o ce s s .   c.   B aselin e  3 : Stan d ar d   L L M  ag e n t  ( f o r m er ly   C h atGPT   au to n o m o u s   r o b o t )    A  s y s tem   th at  m ak es  r ep ea te d   ca lls   to   th e  GPT - 4 o   API   u s in g   Mic r o s o f t' s   Op en API   th r o u g h   e v er y   p r o ce s s   o f   th e  wo r k f lo w  a n d   t h u s   av o id s   d eter m in is tic  f ilter in g   o f   r esu lts .   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         I n teg r a tin g   l a r g e  la n g u a g e   mo d els fo r   co n text - a w a r e  d ec is io n   ma kin g   …   ( V is h n u   K u ma r   Mis h r a )   615   d.   B aselin e  4 : Per f o r m an ce   an d   e f f icien cy   in   q u an titativ e  f o r m   E x p er im en tal   v alid atio n   o f   th e  p r o p o s ed   f r am ew o r k   in d icat es  th at  th e   f r am ewo r k   ca n   b e   s u cc ess f u l   in   r eso lv in g   n a v ig atio n   ex ce p tio n s   8 9 %  o f   th e  tim e   with   a  lo ca lized   er r o r   o f   5 %.  T h e  r esu lts   o f   t h e   “ ex p ed ien t  i n v o ca tio n ”   m o d el   an aly s is   in d icate   th at  th e r e  i s   a  b r ea k - ev en   p o in t   at  wh ic h   th e  a u to m ata  ca s ca d in g   s y s tem   r ed u ce s   t o k en   u s ag e  an d   en e r g y   co n s u m p tio n   co m p ar ed   to   co n tin u o u s   L L M   s u p er v is io n .   T h at  b r ea k - ev en   p o in t  is   a n   e r r o r   r ate   o f   1 1 . 1 %.  C o m p ar is o n   d ata  i n d icate   th at  th e   R eg ex - b ased   au to m ata   an d   T F - I DF  v ec to r izatio n   a r e  ab le   to   p r o v id e  r esp o n s es  s h o r tly   af ter   t h e  o cc u r r en ce   o f   k n o wn   er r o r s .   Ho wev e r ,   th e  Gr ap h R AG   d r iv en   L L M  will   g iv e  th e  co g n itiv e  d e p th   n e ed ed   to   r eso lv e   am b ig u ity   in   s itu atio n s   th at  p r ev en t tr ad itio n al  d ee p   lear n in g   b aselin es f r o m   p r o g r ess in g .   e.   B aselin e  5 :   Patter n s   o f   ad ap tab ilit y   T h e  p atter n   o b s er v e d   f r o m   al l  tr ials   is   th e  ad ap tab ilit y   o f   ze r o - s h o t  lear n in g   ( Z SL)   is   s u p er io r   to   r ein f o r ce m e n t  lear n in g   m o d el s   b ec au s e  Z SL  e n ab les  a  r o b o t  to   g en er alis e  to   n ew  a u to m atio n   s ce n ar io s   with o u t  n ee d in g   to   r etr ain   f o r   s p ec if ic  task s .   T h e  way   in   wh ich   t h e  L L M   in ter p r ets  h u m an   i n ten t  as  “ h u m an - lik e   g en e r al  in tellig e n ce ”   allo ws  th e  r o b o t  to   m ai n tain   h ig h   lev els  o f   p er f o r m a n ce ,   ev en   wh en   o p er atin g   in   u n s tr u ctu r ed   o r   d y n am ic  en v ir o n m en ts   wh er e  d eter m in is tic  s en s o r - b ased   r ea s o n in g   ty p ically   d o es n o t p e r f o r m   well.   f.   B aselin e  6 : Ro b u s tn ess ,   laten c y ,   an d   lim itatio n s   E v en   th o u g h   th e  p r o p o s ed   m o d el  im p r o v es  d ec is io n - m ak in g   ca p ab ilit ies,  it  is   s till   p r o n e   to   laten cy   is s u es  ass o ciate d   with   th e  u s e  o f   th e  c o m m u n icatio n   c h an n el  b etwe en   th e  L L M   API   o p er atin g   o n   th e   clo u d   a n d   t h e  ed g e  p latf o r m .  Mo r e o v er ,   r ely in g   o n   cl o u d   API s   r aises   co n ce r n s   r e lated   to   d eg r ad e   co m m u n icatio n   s itu atio n s ,   r eq u ir in g   f u r th er   r esear ch   o n   o f f lin e  m ec h an is m s   in   th e  ca s e  o f   f ailu r e.   g.   B aselin e7 : N o v elty   o f   th e  h y b r id   ar ch itectu r e   T h e  r esu lts   clea r ly   h ig h lig h t  th e  n o v elty   o f   th e   h y b r id   ar c h itectu r e  in   wh ich   c o n v e n tio n al  co n tr o l  alg o r ith m s   ar e  co m p lem en ted   with   Gr ap h R AG  r etr iev er   th at  d eter m in es r elev an t  n o d es b as ed   o n   a  s co r in g   f u n ctio n   (     , ) .   I n   p a r ticu lar ,   it  allo ws  tr an s latin g   h ig h - lev el  r ea s o n in g   in to   J SON - lik e  co m m an d   s eq u en ce s ,   co n tr i b u tin g   t o   th e   d ev elo p m en t  o f   co n tex t - awa r e  r o b o tics   th r o u g h   co m b in in g   h ar d   c o m p u tin g   an d   co g n itiv e  s u p er v is io n .   ( No te:  Deta iled   d escr ip tio n s   o f   YOL O,   A  p ath   p lan n in g ,   a n d   PID   co n tr o l  alg o r ith m s   ar e  p r o v i d ed   in   y o u r   q u e r y   an d   n o t in   th e  a v ailab le  liter atu r e  r eso u r ce s ) .   h.   Ba s elin e  8 :  B r o ad er   im p licatio n s   an d   f u t u r e  wo r k   T h e  r ea l - life   ap p licatio n   o f   t h e  s u g g ested   ap p r o ac h   h as  g r ea t  p o ten tial  f o r   in d u s tr ial  au to m atio n ,   h ea lth ca r e,   an d   s u p p l y   ch ain   l o g is tics ,   wh ich   r eq u ir e  r eliab le  er r o r   h an d lin g   ca p a b ilit ies .           Fig u r e  7 .   C o m p a r ativ e  an aly s i s   o f   au to n o m o u s   s y s tem s       ˗   R u le - b ased   ap p r o ac h   ( L aten c y   is   m in im al ) :  B o th   r u le - b ased   r eg e x   au t o m ato n   an d   T F - I DF  v ec to r s   ar e   cr ea ted   o n - s ite  with in   th e   ed g e.   Acc o r d i n g   t o   th e   liter atu r e,   th e  laten c y   o f   th ese  r u le - b ase d   ap p r o ac h es  is   n eg lig ib le  co m p ar ed   t o   th e  d e ep   lear n in g   ap p r o ac h .   ˗   C o m m u n icatio n   d elay s :  I n   d i s tan t  in ter ac tio n s ,   co m m u n ica tio n   in   b o th   d ir ec tio n s   ca u s es   d elay s ,   wh ich   m ay   co m p licate  u n d e r s tan d in g   th e  s tatu s   q u o   f o r   th e  s y s tem .   ˗   I n f er en ce   f r o m   th e  clo u d   ( L aten cy   is   h ig h ) :  W h en   th er e  is   an   an o m aly ,   t h e  Gr ap h R AG  r etr iev al  en g in e  an d   GPT - 4 o   in f er e n ce   u s in g   th e  Op en API   in c u r   co n s id er ab le  co m p u tatio n   tim e  an d   n et wo r k in g   d elay s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   1 5 ,   No .   3 ,  Sep tem b er   20 2 6 :   6 0 7 - 6 2 0   616   T h e  I n telliDr iv e  s y s tem   p er f o r m ed   with   an   ac cu r ac y   o f   8 9 %  in   th e  in ter p r etatio n   o f   th e  co m m an d s   an d   an   ef f icien cy   o f   8 8 % in   n av ig atio n .     ˗   Saf ety   an d   r esp o n s iv en ess :  T h e  I n telliDr iv e  s y s tem   also   p er f o r m e d   with   th e  lo west  er r o r   r ate  in   o b s tacle   d etec tio n ,   i.e . ,   5 %.  T h e  s y s te m   also   p er f o r m e d   with   s lig h tl y   h ig h er   laten c y   co m p ar e d   to   th e  C h atGPT   an d   r ein f o r ce m e n t  lear n in g - b ased   au to n o m o u s   r o b o ts   b u t   p er f o r m ed   with   h ig h er   a cc u r ac y   th an   t h e  d ee p   lear n in g - b ased   au to n o m o u s   d r iv in g   r o b o t   in   ter m s   o f   laten cy   as  well  as  ac cu r ac y .   T h e   m ain   aim   o f   th is   an aly s is   is   to   d eter m in e  th e  p o wer   co n s u m p tio n   o f   th e  d if f er en t c o m p o n en ts   to   ascer tain   th e  b atter y   life .   ˗   Hig h est  co n s u m p tio n :   Fro m   t h e  an aly s is ,   th e  R asp b er r y   Pi  4   co n s u m es  th e   m o s t  p o wer   a t  6   W ,   g iv en   its   r o le  as th e  C PU.   ˗   Op er atio n al  p o wer :  C o m p o n e n ts   s u ch   as  th e  B O  m o to r s   an d   th e  L 2 9 8 N  m o to r   d r iv er   c o n s u m e  p o wer   at  1 . 5   W   o n ly   w h en   th e  r o b o t is in   m o tio n .   ˗   I n ter m itten t  u s ag e :   T h e   L L M   API   r eq u est  co n s u m es  th e   least  p o wer   at   1   W   an d   is   u s e d   in ter m itten tly   wh en   th e  r o b o t  is   r eq u ir ed   to   p er f o r m   n at u r al  lan g u a g e  p r o ce s s in g .   Af ter   co n d u ctin g   th is   an aly s is ,   th e  r esear ch er s   in tr o d u ce d   p o wer - s av in g   tech n i q u es  to   en h an c e  ef f icien cy .   T h ese  tech n iq u e s   in clu d e  s ettin g   th e  lo w - p o wer   m o d e  to   r ed u ce   th e  C PU  clo ck   f r eq u e n cy   d u r i n g   lo w  d em an d   an d   u s in g   tech n iq u es  s u ch   as  d u ty - cy clin g   th e  web ca m   wh e n   th e  o b s tacle   is   s u s p ec ted   to   b e  p r esen t a n d   it’s sh o wn   as  Fig u r e  8.   T h e  r esu lts   h av e  in d u s tr ial  r elev an ce   d u e  to   th e  em p l o y m e n t  o f   th e  L L Ms  as  th e  r ea s o n in g   en g in e   b eh in d   t h e  s y s tem ,   p r o v id i n g   clea r   u n ce r tain t y   in f o r m atio n   f o r   th e   h u m a n - r o b o t  r elatio n s h ip .   T h e   ef f icien c y   o f   th e  o p er atio n   is   im p r o v ed   d u e  to   th e  s ca lab ilit y   o f   th e  ar ch itectu r e  th at  in teg r ates  d eter m in is tic  au to m atio n   with   co g n itiv e  AI   ca p ab le   o f   d ea lin g   with   u n ce r tain   d ata.   T h e  im p licatio n s   o f   th e  r esear ch   r esu lts   in clu d e   th eir   in ter p r etatio n   with   r esp e ct  to   in d u s tr ial  ap p licatio n s   in   s u p p ly   ch ain   lo g is tics ,   h ea lth ca r e,   an d   h az a r d o u s   o p er atio n s .           Fig u r e  8 .   Har d war e  an d   s o f tw ar e  d ev ices ( in clu d in g   L 2 9 8 N,   B O  m o to r s ,   L L M  API ,     R asp b er r y   Pi 4   an d   web ca m )       6.   CO NCLU SI O N   T h e  co n clu s io n   o f   th e  r esear c h   o n   t h e  I n telliDr iv e  a u to n o m o u s   r o b o t  is   a  m ajo r   p ar ad ig m   s h if t  in   th e  co n tr o l  o f   au t o n o m o u s   r o b o ts   b y   s u cc ess f u lly   in teg r atin g   lar g e  lan g u ag e  m o d els  ( L L Ms)   an d   p h y s ical   d ev ices  s u ch   as  th e  R asp b er r y   Pi  4 .   T h e  s ig n if ican ce   o f   th is   r esear ch   is   th at  it  d ir ec tly   s o lv es  th e  p r o b lem   o f   in f lex ib ilit y   an d   lo w  f lex ib ili ty   o f   tr ad itio n al  r u le - b ased   s y s tem s   in   h an d lin g   c o m p lex   an d   ch a n g in g   r ea l - wo r ld   s ce n ar io s   d u e  to   th eir   r elian ce   o n   p r e - d ef i n ed   al g o r ith m s .   T h e   r esear ch   u tili ze s   an   L L M  API   to   in ter p r et  n atu r al  lan g u ag e  co m m an d s   an d   tr an s itio n   in to   an   in tellig en t  an d   co n tex t - awa r e  m ac h in e  th at  is   ab le  to   m ak e  au t o n o m o u s   d ec is io n s   b ased   o n   co m p lex   s en s o r y   i n p u ts   f r o m   a  web ca m .   T h e  r e s ea r ch   also   s h o wed   th at  th e  co m m an d   i n ter p r etati o n   ac cu r ac y   is   8 9 %,  th e  n av ig atio n   ef f icien cy   is   8 8 %,  an d   th e  o b s tacle   d etec tio n   er r o r   r ate  is   o n ly   5 %,  wh ic h   i s   s ig n if ican tly   b etter   th an   tr ad itio n al  d ee p   lear n in g   a n d   r ein f o r ce m en t   lear n in g   ap p r o ac h es.  T h e   s tu d y ' s   f in d i n g s   s u g g est  s ev er al   ar ea s   f o r   f u r th er   d ev el o p m e n t,  in clu d in g   o f f lin e  f allb ac k s   ( f o r   ex am p le,   co m m an d   ca ch i n g )   to   m in im ize  n etwo r k   laten cy   an d   co n f i d en ce   s co r es  to   h elp   b u ild   u s er   tr u s t  th r o u g h   g r ea ter   t r an s p ar en c y   o f   th e   AI   s y s tem .   O v er all,   th e   s tu d y   d em o n s tr ates  th at  th e  m o d u lar   f r am ew o r k   co n n ec ts   th e  two   co m p o n e n ts   o f   th e  ar tific ial  in tellig en ce   s y s tem   ( in tellig en t  v s   m ec h an ical)   an d   ad d r ess es  th e  n ee d s   o f   h ig h - r is k   in d u s tr ies  s u ch   as   h ea lth ca r e,   lo g is ti cs,  an d   h az ar d o u s   en v ir o n m e n ts .   I t  also   o u tlin es  Evaluation Warning : The document was created with Spire.PDF for Python.