I AE S In t er na t io na l J o urna l o f   Ro bo t ics a nd   Aut o m a t io ( I J RA)   Vo l.  1 5 ,   No .   3 Sep tem b er   20 2 6 ,   p p .   5 6 1 ~ 5 7 6   I SS N:  2722 - 2 5 8 6 DOI 1 0 . 1 1 5 9 1 /i jr a . v 1 5 i 3 . pp 5 6 1 - 576           561       J o ur na l ho m ep a g e h ttp : //ij r a . ia esco r e. co m   RO V AA:  Offlin a tt enda nce  auto m a tion usin g  a v o ice O CR - ba sed 3 - DO ro b o tic  a rm wi th  Ra s pberry  P i       Ra j a nik a nth  K a s hi Na g a r a j Arc ha na   H a riha ra   Ra ng a n a t ha   Su re nd ra   H a nu m a ntha ia h H o nn a m a cha na ha lli Venu Ma nig ha t t a   G o pa la k rish na p pa   D e p a r t me n t   o f   El e c t r o n i c a n d   C o mm u n i c a t i o n   En g i n e e r i n g ,   B M S   C o l l e g e   o f   E n g i n e e r i n g ,   B a n g a l o r e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   3 1 2 0 2 5   R ev is ed   J u n   2 3 2 0 2 6   Acc ep ted   J u l 2 0 2 0 2 6       Co n v e n ti o n a c las sro o m   a tt e n d a n c e   sy ste m su ffe fro m   li m i tatio n i n   a c c u ra c y ,   h y g ien e ,   d a ta  p riv a c y ,   a n d   re li a b il it y   i n   lo w - c o n n e c ti v i ty   e n v iro n m e n ts,   wh e th e r   th e y   a re   m a n u a l,   c lo u d - d e p e n d e n t,   o si n g le - m o d a li t y   sy ste m s.  To   a d d re ss   t h e se   g a p s,   th is   p a p e r   p re se n ts  ROV AA ,   a   lo w - c o st,   fu ll y   o ffli n e ,   AI - d ri v e n   ro b o ti c   a tt e n d a n c e   sy ste m   in   th e   c las sro o m   e n v iro n m e n th a u n iq u e ly   in t e g ra tes   th re e   c o m p lem e n tary   m o d a li ti e s:   o ffli n e   v o ice   re c o g n it io n ,   o p ti c a c h a ra c ter  r e c o g n it i o n   (OC R),   a n d   a     3 -   d e g re e o f   fre e d o m   (DO F r o b o ti c   a rm   c o n tr o ll e d   v ia  i n v e rse   k i n e m a ti c s,  a n   in teg ra t io n   n o d e m o n stra ted   in   p rio r   wo rk .   T h e   sy ste m   o p e ra tes   o n   a   Ra sp b e rry   P 4   m o d e a n d   e m p lo y t h e   Vo sk   sp e e c h   re c o g n it i o n   m o d e l   a n d   Tes se ra c OCR  fo r   a c c u ra te  o ffli n e   p r o c e ss in g .   A u d i o   a n d   v is u a in p u ts   a re   m a t c h e d   in   re a ti m e   to   e n a b le  th e   a rm   to   m a rk   a tt e n d a n c e   a p re - c a li b ra ted   p o siti o n s   o n   a   t o u c h sc re e n .   E x p e rime n tal   v a li d a ti o n   u n d e v a rie d   li g h t in g   a n d   a c o u stic  c o n d it i o n s   y ield e d   9 6 . 2 %   s p e e c h   re c o g n it i o n   a c c u ra c y ,   9 5 . 8 %   OCR  a c c u ra c y ,   a n d   9 7 . 6 %   r o b o ti c   a rm   p re c isio n ,   p r o d u c in g   a n   o v e ra ll   sy ste m   su c c e ss   ra te  o 9 2 . 8 % ,   d e m o n stra ti n g   th a h ig h   re li a b il it y   is   a c h iev a b le  with o u c lo u d   in fra st ru c tu re .   T h e   sy ste m   is   d e sig n e d   fo c o st - e ffe c ti v e n e ss ,   d a ta  p riv a c y ,   a n d   s c a lab il it y ,   m a k in g   it   su i tab le  fo re so u rc e - c o n stra in e d   e n v ir o n m e n ts  su c h   a s   ru ra sc h o o ls  a n d   in stit u ti o n wit h   li m it e d   n e two rk   a c c e ss .   It  a d d it io n a ll y   se rv e a a n   e d u c a ti o n a p latfo rm   f o h u m a n ro b o c o ll a b o ra ti o n .   K ey w o r d s :   3 - DOF   m an ip u lato r   C l a s s r o o m   a t t e n d a n c e   a u t o m a t i o n   Hu m an   r o b o t c o llab o r atio n   Op tical  ch ar ac ter   r ec o g n itio n   R o b o t in v er s k in e m atics   Vo ice  r ec o g n itio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R ajan ik an th   Kash i N ag ar aj   Dep ar tm en t o f   E lectr o n ics an d   C o m m u n icatio n   E n g in ee r i n g ,   B MS  C o lleg o f   E n g in ee r in g   B an g alo r e,   Kar n atak a ,   I n d ia   E m ail: r ajan ik an th n k ash i.e ce @ b m s ce . ac . in       1.   I NT RO D UCT I O N   R o b o tics   an d   a u to m atio n   a r tr an s f o r m in g   th lan d s ca p o f   m o d er n   ed u ca tio n .   I n   co lleg e   en v ir o n m en ts ,   r o b o ts   ar in cr ea s in g ly   u s ed   n o o n ly   f o r   r esear ch   an d   ac ad em ic  in s tr u ctio n   b u also   in   ad m in is tr ativ an d   s u p p o r r o les.  L ab o r ato r ies  an d   en g i n ee r in g   d ep a r tm en ts   r eg u lar ly   e m p lo y   r o b o tic  ar m s ,   m o b ile  r o b o ts ,   an d   a u to n o m o u s   p latf o r m s   to   teac h   c o n ce p t s   in   em b ed d e d   s y s tem s ,   m ec h atr o n ics,  ar tific ial   in tellig en ce   ( AI ) ,   an d   co n tr o s y s tem s   [ 1 ] ,   [ 2 ] .   T h ese  s y s tem s   p r o v id s tu d en ts   with   h an d s - o n   lear n in g   ex p er ien ce s   a n d   p r o m o te  i n te r d is cip lin ar y   c o llab o r atio n .   R o b o ts   ar e   also   u tili ze d   in   p r o j ec t - b ased   lear n i n g ,   r o b o tics   co m p etitio n s ,   an d   i n n o v atio n   in cu b at o r s ,   en co u r a g in g   s tu d en ts   to   ex p lo r r ea l - wo r ld   ap p licatio n s   s u ch   as in d u s tr ial  au to m atio n ,   ass is tiv tech n o lo g y ,   an d   s m ar t sy s tem s   [ 3 ] ,   [ 4 ] .   Glo b a ll y ,   t h e   e d u c ati o n al   r o b o ti cs  m a r k et   h as   e x p e r ie n ce d   s i g n if ica n t   g r o w th ,   wit h   c o l lab o r a ti v e   r o b o ti cs  ( c o b o ts )   e m e r g i n g   a s   l ea d i n g   t r e n d .   C o b o ts   ar d esi g n e d   t o   o p e r a te  s af el y   al o n g s i d h u m a n s ,   o f f er i n g   f l e x i b ili ty ,   a d a p ta b i lit y ,   a n d   co s t - ef f ec ti v en ess   co m p a r e d   t o   t r a d i ti o n al   i n d u s t r i al   r o b o ts   [ 5 ] ,   [ 6 ] .   I n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   1 5 ,   No .   3 Sep tem b er   20 2 6 :   5 6 1 - 5 7 6   562   ac a d e m i c   s ett in g s ,   c o b o ts   an d   ed u c ati o n al   r o b o ts   h a v b ee n   i n c r e asi n g ly   in te g r ate d   i n t o   c la s s r o o m s   t o   en h an ce   en g a g em en t,   p r o v i d e   i n te r a cti v e   le a r n in g   e x p e r ie n c es,   a n d   s u p p o r ST E e d u ca t io n   [ 7 ] .   Stu d i es  s u g g est   t h at   ap p r o x i m a tel y   2 5 % 3 0 o f   e d u ca to r s   w o r l d wi d a r c u r r e n tly   u s i n g   ed u ca ti o n a r o b o ts   o r   co b o ts   in   te ac h i n g ,   an d   a d o p t io n   r at es  co n t in u e   t o   r is e   as   r o b o ti cs  b ec o m es  an   ess en t ial   p a r t   o f   m o d e r n   cu r r ic u l a .     C o llab o r ativ r o b o tics ,   o r   h u m an r o b o c o llab o r atio n   ( HR C ) ,   r ep r esen ts   p ar ad ig m   wh er h u m an s   an d   r o b o ts   s h ar wo r k s p ac es   an d   co o p er ate  to war d   co m m o n   o b jectiv es  [ 8 ] .   Un lik tr a d itio n al  r o b o ts   th at   r eq u ir is o latio n   f o r   s af ety ,   co b o ts   in co r p o r ate  s en s o r s ,   AI - d r iv e n   d ec is io n - m a k in g ,   an d   co m p lian m ec h an is m s   to   en ab le  s af e,   r ea l - tim in ter ac tio n   with   h u m an s   [ 9 ] [ 1 1 ] .   I n   ed u ca ti o n al  s ettin g s ,   th is   co llab o r atio n   e x ten d s   b e y o n d   in s tr u ctio n al  u s to   ad m i n is tr ativ task s ,   im p r o v in g   ef f icien c y   an d   r eliab ilit y .   Desp ite  th is   p r o g r ess ,   atten d an ce   tr ac k in g   in   ac ad em ic  en v ir o n m en ts   r em ain s   lar g ely   m an u al  o r   clo u d - d e p en d e n p r o ce s s .   Ma n u al  en tr y   is   er r o r - p r o n a n d   u n h y g ien ic,   wh ile  clo u d - b ased   o r   b io m etr ic   s y s tem s   r eq u ir s tab le  in ter n et  co n n ec tiv ity   a n d   r aise  co n ce r n s   o v e r   d ata  p r iv ac y   -   ch allen g es  th at  ar e   p ar ticu lar ly   ac u te  i n   r eso u r ce - co n s tr ain ed   o r   lo w - co n n ec tiv it y   ed u ca tio n al  s ettin g s   [ 1 1 ] ,   [ 1 2 ] .   Sin g le - m o d ality   au to m ated   a p p r o ac h es,  s u ch   as  f ac r ec o g n itio n   o r   r ad io   f r eq u e n cy   id e n tific atio n   ( R FID ) - b ased   s y s tem s ,   ad d r ess   s o m o f   th ese   co n ce r n s   b u r em ain   v u ln e r ab le  t o   e n v ir o n m en tal  v a r iab ilit y   an d   f ail  to   p r o v id e   f u lly   o f f lin e,   p r i v ac y - p r eser v in g   s o lu tio n   [ 1 3 ] .   T h ese  lim itatio n s   m o tiv ate  th n ee d   f o r   r o b u s t,  m u ltimo d al,   an d   in f r astru ctu r e - i n d ep e n d en t a tt en d an ce   a u to m atio n   f r am ewo r k .     R ec en r esear ch   in   r o b o tics   an d   ar tific ial  in tellig en ce   h as  m a d co n s id er ab le  p r o g r ess   in   th d o m ain s   o f   h u m a n r o b o in ter ac tio n ,   v is u al  r ec o g n itio n ,   an d   em b e d d ed   co n t r o l.  Stu d ies  h av p r esen ted   lo w - co s t   r o b o tic  ar m   ass is tan ts   b a s ed   o n   p latf o r m s   s u ch   as  Nir y o   On f o r   aid in g   m o b ilit y - im p air e d   u s er s ,   in teg r atin g   v o ice  in ter ac tio n   an d   m ac h in e   v is io n   f o r   r ea l - tim o b ject  d et ec tio n   with   o v er   9 6 ac cu r ac y   [ 1 ] .   Of f lin v o ice  r ec o g n itio n   f r am ewo r k s   u s in g   th Vo s k   en g in [ 2 ]   h av e   b ee n   d e v elo p ed   t o   en ab le  r o b u s t,  lo w - laten cy   tr an s cr ip tio n   with o u cl o u d   d ep en d en c y .   A d v an ce d   in v er s k in em atics  ( I K)   s o l u tio n s   h av b ee n   p r o p o s ed   u s in g   d ee p   lear n in g   m eth o d s   s u ch   as  I KFlo [ 1 4 ] ,   w h ile  alg o r ith m ic  m o d elin g   b ased   o n   th e   Mo d if ied   Den av it Har ten b er g   ( MD H)   c o n v en tio n   im p r o v es  p r ec is io n   in   k in em atic  p ar am eter izatio n   [ 4 ] .   Vis io n - b ased   co n tr o l   an d   o p tical  ch ar ac ter   r ec o g n itio n   ( OC R ) - d r iv en   p er ce p tio n   p ip elin es  h av e   also   b ee n   ex p lo r ed   f o r   m o b ile  r o b o ts   an d   m an ip u lato r s   to   ac h iev ac cu r ate  lo ca lizatio n ,   r ec o g n itio n ,   an d   n av ig atio n   [ 1 3 ] ,   [ 1 5 ] .   T h is   r esear ch   c o n tr ib u tes  to   t h f ield   b y   p r esen tin g   a   n o v el  co m b in atio n   o f   em b ed d e d   AI ,   co m p u ter   v is io n ,   an d   r o b o tic  co n t r o f o r   h u m an r o b o c o llab o r atio n   in   ed u ca tio n al  a d m in is tr atio n .   T h s cien tific   q u esti o n   ad d r ess ed   is wh eth er   lo w - c o s t,  o f f lin e ,   an d   m u ltimo d al  h u m an r o b o in t er ac tio n   s y s tem   ca n   au to m ate  m a n u al  atten d an ce   m ar k in g   task s   with   h ig h   r eli ab ilit y   wh ile  o p er atin g   o n   r e s o u r ce - co n s tr ain e d   em b ed d e d   h a r d war e   lik th e   R asp b er r y   Pi.  T h p r in cip al  c o n tr ib u tio n s   o f   th is   wo r k   ar e   as  f o llo ws:   i)   Desig n   an d   im p lem e n tatio n   o f   a   lo w - co s 3 -   d e g r ee s   o f   f r ee d o m   ( D OF )   r o b o tic  a r m   th at   in teg r ate s   o f f lin v o ice  an d   v is io n   m o d u les  f o r   au t o n o m o u s   atten d an ce   m ar k in g   i n   cla s s r o o m   en v ir o n m en t ,   ii)   i n v er s k in em atics - b ased   co n tr o alg o r ith m   t h at  en s u r es   p r ec is s ty lu s   p lace m en f o r   r eliab le  to u ch s cr ee n   in ter ac tio n iii)  f u lly   o f f lin e,   s elf - co n tain ed   HR C   f r am ewo r k   th at  f u s es  m u ltimo d al  in p u t s   ( s p ee ch   an d   OC R )   in   r ea ti m e,   p r eser v i n g   d ata  p r iv ac y ,   m ai n tain in g   r eliab ili ty   in   th ab s en ce   o f   n etwo r k   in f r astru ctu r e ,   an d   iv )   e x p er im en tal  v alid atio n   u n d er   co n tr o lled   an d   v ar ia b l en v ir o n m e n tal  co n d itio n s ,   ac h iev in g   9 6 . 2 s p ee ch   r ec o g n itio n   ac cu r ac y ,   9 5 . 8 % OCR   ac cu r ac y ,   9 7 . 6 r o b o tic  ar m   p r ec is io n ,   an d   a   4 - m etr ic  co m b in e d   o v e r all  s u cc e s s   r ate  o f   9 2 . 8 %.   T h k e y   f in d in g   th at   an s wer s   th s cien tific   q u esti o n   p o s ed   ab o v e   is   th at  m e r g in g   v o ice  i n ter ac tio n ,   co m p u ter   v is io n ,   an d   r ea l - ti m r o b o tic  m an i p u latio n ,   th s y s tem   ac h iev es  9 2 . 8 o v er all  atten d an ce - m ar k in g   s u cc ess   r ate  u n d er   v ar ied   en v ir o n m e n tal  co n d itio n s .   T h er ef o r e,   th is   s tu d y   esta b lis h es  p r ac tical,   af f o r d a b le,   a n d   s ca lab le  m o d e f o r   in tellig en h u m a n r o b o t   co llab o r atio n   in   ac ad em ic   au t o m atio n .   T h e   n atu r o f   th ev id en ce   we  p r o v id in   s u p p o r t o f   th is   s y s tem   is   b ased   o n   ex p er im en tal  v alid atio n   u n d er   co n tr o lled   an d   v ar iab le  en v ir o n m en tal  co n d it io n s .   I n   s u m m ar y ,   th s ig n if i ca n ce   o f   th ese  r esu lts   lies   in   d em o n s tr atin g   th at  af f o r d a b le,   a d ap tab le   r o b o tic  s y s tem s   ca n   p er f o r m   r eliab le  r ea l - wo r ld   a u to m atio n   u s in g   l o w - co s em b e d d ed   h ar d war e.   T h s y s tem   s er v es  as  v alu ab le  p latf o r m   f o r   r o b o tics   ed u ca tio n ,   h u m an - r o b o co llab o r atio n ,   a n d   ac ce s s ib le  au to m atio n   i n   r eso u r ce - lim ited   s ettin g s   s u ch   as  r u r al  s ch o o ls   o r   s m all  o f f ices.  Mo r e   b r o ad ly ,   it   o f f er s   p ath way   f o r   cr ea tin g   o f f lin e,   p r iv ac y - p r eser v in g   i n tellig en r o b o ts   f o r   n o n - i n d u s tr ial  ap p licatio n s ,   p r im ar ily   ad d r ess in g   s p ec if i ed u ca tio n al  u s ca s e.   R o b o tics   an d   au to m atio n   a r tr an s f o r m in g   th lan d s ca p o f   m o d e r n   ed u ca tio n .   I n   co lleg en v ir o n m en ts ,   r o b o ts   ar in cr ea s in g ly   u s ed   n o o n ly   f o r   r esear ch   an d   ac ad em ic  in s tr u ctio n   b u also   in   ad m in is tr ativ an d   s u p p o r r o les.  L ab o r ato r ies  an d   en g i n ee r in g   d ep a r tm en ts   r eg u lar ly   e m p lo y   r o b o tic  ar m s ,   m o b ile  r o b o ts ,   an d   r ec e n r esear ch   d em o n s tr ates  r ap id   ad v a n ce m en ts   in   h u m an r o b o co lla b o r atio n ,   A I - b ased   co n tr o l,  a n d   r o b o tic  ar m   s y s tem s ,   f o r m in g   th f o u n d atio n   f o r   th p r esen t stu d y   an d   r esear c h .     R ec en ad v an ce s   in   r o b o ti m an ip u latio n   in cr ea s in g ly   em p h asize  m u ltimo d al  h u m an r o b o t   in ter ac tio n ,   v is io n - b ased   co n t r o l,  a n d   in tellig en k in em atic   m o d eli n g .   Vo ice  in te r ac tio n   h as  em e r g ed   as  a   n atu r al  in ter f ac e   f o r   r o b o t ic  s y s tem s ,   p ar ticu lar ly   in   ass is t iv an d   co llab o r ativ s ettin g s .   E ar ly   im p lem en tatio n s   d e m o n s tr ate d   th e   f ea s ib ilit y   o f   s p ee ch - c o n tr o lled   r o b o tic  ar m s   u s in g   c o n v en tio n al  s p ee ch   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         R OV A A :   Offlin a tten d a n ce   a u to ma tio n   u s in g   a   v o ice OC R - b a s ed   3 - DOF     ( R a ja n ika n t h   K a s h i Na g a r a j )   563   r ec o g n itio n   an d   em b ed d e d   p la tf o r m s ,   e n ab lin g   b asic  m a n ip u latio n   task s   th r o u g h   p r ed ef in e d   v o ice  co m m an d s   ( Nir y o - On r o b o tic  ar m ,   m o d if ied   th YOL alg o r ith m   [ 1 ] ) ,   ( Ar m ,   Ar d u in o   co n tr o ller ,   NR s en s o r ,   an d   v o ice  m o d u le  [ 1 0 ] ) .   Su b s eq u e n s tu d ies  h av f o cu s ed   o n   im p r o v in g   r ec o g n itio n   ac c u r ac y   an d   r o b u s tn ess   b y   em p lo y in g   d o m ain - a d ap ted   la n g u ag e   m o d els,  with   cu s to m   s p ee ch   m o d els  s h o wn   to   s ig n if ican tly   e n h an ce   p er f o r m an ce   in   co n s tr ain ed   a n d   o f f lin en v ir o n m en ts   ( o p e n - s o u r ce   Vo s k   T o o l k it  [ 2 ] ) ,   ( s p ee ch   p r o ce s s ed   o n   An d r o id   d ev ice,   a d ap tiv k e y wo r d   s p o ttin g   al g o r ith m   [ 1 1 ] ).   Vis io n - b ased   p er ce p tio n   a n d   co n tr o co n s titu te  an o th er   m ajo r   r esear ch   d ir ec tio n   in   r o b o tic   m an ip u latio n .   Sev er al  wo r k s   h av e x p lo r e d   im ag e - b ased   p ick - an d - p lace   o p er atio n s   f o r   lo w - d e g r ee - of - f r ee d o m   m an ip u lato r s   u s in g   p atter n   r ec o g n itio n   an d   o b ject  l o ca lizatio n   tech n iq u es  [ 6 ] ,   wh ile  m o r ad v a n ce d   v is u al  s er v o in g   ap p r o ac h es  h a v b ee n   p r o p o s ed   t o   m ain tain   co n tr o l   s tab ilit y   ev en   u n d e r   a ctu ato r   f a u lts   [ 1 6 ] R ec en d ev elo p m en ts   in co r p o r ate  d ee p   lear n i n g   ar ch itect u r es,  in clu d in g   c o n v o lu tio n al   tr an s f o r m er s   an d   g eo m etr y - co n s tr ain ed   lear n i n g   f r a m ewo r k s ,   to   im p r o v p er ce p tio n - to - ac tio n   m ap p i n g   an d   c o n v e r g en ce   in   v is u al  s er v o in g   task s   ( lite  T r a n s f o r m er   b ased   v is u al  en co d e r ,   u n s u p er v is ed   lear n in g ,   an d   d ata  au g m en tatio n   [ 1 7 ] ) ,   ( ce r eb ellar   m o d el  a r ticu latio n   co n tr o ller   ( C MA C )   [ 1 5 ] ) .   W o r k   t h at  ad d r ess es  r o b o t - ass is ted   s tu d en t   atten d an ce   in   h ig h er   ed u ca tio n   class r o o m s ,   u s in g   AI - b ased   f ac r ec o g n itio n   is   p r o v id ed   in   [ 1 3 ] .   R o b o tic  k in em atics,  co n tr o l,   an d   m o tio n   p lan n in g   r e m a in   ce n tr al  ch allen g es,  p a r ticu lar ly   f o r   m an ip u lato r s   o p er atin g   in   d y n am ic  o r   co n s tr ain ed   s p ac es.  C o m p r eh e n s iv r e v iews  h ig h lig h th g r o win g   u s e   o f   d ee p   n eu r al   n etwo r k s   f o r   in v er s e   k in em atics,  o b s tacle - awa r p lan n in g ,   an d   a d ap ti v co n tr o l   in   b o th   s tr u ctu r ed   an d   u n s tr u ctu r ed   en v ir o n m en ts   [ 3 ] .   Alter n at iv f o r m u latio n s   b ased   o n   m o d if ied   Den a v it Har ten b er g   m o d ellin g   an d   li n g eo m etr y   h av b ee n   p r o p o s ed   to   im p r o v th r o b u s tn ess   o f   k in em atic  r ep r esen tatio n s   [ 4 ] ,   wh ile  m etah eu r is tic  an d   g e o m etr ic   ap p r o ac h es  h av e   b ee n   ex p lo r ed   f o r   tr ajec to r y   g en er atio n   an d   in v er s k in em atics  in   r ig id   an d   s o f r o b o tic  s y s tem s   [ 1 8 ]   an d   [ 1 9 ]   f o cu s s es  o n   m u ltimo d al   in ter ac tiv r o b o b u ilt  with   Y OL Ov 8   o b ject  d etec tio n ,   ca m er as,  an d   s p ee c h   r ec o g n itio n ,   d ep lo y e d   in   a   r ea class r o o m   with   K - 1 2   s tu d e n ts   to   ass is t w i th   p h y s ics lab   task s .   I n   p ar allel,   h u m a n r o b o co ll ab o r atio n   h as  d r i v en   r esear ch   in   task   s eq u en cin g ,   in ter ac tio n   s af ety ,   an d   en v ir o n m e n awa r en ess .   Dee p   lear n in g b ased   f r am ewo r k s   h av b ee n   d ev el o p e d   to   co n tr o wo r k   s eq u en ce s   in   co llab o r ativ ass em b ly   p r o ce s s es b y   ad ap tin g   r o b o t a ctio n s   to   h u m an   b eh a v io r   [ 8 ] .   Vis io n - b ased   lo ca lizatio n   an d   o b s tacle   av o id an ce   tec h n iq u es  f u r th e r   en h an ce   au to n o m o u s   o p er ati o n   in   u r b an   a n d   war eh o u s e n v ir o n m en ts ,   e n s u r in g   s af e   n av ig atio n   a n d   ef f ec tiv co lla b o r atio n   with   h u m an s   [ 9 ] ,   [ 1 2 ] C o m p lem en tar y   p er ce p tio n   ta s k s   s u ch   as  r o b u s OC R   f o r   l ab el  r ec o g n itio n   h av also   b e en   ad d r ess ed   u s in g   v is io n lan g u a g m o d els,  s u p p o r tin g   au to m atio n   in   in d u s tr ial  an d   s er v ice - o r ien ted   ap p licatio n s   [ 2 0 ] I n ter ac tiv an d   in tellig en r o b o tic  s y s tem s   h av ad d itio n ally   b ee n   d em o n s tr ated   in   s tr u ctu r ed   h u m an r o b o t   en g ag em e n s ce n ar io s ,   s u ch   as  co llab o r ativ g am p lay in g ,   h ig h lig h tin g   a d v an ce s   in   p er ce p tio n ,   d ec is io n - m ak in g ,   a n d   in ter ac ti o n   [ 2 1 ] .   C o llectiv ely ,   th ese  s tu d ies  u n d er lin th e   im p o r tan ce   o f   in t eg r atin g   s p ee ch ,   v is io n ,   an d   in tellig en co n tr o f o r   r o b u s an d   in tu itiv r o b o tic  m a n ip u latio n .   Ho wev er ,   m an y   ex is tin g   s y s tem s   f o cu s   o n   is o lated   m o d alities   o r   r ely   o n   clo u d - b a s ed   p r o ce s s in g ,   m o tiv atin g   t h e   n ee d   f o r   l o w - co s t,  o f f lin e,   an d   tig h tly   in teg r ated   m u ltimo d al  r o b o tic  f r am ewo r k s p ar ticu lar ly   f o r   ass is tiv a n d   ed u ca tio n al  r o b o tic  ap p licatio n s .   R ec en r esear ch   in   r o b o tic  s y s tem s   h as  em p h asized   ad v an ce s   in   p er ce p tio n ,   m an ip u lato r   d esig n ,   an d   h u m an r o b o co llab o r atio n   ( H R C ) ,   p ar ticu lar ly   f o r   in d u s tr ia an d   ass is t iv ap p licatio n s .   I n   th ar ea   o f   o p tical  ch ar ac ter   r ec o g n itio n ,   d ee p - lear n in g - b ased   p ip elin es  co m b i n in g   o b ject  d etec tio n   a n d   f ilt er in g   m ec h a n is m s   h av d e m o n s tr ated   im p r o v ed   tex lo ca lizatio n   a n d   r ec o g n itio n   ac cu r ac y   in   s tr u ctu r ed   v is u al  s ce n es  [ 2 2 ] Par allel  ef f o r ts   in   r o b o tic  m e ch an is m   d esig n   h av in t r o d u c ed   n o v el  3 - DOF  m an ip u lato r s ,   in clu d in g   p ar allel  wr is t g r ip p er   ass em b lies   an d   b io - in s p ir ed   s p h er ical  r o b o ts ,   o f f er in g   e x p an d ed   s in g u lar i ty - f r ee   wo r k s p ac es   an d   im p r o v ed   in ter ac tio n   ca p ab ilit ies  [ 2 3 ] ,   [ 2 4 ] .   Mo d el - b a s ed   d esig n   m eth o d o lo g ies  h av b ee n   ap p lied   to   h ig h er - d eg r ee - of - f r ee d o m   in d u s tr ial  r o b o ts   to   en h an ce   p r e cisi o n ,   r ep ea tab ilit y ,   an d   s tr u ctu r al  o p tim izatio n   [ 2 5 ] .   Saf ety   an d   ad ap ta b ilit y   r e m ain   cr itical  co n s id er atio n s   in   p h y s ical  h u m an r o b o in ter ac tio n .   Sy s tem atic  r ev iews  h av ex a m in ed   co n tact  m o d elin g   a n d   im p ac m ea s u r em e n tech n iq u es  to   ass ess   an d   im p r o v s af ety   in   in d u s tr ial  HR C   en v ir o n m en ts   [ 2 6 ] ,   wh i le  lear n in g - b ased   m o n ito r in g   s y s tem s   in teg r atin g   v is io n   an d   h an d h eld   d e v ice s   h av b ee n   p r o p o s ed   f o r   r ea l - tim s af ety   s u p er v is io n   in   co llab o r ativ e   m an u f ac tu r in g   [ 2 7 ] .   L ea r n in g - d r iv e n   in ter ac tio n   an d   a d ap tatio n   h av f u r th e r   b ee n   ex p lo r e d   th r o u g h   co llab o r ativ m an u f ac tu r in g   ce lls   ca p ab le  o f   ac q u ir in g   in ter ac tio n   s k ills   o v er   tim [ 2 8 ] ,   as  well  as   u n s u p er v is ed   an d   r ep r esen tatio n - lear n i n g   a p p r o ac h es  f o r   o b ject  class if icatio n   in   HR C   s ce n ar io s   [ 2 9 ] .   B ey o n d   m an ip u latio n ,   a d v an ce d   co n tr o s tr ateg ies  h av b ee n   in v es tig ated   f o r   co m p lex   r o b o tic  p latf o r m s   s u ch   as  b ip ed al  lo co m o tio n   s y s tem s   an d   ass is tiv p r o s th etic  d ev ices,  d em o n s tr atin g   th ef f ec tiv en ess   o f   ad ap tiv an d   n o n lin ea r   co n tr o m eth o d s   in   h az ar d o u s   o r   h u m an - ce n ter e d   en v ir o n m en ts   [ 3 0 ] ,   [ 3 1 ] .   B r o ad er   s tu d ies  in   ass is tiv r o b o tics   h ig h lig h th r o le  o f   s en s o r   f u s io n   an d   m ac h in lear n in g   in   im p r o v i n g   au to n o m y ,   u s ab ilit y ,   an d   in ter ac tio n   q u ality   [ 3 2 ] ,   [ 3 3 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   1 5 ,   No .   3 Sep tem b er   20 2 6 :   5 6 1 - 5 7 6   564   T h er is   g r o win g   wo r k   in   e d u ca tio n al  r o b o tics   an d   o f f lin e - c ap ab le  s y s tem s   [ 3 4 ] ,   [ 3 5 ] .   T h wo r k   in   [ 3 6 ]   p r o p o s es  h u m an r o b o co llab o r ativ teac h in g   ( HR C T )   f r am ewo r k   w h er r o b o t s   ass i s teac h er s   in   class r o o m   ac tiv ities   lik s o cial - em o tio n al  lear n in g   task s ,   wh ile  [ 3 7 ]   in v esti g ates  th r o le  o f   c o llab o r ativ e   r o b o ts   ( co b o ts )   in   STE lab s ,   f o cu s in g   o n   s tu d e n t r o b o t c o o p er atio n   a n d   task - b ased   lear n in g .     Dif f er en tiatio n   o f   th p r esen wo r k W h ile  ex is tin g   s t u d ies  p r ed o m i n an tly   tar g et  in d u s tr ial   co llab o r atio n ,   co m p lex   r o b o ti m ec h an is m s ,   o r   s af ety   m o n ito r in g   i n   m an u f ac tu r i n g   en v ir o n m en ts ,   th p r esen t   wo r k   ad d r ess es  d is tin ct  an d   u n d er e x p lo r e d   ap p licatio n   d o m ain f u lly   o f f lin ac ad e m ic  au to m atio n   th r o u g h   au to n o m o u s   atten d an ce   m ar k in g .   Un lik OC R - ce n tr ic  ap p r o ac h es  th at  f o cu s   s o lely   o n   tex d etec tio n   an d   r ec o g n itio n   [ 2 2 ] ,   th is   wo r k   tig h tly   in teg r ates  v is io n - b ased   i d en tific atio n   with   r ea l - tim r o b o tic  m an ip u latio n   to   en ab le  d ir ec t o u ch s cr ee n   in ter ac tio n .   I n   co n tr ast  to   n o v el  m an ip u lato r   d esig n s   an d   h i g h - DOF  in d u s tr ial   r o b o ts   [ 2 3 ] [ 2 5 ] ,   th e   p r o p o s e d   s y s tem   d elib er ately   a d o p ts   lo w - co s 3 - DOF  ar m   o p tim ized   f o r   p r ec is io n   s ty lu s   p lace m en r ath er   th an   m ec h an ical  co m p lex ity .   Mo r eo v er ,   wh er ea s   m an y   HR C   f r am ewo r k s   r ely   o n   n etwo r k ed   s en s o r s ,   clo u d - b ase d   in tellig en ce ,   o r   s af ety   s u p e r v is io n   lay er s   [ 2 7 ] ,   [ 2 8 ] ,   th is   s tu d y   p r esen ts   s elf - co n tain ed ,   p r iv ac y - p r eser v in g   m u ltimo d al   s y s tem   th at  f u s es  o f f lin v o ice  in te r ac tio n ,   c o m p u ter   v is io n ,   a n d   in v er s e - k in em atics - d r i v en   c o n tr o l.  B y   ac h ie v in g   a   9 2 . 8 %   atten d an ce - m a r k in g   s u cc ess   r ate  u n d er   v ar ied   class r o o m   co n d itio n s ,   th wo r k   d em o n s tr ates a   p r ac tical,   s ca lab le,   an d   co s t - ef f ec tiv HR C   m o d el  th at  ex ten d s   cu r r en r esear ch   b ey o n d   in d u s tr ial  s ettin g s   in to   r ea l - wo r ld   ed u ca tio n al  au to m ati o n .   An o t h er   k ey   co n tr i b u tio n   is   th s y s tem   lev el  in teg r atio n   o f   m ec h a n ical,   elec tr ical,   elec tr o n ics an d   s o f twar e   co m p o n en ts .       2.   RE S E ARCH   M E T H O   T h is   s ec tio n   p r esen ts   th m e th o d o lo g y   ad o p ted   f o r   d ev el o p in g   th AI - d r iv en   r o b o tic  atten d an ce   s y s tem .   T h ap p r o ac h   in teg r a tes  v o ice  r ec o g n itio n ,   c o m p u ter   v is io n ,   a n d   in v er s e - k in em a tics - b ased   r o b o ti c   co n tr o l   in to   u n if ied   o f f lin f r am ewo r k   im p lem e n ted   o n   R asp b er r y   Pi  4   p latf o r m .   T h s y s tem   is   d esig n ed   f o r   co s t e f f icien c y ,   d ata  p r iv ac y ,   an d   s ca lab ilit y   in   e d u ca tio n al  en v ir o n m en ts .   W h ile  p r io r   s tu d ies  o f ten   f o c u s   s o lely   o n   r o b o tic  c o n tr o l   o r   s in g le - m o d ality   in ter ac tio n ,   th is   wo r k   p r esen ts   m u ltimo d al  h u m a n r o b o in ter ac tio n   s y s tem   th at  co m b in es  s p ee ch   a n d   te x r ec o g n itio n   with   p r ec is r o b o tic  ac tu atio n   f o r   m ea n in g f u r ea l - wo r ld   ta s k atten d an ce   au to m atio n .   Key   d if f er en tiato r s   in clu d e:   i )   Of f lin p r o ce s s in g   an d   HR C   d esig n T h s y s tem   u s es  th Vo s k   s p ee ch   m o d el  a n d   T ess er ac OC R ,   u n lik ty p ical  clo u d - d ep en d en s o lu tio n s .   ii )   I n teg r ate d   m u lti m o d al  in ter ac tio n R ea l - tim f u s io n   o f   a u d io   a n d   v is u al  in p u ts   g u id es  r o b o tic  ac tio n ,   en h an cin g   r o b u s tn ess .   iii )   3 - DOF  in v er s k in em atics - b ased   ar m   co n tr o l Of f er s   h ig h er   p r ec is io n   o v e r   s im p ler ,   p r e - p r o g r am m ed   r o b o tic  s y s tem s   in   s im ilar   co s s eg m en ts .   iv l o h ar d war co s with   h ig h   p er f o r m a n ce Ach iev es  9 2 . 8 o v er all  s y s tem   ac cu r ac y   u s in g   af f o r d ab le   co m p o n en ts .   v )   C alib r atio n   GUI .   v i )   E d u ca tio n al  an d   s ca lab le  d esig n T h s y s tem   d o u b les  as  h an d s - on  p latf o r m   f o r   lear n in g   a b o u r o b o tics ,   AI ,   an d   e m b ed d ed   s y s tem s .       2 . 1 .   Sy s t e m   a rc hite ct ure   T h p r o p o s ed   s y s tem   f o llo ws  th r ee - lay er   m o d u lar   ar ch it ec tu r co m p r is in g   th i n p u t,   p r o ce s s in g ,   an d   ac tu atio n   lay er s ,   as  s h o w n   in   Fig u r e   1.   I n   th in p u lay er ,   two   m u ltimo d al  s ig n als  ar ac q u ir ed i)   Vo ice   in p u th r o u g h   B lu eto o th   m i cr o p h o n f o r   s p o k e n   co m m a n d s ,   an d   ii)  Vis u al  in p u f r o m   ca m er f o r   r ea l - tim OC R - b ased   tex d etec tio n   o n   th e   to u c h s cr ee n .   T h e   p r o ce s s in g   lay er   p er f o r m s   d ec is io n - m ak in g   b y   m atch in g   th v o ice  co m m a n d   with   th d etec ted   tex t.  W h en   v alid   m atch   is   f o u n d ,   th c o r r esp o n d i n g   s cr ee n   lo ca tio n   is   co n v e r ted   in t o   s p at ial  co o r d in ates.  Fin ally ,   in   th e   ac tu atio n   lay e r ,   3 - DOF  r o b o tic  ar m   p e r f o r m s   th r eq u ir e d   tap p in g   ac tio n   t h r o u g h   s er v o - co n tr o lled   m o tio n .   T h is   m o d u lar   s tr u ctu r e n s u r es  r o b u s tn ess ,   s ca lab ilit y ,   an d   r ea l - tim r esp o n s iv en ess ,   wh ile  m ain tain in g   f u ll o f f lin e   o p e r atio n .           Fig u r 1 .   R OVAA   s y s tem   ar ch itectu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         R OV A A :   Offlin a tten d a n ce   a u to ma tio n   u s in g   a   v o ice OC R - b a s ed   3 - DOF     ( R a ja n ika n t h   K a s h i Na g a r a j )   565   Fig u r 2   illu s tr ates  th h u m an r o b o co llab o r atio n   atten d an ce   m ar k in g   task ,   s h o win g   th in ter ac tiv wo r k f lo b etwe en   th h u m an   an d   th r o b o tic  s y s tem .   T h u s er   s p ea k s   s tu d en t’ s   n am e,   wh ich   is   ca p tu r ed   th r o u g h   t h B lu eto o th   m icr o p h o n e,   wh ile  th e   ca m e r s im u l tan eo u s ly   ca p tu r es  th e   to u ch s cr ee n   d is p lay .   T h e   s y s tem   p er f o r m s   v o ice  a n d   te x r ec o g n itio n   t o   id en tif y   a   m a tch in g   n a m e.   Up o n   d etec tin g   m atch ,   th r o b o tic   ar m   m o v es  to   t h c o r r esp o n d i n g   s cr ee n   p o s itio n ,   p er f o r m s   th tap   ac tio n   t o   m ar k   atten d a n ce ,   an d   th e n   waits  f o r   th n ex t c o m m an d .           Fig u r 2 .   Hu m an   r o b o t c o llab o r atio n   atten d a n ce   m ar k in g   ta s k       ca m er m o d u le  m o u n ted   n e ar   th to u c h s cr ee n   ca p tu r es  v i s u al  d ata  f o r   OC R   p r o ce s s in g ,   wh ile  th s ty lu s - b ased   en d - ef f ec to r   en a b les  s cr ee n   in ter ac tio n .   Po wer   is   s u p p lied   b y   r eg u lated   DC   s o u r ce ,   en s u r in g   s tab le  o p er atio n   d u r i n g   m u lti - s er v o   m o v em en ts .   T h co m p lete  h ar d wa r s etu p   is   s h o wn   in   Fig u r 3 ,   illu s tr atin g   th p h y s ical  s tr u ct u r an d   co m p o n en t i n ter co n n e ctio n s .           Fig u r 3 .   R OVAA   h ar d war s etu p     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   1 5 ,   No .   3 Sep tem b er   20 2 6 :   5 6 1 - 5 7 6   566   2 . 2 .     Desig ra t io na le  f o r o bo t ic  a r m   co nfig ura t i o   T h ch o ice  o f   3 - DOF   r o b o tic  ar m   in   th e   p r o p o s ed   R OVAA   s y s tem   is   g u id ed   b y   task - s p ec if ic  r eq u ir em e n ts ,   co s t c o n s tr ain ts ,   an d   s y s tem   s im p licity     T ask - o r ien ted   s u f f icien cy :   T h atten d an ce   au to m atio n   tas k   p r im a r ily   in v o lv es  p lan a r   p o s itio n in g   a n d   co n tr o lled   v e r tical  m o tio n .   T h ese  ac tio n s   r eq u ir o n ly   th r ee   i n d ep en d en t m o tio n s   ( X p o s itio n in g   an d   Z - ax is   ad ju s tm en t) ,   m ak in g   3 - DOF  co n f ig u r atio n   s u f f icien t.     R ed u ce d   s y s tem   co m p lex ity C o m p ar ed   to   h ig h er   DOF  s y s tem s   ( e. g . ,   5 - DOF  o r   6 - DOF  ar m s ) ,   3 - DOF  ar m   s ig n if ican tly   r e d u ce s   k in e m atic  co m p lex ity ,   c o n tr o l o v e r h ea d ,   a n d   ca lib r atio n   ef f o r t.     I m p r o v ed   r eliab ilit y   an d   s tab ilit y Fewer   jo in ts   r esu lt  in   lo wer   cu m u lativ er r o r   p r o p ag a tio n ,   in cr ea s ed   s tr u ctu r al  r ig id ity ,   a n d   m o r p r ed ictab le  m o tio n im p o r tan f o r   atten d a n ce   m ar k in g .     C o s an d   ac ce s s ib ilit y   co n s id er atio n s T h s y s tem   is   d esig n ed   as  l o w - co s t,  d ep l o y a b le  ed u ca tio n al   s o lu tio n .   Hig h er   DOF  m an i p u l ato r s   in cr ea s h ar d war e   co s t,  p o wer ,   an d   m ain ten a n ce .     Of f lin o p er atio n   co m p atib ilit y R OVAA   o p er ates  in   an   o f f lin en v ir o n m en t,  c o m p u tatio n al  ef f icien cy   is   cr itical.   3 - DOF  s y s tem   allo ws s im p ler   in v er s k in em atics a n d   co n tr o l a lg o r ith m s .     2 . 3 .   H a rdwa re   co nfig ura t i o n   T h h ar d war co n f ig u r atio n   is   d esig n ed   f o r   af f o r d ab ilit y   an d   f u n ctio n al  r eliab ilit y .   T h R asp b er r y   Pi  4   ( 8   GB )   s er v es  as  th ce n tr al  co n tr o ller   r esp o n s ib le  f o r   r u n n in g   th s p ee c h   r ec o g n itio n ,   OC R ,   an d   r o b o tic   co n tr o l   m o d u les.  T h e   r o b o tic  ar m   is   a   cu s to m - b u ilt  3 - DOF  s er ial  m an ip u lato r   d r iv en   b y   t h r ee   MG 9 9 6 R   s er v o   m o to r s ,   ch o s en   f o r   th eir   h i g h   to r q u an d   ac cu r ac y .   T h ese  ar co n tr o lled   v ia  PC A9 6 8 5   1 6 - ch a n n el  PW d r iv er ,   in ter f ac e d   with   th R asp b er r y   Pi  th r o u g h   th e   I ²C   p r o t o co f o r   p r ec is a n d   s y n ch r o n ized   m o tio n   co n tr o l.  T a b let  an d   s m ar t p h o n wer e   u s ed   t o   m an if est th Dis p lay /To u ch s cr ee n .       2 . 4 .   So f t wa re   f r a m ewo r k     T h s o f twar a r ch itectu r e   is   im p lem en ted   as  a   m u lti - th r ea d ed   co n tr o f r am ewo r k   to   ac h iev r ea l - tim o p er atio n .   E ac h   m ajo r   f u n ctio n v o ice  r ec o g n itio n ,   OC R   p r o ce s s in g ,   a n d   r o b o t ic  ar m   co n tr o l is   ex ec u ted   in   a n   in d e p en d e n t th r ea d   f o r   p ar allel  p r o ce s s in g   an d   r ed u ce d   laten cy .     Vo ice  r ec o g n itio n T h s y s te m   co n tin u o u s ly   lis ten s   f o r   s p o k en   in p u u s in g   t h Vo s k   o f f li n ASR   en g in e,   co n v er tin g   au d i o   co m m a n d s   i n to   tex t.     OC R   p r o ce s s in g T h liv c am er f ee d   is   p r o ce s s ed   u s in g   T ess er ac o r   E asy OC R   to   ex tr ac t   tex tu al   co n ten t f r o m   th t o u ch s cr ee n   d is p lay .     Ma tch in g   an d   m ap p in g O n c m atch   is   f o u n d   b etwe en   th r ec o g n ized   s p ee c h   an d   d etec ted   tex t,  th co r r esp o n d in g   p ix el  p o s itio n   is   id en tifie d .     C o o r d in ate  t r an s f o r m atio n T h is   p ix el  lo ca tio n   is   co n v er te d   in to   r ea l - w o r ld   co o r d i n ates  ( , , )   u s in g   a   p r e - ca lib r ated   m ap p i n g   s y s tem .     I n v er s k in em atics  co m p u tatio n T h e   co n t r o alg o r ith m   co m p u tes  th j o in an g les  ( 1 , 2 , 3 )   f o r   th b ase,   s h o u ld er ,   a n d   elb o jo in ts .     Ser v o   c o n tr o l:  T h ese  an g les  ar th en   co n v er te d   to   PW s ig n als  an d   tr an s m itted   to   th PC A9 6 8 5   d r iv er   to   co n tr o l th s er v o s .     R eset:  Af ter   co m p letin g   th e   tap p in g   ac tio n ,   th ar m   a u to m atica lly   r etu r n s   to   th e   h o m p o s itio n   ( 90 ° , 90 ° , 90 ° ) .   T h co m p lete  o p er atio n al  w o r k f lo is   d e p icted   in   Fig u r e   4 ,   illu s tr atin g   s eq u en tial  d ata  f lo f r o m   in p u ac q u is itio n   to   r o b o tic  ac tu atio n .   T h v o ice  an d   th e   ca m er in p u ts   ar s im u ltan eo u s ly   p r o ce s s ed   to   p r o v id c o o r d in ated   an d   s y n ch r o n ized   s y s tem   r esp o n s e.   I n   o r d er   to   p r o v id d eter m i n is tic  r esp o n s an d   ac cu r ate  p o s itio n in g ,   th r o b o ar m   is   r etu r n e d   to   th e   h o m e   p o s itio n   af ter   e v er y   s in g le  at ten d an ce   m ar k in g   task   f lo w.     2 . 5 .     Co bo t   wo r k s pa ce   m ec h a niza t io n     T o   en s u r e   h ig h   p r ec is io n   in   t o u ch s cr ee n   in ter ac tio n ,   a   5 - p o in ca lib r atio n   s y s tem   is   im p lem en ted   th r o u g h   th en h a n ce d   r o b o tic  ar m   co n tr o ller   GUI ,   as sh o wn   in   Fig u r 5 .   Du r in g   ca lib r atio n ,   th r o b o tic  ar m   is   m an u ally   alig n ed   with   f iv e   r ef er en ce   p o i n ts   o n   th to u ch s cr ee n .   B o th   s cr ee n   p ix el  co o r d in ates  an d   co r r esp o n d in g   r ea l - wo r ld   co o r d in ates  ( , , )   ar r ec o r d ed .   T h s y s tem   th en   in ter p o lates  b etwe en   th ese  p o in ts   to   estab lis h   m ap p i n g   f u n ctio n   th at  co n v er ts   d etec ted   tex p o s itio n s   in to   r o b o tic  wo r k s p ac e   co o r d in ates.  T h GUI   also   p r o v id es:  i)   Ma n u al  s er v o   co n tr o s lid er s   f o r   ea c h   jo in t.   ii)  R ea l - tim d is p lay   o f   jo in an g les  an d   e n d - ef f ec to r   p o s itio n   ( v ia  f o r war d   k in em at ics),   an d   iii)  Op tio n s   to   s av o r   lo ad   ca lib r atio n   d ata  f o r   r ep ea tab le  s ess io n s .   T h is   ca lib r atio n   s ig n if ican tly   en h an ce s   p o s itio n al  ac cu r a cy   an d   o p er atio n al  co n s is ten cy   d u r in g   au to m ated   atten d an ce   m ar k in g .     Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         R OV A A :   Offlin a tten d a n ce   a u to ma tio n   u s in g   a   v o ice OC R - b a s ed   3 - DOF     ( R a ja n ika n t h   K a s h i Na g a r a j )   567       Fig u r 4 .   Sy s tem   o p er atio n s   f l o wch ar t           Fig u r 5 .   R co n tr o l c alib r ati o n   an d   in v er s k i n em atics   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   1 5 ,   No .   3 Sep tem b er   20 2 6 :   5 6 1 - 5 7 6   568   2 . 6 .     I nv er s k inema t ics - ba s ed  co ntr o l   T h r o b o tic  ar m s   m o tio n   co n tr o is   g o v er n ed   b y   in v er s k in em atics  ( I K) ,   en ab lin g   th e   s ty lu s   to   r ea ch   d esire d   th r ee - d im e n s io n al  co o r d in ate  ( , , ) o n   th to u c h s cr ee n .   T h m an ip u lato r   is   m o d eled   u s in g   th Den av it Har ten b e r g   ( D H)   co n v e n tio n ,   as sh o w n   in   Fig u r 6 ,   a n d   its   p ar am ete r s   ar lis ted   in   T ab le  1 .   T h p ar am eter s   in   T a b le  1   ar d elin ea ted   as  f o llo ws:   L ₁  3 . 5   cm   is   th v er tical  o f f s et  f r o m   th e   b ase  to   th s h o u ld er   jo in t,  L ₂  1 1 . 0   cm   is   th s h o u ld er - to - e lb o lin k   len g th ,   an d   L ₃  1 5 . 9   cm   is   th elb o w - to - s ty lu s   lin k   len g th .   T h c o m p u ted   j o in an g les  ar t h e n   tr an s lated   in t o   PW co n t r o s ig n als  v ia   th PC A9 6 8 5   d r iv e r   u s in g   th Ad af r u it  PC A9 6 8 5   lib r ar y .   E ac h   s er v o   r ec eiv es  ca lib r ate d   p u ls es  with in   th 5 0 0 2 5 0 0   μ s   r an g e   f o r   s m o o th   ac tu atio n .   Saf ety   m ea s u r es s u ch   as  an g le  c o n s tr ain ts ,   m o ti o n   s eq u en cin g ,   an d   em er g en cy   s to p   r o u tin es e n s u r r eliab le  an d   r ep ea tab le  o p er a tio n .           Fig u r 6 .   Kin em atic  m o d el  o f   R A       T ab le  1 .   DH  co n v en tio n   tab le   Jo i n t   θ ᵢ  ( V a r i a b l e )   dᵢ   ( l i n k   o f f se t )   aᵢ   ( l i n k   l e n g t h )   α ᵢ  ( l i n k   t w i st )   1   θ₁   L₁   0   90°   2   θ₂   0   L₂     3   θ₃   0   L₃         T h in v e r s k in em atics  o f   th e   3 - DOF  ar m   is   d e r iv ed   to   c o m p u te  th e   jo in a n g les  ( 1 , 2 , 3 )   r eq u ir e d   f o r   d esire d   en d - ef f ec to r   p o s i tio n   ( , , ) .   T h eq u atio n s   ar e   p r o v id ed   as:     B ase  jo in t a n g le     1 = ta n 1 ( )     ( 1 )     w h er   an d     ar th co o r d in ate s   o f   th en d - ef f ec to r   ( E E )   in   th h o r izo n tal  p lan e.     R ad ial  d is tan ce   an d   ef f ec tiv h eig h t     = 2 + 2   ( 2 )     e f f = 1     ( 3 )     w h er e f f   is   th h eig h t o f   th e   en d - ef f ec to r   r elativ to   th s h o u ld er   jo in t,  an d   is   th co o r d in at o f   th E E .     I n ter m ed iate  ter m   f o r   elb o a n g le  co m p u tatio n     = 2 + e f f 2 2 2 3 2 2 2 3     ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6         R OV A A :   Offlin a tten d a n ce   a u to ma tio n   u s in g   a   v o ice OC R - b a s ed   3 - DOF     ( R a ja n ika n t h   K a s h i Na g a r a j )   569     E lb o jo in t a n g le     3 =  1 ( )   ( 5 )       Sh o u ld er   jo i n t a n g le     2 = ta n 1 ( e f f ) ta n 1 ( 3 s i n 3 2 + 3 co s 3 )     ( 6 )     I n   ad d itio n   to   t h an aly tica in v er s k in em atics  eq u atio n s ,   s ev er al  co n tr o co n s id er atio n s   ar in co r p o r ated   to   en s u r r eliab l an d   ac cu r ate  o p e r atio n   o f   th 3 DOF  r o b o tic  ar m .   B ef o r co m p u tin g   th jo in t   an g les,  wo r k s p ac f ea s ib ilit y   ch ec k   is   p er f o r m ed   to   c o n f ir m   th at  th d esire d   co o r d in ate  ( , , )   lies   with in   th m an ip u lato r s   r ea ch ab le   r eg io n .   T h r e ac h ab ilit y   co n d itio n   ( 2 3 ) 2 2 + e f f 2 ( 2 + 3 ) 2 is   ev alu ated ,   a n d   a n y   v io latio n   t r ig g er s   s af a b o r t o   p r ev en t   m ec h an ical  o v er ex te n s io n .   T h I s o lu tio n   also   p r o d u ce s   two   p o s s ib le  co n f i g u r atio n s co m m o n ly   r ef er r e d   to   as  elb o w - u p   an d   elb o w - d o wn an d   th e   co n tr o ller   au to m atica lly   s elec ts   th co n f ig u r ati o n   t h at  s atis f ies  jo in lim its   wh ile  m in i m izin g   th e   o v er all   ch an g f r o m   th ar m s   cu r r e n p o s e.   T h is   im p r o v es  m o tio n   s m o o th n ess   an d   r e d u ce s   u n n ec ess ar y   s er v o   ac tu atio n .   T o   en h an ce   n u m er ical  s tab ilit y ,   th I s o lv er   em p lo y s   an   atan 2 - b ased   f o r m u latio n   f o r   th elb o an g le,   av o i d in g   th d is co n tin u ities   ass o ciate d   with   th d ir ec c os 1 ( )   co m p u tatio n .   Sin g u lar itie s ,   s u ch   as   th o s o cc u r r in g   wh en   th e   r ad i al  d is tan ce     ap p r o ac h es  ze r o   o r   wh e n   th e   ar m   is   f u lly   s tr et ch ed ,   a r d etec ted   an d   m an ag e d   b y   c o n s tr ain in g   th s o lu tio n   s p ac an d   r etain in g   th p r e v io u s   v alid   jo i n s tate  wh en ev er   n ec ess ar y .   Fu r th er m o r e,   ea ch   jo in is   ass ig n ed   ex p er im en tall y   d eter m in e d   an g le  lim its   to   p r ev en th s ty lu s   o r   ar m   lin k s   f r o m   co llid in g   with   th to u ch s cr ee n   o r   e x ce ed in g   th p h y s ical  ca p a b ilit ies o f   th MG 9 9 6 R   s er v o s .   On ce   v alid   jo in a n g les  ar e   o b tain ed ,   t h ey   a r m a p p ed   to   s er v o   c o m m an d s   u s in g   ca lib r ated   lin ea r   PW M - co n v er s io n   m o d el.   E ac h   s er v o   is   ass ig n ed   a   p u ls wi n d o b etwe en   5 0 0 2 5 0 0   µs,  with   in d iv id u alize d   o f f s ets  co r r esp o n d in g   to   its   m ec h an ical  ze r o   p o s itio n .   T h is   ca lib r atio n   en s u r es  th at  th co m p u ted   an g les   p r ec is ely   m atch   th s ty lu s   tr aj ec to r y   o n   th to u ch s cr ee n .   T o   im p r o v m o tio n   q u ality ,   c o m m an d s   ar ex ec u ted   u s in g   s m o o th   tr a p ez o id al  m o tio n   p r o f ile  r ath er   th an   a b r u p an g u lar   ju m p s ,   allo win g   g r ad u al  ac ce ler atio n   an d   d ec eler atio n   th at  r e d u ce   v i b r atio n ,   o v er s h o o t,  an d   s er v o   l o ad .   Fin ally ,   th I K - b ased   co n tr o lo o p   in clu d es  s ev er al  s af ety   m ec h an is m s ,   in clu d in g   co n tin u o u s   v alid atio n   o f   co m p u ted   an g les ,   d etec tio n   o f   in v alid   o r   u n d ef i n ed   s tates,  an d   a n   em e r g en c y   s to p   p r o ce d u r th at   im m ed iately   d is ab les  th e   PC A9 6 8 5   o u t p u ts .   A   p r e d ef in e d   h o m p o s itio n   en ab les  s af in itializatio n   an d   r ec o v er y .     2 . 7 .   Sy s t e m   a dv a nta g es   T h p r o p o s ed   a r ch itectu r ac h iev es  co m p lete  o f f lin o p er atio n ,   m in im izin g   d ep e n d en c y   o n   clo u d   s er v ices  [ 3 8 ]   wh ile  en s u r i n g   d ata  p r iv ac y   an d   lo l aten cy .   I ts   m o d u lar   d esig n   allo ws  in d iv id u al  co m p o n en ts s u ch   as  th OC R   m o d u le,   m icr o p h o n e,   o r   ar m   co n tr o ller to   b in d e p en d en tly   u p g r a d ed .   T h is   m eth o d o l o g y   en a b les  co s t - ef f ec tiv e,   r ea l - tim e,   an d   s ca lab le  r o b o tic  atten d an ce   s o lu tio n ,   ad ap tab le  to   o th er   ap p licatio n s   s u ch   as a u to m ate d   d ig ital sig n in g ,   class r o o m   in ter ac tio n ,   o r   ass is tiv ed u ca tio n al  r o b o tics .     2 . 8 .   Repro du cibili t y   T o   en ab le  f u ll  r e p licatio n   o f   th p r o p o s ed   atten d an ce   a u to m atio n   s y s tem ,   th is   s ec tio n   p r o v id es  co m p lete  d etails  o f   th h ar d w ar co n f ig u r atio n ,   s o f twar e n v ir o n m e n t,  a n d   ca lib r atio n   p r o ce d u r e   u s ed   in   th e   im p lem en tatio n .   T h e   s y s tem   is   b u ilt  o n   a   R asp b er r y   Pi  4   Mo d el  B   ( 8   GB   R AM )   s er v i n g   as   th p r im ar y   co n tr o ller ,   i n ter f ac ed   with   PC A9 6 8 5   1 6 - c h an n el   PW s er v o   d r iv er   t o   o p er ate  th r ee   MG 9 9 6 R   m etal - g ea r   s er v o   m o to r s   th at  f o r m   th 3 - DOF  r o b o tic  ar m .   R asp b er r y   Pi  C am er Mo d u le  ( v 2   8   MP  o r   HQ  v ar ian t)   ca p tu r es  r ea l - tim v is u al  d ata  f o r   OC R   p r o ce s s in g ,   wh ile  th e   en d - ef f ec to r   is   eq u i p p ed   with   ca p ac itiv s ty lu s   f o r   p r ec is to u c h s cr ee n   i n ter a ctio n .   Vo ice   co m m a n d s   ar e   ac q u ir ed   u s in g   a   B lu eto o th   m icr o p h o n o r   E a r Po d s ,   s p ec if ically   test ed   with   th B o at  Air d o p es  1 2 1 v 2 ,   a n d   all  co m p o n e n ts   ar p o wer ed   u s in g   a   r eg u lated   5   V,   3   A   DC   s u p p ly .   T h to u ch s cr ee n   atten d an ce   in ter f ac u s ed   d u r i n g   ex p er im e n ts   was  d i s p lay ed   o n   L en o v o   T a b   M1 0   FHD  1 0 . 1 - in ch   tab let  a n d   R ea lm 6   s m ar t p h o n was   also   u s ed   in   s o m ex p er im en t s .   T h s o f twar s tack   co n s is ts   o f   R asp b er r y   Pi  OS  ( 6 4 - b it,   B o o k wo r m )   r u n n i n g   Py th o n   3 . 9 ,   with   Vo s k s   o f f lin e   ASR   m o d el  ( v o s k - m o d el - s m all - en - us - 0 . 1 5 )   f o r   s p ee ch   r ec o g n itio n   an d   T ess er ac OC R   E n g in v er s io n   5 . 3 . 0 ,   ac ce s s ed   th r o u g h   th e   Py tess er ac 0 . 3 . 1 0   wr a p p er ,   f o r   tex ex t r ac tio n .   Ad d iti o n al  d e p en d e n cies   in clu d Op en C 4 . 6 . 0   f o r   im a g p r o ce s s in g ,   t h Ad af r u it  PC A9 6 8 5   Py th o n   lib r ar y   ( v 1 . 0 . 1 )   f o r   s er v o   c o n tr o l,   Nu m Py   1 . 2 4   f o r   n u m er ical  co m p u tatio n ,   a n d   m u lti - th r ea d ed   ex ec u tio n   im p lem e n ted   u s in g   Py th o n s   s tan d ar d   th r ea d in g   m o d u le  to   ac h ie v r ea l - tim o p er atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   1 5 ,   No .   3 Sep tem b er   20 2 6 :   5 6 1 - 5 7 6   570   f iv e - p o in ca lib r atio n   m eth o d   was  u s ed   to   estab li s h   th m ap p in g   b etwe en   s cr ee n   p ix e lo ca tio n s   an d   th r o b o tic  ar m s   wo r k s p ac e.   Du r in g   ca lib r atio n ,   th ar m   was m an u ally   alig n ed   with   f iv r ef er en c p o in ts   o n   th to u ch s cr ee n ,   an d   t h c o r r esp o n d in g   p ix el  co o r d in ate s   ( x ,   y )   an d   p h y s ical  co o r d in ates  ( X,   Y,   Z )   wer e   s to r ed   in   ca lib r atio n   f ile  ( c alib . js o n ) .   T h s y s tem   th e n   a p p lied   lin ea r   o r   b ilin ea r   in ter p o latio n   t o   co n v er t   d etec ted   OC R   p o s itio n s   in to   r o b o tic  ar m   c o o r d in ates.  T h is   ca lib r atio n   y ield e d   m a p p in g   a cc u r ac y   o f   ap p r o x im ately   ± 0 . 5   to   1 . 0   c m   an d   was  r ep ea te d   p r io r   to   ea ch   ex p e r im en to   e n s u r co n s is ten cy .   T h ese   d etailed   s p ec if icatio n s   p r o v i d e   b l u ep r in t   f o r   r e - im p lem en ti n g   th e   p r o p o s ed   s y s tem   in   ac a d em ic  an d   r esear c h   en v ir o n m en ts .       3.   RE SU L T S AN AN AL Y SI S   T h p r o p o s ed   AI - d r iv en   r o b o tic  ar m   atten d an ce   s y s tem   was  ex p er im en tally   ev alu ate d   to   v er if y   its   p er f o r m an ce ,   ac cu r ac y ,   a n d   r e s p o n s tim u n d er   r ea l   class r o o m   co n d itio n s .   T h e   ex p er i m e n ts   wer co n d u cted   u s in g   a   R asp b er r y   Pi  4 - b ased   s etu p ,   wh er e   ea ch   m o d u le v o ice  r ec o g n itio n ,   OC R   d e tectio n ,   an d   in v er s k in em atics  ( I K)   co n tr o l was  test ed   in d iv id u ally   a n d   in   an   i n teg r ated   m a n n er .   T h v o ice  r ec o g n itio n   m o d u le,   im p lem en ted   u s in g   t h Vo s k   o f f lin s p ee ch   en g in e,   ac h iev ed   an   ac cu r ac y   o f   9 6 . 2 %,   ef f ec ti v ely   d etec tin g   u s er   co m m an d s   d esp ite  m o d er ate  b ac k g r o u n d   n o is e.   T h is   r o b u s tn ess   d em o n s tr ates  th s u itab ilit y   o f   th s y s tem   f o r   ty p ical  class r o o m   en v ir o n m e n ts .   T h OC R   m o d u le,   d e v elo p e d   u s in g   T ess er ac t,  o b tain ed   an   av e r ag ac c u r ac y   o f   9 5 . 8 u n d e r   s tan d ar d   lig h tin g ,   with   a   s lig h d ec r ea s in   p er f o r m an c d u r in g   g lar o r   p a r tial  o b s tr u ct io n .   T o g eth er ,   th ese   m o d u les  en s u r h ig h   co n f id en ce   in   c o m m an d - tex t   co r r esp o n d en ce ,   a   k e y   f ac t o r   i n   p r ev en ti n g   f alse  t r ig g er in g .   T h 3 - DOF  r o b o tic  ar m   ac h i ev ed   s u f f icien p r ec is io n   in   t o u ch s cr ee n   tap p in g   t h r o u g h   i n v er s k i n em atics - b ased   co n tr o l.  C alib r atio n   e x p er im en ts   co n f ir m ed   p o in tin g   er r o r   o f   less   th an   1   cm ,   wh ich   was  ad eq u ate  f o r   r eliab le  in ter ac tio n   with   s tan d ar d   to u ch s cr ee n   i n ter f ac es.  T h av er ag e   cy cle  tim e   p er   atten d an ce   en t r y   was  4 . 3   s ec o n d s ,   r ep r esen tin g   ef f icien t   en d - to - en d   task   e x ec u tio n   f r o m   co m m an d   r ec o g n itio n   t o   r o b o tic  ac tu atio n .   T h i n t eg r a te d   m u lti m o d al  d es ig n ,   c o m b i n i n g   b o t h   a u d it o r y   an d   v is u a i n p u ts ,   s ig n i f i ca n tl y   im p r o v e d   r el ia b il it y   b y   e n f o r ci n g   a   d u a l - c o n f ir m at io n   m ec h a n is m a   co m m a n d   was   e x e c u te d   o n l y   if   b o t h   s p e ec h   a n d   OC R   r esu lts   m atc h e d .   s u m m ar y   o f   t h e   s y s te m s   p e r f o r m an ce   m et r i cs  is   p r o v i d e d   i n   T a b l 2 .   Dat f o r   ca l cu lat io n s   a r e   o b t ai n e d   f r o m   T a b le   3   ex p er im en tal   t est  tr ial   d at a .   T h m o d u l ac cu r ac i es  ar c al cu lat ed :          = (         /     .      ) = ( 96 + 96 + 96 + 96 + 97 ) / 500   =   96 . 2%    +      = (     +      /     .      ) = ( 96 + 95 + 97 + 95 + 96 ) / 500 =   95 . 80%        = (         /     .     ) = ( 97 + 97 + 97 + 98 + 99 )   /   500   =   97 . 60%       T ab le  2 .   Per f o r m an ce   m etr ics o f   th p r o p o s ed   s y s tem   M e t r i c   P r o p o se d   s y st e m   V o i c e   r e c o g n i t i o n   a c c u r a c y   9 6 . 2 %   O C R   a c c u r a c y   9 5 . 8 %   I K   A c c u r a c y   9 7 . 6 %   R o b o t i c   a r p o i n t i n g   e r r o r   <   1   c m   O v e r a l l   s y s t e m   su c c e ss ra t e   9 2 . 8 %   C y c l e   t i me   p e r   e n t r y   ~ 4 . 3   se c o n d s       T ab le  3 .   R OVAA   t est d ata  f r o m   ex p er im e n tal  tr ials   Tr i a l   V o i c e - o n l y   f a i l   O C R - ma t c h i n g   o n l y   f a i l   IK - o n l y   f a i l   V o i c e O C R   o v e r l a p   f a i l   V o i c e I K   o v e r l a p   f a i l   O C R I K   o v e r l a p   f a i l   To t a l   f a i l u r e s   O v e r a l l   s u c c e ss ( %)   Tr i a l   1 ( 1 0 0 )   2   2   1   1   1   1   8   92   Tr i a l   2 ( 1 0 0 )   1   2   1   2   1   1   8   92   Tr i a l   3 ( 1 0 0 )   2   1   1   1   1   1   7   93   Tr i a l   4   ( 1 0 0 )   1   2   0   2   1   1   7   93   Tr i a l   5 ( 1 0 0 )   2   2   0   1   1   0   6   94   C a t e g o r y   F a i l   8   9   3   7   5   4   36     A v e r a g e                 9 2 . 8   S t d .   D e v .                 0 . 7 5       Fig u r 7   illu s tr ate s   th r o b o tic   ar m   d u r i n g   th atten d an ce - m ar k in g   o p er atio n .   I n   Fig u r 7 ( a) ,   th ar m   is   s h o wn   at  its   ca lib r ated   h o m p o s itio n ,   w h ile  Fig u r 7 ( b )   s h o ws  th ar m   ex ec u tin g   a   to u ch s cr ee n   tap   at  th e   Evaluation Warning : The document was created with Spire.PDF for Python.