T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  2 3 ,   No .   2 A p r il   2 0 2 5 ,   p p .   526 ~ 532   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 2 3 i 2 . 26275           526     J o ur na l ho m ep a g e h ttp : //telko mn ika . u a d . a c. i d   H u m a n ro bo co l la bo ra tion  w ith  m ix ed reality  f o r  in teractive  a nd sa fe  w o rk spa ces           Sa ng hu n Na m   D e p a r t me n t   o f   C u l t u r e   T e c h n o l o g y C o l l e g e   o f   F u t u r e   C o n v e r g e n c e ,   C h a n g w o n   N a t i o n a l   U n i v e r si t y C h a n g w o n S o u t h   K o r e a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   A p r   1 2 2 0 2 4   R ev i s ed   Dec   9 2 0 2 4   A cc ep ted   Dec   2 6 2 0 2 4       Re a li z in g   se a m le ss   c o ll a b o ra ti o n   b e tw e e n   h u m a n a n d   r o b o ts   in   s h a re d   w o rk sp a c e re q u ires   a d v a n c e d   s y ste m th a c a n   e n su re   sa f e t y   a n d   e ff ici e n c y   w h il e   c o n sid e rin g   th e   i n h e re n t   u n p re d icta b il it y   o f   h u m a n   m o v e m e n t.   T h is   p a p e p ro p o se a   s y ste m   th a in teg ra tes   m ix e d   re a li t y   (M R)  a n d   ro b o ti c s   th ro u g h   a   u n if ied   c o o r d in a te   sy s tem   to   f a c il it a te  re a l - ti m e   in tera c ti o n   a n d   c o ll a b o ra ti o n .   By   lev e ra g in g   a   M in terf a c e ,   h u m a n   c o ll a b o ra to rs  c a n   v isu a li z e   a n d   in tera c w it h   th e   p ro jec ted   p a th o f   th e   ro b o ti c   a rm s ,   th e re b y   e n h a n c in g   b o th   s p a ti a a w a r e n e ss   a n d   tas k   c o o rd in a ti o n .   T h e   p ro p o se d   s y ste m   a d a p ts  th e   r o b o t m o v e m e n p a th   d y n a m ica ll y   u sin g   th e   Vo ro n o i   d iag ra m   a lg o r it h m   to   m o d ify   tra jec to ries   in   re sp o n se   to   t h e   d e te c ti o n   o f   a   h u m a n   h a n d   w it h i n   a   p re d e f in e d   c a u ti o n   z o n e .   T h is  m e c h a n ism   re d u c e th e   risk   o f   c o ll isi o n s,   w h ich   e n su r e sa f e c o ll a b o ra ti v e   e n v iro n m e n ts.  T h e   p ro p o se d   sy ste m a b il it y   to   e x c h a n g e   m o ti o n   in f o r m a ti o n   b e tw e e n   th e   o p e ra to a n d   t h e   ro b o su p p o rt re a l - ti m e   a d ju stm e n ts  a n d   p r o m o tes   a n   in tu i ti v e   a n d   e ff icie n c o ll a b o ra t iv e   e x p e rien c e .   Ou f in d in g su g g e st  th a t   in teg ra ti n g   M R   tec h n o lo g y   in   h u m a n ro b o c o ll a b o ra t io n   sy ste m c a n   im p ro v e   s a f e t y   p ro to c o ls   a n d   o p e ra ti o n a f lu id it y   d ra m a ti c a ll y ,   th e re b y   re p re se n ti n g   a   sig n if ica n ste p   f o r w a rd   in   th e   d e v e lo p m e n o f   sa f e ,   e ff icie n t,   a n d   e f fe c ti v e   in tera c ti v e   ro b o t   sy s tem s.   K ey w o r d s :   Hu m an r o b o t c o llab o r atio n   Mix ed   r ea lit y     R ea l - ti m in ter ac tio n   Sp atial  p ath     Vo r o n o i a lg o r ith m   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   S an g h u n   Na m   Dep ar t m en t o f   C u lt u r T ec h n o lo g y ,   C o lle g o f   F u g u r C o n v er g e n ce ,   C h an g w o n   Natio n al   Un i v er s it y   2 0   C h an g w o n d ae h ak - r o ,   Uich an g - g u ,   C h a n g w o n - si G y eo n g s an g n a m - d o   5 1 1 4 0 ,   So u th   Ko r ea     E m ail:  s a n g h u n n a m @ c h an g wo n . ac . k r       1.   I NT RO D UCT I O N   I n d u s tr ial  r o b o ts   h av r ev o l u tio n ized   m a n u f ac tu r i n g   p r o ce s s es  b y   o f f er in g   h i g h   p r e cisi o n   an d   ef f icien c y   i n   r ep etiti v ta s k s   w it h i n   e n v ir o n m en t s   t h at  ar d is tin ct l y   is o lated   f r o m   h u m a n   i n ter v e n tio n .   S u c h   r o b o ts ,   w h ic h   ar d esig n ed   f o r   s p ec if ic  f u n ctio n s ,   e. g . ,   ass e m b lin g   ca r s   i n   f ac to r ies,  h a v e   m ar k ed   th i n itia s tep s   to w ar d   au to m a ted   p r o d u ctiv it y .   Ho w e v er ,   as  tech n o lo g y   h as  e v o l v ed ,   th d ep lo y m e n o f   r o b o ts   h a s   also   b ee n   ex te n d ed   b ey o n d   in d u s tr ial  s etti n g s   i n to   h u m an   s o cial  s p ac es,  e. g . ,   h o m e s ,   o f f ices,  h o s p itals ,   s h o p p in g   m all s ,   an d   air p o r ts .   T h ad v a n ce m e n t s   i n   ar ti f icial  i n tel lig e n ce   ( A I )   an d   m ac h in lear n i n g   h av o p en ed   t h e   p ath   f o r   r o b o ts   to   n o o n l y   i n ter p r et  h u m a n   n ee d s   a n d   i n t en tio n s   w it h   i n cr ea s ed   ac c u r ac y   b u a ls o   p r ed ict  th e m ,   t h u s   f ac ilit a tin g   s m o o t h er   an d   m o r i n t u it i v h u m an - r o b o co llab o r atio n   ( HR C )   [ 1 ] ,   [ 2 ] .   T h is   s h i f t   h a s   b r o ad en ed   th s co p e   o f   r o b o t ics  an d   in tr o d u ce d   th co m p l ex   d y n a m ic s   o f   h u m a n r o b o in ter ac tio n   ( HR I ) ,   w h ic h   h as  b ec o m e   an   e s s e n tia f ield   o f   s tu d y   [ 3 ] .   T h ev o lu tio n   o f   r o b o tics   en ab les  th a d ap t atio n   to   h u m a n   e m o tio n s ,   th r ec o g n itio n   o f   s o cial  cu es,  an d   p ar ticip atio n   in   m o r co m p lex   f o r m s   o f   co o p er atio n .   A s   r esu lt ,   r o b o ts   ar b ec o m i n g   e m p a th etic  co m p a n io n s   an d   co ll ab o r ato r s ,   ef f ec tiv el y   f u n cti o n in g   in   v ar io u s   en v ir o n m e n t s .   T h is   tr an s itio n   to w a r d s   i n telli g e n r o b o ts   u n v eils   n e w   p o s s ib ilit ie s   f o r   p er s o n alize d   ass i s ta n ce ,   h ea lt h ca r e,   ed u ca tio n ,   an d   c o m p a n io n s h ip ,   lead in g   to w ar d s   tr u l y   i n te g r ated   h u m a n - r o b o ec o s y s te m .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Hu ma n r o b o t c o lla b o r a tio n   w ith   mixe d   r ea lity fo r   in tera ctive   a n d   s a fe  w o r ksp a ce s   ( S a n g h u n   N a m )   527   R esear ch er s   h a v f o c u s ed   i n cr ea s in g l y   o n   h o w   H R I   ca n   b o p ti m ized   to   en h an ce   c o llab o r ativ e f f o r ts ,   s af et y ,   an d   m u tu a l u n d er s tan d i n g   b etw ee n   h u m an s   an d   r o b o ts   [ 4 ] ,   [ 5 ].   T h p r o g r ess io n   f r o m   s e g r eg ated   to   in teg r ated   en v ir o n m e n ts   i n   w h ich   h u m a n s   a n d   r o b o ts   ca n   co ex is a n d   co llab o r ate  h as  n ec es s itated   n u a n ce d   an d   ex ten s i v u n d er s ta n d in g   o f   s h ar ed   s p ac es.  S u ch   co llab o r atio n s   r eq u ir m o r th an   j u s p h y s ical  p r o x i m it y t h e y   d e m an d   e x ch a n g es  o f   p o s itio n al  i n f o r m atio n ,   r ec o g n itio n   o f   m u t u al  p r esen c e,   an d   s af an d   ef f ec ti v tas k   ex ec u t io n   [ 6 ] ,   [ 7 ] .   T h co m p le x it y   o f   HR C   ca n   b ca teg o r ized   i n to   f o u r   d is tin ct  lev els i )   s h ar ed   w o r k s p ac e   w it h o u s h ar ed   task s ,   ii )   s h a r ed   w o r k s p ac an d   task s   w i th o u p h y s ical  in ter ac tio n ,   iii )   s h ar ed   w o r k s p a ce   an d   task s   w ith   o cc asio n al  h a n d in g - o v er   in ter ac tio n s ,   an d   iv )   s h ar ed   w o r k s p ac w it h   d ir ec p h y s i ca ta s k   co llab o r atio n   [ 8 ] .   T h ese  clas s i f icatio n s   u n d er s co r th i n cr ea s i n g   n e ed   f o r   r o b o ts   to   n av ig ate  s h ar ed   s p ac es  an d   in ter p r et  h u m an   i n te n tio n s   an d   m o v e m e n ts   to   en s u r s y n er g i s tic  r elatio n s h ip   th at  i s   co n d u civ to   b o th   p r o d u ctiv it y   a n d   s af et y .   Fu r t h er m o r e ,   r ec en t   ad v a n ce m en ts   in   A I   h av e n ab led   r o b o ts   to   i n ter p r et  an d   p r ed ict  h u m an   i n ten tio n s   a n d   b eh av io r s   w it h   i n cr ea s ed   p r ec is io n ,   f ac ilit ati n g   n a tu r al  co m m u n icatio n   an d   d ec is io n - m ak in g   m ec h an i s m s   d u r in g   i n ter ac tio n   p r o ce s s e s   [ 9 ] ,   [ 1 0 ] .   T h is   tec h n o lo g ical  i n teg r atio n   p la y s   cr u cia r o le  i n   allo w i n g   r o b o ts   to   ad j u s an d   i m p r o v co llab o r a tio n   w ith   h u m a n   p ar tn er s   i n   r ea l - ti m e,   p r o v id in g   h i g h l y   c u s to m ized   u s er   ex p er ien ce .   His to r icall y ,   th H R C   co n ce p h as  b ee n   ex p lo r ed   th r o u g h   teleo p er atio n ,   w h er h u m a n   o p er a to r s   co n tr o r o b o ts   r em o tel y ,   p ar ticu lar l y   in   s ce n ar io s   d ee m ed   t o o   h az ar d o u s   f o r   d ir ec h u m a n   i n v o l v e m en t.  T h i s   m et h o d   h as  p la y ed   p iv o tal  r o le  in   v ar io u s   f ield s   a n d   o p er atio n s ,   e. g . ,   d is aster   r ec o v er y ,   w h er r o b o ts   ca n   tr av er s th r o u g h   d an g er o u s   t er r ain   u n d er   h u m an   g u id an c e.   T h ad v en o f   v ir tu al  r ea l it y   an d   au g m e n ted   r ea lit y   ( AR )   tech n o lo g ies  h a v f u r th er   b r id g ed   th g ap ,   en ab lin g   m o r in t u iti v r e m o te  co n tr o o f   r o b o ts   b y   p r o v id in g   o p er ato r s   w it h   i m m er s i v v is u al  r ep r ese n tatio n   o f   th e   r o b o t s   e n v ir o n m e n t [ 11 ] .   I n   ad d itio n ,   o th er   tech n o lo g ies,  e. g . ,   s i m u ltan eo u s   lo ca lizat io n   a n d   m ap p in g ,   co u p led   w it h   s en s o r y   i n p u t s   f r o m   d e v ices,  e. g . ,   lig h d etec tio n   a n d   r an g in g   o r   d ep th   s en s o r s ,   h a v en ab led   th cr ea tio n   o f   d y n a m ic  th r ee - d i m e n s io n al  ( 3 D )   m ap s ,   w h ich   h as  f ac ili tated   p r ec is co n tr o l o v er   r o b o tic  ac tio n s   in   v ir t u alize d   r ea l - w o r ld   s ettin g s   [ 12 ].   Am o n g   th s co p o f   tech n o lo g ie s   to   e n h a n ce   H R C ,   AR   is   p ar tic u lar l y   tr an s f o r m ati v b ec au s i p r o v id es  r ea l - ti m e   o v er la y   o f   v ir t u al  in f o r m at io n   o n to   th p h y s ical  w o r ld ,   an d   th is   co n v er g e n ce   o f   d ig ital  a n d   p h y s ical  r ea liti es   h as  i m p r o v ed   th s p atia a w ar en ess   an d   i n ter ac tiv ca p ab ilit ies  b et w ee n   h u m a n s   an d   r o b o ts   co n s id er ab l y     [ 13 ] ,   [ 14 ] .   T h r ea l - ti m co m p u tat io n al  p o w er   o f   AI   f u r th er   en r ic h es  th i s   i n t er ac tio n   b y   p r ed ictin g   a n d   v is u alizi n g   t h r o b o t s   m o v e m en p ath s ,   w h ic h   allo w s   h u m an   co llab o r ato r s   to   ad ap th e ir   ac tio n s   ef f ec ti v el y ,   th er eb y   en s u r i n g   h ar m o n io u s   an d   ef f icie n t c o llab o r ativ p r o ce s s es [ 15 ].   T h ap p licatio n   o f   A R   tec h n o lo g y   in   t h m a n u f ac t u r i n g   s ec to r   is   r ev o lu tio n izi n g   p r o d u ctio n   li n e   ef f icien c y   a n d   w o r k er   s a f et y   [ 1 6 ] .   Fo r   ex am p le,   t h r o u g h   AR ,   e m p lo y ee s   ca n   v i s u a lize  t h o p er atio n al  s tatu s   o f   co m p le x   m ac h i n er y   i n   r ea l - ti m o r   f o llo w   m ain ten a n ce   p r o ce d u r es  s tep   b y   s tep .   T h is   is   p ar ticu lar l y   ef f ec tiv e   i n   r ed u ci n g   ti m a n d   co s ts   ass o ciate d   w i th   tr a in i n g   n e w   e m p lo y ee s .   A d d it io n all y ,   eq u ip m en t   ad j u s t m e n g u id es  u tili zi n g   AR   m in i m ize  er r o r s   in   p r o ce s s es  r eq u ir i n g   p r ec is io n   w o r k   a n d   f ac ili tate  co llab o r atio n   in   t h p r o d u ct  d esig n   a n d   p r o to t y p r ev i e w   p r o ce s s   b y   o v er la y i n g   v ir tu a m o d els  o n to   th e   r ea en v ir o n m e n t,  th er eb y   s h o r ten i n g   t h d ev elo p m en c y cle   [ 1 7 ] [ 1 8 ] .   T h u s ,   AR   s u p p o r ts   d ec is io n - m ak i n g   an d   en h a n ce s   w o r k er   in ter ac tio n s   at  v ar io u s   s ta g es  in   m a n u f ac tu r in g ,   o p en i n g   u p   n e w   p o s s ib ilit ie s   b e y o n d   tr ad itio n al  m a n u f ac t u r i n g   m et h o d s .   E x is ti n g   tec h n o lo g ies  o p er ate   b y   p r io r itizin g   h u m a n   s a f et y ,   allo w i n g   r o b o ts   to   av o id   co n tact  w i th   w o r k er s   b y   p r ed ictin g   h u m an   m o v e m e n ts .   Ho w e v er ,   w h ile   ad v an ce m en ts   i n   AI   en ab le  r o b o ts   to   an ticip ate   h u m a n   ac tio n s ,   h u m a n s   ca n n o p r e d ict  r o b o t   m o v e m e n t s .   T h is   p ap er   p r o p o s es  a   s tu d y   to   f ac ilit ate  HR C   b y   in te g r atin g   m i x ed   r ea lit y   ( MR )   tech n o lo g y   w it h   t h Mic r o s o f Ho lo L en s   2   d ev ice.   T h r o u g h   M R ,   h u m an s   ca n   v is u alize   t h r o b o t s   m o v e m e n p ath ,   allo w i n g   th e m   to   av o id   d is r u p tin g   th r o b o t s   tas k s .   T r ad itio n al  h u m a n   s af et y - ce n ter ed   co llab o r atio n   s y s te m s   p r io r itize  h u m a n   s a f et y ,   w h ic h   m a y   d ec r ea s r o b o tic   task   ef f icie n c y .   I n   co n tr ast,  h u m a n - r o b o in ter ac tio n   ( HR I )   s y s te m   th a e m p h asize s   m u t u al  co llab o r atio n   en ab les  b o th   s a f et y   a n d   o p er atio n al  ef f icie n c y   b y   m i n i m izi n g   in ter f er en ce   b et w ee n   h u m a n   a n d   r o b o m o v e m en ts .   A d d itio n al l y ,   th s y s te m   an t icip ates  s p atia d y n a m ics  i n   s h ar ed   en v ir o n m e n an d   d y n a m ica ll y   a d j u s ts   th r o b o t tr aj ec to r y   b ased   o n   h u m a n   ac tiv it y   to   m iti g ate  p o ten ti al  co llis io n s   an d   co o r d in ate  task s .   B y   b r id g i n g   th g ap   b et w ee n   h u m a n   i n te n a n d   r o b o ac tio n s   t h r o u g h   MR,  t h i s   s tu d y   ai m s   to   p r o m o te  s a f er ,   m o r in t u it iv e,   a n d   p r o d u ctiv HR C ,   m ar k in g   s i g n i f ica n t s tep   f o r w ar d   i n   th HR I   f ield .   I n   s ec tio n   2 ,   th i s   p ap er   ex am i n es  t h u s o f   MR  tec h n o lo g y ,   s p ec i f icall y   t h r o u g h   Mic r o s o f t   Ho lo L en s   2 ,   to   en ab le  ad v an ce d   co llab o r atio n   b etw ee n   h u m an s   an d   r o b o ts ,   h ig h li g h tin g   th in te g r atio n   o f   v ir tu a an d   p h y s ical  w o r ld s   f o r   en h an ce d   in ter ac tio n .   Sectio n   3   f o cu s es   o n   th i m p le m e n t atio n   an d   ev alu atio n   o f   th p r o p o s ed   MR - b ased   s y s te m ,   s h o w ca s in g   its   p o ten t ial  to   im p r o v s af et y ,   ef f icie n c y ,   an d   in t u iti v e   co m m u n icatio n   i n   HR C Secti o n   4   t h co n clu s io n   u n d er s co r es  th s i g n if ican i m p ac o f   in teg r ati n g   M R   w it h   r o b o tics   o n   th f u tu r o f   co lla b o r ativ task s ,   e m p h a s izi n g   t h n ee d   f o r   f u r t h er   r esear ch   o n   p ath   p lan n i n g   an d   co llis io n   a v o id an ce   to   ex p an d   th tech n o lo g y s   ap p licab ilit y   an d   r esp o n s i v en e s s   i n   d y n a m i en v ir o n m e n ts .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  2 3 ,   No .   2 A p r il   20 2 5 5 2 6 - 532   528   2.   M I XE RE AL I T SYS T E M   MR  b r id g es  th g ap   b et w ee n   t h r ea a n d   v ir t u al  w o r ld s   b y   cr ea tin g   en v ir o n m e n ts   w h er p h y s ical   an d   d ig ital  ele m e n t s   co ex is a n d   in ter ac in   r ea ti m e.   AR ,   s u b s et  o f   MR,  en h a n ce s   th u s er s   p er ce p tio n   b y   o v er la y i n g   v ir tu al  i n f o r m atio n   o n to   th eir   r ea l - w o r ld   v ie w ,   w h ic h   ca n   b ac h iev e d   u s i n g   v ar io u s   d ev ice s ,   in cl u d in g   d esk to p   co m p u ter s ,   h an d h eld   tab lets ,   an d   h ea d - m o u n ted   d is p la y s   e. g . ,   t h Go o g le  Glass   a n d   Mic r o s o f Ho lo L en s   d ev ices  [ 1 9 ] .   T h ese  tech n o lo g ie s   an a l y ze   th p h y s ical  en v ir o n m e n to   p lace   v ir tu al  o b j ec ts   ac cu r atel y ,   t h er eb y   e n r ich i n g   n u m er o u s   ap p licat io n s   i n   v ar io u s   f ie ld s ,   e. g . ,   ed u ca tio n ,   d esig n ,   h ea lt h ca r e,   en ter tai n m e n t,  a n d   r o b o tic  c o llab o r atio n   [ 20 ] ,   [ 21 ].   As  m en t io n ed   p r ev io u s l y ,   AR   en r ic h es   th e   u s er s   p er ce p tio n   b y   o v er la y i n g   ad d itio n al  i n f o r m atio n   o n   th o b j ec ts   o r   lo ca tio n s   th e y   o b s er v e;  h o w e v er ,   MR  ex ten d s   th ese  ca p ab ilit ies  b y   in teg r ati n g   v ir t u al   in f o r m atio n   w it h   c h an g es   in   t h p h y s ica w o r ld   [ 22 ] .   T h is   i n teg r at io n   h as  ap p licatio n s   ac r o s s   v ar io u s   s ec to r s ,   e. g . ,   ed u ca tio n ,   d esi g n ,   h ea lth ca r e,   en ter tain m en t,  an d   r o b o t ics  co llab o r atio n   r esear ch   [ 23 ] ,   [ 24 ] .   T h ess en c e   o f   MR  lie s   i n   its   ab ili t y   to   m er g th p h y s ical  a n d   v ir t u al  w o r ld s   s ea m le s s l y ,   t h er eb y   f a cilitati n g   r ea l - ti m e   in f o r m atio n   e x ch a n g e,   w h ich   en s u r es  t h at  v ir t u al  d ata  o v er la y   an d   in ter ac w it h   th p h y s ical  en v ir o n m e n t,   th er eb y   cr ea ti n g   u n if ied   ex p er ien ce   w h er u s er s   p er ce iv b len d ed   r ea lit y .   MR   tec h n o lo g y   en ab le s   t h e   p r o j ec tio n   o f   v ir t u al  in f o r m atio n   o n to   r ea o b j ec ts ,   w h i ch   allo w s   u s er s   to   v is u alize   an d   p r ed ict  r o b o m o v e m e n ts   ac c u r atel y ,   t h er eb y   e n h an c in g   s a f et y   a n d   co llab o r atio n   in   r o b o tics   [ 25 ] .   Usi n g   MR  d is p la y s   an d   h an d   i n ter f ac es,  u s er s   ca n   s p ec if y   r o b o t s   d esti n atio n   a n d   tr aj ec to r y   to   av o id   o b s tac les,  w h ich   e n s u r es   ef f icien t ta s k   ex ec u tio n   w h ile  av o id in g   co llis io n s   [ 26 ].   As  s h o w n   i n   F ig u r e   1 ,   th p r o p o s ed   s y s te m   i n te g r ates  an   M R   s y s te m ,   r o b o co n tr o s y s t e m ,   an d   a   n et w o r k   s er v er .   T h e   ap p licatio n   o f   Ho lo L en s   an d   n et w o r k   s er v er   s y s te m   d ev elo p ed   w er i m p le m en ted   u tili zi n g   t h u n it y   g a m e n g i n e.   U n it y   g a m e   en g i n s er v e s   as  a   p o w er f u l   d ev elo p m e n t   p latf o r m   o f f er in g   co m p le x   3 en v ir o n m en co n s tr u ctio n   a n d   r ea l - ti m d ata  p r o ce s s in g   ca p ab ilit ies,  es s e n tial  f o r   r ea lizin g   ad v an ce d   i n ter ac tio n s   s u c h   a s   u s er   h an d   p o s itio n   r ec o g n itio n .   T h is   a llo w ed   d ev elo p er s   to   m o r ea s il y   i m p le m en h i g h   le v el s   o f   i n ter ac tio n   w it h in   t h M R   en v ir o n m en t a n d   r ea l - t i m n et w o r k   co m m u n icatio n s .           Fig u r 1 .   Stru ct u r o f   th M R   co llab o r atio n   s y s te m       Her e,   th Ho lo L e n s   2   is   ce n tr a l to   th MR  s y s te m .   T h Ho lo L e n s   2   is   s o p h i s ticated   M R   d ev ice  th at  s ea m le s s l y   i n te g r ates  C P U,   GP U,   h ea d p h o n es,  an d   n et wo r k   m o d u le  f o r   co m p r eh e n s iv f u n ctio n alit y .   T h e   Ho lo L en s   2   also   u s es  d ep t h   s en s o r   to   m ap   th o b s er v ed   en v ir o n m en an d   cr ea te  MR  s p ac b ased   o n   s p atial  co o r d in ate  s y s te m ,   w h ich   allo w s   t h Ho lo L en s   2   to   tr ac k   t h u s er s   h a n d   m o v e m en ts   an d   r ec o g n ize   g est u r es a cc u r atel y ,   t h er eb y   r ea lizin g   in tu i tiv co m m an d   ex e cu tio n .   T w o   k e y   ele m en ts   ex is i n   t h e   p h y s ica en v ir o n m en t,  i.e . ,   th r o b o tic  a r m   a n d   th h u m a n   h an d .   T h e   tr aj ec to r y   o f   t h r o b o tic  ar m   is   r ep r esen ted   i n   th e   p h y s ical   en v ir o n m en t.  T h Ho lo L e n s   2   an d   b o th   h a n d s   tr ac k ed   b y   Ho lo L en s   2   ex i s in   t h M R   e n v ir o n m e n t.  T o   r ea lize  ef f ec ti v i n teg r at io n   o f   t h p h y s ical  a n d   v ir tu a en v ir o n m e n ts ,   t h H o lo L en s   2   ( w o r n   b y   th o p er ato r )   f u n ctio n s   as  p i v o tal  in ter f ac e.   T h is   co n f i g u r atio n   i n v o lv es   ali g n i n g   th Ho lo L e n s   2 s   co o r d in ate  s y s te m   w it h   t h at  o f   th r o b o t s   to   f ac il itate   ef f ec tiv s p atial  s y n c h r o n izati o n ,   as  s h o w n   in   Fi g u r e   2 .   T h is   alig n m e n is   cr u c ial  to   en s u r e   th at  m o v e m e n t s   in   th p h y s ical  s p ac ar m ir r o r ed   ac cu r ately   a n d   in ter ac ted   w i th   in   th M R   en v ir o n m e n t,  w h ich   en ab les  p r ec is e   co n tr o l a n d   co llab o r atio n   b et w ee n   th h u m a n   o p er ato r s   an d   r o b o tic  s y s te m s .   T h r o b o tic  ar m   o p er ates  in   th p h y s ical  w o r ld   co o r d in ate  s y s te m ,   d en o ted    ,   an d   th Ho lo L en s   2   e m p lo y s   i ts   d is t in ct  v ir t u al  co o r d in ate  s y s te m     p o s itio n s   o f   t h h u m an   h a n d s ,   as tr ac k ed   b y   th Ho lo L e n s   2 ,   ar r ep r esen ted   in   th is   v ir t u al   co o r d in ate  s y s te m   .   To   p r ev en co llis io n s   b et w ee n   th r o b o tic  ar m   an d   th e   o p er ato r s   h an d s ,   th e ir   p o s itio n s   m u s t   b r ec o n ciled   w it h i n   u n if ied   co o r d in ate  s y s te m ,   w h ic h   n ec ess itate s   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Hu ma n r o b o t c o lla b o r a tio n   w ith   mixe d   r ea lity fo r   in tera ctive   a n d   s a fe  w o r ksp a ce s   ( S a n g h u n   N a m )   529   th d ef i n itio n   o f   m i x ed   w o r ld   co o r d in ate  s y s te m      ( d en o ted   w h er t h Ho lo L e n s   2   an ch o r   f u n ctio n   alig n s   t h M R   en v ir o n m e n w it h   t h a n ch o r s   p h y s ica co o r d in ates ) .   Fo llo w i n g   an   e n v i r o n m e n tal  s ca n   w it h   th Ho lo L e n s   2 ,   th u s er   m a n u al l y   s ets  t h an c h o r s   p o s it io n   an d   o r ien tatio n   to   en s u r th at  t h v ir t u al  a n d   p h y s ical  co o r d in ate  s y s te m s   a r alig n ed   t h r o u g h   ca l ib r atio n   p r o ce s s .   T h is   in te g r atio n   a llo w s   th p r o p o s ed   MR  co llab o r atio n   s y s te m   to   c o n v er an d   i n ter p r et  th Ho lo L e n s   2   d ev ice s   p o s itio n al  d at in   th co n tex o f   th m i x ed   w o r ld   co o r d in ate  s y s te m .   C o m m u n icat io n   b et w ee n   th Ho lo L e n s   2   an d   th r o b o co n tr o co m p u ter   is   cr itical  to   co o r d in ate  m o v e m en ts   a n d   en s u r s af et y .   T h p o s itio n   d ata  o f   t h u s e s   h an d s   ( ca p tu r ed   b y   t h e   Ho lo L en s   2 )   ar tr an s m itted   t o   th r o b o c o n tr o co m p u ter ,   w h ic h   th e n   r etu r n s   t h r o b o t s   p lan n ed   m o v e m e n t   p ath   to   t h M R   i n ter f ac e.   T h is   in ter ac tiv e   p r o ce s s   allo ws  t h u s er   to   m o n i to r   an d   a d j u s to   th e   r o b o t tr aj ec to r y   v is u all y   i n   r ea l ti m e ,   th er eb y   p r ev en ti n g   p o ten tial  co llis io n s .           Fig u r 2 C o o r d in atio n   o f   th e   MR c o llab o r atio n   s y s te m       T h n et w o r k   s er v er   m an a g es  a n d   s to r es  th p o s itio n al  d ata  o f   th u s er s   h a n d s   in   t h M R   s y s te m   a n d   th cu r r en a n d   p r o j ec ted   m o v e m en ts   o f   t h r o b o tic  ar m s   g r ip p er .   T h is   s er v er   i m p le m e n t s   w eb - b ased   HT T co m m u n icatio n   to   e n s u r s e a m les s   i n teg r atio n   ac r o s s   t h e   s y s te m s .   Usi n g   t h U n it y W eb R eq u est.P o s t( )   f u n ctio n ,   th h a n d   p o s itio n   d ata  f r o m   t h Ho lo L e n s   ar e   u p lo ad ed   p er io d icall y   to   th n et w o r k   s er v er .   Si m i lar l y ,   t h r o b o co n tr o s y s te m   r e g u lar l y   u p d ates  th s er v er   w ith   th r o b o tic  ar m s   lo ca tio n   an d   i n ten d e d   p ath .   W h en   t h r o b o tic  ar m s   I is   s p ec if ied   i n   Un it y W eb R eq u est.Ge t( ) ”  r eq u est  to   th n et w o r k   s er v er ,   th s er v er   r esp o n d s   w it h   th r elev an p o s itio n   a n d   3 s p atial  d ata,   w h ich   i s   th e n   co n v e y ed   to   th Ho lo L e n s   2 .   T h is   m ec h a n is m   allo w s   t h r o b o co n tr o s y s te m   to   ad j u s it s   o p er atio n s   b ased   o n   th u s e r s   h a n d   p o s itio n s ,   en h a n ci n g   co llab o r ativ s a f e t y   a n d   ef f icie n c y .   Data   ex c h an g b et w ee n   t h s er v er   a n d   th e   s y s te m s   i s   f ac ilit ated   u s in g   J SON  f o r m at,   en ab lin g   s tr ai g h tf o r w ar d   p ar s in g   a n d   u tili za tio n   o f   n u m er ic al  d ata  f o r   b o th   t h e   MR a n d   r o b o t c o n tr o l sy s te m s .         3.   H UM AN RO B O T   CO L L A B O RATI O N   T h e   3 D   co llab o r atio n   s y s te m   in te g r ates  th Ho lo L e n s   2   w it h   th r o b o tic  m ec h an i s m s   in   d ef in ed   s p ac e.   Usi n g   t h Ho lo L e n s   2 ,   u s er s   ca n   co n tr o th r o b o t s   ac tio n s   i n   th o p er atio n al  en v ir o n m e n t.  T h e   p r o p o s ed   s y s te m   e m p lo y s   i n v er s k in e m atic s   to   ca lcu late   th r o b o ar m s   j o in an g le s ,   w h ic h   allo w s   it  to   m o v to   p r ed eter m i n ed   p o s it io n s .   T h m o v e m e n tr aj ec to r y   o f   t h r o b o ar m ,   in cl u d i n g   t h s eq u e n ce   b y   w h ic h   th g r ip p er   ac ce s s es  t h ese  p o s itio n s ,   is   ca lcu lated   an d   th en   v is u alize d   o n   th H o lo L en s   2 ,   th er eb y   ad d r ess in g   s a f et y   co n ce r n s   i n h er en in   r ea l - ti m co llab o r atio n   s y s te m s .   W h en   p o ten tial  co llis io n   is   d etec ted ,   w h ic h   is   in d icate d   b y   th h a n d   p o s itio n   r ec o g n ized   b y   Ho l o L en s   2 ,   th s y s te m   r ec alcu l a tes  th e   r o b o t s   p ath   d y n a m icall y   to   en s u r tas k   co n ti n u at io n   w it h o u t i n cid e n t.   I n   s h ar ed   en v ir o n m e n w h er h u m a n s   a n d   r o b o ts   co ex is t,  th in h er en t   v ar iab ilit y   i n   h u m a n   m o v e m e n m ea n s   t h at  i n d iv i d u als  ca n n o r ep licate  th p r ec is m o v e m e n t s   o r   ti m in g   o f   a   r o b o t.  T h u s ,   th e   r o b o ts   m u s ad ap to   th u n p r ed ictab le  n atu r o f   h u m a n   m o tio n   to   en s u r s af co llab o r atio n s .   R o b o ts   ar eq u ip p ed   w it h   s en s o r s   th a ca n   b u s ed   to   tr ac k   an d   a n ticip ate  h u m a n   m o v e m en t s h o w e v er ,   it  is   d if f ic u lt  f o r   h u m a n s   to   p r ed ict  th r o b ot s   ac tio n s .   A R   tec h n o lo g y   ad d r ess es  t h is   i s s u b y   in teg r ati n g   an d   v is u alizi n g   b o th   th r o b o t s   ac tu al  m o v e m en t   an d   its   p r o j ec ted   tr a j ec to r y ,   w h ich   n ec e s s i tates  t h r ea l - ti m ex c h a n g o f   p h y s ical  an d   v ir t u al  i n f o r m ati o n   to   alig n   t h r o b o t p o s iti o n   an d   o p er atio n al  en v ir o n m en w it h   th v ir t u al   en v ir o n m e n t s   co o r d in ate  s y s t e m .   T h u s ,   th m o v e m e n p at h   o f   th e   r o b o ar m   i s   tr a n s m itte d   an d   v is u alize d   i n   r ea tim e,   w h ich   en ab le s   th e   h u m an   o p er ato r   to   v er if y   t h a m al g a m atio n   o f   th p h y s ical  r o b o t   an d   its   tr aj ec to r y   th r o u g h   t h Ho lo L e n s   2 ,   as s h o w n   i n   Fi g u r e   3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  2 3 ,   No .   2 A p r il   20 2 5 5 2 6 - 532   530       Fig u r 3 Au g m e n ted   r o b o t v is u aliza tio n   i n   MR e n v ir o n m e n t       T h Ho lo L en s   2   r ec o g n izes  t h p o s itio n   o f   th u s er s   h a n d   in   th v ir t u al  en v ir o n m en t s   co o r d in ate  s y s te m ,   a n d   w h e n   th is   i n f o r m ati o n   is   r ela y ed   to   th r o b o s y s te m ,   r o b o co n tr o s y s te m   p r o m p tl y   r ec alcu la tes   th s p atial  p ath   o f   r o b o t   ar m   to   en s u r s af et y   b y   ad j u s ti n g   th s p atial  p ath   to   av o id   c o llis io n s   w ith   h u m a n s   o r   h alt  o p er atio n s   as  r eq u ir ed .   r o b o tic  s y s te m   d esi g n ed   f o r   h u m a n   c o llab o r atio n   i s   d etail ed   w it h   s tr u c tu r e   d iag r a m   i n   Fi g u r 4 .   T h is   s y s t e m   allo w s   a n   th o p er ato r   to   s eq u en tial l y   es tab lis h   th r o b o ar m s   d esti n a tio n   an d   o p er atio n   m o d tai lo r ed   to   f o r   s p ec if ic  tas k s .   I n it iall y ,   th s y s te m   a s s es s es   i f   w h eth er   th r o b o a rm in te n d ed   p o s itio n   f alls   w it h i n   its   o p er atio n al  ca p ac it y ,   w h ic h   is   f o llo w ed   b y   th ca lc u latio n   o f   th ca lc u lati n g   th r eq u ir ed   n ec e s s ar y   m o v e m en tr aj ec to r y .   T h o p er atio n al  r an g o f   th e   r o b o ar m   i s   p r ed ef in ed   b y   its   tech n ical  s p ec if icat io n s ,   an d   r e ac h ab ilit y   test   m o d u le  ev al u ates  i f   w h et h er   th o p er ato r s   co m m a n d s   ca n   b e   ex ec u ted   w i th i n   t h is   r a n g e   i n   ( 1 ) .   Utilizin g   t h Ho lo L e n s   2 ,   th o p er ato r s   ca n   v is u all y   co n f ir m   t h at  t h eir   th e   d esig n ated   tar g et   p o s itio n s   lie   w ith in   th e   r o b o ar m s   ca p ab ilit ies.  C o m m a n d s   t h at   f it  w it h in   t h o p er atio n a l   s p ac ar d ee m ed   e x ec u tab le ,   w h ile  a n d   co m m an d s   t h at  a r b ey o n d   t h o p er atio n al  s p ac ar co n s id er ed   u n f ea s ib le.   T h is   p r o ce s s   en s u r es  th at  tas k s   ar ass i g n ed   b ased   o n   th p r ac tical  r ea ch ab ilit y   an d   m o v e m en t   p o ten tial   o f   t h r o b o t a r m ,   w h i ch   o p ti m ize s   ef f icie n c y   a n d   f e asib ilit y   in   co llab o r ativ h u m a n r o b o t scen ar io s .             Fig u r e   4 R o b o t a r m   o p er atio n             =   {  ( (   )  , (   )  )        ( 1 )     I f   th r ea ch ab ili t y   te s is   s u c ce s s f u l,  t h r o b o co n tr o s y s t e m   f o r w ar d s   th co m m an d   to   th r o b o t   ar m ; o th er w i s e,   t h r o b o t c o n tr o l s y s te m   p r o m p t s   t h o p er ato r   to   ad j u s t t h o p er atio n .   B ased   o n   th o p er ato r in s tr u ctio n s ,   t h s y s te m   d ev i s es  m o v e m e n p at h   f o r   t h r o b o ar m ,   w h ich   i s   t h en   ac ti v ated   to   f o llo w   t h i s   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Hu ma n r o b o t c o lla b o r a tio n   w ith   mixe d   r ea lity fo r   in tera ctive   a n d   s a fe  w o r ksp a ce s   ( S a n g h u n   N a m )   531   d esig n ated   p ath .   No te  th at  th e   p ath   g en er atio n   p r o ce s s   u t iliz es  in v er s k i n e m atics  to   ca lcu late  th r o u te  f r o m   th s tar ti n g   p o in to   th tar g eted   lo ca tio n .   I n   ad d itio n ,   in   th r o b o co n tr o s y s te m ,   e n ter in g   w o r k   lo o p   tr ig g er s   th r o b o tic  ar m   to   ex e cu te  th s p ec if ied   ta s k   r ep etiti v el y .     Ho w e v er ,   w h e n   o p er atin g   i n   s h ar ed   s p ac w it h   h u m a n s ,   t h h u m a n   b o d y   ca n   i n ter s ec t h r o b o t p ath   in   v ar io u s   s it u atio n s .   T h u s ,   to   r ea lize  s u f f icie n s a f et y ,   if   p er s o n   i s   d etec ted   w i t h in   th o p er atio n al   p ath w a y ,   th r o b o ar m   e ith e r   h alts   o r   r ec alcu late s   it s   tr a j ec to r y   b ased   o n   t h p er s o n s   lo ca tio n   a n d   t h e   p r o x i m it y   to   th r o b o t s   m o v i n g   p ar ts .   Mo v e m e n t   co m m a n d s   ar is s u ed   to   th r o b o t   ar m ,   an d   th A R   s y s te m   m o n ito r s   th e   p o s itio n   o f   t h u s er s   h a n d s .   I f   t h o p er ato r s   h an d   e n ter   p o ten tiall y   h az ar d o u s   ar ea   alo n g   t h e   r o b o ar m s   p ath ,   t h s y s te m   eith er   s to p s   t h ar m s   m o v e m en o r   g en er ate s   an   alter n at iv e   r o u te  to   av o id   co n tact.   T h r o b o s y s te m   t h en   eit h er   co m p lete s   t h tas k   as  i n s tr u cted   o r   r ep ea ts   t h p r o ce s s   as  r eq u ir ed ,   th er eb y   en s u r i n g   b o th   tas k   ef f i cien c y   a n d   s a f et y .   T h e   p a t h   r eg en e r a ti o n   m e th o d   u t i li z es   th e   V o r o n o i   d i ag r am   a lg o r it h m   t o   m o d if y   th t r a je c t o r y .   T y p i c al ly ,   h u m an s   u s e   b o t h   a r m s   f o r   t a s k s ;   th u s ,   th e   d i r e c ti o n s   o f   t h e   a r m s   a r e   r e p r e s en t e d   a s   v e ct o r s .   T h e   n e w   p a t h   is   t h e n   r e c al cu l a te d   o n   a   p l a n e   p e r p en d i cu l a r   t o   th e   a r m s   d i r e c t i o n .   H e r e ,   th e   V o r o n o i   d i a g r am   a lg o r it h m   is   a p p l i e d   w ith   f iv k ey   p o in ts ,   i . e . ,   th e   s t a r t in g   p o in t ,   th e   en d p o i n t ,   th in t e r s e c ti o n   p o in t   w i th   t h h u m an   a r m ,   an d   tw o   b o u n d a r y   p o in ts   r e p r es en tin g   th l im its   o f   th r o b o t s   m o v em en t p e r p e n d i cu l a r   t o   th e   i n it i a l   p ath .   A s   s h o w n   i n   F ig u r e   5 ,   th is   p r o c es s   g en e r a t e s   a   n ew   p a th   a l o n g   th e   d i ag r am s   b o u n d a r y .   W h en   tw o   p o te n ti a l   p at h s   em e r g e,   t h e   p at h   m o r e   d i s ta n t   f r o m   th e   h u m an   a r m   is   s el e c te d   t o   e n s u r e   s af e ty   an d   ef f i ci en cy .           Fig u r e   5 D y n a m ic  s p atial  p ath   g e n er atio n   u s i n g   Vo r o n o i d iag r a m   al g o r ith m       4.   CO NCLU SI O N   T h is   p ap er   h as  in tr o d u ce d   h u m a n r o b o co llab o r atio n   s y s te m   t h at  i n teg r ate s   MR  tec h n o lo g y   t o   ad d r ess   s af et y   c h alle n g es  i n   HR I .   T h p r o p o s ed   s y s te m   en h a n ce s   co llab o r atio n   b y   en ab li n g   u s er s   to   v is u alize   th r o b o t s   tr aj ec to r y ,   th er eb y   al lo w in g   th u s er s   to   p r ed i ct  th r o b o t s   m o v e m e n ts   a n d   co o r d in ate  th eir   ac tio n s   i n   s h ar ed   s p ac e.   I n t eg r atin g   M R   tec h n o lo g y   w i th   ad v an ce d   p ath   p la n n i n g   al g o r ith m s   r ep r esen t s   a   s ig n i f ica n s tep   f o r w ar d   i n   th e   f ield   o f   H R C .   T h is   i m p r o v e s   b o th   s af et y   a n d   ef f icie n c y ,   a n d   it  o p en s   u p   n e p o s s ib ilit ies  f o r   co llab o r ativ task s   t h at  w er p r ev io u s l y   t o o   r is k y   o r   co m p lex .   T h ese  r esu lt s   s u g g est  t h at   co m b i n i n g   MR  w it h   r ea l - ti m p ath   ad j u s t m en alg o r it h m s   ca n   s ig n i f ica n tl y   co n tr ib u te   to   en h a n ci n g   t h in t u iti v en e s s   a n d   s af e t y   o f   HR I .   P r ev io u s   s t u d ies  h av f o cu s e d   o n   en s u r i n g   th s af e t y   o f   h u m a n - ce n ter ed   HR I   b y   u s i n g   s e n s o r s   in s ta lled   o n   r o b o ts   to   d etec h u m a n   m o v e m e n t s ,   t h u s   e n ab li n g   s a f co llab o r atio n .   T h is   s t u d y   g o es   b e y o n d   th at   s co p b y   e m p h asiz in g   b id ir ec tio n al  HR I   t h at  allo w s   u s er s   to   v ie w   t h r o b o t s   m o v e m e n ts   a n d   an ticip ated   tr aj ec to r y ,   f ac ilit ati n g   r ea l - ti m ad j u s t m e n t s   to   th r o b o t s   p ath   to   en h a n ce   ef f icie n c y   w h i le  en s u r in g   h u m an   s af et y .   T h is   s y s te m   h a s   t h a d v an ta g o f   r ec o g n izi n g   h u m an   h a n d   m o v e m en ts   i n   r ea ti m a n d   d y n a m ical l y   ad j u s tin g   th p at h ,   th er eb y   e n h an ci n g   s a f et y   w h i le  m ai n tai n in g   o p er atio n al  e f f icien c y .   Fu t u r r esear ch   w ill  f o cu s   o n   f u r th er   i m p r o v i n g   t h r esp o n s iv e n es s   a n d   ac cu r ac y   o f   t h p r o p o s ed   s y s te m   a n d   en h a n ci n g   co llab o r atio n   s tab ilit y   an d   ef f icie n c y   th r o u g h   t h u s o f   m o r s o p h is ticated   p ath   p lan n i n g   an d   co llis io n   a v o id an ce   alg o r it h m s .   T h p r im ar y   o b j ec tiv o f   th is   s t u d y   is   to   est ab lis h   an   i n te g r ated   en v ir o n m e n w h er h u m a n s   an d   r o b o ts   ca n   co llab o r at h ar m o n io u s l y ,   th er eb y   p r esen ti n g   p o ten tial   ap p licatio n s   ac r o s s   v ar i o u s   f i eld s ,   s u c h   as   p er s o n alize d   as s is ta n ce ,   h ea lth ca r e,   a n d   ed u ca tio n .   T h is   s t u d y   p r o v id es  f o u n d atio n   f o r   ad v an cin g   th co llab o r ativ r elatio n s h ip   b et w ee n   h u m an s   an d   r o b o ts ,   s er v in g   as  b asis   f o r   f u t u r r esear ch   o n   r e al - ti m d ec is io n - m a k i n g   a n d   b eh av io r   p r ed ictio n   tech n o lo g ie s .       ACK NO WL E D G E M E NT S   T h is   r esear ch   w a s   s u p p o r ted   b y   B asic  Scie n ce   R e s ea r ch   P r o g r a m   th r o u g h   th Natio n al   R esear ch   Fo u n d atio n   o f   Ko r ea   ( NR F)  f u n d ed   b y   t h Mi n is tr y   o f   E d u ca tio n   ( NR F - 2 0 2 0 R 1 I 1 A 3 0 5 1 7 3 9 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  2 3 ,   No .   2 A p r il   20 2 5 5 2 6 - 532   532   RE F E R E NC E   [1 ]   A.   B o r b o n i ,   K .   V .   V .   R e d d y ,   I .   El a mv a z u t h i ,   M .   S .   AL - Q u r a i sh i ,   E.   N a t a r a j a n ,   a n d   S .   S .   A .   A l i ,   T h e   e x p a n d i n g   r o l e   o f   a r t i f i c i a l   i n t e l l i g e n c e   i n   c o l l a b o r a t i v e   r o b o t f o r   i n d u st r i a l   a p p l i c a t i o n s:   a   sy st e mat i c   r e v i e w   o f   r e c e n t   w o r k s ,   M a c h i n e s v o l .   11 ,   n o .   1 ,   p 1 1 1 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / mac h i n e s1 1 0 1 0 1 1 1 .   [ 2 ]   W.   W a n g ,   Y .   C h e n ,   R .   Li ,   a n d   Y .   J i a ,   L e a r n i n g   a n d   c o mf o r t   i n   h u ma n r o b o t   i n t e r a c t i o n :   A   r e v i e w ,   Ap p l i e d   S c i e n c e s v o l .   9 ,   n o .   2 3 ,   5 1 5 2 ,   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / a p p 9 2 3 5 1 5 2 .     [ 3]   N.   R o b i n s o n ,   B .   T i d d ,   D .   C a m p b e l l ,   D .   K u l i ć ,   a n d   P.   C o r k e ,   R o b o t i c   v i s i o n   f o r   h u m a n - r o b o t   i n t e r a c t i o n   a n d   c o l l a b o r a t i o n :   A   s u r v e y   a n d   s y s t e m a t i c   r e v i e w ,   A C M   T r a n s a c t i o n s   o n   H u m a n - R o b o t   I n t e r a c t i o n ,   v o l .   12 ,   n o .   1 ,   p p .   1 - 66 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 7 0 7 3 1 .   [ 4 ]   T .   K a n d a   a n d   H .   I sh i g u r o ,   H u man - R o b o t   I n t e r a c t i o n   i n   S o c i a l   R o b o t i c s ,   C R C   P r e ss,  2 0 1 7 .     [ 5 ]   T .   F o n g ,   I .   N o u r b a k h s h ,   a n d   K .   D a u t e n h a h n ,   A   su r v e y   o f   so c i a l l y   i n t e r a c t i v e   r o b o t s,   R o b o t i c a n d   Au t o n o m o u S y s t e m s ,   v o l .   4 2 ,   n o .   3 - 4 ,   p p .   1 4 3 - 1 6 6 ,   2 0 0 3 ,   d o i :   1 0 . 1 0 1 6 / S 0 9 2 1 - 8 8 9 0 ( 0 2 ) 0 0 3 7 2 - X .     [ 6 ]   A .   B a u e r ,   D .   W o l l h e r r ,   a n d   M .   B u ss,   H u ma n - r o b o t   c o l l a b o r a t i o n :   a   s u r v e y ,   I n t e r n a t i o n a l   J o u r n a l   o f   H u m a n o i d   Ro b o t i c s ,   v o l .   0 5 ,   n o .   1 ,   p p .   4 7 - 6 6 ,   2 0 0 8 ,   d o i :   1 0 . 1 1 4 2 / S 0 2 1 9 8 4 3 6 0 8 0 0 1 3 0 3 .   [ 7 ]   S.   H o p k o ,   J .   W a n g ,   a n d   R .   M e h t a ,   H u man   f a c t o r c o n si d e r a t i o n s   a n d   me t r i c i n   s h a r e d   s p a c e   h u ma n - r o b o t   c o l l a b o r a t i o n :   A   sy st e mat i c   r e v i e w ,   Fro n t i e rs  i n   Ro b o t i c s   a n d   AI v o l .   9 ,   p .   7 9 9 5 2 2 ,   2 0 2 2 ,   d o i :   1 0 . 3 3 8 9 / f r o b t . 2 0 2 2 . 7 9 9 5 2 2 .   [8 ]   M .   B d i w i ,   M .   P f e i f e r ,   a n d   A .   S t e r z i n g ,   A   n e w   st r a t e g y   f o r   e n su r i n g   h u man   safe t y   d u r i n g   v a r i o u s   l e v e l o f   i n t e r a c t i o n   w i t h   i n d u st r i a l   r o b o t s,   C I R A n n a l s ,   v o l .   6 6 ,   n o .   1 ,   p p .   4 5 3 - 4 5 6 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . c i r p . 2 0 1 7 . 0 4 . 0 0 9 .   [ 9 ]   F.   S e m e r a r o ,   A .   G r i f f i t h s ,   a n d   A.   C a n g e l o si ,   H u man r o b o t   c o l l a b o r a t i o n   a n d   mac h i n e   l e a r n i n g :   A   s y st e mat i c   r e v i e w   o f   r e c e n t   r e se a r c h ,   R o b o t i c a n d   C o m p u t e r - I n t e g r a t e d   M a n u f a c t u ri n g v o l .   7 9 ,   p .   1 0 2 4 3 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . r c i m. 2 0 2 2 . 1 0 2 4 3 2   [ 10 ]   P.   A maral ,   F .   S i l v a ,   a n d   V.   S a n t o s,   R e c o g n i t i o n   o f   G r a sp i n g   P a t t e r n s   U si n g   D e e p   L e a r n i n g   f o r   H u m a n R o b o t   C o l l a b o r a t i o n ,   S e n s o rs ,   v o l .   23 ,   n o .   2 1 ,   8 9 8 9 .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s 2 3 2 1 8 9 8 9   [ 11 ]   P .   M i l g r a m,  S .   Z h a i ,   D .   D r a sc i c ,   a n d   J.  G r o d sk i ,   A p p l i c a t i o n s   o f   a u g me n t e d   r e a l i t y   f o r   h u ma n - r o b o t   c o mm u n i c a t i o n ,   i n   Pro c e e d i n g s o f   1 9 9 3   I E EE/ RS J   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   R o b o t s a n d   S y st e m ( I RO S   ' 9 3 ) ,   J u l .   1 9 9 3 ,   p p .   1 4 6 7 - 1 4 7 2 ,   d o i :   1 0 . 1 1 0 9 / I R O S . 1 9 9 3 . 5 8 3 8 3 3 .   [ 12 ]   P .   W a n g ,   J.   X i a o ,   H .   L u ,   H .   Z h a n g ,   R .   Y a n ,   a n d   S .   H o n g ,   A   n o v e l   h u m a n - r o b o t   i n t e r a c t i o n   sy st e b a se d   o n   3 D   ma p p i n g   a n d   v i r t u a l   r e a l i t y ,   i n   2 0 1 7   C h i n e s e   A u t o m a t i o n   C o n g ress   ( C A C ) ,   O c t .   2 0 1 7 ,   p p .   5 8 8 8 - 5 8 9 4 ,   d o i :   1 0 . 1 1 0 9 / C A C . 2 0 1 7 . 8 2 4 3 8 3 6 .   [ 13 ]   T .   W i l l i a ms,  D .   S z a f i r ,   T .   C h a k r a b o r t i ,   a n d   H .   B .   A mo r ,   V i r t u a l ,   a u g me n t e d ,   a n d   mi x e d   r e a l i t y   f o r   h u m a n - r o b o t   i n t e r a c t i o n ,   i n   C o m p a n i o n   o f   t h e   2 0 1 8   A C M / I EE E   I n t e r n a t i o n a l   C o n f e re n c e   o n   H u m a n - R o b o t   I n t e ra c t i o n ,   M a r .   2 0 1 8 ,   p p .   4 0 3 - 4 0 4 ,   d o i :   1 0 . 1 1 4 5 / 3 1 7 3 3 8 6 . 3 1 7 3 5 6 1 .   [ 14 ]   D .   S z a f i r ,   M e d i a t i n g   h u m a n - r o b o t   i n t e r a c t i o n s   w i t h   v i r t u a l ,   a u g m e n t e d ,   a n d   m i x e d   r e a l i t y ,   i n   V i r t u a l ,   A u g m e n t e d   a n d   M i x e d   R e a l i t y .   A p p l i c a t i o n s   a n d   C a s e   S t u d i e s :   1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   V A M R ,   2 0 1 9 ,   p p .   1 2 4 - 1 4 9 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 2 1 5 6 5 - 1 _ 9 .   [ 15 ]   C .   H u t t o n ,   N .   S o h r e ,   B .   D a v i s,   S .   G u y ,   a n d   E .   S .   R o se n b e r g ,   A n   a u g me n t e d   r e a l i t y   mo t i o n   p l a n n i n g   i n t e r f a c e   f o r   r o b o t i c s,   i n   2 0 1 9   I EEE  C o n f e r e n c e   o n   Vi r t u a l   R e a l i t y   a n d   3 D   U se I n t e rf a c e ( VR) ,   2 0 1 9 ,   p p .   1 3 1 3 - 1 3 1 4 ,   M a r .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / V R . 2 0 1 9 . 8 7 9 8 0 1 0 .   [ 1 6 ]   G .   D .   V o i n e a ,   F .   G î r b a c i a ,   M .   D u g u l e a n ă ,   R .   G .   B o b o c ,   a n d   C.   G h e o r g h e ,   M a p p i n g   t h e   e me r g e n t   t r e n d s   i n   i n d u s t r i a l   a u g me n t e d   r e a l i t y ,   El e c t r o n i c s v o l .   12 ,   n o .   7 ,   p .   1 7 1 9 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s 1 2 0 7 1 7 1 9 .   [ 1 7 ]   G .   D .   M .   C o st a ,   M .   R .   P e t r y ,   a n d   A .   P.   M o r e i r a ,   A u g me n t e d   r e a l i t y   f o r   h u ma n r o b o t   c o l l a b o r a t i o n   a n d   c o o p e r a t i o n   i n   i n d u st r i a l   a p p l i c a t i o n s:   A   sy st e mat i c   l i t e r a t u r e   r e v i e w ,   S e n so rs v o l .   22 ,   n o .   7 ,   p .   2 7 2 5 ,   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / s 2 2 0 7 2 7 2 5 .   [ 1 8 ]   M.   D .   M u r a   a n d   G.   D i n i ,   A u g me n t e d   r e a l i t y   i n   a s s e m b l y   sy s t e m s:   s t a t e   o f   t h e   a r t   a n d   f u t u r e   p e r s p e c t i v e s ,   S m a r t   T e c h n o l o g i e s   f o r   P r e c i s i o n   A s s e m b l y :   9 t h   I F I P   W G   5 . 5   I n t e r n a t i o n a l   P r e c i s i o n   A s s e m b l y   S e m i n a r 2 0 2 0 ,   p p .   3 - 22 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 030 - 7 2 6 3 2 - 4_.   [1 9 ]   A.   C o p p e n s ,   M e r g i n g   r e a l   a n d   v i r t u a l   w o r l d s:   A n   a n a l y si o f   t h e   st a t e   o f   t h e   a r t   a n d   p r a c t i c a l   e v a l u a t i o n   o f   M i c r o so f t   H o l o l e n s ,   a rXi v   p re p r i n t ,   2 0 1 7 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 7 0 6 . 0 8 0 9 6 .     [ 20 ]   B .   B a c h ,   R .   S i c a t ,   H .   P f i st e r ,   a n d   A .   Q u i g l e y ,   D r a w i n g   i n t o   t h e   A R - C A N V A S :   d e si g n i n g   e m b e d d e d   v i su a l i z a t i o n s fo r   a u g me n t e d   r e a l i t y ,   Wo rks h o p   o n   I m m e rs i v e   A n a l y t i c s ,   I EE V i s v o l .   4 ,   N o v .   2 0 1 6 .   [ 21 ]   X .   W a n g ,   S .   K .   O n g ,   a n d   A .   Y .   C .   N e e ,   A   c o mp r e h e n si v e   su r v e y   o f   a u g me n t e d   r e a l i t y   a sse mb l y   r e se a r c h ,   A d v a n c e s   i n   Ma n u f a c t u r i n g ,   v o l .   4 ,   n o .   1 ,   p p .   1 - 2 2 ,   2 0 1 6 ,   d o i :   1 0 . 1 0 0 7 / s 4 0 4 3 6 - 015 - 0 1 3 1 - 4.   [ 22 ]   B .   A r n a l d i ,   P .   G u i t t o n ,   a n d   G .   M o r e a u ,   V i r t u a l   R e a l i t y   a n d   A u g me n t e d   R e a l i t y :   M y t h s a n d   R e a l i t i e s ,   Jo h n   W i l e y   &   S o n s,  2 0 1 8 .   [ 23 ]   W .   H ö n i g ,   C .   M i l a n e s,  L .   S c a r i a ,   T .   P h a n ,   M .   B o l a s ,   a n d   N .   A y a n i a n ,   M i x e d   r e a l i t y   f o r   r o b o t i c s,   2 0 1 5   I E EE/ RS J   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n t e l l i g e n t   R o b o t a n d   S y s t e m s (I RO S ) ,   2 0 1 5 ,   p p .   5 3 8 2 - 5 3 8 7 ,   d o i :   1 0 . 1 1 0 9 / I R O S . 2 0 1 5 . 7 3 5 4 1 3 8 .   [ 24 ]   E.   P e t e r e t   a l .,  D e si g n   f o r   c o l l a b o r a t i o n   i n   mi x e d   r e a l i t y :   t e c h n i c a l   c h a l l e n g e a n d   so l u t i o n s,   2 0 1 6   8 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   G a m e s   a n d   V i rt u a l   W o rl d f o r   S e ri o u s   A p p l i c a t i o n s (V S - G AM E S ) ,   2 0 1 6 ,   p p .   1 - 7 ,   d o i :   1 0 . 1 1 0 9 / V S - G A M ES.2 0 1 6 . 7 5 9 0 3 4 3 .   [ 25 ]   F.   G h i r i n g h e l l i ,   J.   G u z z i ,   G .   A .   D i   C a r o ,   V .   C a g l i o t i ,   L .   M .   G a mb a r d e l l a ,   a n d   A.   G i u st i ,   I n t e r a c t i v e   a u g me n t e d   r e a l i t y   f o r   u n d e r st a n d i n g   a n d   a n a l y z i n g   mu l t i - r o b o t   sy st e ms ,   i n   2 0 1 4   I EE E/ R S J   I n t e rn a t i o n a l   C o n f e re n c e   o n   I n t e l l i g e n t   R o b o t s   a n d   S y st e m s S e p .   2 0 1 4 ,   p p .   1 1 9 5 - 1 2 0 1 ,   d o i :   1 0 . 1 1 0 9 / I R O S . 2 0 1 4 . 6 9 4 2 7 0 9   [ 26 ]   F .   L e u t e r t ,   C .   H e r r man n ,   a n d   K .   S c h i l l i n g ,   A   sp a t i a l   a u g me n t e d   r e a l i t y   sy st e f o r   i n t u i t i v e   d i sp l a y   o f   r o b o t i c   d a t a ,   i n   2 0 1 3   8 t h   AC M / I EEE   I n t e r n a t i o n a l   C o n f e re n c e   o n   H u m a n - R o b o t   I n t e ra c t i o n M a r .   2 0 1 3 ,   p p .   1 7 9 - 1 8 0 ,   d o i :   1 0 . 1 1 0 9 / H R I . 2 0 1 3 . 6 4 8 3 5 6 0 .       B I O G RAP H Y   O F   AUTHO R       S a n g h u n   Na m           re c e iv e d   h is  B . S .   d e g re e   in   M e c h a n ica D e sig n   f ro m   Ch u n g - A n g   Un iv e rsit y ,   S o u t h   K o re a ,   in   1 9 9 9 .   He   re c e iv e d   h is  M . S .   a n d   P h . D.   d e g re e in   C o m p u ter   G ra p h ics   a n d   V irt u a l   R e a li ty   fro m   th e   G ra d u a te  S c h o o o f   A d v a n c e d   Im a g in g   S c ien c e ,   M u lt im e d ia  a n d   F il m   a Ch u n g - A n g   Un iv e rsit y ,   S e o u l,   S o u t h   Ko re a ,   in   2 0 0 1   a n d   2 0 1 2 ,   re sp e c ti v e l y .   F ro m   2 0 1 7   t o   2 0 1 9 ,   h e   w a s   a n   A s sista n P ro f e ss o a th e   S e o u M e d ia  I n stit u te  o f   T e c h n o lo g y ,   S o u th   Ko re a .   S in c e   2 0 1 9 ,   h e   h a b e e n   a n   A ss o c iate   P ro f e ss o a Ch a n g w o n   Na ti o n a l   Un iv e rsity .   His  re se a r c h   in tere sts  a re   in   in tera c ti v e   c o n ten ts,  V R/A R,   a n d   th e   m e tav e rse .   He   c a n   b e   c o n tac ted   a t   e m a il sa n g h u n n a m @c h a n g w o n . a c . k r .       Evaluation Warning : The document was created with Spire.PDF for Python.