I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   3 ,  J u n e   20 25 ,   p p .   2748 ~ 2 7 5 7   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 3 . pp 2 7 4 8 - 2 7 5 7           2748       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Indo o r  na v ig a tio n f o r mo bile  robo ts bas ed on d eep  reinforceme nt  l ea rning  wit h  conv o lutiona l neural n et wo rk       K ho a   Ng uy en  Da ng 1 ,   Va n T ra n T hi 2 ,   Ng uy en  Va n T ha n g 3   1 F a c u l t y   o f   En g i n e e r i n g   a n d   T e c h n o l o g y ,   I n t e r n a t i o n a l   S c h o o l ,   V i e t n a m  N a t i o n a l   U n i v e r si t y ,   H a n o i ,   V i e t n a m   2 F a c u l t y   o f   G e n e r a l   E d u c a t i o n ,   U n i v e r si t y   o f   La b o u r   a n d   S o c i a l   A f f a i r s ,   H a n o i ,   V i e t n a m   3 U n i v e r s i t y   o f   E n g i n e e r i n g   a n d   Te c h n o l o g y ,   V i e t n a m   N a t i o n a l   U n i v e r s i t y ,   H a n o i ,   V i e t n a m       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   J u l 1 5 ,   2 0 2 4   R ev is ed   Dec   2 3 ,   2 0 2 4   Acc ep ted   J an   1 6 ,   2 0 2 5       Th e   m o b il e   r o b o t  is  a n   i n telli g e n t   d e v ice   th a t  c a n   a c h iev e   m a n y   tas k s  in   li fe .   F o r   a u to n o m o u s,   n a v ig a ti o n   b a s e d   o n   th e   li n e   o n   th e   g r o u n d   is   o ften   u se d   b e c a u se   it   h e lp s  th e   r o b o t  to   m o v e   a lo n g   a   p re d e fin e d   p a t h ,   sim p li fies   th e   p a th   p la n n i n g ,   a n d   re d u c e s  th e   c o m p u tati o n a l  l o a d .   T h is  p a p e r  p re se n ts  a   m e th o d   fo r   n a v i g a ti n g   th e   f o u r - w h e e l  m o b i le  ro b o t   t o   trac k   a   li n e   b a se d   o n   a   d e e p   Q - n e two rk   a s  a   c o n tro l  a lg o rit h m   to   d e sire   th e   a c ti o n   o f  th e   m o b il e   ro b o t  a n d   a   c a m e ra   a s  a   fe e d b a c k   se n so r  t o   d e tec t  t h e   li n e .   Th e   c o n tro l   a lg o rit h m   u se s  a   c o n v o lu t io n   n e u ra l  n e two rk   (CNN )  t o   g e n e ra te  t h e   m o b il e   ro b o t  a c ti o n ,   d e fin e d   a s  a n   a g e n t  o f  d e e p   Q - n e two r k .   CNN   u se s  ima g e s  fro m   th e   c a m e ra   to   d e fin e   th e   sta te  o f  th e   d e e p   Q  n e two r k .   T h e   sim u latio n s  a re   p e rfo rm e d   b a se d   o n   G a z e b o   so ftwa re   wh ich   in c lu d e s  a   3 D  e n v iro n m e n t,   m o b il e   r o b o t  m o d e l,   li n e ,   a n d   P y t h o n   p r o g ra m m in g .   Th e   re su l ts  d e m o n stra te  th e   h i g h - p e rfo rm a n c e   trac k in g   o f  m o b il e   ro b o ts  wit h   c o m p lex   li n e   traje c to ries ,   a c h iev in g   e rr o rs  o f  l e ss   th a n   1 0 0   p x ,   wh ic h   is  c o m p a re d   with     th e   trad it io n a l  v isi o n   m e th o d   (V NS),   t h e   M S E   o f   th e   p r o p o sa l  m e th o d   is   0 . 0 2 6 4   l o we r  th a n   VN S   wit h   0 . 0 4 0 6 .   S h o wc a se s  p ro v e d   c o n v in c in g l y   th a t   e ffe c ti v e n e ss   su g g e ste d   a   c o n tr o l  a p p ro a c h .   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k s   Dee p   Q - n etwo r k   Gaz eb o   L in e  tr ac k in g   Mo b ile  r o b o t   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kh o a  Ng u y e n   Dan g   Facu lty   o f   E n g in ee r in g   an d   T e ch n o lo g y ,   I n ter n atio n al  Sch o o l,  Vietn am   Natio n al  Un iv er s ity   1 4 4   Xu a n   T h u y   R o ad ,   C au   Gi ay ,   Ha  No i 1 0 0 0 0 0 ,   Vietn am   E m ail:  k h o an d @ v n u is . ed u . v n       1.   I NT RO D UCT I O N   Mo b ile  r o b o ts   ( MR)  h av e  b ee n   r ap id ly   d ev el o p in g   in   m an y   f ield s   in   life   s u c h   as  in d u s tr y   [ 1 ] ,  m ilit ar y   [ 2 ] ,   a n d   m e d icin e  [ 3 ]   with   th e  p u r p o s e  o f   tr an s p o r tatio n   [ 4 ] ,   ass is tan ce   [ 5 ] ,   r escu e  [ 6 ] ,   ca v e   ex p lo r atio n   [ 7 ] ,   an d   o p er atio n   in   p o llu ted   e n v ir o n m en ts   [ 8 ]   to   ch ec k   th e  p o llu tio n   lev el  o f   th e  en v ir o n m e n t.  B ec au s e  th ey   ar e  v e r y   f lex ib le ,   p er f o r m   m an y   task s ,   ar e  au t o n o m o u s ,   an d   ca n   f r ee   u p   h u m an   h an d s .   Fo r   ea c h   m is s io n ,   MR  is   d esig n ed   with   d if f er en t  t y p es  as  two - wh ee l  m o b ile  r o b o ts   ( T W MR),   an d   f o u r - w h ee l  m o b ile   r o b o ts   ( FW MR),   [ 9 ] ,   [ 1 0 ] .   E ac h   ty p e  h as  ad v a n tag es  an d   d is ad v an tag es  in   t h e  s p ec if i c  ap p licatio n s .   Fo r   ex am p le,   T W MR  is   o f ten   s m all  in   s ize,   a n d   s m all  p ay lo ad   [ 1 1 ] .   W h ile  FW MR  h as  m o r e  r ig id ity ,   lar g er   p ay lo ad ,   b etter   d r iv ab ilit y ,   a n d   m o r e  s tab ilit y   in   co r n er i n g   [ 1 2 ] .   I n   g en e r al,   th e  FW M R   is   o f ten   u s ed   to   d em o n s tr ate  co n tr o l  alg o r ith m s   as  we ll  a s   ap p ly   th em   to   r ea l  life .   Ad d itio n s ,   th e  F W M R   is   s im i lar   to   a  ca r   v eh icle,   a n d   au to n o m o u s   v eh icle  s y s tem s   ar e  o f   in ter est  b o t h   in d o o r s   an d   o u td o o r s   n o wad ay s .   W ith   o u td o o r ,   th e  v eh icle  co u ld   u s e  th e  g lo b al  p o s itio n in g   s y s tem   f o r   n av i g atin g .   Ho wev er ,   th e  in d o o r   is   lack s   th is ,   wh ich   h as to   u s e  th e  lan d m ar k   o r   r o a d   m ar k in g s   to   co m p u te  its   p o s itio n   an d   tr ac k in g .   B y   u s in g   a  g lo b al  s en s o r   lik e  a  ca m er a  [ 1 3 ] ,   th e  b r o ad ca s tin g   s ig n al  is   s en t  to   all  m o b ile  r o b o ts ,   an d   th e  p o s itio n   o f   MR  is   d etec ted   b ased   o n   t h e  b r o ad ca s t  co n tr o l.  T h is   s y s tem   co u ld   s u p p o r t  th e  p o s itio n   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g   …   ( K h o a   N g u ye n   Da n g )   2749   m an y   MRs   in   th is   n etwo r k   b u t   th e  co n f ig u r atio n   co m p le x   an d   th e  l o w  s ig n al  tr a n s f er   af f ec t   to   p e r f o r m an ce   o f   ea ch   MR.  T o   lo ca lized   co n tr o l  MR,  en er g y   co n s u m p tio n   co m p ar is o n   [ 1 4 ]   r elatin g   to   tr ac k in g   ac cu r ac y   is   u s ed   to   s tr ict  cr iter io n .   T h is   wo r k   s h o ws  th e  h ig h   p er f o r m an ce   o f   MR  in   tr ac k in g   p o s itio n   f ield ,   b u t   m ain tain in g   en e r g y   a n d   its   co m p ar is o n   ar e  d if f icu lt  wo r k .   I t   n ee d ed   h ig h   ac cu r ac y   to   d ec i d e  th e  co n tr o ller   f o r   MR.  I f   th is   p er f o r m an ce   is   r ed u ce d   f o r   s o m e  r ea s o n ,   th e  tr a jecto r y   o f   MR  is   af f ec ted   an d   d o es  n o t  f o llo w  th e   p u r p o s e.   Oth er   r esear ch   r elate d   to   th e  co n t r o l  o f   ea c h   ac tu a to r   with   d ea d - z o n e  in p u t  [ 1 5 ]   is   to   m ain tain   th e  tr ajec to r y   o f   MR,  wh ich   co u ld   p r o v e  th e   s tab ilit y   o f   th e  L y a p u n o v   f u n ctio n   b u t   it  is   d if f ic u lt  to   ap p ly   t h em   to   r ea l  d ev ices  an d   en v ir o n m en t s .   B esid es,  an   ad ap tiv e  co n tr o l  alg o r ith m   b ased   o n   s lid in g   m o d e  c o n tr o l  [ 1 6 ]   was  d ev elo p ed   f o r   th e  later al  s tab ilit y   o f   m o b ile  r o b o ts   in   b o th   s im u latio n   an d   ex p er im en tal.   Her ein ,   th e  MR   co u ld   well  tr ac k   th e  S  p ath   tr a jecto r y .   Ho wev er ,   t h e  v ib r ate d   ap p ea r s   in   th e  y aw  r ate  an d   s lip   an g le  in   th e  f ast  u p d ate.   No r m ally ,   th e  c o n tr o l  alg o r ith m s   b ased   o n   lan d m ar k s   ar e  co m p le x   an d   n ee d   m o r e  s en s o r s   to   d etec t   th e  en v ir o n m e n t.  T h e r ef o r e ,   u s in g   lin e  m ar k in g s   s u ch   as  co l o r   lin es  an d   m a g n etis m   lin es  t o   g u i d e  MR  m o v es  to   th e  tar g et  is   o f ten   co n s id er e d   in   m an y   r esear ch   a n d   ap p lic atio n s .   Her ein ,   th e  co s t o f   th e  m ag n etis m   lin e  an d   its   s en s o r   f o r   d etec tin g   ar e  m o r e  ex p en s iv e  th an   th e  c o lo r   l in e.   I n   th is   p ap er ,   we  s elec t  t h e  b lack   lin e  o n   th e   g r o u n d   as th e  m a r k s   f o r   th e  M R .   T h e  d esig n in g   a u to m atic  n a v ig atio n   alg o r ith m s   f o r   MR   b ased   o n   th e  b lack   lin e  h av e  b ee n   im p lem en ted   b y   u s in g   an   in f r ar ed   s en s o r   ( I R )   [ 1 7 ]   an d   a   ca m er a  s en s o r   [ 1 8 ] .   B o th   s en s o r s   d eliv er   h i g h   ef f ec tiv en ess   f o r   ea ch   ap p licatio n .   Ho wev er ,   I R   is   o f ten   af f ec ted   b y   lig h t  in ten s ity   an d   t h e  co n d itio n   o f   th e   en v ir o n m en t,  wh ile  th e  ca m er a  h as m o r e  u s ef u l in f o r m atio n   b y   th e  lar g er   v iew  o f   th e  p o in t .   A  co m b in atio n   o f   ar tific ial  in tellig en ce   ( AI )   tr e n d s   is   d ev elo p in g   in   all  f ield s   o f   life .   T h en   AI   h elp s   MR  to   n av ig ate  lin es  is   f o cu s ed   in   s o m e  r esear ch   [ 1 9 ] ,  [ 2 0 ]   wh ich   u s es  an   ar tific ial  n eu r al  n etwo r k   ( ANN)   to   co m p u te  th e  s p ee d   o f   ea ch   ac tu ato r   o f   MR.  W ith   th i s   s tr u ctu r e,   t h e  d ataset  f o r   tr ai n in g   t h e  weig h t o f   ANN   n ee d s   a  lar g er   s ize  an d   is   d ef in ed   in   d etail.   T o   o v er co m e  th is   lim itatio n ,   r ein f o r ce m en t  lear n i n g   ( R L )   is   th e   m o s t  u s ed   in   au to m atic  n av ig atio n   b ec au s e  o f   its   s elf - lear n in g ,   e x p lo r atio n ,   an d   d is co v er y   o f   th e  en v ir o n m en t  [ 2 1 ] .   Ho wev er ,   it  h as  lim itatio n s   r elate d   to   th e  m em o r y   in   th e  co n tin u o u s   en v ir o n m en t  d u e  to   th e  s elf - lear n in g   p r o ce s s   wh ich   co u ld   b e  s o lv ed   b y   a  c o m b in atio n   o f   R L   an d   d ee p   lear n in g   ( DL )   ca lled   d ee p   r ei n f o r ce m en t  lea r n in g   ( DR L )   wh ich   u s es  th e  lo o p   b etwe en   ag e n t   an d   en v ir o n m en t  to   f in is h   th e   co n tr o l  task s .   Her ein ,   en v ir o n m en t  p r o v id es  th e   State  an d   r ewa r d - lik e  f ee d b ac k   co n tr o l  f o r   th e  ag en t .   Af ter   h av in g   th is   in f o r m atio n ,   th e  a g en t  will  g en er ate   th e  ac tio n   co r r esp o n d in g   to   s en d   b ac k   to   th e  en v i r o n m e n t  lik e  th e  co n tr o l  s y s tem .   A  tab le  in   ag en t   to   m ap   b etwe en   s tate  in p u t  an d   ac tio n   o u tp u t.  Ho we v er ,   th e  m em o r y   s p ac e  n ee d s   to   b e  lar g e  an d   q u ick ly   ac ce s s ib le.   Fo r   th is   r ea s o n ,   a  n eu r al  n etw o r k   ( NN)   is   u s ed   to   r ep lace   th e  m ap p in g   tab le  wh ich   is   ca lled   a  d ee p   Q  n etwo r k   ( DQN)   [ 2 2 ] .   T o   p r ese n t   N N  in   DQN   f o r   c o n t r o lli n g   t h e   m o b il e   r o b o t,   t h e  ANN   [ 2 3 ] ,   s i n g le   s h o t   m u lt ib o x   d ete ct o r   [ 2 2 ]   an d   c o n v o l u t io n al  n e u r a l   n etw o r k   [ 2 4 ]   h a v e   b ee n   c o n s id e r ed   u s in g   t h e   r ed ,   g r e e n ,   b l u e - d e p t h   ( R GB - D )   an d   li d a r   s en s o r s   to   d et ec t   t h e   m ar k s   in   t h e   e n v i r o n m e n ts .   So ,   t h e   DQN   i n   th e  n av ig ati o n   f i el d   f o r   a   m o b il e   r o b o t   b ase d   o n   li n e  tr ac k i n g   is   a  n e w  p o i n t  in   t h is   p ap er .   I n   p ar t ic u la r ,   C NN   is   a n   ar ch ite ct u r e   i n   d e ep   le ar n i n g   th a t  co u l d   r ea ch   h i g h   ac c u r a cy   i n   class if i ca ti o n   a n d   s e g m en ta tio n   b ase d   o n   im a g es   f r o m   a   c am e r a  [ 2 5 ] .   I n   t h is   p a p e r ,   t h e   ca m e r a   is   u s ed   to   c ap t u r e   th e   i m a g e   f r o m   t h e   e n v ir o n m e n t   a n d   a n al y ze   i t   t o   d et er m i n e   t h e   c o n t r o l   s ig n al   f o r   MR   b ase d   o n   DR L .   A n d   C N N  is   s ele cte d   f o r   t h e   DQN  s tr u ct u r e  in   DR L .   F u r t h er m o r e,   t h e   m o b i le   r o b o t  m u s t  b e   s i m u lat ed   b e f o r e  a p p ly in g   it  t o   r e al  e x p er im en ts   t o   a v o i d   t r o u b le - r ela te d   co n t r o l  al g o r it h m s ,   p a r a m e te r s ,   a n d   e n v ir o n m e n ta l  c o n d iti o n s .   T h e   s im u l ati o n   s t ep   c o u l d   h el p   r e d u c e  th e   c o s t   o f   t h e  d e v el o p m e n t   p r o d u ct   as   w ell   as  test   t h e   co n t r o l  al g o r it h m .   T h is   r ese ar ch   u s es   t h e   i m a g e   f r o m   th e   ca m er a  f o r   t r a in in g   t h e   C NN  s tr u ct u r e  t o   m a k e  it  m o r e  in tell ig e n t.   Fo r   s im u l ati o n ,   th e  Ga ze b o   s i m u lat io n   s o f tw ar e  is   s u g g este d   to   p r ese n t   t h e   e n v i r o n m e n t ,   s e n s o r   m o d el   ( ca m e r a ) ,   a n d   m o b il e  r o b o t   m o d e l  b as ed   o n   p h y s ics   en g i n es   [ 2 6 ] .    I n   th is   p ap er ,   we   p r o p o s e  t o   u s e   th e  class ical  DQN  s tr u ctu r e  i n   DR L   to   g e n er ate  ac tio n   f o r   n av ig atin g   th e  m o b ile  r o b o t  with   o n e  R GB   ca m er a  to   f o ll o w  th e  lin e.   T h e  DQN  is   d ev elo p ed   b ased   o n   th e   C NN  s tr u ctu r e.   An d   s im u latio n   is   b u ilt  b ased   o n   Gaz eb o   s o f twar e  to   p r esen t  th e  3 D  en v i r o n m en ts ,   m o d elin g   m o b ile  r o b o ts ,   a n d   s en s o r s   ( c am er a) .   T h e  s im u latio n   r esu lt s   s h o w  th e  e f f ec tiv en ess   o f   th e  p r o p o s al  m eth o d   th at  MB c o u ld   tr ac k   th e   b lack   lin e  with   s m all  er r o r s   ( less   th an   1 0 0 p x )   an d   c o m p lex   d esire d   tr ajec to r y .   T h e   r e s t   o f   t h e   p a p e r   i s   p r e s e n te d   a s   f o l l o w s :   s e ct i o n   2   i s   m o b i l e   r o b o t   m o d e l i n g   w h i l e   t h e   o v e r a l l   R L   a n d   D Q N   a l g o r i t h m   a r e   p r e s en t e d   i n   s e c t i o n   3 .   N e x t ,   t h e   p r o p o s e d   c o n t r o l   a l g o r i t h m   f o r   m o b i l e   r o b o t s   u s i n g   DQN  a g e n t   b y   t h e   c o n v o l u t i o n   n e u r a l   n e t w o r k   i s   d e v e l o p e d   i n   s e c t i o n   4 .   S e c t i o n   5   p r e s e n t s   r e s u l t s   o b t a i n e d   i n   t h e   G a z e b o   s i m u l a ti o n   e n v i r o n m e n t   t o   v e r i f y   t h e   c o n t r o l   p e r f o r m a n c e   a n d   s e c ti o n   6   i s   t h e   c o n c l u s i o n .       2.   M E T H O D   2 . 1 .       M o bil e  ro bo t   m o delin g   A  f o u r - w h ee led   m o b ile  r o b o t   ( FW MR)  co n s is t s   o f   f o u r   wh ee ls   with   a  r ad iu s   o f   r .   Her ein ,   two   wh ee ls   in   ea ch   f r o n t  an d   r ea r   m u s t  b e  lin k ed   to   en s u r e  th e y   h av e  th e  s am e  s p ee d   to   p r ev e n t  th e  m o b ile  r o b o t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2750   f r o m   s lip p i n g .   T h e  m o b ile  r o b o t  m o d el  a n d   its   g eo m etr y   ar e  p r esen ted   i n   Fig u r e   1   [ 1 ] ,   wh ic h   co u ld   b e  d etec ted   b y   t h e  lin k   b etwe en   a   g lo b al  f r am e  ( X,   Y)   an d   a   lo c al  f r am e  ( x ,   y ) ; a n d   th e   o r ien ta tio n   .   T h e  lin ea r   v elo city   o f   ea ch   w h ee l  is   co m p u ted   as   =   [ 1 ] .   W h er e   ,  ,   an d     ar e  lin ea r   v elo city ,   r a d iu s ,   an d   an g u lar   o f   th e  i th   wh ee l  ( i=1 . . 4 )   alo n g   th e  x - ax is ,   r esp ec tiv ely .   L et’ s   d ef in e  th e  lin ea r   v elo cities o f   th e  lef t ( v L )   an d   r ig h t sid e  ( v R )   o f   th e  m o b ile  r o b o t a s   = 1 = 4   an d   = 2 = 3 .   T h e  lin ea r   v elo city   ( v x ,   v y )   an d   an g u lar   v elo city   ( w )   o f   th e  v e h icle  alo n g   th e  x - a xis   co u ld   b e   r ep r esen ted   as  = + 2   ,  = − +   ,  a n d   = 0 .   W h er e  2c   is   th e  d is tan ce   b etwe en   t wo   wh ee ls   W 1   an d   W 2   in   Fig u r e   1   an d   [ ] = 1 [ ] .   T h e  tar g et  o f   co n tr o l is to   m o v e  th e  m o b ile  r o b o t to   a  ta r g et  d ef i n ed   as  X ,   Y,   an d   o r ien tatio n .   T h ey   ar e   p r esen te d   b y   th e  k in em atic  e q u atio n   o f   th e  FW MR a s   in   ( 1 ) .     [ ̇ ̇ ̇ ] = [  −  0   0 0 0 1 ] [ ω ]   ( 1 )     I n   th is   p ap er ,   th e  FW MR  m o d el  is   u s ed   to   d em o n s tr ate  t h e  tr ac k in g   o f   th e  lin e  alg o r i th m   b ased   o n   d ee p   r ein f o r ce m e n t  lear n in g   with   DQN  ty p e.   Her ein ,   DQL   u s e s   th e  C NN  s tr u ctu r e  with   im ag e  in p u t  wh ich   is   ca p tu r ed   f r o m   t h e  ca m er a.   DR L   is   to   g en er ate  th e  Actio n   as th e  co n tr o l sig n al  to   th e  m o b ile   r o b o t.           Fig u r e  1 .   Fo u r - wh ee led   m o b il e  r o b o t  m o d elin g       2 . 2 .     Reinf o rc em ent   lea rning   a nd   deep  Q - net wo rk   I n   r ei n f o r ce m en t  lear n in g   ( R L ) ,   th e   r elatio n s h ip   b etwe en   th e  ag en t   an d   en v ir o n m en t  is   s h o wn   in   Fig u r e   2 .   He r ein ,   th e   ag en t   r e ce iv es  s tates  ( s t )   an d   r ewa r d   ( r t )   f r o m   th e  en v ir o n m en t ,   w h ich   will  s elec t  th e  ac tio n   ( a t )   b ased   o n   s t   an d   p o li cy     as  in   ( 2 )   [ 2 7 ] .   T er m     is   th e  ep s ilo n   co ef f icie n t  wh ich   p la y s   a  cr itical  r o le   in   m an a g in g   th e  tr a d e - o f f   b et wee n   ex p l o r atio n   ( ag e n t  tr y i n g   o u t  n ew   ac tio n s   to   d is co v e r   th eir   ef f ec ts   an d   r ewa r d s )   an d   e x p lo itatio n   ( a g en t  u s in g   its   cu r r en t  k n o wled g e  to   m ax im ize  r ewa r d ) ,   e n a b lin g   th e  ag e n t  to   lear n   ef f ec tiv ely   f r o m   its   en v ir o n m en t,    is   th e  s elec ted   ac t io n ,    m a x ( . )   is   th e  in d ex   o f   th e  m ax im u m   v alu e  an d   ( )   is   th e  v alu e  at  .   T h e     is   o b tain ed   b y   f in d in g   t h e  m a x   o f   ( , )   o f     in   T ab le.   1 .           Fig u r e  2 .   R ein f o r ce m en t le ar n in g   s tr u ctu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g   …   ( K h o a   N g u ye n   Da n g )   2751   = {       m a x ( ( ) )                        [ 0 , 1 ] <       (   [ 1 , ] )              [ 0 , 1 ] ≥    ℎ   ,   ∈ [ 1 , . . , ]   ( 2 )     ( , ) = + 1 + m a x   ( ( + 1 , + 1 ) )   ( 3 )     I n   T ab le  1 ,   [ 1 , 1 , … , , ]   ar e  s tate - ac tio n   p air s   with   n   s tate s   an d   m   ac tio n s ,   r esp ec tiv ely .   ( , )   is   u p d ated   b ased   o n   th e   B ellm an   eq u atio n   [ 3 ]   in   ( 3 ) ,   wh e r e    is   th e  d is co u n t  f ac t o r   with   a  v alu e   d ef in ed   f r o m   0   to   1 .   B ellm an   eq u atio n   p r o v id es  a  r ec u r s iv e  d ec o m p o s itio n   o f   th e  v alu e   f u n ctio n ,   wh ic h   is   ce n tr al  to   s o lv in g   d ec is io n - m ak in g   p r o b lem s   wh er e  a n   ag en t  s ee k s   to   m ax im ize  cu m u lativ e  r ewa r d s   o v er   tim e.   Ho wev er ,   th e  Q - tab le  is   lim ited   to   b ein g   s to r e d   in   m e m o r y   a n d   s tr u ctu r e  o r g a n izatio n ,   wh ich   c o u ld   n o t   s av e  lar g e  r o ws  an d   co lu m n s .   T o   o v er co m e  th is   p o i n t,  th e  n eu r al  n etwo r k   is   a  r ep lace m e n t  m eth o d   with   th e   in p u t la y er   ( s tates)  an d   o u t p u t  ( ( , ) )   wh ich   is   ca lled   d ee p   Q - n et wo r k   ( DQN)   as in   Fig u r e   3 .     T h is   p ap er   u s es  th e  ca m er a  to   d etec t  th e   lin e  d ef in itio n   o n   t h e  g r o u n d   b ased   o n   th e   n eu r a l  n etwo r k   ty p ed   c o n v o lu tio n   n eu r al  n et wo r k   ( C NN) .   I t  is   ap p lied   to   f in d   th e   p o licy   o f   R L   as  in   Fig u r e   3 ,   wh ich   is   well  k n o wn   as  a  class   o f   d ee p   n e u r al  n etwo r k s ,   m o s t  co m m o n ly   ap p lied   to   an aly zin g   v is u a l  im ag er y .   I n   th e   n av ig atio n   o f   m o b ile  r o b o ts ,   C NN  co u ld   b e  u s ed   to   g en e r ate  th e  s tag e  to   s elec t  ac to r s   o f   D R L .   T h e  d etails  ar e   p r esen ted   in   th e   n ex t sectio n .       T ab le  1 .   R elatio n s h ip   b etwe en   ac tio n   an d   s tate     1   2   …     1   ( 1 , 1 )   ( 2 , 1 )   …   ( , 1 )   2   ( 1 , 2 )   ( 2 , 2 )   …   ( , 2 )   …   …   …   …   …     ( 1 , )   ( 2 , )   …   ( , )           Fig u r e  3 .   Neu r al  n etwo r k   r ep l ac in g   f o r   Q - T ab le  in   R L       2 . 3 .     Dev el o pin g   deep  Q - net wo rk   f o r  mo bil e  ro bo t   I n   th is   s ec tio n ,   we  r ep r esen t  th e  ar ch itectu r e  o f   DQN  wh ich   co n tain s   3   p ar ts :  p r ep r o c e s s o r ,   C N N   lay er ,   an d   ac tio n   s et  as  s h o w n   in   Fig u r e   4 .   State  o u tp u t  f r o m   th e  en v ir o n m en t  is   th e  im ag e  d escr ip tio n   with   th r ee   p ar am eter s   th e  wid th ,   th e  h eig h t,  an d   th e  co lo r .   I n   t h is   ca s e,   th e  wid th   an d   h eig h t  a r e  4 8 0   p ix els  ( p x ) ,   an d   3 6 0   p ix els,  r esp ec tiv ely .   T h e  co lo r   is   p r esen te d   with   t h r ee   u n its   b y   r ed - g r ee n - b lu e  ( R GB ) .   T o   s im p lify   th e  n etwo r k   ar ch itectu r e   o f   C NN,   in s tead   o f   u s in g   an   R GB   im ag e  with   f u ll  c o lo r   ( 3   c h an n els),   th e  im ag e  will   b e  co n v e r ted   to   th e  g r a y   im a g e  ( d ef in e d   with   th e  s in g le  ch an n el)   wh er e  ea c h   p ix el  is   p r esen ted   b y   a  s in g le  in ten s ity   v alu e  ( f r o m   0   to   2 5 5 ) .   T h er ef o r e,   th e  im a g e  co u ld   b e  p r esen ted   as  ( 4 8 0 × 3 6 0 × 1 )   wh ich   is   r esized   to   ( 8 4 × 8 4 )   t o   r e d u ce   th e  n u m b er   o f   p ix els  f r o m   t h e  im ag e  an d   p r esen t  with   ( 8 4 ×8 4 × 1 )   as  in p u t  f o r   C NN.   T h is   s tag e  is   to   r e d u ce   t h e   co m p u tatio n   co m p lex ity   an d   t im e  tr ain in g   o f   n eu r al  n etwo r k s .   T h e  ar ch itectu r e  o f   C NN  co n s is tin g   an   in p u t   lay er   o f   s ize  8 4 ×8 4 ×1   as  in   Fig u r e  5 .   T h en   th r ee   co n v o lu tio n   lay er s   ar e  3 2   f ilter s   o f   th e  k er n el  m atr ix   8 ×8   with   4   s tr id es,  6 4   f ilter s   o f   th e  k er n el  m atr ix   4 ×4   with   2   s tr id es,  an d   6 4   f ilter s   o f   k er n el  m atr ix   3 ×3   with   o n e   s tr id e  ar e  ap p lied   to   f ilter   th e  in f o r m atio n   an d   p r o d u ce   a  f ea t u r e  m ap   an d   th e n   th ey   ar e  co n v er ted   to   th e  s in g le  d im en s io n al  v ec to r   [ 2 8 ] .   T h e  d ata  is   s en t to   th e  h id d e n   lay er   with   1 2 8   n eu r o n s .     B o t h   c o n v o l u t i o n   l a y e r s   a n d   h id d e n   l a y e r s   u s e   r e c ti f i e d   l i n ea r   u n i t s   ( R e L U )   f o r   t h e   a c t i v at i o n   f u n c t i o n .   T h e   o u t p u t   l a y e r   w i t h   t h r e e   o u t p u t s   p r e s e n ts   t h r e e   a c t i o n s   t u r n   l e f t   ( L 0 . 5   i s   0 . 5   r a d / s ) ,   f o r w a r d   ( F 0 . 2   i s   0 . 2   m / s ) ,   a n d   r i g h t   ( R 0 . 5   i s   0 . 5   r a d /s )   a s   i n   ( 4 ) .   T h e   l i n e a r   a c ti v a t i o n   f u n c t i o n   i s   a p p l i e d   t o   a li g n   o u t p u t   i n   r a n g e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2752    =   { 0 . 5              ( ( ) ) = 0 0 . 2             ( ( ) ) = 1 0 . 5             ( ( ) ) = 2   ( 4 )           Fig u r e  4 .   DQN  Ar ch itectu r e   f o r   m o b ile  r o b o t           Fig u r e  5 .   C o n v o lu tio n   n eu r al  n etwo r k   s tr u ctu r e       T o   d ef in e   th e  r ewa r d   f o r   DQN,   an   er r o r   o f   r o b o t  s itu atio n s   is   co m p u ted   b y   th e   ab s o lu te  p o s itio n   o f   s etp o in t  an d   f ee d b ac k   b ased   o n   th e   X  ax is .   Fr o m   t h e  im ag e   o f   th e   ca m er a,   two   p o in ts   ( f ee d b ac k   p o in t   an d   s et  p o in t)   co u ld   b e  d ete r m in ed   as   in   Fig u r e   6 .   Her ein ,   Fig u r e s   6 ( a )   an d   6 ( b )   ar e  s am p les  p r e s en ted   to   th e  co r n e r   with   th e  r i g h t  s id e   an d   lef t   s id e,   r esp ec tiv ely .   Fig u r e   6 ( c )   p r esen ts   a  s tr aig h t   s itu atio n   with o u t  an y   c o r n er s .   T h e  f ee d b ac k   p o i n t  is   d e f in e d   as  th e   ce n ter   o f   th e   ca m er a  v iew  with   th e  m i d d le  c r o s s   o f   wid th =4 8 0   a n d   h eig h t=3 6 0 ,   an d   th e  s et  p o in t  i s   th e  ce n ter   o f   th e  r ec tan g le  c o v er in g   th e  lin e  tr ajec to r y .   T h e  r o b o t  is   f o ll o win g   th e  lin e  wh en   X feedback =X setpoint ,   th e  er r o r   co u l d   b e  d ef in ed   as  ( 5 ) .       =   |    − |   ( 5 )     T h e  er r o r   is   p r esen ted   b y   th e   d is tan ce   in   p ix els.  T h en ,   r ew ar d s   will  b e  d ef in ed   b ased   o n   th e  er r o r   v alu e  as sh o wn   in   T ab le  2 ,   wh ich   is   d iv id ed   in to   f iv e  lev els  - 2 ,   - 1 ,   - 0 . 5 ,   0 . 5 ,   an d   1 .   T h ese  r ewa r d s   ar e  co u n ted   b ased   o n   p r e v io u s   ac tio n s   in   ( 4 )   a n d   t h e  cu r r en t  s tate  ( e r r o r   ev alu atio n s ) .   Sp ec if ically ,   th e  er r o r   is   less   th an   eq u al  to   8 0   p ix els  an d   th e   m o b ile  r o b o t  is   i n   th e   s tate  f o r wa r d   ( s tr aig h t) ,   th is   ac tio n   ( s tr aig h t)   is   en c o u r a g ed   to   m ain tain .   T h er ef o r e,   t h e  r ewa r d   is   a   p o s itiv e  n u m b er   ad d e d   to   1 .   Oth e r wis e,   th e  MB  is   i n   lef t/rig h t   co n tr o l,   an d   th ese  ac tio n s   ar e  n o t  e n c o u r ag e d   in   th e  n ex t  ac tio n .   T h e  r ewa r d   is   s et  to   a   n eg ativ e  n u m b er   o f   - 0 . 5 .   Similar ly ,   if   th e  er r o r   is   in   th e  r an g e  o f   8 0   p ix els to   1 2 0   p i x el s   an d   all  ac tio n s   in   th e  p r ev io u s   co n f ig u r ed .   T h is   ca s e  is   g en er ally   en c o u r a g ed ,   s o   th e  r ewa r d   is   th e  n o r m al  v a lu e  ad d e d   to   0 . 5 .   Fin ally ,   th e   m o b ile  r o b o t  s h o u ld   m ain tain   th e  s m allest  er r o r ,   an d   to   av o id   th e   wo r s t  ca s e  wh ic h   s ets  th e  r ewa r d   to   - 2   if   th e  e r r o r   >  220 .   At  th e   in itial  tim e,   th e  DQN  is   em p ty ,   an d   it  n ee d s   th e  tr ain in g   p r o ce s s   f o r   s tu d y i n g   an d   u p d atin g   th e  weig h t  to   b ec o m e  m o r e  in tellig en t.  Ne x t p ar t,  th e  tr ai n in g   p r o ce s s   will b e  co n s id er e d   in   d etail.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g   …   ( K h o a   N g u ye n   Da n g )   2753         ( a)   ( b )   ( c)     Fig u r e  6 .   C o m p u tin g   e r r o r   m e th o d : ( a)   v iew  o f   c o r n e r   with   t h e  r ig h t sid e,   ( b )   v iew  o f   c o r n er   with   th e  lef t  s id e ,   an d   ( c)   v iew  o f   n o   c o r n er   with   th e  s tr aig h t sit u atio n         T ab le  2 .   R ewa r d   d e f in itio n s   C o n d i t i o n s   R e w a r d   v a l u e   D e scri p t i o n s   A c t i o n s   Er r o r s (p i x e l s)   F 0 . 2      ≤ 80   1   En c o u r a g e   g o   st r a i g h t   L0 . 5 ,   R 0 . 5   - 0 . 5   N o t   e n c o u r a g e   A n y   a c t i o n s   80   <    ≤ 120   0 . 5   G e n e r a l   e n c o u r a g e   F 0 . 2   120   <    ≤ 220   - 1   N o t   e n c o u r a g e   L0 . 5 ,   R 0 . 5   0 . 5   G e n e r a l   e n c o u r a g e me n t   ( t u r n   l e f t / r i g h t )   A n y   a c t i o n s      > 220   - 2   W o r st   c a s e       T h e  tr ain in g   p r o ce s s   o f   th e   DQN  alg o r ith m   is   s h o wn   in   Fig u r e  7 .   Her ein ,   t h e  p r e d ict   an d   tar g et  m o d el  ( PM,   T M)   ar e  p r esen te d   as  th e  C NN  ty p e,   wh ich   is   u s ed   to   p r ed ict  th e  ac tio n   v alu e s   an d   ca lcu late  th e   v alu e  f o r   th e   n e x t  s tate  in   B e llm an   ( 7 ) ,   r esp ec tiv ely .   I n itially ,   th e  a g en t   r ec eiv es  th e   p ar am eter s ,   ,   an d   ,  f r o m   th e  en v ir o n m en t  to   ch o o s e  th e  ac tio n   b ased   o n   ( 7 )   wh er e  ( )   is   th e  o u tp u t  o f   th e  PM  n etwo r k .   Af ter   th at,   th e   en v ir o n m e n t  will  ex p o r t  th e   n ew   + 1 ,  + 1 ,   an d   c o n tin u e   a  n ew  lo o p .   A   b u f f er   m em o r y   M t   is   u s ed   to   s to r e  all  d ata  = [ , , + 1 , + 1 ]   f o r   th e  tr ain in g   o f   th e  C NN  m o d el.   W h en   M t   s ize  co m es  to   a  m ax im u m   v alu e  d ef in itio n ,   th e  lo s t  f u n c tio n   is   ex ec u ted   an d   is   u s ed   to   u p d ate  th e  weig h t  o f   PM  Af ter   th at,   th e  M t   is   r ef r esh ed   f o r   n ew  s tep   s to r in g .   T h is   s tep   en s u r es  th e   ef f icie n cy   o f   th e  tr ai n in g   p r o ce s s   with   th e  en o u g h   lar g e   d ataset.   T h e  s ize  o f   M t   co u ld   b e  d ef i n ed   as  to o   lar g e  s o   it   co u ld   a f f ec t  to   co m p u te  p r o c ess   an d   tak e  lo n g er   tim e.   T h er ef o r e,   a  b atch _ s ize  i s   u s ed   to   ex tr ac t th e  n u m b e r   o f   r an d o m   d ata  f r o m   M t   f o r   th e   tr ain in g   p r o ce s s .       T h e  weig h t u p d atin g   o f   PM  b ased   o n   th e  lo s s   f u n ctio n   co u ld   b e  co m p u ted   b y   th e  m ea n   s q u ar ed   er r o r   f o llo win g   in   ( 6 ) .   W h er e   ( + 1 )   is   t h e  o u tp u t  v alu es  o f   th e  T M  n etwo r k   at  + 1   an d    ( , )   is   th e   o u tp u t  o f   PM  n etwo r k   at    an d   .   T h e  PM  weig h ts   ar e  u p d a ted   d u r in g   n   iter atio n   an d   th e y   ar e  co p ied   to   u p d ate  to   th e  weig h ts   o f   T M.   B ased   o n   MSE ,   th e  tr ain in g   p r o ce s s   u s es th e  Ad am   o p tim iza tio n   with   a  lear n in g   r ate  s elec tio n   [ 2 9 ] .           Fig u r e  7 .   T r ain in g   p r o ce s s   f o r   C NN  m o d el  in   ag en t    = 1 2 [  ( , ) −  ( , ) ] 2    wh er e     ( , ) = +   ma x   (  ( + 1 ) )   ( 6 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2754   3.   RE SU L T S AN D  D I SCU SS I O N   I n   th is   p ap er ,   we  u s e  a  Gaz eb o   s im u latio n   en v ir o n m en t  [ 3 0 ]   to   s im u late  th e  f o u r - wh ee l  m o b ile  r o b o t   tr ac k in g   a  lin e   u s in g   th e  v is io n   ( ca m e r a  p l u g in   in   Gaz e b o )   as  s h o wn   in   Fig u r e   8 ,   an d   Py t h o n   p r o g r am m i n g .   T h e  p ar a m eter s   o f   t h e  m o b ile  r o b o t  [ 3 1 ]   a n d   DQN  alg o r i th m   [ 3 2 ]   ar e   p r esen ted   in   T a b le  3 .   Fo r   tr ain in g   p r o ce s s in g ,   th e  n u m b er   o f   t r ials   is   s e lecte d   4 0 . 0 0 0   tim es  ca lled   ep is o d e_ s tep   b y   e x p er im en tal.   E ac h   ep is o d e_ s tep   will  h a v e  a   s tar t tim e  ( m o b ile  r o b o t   g o )   a n d   r eset  ( u n til   wo r s e  ca s e)   d ef in e d   a s   n _ s tep   tim e.   As a   r esu lt  in   Fig u r e   9 ( a ) ,   th e  FW MR  m o v es  with   a  s h o r t  tim e  ( s m all  n _ s tep ,   s m all  r ewa r d )   a n d   a  s h o r t  d is tan ce   in   th e  f ir s t  ep is o d e_ s tep   b ec a u s e  all  p ar am eter s   an d   weig h t  ar e  in itial.  T h ey   n ee d   m o r e   tim e  f o r   tr ain i n g   an d   u p d atin g   an d   th en   th e  n _ s tep   an d   r ewa r d   co u l d   b e  b etter   in   ep is o d e_ s tep   n u m b e r   5 7   as  s h o wn   in   Fig u r e   9 ( b ) ,  wh ich   also   p r esen ts   th e  av er a g e  r ewa r d   v al u e.   Af ter   th e  tr ain in g   p r o ce s s ,   th e  test in g   p r o ce s s   to   p er f o r m e d   o n   a  m o b ile  r o b o t tr ac k in g   th e  lin e  wh ich   b u ild s   in   Gaz eb o   s im u latio n .   T h e  r esu lt  in   Fig u r e  1 0   s h o ws  th e  p er f o r m a n ce s   o f   FW MR,   in   wh ich   th e  er r o r s   ar e  co m p u ted   with   n o   ab s o lu t e  in   ( 9 )   an d   s h o wn   in   Fig u r es  1 0 ( a)   an d   1 0 ( b ) .   T h e  MR  tr ac k in g   p er f o r m an c e  is   s h o wn   in   Fig u r e  1 0 ( c) .   Ov er al l,  th e  er r o r   is   in   th e  r a n g e  o f   - 2 0 0 p x   to   2 0 0 p x ,   an d   m o s t  o f   t h e  f o c u s   is   o n   - 1 0 0   to   1 0 0 p x .   T h is   m ea n s   th at  th e   er r o r   d e f in ed   th e  d ev iatio n   b etwe en   th e  v is io n   v iew  ( r o b o t   v iew)   an d   th e  lin e,   wh ich   is   s m all  ( 1 0 0   p x   is   ar o u n d   2 . 6   cm )   an d   s u itab le  f o r   m ap p in g   in   ea c h   d ir ec tio n ,   s u ch   as  f o r war d ,   lef t,   an d   r ig h t.  T h e  e r r o r   is   less   th an   2 4 0 ,   an d   th at  m o b ile  r o b o t   is   in   th e  h an d le,   n o t   in   th e  w o r s t  ca s e  wh ich   h as  th e  r ewa r d   s et  b y   - 2 .   W ith   th e   ca s e  er r o r s   to   ar o u n d   ± 2 2 0   p x ,   th e  m o b ile  r o b o t  g o es  ar o u n d   th e  co r n er   in   th e   m ap .   B u t it  m ay   n o t o f ten   b ec au s e  it d ep en d s   o n   th e  p r ev i o u s   d ir ec tio n   an d   s tate  o f   MR.  T h e  co n tr o l te n d en c y   is   to   th e  er r o r   r ed u ce d   to   ze r o .   So   th e  er r o r s   ex is t  with   ± 2 2 0 p x   o n ly   m ain tain e d   d u r in g   a   s h o r t  tim e.   B esid es,  m ea n   s q u ar ed   e r r o r   ( MSE )   is   co m p u ted   a n d   co m p ar ed   b etwe en   th e  p r o p o s al  m eth o d   a n d   t h e  tr ad itio n al  v is io n   m eth o d   [ 3 3 ]   ( u s in g   im ag e   m o m en t)   as  s h o wn   in   T a b le  4 .   B ased   o n   th e   er r o r   c o n tr o l   in   p i x els,  th e  co n v er t  to   th e  m eter   is   u s ed   an d   co m p u t ed   MSE   ( 1   m eter   =  3 7 7 9 . 5 2   p ix els).   T h e  MSE   in   th e  DR L   m eth o d   is   lo wer   in   VSN.   I t p r o v es th at  th e  DR L   m eth o d   h as h ig h er   p er f o r m an c e  th an   th e  VSN  m eth o d .           Fig u r e  8 .   Fo u r - wh ee l m o b ile  r o b o t f o llo ws lin e  u s in g   ca m er a  s ce n ar io       T ab le  3 .   Par am eter   o f   m o b ile  r o b o t  an d   DQN   N a me       S i z e _ c a mera   r   c   B a t c h _ s i z e   Ep i s o d e _ st e p   Le a r n i n g   r a t e   V a l u e   0 . 9 9   1 . 0   4 8 0 × 3 6 0 × 3   2   ( c m )   5   ( c m )   32   4 0 0 0 0   0 . 0 0 0 1           ( a)   ( b )     Fig u r e  9 .   T r ain in g   p r o ce s s   r esu lts   ( a)   n _ s tep   in   o n e  e p is o d es_ s tep   an d   ( b )   r ewa r d   an d   av er ag e  r ewa r d   i n   o n e   ep is o d es_ s tep   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g   …   ( K h o a   N g u ye n   Da n g )   2755   T ab le  4 .   MSE   co m p ar is o n   b etwe en   p r o p o s al  m eth o d   an d   tr a d itio n al  v is io n   m eth o d   M e t h o d   M S E  *   1 0 0   ( i n   me t e r )   P r o p o sa l   m e t h o d   ( D R L)   0 . 0 2 6 4   Tr a d i t i o n a l   v i s i o n   met h o d   ( V S N )   0 . 0 4 0 6           ( a)   ( b )         ( c)     Fig u r e  1 0 .   Per f o r m a n ce   o f   FW MR ( a)   er r o r   o f   p o in t in   im a g e  v iewin g   f r o m   t h e  r o b o t in   t h e  p r o p o s al  m eth o d ,   ( b )   er r o r   o f   p o in t in   im a g e  v ie win g   f r o m   th e  r o b o t in   th e  tr a d itio n al  v is io n   m eth o d ,   a n d   ( c )   tr ac k in g   lin e  p er f o r m an ce   o f   FW MR       T h e  p er f o r m an ce   o f   m o b ile  r o b o t  tr ac k i n g   is   s h o wn   in   th e  d etails  o f   Fig u r e   1 0 ( c )   th at   FW MR  co u ld   co m p lete  a  tr ajec to r y   f r o m   th e   s tar t  p o in t  to   th e  s to p   p o in t  in   th e  m ap .   E asil y   s ee m s   th at  th e  MR  h as  a  b ig g er   er r o r   in   ea c h   co r n er .   B u t  it  is   s till   b etter   th an   th e  VSN  m eth o d .   Ho wev er ,   in   th e  s tr aig h t  li n e,   MR  co u ld   tr ac k   th e  tr ajec to r y   with   h ig h er   p e r f o r m an ce   ( o v er lap   lin e,   clo s ed   d is tan ce   with   lin e) .   T h u s ,   th e  MR  u s es   th e  C N N   b ased   o n   th e  im ag e  f r o m   th e  ca m er a  ca n   g en e r ate  th e  ac tio n   f o r   ea ch   s tate  g iv en   b y   th e  en v ir o n m en t  in   th e   DR L   s tr u ctu r e.   T h e  tar g et  o f   in d o o r   n av ig atio n   o f   MR  is   estab lis h ed   s u cc es s   in   co m p lex   m ap p in g   an d   m ain tain in g   it  in   a  r ea l - tim e  s y s tem .   T h is   p r o v es  o u r   p r o p o s al  is   u s ef u l  an d   b r in g s   h ig h   e f f ec tiv en ess   f o r   th e   n av ig atio n   a n d   tr ac k in g   lin e   o f   a  m o b ile  r o b o t.       4.   CO NCLU SI O N   T h is   p ap er   p r esen ts   th e   DQN  in   DR L   f o r   th e  n av ig atio n   o f   a  m o b ile   r o b o t  f o llo win g   th e  l in e  o n   th e   g r o u n d   b ased   o n   a   co n v o lu tio n   n e u r al  n etwo r k   f o r   p r o ce s s in g   im a g es  f r o m   a   ca m er a.   All  s tep s   ar e  d is cu s s ed   in   d etail  to   clea r   p er f o r m an ce   an d   ap p ly   to   th e  s p ec if ic   o b j ec t.  T h e  r esu lts   im p r o v ed   t h e  ef f ec tiv en ess   o f   th e   co n tr o l  alg o r it h m   s o   th at  th e  m o b ile  r o b o t  co u ld   f o llo w  th e   lin e  with   h ig h   ac cu r ac y   p r ese n ted   b y   th e  er r o r   o f   less   th an   1 0 0   p ix els  with   d if f er en t  t y p es  o f   tr ajec to r ies.  T h is   p r o p o s al  co u ld   b e   ap p li ed   to   m o b ile  r o b o t   n av ig atio n   as we ll a s   in   r o b o ti cs f ield s   in   th e  f u tu r e .       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2756   Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Kh o a  Ng u y e n   Dan g   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   Van   T r an   T h i   ✓   ✓       ✓       ✓   ✓   ✓   ✓   ✓       Ng u y en   Van   T h an g       ✓   ✓       ✓       ✓   ✓           C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA  AV AI L AB I L I T Y   T h e  d ata  t h at  s u p p o r t  th e   f in d in g s   o f   t h is   s tu d y   ar e   av ailab l e  f r o m   th e  c o r r esp o n d in g   au t h o r ,   K N D ,  u p o n   r ea s o n ab le  r eq u est.       R E FE R E N C E S   [ 1 ]   A .   M a r k i s ,   M .   P a p a ,   D .   K a se l a u t z k e ,   M .   R a t h ma i r ,   V .   S a t t i n g e r ,   a n d   M .   B r a n d s t ö t t e r ,   “ S a f e t y   o f   m o b i l e   r o b o t   s y st e ms  i n   i n d u st r i a l   a p p l i c a t i o n s , ”   ARW   & O AG M  W o rks h o p   2 0 1 9 ,   p p .   2 6 – 3 1 ,   2 0 1 9 .   [ 2 ]   A .   Lo g a n a t h a n   a n d   N .   S .   A h ma d ,   “ A   sy st e ma t i c   r e v i e w   o n   r e c e n t   a d v a n c e s   i n   a u t o n o m o u s  m o b i l e   r o b o t   n a v i g a t i o n , ”   En g i n e e ri n g   S c i e n c e   a n d   T e c h n o l o g y ,   a n   I n t e rn a t i o n a l   J o u rn a l ,   v o l .   4 0 ,   p .   1 0 1 3 4 3 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j e st c h . 2 0 2 3 . 1 0 1 3 4 3 .   [ 3 ]   C .   H .   A .   H .   B .   B a sk o r o ,   H .   M .   S a p u t r a ,   M .   M i r d a n i e s ,   V .   S u s a n t i ,   M .   F .   R a d z i ,   a n d   R .   I .   A .   A z i z ,   “ A n   a u t o n o m o u s  m o b i l e   r o b o t   p l a t f o r m   f o r   m e d i c a l   p u r p o se, ”   i n   Pro c e e d i n g   -   2 0 2 0   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S u s t a i n a b l e   E n e r g y   En g i n e e ri n g   a n d   Ap p l i c a t i o n :   S u st a i n a b l e   En e r g y   a n d   T ra n s p o rt a t i o n :   T o w a r d s  Al l - Re n e w a b l e   F u t u r e ,   I C S EEA   2 0 2 0 ,   N o v .   2 0 2 0 ,   p p .   4 1 – 4 4 .   d o i :   1 0 . 1 1 0 9 / I C S EEA 5 0 7 1 1 . 2 0 2 0 . 9 3 0 6 1 6 1 .   [ 4 ]   Z.   G o n g ,   Z.   N i e ,   Q .   Li u ,   a n d   X .   J.  L i u ,   “ D e si g n   a n d   c o n t r o l   o f   a   m u l t i - m o b i l e - r o b o t   c o o p e r a t i v e   t r a n s p o r t   sy st e m b a s e d   o n   a   n o v e l   si x   d e g r e e - of - f r e e d o m  c o n n e c t o r , ”   I S A  T ra n s a c t i o n s ,   v o l .   1 3 9 ,   p p .   6 0 6 – 6 2 0 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i s a t r a . 2 0 2 3 . 0 4 . 0 0 6 .   [ 5 ]   B .   S .   O .   P a l l a r e s ,   T .   A .   M .   R o z o ,   E .   C .   C a m a c h o ,   J .   G .   G u a r n i z o ,   a n d   J .   M .   C a l d e r o n ,   “ D e s i g n   a n d   c o n s t r u c t i o n   o f   a   c o s t - o r i e n t e d   m o b i l e   r o b o t   f o r   d o m e s t i c   a s s i s t a n c e , ”   I F A C - P a p e r s O n L i n e ,   v o l .   5 4 ,   n o .   1 3 ,   p p .   2 9 3 – 2 9 8 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i f a c o l . 2 0 2 1 . 1 0 . 4 6 2 .   [ 6 ]   S .   H a b i b i a n   e t   a l . ,   “ D e si g n   a n d   i m p l e men t a t i o n   o f   a   ma x i - s i z e d   mo b i l e   r o b o t   ( K a r o )   f o r   r e s c u e   m i ssi o n s,”   RO B O ME C H   J o u r n a l ,  v o l .   8 ,   n o .   1 ,   J a n .   2 0 2 1 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 6 4 8 - 0 2 0 - 0 0 1 8 8 - 9.   [ 7 ]   H .   A z p ú r u a   e t   a l . ,   “ A   s u r v e y   o n   t h e   a u t o n o mo u s  e x p l o r a t i o n   o f   c o n f i n e d   su b t e r r a n e a n   sp a c e s:   p e r sp e c t i v e s  f r o m  r e a l - w o r l d   a n d   i n d u st r i a l   r o b o t i c   d e p l o y m e n t s, ”   Ro b o t i c s  a n d   Au t o n o m o u s  S y st e m s ,   v o l .   1 6 0 ,   p .   1 0 4 3 0 4 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . r o b o t . 2 0 2 2 . 1 0 4 3 0 4 .   [ 8 ]   V .   B u l u t ,   “ P a t h   p l a n n i n g   o f   m o b i l e   r o b o t s  i n   d y n a mi c   e n v i r o n m e n t   b a se d   o n   a n a l y t i c   g e o m e t r y   a n d   c u b i c   B é z i e r   c u r v e   w i t h   t h r e e   sh a p e   p a r a me t e r s, ”   E x p e rt   S y st e m s  w i t h   Ap p l i c a t i o n s ,   v o l .   2 3 3 ,   p .   1 2 0 9 4 2 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 3 . 1 2 0 9 4 2 .   [ 9 ]   P .   S .   Y a d a v ,   V .   A g r a w a l ,   J.  C .   M o h a n t a ,   a n d   M .   D .   F a i y a z   A h me d ,   “ A   r o b u s t   sl i d i n g   m o d e   c o n t r o l   o f   me c a n u m  w h e e l - c h a i r   f o r   t r a j e c t o r y   t r a c k i n g , ”   M a t e ri a l s   T o d a y :   Pro c e e d i n g s ,   v o l .   5 6 ,   p p .   6 2 3 – 6 3 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . ma t p r . 2 0 2 1 . 1 2 . 3 9 8 .   [ 1 0 ]   D .   U .   R i j a l u sa l a m  a n d   I .   I sw a n t o ,   “ I mp l e me n t a t i o n   k i n e ma t i c s   mo d e l i n g   a n d   o d o me t r y   o f   f o u r   o m n i   w h e e l   m o b i l e   r o b o t   o n   t h e   t r a j e c t o r y   p l a n n i n g   a n d   mo t i o n   c o n t r o l   b a s e d   mi c r o c o n t r o l l e r , ”   J o u r n a l   o f   R o b o t i c s   a n d   C o n t r o l   ( J R C ) ,   v o l .   2 ,   n o .   5 ,   p p .   4 4 8 – 4 5 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 8 1 9 6 / j r c . 2 5 1 2 1 .   [ 1 1 ]   Z.   H a n ,   J.  Lo n g ,   W .   W a n g ,   a n d   L .   W a n g ,   “ A d a p t i v e   t r a c k i n g   c o n t r o l   o f   t w o - w h e e l e d   mo b i l e   r o b o t s  u n d e r   D e n i a l - of - S e r v i c e   a t t a c k s, ”   I S A  T r a n s a c t i o n s ,   v o l .   1 4 1 ,   p p .   3 6 5 – 3 7 6 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i s a t r a . 2 0 2 3 . 0 6 . 0 2 2 .   [ 1 2 ]   J .   S .   L i n g   L e o n g ,   K .   T .   K i n   T e o ,   a n d   H .   P .   Y o o n g ,   “ F o u r   w h e e l e d   m o b i l e   r o b o t s :   a   r e v i e w , ”   i n   4 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e   i n   E n g i n e e r i n g   a n d   T e c h n o l o g y ,   I I C A I E T   2 0 2 2 ,   S e p .   2 0 2 2 ,   p p .   1 – 6 .   d o i :   1 0 . 1 1 0 9 / I I C A I E T 5 5 1 3 9 . 2 0 2 2 . 9 9 3 6 8 5 5 .   [ 1 3 ]   M .   H .   M o h a ma d   N o r ,   Z.   H .   I smai l ,   a n d   M .   A .   A h ma d ,   “ B r o a d c a s t   c o n t r o l   o f   m u l t i - r o b o t   s y st e ms  w i t h   n o r m - l i m i t e d   u p d a t e   v e c t o r , ”   I n t e r n a t i o n a l   J o u rn a l   o f   Ad v a n c e d   R o b o t i c   S y s t e m s ,   v o l .   1 7 ,   n o .   4 ,   Ju l .   2 0 2 0 ,   d o i :   1 0 . 1 1 7 7 / 1 7 2 9 8 8 1 4 2 0 9 4 5 9 5 8 .   [ 1 4 ]   A .   S t e f e k ,   T.   v a n   P h a m,  V .   K r i v a n e k ,   a n d   K .   L .   P h a m,   “ E n e r g y   c o m p a r i s o n   o f   c o n t r o l l e r s  u s e d   f o r   a   d i f f e r e n t i a l   d r i v e   w h e e l e d   mo b i l e   r o b o t , ”   I EEE  Ac c e ss ,   v o l .   8 ,   p p .   1 7 0 9 1 5 – 1 7 0 9 2 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 2 3 3 4 5 .   [ 1 5 ]   X .   Lu o ,   D .   M u ,   Z.   W a n g ,   P .   N i n g ,   a n d   C .   H u a ,   “ A d a p t i v e   f u l l - s t a t e   c o n st r a i n e d   t r a c k i n g   c o n t r o l   f o r   m o b i l e   r o b o t i c   sy st e m  w i t h   u n k n o w n   d e a d - z o n e   i n p u t , ”   N e u r o c o m p u t i n g ,   v o l .   5 2 4 ,   p p .   3 1 – 4 2 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 2 2 . 1 2 . 0 2 5 .   [ 1 6 ]   J.  L i ,   J.   W a n g ,   H .   P e n g ,   Y .   H u ,   a n d   H .   S u ,   “ F u z z y - t o r q u e   a p p r o x i ma t i o n - e n h a n c e d   s l i d i n g   mo d e   c o n t r o l   f o r   l a t e r a l   s t a b i l i t y   o f   mo b i l e   r o b o t , ”   I EEE   T ra n s a c t i o n s   o n   S y s t e m s,   M a n ,   a n d   C y b e rn e t i c s:   S y st e m s ,   v o l .   5 2 ,   n o .   4 ,   p p .   2 4 9 1 – 2 5 0 0 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / TS M C . 2 0 2 1 . 3 0 5 0 6 1 6 .   [ 1 7 ]   Y .   Li u ,   S .   W a n g ,   Y .   X i e ,   T.   X i o n g ,   a n d   M .   W u ,   “ A   r e v i e w   o f   se n si n g   t e c h n o l o g i e s   f o r   i n d o o r   a u t o n o m o u s   mo b i l e   r o b o t s , ”   S e n so rs ,   v o l .   2 4 ,   n o .   4 ,   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / s 2 4 0 4 1 2 2 2 .   [ 1 8 ]   O .   K e d z i o r a   e t   a l . ,   “ A c t i v e   sp e e d   a n d   c r u i se  c o n t r o l   o f   t h e   m o b i l e   r o b o t   b a s e d   o n   t h e   a n a l y s i s  o f   t h e   p o si t i o n   o f   t h e   p r e c e d i n g   v e h i c l e , ”   i n   2 0 2 2   2 6 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   Me t h o d s  a n d   M o d e l s   i n   A u t o m a t i o n   a n d   R o b o t i c s,   M MA R   2 0 2 2   -   Pro c e e d i n g s ,   A u g .   2 0 2 2 ,   p p .   1 8 1 – 1 8 6 .   d o i :   1 0 . 1 1 0 9 / M M A R 5 5 1 9 5 . 2 0 2 2 . 9 8 7 4 2 9 8 .   [ 1 9 ]   R .   F a r k h ,   K .   A l   Jal o u d ,   S .   A l h u w a i m e l ,   M .   T.   Q u a s i m,  a n d   M .   K s o u r i ,   “ A   d e e p   l e a r n i n g   a p p r o a c h   f o r   t h e   mo b i l e - r o b o t   m o t i o n   c o n t r o l   sy s t e m , ”   I n t e l l i g e n t   A u t o m a t i o n   a n d   S o f t   C o m p u t i n g ,   v o l .   2 9 ,   n o .   2 ,   p p .   4 2 3 – 4 3 5 ,   2 0 2 1 ,   d o i :   1 0 . 3 2 6 0 4 / i a s c . 2 0 2 1 . 0 1 6 2 1 9 .   [ 2 0 ]   D .   Tr u j i l l o ,   L .   A .   M o r a l e s ,   D .   C h á v e z ,   a n d   D .   F .   P o z o ,   “ Tr a j e c t o r y   t r a c k i n g   c o n t r o l   o f   a   mo b i l e   r o b o t   u si n g   n e u r a l   n e t w o r k s, ”   Em e rg i n g   S c i e n c e   J o u r n a l ,   v o l .   7 ,   n o .   6 ,   p p .   1 8 4 3 – 1 8 6 2 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 2 8 9 9 1 / ESJ - 2 0 2 3 - 07 - 06 - 0 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g   …   ( K h o a   N g u ye n   Da n g )   2757   [ 2 1 ]   H .   Li ,   Q .   Zh a n g ,   a n d   D .   Zh a o ,   “ D e e p   r e i n f o r c e m e n t   l e a r n i n g - b a s e d   a u t o m a t i c   e x p l o r a t i o n   f o r   n a v i g a t i o n   i n   u n k n o w n   e n v i r o n m e n t , ”   I E EE  T r a n sa c t i o n s   o n   N e u r a l   N e t w o r k s  a n d   L e a r n i n g   S y st e m s ,   v o l .   3 1 ,   n o .   6 ,   p p .   2 0 6 4 – 2 0 7 6 ,   Ju n .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / TN N LS. 2 0 1 9 . 2 9 2 7 8 6 9 .   [ 2 2 ]   M .   F .   R .   Le e   a n d   S .   H .   Y u s u f ,   “ M o b i l e   r o b o t   n a v i g a t i o n   u si n g   d e e p   r e i n f o r c e me n t   l e a r n i n g , ”   Pr o c e sses ,   v o l .   1 0 ,   n o .   1 2 ,   p .   2 7 4 8 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / p r 1 0 1 2 2 7 4 8 .   [ 2 3 ]   J.  Z h a o ,   M .   K o n g ,   Q .   Li ,   a n d   X .   S u n ,   “ C o n t r a c t - b a se d   c o m p u t i n g   r e s o u r c e   ma n a g e m e n t   v i a   d e e p   r e i n f o r c e men t   l e a r n i n g   i n   v e h i c u l a r   f o g   c o m p u t i n g , ”   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   3 3 1 9 – 3 3 2 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 6 3 0 5 1 .   [ 2 4 ]   K .   Zh u   a n d   T.   Z h a n g ,   “ D e e p   r e i n f o r c e m e n t   l e a r n i n g   b a se d   m o b i l e   r o b o t   n a v i g a t i o n :   A   r e v i e w , ”   T si n g h u a   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   2 6 ,   n o .   5 ,   p p .   6 7 4 – 6 9 1 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 2 6 5 9 9 / TST . 2 0 2 1 . 9 0 1 0 0 1 2 .   [ 2 5 ]   R .   P a t e l   a n d   S .   P a t e l ,   “ A   c o mp r e h e n si v e   s t u d y   o f   a p p l y i n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   f o r   c o m p u t e r   v i s i o n , ”   I n t e r n a t i o n a l   J o u rn a l   o f   Ad v a n c e d   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   2 9 ,   n o .   6   S p e c i a l   I ssu e ,   p p .   2 1 6 1 – 2 1 7 4 ,   2 0 2 0 .   [ 2 6 ]   J.  P l a t t   a n d   K .   R i c k s,   “ C o m p a r a t i v e   a n a l y s i s  o f   R O S - U n i t y 3 D   a n d   R O S - G a z e b o   f o r   m o b i l e   g r o u n d   r o b o t   s i m u l a t i o n , ”   J o u r n a l   o f   I n t e l l i g e n t   a n d   R o b o t i c   S y st e m s:   T h e o ry  a n d   A p p l i c a t i o n s ,   v o l .   1 0 6 ,   n o .   4 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 8 4 6 - 0 2 2 - 0 1 7 6 6 - 2.   [ 2 7 ]   J.  Y u ,   Y .   S u ,   a n d   Y .   Li a o ,   “ T h e   p a t h   p l a n n i n g   o f   mo b i l e   r o b o t   b y   n e u r a l   n e t w o r k s  a n d   h i e r a r c h i c a l   r e i n f o r c e men t   l e a r n i n g , ”   Fro n t i e rs  i n   N e u ro r o b o t i c s ,   v o l .   1 4 ,   O c t .   2 0 2 0 ,   d o i :   1 0 . 3 3 8 9 / f n b o t . 2 0 2 0 . 0 0 0 6 3 .   [ 2 8 ]   F .   F o r o u g h i ,   Z.   C h e n ,   a n d   J.   W a n g ,   “ A   C N N - b a se d   sy s t e m   f o r   m o b i l e   r o b o t   n a v i g a t i o n   i n   i n d o o r   e n v i r o n men t s  v i a   v i su a l   l o c a l i z a t i o n   w i t h   a   sma l l   d a t a se t , ”   W o rl d   El e c t ri c   V e h i c l e   J o u r n a l ,   v o l .   1 2 ,   n o .   3 ,   p .   1 3 4 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / w e v j 1 2 0 3 0 1 3 4 .   [ 2 9 ]   J.  L .   B a   a n d   D .   P .   K i n g m a ,   “ A d a m:   a   m e t h o d   f o r   st o c h a s t i c   o p t i mi z a t i o n , ”   3 r d   I n t e rn a t i o n a l   C o n f e re n c e   o n   L e a r n i n g   Re p r e se n t a t i o n s ,   I C L R  2 0 1 5   -   C o n f e r e n c e   T r a c k   Pr o c e e d i n g s ,   p p .   1 – 1 5 ,   2 0 1 5 .   [ 3 0 ]   A .   F a r l e y ,   J.  W a n g ,   a n d   J .   A .   M a r s h a l l ,   “ H o w   t o   p i c k   a   mo b i l e   r o b o t   s i mu l a t o r :   a   q u a n t i t a t i v e   c o m p a r i s o n   o f   C o p p e l i a S i m ,   G a z e b o ,   M O R S E  a n d   W e b o t s  w i t h   a   f o c u s  o n   a c c u r a c y   o f   m o t i o n , ”   S i m u l a t i o n   M o d e l l i n g   Pr a c t i c e   a n d   T h e o r y ,   v o l .   1 2 0 ,   p .   1 0 2 6 2 9 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . s i mp a t . 2 0 2 2 . 1 0 2 6 2 9 .   [ 3 1 ]   W .   Jo ,   J.  K i m,  R .   W a n g ,   J .   P a n ,   R .   K .   S e n t h i l k u mara n ,   a n d   B . - C .   M i n ,   “ S M A R TmB O T :   a   R O S 2 - b a s e d   l o w - c o st   a n d   o p e n - s o u r c e   mo b i l e   r o b o t   p l a t f o r m , ”   a rX i v : 2 2 0 3 . 0 8 9 0 3 ,   2 0 2 2 .   [ 3 2 ]   M .   K .   C h e g e n i ,   A .   R a s h n o ,   a n d   S .   F a d a e i ,   “ C o n v o l u t i o n - l a y e r   p a r a me t e r s  o p t i mi z a t i o n   i n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s, ”   K n o w l e d g e - B a se d   S y s t e m s ,   v o l .   2 6 1 ,   p .   1 1 0 2 1 0 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 2 . 1 1 0 2 1 0 .   [ 3 3 ]   G .   Y a o ,   R .   S a l t u s,  a n d   A .   D a n i ,   “ I mag e   mo me n t - b a se d   e x t e n d e d   o b j e c t   t r a c k i n g   f o r   c o m p l e x   mo t i o n s,”   I E EE  S e n so rs  J o u r n a l ,  v o l .   2 0 ,   n o .   1 2 ,   p p .   6 5 6 0 – 6 5 7 2 ,   J u n .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / JS EN . 2 0 2 0 . 2 9 7 6 5 4 0 .       B I O G RAP H I E S O F   AUTH O RS       K h o a   Ng u y e n   Da n g           re c e iv e d   a n   M . Sc .   d e g re e   in   in f o rm a ti o n   tec h n o lo g y   fr o m   Ha n o i  U n iv e rsit y   o f  S c ien c e   a n d   Tec h n o lo g y ,   Vie tn a m ,   in   2 0 1 2   a n d   a   P h . D.  d e g re e   i n   a e ro sp a c e   e n g in e e rin g   fro m   Uls a n   Un iv e rsity ,   Ko re a .   He   is  a   lec tu re r   a t  th e   F a c u lt y   o f   En g i n e e rin g   a n d   Tec h n o lo g y ,   I n t e rn a ti o n a l   S c h o o l ,   Vie t n a m   Na ti o n a l  Un iv e rsity .   His   re se a rc h   in tere sts  in c l u d e   UA V,   UG V,  c o n tr o l   sy ste m s,  i n telli g e n t   c o n tr o l,   Io T ,   a n d   a rti ficia l   in telli g e n c e .   He   c a n   b e   c o n tac ted   a t  e m a il :  k h o a n d @ v n u is.ed u . v n .         Va n   Tr a n   Th i          re c e iv e d   a n   M S c .   d e g re e   in   i n fo rm a ti o n   tec h n o l o g y   fr o m   Ha n o i   Un iv e rsity   o f  S c ien c e   a n d   Tec h n o lo g y ,   Vie tn a m   in   2 0 1 2 .   Cu rre n t ly ,   sh e   is  a   lec tu re r  a t  th e   Un iv e rsity   o f   Lab o u r   a n d   S o c ial  Affa irs.   He r  re se a rc h   in tere sts  i n c lu d e   UG V,  c o n tro l   sy ste m s ,   Io T,   a n d   a rti ficia l  in telli g e n c e .   S h e   c a n   b e   c o n tac ted   a t   e m a il :  tran v a n tk 4 @ g m a il . c o m .         Ng u y e n   Va n   Th a n g           re c e iv e d   a n   M . Sc .   d e g re e   in   e lec tri c a l  e n g in e e rin g   fro m   L e   Qu y   D o n   Un i v e rsity ,   Vie tn a m   i n   2 0 0 7 ,   a n d   h is   P h . D .   d e g re e   i n   t h e   sa m e   m a jo r  fro m   t h e   Un iv e rsity   o f  En g in e e ri n g   a n d   Tec h n o l o g y ,   Vie tn a m   Na ti o n a l  U n i v e rsity ,   Ha n o i,   Vie tn a m .   He   is  c u rre n tl y   a   lec tu re r  i n   th e   F a c u lt y   o f  E lec tro n ics   a n d   Tele c o m m u n ica ti o n s,  UET.   Hi s   in tere stin g   i n c lu d e   Io T,   D S P /se n s o r  a p p li c a ti o n s,   a n d   m e d ica l  e q u i p m e n t.   He   c a n   b e   c o n tac ted   a t  e m a il :  n v t h a n g d tv t@v n u . e d u . v n .     Evaluation Warning : The document was created with Spire.PDF for Python.