I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   3 J u n e   20 25 ,   p p .   2748 ~ 2 7 5 7   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 3 . pp 2 7 4 8 - 2 7 5 7           2748       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Indo o na v ig a tio n f o r mo bile  robo ts bas ed on d eep  reinforceme nt  l ea rning  wit h  conv o lutiona l neural n et wo rk       K ho a   Ng uy en  Da ng 1 ,   Va n T ra n T hi 2 ,   Ng uy en  Va n T ha n g 3   1 F a c u l t y   o f   En g i n e e r i n g   a n d   T e c h n o l o g y ,   I n t e r n a t i o n a l   S c h o o l ,   V i e t n a N a t i o n a l   U n i v e r si t y ,   H a n o i ,   V i e t n a m   2 F a c u l t y   o f   G e n e r a l   E d u c a t i o n ,   U n i v e r si t y   o f   La b o u r   a n d   S o c i a l   A f f a i r s ,   H a n o i ,   V i e t n a m   3 U n i v e r s i t y   o f   E n g i n e e r i n g   a n d   Te c h n o l o g y ,   V i e t n a m   N a t i o n a l   U n i v e r s i t y ,   H a n o i ,   V i e t n a m       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   J u l 1 5 ,   2 0 2 4   R ev is ed   Dec   2 3 ,   2 0 2 4   Acc ep ted   J an   1 6 ,   2 0 2 5       Th e   m o b il e   r o b o is  a n   i n telli g e n t   d e v ice   th a c a n   a c h iev e   m a n y   tas k in   li fe .   F o r   a u to n o m o u s,   n a v ig a ti o n   b a s e d   o n   th e   li n e   o n   th e   g r o u n d   is   o ften   u se d   b e c a u se   it   h e lp th e   r o b o to   m o v e   a lo n g   a   p re d e fin e d   p a t h ,   sim p li fies   th e   p a th   p la n n i n g ,   a n d   re d u c e th e   c o m p u tati o n a l o a d .   T h is  p a p e p re se n ts  a   m e th o d   fo r   n a v i g a ti n g   th e   f o u r - w h e e m o b i le  ro b o t   t o   trac k   a   li n e   b a se d   o n   a   d e e p   Q - n e two rk   a a   c o n tro a lg o rit h m   to   d e sire   th e   a c ti o n   o th e   m o b il e   ro b o a n d   a   c a m e ra   a a   fe e d b a c k   se n so t o   d e tec t h e   li n e .   Th e   c o n tro l   a lg o rit h m   u se a   c o n v o lu t io n   n e u ra n e two rk   (CNN t o   g e n e ra te  t h e   m o b il e   ro b o a c ti o n ,   d e fin e d   a a n   a g e n o d e e p   Q - n e two r k .   CNN   u se ima g e fro m   th e   c a m e ra   to   d e fin e   th e   sta te  o th e   d e e p   n e two r k .   T h e   sim u latio n a re   p e rfo rm e d   b a se d   o n   G a z e b o   so ftwa re   wh ich   in c lu d e a   3 e n v iro n m e n t,   m o b il e   r o b o m o d e l,   li n e ,   a n d   P y t h o n   p r o g ra m m in g .   Th e   re su l ts  d e m o n stra te  th e   h i g h - p e rfo rm a n c e   trac k in g   o m o b il e   ro b o ts  wit h   c o m p lex   li n e   traje c to ries ,   a c h iev in g   e rr o rs  o l e ss   th a n   1 0 0   p x ,   wh ic h   is  c o m p a re d   with     th e   trad it io n a v isi o n   m e th o d   (V NS),   t h e   M S E   o f   th e   p r o p o sa m e th o d   is   0 . 0 2 6 4   l o we th a n   VN S   wit h   0 . 0 4 0 6 .   S h o wc a se p ro v e d   c o n v in c in g l y   th a t   e ffe c ti v e n e ss   su g g e ste d   a   c o n tr o a p p ro a c h .   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k s   Dee p   Q - n etwo r k   Gaz eb o   L in tr ac k in g   Mo b ile  r o b o t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kh o Ng u y e n   Dan g   Facu lty   o f   E n g in ee r in g   an d   T e ch n o lo g y ,   I n ter n atio n al  Sch o o l,  Vietn am   Natio n al  Un iv er s ity   1 4 4   Xu a n   T h u y   R o ad ,   C au   Gi ay ,   Ha  No i 1 0 0 0 0 0 ,   Vietn am   E m ail:  k h o an d @ v n u is . ed u . v n       1.   I NT RO D UCT I O N   Mo b ile  r o b o ts   ( MR)  h av b ee n   r ap id ly   d ev el o p in g   in   m an y   f ield s   in   life   s u c h   as  in d u s tr y   [ 1 ] m ilit ar y   [ 2 ] ,   a n d   m e d icin [ 3 ]   with   th p u r p o s o f   tr an s p o r tatio n   [ 4 ] ,   ass is tan ce   [ 5 ] ,   r escu [ 6 ] ,   ca v e   ex p lo r atio n   [ 7 ] ,   an d   o p er atio n   in   p o llu ted   e n v ir o n m en ts   [ 8 ]   to   ch ec k   th p o llu tio n   lev el  o f   th en v ir o n m e n t.  B ec au s th ey   ar v e r y   f lex ib le ,   p er f o r m   m an y   task s ,   ar au t o n o m o u s ,   an d   ca n   f r ee   u p   h u m an   h an d s .   Fo r   ea c h   m is s io n ,   MR  is   d esig n ed   with   d if f er en t y p es  as  two - wh ee m o b ile  r o b o ts   ( T W MR),   an d   f o u r - w h ee m o b ile   r o b o ts   ( FW MR),   [ 9 ] ,   [ 1 0 ] .   E ac h   ty p h as  ad v a n tag es  an d   d is ad v an tag es  in   t h s p ec if i ap p licatio n s .   Fo r   ex am p le,   T W MR  is   o f ten   s m all  in   s ize,   a n d   s m all  p ay lo ad   [ 1 1 ] .   W h ile  FW MR  h as  m o r r ig id ity ,   lar g er   p ay lo ad ,   b etter   d r iv ab ilit y ,   a n d   m o r s tab ilit y   in   co r n er i n g   [ 1 2 ] .   I n   g en e r al,   th FW M R   is   o f ten   u s ed   to   d em o n s tr ate  co n tr o alg o r ith m s   as  we ll  a s   ap p ly   th em   to   r ea life .   Ad d itio n s ,   th F W M R   is   s im i lar   to   ca r   v eh icle,   a n d   au to n o m o u s   v eh icle  s y s tem s   ar o f   in ter est  b o t h   in d o o r s   an d   o u td o o r s   n o wad ay s .   W ith   o u td o o r ,   th v eh icle  co u ld   u s th g lo b al  p o s itio n in g   s y s tem   f o r   n av i g atin g .   Ho wev er ,   th in d o o r   is   lack s   th is ,   wh ich   h as to   u s th lan d m ar k   o r   r o a d   m ar k in g s   to   co m p u te  its   p o s itio n   an d   tr ac k in g .   B y   u s in g   g lo b al  s en s o r   lik ca m er [ 1 3 ] ,   th b r o ad ca s tin g   s ig n al  is   s en to   all  m o b ile  r o b o ts ,   an d   th p o s itio n   o f   MR  is   d etec ted   b ased   o n   t h b r o ad ca s co n tr o l.  T h is   s y s tem   co u ld   s u p p o r th p o s itio n   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g     ( K h o a   N g u ye n   Da n g )   2749   m an y   MRs   in   th is   n etwo r k   b u t   th co n f ig u r atio n   co m p le x   an d   th l o s ig n al  tr a n s f er   af f ec t   to   p e r f o r m an ce   o f   ea ch   MR.  T o   lo ca lized   co n tr o MR,  en er g y   co n s u m p tio n   co m p ar is o n   [ 1 4 ]   r elatin g   to   tr ac k in g   ac cu r ac y   is   u s ed   to   s tr ict  cr iter io n .   T h is   wo r k   s h o ws  th h ig h   p er f o r m an ce   o f   MR  in   tr ac k in g   p o s itio n   f ield ,   b u t   m ain tain in g   en e r g y   a n d   its   co m p ar is o n   ar d if f icu lt  wo r k .   I t   n ee d ed   h ig h   ac cu r ac y   to   d ec i d th co n tr o ller   f o r   MR.  I f   th is   p er f o r m an ce   is   r ed u ce d   f o r   s o m r ea s o n ,   th tr a jecto r y   o f   MR  is   af f ec ted   an d   d o es  n o f o llo th e   p u r p o s e.   Oth er   r esear ch   r elate d   to   th co n t r o o f   ea c h   ac tu a to r   with   d ea d - z o n in p u [ 1 5 ]   is   to   m ain tain   th tr ajec to r y   o f   MR,  wh ich   co u ld   p r o v th e   s tab ilit y   o f   th L y a p u n o v   f u n ctio n   b u t   it  is   d if f ic u lt  to   ap p ly   t h em   to   r ea d ev ices  an d   en v ir o n m en t s .   B esid es,  an   ad ap tiv co n tr o alg o r ith m   b ased   o n   s lid in g   m o d c o n tr o [ 1 6 ]   was  d ev elo p ed   f o r   th later al  s tab ilit y   o f   m o b ile  r o b o ts   in   b o th   s im u latio n   an d   ex p er im en tal.   Her ein ,   th MR   co u ld   well  tr ac k   th p ath   tr a jecto r y .   Ho wev er ,   t h v ib r ate d   ap p ea r s   in   th y aw  r ate  an d   s lip   an g le  in   th f ast  u p d ate.   No r m ally ,   th c o n tr o alg o r ith m s   b ased   o n   lan d m ar k s   ar co m p le x   an d   n ee d   m o r s en s o r s   to   d etec t   th en v ir o n m e n t.  T h e r ef o r e ,   u s in g   lin m ar k in g s   s u ch   as  co l o r   lin es  an d   m a g n etis m   lin es  t o   g u i d MR  m o v es  to   th tar g et  is   o f ten   co n s id er e d   in   m an y   r esear ch   a n d   ap p lic atio n s .   Her ein ,   th co s t o f   th m ag n etis m   lin an d   its   s en s o r   f o r   d etec tin g   ar m o r ex p en s iv th an   th c o lo r   l in e.   I n   th is   p ap er ,   we  s elec t h b lack   lin o n   th e   g r o u n d   as th m a r k s   f o r   th M R .   T h d esig n in g   a u to m atic  n a v ig atio n   alg o r ith m s   f o r   MR   b ased   o n   th b lack   lin h av b ee n   im p lem en ted   b y   u s in g   an   in f r ar ed   s en s o r   ( I R )   [ 1 7 ]   an d   a   ca m er s en s o r   [ 1 8 ] .   B o th   s en s o r s   d eliv er   h i g h   ef f ec tiv en ess   f o r   ea ch   ap p licatio n .   Ho wev er ,   I R   is   o f ten   af f ec ted   b y   lig h in ten s ity   an d   t h co n d itio n   o f   th e   en v ir o n m en t,  wh ile  th ca m er h as m o r u s ef u l in f o r m atio n   b y   th lar g er   v iew  o f   th p o in t .   co m b in atio n   o f   ar tific ial  in tellig en ce   ( AI )   tr e n d s   is   d ev elo p in g   in   all  f ield s   o f   life .   T h en   AI   h elp s   MR  to   n av ig ate  lin es  is   f o cu s ed   in   s o m r esear ch   [ 1 9 ] [ 2 0 ]   wh ich   u s es  an   ar tific ial  n eu r al  n etwo r k   ( ANN)   to   co m p u te  th s p ee d   o f   ea ch   ac tu ato r   o f   MR.  W ith   th i s   s tr u ctu r e,   t h d ataset  f o r   tr ai n in g   t h weig h t o f   ANN   n ee d s   lar g er   s ize  an d   is   d ef in ed   in   d etail.   T o   o v er co m th is   lim itatio n ,   r ein f o r ce m en lear n i n g   ( R L )   is   th e   m o s u s ed   in   au to m atic  n av ig atio n   b ec au s o f   its   s elf - lear n in g ,   e x p lo r atio n ,   an d   d is co v er y   o f   th en v ir o n m en [ 2 1 ] .   Ho wev er ,   it  h as  lim itatio n s   r elate d   to   th m em o r y   in   th co n tin u o u s   en v ir o n m en d u to   th s elf - lear n in g   p r o ce s s   wh ich   co u ld   b s o lv ed   b y   c o m b in atio n   o f   R L   an d   d ee p   lear n in g   ( DL )   ca lled   d ee p   r ei n f o r ce m en lea r n in g   ( DR L )   wh ich   u s es  th lo o p   b etwe en   ag e n t   an d   en v ir o n m en to   f in is h   th e   co n tr o task s .   Her ein ,   en v ir o n m en p r o v id es  th e   State  an d   r ewa r d - lik f ee d b ac k   co n tr o f o r   th ag en t .   Af ter   h av in g   th is   in f o r m atio n ,   th a g en will  g en er ate   th ac tio n   co r r esp o n d in g   to   s en d   b ac k   to   th en v i r o n m e n lik th co n tr o s y s tem .   tab le  in   ag en t   to   m ap   b etwe en   s tate  in p u an d   ac tio n   o u tp u t.  Ho we v er ,   th m em o r y   s p ac n ee d s   to   b lar g an d   q u ick ly   ac ce s s ib le.   Fo r   th is   r ea s o n ,   n eu r al  n etw o r k   ( NN)   is   u s ed   to   r ep lace   th m ap p in g   tab le  wh ich   is   ca lled   d ee p   n etwo r k   ( DQN)   [ 2 2 ] .   T o   p r ese n t   N in   DQN   f o r   c o n t r o lli n g   t h e   m o b il e   r o b o t,   t h ANN   [ 2 3 ] ,   s i n g le   s h o t   m u lt ib o x   d ete ct o r   [ 2 2 ]   an d   c o n v o l u t io n al  n e u r a l   n etw o r k   [ 2 4 ]   h a v e   b ee n   c o n s id e r ed   u s in g   t h e   r ed ,   g r e e n ,   b l u e - d e p t h   ( R GB - D )   an d   li d a r   s en s o r s   to   d et ec t   t h e   m ar k s   in   t h e   e n v i r o n m e n ts .   So ,   t h e   DQN   i n   th n av ig ati o n   f i el d   f o r   a   m o b il e   r o b o t   b ase d   o n   li n tr ac k i n g   is   n e p o i n in   t h is   p ap er .   I n   p ar t ic u la r ,   C NN   is   a n   ar ch ite ct u r e   i n   d e ep   le ar n i n g   th a co u l d   r ea ch   h i g h   ac c u r a cy   i n   class if i ca ti o n   a n d   s e g m en ta tio n   b ase d   o n   im a g es   f r o m   a   c am e r [ 2 5 ] .   I n   t h is   p a p e r ,   t h e   ca m e r a   is   u s ed   to   c ap t u r e   th e   i m a g e   f r o m   t h e   e n v ir o n m e n t   a n d   a n al y ze   i t   t o   d et er m i n e   t h e   c o n t r o l   s ig n al   f o r   MR   b ase d   o n   DR L .   A n d   C N is   s ele cte d   f o r   t h e   DQN  s tr u ct u r in   DR L .   F u r t h er m o r e,   t h e   m o b i le   r o b o m u s b e   s i m u lat ed   b e f o r a p p ly in g   it  t o   r e al  e x p er im en ts   t o   a v o i d   t r o u b le - r ela te d   co n t r o al g o r it h m s ,   p a r a m e te r s ,   a n d   e n v ir o n m e n ta c o n d iti o n s .   T h e   s im u l ati o n   s t ep   c o u l d   h el p   r e d u c th e   c o s t   o f   t h d e v el o p m e n t   p r o d u ct   as   w ell   as  test   t h e   co n t r o al g o r it h m .   T h is   r ese ar ch   u s es   t h e   i m a g e   f r o m   th e   ca m er f o r   t r a in in g   t h e   C NN  s tr u ct u r t o   m a k it  m o r in tell ig e n t.   Fo r   s im u l ati o n ,   th Ga ze b o   s i m u lat io n   s o f tw ar is   s u g g este d   to   p r ese n t   t h e   e n v i r o n m e n t ,   s e n s o r   m o d el   ( ca m e r a ) ,   a n d   m o b il r o b o t   m o d e b as ed   o n   p h y s ics   en g i n es   [ 2 6 ]   I n   th is   p ap er ,   we   p r o p o s t o   u s e   th class ical  DQN  s tr u ctu r i n   DR L   to   g e n er ate  ac tio n   f o r   n av ig atin g   th m o b ile  r o b o with   o n R GB   ca m er to   f o ll o th lin e.   T h DQN  is   d ev elo p ed   b ased   o n   th e   C NN  s tr u ctu r e.   An d   s im u latio n   is   b u ilt  b ased   o n   Gaz eb o   s o f twar to   p r esen th 3 en v i r o n m en ts ,   m o d elin g   m o b ile  r o b o ts ,   a n d   s en s o r s   ( c am er a) .   T h s im u latio n   r esu lt s   s h o th e f f ec tiv en ess   o f   th p r o p o s al  m eth o d   th at  MB c o u ld   tr ac k   th e   b lack   lin with   s m all  er r o r s   ( less   th an   1 0 0 p x )   an d   c o m p lex   d esire d   tr ajec to r y .   T h e   r e s t   o f   t h e   p a p e r   i s   p r e s e n te d   a s   f o l l o w s :   s e ct i o n   2   i s   m o b i l e   r o b o t   m o d e l i n g   w h i l e   t h e   o v e r a l l   R L   a n d   D Q N   a l g o r i t h m   a r e   p r e s en t e d   i n   s e c t i o n   3 .   N e x t ,   t h e   p r o p o s e d   c o n t r o l   a l g o r i t h m   f o r   m o b i l e   r o b o t s   u s i n g   DQN  a g e n t   b y   t h e   c o n v o l u t i o n   n e u r a l   n e t w o r k   i s   d e v e l o p e d   i n   s e c t i o n   4 .   S e c t i o n   5   p r e s e n t s   r e s u l t s   o b t a i n e d   i n   t h e   G a z e b o   s i m u l a ti o n   e n v i r o n m e n t   t o   v e r i f y   t h e   c o n t r o l   p e r f o r m a n c e   a n d   s e c ti o n   6   i s   t h e   c o n c l u s i o n .       2.   M E T H O D   2 . 1 .       M o bil ro bo t   m o delin g   f o u r - w h ee led   m o b ile  r o b o t   ( FW MR)  co n s is t s   o f   f o u r   wh ee ls   with   r ad iu s   o f   r .   Her ein ,   two   wh ee ls   in   ea ch   f r o n an d   r ea r   m u s b lin k ed   to   en s u r th e y   h av th s am s p ee d   to   p r ev e n th m o b ile  r o b o t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2750   f r o m   s lip p i n g .   T h m o b ile  r o b o m o d el  a n d   its   g eo m etr y   ar p r esen ted   i n   Fig u r e   1   [ 1 ] ,   wh ic h   co u ld   b d etec ted   b y   t h lin k   b etwe en   a   g lo b al  f r am ( X,   Y)   an d   a   lo c al  f r am ( x ,   y ) ; a n d   th e   o r ien ta tio n   .   T h lin ea r   v elo city   o f   ea ch   w h ee is   co m p u ted   as   =   [ 1 ] .   W h er  ,   an d     ar lin ea r   v elo city ,   r a d iu s ,   an d   an g u lar   o f   th i th   wh ee ( i=1 . . 4 )   alo n g   th x - ax is ,   r esp ec tiv ely .   L et’ s   d ef in th lin ea r   v elo cities o f   th lef t ( v L )   an d   r ig h t sid ( v R )   o f   th m o b ile  r o b o t a s   = 1 = 4   an d   = 2 = 3 .   T h lin ea r   v elo city   ( v x ,   v y )   an d   an g u lar   v elo city   ( w )   o f   th v e h icle  alo n g   th x - a xis   co u ld   b e   r ep r esen ted   as  = + 2   = +   a n d   = 0 .   W h er 2c   is   th d is tan ce   b etwe en   t wo   wh ee ls   W 1   an d   W 2   in   Fig u r e   1   an d   [ ] = 1 [ ] .   T h tar g et  o f   co n tr o l is to   m o v th m o b ile  r o b o t to   ta r g et  d ef i n ed   as  X ,   Y,   an d   o r ien tatio n .   T h ey   ar e   p r esen te d   b y   th k in em atic  e q u atio n   o f   th FW MR a s   in   ( 1 ) .     [ ̇ ̇ ̇ ] = [   0   0 0 0 1 ] [ ω ]   ( 1 )     I n   th is   p ap er ,   th FW MR  m o d el  is   u s ed   to   d em o n s tr ate  t h tr ac k in g   o f   th lin alg o r i th m   b ased   o n   d ee p   r ein f o r ce m e n lear n in g   with   DQN  ty p e.   Her ein ,   DQL   u s e s   th C NN  s tr u ctu r with   im ag in p u wh ich   is   ca p tu r ed   f r o m   t h ca m er a.   DR L   is   to   g en er ate  th Actio n   as th co n tr o l sig n al  to   th m o b ile   r o b o t.           Fig u r 1 .   Fo u r - wh ee led   m o b il r o b o m o d elin g       2 . 2 .     Reinf o rc em ent   lea rning   a nd   deep  Q - net wo rk   I n   r ei n f o r ce m en lear n in g   ( R L ) ,   th e   r elatio n s h ip   b etwe en   th ag en t   an d   en v ir o n m en is   s h o wn   in   Fig u r e   2 .   He r ein ,   th e   ag en t   r e ce iv es  s tates  ( s t )   an d   r ewa r d   ( r t )   f r o m   th en v ir o n m en t ,   w h ich   will  s elec th ac tio n   ( a t )   b ased   o n   s t   an d   p o li cy     as  in   ( 2 )   [ 2 7 ] .   T er m     is   th ep s ilo n   co ef f icie n wh ich   p la y s   cr itical  r o le   in   m an a g in g   th tr a d e - o f f   b et wee n   ex p l o r atio n   ( ag e n tr y i n g   o u n ew   ac tio n s   to   d is co v e r   th eir   ef f ec ts   an d   r ewa r d s )   an d   e x p lo itatio n   ( a g en u s in g   its   cu r r en k n o wled g to   m ax im ize  r ewa r d ) ,   e n a b lin g   th ag e n to   lear n   ef f ec tiv ely   f r o m   its   en v ir o n m en t,    is   th s elec ted   ac t io n ,    m a x ( . )   is   th in d ex   o f   th m ax im u m   v alu an d   ( )   is   th v alu at  .   T h e     is   o b tain ed   b y   f in d in g   t h m a x   o f   ( , )   o f     in   T ab le.   1 .           Fig u r 2 .   R ein f o r ce m en t le ar n in g   s tr u ctu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g     ( K h o a   N g u ye n   Da n g )   2751   = {       m a x ( ( ) )                        [ 0 , 1 ] <       (   [ 1 , ] )              [ 0 , 1 ]      ,   [ 1 , . . , ]   ( 2 )     ( , ) = + 1 + m a x   ( ( + 1 , + 1 ) )   ( 3 )     I n   T ab le  1 ,   [ 1 , 1 , , , ]   ar s tate - ac tio n   p air s   with   n   s tate s   an d   m   ac tio n s ,   r esp ec tiv ely .   ( , )   is   u p d ated   b ased   o n   th e   B ellm an   eq u atio n   [ 3 ]   in   ( 3 ) ,   wh e r   is   th d is co u n f ac t o r   with   v alu e   d ef in ed   f r o m   0   to   1 .   B ellm an   eq u atio n   p r o v id es  r ec u r s iv d ec o m p o s itio n   o f   th v alu e   f u n ctio n ,   wh ic h   is   ce n tr al  to   s o lv in g   d ec is io n - m ak in g   p r o b lem s   wh er a n   ag en s ee k s   to   m ax im ize  cu m u lativ r ewa r d s   o v er   tim e.   Ho wev er ,   th Q - tab le  is   lim ited   to   b ein g   s to r e d   in   m e m o r y   a n d   s tr u ctu r o r g a n izatio n ,   wh ich   c o u ld   n o t   s av lar g r o ws  an d   co lu m n s .   T o   o v er co m th is   p o i n t,  th n eu r al  n etwo r k   is   r ep lace m e n m eth o d   with   th e   in p u t la y er   ( s tates)  an d   o u t p u ( ( , ) )   wh ich   is   ca lled   d ee p   Q - n et wo r k   ( DQN)   as in   Fig u r e   3 .     T h is   p ap er   u s es  th ca m er to   d etec th e   lin d ef in itio n   o n   t h g r o u n d   b ased   o n   th e   n eu r a n etwo r k   ty p ed   c o n v o lu tio n   n eu r al  n et wo r k   ( C NN) .   I is   ap p lied   to   f in d   th e   p o licy   o f   R L   as  in   Fig u r e   3 ,   wh ich   is   well  k n o wn   as  class   o f   d ee p   n e u r al  n etwo r k s ,   m o s co m m o n ly   ap p lied   to   an aly zin g   v is u a im ag er y .   I n   th e   n av ig atio n   o f   m o b ile  r o b o ts ,   C NN  co u ld   b u s ed   to   g en e r ate  th s tag to   s elec ac to r s   o f   D R L .   T h d etails  ar e   p r esen ted   in   th e   n ex t sectio n .       T ab le  1 .   R elatio n s h ip   b etwe en   ac tio n   an d   s tate     1   2       1   ( 1 , 1 )   ( 2 , 1 )     ( , 1 )   2   ( 1 , 2 )   ( 2 , 2 )     ( , 2 )               ( 1 , )   ( 2 , )     ( , )           Fig u r 3 .   Neu r al  n etwo r k   r ep l ac in g   f o r   Q - T ab le  in   R L       2 . 3 .     Dev el o pin g   deep  Q - net wo rk   f o mo bil ro bo t   I n   th is   s ec tio n ,   we  r ep r esen th ar ch itectu r o f   DQN  wh ich   co n tain s   3   p ar ts p r ep r o c e s s o r ,   C N N   lay er ,   an d   ac tio n   s et  as  s h o w n   in   Fig u r e   4 .   State  o u tp u f r o m   th en v ir o n m en is   th im ag d escr ip tio n   with   th r ee   p ar am eter s   th wid th ,   th h eig h t,  an d   th co lo r .   I n   t h is   ca s e,   th wid th   an d   h eig h a r 4 8 0   p ix els  ( p x ) ,   an d   3 6 0   p ix els,  r esp ec tiv ely .   T h co lo r   is   p r esen te d   with   t h r ee   u n its   b y   r ed - g r ee n - b lu ( R GB ) .   T o   s im p lify   th n etwo r k   ar ch itectu r e   o f   C NN,   in s tead   o f   u s in g   an   R GB   im ag with   f u ll  c o lo r   ( 3   c h an n els),   th im ag will   b co n v e r ted   to   th g r a y   im a g ( d ef in e d   with   th s in g le  ch an n el)   wh er ea c h   p ix el  is   p r esen ted   b y   s in g le  in ten s ity   v alu ( f r o m   0   to   2 5 5 ) .   T h er ef o r e,   th im a g co u ld   b p r esen ted   as  ( 4 8 0 × 3 6 0 × 1 )   wh ich   is   r esized   to   ( 8 4 × 8 4 )   t o   r e d u ce   th n u m b er   o f   p ix els  f r o m   t h im ag an d   p r esen with   ( 8 4 ×8 4 × 1 )   as  in p u f o r   C NN.   T h is   s tag is   to   r e d u ce   t h e   co m p u tatio n   co m p lex ity   an d   t im tr ain in g   o f   n eu r al  n etwo r k s .   T h ar ch itectu r o f   C NN  co n s is tin g   an   in p u t   lay er   o f   s ize  8 4 ×8 4 ×1   as  in   Fig u r 5 .   T h en   th r ee   co n v o lu tio n   lay er s   ar 3 2   f ilter s   o f   th k er n el  m atr ix   8 ×8   with   4   s tr id es,  6 4   f ilter s   o f   th k er n el  m atr ix   4 ×4   with   2   s tr id es,  an d   6 4   f ilter s   o f   k er n el  m atr ix   3 ×3   with   o n e   s tr id ar ap p lied   to   f ilter   th in f o r m atio n   an d   p r o d u ce   f ea t u r m ap   an d   th e n   th ey   ar co n v er ted   to   th s in g le  d im en s io n al  v ec to r   [ 2 8 ] .   T h d ata  is   s en t to   th h id d e n   lay er   with   1 2 8   n eu r o n s .     B o t h   c o n v o l u t i o n   l a y e r s   a n d   h id d e n   l a y e r s   u s e   r e c ti f i e d   l i n ea r   u n i t s   ( R e L U )   f o r   t h e   a c t i v at i o n   f u n c t i o n .   T h e   o u t p u t   l a y e r   w i t h   t h r e e   o u t p u t s   p r e s e n ts   t h r e e   a c t i o n s   t u r n   l e f t   ( L 0 . 5   i s   0 . 5   r a d / s ) ,   f o r w a r d   ( F 0 . 2   i s   0 . 2   m / s ) ,   a n d   r i g h t   ( R 0 . 5   i s   0 . 5   r a d /s )   a s   i n   ( 4 ) .   T h e   l i n e a r   a c ti v a t i o n   f u n c t i o n   i s   a p p l i e d   t o   a li g n   o u t p u t   i n   r a n g e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2752    =   { 0 . 5              ( ( ) ) = 0 0 . 2             ( ( ) ) = 1 0 . 5             ( ( ) ) = 2   ( 4 )           Fig u r 4 .   DQN  Ar ch itectu r e   f o r   m o b ile  r o b o t           Fig u r 5 .   C o n v o lu tio n   n eu r al  n etwo r k   s tr u ctu r e       T o   d ef in e   th r ewa r d   f o r   DQN,   an   er r o r   o f   r o b o s itu atio n s   is   co m p u ted   b y   th e   ab s o lu te  p o s itio n   o f   s etp o in an d   f ee d b ac k   b ased   o n   th e   ax is .   Fr o m   t h im ag e   o f   th e   ca m er a,   two   p o in ts   ( f ee d b ac k   p o in t   an d   s et  p o in t)   co u ld   b d ete r m in ed   as   in   Fig u r e   6 .   Her ein ,   Fig u r e s   6 ( a )   an d   6 ( b )   ar s am p les  p r e s en ted   to   th co r n e r   with   th r i g h s id e   an d   lef t   s id e,   r esp ec tiv ely .   Fig u r e   6 ( c )   p r esen ts   s tr aig h t   s itu atio n   with o u an y   c o r n er s .   T h f ee d b ac k   p o i n is   d e f in e d   as  th e   ce n ter   o f   th e   ca m er v iew  with   th m i d d le  c r o s s   o f   wid th =4 8 0   a n d   h eig h t=3 6 0 ,   an d   th s et  p o in i s   th ce n ter   o f   th r ec tan g le  c o v er in g   th lin tr ajec to r y .   T h r o b o is   f o ll o win g   th lin wh en   X feedback =X setpoint ,   th er r o r   co u l d   b d ef in ed   as  ( 5 ) .       =   |    |   ( 5 )     T h er r o r   is   p r esen ted   b y   th e   d is tan ce   in   p ix els.  T h en ,   r ew ar d s   will  b d ef in ed   b ased   o n   th er r o r   v alu as sh o wn   in   T ab le  2 ,   wh ich   is   d iv id ed   in to   f iv lev els  - 2 ,   - 1 ,   - 0 . 5 ,   0 . 5 ,   an d   1 .   T h ese  r ewa r d s   ar co u n ted   b ased   o n   p r e v io u s   ac tio n s   in   ( 4 )   a n d   t h cu r r en s tate  ( e r r o r   ev alu atio n s ) .   Sp ec if ically ,   th er r o r   is   less   th an   eq u al  to   8 0   p ix els  an d   th e   m o b ile  r o b o is   i n   th e   s tate  f o r wa r d   ( s tr aig h t) ,   th is   ac tio n   ( s tr aig h t)   is   en c o u r a g ed   to   m ain tain .   T h er ef o r e,   t h r ewa r d   is   a   p o s itiv n u m b er   ad d e d   to   1 .   Oth e r wis e,   th MB  is   i n   lef t/rig h t   co n tr o l,   an d   th ese  ac tio n s   ar n o e n c o u r ag e d   in   th n ex ac tio n .   T h r ewa r d   is   s et  to   a   n eg ativ n u m b er   o f   - 0 . 5 .   Similar ly ,   if   th er r o r   is   in   th r an g o f   8 0   p ix els to   1 2 0   p i x el s   an d   all  ac tio n s   in   th p r ev io u s   co n f ig u r ed .   T h is   ca s is   g en er ally   en c o u r a g ed ,   s o   th r ewa r d   is   th n o r m al  v a lu ad d e d   to   0 . 5 .   Fin ally ,   th e   m o b ile  r o b o s h o u ld   m ain tain   th s m allest  er r o r ,   an d   to   av o id   th e   wo r s ca s wh ic h   s ets  th r ewa r d   to   - 2   if   th e r r o r   220 .   At  th e   in itial  tim e,   th DQN  is   em p ty ,   an d   it  n ee d s   th tr ain in g   p r o ce s s   f o r   s tu d y i n g   an d   u p d atin g   th weig h to   b ec o m m o r in tellig en t.  Ne x t p ar t,  th tr ai n in g   p r o ce s s   will b co n s id er e d   in   d etail.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g     ( K h o a   N g u ye n   Da n g )   2753         ( a)   ( b )   ( c)     Fig u r 6 .   C o m p u tin g   e r r o r   m e th o d : ( a)   v iew  o f   c o r n e r   with   t h r ig h t sid e,   ( b )   v iew  o f   c o r n er   with   th lef s id e ,   an d   ( c)   v iew  o f   n o   c o r n er   with   th s tr aig h t sit u atio n         T ab le  2 .   R ewa r d   d e f in itio n s   C o n d i t i o n s   R e w a r d   v a l u e   D e scri p t i o n s   A c t i o n s   Er r o r s (p i x e l s)   F 0 . 2      80   1   En c o u r a g e   g o   st r a i g h t   L0 . 5 ,   R 0 . 5   - 0 . 5   N o t   e n c o u r a g e   A n y   a c t i o n s   80   <    120   0 . 5   G e n e r a l   e n c o u r a g e   F 0 . 2   120   <    220   - 1   N o t   e n c o u r a g e   L0 . 5 ,   R 0 . 5   0 . 5   G e n e r a l   e n c o u r a g e me n t   ( t u r n   l e f t / r i g h t )   A n y   a c t i o n s      > 220   - 2   W o r st   c a s e       T h tr ain in g   p r o ce s s   o f   th e   DQN  alg o r ith m   is   s h o wn   in   Fig u r 7 .   Her ein ,   t h p r e d ict   an d   tar g et  m o d el  ( PM,   T M)   ar p r esen te d   as  th C NN  ty p e,   wh ich   is   u s ed   to   p r ed ict  th ac tio n   v alu e s   an d   ca lcu late  th e   v alu f o r   th e   n e x s tate  in   B e llm an   ( 7 ) ,   r esp ec tiv ely .   I n itially ,   th a g en t   r ec eiv es  th e   p ar am eter s ,   ,   an d   f r o m   th en v ir o n m en to   ch o o s th ac tio n   b ased   o n   ( 7 )   wh er ( )   is   th o u tp u o f   th PM  n etwo r k .   Af ter   th at,   th e   en v ir o n m e n will  ex p o r th e   n ew   + 1 + 1 ,   an d   c o n tin u e   n ew  lo o p .   A   b u f f er   m em o r y   M t   is   u s ed   to   s to r all  d ata  = [ , , + 1 , + 1 ]   f o r   th tr ain in g   o f   th C NN  m o d el.   W h en   M t   s ize  co m es  to   m ax im u m   v alu d ef in itio n ,   th lo s f u n c tio n   is   ex ec u ted   an d   is   u s ed   to   u p d ate  th weig h o f   PM  Af ter   th at,   th M t   is   r ef r esh ed   f o r   n ew  s tep   s to r in g .   T h is   s tep   en s u r es  th e   ef f icie n cy   o f   th tr ai n in g   p r o ce s s   with   th en o u g h   lar g e   d ataset.   T h s ize  o f   M t   co u ld   b d ef i n ed   as  to o   lar g s o   it   co u ld   a f f ec to   co m p u te  p r o c ess   an d   tak lo n g er   tim e.   T h er ef o r e,   b atch _ s ize  i s   u s ed   to   ex tr ac t th n u m b e r   o f   r an d o m   d ata  f r o m   M t   f o r   th e   tr ain in g   p r o ce s s .       T h weig h t u p d atin g   o f   PM  b ased   o n   th lo s s   f u n ctio n   co u ld   b co m p u ted   b y   th m ea n   s q u ar ed   er r o r   f o llo win g   in   ( 6 ) .   W h er  ( + 1 )   is   t h o u tp u v alu es  o f   th T n etwo r k   at  + 1   an d    ( , )   is   th e   o u tp u o f   PM  n etwo r k   at    an d   .   T h PM  weig h ts   ar u p d a ted   d u r in g   n   iter atio n   an d   th e y   ar co p ied   to   u p d ate  to   th weig h ts   o f   T M.   B ased   o n   MSE ,   th tr ain in g   p r o ce s s   u s es th Ad am   o p tim iza tio n   with   lear n in g   r ate  s elec tio n   [ 2 9 ] .           Fig u r 7 .   T r ain in g   p r o ce s s   f o r   C NN  m o d el  in   ag en t    = 1 2 [  ( , )  ( , ) ] 2    wh er    ( , ) = +   ma x   (  ( + 1 ) )   ( 6 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2754   3.   RE SU L T S AN D I SCU SS I O N   I n   th is   p ap er ,   we  u s Gaz eb o   s im u latio n   en v ir o n m en [ 3 0 ]   to   s im u late  th f o u r - wh ee m o b ile  r o b o t   tr ac k in g   lin e   u s in g   th v is io n   ( ca m e r p l u g in   in   Gaz e b o )   as  s h o wn   in   Fig u r e   8 ,   an d   Py t h o n   p r o g r am m i n g .   T h p ar a m eter s   o f   t h m o b ile  r o b o [ 3 1 ]   a n d   DQN  alg o r i th m   [ 3 2 ]   ar e   p r esen ted   in   T a b le  3 .   Fo r   tr ain in g   p r o ce s s in g ,   th n u m b er   o f   t r ials   is   s e lecte d   4 0 . 0 0 0   tim es  ca lled   ep is o d e_ s tep   b y   e x p er im en tal.   E ac h   ep is o d e_ s tep   will  h a v a   s tar t tim ( m o b ile  r o b o t   g o )   a n d   r eset  ( u n til   wo r s ca s e)   d ef in e d   a s   n _ s tep   tim e.   As a   r esu lt  in   Fig u r e   9 ( a ) ,   th FW MR  m o v es  with   s h o r tim ( s m all  n _ s tep ,   s m all  r ewa r d )   a n d   s h o r d is tan ce   in   th f ir s ep is o d e_ s tep   b ec a u s all  p ar am eter s   an d   weig h ar in itial.  T h ey   n ee d   m o r e   tim f o r   tr ain i n g   an d   u p d atin g   an d   th en   th n _ s tep   an d   r ewa r d   co u l d   b b etter   in   ep is o d e_ s tep   n u m b e r   5 7   as  s h o wn   in   Fig u r e   9 ( b ) wh ich   also   p r esen ts   th av er a g r ewa r d   v al u e.   Af ter   th tr ain in g   p r o ce s s ,   th test in g   p r o ce s s   to   p er f o r m e d   o n   m o b ile  r o b o t tr ac k in g   th lin wh ich   b u ild s   in   Gaz eb o   s im u latio n .   T h r esu lt  in   Fig u r 1 0   s h o ws  th p er f o r m a n ce s   o f   FW MR,   in   wh ich   th er r o r s   ar co m p u ted   with   n o   ab s o lu t in   ( 9 )   an d   s h o wn   in   Fig u r es  1 0 ( a)   an d   1 0 ( b ) .   T h MR  tr ac k in g   p er f o r m an c is   s h o wn   in   Fig u r 1 0 ( c) .   Ov er al l,  th er r o r   is   in   th r a n g o f   - 2 0 0 p x   to   2 0 0 p x ,   an d   m o s o f   t h f o c u s   is   o n   - 1 0 0   to   1 0 0 p x .   T h is   m ea n s   th at  th e   er r o r   d e f in ed   th d ev iatio n   b etwe en   th v is io n   v iew  ( r o b o t   v iew)   an d   th lin e,   wh ich   is   s m all  ( 1 0 0   p x   is   ar o u n d   2 . 6   cm )   an d   s u itab le  f o r   m ap p in g   in   ea c h   d ir ec tio n ,   s u ch   as  f o r war d ,   lef t,   an d   r ig h t.  T h e r r o r   is   less   th an   2 4 0 ,   an d   th at  m o b ile  r o b o t   is   in   th h an d le,   n o t   in   th w o r s ca s wh ich   h as  th r ewa r d   s et  b y   - 2 .   W ith   th e   ca s er r o r s   to   ar o u n d   ± 2 2 0   p x ,   th m o b ile  r o b o g o es  ar o u n d   th co r n er   in   th e   m ap .   B u t it  m ay   n o t o f ten   b ec au s it d ep en d s   o n   th p r ev i o u s   d ir ec tio n   an d   s tate  o f   MR.  T h co n tr o l te n d en c y   is   to   th er r o r   r ed u ce d   to   ze r o .   So   th er r o r s   ex is with   ± 2 2 0 p x   o n ly   m ain tain e d   d u r in g   a   s h o r tim e.   B esid es,  m ea n   s q u ar ed   e r r o r   ( MSE )   is   co m p u ted   a n d   co m p ar ed   b etwe en   th p r o p o s al  m eth o d   a n d   t h tr ad itio n al  v is io n   m eth o d   [ 3 3 ]   ( u s in g   im ag e   m o m en t)   as  s h o wn   in   T a b le  4 .   B ased   o n   th e   er r o r   c o n tr o l   in   p i x els,  th co n v er to   th m eter   is   u s ed   an d   co m p u t ed   MSE   ( 1   m eter   3 7 7 9 . 5 2   p ix els).   T h MSE   in   th DR L   m eth o d   is   lo wer   in   VSN.   I t p r o v es th at  th DR L   m eth o d   h as h ig h er   p er f o r m an c th an   th VSN  m eth o d .           Fig u r 8 .   Fo u r - wh ee l m o b ile  r o b o t f o llo ws lin u s in g   ca m er s ce n ar io       T ab le  3 .   Par am eter   o f   m o b ile  r o b o an d   DQN   N a me       S i z e _ c a mera   r   c   B a t c h _ s i z e   Ep i s o d e _ st e p   Le a r n i n g   r a t e   V a l u e   0 . 9 9   1 . 0   4 8 0 × 3 6 0 × 3   2   ( c m )   5   ( c m )   32   4 0 0 0 0   0 . 0 0 0 1           ( a)   ( b )     Fig u r 9 .   T r ain in g   p r o ce s s   r esu lts   ( a)   n _ s tep   in   o n e p is o d es_ s tep   an d   ( b )   r ewa r d   an d   av er ag r ewa r d   i n   o n e   ep is o d es_ s tep   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g     ( K h o a   N g u ye n   Da n g )   2755   T ab le  4 .   MSE   co m p ar is o n   b etwe en   p r o p o s al  m eth o d   an d   tr a d itio n al  v is io n   m eth o d   M e t h o d   M S *   1 0 0   ( i n   me t e r )   P r o p o sa l   m e t h o d   ( D R L)   0 . 0 2 6 4   Tr a d i t i o n a l   v i s i o n   met h o d   ( V S N )   0 . 0 4 0 6           ( a)   ( b )         ( c)     Fig u r 1 0 .   Per f o r m a n ce   o f   FW MR ( a)   er r o r   o f   p o in t in   im a g v iewin g   f r o m   t h r o b o t in   t h p r o p o s al  m eth o d ,   ( b )   er r o r   o f   p o in t in   im a g v ie win g   f r o m   th r o b o t in   th tr a d itio n al  v is io n   m eth o d ,   a n d   ( c )   tr ac k in g   lin p er f o r m an ce   o f   FW MR       T h p er f o r m an ce   o f   m o b ile  r o b o tr ac k i n g   is   s h o wn   in   th d etails  o f   Fig u r e   1 0 ( c )   th at   FW MR  co u ld   co m p lete  tr ajec to r y   f r o m   th e   s tar p o in to   th s to p   p o in in   th m ap .   E asil y   s ee m s   th at  th MR  h as  b ig g er   er r o r   in   ea c h   co r n er .   B u it  is   s till   b etter   th an   th VSN  m eth o d .   Ho wev er ,   in   th s tr aig h li n e,   MR  co u ld   tr ac k   th tr ajec to r y   with   h ig h er   p e r f o r m an ce   ( o v er lap   lin e,   clo s ed   d is tan ce   with   lin e) .   T h u s ,   th MR  u s es   th C N N   b ased   o n   th im ag f r o m   th ca m er ca n   g en e r ate  th ac tio n   f o r   ea ch   s tate  g iv en   b y   th en v ir o n m en in   th e   DR L   s tr u ctu r e.   T h tar g et  o f   in d o o r   n av ig atio n   o f   MR  is   estab lis h ed   s u cc es s   in   co m p lex   m ap p in g   an d   m ain tain in g   it  in   r ea l - tim s y s tem .   T h is   p r o v es  o u r   p r o p o s al  is   u s ef u an d   b r in g s   h ig h   e f f ec tiv en ess   f o r   th e   n av ig atio n   a n d   tr ac k in g   lin e   o f   m o b ile  r o b o t.       4.   CO NCLU SI O N   T h is   p ap er   p r esen ts   th e   DQN  in   DR L   f o r   th n av ig atio n   o f   m o b ile   r o b o f o llo win g   th l in o n   th e   g r o u n d   b ased   o n   a   co n v o lu tio n   n e u r al  n etwo r k   f o r   p r o ce s s in g   im a g es  f r o m   a   ca m er a.   All  s tep s   ar d is cu s s ed   in   d etail  to   clea r   p er f o r m an ce   an d   ap p ly   to   th s p ec if ic   o b j ec t.  T h r esu lts   im p r o v ed   t h ef f ec tiv en ess   o f   th e   co n tr o alg o r it h m   s o   th at  th m o b ile  r o b o co u ld   f o llo th e   lin with   h ig h   ac cu r ac y   p r ese n ted   b y   th er r o r   o f   less   th an   1 0 0   p ix els  with   d if f er en t y p es  o f   tr ajec to r ies.  T h is   p r o p o s al  co u ld   b e   ap p li ed   to   m o b ile  r o b o t   n av ig atio n   as we ll a s   in   r o b o ti cs f ield s   in   th f u tu r e .       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 7 4 8 - 2 7 5 7   2756   Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Kh o Ng u y e n   Dan g                               Van   T r an   T h i                               Ng u y en   Van   T h an g                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA  AV AI L AB I L I T Y   T h d ata  t h at  s u p p o r th e   f in d in g s   o f   t h is   s tu d y   ar e   av ailab l f r o m   th c o r r esp o n d in g   au t h o r ,   K N D u p o n   r ea s o n ab le  r eq u est.       R E FE R E N C E S   [ 1 ]   A .   M a r k i s ,   M .   P a p a ,   D .   K a se l a u t z k e ,   M .   R a t h ma i r ,   V .   S a t t i n g e r ,   a n d   M .   B r a n d s t ö t t e r ,   S a f e t y   o f   m o b i l e   r o b o t   s y st e ms  i n   i n d u st r i a l   a p p l i c a t i o n s ,   ARW   & O AG W o rks h o p   2 0 1 9 ,   p p .   2 6 3 1 ,   2 0 1 9 .   [ 2 ]   A .   Lo g a n a t h a n   a n d   N .   S .   A h ma d ,   A   sy st e ma t i c   r e v i e w   o n   r e c e n t   a d v a n c e s   i n   a u t o n o m o u m o b i l e   r o b o t   n a v i g a t i o n ,   En g i n e e ri n g   S c i e n c e   a n d   T e c h n o l o g y ,   a n   I n t e rn a t i o n a l   J o u rn a l ,   v o l .   4 0 ,   p .   1 0 1 3 4 3 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j e st c h . 2 0 2 3 . 1 0 1 3 4 3 .   [ 3 ]   C .   H .   A .   H .   B .   B a sk o r o ,   H .   M .   S a p u t r a ,   M .   M i r d a n i e s ,   V .   S u s a n t i ,   M .   F .   R a d z i ,   a n d   R .   I .   A .   A z i z ,   A n   a u t o n o m o u m o b i l e   r o b o t   p l a t f o r m   f o r   m e d i c a l   p u r p o se,   i n   Pro c e e d i n g   -   2 0 2 0   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S u s t a i n a b l e   E n e r g y   En g i n e e ri n g   a n d   Ap p l i c a t i o n :   S u st a i n a b l e   En e r g y   a n d   T ra n s p o rt a t i o n :   T o w a r d Al l - Re n e w a b l e   F u t u r e ,   I C S EEA   2 0 2 0 ,   N o v .   2 0 2 0 ,   p p .   4 1 4 4 .   d o i :   1 0 . 1 1 0 9 / I C S EEA 5 0 7 1 1 . 2 0 2 0 . 9 3 0 6 1 6 1 .   [ 4 ]   Z.   G o n g ,   Z.   N i e ,   Q .   Li u ,   a n d   X .   J.  L i u ,   D e si g n   a n d   c o n t r o l   o f   a   m u l t i - m o b i l e - r o b o t   c o o p e r a t i v e   t r a n s p o r t   sy st e m b a s e d   o n   a   n o v e l   si x   d e g r e e - of - f r e e d o c o n n e c t o r ,   I S T ra n s a c t i o n s ,   v o l .   1 3 9 ,   p p .   6 0 6 6 2 0 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i s a t r a . 2 0 2 3 . 0 4 . 0 0 6 .   [ 5 ]   B .   S .   O .   P a l l a r e s ,   T .   A .   M .   R o z o ,   E .   C .   C a m a c h o ,   J .   G .   G u a r n i z o ,   a n d   J .   M .   C a l d e r o n ,   D e s i g n   a n d   c o n s t r u c t i o n   o f   a   c o s t - o r i e n t e d   m o b i l e   r o b o t   f o r   d o m e s t i c   a s s i s t a n c e ,   I F A C - P a p e r s O n L i n e ,   v o l .   5 4 ,   n o .   1 3 ,   p p .   2 9 3 2 9 8 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i f a c o l . 2 0 2 1 . 1 0 . 4 6 2 .   [ 6 ]   S .   H a b i b i a n   e t   a l . ,   D e si g n   a n d   i m p l e men t a t i o n   o f   a   ma x i - s i z e d   mo b i l e   r o b o t   ( K a r o )   f o r   r e s c u e   m i ssi o n s,”   RO B O ME C H   J o u r n a l v o l .   8 ,   n o .   1 ,   J a n .   2 0 2 1 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 6 4 8 - 0 2 0 - 0 0 1 8 8 - 9.   [ 7 ]   H .   A z p ú r u a   e t   a l . ,   A   s u r v e y   o n   t h e   a u t o n o mo u e x p l o r a t i o n   o f   c o n f i n e d   su b t e r r a n e a n   sp a c e s:   p e r sp e c t i v e f r o r e a l - w o r l d   a n d   i n d u st r i a l   r o b o t i c   d e p l o y m e n t s,   Ro b o t i c a n d   Au t o n o m o u S y st e m s ,   v o l .   1 6 0 ,   p .   1 0 4 3 0 4 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . r o b o t . 2 0 2 2 . 1 0 4 3 0 4 .   [ 8 ]   V .   B u l u t ,   P a t h   p l a n n i n g   o f   m o b i l e   r o b o t i n   d y n a mi c   e n v i r o n m e n t   b a se d   o n   a n a l y t i c   g e o m e t r y   a n d   c u b i c   B é z i e r   c u r v e   w i t h   t h r e e   sh a p e   p a r a me t e r s,   E x p e rt   S y st e m w i t h   Ap p l i c a t i o n s ,   v o l .   2 3 3 ,   p .   1 2 0 9 4 2 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 3 . 1 2 0 9 4 2 .   [ 9 ]   P .   S .   Y a d a v ,   V .   A g r a w a l ,   J.  C .   M o h a n t a ,   a n d   M .   D .   F a i y a z   A h me d ,   A   r o b u s t   sl i d i n g   m o d e   c o n t r o l   o f   me c a n u w h e e l - c h a i r   f o r   t r a j e c t o r y   t r a c k i n g ,   M a t e ri a l s   T o d a y :   Pro c e e d i n g s ,   v o l .   5 6 ,   p p .   6 2 3 6 3 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . ma t p r . 2 0 2 1 . 1 2 . 3 9 8 .   [ 1 0 ]   D .   U .   R i j a l u sa l a a n d   I .   I sw a n t o ,   I mp l e me n t a t i o n   k i n e ma t i c s   mo d e l i n g   a n d   o d o me t r y   o f   f o u r   o m n i   w h e e l   m o b i l e   r o b o t   o n   t h e   t r a j e c t o r y   p l a n n i n g   a n d   mo t i o n   c o n t r o l   b a s e d   mi c r o c o n t r o l l e r ,   J o u r n a l   o f   R o b o t i c s   a n d   C o n t r o l   ( J R C ) ,   v o l .   2 ,   n o .   5 ,   p p .   4 4 8 4 5 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 8 1 9 6 / j r c . 2 5 1 2 1 .   [ 1 1 ]   Z.   H a n ,   J.  Lo n g ,   W .   W a n g ,   a n d   L .   W a n g ,   A d a p t i v e   t r a c k i n g   c o n t r o l   o f   t w o - w h e e l e d   mo b i l e   r o b o t u n d e r   D e n i a l - of - S e r v i c e   a t t a c k s,   I S T r a n s a c t i o n s ,   v o l .   1 4 1 ,   p p .   3 6 5 3 7 6 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i s a t r a . 2 0 2 3 . 0 6 . 0 2 2 .   [ 1 2 ]   J .   S .   L i n g   L e o n g ,   K .   T .   K i n   T e o ,   a n d   H .   P .   Y o o n g ,   F o u r   w h e e l e d   m o b i l e   r o b o t s :   a   r e v i e w ,   i n   4 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e   i n   E n g i n e e r i n g   a n d   T e c h n o l o g y ,   I I C A I E T   2 0 2 2 ,   S e p .   2 0 2 2 ,   p p .   1 6 .   d o i :   1 0 . 1 1 0 9 / I I C A I E T 5 5 1 3 9 . 2 0 2 2 . 9 9 3 6 8 5 5 .   [ 1 3 ]   M .   H .   M o h a ma d   N o r ,   Z.   H .   I smai l ,   a n d   M .   A .   A h ma d ,   B r o a d c a s t   c o n t r o l   o f   m u l t i - r o b o t   s y st e ms  w i t h   n o r m - l i m i t e d   u p d a t e   v e c t o r ,   I n t e r n a t i o n a l   J o u rn a l   o f   Ad v a n c e d   R o b o t i c   S y s t e m s ,   v o l .   1 7 ,   n o .   4 ,   Ju l .   2 0 2 0 ,   d o i :   1 0 . 1 1 7 7 / 1 7 2 9 8 8 1 4 2 0 9 4 5 9 5 8 .   [ 1 4 ]   A .   S t e f e k ,   T.   v a n   P h a m,  V .   K r i v a n e k ,   a n d   K .   L .   P h a m,   E n e r g y   c o m p a r i s o n   o f   c o n t r o l l e r u s e d   f o r   a   d i f f e r e n t i a l   d r i v e   w h e e l e d   mo b i l e   r o b o t ,   I EEE  Ac c e ss ,   v o l .   8 ,   p p .   1 7 0 9 1 5 1 7 0 9 2 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 2 3 3 4 5 .   [ 1 5 ]   X .   Lu o ,   D .   M u ,   Z.   W a n g ,   P .   N i n g ,   a n d   C .   H u a ,   A d a p t i v e   f u l l - s t a t e   c o n st r a i n e d   t r a c k i n g   c o n t r o l   f o r   m o b i l e   r o b o t i c   sy st e w i t h   u n k n o w n   d e a d - z o n e   i n p u t ,   N e u r o c o m p u t i n g ,   v o l .   5 2 4 ,   p p .   3 1 4 2 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 2 2 . 1 2 . 0 2 5 .   [ 1 6 ]   J.  L i ,   J.   W a n g ,   H .   P e n g ,   Y .   H u ,   a n d   H .   S u ,   F u z z y - t o r q u e   a p p r o x i ma t i o n - e n h a n c e d   s l i d i n g   mo d e   c o n t r o l   f o r   l a t e r a l   s t a b i l i t y   o f   mo b i l e   r o b o t ,   I EEE   T ra n s a c t i o n s   o n   S y s t e m s,   M a n ,   a n d   C y b e rn e t i c s:   S y st e m s ,   v o l .   5 2 ,   n o .   4 ,   p p .   2 4 9 1 2 5 0 0 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / TS M C . 2 0 2 1 . 3 0 5 0 6 1 6 .   [ 1 7 ]   Y .   Li u ,   S .   W a n g ,   Y .   X i e ,   T.   X i o n g ,   a n d   M .   W u ,   A   r e v i e w   o f   se n si n g   t e c h n o l o g i e s   f o r   i n d o o r   a u t o n o m o u s   mo b i l e   r o b o t s ,   S e n so rs ,   v o l .   2 4 ,   n o .   4 ,   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / s 2 4 0 4 1 2 2 2 .   [ 1 8 ]   O .   K e d z i o r a   e t   a l . ,   A c t i v e   sp e e d   a n d   c r u i se  c o n t r o l   o f   t h e   m o b i l e   r o b o t   b a s e d   o n   t h e   a n a l y s i o f   t h e   p o si t i o n   o f   t h e   p r e c e d i n g   v e h i c l e ,   i n   2 0 2 2   2 6 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   Me t h o d a n d   M o d e l s   i n   A u t o m a t i o n   a n d   R o b o t i c s,   M MA R   2 0 2 2   -   Pro c e e d i n g s ,   A u g .   2 0 2 2 ,   p p .   1 8 1 1 8 6 .   d o i :   1 0 . 1 1 0 9 / M M A R 5 5 1 9 5 . 2 0 2 2 . 9 8 7 4 2 9 8 .   [ 1 9 ]   R .   F a r k h ,   K .   A l   Jal o u d ,   S .   A l h u w a i m e l ,   M .   T.   Q u a s i m,  a n d   M .   K s o u r i ,   A   d e e p   l e a r n i n g   a p p r o a c h   f o r   t h e   mo b i l e - r o b o t   m o t i o n   c o n t r o l   sy s t e m ,   I n t e l l i g e n t   A u t o m a t i o n   a n d   S o f t   C o m p u t i n g ,   v o l .   2 9 ,   n o .   2 ,   p p .   4 2 3 4 3 5 ,   2 0 2 1 ,   d o i :   1 0 . 3 2 6 0 4 / i a s c . 2 0 2 1 . 0 1 6 2 1 9 .   [ 2 0 ]   D .   Tr u j i l l o ,   L .   A .   M o r a l e s ,   D .   C h á v e z ,   a n d   D .   F .   P o z o ,   Tr a j e c t o r y   t r a c k i n g   c o n t r o l   o f   a   mo b i l e   r o b o t   u si n g   n e u r a l   n e t w o r k s,   Em e rg i n g   S c i e n c e   J o u r n a l ,   v o l .   7 ,   n o .   6 ,   p p .   1 8 4 3 1 8 6 2 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 2 8 9 9 1 / ESJ - 2 0 2 3 - 07 - 06 - 0 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n d o o r   n a vig a tio n   fo r   mo b ile  r o b o ts   b a s ed   o n   d ee p   r ein fo r ce men t le a r n in g     ( K h o a   N g u ye n   Da n g )   2757   [ 2 1 ]   H .   Li ,   Q .   Zh a n g ,   a n d   D .   Zh a o ,   D e e p   r e i n f o r c e m e n t   l e a r n i n g - b a s e d   a u t o m a t i c   e x p l o r a t i o n   f o r   n a v i g a t i o n   i n   u n k n o w n   e n v i r o n m e n t ,   I E EE  T r a n sa c t i o n s   o n   N e u r a l   N e t w o r k a n d   L e a r n i n g   S y st e m s ,   v o l .   3 1 ,   n o .   6 ,   p p .   2 0 6 4 2 0 7 6 ,   Ju n .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / TN N LS. 2 0 1 9 . 2 9 2 7 8 6 9 .   [ 2 2 ]   M .   F .   R .   Le e   a n d   S .   H .   Y u s u f ,   M o b i l e   r o b o t   n a v i g a t i o n   u si n g   d e e p   r e i n f o r c e me n t   l e a r n i n g ,   Pr o c e sses ,   v o l .   1 0 ,   n o .   1 2 ,   p .   2 7 4 8 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / p r 1 0 1 2 2 7 4 8 .   [ 2 3 ]   J.  Z h a o ,   M .   K o n g ,   Q .   Li ,   a n d   X .   S u n ,   C o n t r a c t - b a se d   c o m p u t i n g   r e s o u r c e   ma n a g e m e n t   v i a   d e e p   r e i n f o r c e men t   l e a r n i n g   i n   v e h i c u l a r   f o g   c o m p u t i n g ,   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   3 3 1 9 3 3 2 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 6 3 0 5 1 .   [ 2 4 ]   K .   Zh u   a n d   T.   Z h a n g ,   D e e p   r e i n f o r c e m e n t   l e a r n i n g   b a se d   m o b i l e   r o b o t   n a v i g a t i o n :   A   r e v i e w ,   T si n g h u a   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   2 6 ,   n o .   5 ,   p p .   6 7 4 6 9 1 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 2 6 5 9 9 / TST . 2 0 2 1 . 9 0 1 0 0 1 2 .   [ 2 5 ]   R .   P a t e l   a n d   S .   P a t e l ,   A   c o mp r e h e n si v e   s t u d y   o f   a p p l y i n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   f o r   c o m p u t e r   v i s i o n ,   I n t e r n a t i o n a l   J o u rn a l   o f   Ad v a n c e d   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   2 9 ,   n o .   6   S p e c i a l   I ssu e ,   p p .   2 1 6 1 2 1 7 4 ,   2 0 2 0 .   [ 2 6 ]   J.  P l a t t   a n d   K .   R i c k s,   C o m p a r a t i v e   a n a l y s i o f   R O S - U n i t y 3 D   a n d   R O S - G a z e b o   f o r   m o b i l e   g r o u n d   r o b o t   s i m u l a t i o n ,   J o u r n a l   o f   I n t e l l i g e n t   a n d   R o b o t i c   S y st e m s:   T h e o ry  a n d   A p p l i c a t i o n s ,   v o l .   1 0 6 ,   n o .   4 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 8 4 6 - 0 2 2 - 0 1 7 6 6 - 2.   [ 2 7 ]   J.  Y u ,   Y .   S u ,   a n d   Y .   Li a o ,   T h e   p a t h   p l a n n i n g   o f   mo b i l e   r o b o t   b y   n e u r a l   n e t w o r k a n d   h i e r a r c h i c a l   r e i n f o r c e men t   l e a r n i n g ,   Fro n t i e rs  i n   N e u ro r o b o t i c s ,   v o l .   1 4 ,   O c t .   2 0 2 0 ,   d o i :   1 0 . 3 3 8 9 / f n b o t . 2 0 2 0 . 0 0 0 6 3 .   [ 2 8 ]   F .   F o r o u g h i ,   Z.   C h e n ,   a n d   J.   W a n g ,   A   C N N - b a se d   sy s t e m   f o r   m o b i l e   r o b o t   n a v i g a t i o n   i n   i n d o o r   e n v i r o n men t v i a   v i su a l   l o c a l i z a t i o n   w i t h   a   sma l l   d a t a se t ,   W o rl d   El e c t ri c   V e h i c l e   J o u r n a l ,   v o l .   1 2 ,   n o .   3 ,   p .   1 3 4 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / w e v j 1 2 0 3 0 1 3 4 .   [ 2 9 ]   J.  L .   B a   a n d   D .   P .   K i n g m a ,   A d a m:   a   m e t h o d   f o r   st o c h a s t i c   o p t i mi z a t i o n ,   3 r d   I n t e rn a t i o n a l   C o n f e re n c e   o n   L e a r n i n g   Re p r e se n t a t i o n s ,   I C L 2 0 1 5   -   C o n f e r e n c e   T r a c k   Pr o c e e d i n g s ,   p p .   1 1 5 ,   2 0 1 5 .   [ 3 0 ]   A .   F a r l e y ,   J.  W a n g ,   a n d   J .   A .   M a r s h a l l ,   H o w   t o   p i c k   a   mo b i l e   r o b o t   s i mu l a t o r :   a   q u a n t i t a t i v e   c o m p a r i s o n   o f   C o p p e l i a S i m ,   G a z e b o ,   M O R S a n d   W e b o t w i t h   a   f o c u o n   a c c u r a c y   o f   m o t i o n ,   S i m u l a t i o n   M o d e l l i n g   Pr a c t i c e   a n d   T h e o r y ,   v o l .   1 2 0 ,   p .   1 0 2 6 2 9 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . s i mp a t . 2 0 2 2 . 1 0 2 6 2 9 .   [ 3 1 ]   W .   Jo ,   J.  K i m,  R .   W a n g ,   J .   P a n ,   R .   K .   S e n t h i l k u mara n ,   a n d   B . - C .   M i n ,   S M A R TmB O T :   a   R O S 2 - b a s e d   l o w - c o st   a n d   o p e n - s o u r c e   mo b i l e   r o b o t   p l a t f o r m ,   a rX i v : 2 2 0 3 . 0 8 9 0 3 ,   2 0 2 2 .   [ 3 2 ]   M .   K .   C h e g e n i ,   A .   R a s h n o ,   a n d   S .   F a d a e i ,   C o n v o l u t i o n - l a y e r   p a r a me t e r o p t i mi z a t i o n   i n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s,   K n o w l e d g e - B a se d   S y s t e m s ,   v o l .   2 6 1 ,   p .   1 1 0 2 1 0 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 2 . 1 1 0 2 1 0 .   [ 3 3 ]   G .   Y a o ,   R .   S a l t u s,  a n d   A .   D a n i ,   I mag e   mo me n t - b a se d   e x t e n d e d   o b j e c t   t r a c k i n g   f o r   c o m p l e x   mo t i o n s,”   I E EE  S e n so rs  J o u r n a l v o l .   2 0 ,   n o .   1 2 ,   p p .   6 5 6 0 6 5 7 2 ,   J u n .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / JS EN . 2 0 2 0 . 2 9 7 6 5 4 0 .       B I O G RAP H I E S O F   AUTH O RS       K h o a   Ng u y e n   Da n g           re c e iv e d   a n   M . Sc .   d e g re e   in   in f o rm a ti o n   tec h n o lo g y   fr o m   Ha n o U n iv e rsit y   o S c ien c e   a n d   Tec h n o lo g y ,   Vie tn a m ,   in   2 0 1 2   a n d   a   P h . D.  d e g re e   i n   a e ro sp a c e   e n g in e e rin g   fro m   Uls a n   Un iv e rsity ,   Ko re a .   He   is  a   lec tu re r   a th e   F a c u lt y   o f   En g i n e e rin g   a n d   Tec h n o lo g y ,   I n t e rn a ti o n a l   S c h o o l ,   Vie t n a m   Na ti o n a Un iv e rsity .   His   re se a rc h   in tere sts  in c l u d e   UA V,   UG V,  c o n tr o l   sy ste m s,  i n telli g e n t   c o n tr o l,   Io T ,   a n d   a rti ficia l   in telli g e n c e .   He   c a n   b e   c o n tac ted   a e m a il k h o a n d @ v n u is.ed u . v n .         Va n   Tr a n   Th         re c e iv e d   a n   M S c .   d e g re e   in   i n fo rm a ti o n   tec h n o l o g y   fr o m   Ha n o i   Un iv e rsity   o S c ien c e   a n d   Tec h n o lo g y ,   Vie tn a m   in   2 0 1 2 .   Cu rre n t ly ,   sh e   is  a   lec tu re a th e   Un iv e rsity   o f   Lab o u r   a n d   S o c ial  Affa irs.   He re se a rc h   in tere sts  i n c lu d e   UG V,  c o n tro l   sy ste m s ,   Io T,   a n d   a rti ficia in telli g e n c e .   S h e   c a n   b e   c o n tac ted   a t   e m a il tran v a n tk 4 @ g m a il . c o m .         Ng u y e n   Va n   Th a n g           re c e iv e d   a n   M . Sc .   d e g re e   in   e lec tri c a e n g in e e rin g   fro m   L e   Qu y   D o n   Un i v e rsity ,   Vie tn a m   i n   2 0 0 7 ,   a n d   h is   P h . D .   d e g re e   i n   t h e   sa m e   m a jo fro m   t h e   Un iv e rsity   o En g in e e ri n g   a n d   Tec h n o l o g y ,   Vie tn a m   Na ti o n a U n i v e rsity ,   Ha n o i,   Vie tn a m .   He   is  c u rre n tl y   a   lec tu re i n   th e   F a c u lt y   o E lec tro n ics   a n d   Tele c o m m u n ica ti o n s,  UET.   Hi s   in tere stin g   i n c lu d e   Io T,   D S P /se n s o a p p li c a ti o n s,   a n d   m e d ica e q u i p m e n t.   He   c a n   b e   c o n tac ted   a e m a il n v t h a n g d tv t@v n u . e d u . v n .     Evaluation Warning : The document was created with Spire.PDF for Python.