I n te r n ati o n al   Jo u r n al   o f  I n fo r m ati c s   an d   C o mmu n i c ati o n   Te c h n o l o gy  (I J - I C T)   V o l .   6,   N o .   2 ,   A ugus t   201 7,   pp .   1 05~ 1 16   IS S N :   2252 - 8776 ,   D O I :   10. 1 1591 / i j i c t . v 6i 2 . pp1 05 - 116             105       Jou r n al   h o m e pa ge :  ht t p: / / i ae s j o ur nal . c om / on l i n e / i nde x . php/ IJ ICT   A   M a r k o v   D e c i s i o n   M o d e l   f o r   A r e a   C o v e r a g e   i n   A u t o n o m o u s  D e m i n i n g   R o b o t       A b d e l h ad i   Lar a c h * ,   C h e r k i   D ao u i ,   M o h am e d   B as l am   L a bo r a t o r y   o f   I nf o r m a t i o n  P r o c e s s i ng   a nd   D e c i s i o n  S u ppo r t ,  S ul t a n   M o ul a y   S l i m a n e   U ni v e r s i t y   F a c ul t y   o f   s c i e nc e s   a nd  T e c hni qu e s ,   B e n i - M e l l a l ,   M o r o c c o       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  F e b   16,   2 017   R e v i s e d  J un   29 ,   2017   A c c e pt e d  J ul   1 9,   2017       A   r e v i e w   o f   l i t e r a t ur e   s ho w s   t h a t   t he r e   i s   a   v a r i e t y   of   w o r ks   s t udy i ng  c ov e r a g e   pa t h  pl a nn i ng   i n  s e v e r a l   a ut o no m o us   r o bo t i c   a ppl i c a t i o ns .   I n  t h i s   w o r k,   w e   pr o po s e   a   ne w   a pp r o a c h  u s i ng   M a r ko v   D e c i s i o n  P r o c e s s   t o   pl a n   a n   o pt i m um   p a t h  t o   r e a c h  t he   g e ne r a l   g o a l   o f   e xpl o r i ng   a n   unk no w n  e nv i r o nm e nt   c o nt a i n i ng   bur i e d   m i n e s .   T h i s   a pp r o a c h,   c a l l e d   G o a l s   t o   G o a l s   A r e a   C o v e r a g e   o n - l i n e   A l g o r i t hm ,   i s   b a s e d   o n  a   de c o m po s i t i o n   o f   t he   s t a t e   s pa c e   i nt o   s m a l l e r   r e g i o ns   w ho s e   s t a t e s   a r e   c o ns i d e r e d  a s   g o a l s   w i t h   t h e   s a m e   r e w a r d  v a l ue ,   t h e   r e w a r d   v a l ue   i s   de c r e m e nt e d   f r o m   o ne   r e g i o n  t o   a no t he r   a c c o r di ng   t o   t he   de s i r e d   s e a r c h  m o de .   T he   num e r i c a l   s i m ul a t i o ns   s ho w   t ha t   o ur   a pp r o a c h  i s   p r o m i s i ng   f o r   m i ni m i z i ng   t h e   n e c e s s a r y   c o s t - e ne r g y   t o   c ov e r   t he   e n t i r e   a r e a .   Ke y w or d s :   Co ve r a ge   P a t h   P l a nni n g   M a r ko v   D e c i s i o n   P r o c e s s   Ro bo t i c   P a t h   p l a nni n g   S h o rt e s t   P a t h  P l a nni n g   C opy r i gh t   ©   201 7   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .    A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A b de l h a di   L a ra c h ,    L a bo r a t o r y   of   In f o r m a t i o n  P r o c e s s i n g  a n d   D e c i s i o n   S uppo r t ,   S ul t a n  M o ul a y   S l i m a n e   U ni v e r s i t y ,   F a c ul t y   of   s c i e n c e s   a n d   T e c hni que s ,   B e n i - M e l l a l ,   M o r o c c o .   E m a i l :   l a ra c h a b de l h a d i @ gm a i l . c o m       1.   I N TR O D U C TI O N     S h o rt e s t   P a t h  P l a nni n g   (S P P )   o r  Co v e r a ge   P a t h  P l a nn i ng   (C P P )  i s   a   t a s k   us e d  i n  a   l a rge   num b e r  o f  r o b o t i c   a ppl i c a t i o n s ,   s uc h   a s   de m i n i n g   r o b o t s   [1],   pa i n t e r  r o bo t s   [2],   c l e a ni n g   r o bo t s   [3],   e t c .   S e v e r a l   r e s e a r c h e s   c o n c e rn i n g   S P P   a nd   CP P   a r e   p r e s e nt e d  i n  [4 - 6 ],   S P P   o r  CP P   a l go r i t h m s   a r e   c l a s s i f i e d  i n  t w o  c a t e go r i e s :   o f f - l i n e   a l go r i t h m s ,   ge n e r a l l y   us e d  i n  a c k n o w l e d ge d  e n v i r o nm e n t   a nd   o n - l i n e   a l go r i t h m s ,   us e d  i n   unr e c o gn i z e d  e n v i r o n m e nt .   I n   o n - l i n e   a l go ri t hm s   t h e   p o l i c y   i s   ge n e ra l l y   upda t e d  a c c o r di ng  t o   n e w   e n v i r o n m e n t   o b s e r v a t i o n .   T h e   CP P   p r o b l e m   r e m a i n s   s ub j e c t   o f   r e s e a r c h   o pt i m i z a t i o n ,   e s pe c i a l l y   i n  a n  unk n o w n   e n v i r o nm e n t .     In  R o bo t i c   l a n d m i n e s   de t e c t i o n,   t h e   a ge nt   m us t   de t e c t   a nd   f i n d   l o c a t i o n  o f   a l l   po s s i b l e   m i n e s ,   a v o i d  a l l   o b s t a c l e s   a n d   f o l l ow   t h e   s h o rt e s t   pa t h  i n  a n  u n k n o w n   e nv i r o nm e nt   w i t h o ut   o v e r l a pp i n g   p a t h s .   S a t i s fy i n g  s uc h   r e qu i r e m e n t s   i s   n o t   a l w a y s   e a s y   a n d   po s s i b l e .   I n  f a c t ,   t h e   w h o l e   s t ruc t u r e   o f   t h e   e n v i r o nm e nt   i s   n o t   kn o w n   a   p r i o r i   a nd  t h e   o n - l i n e   a l go ri t hm   m us t   b e   a b l e   t o   s e e k  t h e   o pt i m a l   s t r a t e gy   a c c o r di n g   t o   t h e   kn o w l e dge   a c qui r e d  a f t e r   e a c h   o b s e r v a t i o n .   E . G a l s e ra n  [6]   p r e s e n t e d  a   s u r v e y   o n   CP P   i n   R o bo t i c ,   s e ve r a l   m e t h o ds   w e r e   pr o po s e d.   In  t hi s   p a pe r ,   w e   pr e s e n t   a   D i s c o unt e d  M a r ko v   D e c i s i o n   M o de l   fo r   r o bo t i c s   na v i ga t i o n  i n  g ri d  e n v i r o n m e n t   w i t h  a   t h e o r e t i c a l   s t udy   w h i c h  pe rm i t   t o   p r o po s e   a   n e w   a p p r o a c h  f o r   a r e a   c o ve r a ge   c a l l e d   G o a l s   t o   G o a l s   A r e a   Co v e r a ge   o n - l i n e   A l go r i t hm   b a s e d  o n   a   de c om po s i t i o n  o f   t h e   s t a t e   s pa c e   i n t o   s m a l l e r   r e gi o n s   w h o s e   a l l   s t a t e s   a r e   c o n s i de r e d  a s   go a l s   a nd   a s s i g n e d   w i t h  t h e   s a m e   r e w a r d   v a l ue .   T h e   r e w a r d   v a l ue   c a n  b e   de c r e a s e d  f r o m   o n e   r e gi o n   t o   a n o t h e r  a c c o r di ng  t o   t h e   de s i r e d  s e a r c h  m o de   s uc h  a s   a   l i n e - s w e e p  [13]  o r  s pa t i a l   c e l l   d i f f us i o n   [14]   a pp r o a c h e s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105   –   116   106   2.   M A R K O V   D EC I S I O N   P R O C ES S   M a r ko v   D e c i s i o n   P r o c e s s e s   a r e   de fi n e d  a s   c o n t r o l l e d  s t o c ha s t i c   p r o c e s s e s   s a t i s fy i n g  t h e   M a r ko v  pr o pe rt y   a n d   a s s i g n i ng   r e w a r d   v a l ue s   t o   s t a t e   t ra n s i t i o n s   [7 ,   8] .   F o rm a l l y ,   t h e y   a r e   de f i n e d   by   t h e   f i v e - t upl e   ( S,   A ,   T ,   P ,   R ) ,   w h e r e   S   i s   t h e   s t a t e   s pa c e   i n  w hi c h  t h e   p ro c e s s ’s   e vo l ut i o n  t a ke s   p l a c e ;   A   i s   t h e   s e t   o f   a l l   po s s i b l e   a c t i o n s   w h i c h  c o n t r o l   t h e   s t a t e   dy n a m i c s ;   T   i s   t h e   s e t   o f   t i m e   s t e ps   w h e r e   de c i s i o n s   n e e d  t o   b e   m a de ;   P   de n o t e s   t h e   s t a t e   t ra n s i t i o n   p r o b a b i l i t y   f un c t i o n  w h e r e   P ( S t + 1 = j | S t = i ,   A t = a) = P iaj   i s   t h e   p r o b a b i l i t y   o f  t r a n s i t i o n i n g   t o   a   s t a t e   j   w h e n  a n  a c t i o n  a   i s   e xe c ut e d  i n   a   s t a t e   i ,   S t   (A t )   i s   a   v a r i a b l e   i n d i c a t i n g  t h e   s t a t e   (a c t i o n )   a t   t i m e   t ;   R   p r o v i de s   t h e   r e w a r d   f u n c t i o n  de fi n e d  o n  s t a t e   t ra n s i t i o n s   w h e r e   R ia   de n o t e s   t h e   r e w a r d   ob t a i n e d  i f   t h e   a c t i o n  a   i s   a pp l i e d   i n  s t a t e   i .     2. 1 .   D i s c o u n te d   R e w a r d   M ar k o v   D e c i s i o n   P r o c e s s   Let   ( = , = | 0 = )   b e   t h e   c o n di t i o na l   p r o b a b i l i t y   t h a t   a t   t i m e   t   t h e   s y s t e m   i s   i n   s t a t e   j   a n d   t h e   a c t i o n  t a ke n  i s   a ,   gi v e n  t h a t   t h e   i ni t i a l   s t a t e   i s   i   a n d   t h e   de c i s i o n   m a ke r  i s   a   s t r a t e gy   π ;   i f     de n o t e s   t h e   r e w a r d   a t   t i m e   t ,   t h e n   f o r   a n y   s t ra t e gy     a n d   i ni t i a l   s t a t e   i ,   t h e   e xpe c t a t i o n  o f     i s   gi v e n  by :     π ( R t ,   i )   = ∑ P π ( S t = j , A t = a| S 0 = i ) R ja j ∈ S a ∈ A ( j )             (1)     In   di s c o un t e d  r e w a r d  M D P ,   t h e   v a l ue   f u n c t i o n,   w hi c h  i s   t h e   e xpe c t e d  r e w a r d  w h e n   t h e   p r o c e s s   s t a r t s   w i t h  s t a t e   i   a nd  us i n g   t h e   po l i c y     i s   de f i n e d   by :     V π α ( i )   =  [ ∑ α t π ( R t   ,   i ) ∞ t= 0 ] ,   i   ∈   S               (2)     w h e r e     ∈   ] 0 , 1 [   i s   t h e   di s c o unt   f a c t o r .       T h e   o bj e c t i v e   i s   t o   de t e r m i n e   ∗ ,   t h e   m a xi m um   e xpe c t e d  t o t a l   di s c o unt e d  r e w a r d  v e c t o r   o ve r   a n  i n fi n i t e   h o r i z o n.   It   i s   w e l l   k n o w n   [7,   8]   t ha t   ∗   s a t i s fi e s   t h e   B e l l m a n  e qua t i o n:       ( ) = ∈ ( ) {  + ∑ ( ) ∈ } , ∈           (3)     M o r e ov e r ,   t h e   a c t i o n s   a t t a i ni n g   t h e   m a xi m u m   i n  (3)   gi v e   r i s e   t o   a n  o pt i m a l   pu r e   po l i c y   π ^ *  gi v e n  by :     ∗ ( ) ∈  ∈ ( ) {  + ∑   ∗ ( ) ∈ } , ∈           (4)     2. 2 .   G au s s - S e i d e l   V a l u e   I te r at i o n   A l go r i th m   G a us s - S e i de l   V a l ue   It e r a t i o n   (G S V I)   A l go ri t hm   i s   o n e   o f   t h e   m o s t   i t e r a t i v e   a l go r i t hm s   us e d  f o r   f i n di ng  o pt i m a l   o r   a pp r o xi m a t e l y   o pt i m a l   po l i c i e s   u nde r  D i s c o un t e d  M D P   [8 - 1 0].   I n  t hi s   p a r a g ra p h,   w e   pr e s e nt e   t h e   f o l l o w i n g  o pt i m i z e d  ps e udo - c o de   of G S V I  A l go ri t hm   (A l go ri t hm   1).     A l go r i th m   1.   G S V I  A l go r i t hm .   GS VI  ( I n :  S ,   P ,  A ,  R ,   + , ,  ;  O u t :   ∗ , ∗ )   1.   F o r   a l l   ∈   S   Do   ∗ ( i ) ← 0 ;  / / I ni t i al i z at i on   2.   B e l l m a n _e rr   ← 2 ;  / / F or   s t o ppi n g  c r i t e r i on   3.   Wh i l e   ( B e l l m a n_e rr   ≥ )  D o                   F o r   al l   i ∈   S     D o   / / V al ue   i m pr o v e m e nt   ← ∈ ( ) {  + ∑ ∗ ( ) ∈ + ( ) }   B e l l m a n _e rr   ←   M ax (  | V * ( i )   -   | ,   B e l l m a n _e rr )   ∗ ( ) ←     4.   F o r   a l l   ∈       D o   / / P ol i c y   c al c ul a t i o n   ∗ ( ) ←  ∈ ( ) {  + ∑ ∗ ( ) ∈ + ( ) }   5 .       R e tu r n    ∗ , ∗     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e a  Cov e r age   i n  A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   107   W e   de n o t e   by   + ( ) = {   ∈   :   > 0 }   t h e   s uc c e s s o r s   l i s t   o f   pa i r  ( i ,  a ), ∈   ,  ∈ ( ) .   T h e   a l go r i t hm   1  i s   b a s e d  o n   a   s uc c e s s o r s   l i s t   o f   pa i r   s t a t e - a c t i o n,   w hi c h  pe rm i t s   t o   a c c e l e r a t e   i t e ra t i o n   c o m pa r e d  t o   t h e   c l a s s i c a l   G S V I  A l go r i t h m   e s pe c i a l l y   w h e n   t h e   n u m b e r   o f   a c t i o n s   a n d  s uc c e s s o r s   pe r   s t a t e   i s   v e r y   l e s s   t ha n  t h e   num b e r  o f   s t a t e s .   I n de e d ,  t h e   c o m pl e xi t y   of   t h e   p r o po s e d  ve r s i o n   i s   r e duc e d  t o  (| + || S | )  pe r   i t e r a t i o n  w h e r e   | + |   i s   t h e   a v e r a ge   n u m b e r   o f   s t a t e - a c t i o n   s uc c e s s o r s .       3.   M A R K O V   D EC I S I O N   M O D EL   F O R   R O BO TI C   N A V I G A TI O N   T o   m o de l   t h e   R o bo t i c   N a v i ga t i o n   i n   ge n e r a l   o r   D e m i n i ng  R ob o t   pr o b l e m   i n   p a r t i c ul a r  c a s e   us i n g  a   M D P ,   t h e   f i v e - t upl e   ( S,   A ,   T ,   P ,   R )   m us t   b e   de f i n e d  a nd  t h e   e n v i r o nm e n t   r e pr e s e nt a t i o n   m us t   b e   c h o o s e n .   a.   G r i d’s   E n v i r on m e n t :   T h e   G r i d   B a s e d  m e t h o d  - i de a l   f o r   l a n d m i n e s   de t e c t i o n -   i s   us e d  t o   m o de l   t h e   e n v i r o nm e nt   w h i c h  i s   e nt i r e l y   di s c r e t i z e d  a c c o r di n g   t o   a   r e gu l a r  g ri d.   T h e   g ri d   s i z e   c a n  b e   c h o s e n  a c c o r di ng  t o   t h e   r o b o t   s t r uc t u r e   a nd   t h e   f i e l d  c o ve r e d  by   t h e   r o b o t   s e n s o r .   b.   S t at e s   S pac e :   U s i n g  t h e   G r i d  m e t h o d,   t h e   s t a t e   s pa c e   i s   t h e r e f o r e   a   s e t   o f   gri ds ,   e a c h  g ri d  c e l l   h a s   a n  a s s o c i a t e d  v a l ue   s t a t i n g ,   o b s t a c l e ,   m i n e ,   f r e e   o r  g o a l   s t a t e .   c.   Ac t i on s   S pa c e :   T h e   r o b o t   c a n  b e   c o n t r o l l e d  t hr o ug h   ni ne   a c t i o n s :   t h e   e i g h t   c o m pa s s   di r e c t i o n s   a nd   t h e   a c t i o n  de s i g n e d   b y   θ  t ha t   ke e p s   t h e   p ro c e s s   i n  t h e   s t a t e   w h e r e   i t   i s ;   a c t i o n s   t h a t   m o v e   t h e   r o bo t   t o   a n   o b s t a c l e   o r   a   m i n e   s t a t e   a r e   e l i m i n a t e d;   i n   a   go a l   s t a t e   t h e   po s s i b l e   a c t i o n  i s   θ.   F i gu r e   1   s h o w s   t h e   po s s i b l e   a c t i o n s   i n  a n  e n v i r o nm e n t   e xa m pl e ,   t h e   b l a c k  g r i d   i s   a n  o b s t a c l e   s t a t e   a n d   t h e   g r e e n   g r i d   i s   a   go a l   s t a t e .           F i gu r e   1 .   E n v i r o nm e nt   e xa m p l e   a nd  po s s i b l e   r o b o t   a c t i o n s   i n  e a c h  s t a t e       Re war d   F u n c t i on :   A   t r a n s i t i o n   t o   a   f r e e   o r   go a l   s t a t e   i s   c ha r a c t e r i z e d  by   a   c o s t   of   e n e r gy   pr o po r t i o na l   t o   t h e   di s t a n c e   t r a v e l l e d,   i t   i s   e qu a l   t o   a   p r e de f i n e d   c o n s t a nt   x   i f   t h e   a c t i o n  i s   di a go na l ,   a nd   √ 2   i f   t h e   a c t i o n  i s   h o r i z o n t a l   o r  v e rt i c a l ,   t h e   r e w a r d   v a l ue   i s   t h e r e f o r e   e qua l   t o   - x   o r   − √ 2 ;  t h e   r e w a r d   a s s i g n e d  t o   t h e   a c t i o n    i n  a   f r e e   s t a t e   i s   e qua l   t o   z e r o   a n d  f o r   a   go a l   s t a t e   i t   i s   e qua l   t o   a   p r e de f i n e d  c o n s t a n t   R b .   T r an s i t i on   F u n c t i on :   T h e   t ra n s i t i o n  f un c t i o n   de f i n e s   t h e   u nc e r t a i n t y   due   t o   t h e   e ff e c t s   of   a c t i o n s ;   i t   i s   a   d a t a   o f   pr o b l e m   a nd  c a n  b e   de t e rm i n e d  b y   r e i n f o r c e m e n t   l e a rni n g .   Robot   S e n s or :   S e v e r a l   l a ndm i n e s   de t e c t i o n   m e t h o ds   c a n   b e   us e d  s uc h   a s   M e t a l   D e t e c t o r   T e c hn o l o gi e s ,   E l e c t r o m a g n e t i c   M e t h o ds   [11] ,   e t c .   I n  t hi s   w o r k,   w e   s uppo s e   t h a t   t h e   r o bo t   c a n  de t e c t   t h e   b ur i e d   m i n e s   e xi s t i n g   i n  n e a r  s t a t e s   (F i gu r e   2)   b y   us i ng   hi s   o w n e r  s e n s i n g   s y s t e m ,   a n  a rm   m o v e m e n t   o r   m ul t i - s e n s o r s   t e c hn o l o gi e   w o ul d  c o ve r   t h e s e   s t a t e s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105   –   116   108       F i gu r e   2 .   S t a t e s   c o v e r e d  by   t h e   r o bo t   s e n s o r       Robot   S t r u c t u r e :   s e v e r a l   r o b o t   m e c h a n i c a l   s t r uc t u r e s   c a n   b e   us e d  i n   de m i n i ng  r o b o t   s uc h   a s   O m n i d i r e c t i o na l   o r   M ul t i   D i r e c t i o n a l   Co n d uc t i v e   c o n t r o l   [12 ],   e t c .     R e m ar k   1 .   U s i n g  t h e   p r o po s e d  m o de l ,   t h e   t i m e   c o m pl e xi t y   of   a l go ri t hm   1  i s   (| + | | S ’| )  pe r   i t e ra t i o n,   w h e r e   | S’ |   i s   t h e   n u m b e r  o f   f r e e   s t a t e s ;   f o r   a   go a l   s t a t e   t h e   e xpe c t e d  r e w a r d   i s   a   c o n s t a nt   v a l ue   e qu a l   t o   1 −   ( g i v e n   b y   (3) )  s i n c e   t h e   o n l y   po s s i b l e   a c t i o n   t h a t   c a n  b e   t a ke n  i n   a   go a l   s t a t e   i s   ;  | + |   i s   v e r y   l e s s   t h a n  | S’ |   a n d   c a n   b e   c o n s i de r e d  us   c o n s t a nt ;   s o   t h e   A l go r i t hm   1   i s   l i n e a r   pe r  i t e ra t i o n .       4.   TH E O R ETI C A L  M O D EL   S TU D Y   In  t h i s   s e c t i o n,   w e   pr e s e nt   a   t h e o r e t i c a l   s t udy   fo r  t h e   c o n s i de r e d  m o de l ,   w h i c h  i s   t h e   b a s i s   o f   o ur   a pp r o a c h.   P r o p o s i ti o n   1.   If   t h e   s t a t e   s pa c e   do   n o t   c o n t a i n s   a n y   go a l   s t a t e   t h e n   f o r   a n y   f r e e   s t a t e   0 ,   ∗ ( 0 ) = ,  ∗   i s   a n  o pt i m a l   s t ra t e gy .   P r oo f.   S uppo s e   ∃   a n  o pt i m a l   pu r e   s t r a t e g y   ∗   a n d   ∃   0 ∈     s uc h   t ha t :   ∗ ( 0 ) ≠ ;   t he   e xpe c t e d  r e w a r d  w h e n  t h e   s y s t e m   s t a rt   a t   s t a t e   0   i s :     ∗ ( 0 ) = ∗ ( 0 ) = ∗ ( 0   , 0 ) + [ ∑ ∗ (   , 0 ) ∞ = 1 ]         (5)     T h e   e xpe c t a t i o n   o f     t i m e   t = 0  a n d   us i n g   s t ra t e gy   ∗   i s   g i v e n   by :     ∗ ( 0   , 0 ) = ∑ ∗ ( 0 = 0 , 0 = | 0 = 0 ) 0 ∈ ∈ ( ) = 0       (6)     W e   ha v e :   0 ≤ − √ 2   t h e n   V π ∗ α ( s 0 ) ≤ − x √ 2 < 0   a n d   t h e   f a c t   t ha t   ∗ ( 0 ) < 0   i m p l i e s   t h a t   ∗ ( 0 )   c a nn o t   b e   a n  o pt i m a l   a c t i o n  s i n c e   t h e r e   e xi s t s   a   s t r a t e gy   ′ :  ′ ( 0 ) =   a n d   ′ ( 0 ) = 0 ,   w h i c h  c o n t r a di c t s   t h e   s uppo s i t i o n .     F i gu r e   3   (l e f t )   s h o w s   a   s i m ul a t i o n  r e s ul t   i n  a n  e n v i r o nm e nt   e xa m pl e   w h e r e   n o   go a l   s t a t e   i s   de f i n e d;   as   w e   c a n  s e e ,   ∀   0 ∈   , ∗ ( 0 ) = .     P r o p o s i ti o n   2.   Let   0   b e   a   f r e e   i ni t i a l   s t a t e ,   i f   t h e r e   i s   n o   p a t h  l e a di ng   f r o m   s 0   t o   t h e   go a l   s t a t e   G   t h e n   ∗ ( 0 ) = .     P r oo f.   T h e   p r o of   i s   s i m i l a r   t o   t h e   p r o o f   of   P r o po s i t i o n   1 ,   i n de e d,   f o r   a n y   s t ra t e gy     s uc h  t ha t   ( 0 ) ≠ ,  ( 0 ) < 0 .     F i gu r e   3( ri g h t )   s h o w s   a n   e x a m p l e   o f   s i m ul a t i o n   r e s ul t ,   a s   w e   c a n  s e e   fo r   a l l   0 ∈     w h e r e   t h e r e   i s   n o   pa t h  t o   t h e   go a l   s t a t e   G , ∗ ( 0 ) = .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e a  Cov e r age   i n  A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   109       F i gu r e   3 .   O p t i m a l   s t ra t e g i e s   e xa m p l e s   ( n o   go a l   s t a t e   (l e f t )  a nd  n o   pa t h  t o   t h e   go a l   s t a t e   f o r   s o m e   s t a t e s   ( ri g ht ))       P r o p o s i ti o n   3.   L e t   G   b e   a   go a l   s t a t e   w i t h   r e w a r d  v a l ue   R b =0 ,   t h e n   f o r   a n y   i ni t i a l   f r e e   s t a t e   0 ,   ∗ ( 0 ) = .   P r oo f.   It   i s   c l e a r   s i n c e   f o r   a n y   s t ra t e gy     s uc h   t h a t   ( 0 ) ≠ ,  ( 0 ) < 0 .     F i gu r e   4   s h o w s   a   s i m u l a t i o n  e x a m p l e   i n  a n  e n v i r o nm e nt   w h e r e   t h e r e   e xi s t   f o ur  go a l s   s t a t e s   w i t h   r e w a r d   v a l ue   R b =0 ,   a s   i t   c a n  b e   s e e n π ∗ ( s 0 ) = θ   f o r   a l l   f r e e   i n i t i a l   s t a t e .           F i gu r e   4 .   O p t i m a l   s t ra t e gy   i n   a n   e n v i r o nm e nt   e x a m p l e   w i t h   f o ur   go a l s   s t a t e s   w i t h i n  r e w a r d   v a l ue   R b =0       P r o p o s i ti o n   4.   Let   0   b e   a   f r e e   i n i t i a l   s t a t e ,   s u ppo s e   t ha t   t h e r e   e xi s t   a   pa t h   o f   l e ngt h  l ,   f r o m   0   t o   t h e   ga o l   s t a t e   G   a nd  l e t     b e   t h e   r e w a r d   v a l ue   o b t a i n e d  w h e n   t h e   a c t i o n    i s   a ppl i e d  i n  a   go a l   s t a t e   G .        > ( − )   ℎ    ∗ ( 0 )   ≠               ( 7 )     P r oo f.   Let   ∗ ( 0 )   b e   t h e   e xpe c t e d  r e w a r d   w h e n   t h e   p r o c e s s   s t a rt   a t   s t a t e   0 .     ∗ ( 0 )   =   ∑ ∞ = 0 = ∑ − 1 = 0 + ∑ ∞ =           (8)     w h e r e :   = ∗ (   , 0 ) = ∑ ∗ ( = , = | 0 = 0 )  ∈ ∈ ( )   i s   t h e   e xpe c t a t i o n   o f   t h e   r e w a r d  v a l ue   ob t a i n e d  w h e n   s o m e   c o m pa s s   a c t i o n  i s   t a ke n   i n   t h e   s t a t e   S t   a t   t i m e   A t .   T h e   e qua t i o n  (8)   c a n  b e   m o di f i e d  a s   f o l l ow :     ∗ ( 0 ) =   ∑ − 1 = 0 + ∑ ∞ = 0             (9)     Let   V ∗ ( s g )   b e   t h e   e xpe c t e d  r e w a rd  w h e n   t h e   p r o c e s s   s t a r t s   a t   go a l   s t a t e   G ,   by   us i n g  ( 3),   w e   ha v e :     ∗ ( ) = ∑ ∞ = 0 = 1 −               (10)     U s i n g  (1 0),   t h e   e qua l i t y   (9)  c a n  b e   r e f o r m e d  a s   f o l l ow :     ∗ ( 0 )   = ∑ − 1 = 0 + × 1 −               (11)   T h e   f a c t   t ha t :    ≥ −   i m p l i e s   t ha t   ≥ − ,   t h e n :   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105   –   116   110     ∑ − 1 = 0   ≥   − ∑ − 1 = 0                 (12)     By   a ppl y i n g   (12)   i n  (1 1),   w e   ha v e   t h e   r e s ul t i ng  e qu a t i o n :     ∗ ( 0 )   ≥   × 1 − − ( ∑ − 1 = 0 )               (13)     T h e   f a c t   t ha t   ∑ − 1 = 0 = 1 − 1 −   ,  e qu a t i o n   (13)   b e c o m e s :     ∗ ( 0 )   ≥   × − + × 1 −                 (14)     T h e   f a c t   t ha t   R b > ( x α − x )   i m p l i e s   t ha t   R b × α l − x + x × α l   >   0 .   E qua t i o n s   (14 )  i m p l y   t ha t   V ∗ ( s 0 )   i s   g r e a t   t h a n  z e r o .     ∗ ( 0 )   ≥   × − + × 1 − > 0               ( 15)     T h e   f a c t   t ha t   ∗ ( 0 )   >   0   i m pl i e s   t ha t   ∗ ( 0 )   ≠   .         F i gu r e   5  s h o w s   a   s t r a t e gy   e xa m pl e   ge n e ra t e d  us i n g  a l go r i t hm   1  w i t h   pa ra m e t e r s :   R b = 2 00 ,  = 0. 2   a n d   = 1 ;  f o r   a   p a t h  l e n g t h   l = 3,   3 = 1 3 − 1 = 125   < = 200 ;   a n d   f o r   l = 4 ,   4 = 1 4 − 1 = 624 > = 200 ,   w e   c a n  c o n c l ude   f r o m   t h e   v a l ue s   o f   3   a n d   4   t h a t :   I f   l   <   4   t h e n   ∗ ( 0 )   ≠   .           F i gu r e   5 .   A n  o pt i m a l   s t ra t e gy   e xa m pl e   us i n g   pa ra m e t e r s :   α = 0. 2 ,   x = 1   a n d   R b = 200       P r o p o s i ti o n   5.   L e t   G   b e   a   go a l   s t a t e   w i t h  r e w a r d   v a l ue   = | | .   F o r  a n y   i ni t i a l   f r e e   s t a t e   0 ,   i f   t h e r e   e xi s t s   a   pa t h  t o   t h e   go a l   s t a t e   G   t h e n   ∗ ( 0 ) ≠ .     P r oo f.   L e t   l   b e   t h e   pa t h  l e n gt h  t o   t h e   go a l   s t a t e   G ;  us i ng  p r o p o s i t i o n   4 ,   i f   > ( − )   t h e n  ∗ ( 0 ) ≠ .   L e t   s h o w   t ha t   | | > ( − ) ,  w e   ha v e   | S | >   t h e n  | | <   a n d   | | > > − ,   s i n c e   > 0 .      F i gu r e   6  s h o w s   a   pa t h   s t ra t e gy   e xa m pl e   w i t h   pa ra m e t e r s :   α = 0. 2 ,   x = α | S |   a nd  R b =1   ( n o t e   t h a t   i f   ( x = α | S | )  t h e n  R b =1 );   a s   i t   c a n   b e   s e e n ,   ∗ ( 0 ) ≠   f o r   a l l   f r e e   i n i t i a l   s t a t e   0 .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e a  Cov e r age   i n  A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   111       F i gu r e   6 .   A n  o pt i m a l   s t ra t e gy   e xa m pl e   us i n g   pa ra m e t e r s :   α = 0. 2 ,   x = α | S|   a n d   R b =1       P r o p o s i ti o n   6.   L e t   G 1   ( G 2 )   b e   a   go a l   s t a t e   s uc h  t h a t   1 = 1   ( R b 2 = 1 + 1 α | S | ) .   S u ppo s e   ∃   a   pa t h  o f   l e n g t h  1   ( 2 )   f r o m   i ni t i a l   s t a t e   0   t o   t h e   go a l   s t a t e   G 1   ( G 2 ) ,   t h e n  t h e   o pt i m a l   s t ra t e gy   n a v i ga t e s   r o b o t   t o   t h e   go a l   s t a t e   G 2   fo r   a l l   1 ≥ 1 .     P r oo f.   S uppo s e   ∃   a n  o pt i m a l   s t ra t e g y   1 ∗   t ha t   m o v e s   t h e   r o b o t   t o   t h e   go a l   s t a t e   G 1 .   E qu a t i o n  (11)   i m pl i e s   t ha t :     1 ∗ ( 0 ) < 1 1 − = 1 − < 1 1 −               ( 16)     Let   2   b e   a   s t ra t e gy   t ha t   m o v e s   r o bo t   t o   t h e   go a l   s t a t e   G 2 ,   e qua t i o n   ( 15)   a n d   t h e   f a c t   t ha t   2 < | |   i m pl y   t ha t :     2 ( 0 ) ≥ 2 × − +  1 − > 2 × | | − +  | | 1 −             (17)     By   us i n g  t h e   f a c t   t h a t   2 = 1 + 1 | |   a nd  = | | ,   i n e qua t i o n   (1 7)  c a n  b e   r e w r i t t e n  a s :     V π 2 α ( s 0 ) >   ( 1 + 1 α | S | ) α | S | − x + x α | S | 1 − α = 1 + α 2 | S | 1 − α > 1 1 − α           (18)     In e qu a l i t i e s   ( 16)  a n d   (18)   i m p l y   t ha t :     2 ( 0 )   >   1 + 2 | | 1 −   >   1 1 −   > 1 ∗ ( 0 )             (19)     T h e   f a c t   t ha t   2 ( 0 )   > 1 ∗ ( 0 )   i m pl i e s   t ha t   π 1 ∗   c a nn o t   b e   a n   o pt i m a l   s t ra t e gy .         5.   G O A LS   T O   G O A LS   A R EA   C O V ER A G E  A L G O R I TH M S   In  t h i s   s e c t i o n ,   w e   p r e s e n t   t h e   p r o po s e d  o n - l i n e   a l go r i t hm   f o r   a r e a   c ov e r a ge   i n  a u t o n o m o us   de m i n i ng  r o b o t   b a s e d  o n   t h e   m o de l   de f i n e d  i n  s e c t i o n   3 ,   a n d   t h e   t h e o r e t i c a l   s t udi e s   p r e s e n t e d  i n  t h e   p r e v i o us   s e c t i o n .   W e   b e gi n   b y   t h e   f i r s t   v e r s i o n  (A l go r i t h m   2 )  c a l l e d   G o a l s   t o   G o a l s   R a n do m i z e   A r e a   Co v e r a ge ,   i n  w h i c h  w e   s uppo s e   t h a t   a l l   s t a t e s   a r e   go a l s   w i t h  t h e   s a m e   r e w a r d  v a l ue ,   e xc e pt   t h e n   i n i t i a l   s t a t e .   B e gi nni n g   by   t h e   i ni t i a l   po s i t i o n,   t h e   r o b o t   de t e c t   t h e   n e a r   s t a t e s ,   upd a t e   de t e c t e d  s t a t e s ,   c a l c ul a t e   p a t h  s t ra t e gy   us i n g   a l go ri t hm   1   a n d   m o v e   a c c o r di n g   t o   a n  o pt i m a l   a c t i o n ;   t h e s e   s t e ps   a r e   r e pe a t e d   u n t i l   t h e   o pt i m a l   a c t i o n  i s   e qua l   t o   θ.     A l go r i th m   2.   G o a l s   t o   G o a l s   R a n do m i z e   A r e a   Co v e r a ge .   D ata:   S ,  P ,  A ,  R ,   + , ,   ;   = | | ,  s 0 :   i n i t i a l   s t a t e   1.   S e t   a l l   s t a t e s   a s   go a l s   (e xc e pt   i n i t i a l   s t a t e )  w i t h   t h e   s a m e   r e w a r d:   = 1 .   2.   R e p e at   2. 1 .   O b s e r v e   n e a r  s t a t e s   w i t h   s e n s o r   2. 2 .   U pda t e   o b s e r v e d   s t a t e s   2. 3 .   C a l c ul a t e   s t r a t e g y   us i n g  a l go r i t h m   1   2. 4 .   M o v e   r o bo t   us i n g   a n  o pt i m a l   a c t i o n           U n t i l   ( t h e   o pt i m a l   a c t i o n  i s   e qu a l   t o   )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105   –   116   112   Th e o r e m .   T h e   a l go ri t hm   2   w o r ks   c o r r e c t l y   a n d   t e r m i n a t e s   a f t e r  c o ve r i n g   t h e   e n t i r e   a r e a   e xc e pt   t h e   n o n -   r e a c h a b l e   r e gi o n s   f r o m   t h e   s t a rt   s t a t e   s 0 .   P r oo f.   T h e   p r o o f   fo l l ow s   f r o m   t h e   p r o po s i t i o n s   1,   2,   4  a n d  5 .   I n   f a c t ,   p r o po s i t i o n s   1  a n d  2  i m pl y   t h a t   i f   t h e r e   i s   a t   l e a s t   o n e   s t a t e   n o t   e xpl o r e d  a nd  r e a c h a b l e   f r o m   t h e   c urr e nt   r o b o t   pos i t i o n,   t h e   o pt i m a l   a c t i o n  i s   di f fe r e nt   t o   .   M o r e o v e r ,   a f t e r  e a c h   o b s e r v a t i o n,   t h e   s t a t us   of   n e a r   s t a t e s   (s uppo s e d  go a l s )  i s   upd a t e d;   t h e   na v i ga t i o n  t o   t h e   n e a r e s t   go a l   i s   a s s ur e d   by   pr o po s i t i o n s   3   a nd  4   a nd   t h e   r o b o t   s t o ps   a f t e r  e xpl o ri n g   t h e   e n t i r e   e n v i r o n m e n t   e xc e pt   t h e   u nr e a c h a b l e   s t a t e s   f r o m   t h e   s t a rt   s t a t e   s 0  (p r o po s i t i o n   2 ) .    F i gu r e   7  s h o w s   a   pa t h   ge n e r a t e d  us i n g  a l go r i t h m   2  i n  a n  o b s t a c l e   f r e e   e n v i r o n m e nt   (t e n   ra n do m i z e d  m i n e s   po s i t i o n s ),   a s   we   c a n   s e e ,   t h e   e n t i r e   a r e a   is   c o ve r e d ,   b ut   t h e   s e a r c h  p a t h  i s   ps e udo - r a ndo m   a nd  t h e   r o b o t   ov e r l a ps   s o m e   r e gi o n s   p r e v i o us l y   de t e c t e d.           F i gu r e   7 .   E n v i r o nm e nt   e xa m p l e   a nd  p a t h  ge n e ra t e d   us i n g   a l g o r i t hm   2       T o   m i ni m i z e   t h e   o v e r l a ppi n g   pa t h s ,   t h e   a ut h o r s   p r o po s e   a   s e c o n d  v e r s i o n   ( a l go r i t h m   3)  b a s e d  o n  de c r e a s i n g   t h e   r e w a rds   v a l ue s   a c c o r di n g   s o m e   S e a r c h  M o de   s uc h  a s   a   l i n e - s w e e p  ( F i gu r e   8 )   b a s e d  a p p r o a c h  de s c r i b e d  i n   [1 3]  o r   s p a t i a l   c e l l   di f f us i o n   a p p r o a c h  p r e s e n t e d   i n   [1 4].   In  e a c h  s m a l l e r  r e gi o n   (f o r  e xa m pl e   i n  f i gu r e   8,   a   s m a l l e r  re gi o n   c o nt a i n  n i n e   s t a t e s )  a l l   s t a t e s   a r e   c o n s i de r e d  a s   go a l s   w i t h   t h e   s a m e   f i xe d  r e w a r d   v a l ue   a n d   t h e   s e a r c h  m o de   i s   a s s u r e d  b y   t h e   p r o po s i t i o n  6.           F i gu r e   8 .   E xa m p l e   o f   r e w a r ds   v a l ue s   de c r e m e n t e d  a c c o r di n g   t h e   l i n e - s w e e p  s e a r c h  m o de                     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e a  Cov e r age   i n  A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   113   A l go r i th m   3.   G o a l s   t o   G o a l s   S e a r c h  m o de   A r e a   Co v e r a ge   D ata:   S ,  P ,  A ,  R ,   + , ,  ;   = | | ,  s 0 :   i n i t i a l   s t a t e   1.   D e c o m po s e   t h e   s t a t e   s p a c e   i n t o   t h e   p   s m a l l e r   r e g i o n s .   2.   D e f i n e   t h e   de c r e a s i n g   r e w a r d   v a l ue s   a c c o r di ng  t o   t h e   de s i re d  s e a r c h   m o de .   3.   F o r   e ac h   s m a l l e r  r e gi o n  i   =  p , … . , 1   D o         S e t   a l l   s t a t e s   i n  re gi o n   i   a s   go a l s   w i t h   = + | | .   4.   R e p e at   4. 1 .   O b s e r v e   n e a r  s t a t e s   4. 2 .   U pda t e   o b s e r v e d   s t a t e s     4. 3 .   C a l c ul a t e   s t r a t e g y   us i n g  a l go r i t h m   1   4. 4 .   M o v e   r o bo t   us i n g   a n  o pt i m a l   a c t i o n           U n t i l   ( t h e   o pt i m a l   a c t i o n  i s   e qu a l   t o   )       6.   S I M U LA TI O N   R ES U LTS   T h e   p r o po s e d  a l go r i t hm s   a r e   s i m ul a t e d  us i n g   J A V A   l a n gu a ge   i m p l e m e n t a t i o n ;   f i gu r e s   9,   10   a nd  11  s h o w   t h e   s i m u l a t i o n  r e s ul t s   f o r  s e v e r a l   s e a r c h  m o de s ,   i n  a n  o b s t a c l e   f r e e   e n v i r o n m e n t   e x a m p l e ,   w i t h  t e n   ra n do m i z e d  b uri e d  m i n e s .   It   c a n   b e   s e e n   f r o m   f i gu r e s   9,   10   a n d  11  t h a t   t h e   A l go r i t h m   3   w o r ks   c o r r e c t l y   w i t h   l o w   r e pe t i t i o n  ra t e   c o m pa r e d   t o   A l go r i t hm   2.   In  s o m e   c a s e ,   i t   i s   o pt i m a l   a n d  b e n e f i c i a l   t ha t   t h e   r o b o t   f i ni s h e s   t h e   a r e a   c o ve r a ge   n e a r  i t s   i n i t i a l   po s i t i o n ;   t h e   v a ri a nt   o f   L i n e   S w e e p  s e a r c h   m o de   (F i gu r e   1 1)  c a n  b e   us e d.   T o   e v a l ua t e   t h e s e   s e a r c h   m o de s ,   w e   c a n   us e   t h e   f o l l ow i n g   v a l ua t i o n  f un c t i o n :     = ∑ = 0 = ∑ = 0                 (20)     w h e r e   = 1 √ 2      1   a n d   T   i s   t h e   num b e r  o f   de c i s i o n s   t o   c o m pl e t e   t h e   a r e a   c ove r a ge ;   t hi s   v a l u a t i o n   f u n c t i o n   i s   pr o po r t i o na l   t o   t h e   t i m e   r e qui r e d  f o r   t h e   e nt i r e   e xpl o ra t i o n;   t h e   num b e r   o f   r o t a t i o n  c a n   b e   a dde d  t o   t hi s   v a l ua t i o n  f un c t i o n .       T a b l e   1 .   V a l u a t i o n   F u n c t i o n s :   Co m p a r i s o n  of  S e v e r a l   S e a r c h  M o de s   S e a r c h   m o d e   Ē   Ra n d o m i z e   100   S p a t i a l   C e l l   D i ff u s i o n   83   L i n e   S w e e p   80   V a ri a n t   o f   L i n e   S w e e p   82       T a b l e   1  p r e s e nt s   t h e   a v e r a ge   v a l ue   o f   E   fo r   e a c h  s e a r c h  m o d e   a n d  f o r   s e v e r a l   i rr e gul a r   b u r i e d  m i n e s   l o c a t i o n s   ge n e ra t e d   r a ndo m l y   i n  t h e   s a m e   e n v i r o n m e n t   e xa m pl e ,   us   i t   c a n  b e   s e e n,   t h e s e   s e a r c h   m o de s   i n  f r e e   ob s t a c l e   e n v i r o nm e nt   a c h i e v e s   t h e   a r e a   c o ve r a ge   w i t h  l o w   c o s t   o f   e n e r gy ,   e s pe c i a l l y   t h e   L i n e   S w e e p  s e a r c h  m o de   w h i c h  i s   b e n e f i c i a l   i n  t h e   de c o m po s i t i o n   m e t h o d  f o r   r e a l   e n v i r o nm e n t   w i t h  o b s t a c l e s .           F i gu r e   9 .   O nl i n e   s t r a t e g y   ge n e r a t e d   us i n g   a l go ri t hm   3  f o r   s p a t i a l   c e l l   di f f us i o n   s e a r c h   m o de     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105   –   116   114       F i gu r e   10 .   O nl i n e   s t r a t e gy   ge n e r a t e d  us i ng  a l go r i t hm   3   f o r   L i n e - S w e e p  s e a r c h  m o de           F i gu r e   11 .   O nl i n e   s t r a t e gy   ge n e r a t e d  us i ng  a l go r i t hm   3   f o r   a   v a r i a n t   o f   L i n e - S w e e p  s e a r c h   m o de       R e m ar k   2 .   A r e a   c o v e r a ge   w i t h o ut   o v e r l a ppi ng   pa t h  i s   n o t   a l w a y s   e a s y   a n d   po s s i b l e   e s pe c i a l y   i n  a n  u n k n o w n   e n v i r o n m e n t .   F i gu r e   12  s h o w s   a   s t ra t e gy   e xa m pl e   w i t h  s o m e   ov e r l a pp i n g   pa t h s .           F i gu r e   12 .   O nl i n e   s t r a t e gy   e xa m pl e   w i t h   s o m e   o v e r l a pp i n g  p a t h s       R e m ar k   3.   F o r  a   l a rge   s t a t e   s pa c e   a nd  r e a l   e n v i r o n m e nt   w i t h  o b s t a c l e s ,   l i n e   s w e e p  de c o m po s i t i o n   i nt o  m o n o t o n e   s ub r e g i o n s   c a n  b e   us e d  [13] ;   i n  e a c h  s ub r e gi o n,   a n  a de qu a t e   l i n e - s w e e p  s e a r c h  m o de   i s   us e d  t o  e n s u r e   o pt i m a l   a r e a   c o v e r a ge .   T h e   r o bo t   e xpl o r e s   s ub r e gi o n s   o n e   by   o n e ;   e a c h  s ub r e gi o n  c o ve r e d  c a n   b e   c h a nge d  a s   go a l s   s t a t e s   w i t h  r e w a r d   = 0   ,   s o   t ha t   t h e r e   w i l l   b e   n o   r e t u rn   t o   t h e   e xp l o r e d  r e gi o n   ( P r o po s i t i o n   3 )   a n d   s o ,   t h e   de c i s i o n   t i m e   o f   A l go r i t hm   1  c a n   b e   r e duc e d  t o   r e a l   t i m e   s i n c e   i t   i s   p r o po r t i o n a l   t o   t h e   n u m b e r   o f   f r e e   s t a t e s   ( R e m a r k   1 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.