I n te r n ati o n al   Jo u r n al   o I n fo r m ati c s   an d   C o mmu n i c ati o n   Te c h n o l o gy  (I J - I C T)   V o l .   6,   N o .   2 ,   A ugus t   201 7,   pp .   1 05~ 1 16   IS S N :   2252 - 8776 ,   D O I :   10. 1 1591 / i j i c t . v 6i 2 . pp1 05 - 116             105       Jou r n al   h o m e pa ge ht t p: / / i ae s j o ur nal . c om / on l i n e / i nde x . php/ IJ ICT   A   M a r k o v   D e c i s i o n   M o d e l   f o r   A r e a   C o v e r a g e   i n   A u t o n o m o u D e m i n i n g   R o b o t       A b d e l h ad i   Lar a c h * ,   C h e r k i   D ao u i ,   M o h am e d   B as l am   L a bo r a t o r y   o f   I nf o r m a t i o P r o c e s s i ng   a nd   D e c i s i o S u ppo r t S ul t a n   M o ul a y   S l i m a n e   U ni v e r s i t y   F a c ul t y   o f   s c i e nc e s   a nd  T e c hni qu e s ,   B e n i - M e l l a l ,   M o r o c c o       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e F e b   16,   2 017   R e v i s e J un   29 ,   2017   A c c e pt e J ul   1 9,   2017       A   r e v i e w   o f   l i t e r a t ur e   s ho w s   t h a t   t he r e   i s   a   v a r i e t y   of   w o r ks   s t udy i ng  c ov e r a g e   pa t pl a nn i ng   i s e v e r a l   a ut o no m o us   r o bo t i c   a ppl i c a t i o ns .   I t h i s   w o r k,   w e   pr o po s e   a   ne w   a pp r o a c u s i ng   M a r ko v   D e c i s i o P r o c e s s   t o   pl a n   a n   o pt i m um   p a t t o   r e a c t he   g e ne r a l   g o a l   o f   e xpl o r i ng   a n   unk no w e nv i r o nm e nt   c o nt a i n i ng   bur i e d   m i n e s .   T h i s   a pp r o a c h,   c a l l e d   G o a l s   t o   G o a l s   A r e a   C o v e r a g e   o n - l i n e   A l g o r i t hm ,   i s   b a s e d   o a   de c o m po s i t i o n   o f   t he   s t a t e   s pa c e   i nt o   s m a l l e r   r e g i o ns   w ho s e   s t a t e s   a r e   c o ns i d e r e a s   g o a l s   w i t h   t h e   s a m e   r e w a r v a l ue ,   t h e   r e w a r d   v a l ue   i s   de c r e m e nt e d   f r o m   o ne   r e g i o t o   a no t he r   a c c o r di ng   t o   t he   de s i r e d   s e a r c m o de .   T he   num e r i c a l   s i m ul a t i o ns   s ho w   t ha t   o ur   a pp r o a c i s   p r o m i s i ng   f o r   m i ni m i z i ng   t h e   n e c e s s a r y   c o s t - e ne r g y   t o   c ov e r   t he   e n t i r e   a r e a .   Ke y w or d s :   Co ve r a ge   P a t h   P l a nni n g   M a r ko v   D e c i s i o n   P r o c e s s   Ro bo t i c   P a t h   p l a nni n g   S h o rt e s t   P a t P l a nni n g   C opy r i gh t   ©   201 7   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e   A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A b de l h a di   L a ra c h   L a bo r a t o r y   of   In f o r m a t i o P r o c e s s i n a n d   D e c i s i o n   S uppo r t ,   S ul t a M o ul a y   S l i m a n e   U ni v e r s i t y ,   F a c ul t y   of   s c i e n c e s   a n d   T e c hni que s ,   B e n i - M e l l a l ,   M o r o c c o .   E m a i l :   l a ra c h a b de l h a d i @ gm a i l . c o m       1.   I N TR O D U C TI O N     S h o rt e s t   P a t P l a nni n g   (S P P )   o Co v e r a ge   P a t P l a nn i ng   (C P P i s   a   t a s k   us e i a   l a rge   num b e o r o b o t i c   a ppl i c a t i o n s ,   s uc h   a s   de m i n i n g   r o b o t s   [1],   pa i n t e r o bo t s   [2],   c l e a ni n g   r o bo t s   [3],   e t c .   S e v e r a l   r e s e a r c h e s   c o n c e rn i n g   S P P   a nd   CP P   a r e   p r e s e nt e i [4 - 6 ],   S P P   o CP P   a l go r i t h m s   a r e   c l a s s i f i e i t w c a t e go r i e s :   o f f - l i n e   a l go r i t h m s ,   ge n e r a l l y   us e i a c k n o w l e d ge e n v i r o nm e n t   a nd   o n - l i n e   a l go r i t h m s ,   us e i n   unr e c o gn i z e e n v i r o n m e nt .   I n   o n - l i n e   a l go ri t hm s   t h e   p o l i c y   i s   ge n e ra l l y   upda t e a c c o r di ng  t o   n e w   e n v i r o n m e n t   o b s e r v a t i o n .   T h e   CP P   p r o b l e m   r e m a i n s   s ub j e c t   o f   r e s e a r c h   o pt i m i z a t i o n ,   e s pe c i a l l y   i a unk n o w n   e n v i r o nm e n t .     In  R o bo t i c   l a n d m i n e s   de t e c t i o n,   t h e   a ge nt   m us t   de t e c t   a nd   f i n d   l o c a t i o o f   a l l   po s s i b l e   m i n e s ,   a v o i a l l   o b s t a c l e s   a n d   f o l l ow   t h e   s h o rt e s t   pa t i a u n k n o w n   e nv i r o nm e nt   w i t h o ut   o v e r l a pp i n g   p a t h s .   S a t i s fy i n s uc h   r e qu i r e m e n t s   i s   n o t   a l w a y s   e a s y   a n d   po s s i b l e .   I f a c t ,   t h e   w h o l e   s t ruc t u r e   o f   t h e   e n v i r o nm e nt   i s   n o t   kn o w n   a   p r i o r i   a nd  t h e   o n - l i n e   a l go ri t hm   m us t   b e   a b l e   t o   s e e t h e   o pt i m a l   s t r a t e gy   a c c o r di n g   t o   t h e   kn o w l e dge   a c qui r e a f t e r   e a c h   o b s e r v a t i o n .   E . G a l s e ra [6]   p r e s e n t e a   s u r v e y   o n   CP P   i n   R o bo t i c ,   s e ve r a l   m e t h o ds   w e r e   pr o po s e d.   In  t hi s   p a pe r ,   w e   pr e s e n t   a   D i s c o unt e M a r ko v   D e c i s i o n   M o de l   fo r   r o bo t i c s   na v i ga t i o i g ri e n v i r o n m e n t   w i t a   t h e o r e t i c a l   s t udy   w h i c pe rm i t   t o   p r o po s e   a   n e w   a p p r o a c f o r   a r e a   c o ve r a ge   c a l l e d   G o a l s   t o   G o a l s   A r e a   Co v e r a ge   o n - l i n e   A l go r i t hm   b a s e o n   a   de c om po s i t i o o f   t h e   s t a t e   s pa c e   i n t o   s m a l l e r   r e gi o n s   w h o s e   a l l   s t a t e s   a r e   c o n s i de r e a s   go a l s   a nd   a s s i g n e d   w i t t h e   s a m e   r e w a r d   v a l ue .   T h e   r e w a r d   v a l ue   c a b e   de c r e a s e f r o m   o n e   r e gi o n   t o   a n o t h e a c c o r di ng  t o   t h e   de s i r e s e a r c m o de   s uc a s   a   l i n e - s w e e [13]  o s pa t i a l   c e l l   d i f f us i o n   [14]   a pp r o a c h e s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105     116   106   2.   M A R K O V   D EC I S I O N   P R O C ES S   M a r ko v   D e c i s i o n   P r o c e s s e s   a r e   de n e a s   c o n t r o l l e s t o c ha s t i c   p r o c e s s e s   s a t i s fy i n t h e   M a r ko pr o pe rt y   a n d   a s s i g n i ng   r e w a r d   v a l ue s   t o   s t a t e   t ra n s i t i o n s   [7 ,   8] .   F o rm a l l y ,   t h e y   a r e   de f i n e d   by   t h e   f i v e - t upl e   ( S,   A ,   T ,   P ,   R ) ,   w h e r e   S   i s   t h e   s t a t e   s pa c e   i w hi c t h e   p ro c e s s ’s   e vo l ut i o t a ke s   p l a c e ;   A   i s   t h e   s e t   o f   a l l   po s s i b l e   a c t i o n s   w h i c c o n t r o l   t h e   s t a t e   dy n a m i c s ;   T   i s   t h e   s e t   o f   t i m e   s t e ps   w h e r e   de c i s i o n s   n e e t o   b e   m a de ;   P   de n o t e s   t h e   s t a t e   t ra n s i t i o n   p r o b a b i l i t y   f un c t i o w h e r e   P ( S t + 1 = j | S t = i ,   A t = a) = P iaj   i s   t h e   p r o b a b i l i t y   o t r a n s i t i o n i n g   t o   a   s t a t e   j   w h e a a c t i o a   i s   e xe c ut e i n   a   s t a t e   i ,   S t   (A t )   i s   a   v a r i a b l e   i n d i c a t i n t h e   s t a t e   (a c t i o n )   a t   t i m e   t ;   R   p r o v i de s   t h e   r e w a r d   f u n c t i o de n e o s t a t e   t ra n s i t i o n s   w h e r e   R ia   de n o t e s   t h e   r e w a r d   ob t a i n e i f   t h e   a c t i o a   i s   a pp l i e d   i s t a t e   i .     2. 1 .   D i s c o u n te d   R e w a r d   M ar k o v   D e c i s i o n   P r o c e s s   Let   ( = , = | 0 = )   b e   t h e   c o n di t i o na l   p r o b a b i l i t y   t h a t   a t   t i m e   t   t h e   s y s t e m   i s   i n   s t a t e   j   a n d   t h e   a c t i o t a ke i s   a ,   gi v e t h a t   t h e   i ni t i a l   s t a t e   i s   i   a n d   t h e   de c i s i o n   m a ke i s   a   s t r a t e gy   π ;   i f     de n o t e s   t h e   r e w a r d   a t   t i m e   t ,   t h e n   f o r   a n y   s t ra t e gy     a n d   i ni t i a l   s t a t e   i ,   t h e   e xpe c t a t i o o f     i s   gi v e by :     π ( R t ,   i )   = P π ( S t = j , A t = a| S 0 = i ) R ja j S a A ( j )             (1)     In   di s c o un t e r e w a r M D P ,   t h e   v a l ue   f u n c t i o n,   w hi c i s   t h e   e xpe c t e r e w a r w h e n   t h e   p r o c e s s   s t a r t s   w i t s t a t e   i   a nd  us i n g   t h e   po l i c y     i s   de f i n e d   by :     V π α ( i )   [ α t π ( R t   ,   i ) t= 0 ] ,   i     S               (2)     w h e r e       ] 0 , 1 [   i s   t h e   di s c o unt   f a c t o r .       T h e   o bj e c t i v e   i s   t o   de t e r m i n e   ,   t h e   m a xi m um   e xpe c t e t o t a l   di s c o unt e r e w a r v e c t o r   o ve r   a i n n i t e   h o r i z o n.   It   i s   w e l l   k n o w n   [7,   8]   t ha t     s a t i s e s   t h e   B e l l m a e qua t i o n:       ( ) = ( ) {  + ( ) } ,           (3)     M o r e ov e r ,   t h e   a c t i o n s   a t t a i ni n g   t h e   m a xi m u m   i (3)   gi v e   r i s e   t o   a o pt i m a l   pu r e   po l i c y   π ^ gi v e by :     ( )  ( ) {  +   ( ) } ,           (4)     2. 2 .   G au s s - S e i d e l   V a l u e   I te r at i o n   A l go r i th m   G a us s - S e i de l   V a l ue   It e r a t i o n   (G S V I)   A l go ri t hm   i s   o n e   o f   t h e   m o s t   i t e r a t i v e   a l go r i t hm s   us e f o r   f i n di ng  o pt i m a l   o r   a pp r o xi m a t e l y   o pt i m a l   po l i c i e s   u nde D i s c o un t e M D P   [8 - 1 0].   I t hi s   p a r a g ra p h,   w e   pr e s e nt e   t h e   f o l l o w i n o pt i m i z e ps e udo - c o de   of G S V A l go ri t hm   (A l go ri t hm   1).     A l go r i th m   1.   G S V A l go r i t hm .   GS VI  ( I n S ,   P A R ,   + , O u t :   , )   1.   F o r   a l l     S   Do   ( i ) 0 / / I ni t i al i z at i on   2.   B e l l m a n _e rr   2 / / F or   s t o ppi n c r i t e r i on   3.   Wh i l e   ( B e l l m a n_e rr   D o                   F o r   al l   i   S     D o   / / V al ue   i m pr o v e m e nt   ( ) {  + ( ) + ( ) }   B e l l m a n _e rr     M ax | V * ( i )   -   | ,   B e l l m a n _e rr )   ( )     4.   F o r   a l l         D o   / / P ol i c y   c al c ul a t i o n   ( )  ( ) {  + ( ) + ( ) }   5 .       R e tu r n    ,     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e Cov e r age   i A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   107   W e   de n o t e   by   + ( ) = {     :   > 0 }   t h e   s uc c e s s o r s   l i s t   o f   pa i ( i a ),   ( ) .   T h e   a l go r i t hm   i s   b a s e o n   a   s uc c e s s o r s   l i s t   o f   pa i r   s t a t e - a c t i o n,   w hi c pe rm i t s   t o   a c c e l e r a t e   i t e ra t i o n   c o m pa r e t o   t h e   c l a s s i c a l   G S V A l go r i t h m   e s pe c i a l l y   w h e n   t h e   n u m b e r   o f   a c t i o n s   a n s uc c e s s o r s   pe r   s t a t e   i s   v e r y   l e s s   t ha t h e   num b e o f   s t a t e s .   I n de e d t h e   c o m pl e xi t y   of   t h e   p r o po s e ve r s i o n   i s   r e duc e t (| + || S | pe r   i t e r a t i o w h e r e   | + |   i s   t h e   a v e r a ge   n u m b e r   o f   s t a t e - a c t i o n   s uc c e s s o r s .       3.   M A R K O V   D EC I S I O N   M O D EL   F O R   R O BO TI C   N A V I G A TI O N   T o   m o de l   t h e   R o bo t i c   N a v i ga t i o n   i n   ge n e r a l   o r   D e m i n i ng  R ob o t   pr o b l e m   i n   p a r t i c ul a c a s e   us i n a   M D P ,   t h e   f i v e - t upl e   ( S,   A ,   T ,   P ,   R )   m us t   b e   de f i n e a nd  t h e   e n v i r o nm e n t   r e pr e s e nt a t i o n   m us t   b e   c h o o s e n .   a.   G r i d’s   E n v i r on m e n t :   T h e   G r i d   B a s e m e t h o - i de a l   f o r   l a n d m i n e s   de t e c t i o n -   i s   us e t o   m o de l   t h e   e n v i r o nm e nt   w h i c i s   e nt i r e l y   di s c r e t i z e a c c o r di n g   t o   a   r e gu l a g ri d.   T h e   g ri d   s i z e   c a b e   c h o s e a c c o r di ng  t o   t h e   r o b o t   s t r uc t u r e   a nd   t h e   f i e l c o ve r e by   t h e   r o b o t   s e n s o r .   b.   S t at e s   S pac e :   U s i n t h e   G r i m e t h o d,   t h e   s t a t e   s pa c e   i s   t h e r e f o r e   a   s e t   o f   gri ds ,   e a c g ri c e l l   h a s   a a s s o c i a t e v a l ue   s t a t i n g ,   o b s t a c l e ,   m i n e ,   f r e e   o g o a l   s t a t e .   c.   Ac t i on s   S pa c e :   T h e   r o b o t   c a b e   c o n t r o l l e t hr o ug h   ni ne   a c t i o n s :   t h e   e i g h t   c o m pa s s   di r e c t i o n s   a nd   t h e   a c t i o de s i g n e d   b y   θ  t ha t   ke e p s   t h e   p ro c e s s   i t h e   s t a t e   w h e r e   i t   i s ;   a c t i o n s   t h a t   m o v e   t h e   r o bo t   t o   a n   o b s t a c l e   o r   a   m i n e   s t a t e   a r e   e l i m i n a t e d;   i n   a   go a l   s t a t e   t h e   po s s i b l e   a c t i o i s   θ.   F i gu r e   1   s h o w s   t h e   po s s i b l e   a c t i o n s   i a e n v i r o nm e n t   e xa m pl e ,   t h e   b l a c g r i d   i s   a o b s t a c l e   s t a t e   a n d   t h e   g r e e n   g r i d   i s   a   go a l   s t a t e .           F i gu r e   1 .   E n v i r o nm e nt   e xa m p l e   a nd  po s s i b l e   r o b o t   a c t i o n s   i e a c s t a t e       Re war d   F u n c t i on :   A   t r a n s i t i o n   t o   a   f r e e   o r   go a l   s t a t e   i s   c ha r a c t e r i z e by   a   c o s t   of   e n e r gy   pr o po r t i o na l   t o   t h e   di s t a n c e   t r a v e l l e d,   i t   i s   e qu a l   t o   a   p r e de f i n e d   c o n s t a nt   x   i f   t h e   a c t i o i s   di a go na l ,   a nd   2   i f   t h e   a c t i o i s   h o r i z o n t a l   o v e rt i c a l ,   t h e   r e w a r d   v a l ue   i s   t h e r e f o r e   e qua l   t o   - x   o r   2 t h e   r e w a r d   a s s i g n e t o   t h e   a c t i o   i a   f r e e   s t a t e   i s   e qua l   t o   z e r o   a n f o r   a   go a l   s t a t e   i t   i s   e qua l   t o   a   p r e de f i n e c o n s t a n t   R b .   T r an s i t i on   F u n c t i on :   T h e   t ra n s i t i o f un c t i o n   de f i n e s   t h e   u nc e r t a i n t y   due   t o   t h e   e ff e c t s   of   a c t i o n s ;   i t   i s   a   d a t a   o f   pr o b l e m   a nd  c a b e   de t e rm i n e b y   r e i n f o r c e m e n t   l e a rni n g .   Robot   S e n s or :   S e v e r a l   l a ndm i n e s   de t e c t i o n   m e t h o ds   c a n   b e   us e s uc h   a s   M e t a l   D e t e c t o r   T e c hn o l o gi e s ,   E l e c t r o m a g n e t i c   M e t h o ds   [11] ,   e t c .   I t hi s   w o r k,   w e   s uppo s e   t h a t   t h e   r o bo t   c a de t e c t   t h e   b ur i e d   m i n e s   e xi s t i n g   i n e a s t a t e s   (F i gu r e   2)   b y   us i ng   hi s   o w n e s e n s i n g   s y s t e m ,   a a rm   m o v e m e n t   o r   m ul t i - s e n s o r s   t e c hn o l o gi e   w o ul c o ve r   t h e s e   s t a t e s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105     116   108       F i gu r e   2 .   S t a t e s   c o v e r e by   t h e   r o bo t   s e n s o r       Robot   S t r u c t u r e :   s e v e r a l   r o b o t   m e c h a n i c a l   s t r uc t u r e s   c a n   b e   us e i n   de m i n i ng  r o b o t   s uc h   a s   O m n i d i r e c t i o na l   o r   M ul t i   D i r e c t i o n a l   Co n d uc t i v e   c o n t r o l   [12 ],   e t c .     R e m ar k   1 .   U s i n t h e   p r o po s e m o de l ,   t h e   t i m e   c o m pl e xi t y   of   a l go ri t hm   i s   (| + | | S ’| pe r   i t e ra t i o n,   w h e r e   | S’ |   i s   t h e   n u m b e o f   f r e e   s t a t e s ;   f o r   a   go a l   s t a t e   t h e   e xpe c t e r e w a r d   i s   a   c o n s t a nt   v a l ue   e qu a l   t o   1   ( g i v e n   b y   (3) s i n c e   t h e   o n l y   po s s i b l e   a c t i o n   t h a t   c a b e   t a ke i n   a   go a l   s t a t e   i s   | + |   i s   v e r y   l e s s   t h a | S’ |   a n d   c a n   b e   c o n s i de r e us   c o n s t a nt ;   s o   t h e   A l go r i t hm   1   i s   l i n e a r   pe i t e ra t i o n .       4.   TH E O R ETI C A M O D EL   S TU D Y   In  t h i s   s e c t i o n,   w e   pr e s e nt   a   t h e o r e t i c a l   s t udy   fo t h e   c o n s i de r e m o de l ,   w h i c i s   t h e   b a s i s   o f   o ur   a pp r o a c h.   P r o p o s i ti o n   1.   If   t h e   s t a t e   s pa c e   do   n o t   c o n t a i n s   a n y   go a l   s t a t e   t h e n   f o r   a n y   f r e e   s t a t e   0 ,   ( 0 ) =   i s   a o pt i m a l   s t ra t e gy .   P r oo f.   S uppo s e     a o pt i m a l   pu r e   s t r a t e g y     a n d     0     s uc h   t ha t :   ( 0 ) ;   t he   e xpe c t e r e w a r w h e t h e   s y s t e m   s t a rt   a t   s t a t e   0   i s :     ( 0 ) = ( 0 ) = ( 0   , 0 ) + [ (   , 0 ) = 1 ]         (5)     T h e   e xpe c t a t i o n   o f     t i m e   t = a n d   us i n g   s t ra t e gy     i s   g i v e n   by :     ( 0   , 0 ) = ( 0 = 0 , 0 = | 0 = 0 ) 0 ( ) = 0       (6)     W e   ha v e :   0 2   t h e n   V π α ( s 0 ) x 2 < 0   a n d   t h e   f a c t   t ha t   ( 0 ) < 0   i m p l i e s   t h a t   ( 0 )   c a nn o t   b e   a o pt i m a l   a c t i o s i n c e   t h e r e   e xi s t s   a   s t r a t e gy   ( 0 ) =   a n d   ( 0 ) = 0 ,   w h i c c o n t r a di c t s   t h e   s uppo s i t i o n .     F i gu r e   3   (l e f t )   s h o w s   a   s i m ul a t i o r e s ul t   i a e n v i r o nm e nt   e xa m pl e   w h e r e   n o   go a l   s t a t e   i s   de f i n e d;   as   w e   c a s e e ,     0   , ( 0 ) = .     P r o p o s i ti o n   2.   Let   0   b e   a   f r e e   i ni t i a l   s t a t e ,   i f   t h e r e   i s   n o   p a t l e a di ng   f r o m   s 0   t o   t h e   go a l   s t a t e   G   t h e n   ( 0 ) = .     P r oo f.   T h e   p r o of   i s   s i m i l a r   t o   t h e   p r o o f   of   P r o po s i t i o n   1 ,   i n de e d,   f o r   a n y   s t ra t e gy     s uc t ha t   ( 0 ) ( 0 ) < 0 .     F i gu r e   3( ri g h t )   s h o w s   a n   e x a m p l e   o f   s i m ul a t i o n   r e s ul t ,   a s   w e   c a s e e   fo r   a l l   0     w h e r e   t h e r e   i s   n o   pa t t o   t h e   go a l   s t a t e   G , ( 0 ) = .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e Cov e r age   i A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   109       F i gu r e   3 .   O p t i m a l   s t ra t e g i e s   e xa m p l e s   ( n o   go a l   s t a t e   (l e f t a nd  n o   pa t t o   t h e   go a l   s t a t e   f o r   s o m e   s t a t e s   ( ri g ht ))       P r o p o s i ti o n   3.   L e t   G   b e   a   go a l   s t a t e   w i t h   r e w a r v a l ue   R b =0 ,   t h e n   f o r   a n y   i ni t i a l   f r e e   s t a t e   0 ,   ( 0 ) = .   P r oo f.   It   i s   c l e a r   s i n c e   f o r   a n y   s t ra t e gy     s uc h   t h a t   ( 0 ) ( 0 ) < 0 .     F i gu r e   4   s h o w s   a   s i m u l a t i o e x a m p l e   i a e n v i r o nm e nt   w h e r e   t h e r e   e xi s t   f o ur  go a l s   s t a t e s   w i t h   r e w a r d   v a l ue   R b =0 ,   a s   i t   c a b e   s e e n π ( s 0 ) = θ   f o r   a l l   f r e e   i n i t i a l   s t a t e .           F i gu r e   4 .   O p t i m a l   s t ra t e gy   i n   a n   e n v i r o nm e nt   e x a m p l e   w i t h   f o ur   go a l s   s t a t e s   w i t h i r e w a r d   v a l ue   R b =0       P r o p o s i ti o n   4.   Let   0   b e   a   f r e e   i n i t i a l   s t a t e ,   s u ppo s e   t ha t   t h e r e   e xi s t   a   pa t h   o f   l e ngt l ,   f r o m   0   t o   t h e   ga o l   s t a t e   G   a nd  l e t     b e   t h e   r e w a r d   v a l ue   o b t a i n e w h e n   t h e   a c t i o   i s   a ppl i e i a   go a l   s t a t e   G .        > ( )      ( 0 )                 ( 7 )     P r oo f.   Let   ( 0 )   b e   t h e   e xpe c t e r e w a r d   w h e n   t h e   p r o c e s s   s t a rt   a t   s t a t e   0 .     ( 0 )   =   = 0 = 1 = 0 + =           (8)     w h e r e :   = (   , 0 ) = ( = , = | 0 = 0 )  ( )   i s   t h e   e xpe c t a t i o n   o f   t h e   r e w a r v a l ue   ob t a i n e w h e n   s o m e   c o m pa s s   a c t i o i s   t a ke n   i n   t h e   s t a t e   S t   a t   t i m e   A t .   T h e   e qua t i o (8)   c a b e   m o di f i e a s   f o l l ow :     ( 0 ) =   1 = 0 + = 0             (9)     Let   V ( s g )   b e   t h e   e xpe c t e r e w a rd  w h e n   t h e   p r o c e s s   s t a r t s   a t   go a l   s t a t e   G ,   by   us i n ( 3),   w e   ha v e :     ( ) = = 0 = 1               (10)     U s i n (1 0),   t h e   e qua l i t y   (9)  c a b e   r e f o r m e a s   f o l l ow :     ( 0 )   = 1 = 0 + × 1               (11)   T h e   f a c t   t ha t :      i m p l i e s   t ha t   ,   t h e n :   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105     116   110     1 = 0     1 = 0                 (12)     By   a ppl y i n g   (12)   i (1 1),   w e   ha v e   t h e   r e s ul t i ng  e qu a t i o n :     ( 0 )     × 1 ( 1 = 0 )               (13)     T h e   f a c t   t ha t   1 = 0 = 1 1   e qu a t i o n   (13)   b e c o m e s :     ( 0 )     × + × 1                 (14)     T h e   f a c t   t ha t   R b > ( x α x )   i m p l i e s   t ha t   R b × α l x + x × α l   >   0 .   E qua t i o n s   (14 i m p l y   t ha t   V ( s 0 )   i s   g r e a t   t h a z e r o .     ( 0 )     × + × 1 > 0               ( 15)     T h e   f a c t   t ha t   ( 0 )   >   0   i m pl i e s   t ha t   ( 0 )     .         F i gu r e   s h o w s   a   s t r a t e gy   e xa m pl e   ge n e ra t e us i n a l go r i t hm   w i t h   pa ra m e t e r s :   R b = 2 00 = 0. 2   a n d   = 1 f o r   a   p a t l e n g t h   l = 3,   3 = 1 3 1 = 125   < = 200 ;   a n d   f o r   l = 4 ,   4 = 1 4 1 = 624 > = 200 ,   w e   c a c o n c l ude   f r o m   t h e   v a l ue s   o f   3   a n d   4   t h a t :   I f   l   <   4   t h e n   ( 0 )     .           F i gu r e   5 .   A o pt i m a l   s t ra t e gy   e xa m pl e   us i n g   pa ra m e t e r s :   α = 0. 2 ,   x = 1   a n d   R b = 200       P r o p o s i ti o n   5.   L e t   G   b e   a   go a l   s t a t e   w i t r e w a r d   v a l ue   = | | .   F o a n y   i ni t i a l   f r e e   s t a t e   0 ,   i f   t h e r e   e xi s t s   a   pa t t o   t h e   go a l   s t a t e   G   t h e n   ( 0 ) .     P r oo f.   L e t   l   b e   t h e   pa t l e n gt t o   t h e   go a l   s t a t e   G us i ng  p r o p o s i t i o n   4 ,   i f   > ( )   t h e ( 0 ) .   L e t   s h o w   t ha t   | | > ( ) w e   ha v e   | S | >   t h e | | <   a n d   | | > > ,   s i n c e   > 0     F i gu r e   s h o w s   a   pa t h   s t ra t e gy   e xa m pl e   w i t h   pa ra m e t e r s :   α = 0. 2 ,   x = α | S |   a nd  R b =1   ( n o t e   t h a t   i f   ( x = α | S | t h e R b =1 );   a s   i t   c a n   b e   s e e n ,   ( 0 )   f o r   a l l   f r e e   i n i t i a l   s t a t e   0 .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e Cov e r age   i A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   111       F i gu r e   6 .   A o pt i m a l   s t ra t e gy   e xa m pl e   us i n g   pa ra m e t e r s :   α = 0. 2 ,   x = α | S|   a n d   R b =1       P r o p o s i ti o n   6.   L e t   G 1   ( G 2 )   b e   a   go a l   s t a t e   s uc t h a t   1 = 1   ( R b 2 = 1 + 1 α | S | ) .   S u ppo s e     a   pa t o f   l e n g t 1   ( 2 )   f r o m   i ni t i a l   s t a t e   0   t o   t h e   go a l   s t a t e   G 1   ( G 2 ) ,   t h e t h e   o pt i m a l   s t ra t e gy   n a v i ga t e s   r o b o t   t o   t h e   go a l   s t a t e   G 2   fo r   a l l   1 1 .     P r oo f.   S uppo s e     a o pt i m a l   s t ra t e g y   1   t ha t   m o v e s   t h e   r o b o t   t o   t h e   go a l   s t a t e   G 1 .   E qu a t i o (11)   i m pl i e s   t ha t :     1 ( 0 ) < 1 1 = 1 < 1 1               ( 16)     Let   2   b e   a   s t ra t e gy   t ha t   m o v e s   r o bo t   t o   t h e   go a l   s t a t e   G 2 ,   e qua t i o n   ( 15)   a n d   t h e   f a c t   t ha t   2 < | |   i m pl y   t ha t :     2 ( 0 ) 2 × +  1 > 2 × | | +  | | 1             (17)     By   us i n t h e   f a c t   t h a t   2 = 1 + 1 | |   a nd  = | | ,   i n e qua t i o n   (1 7)  c a b e   r e w r i t t e a s :     V π 2 α ( s 0 ) >   ( 1 + 1 α | S | ) α | S | x + x α | S | 1 α = 1 + α 2 | S | 1 α > 1 1 α           (18)     In e qu a l i t i e s   ( 16)  a n d   (18)   i m p l y   t ha t :     2 ( 0 )   >   1 + 2 | | 1   >   1 1   > 1 ( 0 )             (19)     T h e   f a c t   t ha t   2 ( 0 )   > 1 ( 0 )   i m pl i e s   t ha t   π 1   c a nn o t   b e   a n   o pt i m a l   s t ra t e gy .         5.   G O A LS   T O   G O A LS   A R EA   C O V ER A G A L G O R I TH M S   In  t h i s   s e c t i o n ,   w e   p r e s e n t   t h e   p r o po s e o n - l i n e   a l go r i t hm   f o r   a r e a   c ov e r a ge   i a u t o n o m o us   de m i n i ng  r o b o t   b a s e o n   t h e   m o de l   de f i n e i s e c t i o n   3 ,   a n d   t h e   t h e o r e t i c a l   s t udi e s   p r e s e n t e i t h e   p r e v i o us   s e c t i o n .   W e   b e gi n   b y   t h e   f i r s t   v e r s i o (A l go r i t h m   2 c a l l e d   G o a l s   t o   G o a l s   R a n do m i z e   A r e a   Co v e r a ge ,   i w h i c w e   s uppo s e   t h a t   a l l   s t a t e s   a r e   go a l s   w i t t h e   s a m e   r e w a r v a l ue ,   e xc e pt   t h e n   i n i t i a l   s t a t e .   B e gi nni n g   by   t h e   i ni t i a l   po s i t i o n,   t h e   r o b o t   de t e c t   t h e   n e a r   s t a t e s ,   upd a t e   de t e c t e s t a t e s ,   c a l c ul a t e   p a t s t ra t e gy   us i n g   a l go ri t hm   1   a n d   m o v e   a c c o r di n g   t o   a o pt i m a l   a c t i o n ;   t h e s e   s t e ps   a r e   r e pe a t e d   u n t i l   t h e   o pt i m a l   a c t i o i s   e qua l   t o   θ.     A l go r i th m   2.   G o a l s   t o   G o a l s   R a n do m i z e   A r e a   Co v e r a ge .   D ata:   S P A R ,   + , ,   ;   = | | s 0 :   i n i t i a l   s t a t e   1.   S e t   a l l   s t a t e s   a s   go a l s   (e xc e pt   i n i t i a l   s t a t e w i t h   t h e   s a m e   r e w a r d:   = 1 .   2.   R e p e at   2. 1 .   O b s e r v e   n e a s t a t e s   w i t h   s e n s o r   2. 2 .   U pda t e   o b s e r v e d   s t a t e s   2. 3 .   C a l c ul a t e   s t r a t e g y   us i n a l go r i t h m   1   2. 4 .   M o v e   r o bo t   us i n g   a o pt i m a l   a c t i o n           U n t i l   ( t h e   o pt i m a l   a c t i o i s   e qu a l   t o   )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105     116   112   Th e o r e m .   T h e   a l go ri t hm   2   w o r ks   c o r r e c t l y   a n d   t e r m i n a t e s   a f t e c o ve r i n g   t h e   e n t i r e   a r e a   e xc e pt   t h e   n o n -   r e a c h a b l e   r e gi o n s   f r o m   t h e   s t a rt   s t a t e   s 0 .   P r oo f.   T h e   p r o o f   fo l l ow s   f r o m   t h e   p r o po s i t i o n s   1,   2,   a n 5 .   I n   f a c t ,   p r o po s i t i o n s   a n i m pl y   t h a t   i f   t h e r e   i s   a t   l e a s t   o n e   s t a t e   n o t   e xpl o r e a nd  r e a c h a b l e   f r o m   t h e   c urr e nt   r o b o t   pos i t i o n,   t h e   o pt i m a l   a c t i o i s   di f fe r e nt   t o   .   M o r e o v e r ,   a f t e e a c h   o b s e r v a t i o n,   t h e   s t a t us   of   n e a r   s t a t e s   (s uppo s e go a l s i s   upd a t e d;   t h e   na v i ga t i o t o   t h e   n e a r e s t   go a l   i s   a s s ur e d   by   pr o po s i t i o n s   3   a nd  4   a nd   t h e   r o b o t   s t o ps   a f t e e xpl o ri n g   t h e   e n t i r e   e n v i r o n m e n t   e xc e pt   t h e   u nr e a c h a b l e   s t a t e s   f r o m   t h e   s t a rt   s t a t e   s (p r o po s i t i o n   2 )   F i gu r e   s h o w s   a   pa t h   ge n e r a t e us i n a l go r i t h m   i a o b s t a c l e   f r e e   e n v i r o n m e nt   (t e n   ra n do m i z e m i n e s   po s i t i o n s ),   a s   we   c a n   s e e ,   t h e   e n t i r e   a r e a   is   c o ve r e d ,   b ut   t h e   s e a r c p a t i s   ps e udo - r a ndo m   a nd  t h e   r o b o t   ov e r l a ps   s o m e   r e gi o n s   p r e v i o us l y   de t e c t e d.           F i gu r e   7 .   E n v i r o nm e nt   e xa m p l e   a nd  p a t ge n e ra t e d   us i n g   a l g o r i t hm   2       T o   m i ni m i z e   t h e   o v e r l a ppi n g   pa t h s ,   t h e   a ut h o r s   p r o po s e   a   s e c o n v e r s i o n   ( a l go r i t h m   3)  b a s e o de c r e a s i n g   t h e   r e w a rds   v a l ue s   a c c o r di n g   s o m e   S e a r c M o de   s uc a s   a   l i n e - s w e e ( F i gu r e   8 )   b a s e a p p r o a c de s c r i b e i n   [1 3]  o r   s p a t i a l   c e l l   di f f us i o n   a p p r o a c p r e s e n t e d   i n   [1 4].   In  e a c s m a l l e r e gi o n   (f o e xa m pl e   i f i gu r e   8,   a   s m a l l e re gi o n   c o nt a i n i n e   s t a t e s a l l   s t a t e s   a r e   c o n s i de r e a s   go a l s   w i t h   t h e   s a m e   f i xe r e w a r d   v a l ue   a n d   t h e   s e a r c m o de   i s   a s s u r e b y   t h e   p r o po s i t i o 6.           F i gu r e   8 .   E xa m p l e   o f   r e w a r ds   v a l ue s   de c r e m e n t e a c c o r di n g   t h e   l i n e - s w e e s e a r c m o de                     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - ICT     IS S N :   2252 - 8776       A   M ar k o v   D e c i s i on   Mod e l   f or   A r e Cov e r age   i A ut onom ou s   D e m i n i ng   R o bot   ( A bde l had i   L ar a c h )   113   A l go r i th m   3.   G o a l s   t o   G o a l s   S e a r c m o de   A r e a   Co v e r a ge   D ata:   S P A R ,   + , ;   = | | s 0 :   i n i t i a l   s t a t e   1.   D e c o m po s e   t h e   s t a t e   s p a c e   i n t o   t h e   p   s m a l l e r   r e g i o n s .   2.   D e f i n e   t h e   de c r e a s i n g   r e w a r d   v a l ue s   a c c o r di ng  t o   t h e   de s i re s e a r c h   m o de .   3.   F o r   e ac h   s m a l l e r e gi o i   p , . , 1   D o         S e t   a l l   s t a t e s   i re gi o n   i   a s   go a l s   w i t h   = + | | .   4.   R e p e at   4. 1 .   O b s e r v e   n e a s t a t e s   4. 2 .   U pda t e   o b s e r v e d   s t a t e s     4. 3 .   C a l c ul a t e   s t r a t e g y   us i n a l go r i t h m   1   4. 4 .   M o v e   r o bo t   us i n g   a o pt i m a l   a c t i o n           U n t i l   ( t h e   o pt i m a l   a c t i o i s   e qu a l   t o   )       6.   S I M U LA TI O N   R ES U LTS   T h e   p r o po s e a l go r i t hm s   a r e   s i m ul a t e us i n g   J A V A   l a n gu a ge   i m p l e m e n t a t i o n ;   f i gu r e s   9,   10   a nd  11  s h o w   t h e   s i m u l a t i o r e s ul t s   f o s e v e r a l   s e a r c m o de s ,   i a o b s t a c l e   f r e e   e n v i r o n m e n t   e x a m p l e ,   w i t t e n   ra n do m i z e b uri e m i n e s .   It   c a n   b e   s e e n   f r o m   f i gu r e s   9,   10   a n 11  t h a t   t h e   A l go r i t h m   3   w o r ks   c o r r e c t l y   w i t h   l o w   r e pe t i t i o ra t e   c o m pa r e d   t o   A l go r i t hm   2.   In  s o m e   c a s e ,   i t   i s   o pt i m a l   a n b e n e f i c i a l   t ha t   t h e   r o b o t   f i ni s h e s   t h e   a r e a   c o ve r a ge   n e a i t s   i n i t i a l   po s i t i o n ;   t h e   v a ri a nt   o f   L i n e   S w e e s e a r c h   m o de   (F i gu r e   1 1)  c a b e   us e d.   T o   e v a l ua t e   t h e s e   s e a r c h   m o de s ,   w e   c a n   us e   t h e   f o l l ow i n g   v a l ua t i o f un c t i o n :     = = 0 = = 0                 (20)     w h e r e   = 1 2      1   a n d   T   i s   t h e   num b e o f   de c i s i o n s   t o   c o m pl e t e   t h e   a r e a   c ove r a ge ;   t hi s   v a l u a t i o n   f u n c t i o n   i s   pr o po r t i o na l   t o   t h e   t i m e   r e qui r e f o r   t h e   e nt i r e   e xpl o ra t i o n;   t h e   num b e r   o f   r o t a t i o c a n   b e   a dde t o   t hi s   v a l ua t i o f un c t i o n .       T a b l e   1 .   V a l u a t i o n   F u n c t i o n s :   Co m p a r i s o of  S e v e r a l   S e a r c M o de s   S e a r c h   m o d e   Ē   Ra n d o m i z e   100   S p a t i a l   C e l l   D i ff u s i o n   83   L i n e   S w e e p   80   V a ri a n t   o f   L i n e   S w e e p   82       T a b l e   p r e s e nt s   t h e   a v e r a ge   v a l ue   o f   E   fo r   e a c s e a r c m o d e   a n f o r   s e v e r a l   i rr e gul a r   b u r i e m i n e s   l o c a t i o n s   ge n e ra t e d   r a ndo m l y   i t h e   s a m e   e n v i r o n m e n t   e xa m pl e ,   us   i t   c a b e   s e e n,   t h e s e   s e a r c h   m o de s   i f r e e   ob s t a c l e   e n v i r o nm e nt   a c h i e v e s   t h e   a r e a   c o ve r a ge   w i t l o w   c o s t   o f   e n e r gy ,   e s pe c i a l l y   t h e   L i n e   S w e e s e a r c m o de   w h i c i s   b e n e f i c i a l   i t h e   de c o m po s i t i o n   m e t h o f o r   r e a l   e n v i r o nm e n t   w i t o b s t a c l e s .           F i gu r e   9 .   O nl i n e   s t r a t e g y   ge n e r a t e d   us i n g   a l go ri t hm   f o r   s p a t i a l   c e l l   di f f us i o n   s e a r c h   m o de     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8776   IJ - ICT    V o l .   6 ,   N o .   2,     A u gus t   2017 :     105     116   114       F i gu r e   10 .   O nl i n e   s t r a t e gy   ge n e r a t e us i ng  a l go r i t hm   3   f o r   L i n e - S w e e s e a r c m o de           F i gu r e   11 .   O nl i n e   s t r a t e gy   ge n e r a t e us i ng  a l go r i t hm   3   f o r   a   v a r i a n t   o f   L i n e - S w e e s e a r c h   m o de       R e m ar k   2 .   A r e a   c o v e r a ge   w i t h o ut   o v e r l a ppi ng   pa t i s   n o t   a l w a y s   e a s y   a n d   po s s i b l e   e s pe c i a l y   i a u n k n o w n   e n v i r o n m e n t .   F i gu r e   12  s h o w s   a   s t ra t e gy   e xa m pl e   w i t s o m e   ov e r l a pp i n g   pa t h s .           F i gu r e   12 .   O nl i n e   s t r a t e gy   e xa m pl e   w i t h   s o m e   o v e r l a pp i n p a t h s       R e m ar k   3.   F o a   l a rge   s t a t e   s pa c e   a nd  r e a l   e n v i r o n m e nt   w i t o b s t a c l e s ,   l i n e   s w e e de c o m po s i t i o n   i nt m o n o t o n e   s ub r e g i o n s   c a b e   us e [13] ;   i e a c s ub r e gi o n,   a a de qu a t e   l i n e - s w e e s e a r c m o de   i s   us e t e n s u r e   o pt i m a l   a r e a   c o v e r a ge .   T h e   r o bo t   e xpl o r e s   s ub r e gi o n s   o n e   by   o n e ;   e a c s ub r e gi o c o ve r e c a n   b e   c h a nge a s   go a l s   s t a t e s   w i t r e w a r d   = 0   ,   s o   t ha t   t h e r e   w i l l   b e   n o   r e t u rn   t o   t h e   e xp l o r e r e gi o n   ( P r o po s i t i o n   3 )   a n d   s o ,   t h e   de c i s i o n   t i m e   o f   A l go r i t hm   c a n   b e   r e duc e t o   r e a l   t i m e   s i n c e   i t   i s   p r o po r t i o n a l   t o   t h e   n u m b e r   o f   f r e e   s t a t e s   ( R e m a r k   1 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.