I n t e r n a t i o n a l   J o u r n a l   o f   R o b o t i c s   a n d   A u t o m a t i o n   ( I J R A )   V o l .   1 ,   N o .   1 ,   M a r c h   2 0 1 2 ,   p p .   3 1 ~ 4 8   I S S N :   2 0 8 9 - 4 8 5 6             3 1       J o u r n a l   h o m e p a g e :   h t t p : / / i a e s j o u r n a l . c o m / o n l i n e / i n d e x . p h p / I J R A   T o w a r d s   B e h a v i o r   S w i t c h   C o n t r o l   f o r   a n   E v o l u t i o n a r y   R o b o t   B a s e d   o n   R L   w i t h   E N N       J i n g a n   Y a n g a 1 ,     Y a n b i n   Z h u a n g 2 ,   C h u n g u a n g   L i 3   1 Ch a n g h z o u   K e y   L a b o r a t o r y   o f   S o f t w a r e   T e c h n o l o g y   &   A p p l i c a t i o n s ,   J i a n g s u   P r o v . ,   P .   R.   C h i n a   a n d   S c h o o l   o f   Co m p u t e r   &   I n f o r m a t i o n   S c i e n c e s ,   H e f e i   U n i v e r s i t y   o f   T e c h n o l o g y ,   H e f e i   2 3 0 0 0 9 ,   A n h u i   P r o v i n c e ,   Ch i n a .   2 . 3 .   S c h o o l   o f   Co m p u t e r   &   I n f o m a t i o n   E n g i n e e r i n g ,   C h a n g z h o u   I n s t i t u t e   o f   T e c h n o l o g y ,   Ch a n g z h o u ,   J i a n g s u   P r o v i n c e ,   Ch i n a .       A r t i c l e   I n f o     A B S T R A C T   A r t i c l e   h i s t o r y :   R e c e i v e d   F e b   6 ,   2 0 1 2   R e v i s e d   M a r   1 2 ,   2 0 1 2   A c c e p t e d   M a r   2 1 ,   2 0 1 2       T h i s   p a p e r   p r o p o s e s   a   b e h a v i o r - s w i t c h i n g   c o n t r o l   s t r a t e g y   o f   a n   e v o l u t i o n a r y   r o b o t i c s   b a s e d   o n   A r t i c i a l   N e u r a l   N e t w o r k   ( A N N )   a n d   G e n e t i c   A l g o r i t h m s   ( G A ) .   T h i s   m e t h o d   i s   a b l e   n o t   o n l y   t o   c o n s t r u c t   t h e   r e i n f o r c e m e n t   l e a r n i n g   m o d e l s   f o r   a u t o n o m o u s   r o b o t s   a n d   e v o l u t i o n a r y   r o b o t   m o d u l e s   t h a t   c o n t r o l   b e h a v i o r s   a n d   r e i n f o r c e m e n t   l e a r n i n g   e n v i r o n m e n t s ,   a n d   b u t   a l s o   t o   p e r f o r m   t h e   b e h a v i o r - s w i t c h i n g   c o n t r o l   a n d   o b s t a c l e   a v o i d a n c e   o f   a n   e v o l u t i o n a r y   r o b o t i c s   ( E R)   i n   t i m e - v a r y i n g   e n v i r o n m e n t s   w i t h   s t a t i c   a n d   m o v i n g   o b s t a c l e s   b y   c o m b i n i n g   A N N   a n d   G A .   T h e   e x p e r i m e n t a l   r e s u l t s   o n   t h e   b a s i c   b e h a v i o r s   a n d   b e h a v i o r - s w i t c h i n g   c o n t r o l   h a v e   d e m o n s t r a t e d   t h a t   o u r   m e t h o d   c a n   p e r f o r m   t h e   d e c i s i o n - m a k i n g   s t r a t e g y   a n d   p a r a m e t e r s   s e t   o p t i m i z a t i o n   o f   F N N   a n d   G A   b y   l e a r n i n g   a n d   c a n   e s c a p e   s u c c e s s f u l l y   f r o m   t h e   t r a p   o f   a   l o c a l   m i n i m a   a n d   a v o i d   m o t i o n   d e a d l o c k   s t a t u s   o f   h u m a n o i d   s o c c e r   r o b o t i c s   a g e n t s ,   a n d   r e d u c e   t h e   o s c i l l a t i o n   o f   t h e   p l a n n e d   t r a j e c t o r y   b e t w e e n   t h e   m u l t i p l e   o b s t a c l e s   b y   c r o s s o v e r   a n d   m u t a t i o n .   S o m e   r e s u l t s   o f   t h e   p r o p o s e d   a l g o r i t h m   h a v e   b e e n   s u c c e s s f u l l y   a p p l i e d   t o   o u r   s i m u l a t i o n   h u m a n o i d   r o b o t i c s   s o c c e r   t e a m   CI T 3 D   w h i c h   w o n   t h e   1 s t   p r i z e   o f   Ro b o Cu p   Ch a m p i o n s h i p   a n d   Ch i n a   O p e n   2 0 1 0   ( J u l y   2 0 1 0 )   a n d   t h e   2 n d   p l a c e   o f   t h e   o f c i a l   Ro b o   C u p   W o r l d   C h a m p i o n s h i p   ( 2 0 1 1 )   o n   5 - 1 1   J u l y ,   2 0 1 1   i n   I s t a n b u l ,   T u r k e y .   A s   c o m p a r e d   w i t h   t h e   c o n v e n t i o n a l   b e h a v i o r   n e t w o r k   a n d   t h e   a d a p t i v e   b e h a v i o r   m e t h o d ,   t h e   g e n e t i c   e n c o d i n g   c o m p l e x i t y   o f   o u r   a l g o r i t h m   i s   s i m p l i e d ,   a n d   t h e   n e t w o r k   p e r f o r m a n c e   a n d   t h e   c o n v e r g e n c e   r a t e   ρ   h a v e   b e e n   g r e a t l y   i m p r o v e d .     K e y w o r d :   B e h a v i o r   s w i t c h i n g   E v o l u t i o n a r y     r o b o t i c s   E v o l u t i o n a r y   n e u r a l   n e t w o r k   R e i n f o r c e m e n t   l e a r n i n g   R o b o t i c   a d a p t a b i l i t y   S i m u l a t e d   b i n a r y     c r o s s o v e r   S i m u l a t e d   r o b o t i c   a g e n t s   Co p y r i g h t   ©   2 0 1 2   I n s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e .     A l l   r i g h t s   r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   J i n g a n   Y a n g a   C h a n g h z o u   K e y   L a b o r a t o r y   o f   S o f t w a r e   T e c h n o l o g y   &   A p p l i c a t i o n s ,   J i a n g s u   P r o v . ,   P .   R .   C h i n a   a n d   S c h o o l   o f   C o m p u t e r   &   I n f o r m a t i o n   S c i e n c e s ,   H e f e i   U n i v e r s i t y   o f   T e c h n o l o g y ,   H e f e i   2 3 0 0 0 9 ,   A n h u i   P r o v i n c e ,   C h i n a .   E m a i l :   j a y a n g @ m a i l . h f . a h , c n       1 .   I N T R O D U C T I O N   1 . 1 .   E v o l u t i o n a r y   R o b o t i c s   E v o l u t i o n a r y   r o b o t i c s   h a s   b e e n   a n   a c t i v e   r e s e a r c h   a r e a   t h a t   a p p l i e s   a r t i c i a l   e v o l u t i o n   t o   c o n s t r u c t   c o n t r o l   s y s t e m s   f o r   a u t o n o m o u s   r o b o t s .   T h i s   i s   a l s o   a   p r o m i s i n g   m e t h o d o l o g y   f o r   t h e   a u t o n o m o u s   d e v e l o p m e n t   o f   t h e   r o b o t s ,   i n   w h i c h   t h e i r   b e h a v i o r s   a r e   o b t a i n e d   a s   a   c o n s e q u e n c e   o f   t h e   s t r u c t u r a l   c o u p l i n g   b e t w e e n   a   r o b o t   a n d   e n v i r o n m e n t   [ 3 7 ] [ 2 6 ] .   I n   e v o l u t i o n a r y   r o b o t i c s ,   a   r o b o t s   p e r c e p t i o n - a c t i o n   l o o p   i s   d e t e r m i n e d   b y   a   c o n t r o l   m e c h a n i s m   t h a t   i s   a r t i c i a l l y   e v o l v e d   [ 3 1 ] .   M a n y   w o r k s   h a v e   p r o p o s e d   e v o l u t i o n a r y   r o b o t i c s   c o n t r o l   s y s t e m s   u s i n g   e v o l u t i o n a r y   a d a p t a t i o n s   o f   a r t i c i a l   n e u r a l   n e t w o r k   [ 2 5 ] [ 8 ] [ 2 1 ] [ 1 ] ,   g e n e t i c   p r o g r a m m i n g   [ 3 2 ] [ 1 4 ] ,   a n d   a   l e a r n i n g   c l a s s i e r   s y s t e m   [ 5 ] .   A r t i c i a l   n e u r a l   n e t w o r k s   a r e   c o m m o n l y   e m p l o y e d   t o   e v o l v e   a   r o b o t   c o n t r o l l e r   [ 1 1 ] [ 2 9 ] ,   a n d   a n   e v o l u t i o n a r y   a l g o r i t h m   i s   u s e d   t o   d e s i g n   a n d / o r   t r a i n   A N N   f o r   s o l v i n g   a   g i v e n   t a s k .   M a n y   a t t e m p t s   f o r   r o b o t   c o n t r o l   a n d   a n   e v o l u t i o n a r y   a l g o r i t h m   h a v e   f o c u s e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 9 - 4 8 5 6   I J R A     V o l .   1 ,   N o .   1 ,     M a r c h   2 0 1 2   :     3 1     4 8   3 2 o n   d e v e l o p i n g   a u t o n o m o u s   r o b o t s   i n s p i r e d   b y   a n i m a l s   a n d   h u m a n s   t h a t   h a v e   r o b u s t   a d a p t a t i o n   a n d   s t a b l e   b e h a v i o r   i n   c h a n g i n g   e n v i r o n m e n t s   [ 1 6 ] [ 3 3 ] .   R e c e n t   r e s e a r c h e s   h a v e   p u t   e v e n   m o r e   e m p h a s i s   o n   t h e   t n e s s   f u n c t i o n s   u s e d   i n   e v o l u t i o n a r y   r o b o t i c s   [ 2 4 ] [ 2 7 ] [ 4 ] .   I n   o r d e r   t o   e n a b l e   t h e   r o b o t s   t o   o p e r a t e   n o r m a l l y   i n   u n f o r e s e e n   a n d   d y n a m i c   c i r c u m s t a n c e s ,   t h e   r o b o t s   m u s t   h a v e   t h e   a b i l i t y   t o   e v o l v e   t h e i r   b e h a v i o r s .   I n   t h i s   p a p e r   w e   e s t a b l i s h   t h e   m o d u l e s   f o r   o b s t a c l e   a v o i d a n c e   b e h a v i o r ,   g o a l   a p p r o a c h   b e h a v i o r ,   a n d   b e h a v i o r - s w i t c h i n g   c o n t r o l   b a s e d   o n   c o m b i n a t i o n   o f   a r t i c i a l   n e u r a l   n e t w o r k   ( A N N )   a n d   g e n e t i c   a l g o r i t h m   ( G A )   w h i c h   a l l o w   t h e   r o b o t s   i t s e l f   t o   s e n s e   t h e i r   e n v i r o n m e n t s   a n d   h a v e   s e l f - a d a p t a b l e   f u n c t i o n .     1 . 2 .   E v o l u t i o n a r y   R e i n f o r c e m e n t   L e a r n i n g   a n d   A d a p t a t i o n   o f   B e h a v i o r   C o n t r o l   I n   a   n a t u r a l   s y s t e m ,   a n i m a l s   d o   n o t   o n l y   a d a p t   t o   e n v i r o n m e n t a l   c h a n g e s ,   b u t   t h e y   c a n   a l s o   a c c u m u l a t e   a d a p t a t i o n s .   T h e y   c a n   s t o r e   k n o w l e d g e   a b o u t   a   p r e v i o u s l y   e n c o u n t e r e d   e n v i r o n m e n t s   a n d   u s e   i t   t o   a l t e r   t h e i r   b e h a v i o r s   w h e n   f a c e d   w i t h   a   s p e c i c   e n v i r o n m e n t s   a g a i n .   T h i s   p r o c e s s   i s   c a l l e d   l e a r n i n g   w h e n   i t   o c c u r s   i n   a   l i f e t i m e   a n d   e v o l u t i o n   w h e n   i t   o c c u r s   i n   a   l i n e a g e   [ 7 ] .   I n   o t h e r   w o r d s ,   t h e   a g e n t   a d a p t s   i t s e l f   a p p r o p r i a t e   f o r   d i f f e r e n t   e n v i r o n m e n t s   b y   e v o l v i n g   d i f f e r e n t   b e h a v i o r s .   R o b o t   l e a r n i n g   i s   a   d y n a m i c   c o n t i n u o u s   m e c h a n i s m .   E R   i s   o n e   o f   a   h o s t   o f   m a c h i n e   l e a r n i n g   m e t h o d s   t h a t   r e l y   o n   i n t e r a c t i o n   w i t h ,   a n d   f e e d b a c k   f r o m ,   a   c o m p l e x   d y n a m i c   e n v i r o n m e n t   t o   d r i v e   s y n t h e s i s   o f   c o n t r o l l e r s   f o r   a u t o n o m o u s   a g e n t s   [ 2 4 ] .   O n l y   b y   c o n s t a n t   s t u d y   c a n   t h e   r o b o t   i m p r o v e   b e t t e r   i t s   o w n   a d a p t a b i l i t y ,   a n d 2   a c q u i r e   k n o w l e d g e   b y   r e l y i n g   o n   c o n s t a n t   i n t e r a c t i o n   w i t h   t h e   d y n a m i c   e n v i r o n m e n t s .   F i n a l l y ,   t h e   r o b o t   c a n   l e a r n   t o   m o v e   i n   t h e   u n k n o w n   e n v i r o n m e n t   b y   r e p e a t e d l y   a d j u s t i n g   t h e   e n v i r o n m e n t a l   m o d u l e   a n d   i t s   o w n   m o d u l e .   T h i s   i s   w h a t   B r o o k s   c a l l e d   b e h a v i o r i s m   t h o u g h t   [ 3 6 ] [ 3 4 ] .   H e   t h o u g h t   t h a t   t h e   e f f e c t i v e   w a y   t o   d e s i g n   a n   i n t e l l i g e n t   r o b o t   s h o u l d   n o t   b e   l i k e   t r a d i t i o n a l   a r t i c i a l   i n t e l l i g e n c e ,   i . e . ,   c o m p l e t e l y   b a s e d   o n   s y m b o l   i n f e r e n c e   t o p - d o w n ,   b u t   s h o u l d   b e   l i k e   t h e   e v o l u t i o n a r y   m e c h a n i s m s   o f   t h e   b i o l o g i c a l   o r g a n i s m s   w h o   u s e   b o t t o m - u p   a p p r o a c h   b a s e d   o n   p e r c e p t i o n - a c t i o n ,   a n d   l e a r n i n g   b y   i n t e r a c t i n g   w i t h   t h e   e n v i r o n m e n t s .   I n   t h i s   w o r k ,   w e   d e s i g n e d   a   s i m u l a t i o n   e n v i r o n m e n t   o f   r o b o t   n a v i g a t i o n   a n d   a n   e v o l u t i o n a r y   r o b o t   m o d u l e .   T h e   s t r a t e g i e s   f o r   o b s t a c l e   a v o i d a n c e   a n d   t h e   a p p r o a c h   o f   t h e   r o b o t s   n a v i g a t i o n   [ 1 5 ]   i n   t h e   u n k n o w n   e n v i r o n m e n t s   a r e   r e g a r d e d   a s   t h e   r o b o t s   b a s i c   b e h a v i o r .   T h e   a b i l i t y   o f   t h e   r o b o t i c s   t o   j o i n t l y   a p p l y   m a n y   b a s i c   b e h a v i o r s   t o   i t s   e n v i r o n m e n t s   i s   c a l l e d   c o m b i n e d   b e h a v i o r .   T h e   p r o c e s s   t h a t   t h e   r o b o t   a c t i v a t e s   s o m e   b a s i c   b e h a v i o r   a t   s o m e   m o m e n t   i s   c a l l e d   b e h a v i o r   s w i t c h i n g .   T h e   r o b o t s   b e h a v i o r   a n d   i t s   b e h a v i o r   s w i t c h i n g   a r e   c o n t r o l l e d   b y   u s i n g   F F N N   ( F e e d   F o r w a r d   N e u r a l   N e t w o r k )   a n d   P N N   ( P r o b a b i l i s t i c   N e u r a l   N e t w o r k )   [ 1 0 ] [ 3 0 ] [ 6 ] [ 1 3 ] [ 2 2 ] .   A N N - b a s e d   c o n t r o l l e r s   c o n s i s t   o f   m a n y   b a s i c   n e t w o r k   m o d u l e s .   E a c h   m o d u l e   i s   a   s u b n e t w o r k   w i t h   t h e   s t a n d a r d   u n i e d   s t r u c t u r e .   T h i s   m e t h o d   m a y   e f f e c t i v e l y   r e d u c e   t h e   n e t w o r k   c o m p u t i n g   c o m p l e x i t y   a n d   t h e   e n c o d i n g   c o m p l e x i t y ,   a n d   a l s o   s p e e d   u p   t h e   e v o l u t i o n a r y   r a t e .   W e   t h e n   d i r e c t l y   c a r r y   o n   t h e   e n c o d i n g   e v o l u t i o n   t o   v a r i o u s   m o d u l e s   b a s e d   o n   g e n e t i c   a l g o r i t h m .   T h i s   e v o l u t i o n a r y   p r o c e s s   m a y   b e   r e g a r d e d   a s   r e i n f o r c e m e n t   l e a r n i n g   p r o c e s s   o f   t h e   r o b o t s .   F i n a l l y ,   w e   d e m o n s t r a t e   b y   t h e   r e s u l t s   o f   t h e   s i m u l a t e d   e x p e r i m e n t s   t h a t   t h e s e   n o v e l   m o d u l e s   d o   n o t   r e q u i r e   t h e   c o m p l e t e   e n v i r o n m e n t a l   k n o w l e d g e ,   a n d   t h e i r   s t r u c t u r e s   a r e   s i m p l e   a n d   c a n   b e   e a s i l y   e x t e n d e d   t o   m o r e   c o m p l e x   s t r u c t u r e s ,   b e c a u s e   t h e   r o b o t s   h a v e   a   s e l f - a d a p t i v e   a b i l i t y   t o   l e a r n   f r o m   t h e i r   e x p e r i e n c e s   a n d   t h e   e n v i r o n m e n t s .     1 . 3 .   M a i n   C h a l l e n g e s   i n   E R   a n d   C o n t r i b u t i o n s   O n e   o f   t h e   m a i n   c h a l l e n g e s   i n   E R   i s   t o   d i s c o v e r   a n d   t o   m o d e l   d i f f e r e n t   a d a p t a t i o n   m e c h a n i s m s .   M o s t   o f   t h e   w o r k s   i n   E R   c o n s i d e r   t h e   a r t i c i a l   e v o l u t i o n   o f   n e u r o   c o n t r o l l e r s   a s   o n e   o f   t h e s e   a d a p t a t i o n   m e c h a n i s m s   [ 2 6 ] .   I t   i s   c o n s i d e r e d   a   f e a s i b l e   m e t h o d o l o g y   t o   d e v e l o p   a u t o n o m o u s   a g e n t s   t h a t   c a n   r e v e a l   c o n s c i o u s   a b i l i t i e s .   A r t i c i a l   e v o l u t i o n   d i f f e r s   f r o m   o t h e r   l e a r n i n g   s c h e m e s   b e c a u s e   i t   w o r k s   o n   a   p o p u l a t i o n   o f   d i f f e r e n t   i n d i v i d u a l s   b a s e d   o n   a   s e l e c t i o n i s t   a p p r o a c h ,   r a t h e r   t h a n   a   g o a l   d i r e c t e d   o n e .   T h u s ,   m a j o r   c o n t r i b u t i o n s   o f   t h i s   p a p e r   a r e   s u m m a r i z e d   a s   f o l l o w s :   ( 1 )   p r o p o s e d   a   b e h a v i o r - s w i t c h i n g   c o n t r o l   s t r a t e g y   o f   a n   e v o l u t i o n a r y   r o b o t i c s   b a s e d   o n   A N N   a n d   G A   f o r   i m p l e m e n t i n g   r o b o t i c s   n a v i g a t i o n   i n   t h e   u n k n o w n   e n v i r o n m e n t s ;   ( 2 )   d e s i g n e d   a n d   b u i l t   b e h a v i o r - s w i t c h i n g   l e a r n i n g   m o d u l e s   o f   a n   e v o l u t i o n a r y   r o b o t ;   ( 3 )   t h e   p r o p o s e d   a l g o r i t h m   c a n   e s c a p e   s u c c e s s f u l l y   f r o m   t h e   t r a p   o f   a   l o c a l   m i n i m a ,   j u m p s   o v e r   t h e   r e g i o n   c o n t a i n i n g   a   l o c a l   m i n i m u m   p o i n t   b y   c r o s s o v e r   a n d   m u t a t i o n ,   a n d   p e r f o r m   b e h a v i o r   s w i t c h i n g   a n d   o b s t a c l e   a v o i d a n c e   e f f e c t i v e l y   b y   e v o l u t i o n a r y   r e i n f o r c e m e n t   l e a r n i n g ;   ( 4 )   t h e   g e n e t i c   e n c o d i n g   c o m p l e x i t y   i s   s i m p l i e d   u s i n g   t h e   n e u r a l   n e t w o r k   m o d u l e s ;   ( 5 )   t h e   p r o p o s e d   a l g o r i t h m   h a s   b e t t e r   p e r f o r m a n c e   i n   c o n v e r g e n c e   s p e e d ,   s o l u t i o n   v a r i a t i o n ,   d y n a m i c   c o n v e r g e n c e   b e h a v i o r ,   a n d   c o m p u t a t i o n a l   e f c i e n c y   t h a n   t h e   p a t h   p l a n n i n g   m e t h o d   b a s e d   o n   t h e   r e a l - c o d e d   g e n e t i c   a l g o r i t h m   w i t h   e l i t i s t   m o d e l .   T h i s   b e h a v i o r - s w i t c h i n g   c o n t r o l l e r   c a n   e a s i l y   b e   e x t e n d e d   t o   o t h e r   a p p l i c a t i o n s   b y   a d j u s t i n g   c o n t r o l   p a r a m e t e r s   o f   A N N   a n d   G A   a n d   p h y s i c a l   c o n s t r a i n t s .       Evaluation Warning : The document was created with Spire.PDF for Python.
I J R A     I S S N :   2 0 8 8 - 8 7 0 8       T o w a r d s   B e h a v i o r   S w i t c h   C o n t r o l   f o r   a n   E v o l u t i o n a r y   R o b o t   B a s e d   o n   R L   w i t h   E N N   ( J i n g a n   Y a n g a )   3 3 2 .   R L - E N N   A N D   E V O L U T I O N A R Y   R O B O T I C S   2 . 1 .   R e i n f o r c e m e n t   L e a r n i n g   w i t n   E N N       T h e   o b j e c t i v e   o f   r e i n f o r c e m e n t   l e a r n i n g   i s   t o   s o l v e   d e c i s i o n - m a k i n g   t a s k s   t h r o u g h   t r i a l   a n d   e r r o r   i n t e r a c t i o n s   w i t h   t h e   e n v i r o n m e n t .   T h e   r e i n f o r c e m e n t   l e a r n i n g   [ 2 0 ]   i s   r e f e r r e d   t o   l e a r n i n g   f o r   a g e n t   t o   m a p   t h e   e n v i r o n m e n t   s t a t e   t o   a c t i o n   i n   o r d e r   t o   m a x i m i z e   t h e   t o t a l   r e w a r d   a n d   o b t a i n   t h e   t h e   m a x i m u m   c u m u l a t i v e   r e w a r d   v a l u e   o f   s t a t e - a c t i o n   p a i r .   F o r m a l l y ,   t h i s   i s   d e n e d   a s   a   M a r k o v   d e c i s i o n   p r o c e s s   u s i n g   t h e   s t a t e   s p a c e   S ,   a c t i o n   A ,   a n d   t h e   r e w a r d s   R .       D e n i t i o n   2 . 1   A   M a r k o v   d e c i s i o n   p r o c e s s   i s   d e n o t e d   a s   S , A ,   r ,   γ ,   p ,   w h e r e   S = ( s 1 ,   s 2 ,   ·   ·   ·   ,   s m )   i s   t h e   s t a t e   s p a c e ,   A = ( a 1 ,   a 2 ,   ·   ·   ·   ,   a n )   i s   t h e   a c t i o n   s p a c e ,   r : S × A R   i s   t h e   r e w a r d   f u n c t i o n   o f   t h e   a g e n t ,   γ     [ 0 ,   1 )   i s   t h e   d i s c o u n t   f a c t o r   w h i c h   r e e c t s   t h e   n o t i o n   t h a t   r e w a r d s   d e p r e c i a t e   b y   f a c t o r   γ < 1 ,   a n d   p :   S × A   i s   t h e   t r a n s i t i o n   f u n c t i o n ,   w h e r e     i s   t h e   s e t   o f   p r o b a b i l i t y   d i s t r i b u t i o n s   o v e r   s t a t e   s p a c e   S .       T h e   c l o s e r   t h e   d i s c o u n t   f a c t o r   γ   i s   t o   1   t h e   g r e a t e r   t h e   w e i g h t   i s   g i v e n   t o   f u t u r e   r e i n f o r c e m e n t s .       D e n i t i o n   2 . 2   A   t n e s s   f u n c t i o n   i s   a   p a r t i c u l a r   t y p e   o f   o b j e c t i v e   f u n c t i o n   t h a t   p r e s c r i b e s   t h e   o p t i m a l i t y   o f   a   s o l u t i o n   ( f o r   e x a m p l e ,   a   c h r o m o s o m e   i n   a   g e n e t i c   a l g o r i t h m )   s o   t h a t   t h e   p a r t i c u l a r   c h r o m o s o m e   m a y   b e   r a n k e d   a g a i n s t   a l l   t h e   o t h e r   c h r o m o s o m e s .   O p t i m a l   c h r o m o s o m e s ,   o r   a t   l e a s t   c h r o m o s o m e s   w h i c h   a r e   m o r e   o p t i m a l ,   a r e   a l l o w e d   t o   b r e e d   a n d   m i x   t h e i r   d a t a s e t s   f o r   p r o d u c i n g   a   n e w   g e n e r a t i o n   t h a t   w i l l   h o p e f u l l y   b e   e v e n   b e t t e r .       D e n i t i o n   2 . 3   F o r   a n y   p o l i c y   π   a n d   a n y   s t a t e   s ,   t h e   v a l u e   o f   p o l i c y   π   i n   s t a t e   s   i s   d e n o t e d   a s   V   ( s )   w h i c h   i s   t h e   e x p e c t e d   d i s c o u n t e d   c u m u l a t i v e   r e w a r d   t h e   a g e n t   g e t s   a n d   i s   f o r m u l a t e d   a s   f o l l o w s :   M   V   π   ( s )   =     γ k   E [ r t + k   | π ,   s t   =   s ]             ( 1 )   k = 0         D e n i t i o n   2 . 4   F o r   a n y   p o l i c y   π   a n d   a n y   s t a t e   s ,   t h e   e x p e c t e d   r e t u r n   o f   t a k i n g   a c t i o n   a   i n   s t a t e   s   a n d   f o l l o w i n g   p o l i c y   π   a f t e r w a r d   i s   d e n o t e d   a s   Q ( s ,   a )   w h i c h   i s   t h e   e x p e c t e d   d i s c o u n t e d   c u m u l a t i v e   r e w a r d   t h e   a g e n t   g e t s   a n d   i s   d e n e d   a s   f o l l o w s :     D e n i t i o n   2 . 5   T h e   i m m e d i a t e   r e w a r d ,   f o r   a l l   s t a t e s   i n   t h e   s t a t e   s p a c e   i s   d e n e d   a s :   1 )   T h e   r e w a r d   f o r   n o n - t e r m i n a l   s t a t e s :   r   =   0 .   2 )   T h e   r e w a r d   f o r   t e r m i n a l   s t a t e s :   a )   T h e   r e w a r d   f o r   t h e   g o a l   s t a t e :   r   =   1 .   b )   T h e   r e w a r d   f o r   i n v a l i d   s t a t e s :   r   =   0 .   c )   T h e   r e w a r d   f o r   o b s t a c l e   s t a t e s :   r   =   1 .   I n   s t a t e   s S ,   a n   a c t i o n   a A   i s   e x e c u t e d .   T h e   a g e n t   e x p e r i e n c e s   a   s t a t e   t r a n s i t i o n   s t s t + 1   a n d   o b t a i n   a   r e w a r d   r t + 1     R .   T h e   o b j e c t i v e   o f   t h e   a g e n t   i s   t o   m a x i m i z e   i t s   r e w a r d   R t   d e n e d   b y   [ 2 8 ]                               T   R t   =   r i                     ( 2 )                     i = t + 1     w h e r e   T   i s   t h e   t i m e   r e a c h i n g   t h e   n a l   s t a t e .   T h e   s t a t e s   s 0 ,   s 1 ,   ·   ·   ·   ,   s T   i s   c a l l e d   a n   e p i s o d e .   T h e   d e c i s i o n   o f   w h i c h   a c t i o n   t o   t a k e   i n   a   c e r t a i n   s t a t e   i s   d e t e r m i n e d   b y   t h e   p o l i c y           π ( s ,   a )   =   p ( a | s )   s S                   ( 3 )     w h i c h   d e n o t e s   t h e   p r o b a b i l i t y   o f   t a k i n g   a c t i o n   a   i n   s t a t e   s .   Q - f u n c t i o n   f o r   a   p o l i c y   π   i s   d e n e d   a s       Q π   ( s ,   a )   =   E π   { R t   | s t     =   s ,   a t     =   a }               ( 4 )     w h i c h   d e n o t e s   t h e   e x p e c t e d   r e w a r d   o f   t a k i n g   a c t i o n   a   i n   s t a t e   s   a n d   f o l l o w i n g   p o l i c y   π   a f t e r w a r d .   T h e   t a s k   o f   a   r e i n f o r c e m e n t   l e a r n i n g   r o b o t   i s   t o   l e a r n   a   p o l i c y   π   :   S A   f o r   s e l e c t i n g   a c t i o n s   b a s e d   o n   c u r r e n t   o b s e r v e d   s t a t e s   π ( s t )   =   a t .   L e a r n i n g   t h e   o p t i m a l   p o l i c y   π   f o r   p r o d u c i n g   t h e   g r e a t e s t   c u m u l a t i v e   r e w a r d   o v e r   t i m e   i s   d e n o t e d   a s   f o l l o w s :     π ( s )   =   a r g   m a x [ r ( s ,   a )   +   γ V   ( δ ( s t   ,   a t   ) ) ]               ( 5 )   a A     w h e r e   t h e   o p t i m a l   a c t i o n   i n   s t a t e   s   i s   a   t h a t   m a x i m i z e s   t h e   s u m   o f   t h e   i m m e d i a t e   r e w a r d   r ( s ,   a )   a n d   t h e   v a l u e   ( d i s c o u n t e d   b y   γ )   o f   f o l l o w i n g   t h e   o p t i m a l   p o l i c y .   T h e   δ ( s t ,   a t ) ( n e x t   s t a t e   g i v e n   s t   a n d   a t )   i s   d e n e d   a s   a   s t a t e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 9 - 4 8 5 6   I J R A     V o l .   1 ,   N o .   1 ,     M a r c h   2 0 1 2   :     3 1     4 8   3 4 t r a n s i t i o n   f u n c t i o n .   V     i s   t h e   m a x i m u m   d i s c o u n t e d   c u   m u l a t i v e   r e w a r d   t h a t   t h e   a g e n t   c a n   o b t a i n   s t a r t i n g   f r o m   s t a t e   δ ( s ,   a ) .   W h e n   a n   a g e n t   i s   a t   s o m e   e n v i r o n m e n t a l   s t a t e ,   t h e   r e i n f o r c e m e n t   l e a r n i n g   m e t h o d   d o e s   n o t   i n f o r m   t h e   a g e n t   t o   a d o p t   t h e   c o r r e s p o n d i n g   c o r r e c t   a c t i o n s ,   b u t   t h e   s e l e c t e d   a c t i o n s   q u a l i t y   i s   e v a l u a t e d   b y   u s i n g   t h e   r e i n f o r c e m e n t   s i g n a l   p r o v i d e d   b y   t h e   e n v i r o n m e n t ,   a n d   t h e   o p t i m a l   s t r a t e g y   i s   o b t a i n e d   t h r o u g h   t r i a l - a n d - e r r o r   u n c e a s i n g l y   t o   g e t   b e s t   m a p p i n g   f r o m   s t a t e   t o   a c t i o n .   T h e   r e i n f o r c e m e n t   l e a r n i n g   s t r u c t u r e   a n d   t h e   s t a t e - a c t i o n   p a i r   a r e   s h o w n   i n   F i g u r e   1 .   T h e   e n v i r o n m e n t   f o r   a n   a g e n t   i s   d e s c r i b e d   a s   t h e   s t a t e   s e t :   S   =   { s i | s i S } ,   t h e   a c t i o n   s e t   t h a t   a n   a g e n t   p e r f o r m s   i s   e x p r e s s e d   a s :   A   =   { a i | a i A } .   U n d e r   t h e   c u r r e n t   s t a t e   s i ,   a n   a g e n t   s e l e c t s   a c t i o n   a i   a n d   p e r f o r m   i t .   A t   t h e   m o m e n t   t h e   s t a t e   s t   t r a n s f e r s   t o   s t + 1 ,   a n d   o b t a i n s   t h e   r e i n f o r c e m e n t   s i g n a l   r t   f r o m   t h e   e n v i r o n m e n t .   T a s k   o f   a g e n t s   r e i n f o r c e m e n t   l e a r n i n g   i s   t o   o b t a i n   t h e   m a x i m u m   c u m u l a t i v e   r e w a r d   b y   u s i n g   a   c o n t r o l     p o l i c y   π .                           s 0                                                 s 1                                       s i   a   0                                                         a 1                     a i                         r 0     r 1                               r i   F i g .   1 .       T h e   b l o c k   d i a g r a m   o f   r e i n f o r c e m e n t   l e a r n i n g   s t r u c t u r e   a n d   s t a t e - a c t i o n   p a i r   f o r   r o b o t   b e h a v i o r   c o n t r o l .     A s s u m e   t h a t   a n   a g e n t   i s   a   p o i n t   r o b o t   w i t h   s i m p l i e d   m o t o r   a c t i o n s :   f o r w a r d ,   l e f t ,   r i g h t ,   a n d   b a c k w a r d .   A l l   a c t i o n s   c a n   b e   t r i e d   i n   a l l   s t a t e s .   T h e   r o b o t   w o r l d   a n d   i t s   s t a t e   o f   t r a n s i t i o n s   a r e   r e g a r d e d   a s   a   f u n c t i o n   o f   t h e   p r e s e n t   s t a t e   a n d   a c t i o n   t a k e n .   T h e   t a s k   o f   t h e   r o b o t s   i s   t o   r e a c h   a   g i v e n   g o a l   s t a t e   v i a   t h e   s h o r t e s t   p a t h .   F o r   r e i n f o r c e m e n t   l e a r n i n g   r o b o t s ,   a   r e w a r d   f u n c t i o n   g i v e n   a n y   c u r r e n t   s t a t e ,   n e x t   s t a t e ,   a n d   a c t i o n ,   s t ,   s t + 1 ,   a n d   a ,   i s   g i v e n   b y   e q u a t i o n   ( 1 ) .     0   i f   s t + 1   =   s t   r s t   , s t + 1       =   1   i f   s t + 1   =   g i v e n   g o a l   s t a t e           ( 6 )   - 1   i f   s t + 1   =   s t   ( o b s t a c l e   s t a t e )     T h e   n e g a t i v e   n u m e r i c a l   r e w a r d   i n   e q u a t i o n   ( 1 )   d i s c o u r a g e s   a g e n t s   a t t e m p t i n g   a n   a c t i o n   a g a i n s t   t h e   w o r l d   b o u n d a r y .   T h i s   a c t i o n   d o e s   n o t   c h a n g e   t h e   s t a t e   o f   t h e   e n v i r o n m e n t .   T h e   b a s i c   i d e a   o f   r e i n f o r c e m e n t   l e a r n i n g   i s   o n 1 i n e   l e a r n i n g   w h i c h   c o m b i n i n g   t o g e t h e r   t h e   c o n t r o l   p r o c e s s   a n d   t h e   l e a r n i n g   p r o c e s s .     2 . 2 .   E v o l u t i o n a r y   N e u r a l   N e t w o r k   T h e   h i e r a r c h i c a l   n e t w o r k   a r c h i t e c t u r e   o f   E N N   i s   d e s i g n e d   b a s e d   o n   t h e   b i o l o g i c a l   e v o l u t i o n a r y   g e n e t i c   a l g o r i t h m .   T h e   n e t w o r k   c o n n e c t i o n   w e i g h t s ,   t h e   n e t w o r k   t o p o l o g y ,   t h e   e x c i t a t i o n   f u n c t i o n   o f   e a c h   n o d e   i n   t h e   n e t w o r k ,   a n d   l e a r n i n g   r u l e s   c a n   b e   e v o l v e d   f o r   p e r f o r m i n g   t h e   g l o b a l   s e a r c h   w i d e l y   i n   a l l   s o l u t i o n   s p a c e   f o r   n e t w o r k   w e i g h t   t r a i n i n g   u n t i l   t h e   o p t i m a l   s o l u t i o n   o f   t h e   n e t w o r k   a r c h i t e c t u r e   w i t h   l e a s t   m e a n   s q u a r e   e r r o r   b e t w e e n   t h e   n e t w o r k   o u t p u t   a n d   g o a l   o u t p u t   o f   t h e   g i v e n   t r a i n i n g   s e t   a r e   f o u n d   a n d   f o r   a v o i d i n g   t h e   p r o b l e m   t o   b e i n g   t r a p p e d   i n   a   l o c a l   m i n i m u m   c a u s e d   b y   g r a d i e n t   d e s c e n t   l e a r n i n g .   T h e   e v o l u t i o n   o f   l e a r n i n g   r u l e s   c a n   b e   r e g a r d e d   a s   a   p r o c e s s   o f   l e a r n i n g   h o w   t o   l e a r n   i n   A N N   w h e r e   t h e   a d a p t a t i o n   o f   l e a r n i n g   r u l e s   i s   a c h i e v e d   t h r o u g h   e v o l u t i o n   [ 3 7 ] .     2 . 3 .   E v o l u t i o n a r y   R o b o t i c s   B a s e d   o n   R e i n f o r c e m e n t   L e a r n i n g   w i t h   E N N   E v o l u t i o n a r y   r o b o t i c s   ( E R )   i s   a   n e w   t e c h n i q u e   f o r   t h e   a u t o m a t i c   c r e a t i o n   o f   a u t o n o m o u s   r o b o t s   a n d   a   s u b e l d   o f   b e h a v i o r a l   r o b o t i c s .   I t   i s   c o n c e r n e d   w i t h   t h e   a p p l i c a t i o n   o f   e v o l u t i o n a r y   c o m p u t a t i o n   m e t h o d s   t o   t h e   a r e a   o f   a u t o n o m o u s   r o b o t i c s   c o n t r o l   s y s t e m s .   O n e   o f   t h e   c e n t r a l   g o a l s   o f   E R   i s   t o   d e v e l o p   a u t o m a t e d   m e t h o d s   t h a t   c a n   b e   u s e d   t o   e v o l v e   c o m p l e x   b e h a v i o r - b a s e d   c o n t r o l   s t r a t e g i e s .   a   S e l e c t e d   a c t i o n   S t a t e   s i g n a l   s   R e i n f o r c e m e n t   s i g n a l   E n v i r o n m e n t   A g e n t   w i t h   R L   s y s t e m   r   Evaluation Warning : The document was created with Spire.PDF for Python.
I J R A     I S S N :   2 0 8 8 - 8 7 0 8       T o w a r d s   B e h a v i o r   S w i t c h   C o n t r o l   f o r   a n   E v o l u t i o n a r y   R o b o t   B a s e d   o n   R L   w i t h   E N N   ( J i n g a n   Y a n g a )   3 5 I n   t h e   d e s i g n   p r o c e s s   f o r   a n   i n t e l l i g e n t   r o b o t ,   s o m e   k e y   q u e s t i o n s   a r e :   1 )   h o w   t o   r e a l i z e   t h e   b e h a v i o r i s m   i d e a ;   2 )   h o w   t o   l e a r n   t h e   b e h a v i o r   a n d   a c t i o n s   [ 9 ]   b y   i n t e r a c t i n g   w i t h   t h e   e n v i r o n m e n t s ;   3 )   h o w   t o   a c q u i r e   k n o w l e d g e   f r o m   t h e   e n v i r o n m e n t s   a n d   t h e i r   e x p e r i e n c e s ;   4 )   h o w   t o   c o n t r o l   t h e   t o p o l o g i c a l   e v o l u t i o n   t r e n d   o f   n e t w o r k   m o d e l i n g   a n d   c o m p l e x i t y   i n   n e t w o r k   m o d e l   e f c i e n t l y .   A m o n g   t h e   l e a r n i n g   m e t h o d s ,   r e i n f o r c e m e n t   l e a r n i n g   s e e m s   t o   b e   m o s t   s u i t e d   f o r   a g e n t - b a s e d   a p p l i c a t i o n s   f o r   s u p p o r t i n g   t h e   s e l f - i m p r o v e m e n t   o f   a   p o p u l a t i o n   o f   s o l u t i o n s   [ 2 8 ] .   T h e   r e i n f o r c e m e n t   l e a r n i n g   i s   t o   l e a r n   w h a t   t o   d o ,   h o w   t o   m a p   s i t u a t i o n s   t o   a c t i o n s   s o   a s   t o   m a x i m i z e   a   n u m e r i c a l   r e w a r d   s i g n a l   a n d   i s   u s u a l l y   b a s e d   o n   t h e   i d e a   t h a t   t h e   r o b o t   r e c e i v e s   r e w a r d s   ( f e e d b a c k   s i g n a l ) ,   w h i c h   a r e   p o s i t i v e   o r   n e g a t i v e   s c a l a r   v a l u e s ,   b a s e d   o n   i t s   p e r f o r m a n c e   [ 3 ] [ 2 ] [ 3 8 ] [ 1 9 ] .   D e p e n d i n g   o n   t h e   r e w a r d ,   t h e   a g e n t   r e i n f o r c e s   ( p o s i t i v e   r e w a r d )   o r   d e c r e a s e s   ( n e g a t i v e   r e w a r d )   i t s   c o n d e n c e   o n   t h e   c o r r e c t n e s s   o f   i t s   c u r r e n t   b e h a v i o r .   T h e   r e w a r d s   a r e   g i v e n   b y   a n   e x t e r n a l   c o a c h   o r   b y   a n   e v a l u a t i o n   f u n c t i o n   ( r e i n f o r c e m e n t   f u n c t i o n )   i n t e r n a l   t o   t h e   r o b o t   c o n t r o l l e r .   T h e   r o b o t   c h o o s e s   o n e   a c t   i n   t h e   e n v i r o n m e n t .   T h e   c o n d i t i o n   a n d   s t a t e   a r e   c h a n g e d   a f t e r   t h e   e n v i r o n m e n t s   a c c e p t   t h i s   a c t i o n .   O n e   r e i n f o r c e d   s i g n a l   r e w a r d   ( o r   p e n a l t y )   i s   c r e a t e d   s i m u l t a n e o u s l y   a n d   i s   f e d   b a c k   t o   t h e   r o b o t .   T h e   r o b o t   c h o o s e s   n e x t   a c t i o n ,   a g a i n   a c c o r d i n g   t o   t h e   r e i n f o r c e m e n t   s i g n a l s   a n d   t h e   c u r r e n t   e n v i r o n m e n t a l   s t a t e .   T h e   p r i n c i p l e   o f   t h e   c h o i c e   i s   t o   m a k e   t h e   p r o b a b i l i t y   o f   r e c e i v i n g   a   p o s i t i v e   r e w a r d   i n c r e a s e .   T h e   a c t i o n   c h o s e n   n o t   o n l y   a f f e c t s   t h e   c u r r e n t   r e w a r d   v a l u e ,   b u t   a l s o   a f f e c t s   t h e   e n v i r o n m e n t a l   c o n d i t i o n s   a n d   s t a t e s   f o r   t h e   n e x t   c h o i c e ,   a s   w e l l   a s   t h e   n a l   r e w a r d   v a l u e   [ 2 3 ] [ 1 7 ] .   A   m e a n i n g f u l   c o m b i n a t i o n   o f   t h e   p r i n c i p l e s   o f   n e u r a l   n e t w o r k s ,   r e i n f o r c e m e n t   l e a r n i n g ,   a n d   e v o l u t i o n a r y   c o m p u t a t i o n   i s   u s e f u l   f o r   d e s i g n i n g   a g e n t s   t h a t   l e a r n   h o w   t o   s o l v e   a   c o m p l e x   t a s k   a n d   a d a p t   t o   t h e i r   e n v i r o n m e n t   t h r o u g h   i n t e r a c t i o n   w i t h   t h e   e n v i r o n m e n t .   H e r e ,   w e   c o n s i d e r   a   m o b i l e   r o b o t   a c t u a t e d   b y   u s i n g   l e f t   a n d   r i g h t   t w o   c a t e r p i l l a r   b a n d s .   E a c h   c a t e r p i l l a r   b a n d   h a s   f o u r   o p t i o n s :   f o r w a r d ,   l e f t ,   r i g h t ,   a n d   b a c k w a r d .   T h e i r   c o d e s   a r e :   0 = f o r w a r d ,   1 = l e f t ,   2 = r i g h t ,   3 = b a c k w a r d .   T h e   b e h a v i o r s   a n d   a c t i o n s   o f   a   r o b o t   a r e   i m p l e m e n t e d   b y   c h a n g i n g   s p e e d s   o f   t h e   l e f t   a n d   r i g h t   w h e e l s   b a s e d   o n   r e i n f o r c e m e n t   l e a r n i n g   n e u r a l   n e t w o r k .   F i g u r e   2   s h o w s   n e u r a l   n e t w o r k   a r c h i t e c t u r e   i n c l u d i n g   t h e   8   i n f r a r e d   s e n s o r s   d a t a   i n p u t s ,   5   h i d d e n   n e u r o n s   w i t h   s i g m o i d   a c t i v a t i o n   f u n c t i o n   p i ,   a n d   t w o   o u t p u t   n e u r o n s   r e p r e s e n t i n g   w h e e l s   c o m m a n d s .   E n c o d i n g   o f   t h e   s t a t e s   a n d   t h e   a c t i o n s   a r e   i l l u s t r a t e d   i n     T a b l e   1 .     `     F i g .   2 .       N e u r a l   n e t w o r k   a r c h i t e c t u r e   f o r   t h e   o b s t a c l e   a v o i d a n c e   u s i n g   n e u r a l     m o d e l l i n g   o f   t h e   r o b o t   b e h a v i o r s .     S 1   S 2   S 3   I n f r a r e d   s e n s o r s   ( S 1 - S 8 )   S 4   S 5   S 6   S 7   S 8   d u s t   d u s t   b i a s = 1   H 1   H 2   H 3   H 4   H 5   H i d d e n   n e u r o n s   T w o   o u t p u t   n e u r o n s   N C _ l w   N C _ r w   Σ   Σ   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 9 - 4 8 5 6   I J R A     V o l .   1 ,   N o .   1 ,     M a r c h   2 0 1 2   :     3 1     4 8   3 6 T a b l e   1 .   E n c o d i n g   o f   t h e   s t a t e s   a n d   t h e   a c t i o n s   T h e   s t a t e s   0     1 4   1 5   E n c o d i n g   o f   t h e     s t a t e s   0 0 0 0     1 1 1 0   1 1 1 1   T h e   a c t i o n s   f o r w a r d   l e f t   r i g h t   b a c k f o r w a r d   E n c o d i n g   o f   t h e     a c t i o n s   0 0   0 1   1 0   1 1       2 . 4 .   R e l a t i o n s h i p   B e t w e e n   G A   a n d   S i m u l a t o r   T h e   r e l a t i o n s h i p   b e t w e e n   t h e   g e n e t i c   a l g o r i t h m   ( G A )   a n d   t h e   s i m u l a t o r   i s   i l l u s t r a t e d   i n   F i g u r e   3 .   O b v i o u s l y ,   t h e   s i m u l a t o r   a n d   t h e   G A   h a v e   t h e   d i f f e r e n t   f u n c t i o n s .   T h e   G A   i s   r e s p o n s i b l e   f o r   t r a n s f e r r i n g   g e n o t y p e   t o   t h e   s i m u l a t o r ,   a n d   d e c o d i n g   g e n o t y p e   a s   a   n e u r a l   n e t w o r k   a n d / o r   i n p u t   s e n s o r   i n f o r m a t i o n   ( p h e n o t y p e ) .   T h e   p h e n o t y p e   m a i n l y   d e s c r i b e s   a n   o r g a n i s m s   t r a i t s   a n d   t h e   o r g a n i s m s   g e n o t y p e   d e s c r i b e s   i t s   g e n e t i c   m a k e u p .   T w o   o r g a n i s m s   c a n   h a v e   t h e   s a m e   p h e n o t y p e   b u t   h a v e   d i f f e r e n t   g e n o t y p e   i f   o n e   i s   h o m o z y g o u s   d o m i n a n t   a n d   t h e   o t h e r   i s   h e t e r o z y g o u s .   S u p p o s e   t h e   t n e s s   v a l u e s   o f   i n d i v i d u a l s   1 ,   2 ,   ·   ·   ·   ,   n   b e   f 1 ,   f 2 ,   ·   ·   ·   ,   f n   r e s p e c t i v e l y ,   t h e n   t h e   p r o b a b i l i t y   o f   a n   i n d i v i d u a l   s e l e c t e d   f o r   r e p r o d u c t i o n   b a s e d   o n   r o u l e t t e   w h e e l   s e l e c t i o n   ( s e e   F i g . 3 )   i s   c a l c u l a t e d   b y   f o l l o w i n g   e q u a t i o n [ 1 2 ] :       G A   P r o c e s s i n g   S i m u l a t o r       F i g .   3 .   R e l a t i o n s h i p   b e t w e e n   g e n e t i c   a l g o r i t h m   a n d   s i m u l a t o r       f i   p i     =   ¾ ¾ ¾                   ( 7 )          T h e   s i m u l a t o r   u s e s   t h i s   i n f o r m a t i o n   t o   e x e c u t e   s i m u l a   t i o n   p r o c e s s ,   a n d   t r a n s f e r s   t h e   s i m u l a t e d   r e s u l t s ,   n a m e l y ,   t h e   r o b o t   t n e s s   v a l u e s ,   t o   t h e   G A   p r o c e s s i n g .   T h e   i n t e r a c t i v e   p r o c e s s   b e t w e e n   t h e   r o b o t   a n d   t h e   e n v i r o n m e n t   i s   d e t a i l e d   a s   f o l l o w s :       F i t n e s s   =   0     t   =   0     w h i l e   ( t         N u l )   d o     r e a d s   t h e   s e n s o r   i n p u t s     t   =   t   +   1     c o m p u t e   a n d   r e t u r n   t o   F i t n e s s                 ( 8 )     w h e r e   t   i s   t h e   l e n g t h   o f   a   t i m e   s t e p ,   a n d   N u l   i s   t h e   u p p e r   l i m i t   o f   t h e   s i m u l a t i o n   r u n n i n g   t i m e   s t e p s .   T h e   t n e s s   f u n c t i o n   c o m p u t a t i o n   h a s   m a n y   d i f f e r e n t   o p t i o n s   a c c o r d i n g   t o   t h e   d i f f e r e n t   e x p e r i m e n t s .   T h o s e   a b o v e   a r e   t h e   b a s i c   s t e p s   o f   o n l y   o n e   s i m u l a t e d   o p e r a t i o n .   F o r   e a c h   g e n e r a t i o n   o f   t h e   G A ,   e a c h   i n d i v i d u a l   i n   t h e   p o p u l a t i o n   h a s   t o   p a s s   t h e   s i m u l a t e d   p r o c e s s   a b o v e .   I n   t h e   i n t e r a c t i v e   p r o c e s s   w i t h   t h e   e n v i r o n m e n t s ,   r e a d i n g   t h e   s e n s o r   i n p u t s   i s   f o r   c o m p u t i n g   t h e   o u t p u t   o f   c o n t r o l   n e t w o r k ,   t h e n   f o r   m o v i n g   a n d   u p d a t i n g   p o s i t i o n s   o f   a   r o b o t   a c c o r d i n g   t o   t h e   o u t p u t   o f   c o n t r o l   n e t w o r k .   R e c o m b i n a t i o n   c r o s s o v e r   &   m u t a t i o n   G e n o t y p e   d e c o d e r   N e w   g e n o t y p e   P ( t + 1 )   R o u l e t t e   W h e e l   s e l e c t i o n   I n t e r a c t i o n   w i t h   e n v i r o n m e n t   ( p h e n o t y p e   e v a l u t i o n )   O l d   g e n o t y p e   P ( t )   P h e n o t y p e s   c o n t r o l   &   s e n s o r   p a r a m e t e r s   F i t n e s s   Evaluation Warning : The document was created with Spire.PDF for Python.
I J R A     I S S N :   2 0 8 8 - 8 7 0 8       T o w a r d s   B e h a v i o r   S w i t c h   C o n t r o l   f o r   a n   E v o l u t i o n a r y   R o b o t   B a s e d   o n   R L   w i t h   E N N   ( J i n g a n   Y a n g a )   3 7 3 .   O B S T A C L E   A V O I D A N C E   B E H A V I O R S   W e   h a v e   d e s i g n e d   t h e   b e h a v i o r s   f o r   a v o i d i n g   m o v a b l e   o b s t a c l e s   w h i c h   g e t   n e a r e r   f r o m   v a r i o u s   p o s i t i o n s   a n d   d i r e c t i o n s   u s i n g   t h e   b e h a v i o r   n e t w o r k   a n d   t h e   p r o p o s e d   m e t h o d .     3 . 1 .   F i t n e s s   F u n c t i o n   f o r   O b s t a c l e   A v o i d a n c e   T h e   t n e s s   f u n c t i o n   i s   t h e   h e a r t   o f   a n   e v o l u t i o n a r y   c o m p u t i n g   a p p l i c a t i o n   [ 2 4 ] .   T h e   t n e s s   f u n c t i o n   i s   r e s p o n s i b l e   f o r   d e t e r m i n i n g   w h i c h   i n d i v i d u a l s   ( c o n t r o l l e r s   i n   t h e   c a s e   o f   E R )   a r e   s e l e c t e d   f o r   r e p r o d u c t i o n .   I f   t h e r e   i s   n o   t n e s s   f u n c t i o n ,   t h e   i n d i v i d u a l   i s   r a n d o m l y   s e l e c t e d .   S u c c e s s f u l   e v o l u t i o n   o f   t h e   a u t o n o m o u s   r o b o t   c o n t r o l l e r s   i s   u l t i m a t e l y   d e p e n d e n t   o n   t h e   f o r m u l a t i o n   o f   s u i t a b l e   t n e s s   f u n c t i o n s   t h a t   a r e   c a p a b l e   o f   s e l e c t i n g   s u c c e s s f u l   b e h a v i o r s .   T h e   p e r f o r m a n c e   f o r   e a c h   e v o l v e d   c o n t r o l l e r   i s   e v a l u a t e d   b y   u s i n g   t h e   d i f f e r e n t   t n e s s   f u n c t i o n s .   T h e r e f o r e ,   f o r   t h e   a u t o n o m o u s   r o b o t s   i n t e r a c t i n g   w i t h   t h e   e n v i r o n m e n t ,   t h e y   a r e   g i v e n   a n   e x t e r n a l   r e w a r d   o r   p e n a l t y   ( r   =   r t )   i n   s o m e   s t a t e   s t .   F o r   o b s t a c l e   a v o i d a n c e   b e h a v i o r   r   =   1   u p o n   c o l l i s i o n   w i t h   a n   o b j e c t   a n d   r   =   0   o t h e r w i s e .   I n   o r d e r   t o   g e t   a   o p t i m a l   p o l i c y ,   t h e   r e w a r d   f u n c t i o n   s h o u l d   b e   x e d .   F o r   e x a m p l e ,   a   r o b o t   t h a t   c a n n o t   a v o i d   a n   o b j e c t   s o o n   b e c o m e   i m m o b i l i z e d   w h e n   i t s   p a t h   i s   b l o c k e d ,   t h e   r o b o t   c o n t r o l l e r   w o u l d   o b t a i n   a   n e g a t i v e   t n e s s   v a l u e .   T h e   i n t e r n a l   r e i n f o r c e m e n t   s i g n a l   r   i s   d e r i v e d   t h a t   r e p r e s e n t s   t h e   i m m e d i a t e   r e w a r d   a s s i g n e d   t o   t h e   r o b o t i c s   s y s t e m   i n   t e r m s   o f   c o r r e c t n e s s   o f   t h e   a c t i o n s   e x e c u t e d   s o   f a r   a n d   a l s o   i s   t h e   p r e d i c t i o n   e r r o r   o f   t h e   t o t a l   r e w a r d   s u m   b e t w e e n   t w o   s u c c e s s i v e   s t e p s :     r ( t )   =   r   +   γ V   ( x t + 1 )     V   ( x t )               ( 9 )     w h e r e   r   r e p r e s e n t s   t h e   d i r e c t   e f f e c t   o f   a c t i o n   o n   t h e   t r a n s i t i o n ,   γ V   ( x t + 1 )     V   ( x t )   i s   t h e   e s t i m a t i o n   o f   t h e   i m p r o v e m e n t   o f   s t a t e s .   T h e   r   i s   u s e d   a s   t h e   e r r o r   t o   t r a i n   t h e   n e u r a l   n e t w o r k s   m e n t i o n e d   a b o v e .   I f   t h e   d e s i r a b i l i t y   o f   a   s t a t e   i s   a s s o c i a t e d   w i t h   a   c e r t a i n   a c t i o n   Q ( x t ,   a t ) ,   t h e   e q u a t i o n   ( 5 )   f o r   t h e   p r e d i c t i o n   e r r o r   b e c o m e s :     r ( t )   =   r   +   γ Q ( x t + 1 ,   a t + 1 )     Q ( x t ,   a t )             ( 1 0 )     w h e r e   t h e   p a r a m e t e r   γ   ( 0 γ 1 )   d e t e r m i n e s   t h e   p r e s e n t   v a l u e   o f   t h e   f u t u r e   r e w a r d s .   M a i n   d i f f e r e n c e s   b e t w e e n   t w o   r e i n f o r c e m e n t   l e a r n i n g   a p p r o a c h e s   a r e   t o   c a l c u l a t e   1 )   s t a t e   e v a l u a t i o n s   V   ( x t + 1 )   a n d   2 )   s t a t e - a c t i o n   e v a l u a t i o n s   Q ( x t + 1 ,   a t + 1 ) .     3 . 2 .   N e t w o r k   A r c h i t e c t u r e   a n d   E n c o d i n g   A n   a u t o n o m o u s   r o b o t i c s   c a n   a c q u i r e   s i g n a l s   f r o m   t h e   g o a l   s o u r c e s   u s i n g   a p p r o a c h   s e n s o r   f o r   l o c a t i n g   t h e   g o a l   s o u r c e s ,   a n d   t h e n   s h o u l d   a p p r o a c h   a n d   r e a c h   t h e   g o a l   s o u r c e s   a s   s o o n   a s   p o s s i b l e .   T h i s   b e h a v i o r   i s   j u s t   o p p o s e d   t o   o b s t a c l e   a v o i d a n c e   b e h a v i o r .   T h e   n e t w o r k   a r c h i t e c t u r e   d e s i g n   o f   t h e   a p p r o a c h   b e h a v i o r   i s   a l s o   r e l a t i v e   t o   t h e   n e t w o r k   a r c h i t e c t u r e   d e s i g n   o f   o b s t a c l e   a v o i d a n c e   b e h a v i o r .   B e h a v i o r   c o n t r o l   o f   t h e   r o b o t s   i s   p e r f o r m e d   b y   u s i n g   a   m o d u l e   n e u r a l   n e t w o r k .   T h e   w h o l e   n e t w o r k   c o n s i s t s   o f   m u l t i p l e   n e u r a l   n e t w o r k   m o d u l e s   ( g 0 - g 7 ) .   A l l   m o d u l e s   h a v e   a   s i m i l a r   t o p o l o g i c a l   a r c h i t e c t u r e   i n c l u d i n g   t w o   i n p u t   n o d e s ,   o n e   h i d d e n   l a y e r   w i t h   t w o   n o d e s ,   a n d   o n e   o u t p u t   n o d e .   R e a s o n a b l e   s e l e c t i o n   o f   t h e   n o d e   n u m b e r   i n   t h e   h i d d e n   l a y e r   s h o u l d   s y n t h e t i c a l l y   t a k e   c o m p l e x   d e g r e e   o f   t h e   n e t w o r k   a r c h i t e c t u r e   a n d   p e r m i s s i b l e   e r r o r s   i n t o   a c c o u n t .   I f   t h e   n u m b e r   o f   n o d e s   i n   t h e   h i d d e n   l a y e r   i s   t o o   f e w ,   t h e   n e t w o r k   m a y   n o t   b e   t r a i n e d   a t   a l l   o r   t h e   n e t w o r k   p e r f o r m a n c e   g e t s   v e r y   p o o r .     I f   t h e   n u m b e r   o f   t h e   n o d e s   i n   t h e   h i d d e n   l a y e r   i s   t o o   m a n y ,   a l t h o u g h   t h i s   c a n   r e d u c e   t h e   e r r o r s   o f   t h e   n e t w o r k   s y s t e m ,   b u t   m a y   l e n g t h e n   t r a i n i n g   t i m e   o f   t h e   n e t w o r k   a t   t h e   s a m e   t i m e .   O n   t h e   o t h e r   h a n d ,   t h e   t r a i n i n g   o f   n e u r a l   n e t w o r k   i s   e a s y   t o   f a l l   i n t o   t h e   l o c a l   m i n i m u m   n o t   t o   b e   a b l e   t o   o b t a i n   t h e   o p t i m u m   s o l u t i o n   w h i c h   a l s o   i s   o n e   o f   m a i n   r e a s o n s   f o r   o v e r - t t i n g   i n   n e u r a l   n e t w o r k   t r a i n i n g   a n d   l e a r n i n g .   O u r   p r e l i m i n a r y   s i m u l a t i o n   e x p e r i m e n t s   h a v e   a l s o   p r o v e d   t h a t   t h e   p e r f o r m a n c e   o f   t h e   c r o s s o v e r   m a p p i n g   m e t h o d   w a s   n o t   s a t i s e d .   W h e n   a   r o b o t   g o e s   d i r e c t l y   f o r w a r d   i n   f r e e   s p a c e ,   i n   o r d e r   t o   t u r n   t o   e x a m i n e   s o m e   g o a l   s o u r c e ,   i t   w i l l   r e d u c e   t h e   s p e e d   o f   t h e   m o t o r   o n   t h e   s i d e   o f   t h e   s e n s o r   a p p r o a c h i n g .   T h e r e f o r e ,   o u r   a l g o r i t h m   s h o u l d   d i r e c t l y   m a p   t h e   l e f t   s e n s o r   i n p u t   i n t o   t h e   l e f t   m o t o r ,   a n d   t h e   r i g h t   s e n s o r   i n p u t   i n t o   t h e   r i g h t   m o t o r ,   i . e . ,   o n l y   c o n n e c t i o n   w e i g h t s   ( w 0 1   b e t w e e n   g 0   a n d   g 1 ,   w 0 3   b e t w e e n   g 0   a n d   g 3 ,   w 2 1   b e t w e e n   g 2   a n d   g 1 ,   w 2 3   b e t w e e n   g 2   a n d   g 3 ,   w 4 5   b e t w e e n   g 4   a n d   g 5 ,   w 4 7   b e t w e e n   g 4   a n d   g 7 ,   w 6 5   b e t w e e n   g 6   a n d   g 5 ,   a n d   w 6 7   b e t w e e n   g 6   a n d   g 7 )   a r e   r e m a i n e d .   T h e   w h o l e   n e t w o r k   s t r u c t u r e   o f   t h e   a p p r o a c h   s e n s o r   i s   s i m i l a r   t o   t h a t   o f   t h e   t o u c h   s e n s o r .   B u t   t h e   m a i n   d i f f e r e n c e   i s   t h a t   t h e   i n p u t   o f   t h e   a p p r o a c h   s e n s o r   m a k e s   u s e   o f   t h e   d i f f e r e n c e   b e t w e e n   t h e   l e f t   s e n s o r   s i g n a l   a n d   r i g h t   s e n s o r   s i g n a l   ( S e e   F i g u r e   3 . 4 . 1 ) .   I n   t h e   e x p e r i m e n t s ,   w e   n o t   o n l y   u s e   a   c h r o m o s o m e   w i t h   5 6   b i t s   ( 6 × 8 + 8 = 5 6   b i t s ) ,   b u t   a l s o   a d d   6   b i t s   t o   e v o l v e   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 9 - 4 8 5 6   I J R A     V o l .   1 ,   N o .   1 ,     M a r c h   2 0 1 2   :     3 1     4 8   3 8 r e l a t e d   s e n s o r   p a r a m e t e r s :   3   b i t s   a r e   u s e d   f o r   e n c o d i n g   t h e   e x p l o r a t o r y   r a n g e s   o f   t h e   s e n s o r s ,   a n d   t h e   o t h e r   3   b i t s   a r e   u s e d   f o r   e n c o d i n g   t h e   i n t e r v a l s   b e t w e e n   t h e   s e n s o r   e n d s .   A   c i   i n   F i g u r e   4   r e p r e s e n t s   t h e   e n c o d i n g   o f   w i j   ( j = 1 , 3 , 5 , 7 ) .                                       F i g .   4 .   N e t w o r k   a r c h i t e c t u r e   a n d   e n c o d i n g   o f   a p p r o a c h   b e h a v i o r   c o n t r o l   o f   t h e   r o b o t .       3 . 3 .   P a r a m e t e r   S e t u p   f o r   O b s t a c l e   A v o i d a n c e   H e r e ,   t h e   G A   a l g o r i t h m s   a p p l y   a   s i n g l e - p o i n t   c r o s s o v e r   t o   a r t i c i a l   c h r o m o s o m e s   w i t h   5 6   b i t s .   T h e   a l g o r i t h m   u s e s   a   s p e c i a l   b i t   m u t a t i o n   p a t t e r n   s o   t h a t   o n l y   o n e   b i t   i n   t h e   c h r o m o s o m e   t u r n s   o v e r .   F i r s t   w e   c h o o s e   o n e   c h r o m o s o m e   t o   e x e c u t e   m u t a t i o n   b a s e d   o n   t h e   m u t a t i o n   r a t e ,   a n d   t h e n   s t o c h a s t i c a l l y   c h o o s e   o n e   b i t   t o   t u r n   o v e r   i n   t h e   s e l e c t e d   c h r o m o s o m e .   T h e r e f o r e ,   m u t a t i o n   r a t e   t h a t   m u s t   b e   d i v i d e d   b y   t h e   c h r o m o s o m e   b i t s   c a n   b e   e q u a l   t o   t h e   m u t a t i o n   r a t e   n o r m a l l y   u s e d   i n   a   G A   a l g o r i t h m .   E l i t i s m   w a s   i m p l e m e n t e d   b y   n d i n g   t h e   t t e s t   i n d i v i d u a l s   n   i n   t h e   c u r r e n t   g e n e r a t i o n   a n d   c o p y i n g   t h e m   a c r o s s   i n t o   t h e   n e w   g e n e r a t i o n   b e f o r e   t h e   b r e e d i n g   p r o c e s s   h a s   b e g u n .   E l i t i s t   s e l e c t i o n   a l w a y s   p r e s e r v e s   t h e   t t e s t   i n d i v i d u a l s   f r o m   t h e   p o p u l a t i o n   t o   t h e   n e x t   g e n e r a t i o n .   T h e r e f o r e ,   e l i t i s t   s e l e c t i o n   i n c r e a s e s   a   c o n v e r g e n c e   r a t e   o f   G A ,   b u t   e l i t i s t   s e l e c t i o n   m a y   l e a d   t o   p r e m a t u r e   c o n v e r g e n c e   i n   t h e   G A   s e a r c h   p r o c e s s   b e i n g   t r a p p e d   i n   l o c a l   o p t i m a   s i n c e   t h e   i n h e r i t e d   b e s t   i n d i v i d u a l s   m i g h t   n o t   b e   c l o s e   t o   t h e   g l o b a l   o p t i m a .   F o r   e x a m p l e ,   i f   t o o   m a n y   i n d i v i d u a l s   a r e   p r e s e r v e d   f r o m   o n e   g e n e r a t i o n   t o   t h e   n e x t   o r   i f   a   s u p e r   i n d i v i d u a l   ( a n   i n d i v i d u a l   w i t h   a   f a r   b e t t e r   t n e s s   t h a n   t h e   r e s t   o f   t h e   p o p u l a t i o n )   o c c u r s ,   t h e n   e l i t i s m   c a n   s e r i o u s l y   i n c r e a s e   t h e   c h a n c e s   o f   t h e   b e s t   i n d i v i d u a l   b e i n g   r a p i d l y   r e p l i c a t e d   w i t h i n   a   f e w   g e n e r a t i o n s   a n d   l l i n g   t h e   w h o l e   p o p u l a t i o n   w i t h   i d e n t i c a l   s i b l i n g s .   O n c e   t h i s   h a p p e n s ,   t h e   p o p u l a t i o n   w i l l   t e n d   t o   s t a g n a t e   t o   a   l o c a l   m i n i m a .   O u r   s t u d i e s   h a v e   s h o w n   t h a t   o n e   w a y   t o   o v e r c o m e   t h i s   i s   t o   t a k e   a   h i g h e r   m u t a t i o n   r a t e .   T h e   e f f e c t   o f   a   l o w   m u t a t i o n   r a t e   o n   a   p o p u l a t i o n   r e e c t s   f e w   v a r i a t i o n s   a v a i l a b l e   t o   r e s p o n d   t o   s u d d e n   e n v i r o n m e n t a l   c h a n g e s .   T h i s   m e a n s   t h e   s p e c i e s   i s   s l o w e r   t o   a d a p t .   A   h i g h e r   m u t a t i o n   r a t e   m a y   d a m a g e   m o r e   i n d i v i d u a l s ,   b u t   b y   i n c r e a s i n g   v a r i a t i o n   i n   t h e   p o p u l a t i o n   c o u l d   i n c r e a s e   t h e   s p e e d   a t   w h i c h   t h e   p o p u l a t i o n   c a n   a d a p t   t o   c h a n g i n g   c i r c u m s t a n c e s .   T h e   E l i t i s t   s e l e c t i o n   h e r e   h a s   b e e n   e m b o d i e d   i n   t h e   f o l l o w i n g   a s p e c t s :   1 )   i f   t h e   r o b o t   d o e s   n o t   d o   a n y t h i n g ,   a c c u m u l a t e   0   s c o r e ;   2 )   i f   t h e   r o b o t   g o e s   d i r e c t l y   a h e a d ,   b u t   d o e s   n o t   a t t e m p t   t o   a v o i d   a n y   o b s t a c l e ,   a n d   n a l l y   c r o s s e s   t h e   e n v i r o n m e n t   b o u n d a r y ,   t h e n   t h e   r o b o t   w o u l d   a c c u m u l a t e   o n e   n e g a t i v e   s c o r e   w h i c h   t a k e s   0   s c o r e ;   3 )   i f   t h e   r o b o t   c a n   c o r r e c t l y   p e r f o r m   o b s t a c l e   a v o i d a n c e   b y   l e a r n i n g ,   i t   c a n   a c c u m u l a t e   o n e   p o s i t i v e   s c o r e ;   4 )   i f   t h e   r o b o t   c a n   n o t   o n l y   c o m p l e t e   o b s t a c l e   a v o i d a n c e ,   b u t   a l s o   g o   f o r w a r d   a t   f u l l   s p e e d   i n   t h e   f r e e   s p a c e ,   t h e n   i t   h a s   a   h i g h e r   p o s i t i v e   s c o r e .   T h e   s i m u l a t i o n   s t e p s   i s   s e t u p   1 5 0 0   s o   t h a t   t h e   r o b o t   c a n   a c c u m u l a t e   o n e   h i g h   t n e s s   v a l u e   i n   i t s   e v o l u t i o n a r y   p r o c e s s ,   a n d   a l s o   l e a r n   o b s t a c l e   a v o i d a n c e   b e h a v i o r   c o r r e c t l y .   T h e   w e i g h t e d   f a c t o r   o f   c o l l i s i o n   p u n i s h m e n t   t a k e s   a   v a l u e   o f   1 0   ( d e t e r m i n e d   a f t e r   m a n y   e x p e r i m e n t s ) .   I f   t h i s   f a c t o r   v a l u e   i s   t o o   l o w   b e c a u s e   w a l k i n g   d i s t a n c e   i s   f a r   g r e a t e r   t h a n   t h e   c o l l i s i o n   p u n i s h m e n t   v a l u e ,   s o m e   i n d i v i d u a l s   w h i c h   g i v e   a   p o o r   p e r f o r m a n c e   m a y   b e   r e g a r d e d   a s   t h e   b e s t   i n d i v i d u a l s ,   a n d   m a y   b e   i n v o l v e d   i n   t h e   h e r e d i t y   o p e r a t i o n   i n   t h e   n e x t   g e n e r a t i o n .   W h e n   t h i s   f a c t o r   v a l u e   i s   t o o   h i g h ,   t h e   p r e s s u r e   o n   t h e   r o b o t   t o   e x e c u t e   o b s t a c l e   a v o i d a n c e   b e h a v i o r   i s   r a p i d l y   i n c r e a s e d ,   a n d   s o   t h e   u s e f u l   h e r e d i t y   m a t e r i a l   i n   t h e   e v o l u t i o n a r y   p r o c e s s   m a y   b e   l o s t .   I n   a l l   e x p e r i m e n t s   t o   i m p r o v e   t h e   e f c i e n c y   o f   t h e   s i m u l a t i o n ,   t h e   s i z e   o f   t h e   p o p u l a t i o n   w a s   4 0 .   T h e s e   s i m u l a t i o n   e x p e r i m e n t s   h a v e   d e m o n s t r a t e d   t h a t   t h e   u s e   o f   a   l a r g e   p o p u l a t i o n   d o e s   n o t   e n h a n c e   t h e   4   3   2   1   c 0   g 7   g 6     c 0   g 1   g 0   M o t o r   o u t p u t   A p p r o a c h   s e n s o r   i n p u t   R i g h   m s b   R i g h   l s b   L e f t   m s b   L e f t   l s b   R i g h   m s b   R i g h   l s b   L e f t   m s b   L e f t   l s b   g 0   g 1   g 2   g 3   g 4   g 5   g 6   g 7   G e n e   c o d e   c i   i n t e r v a l   3   2   1   3   2   1   S e n s o r   p a r a m e t e r   c o d i n g :   r a n g e   Evaluation Warning : The document was created with Spire.PDF for Python.
I J R A     I S S N :   2 0 8 8 - 8 7 0 8       T o w a r d s   B e h a v i o r   S w i t c h   C o n t r o l   f o r   a n   E v o l u t i o n a r y   R o b o t   B a s e d   o n   R L   w i t h   E N N   ( J i n g a n   Y a n g a )   3 9 p e r f o r m a n c e   o f   t h e   s y s t e m .   T h e   u p p e r   l i m i t   o f   t h e   s i m u l a t i o n   e v o l u t i o n a r y   o p e r a t i o n   t a k e s   4 0   g e n e r a t i o n s .   A n o t h e r   r e a s o n   i s   t o   s a v e   t i m e .   W e   o b s e r v e d   f r o m   o u r   e x p e r i m e n t s   t h a t   a   c o m m u n i t y s   a v e r a g e   p e r f o r m a n c e   e n h a n c e m e n t   i s   l i m i t e d   a f t e r   t h a t   c o m m u n i t y   h a s   e v o l v e d   a b o u t   3 0 4 0   g e n e r a t i o n s .     3 . 4 .   S i m u l a t e d   R e s u l t s   f o r   O b s t a c l e   A v o i d a n c e   T h e   s i m u l a t e d   e x p e r i m e n t a l   r e s u l t s   f o r   o b s t a c l e   a v o i d a n c e   i n   t h e   d i f f e r e n t   e n v i r o n m e n t s   a n d   a n a l y s i s   o f   t h e   r e s u l t s   a r e   i s   i l l u s t r a t e d   i n   F i g u r e   5 .   A s   w e l l   a s   c h a n g i n g   t h e   c r o s s o v e r   r a t e   a n d   t h e   m u t a t i o n   r a t e ,   t h e   s i m u l a t i o n   e x p e r i m e n t s   a l s o   c o n t a i n e d   t w o   d i f f e r e n t   e n v i r o n m e n t s :   o n e   c o n t a i n e d   4   o b s t a c l e s   a n d   t h e   o t h e r   c o n t a i n e d   1 0   o b s t a c l e s .   T h e   e x p e r i m e n t a l   r e s u l t s   a r e   i l l u s t r a t e d   i n   F i g u r e   5 ( a )   a n d   F i g u r e   5 ( b ) ,   r e s p e c t i v e l y .   E v o l u t i o n a r y   t i m e   f o r   a n   e n v i r o n m e n t   c o n t a i n i n g   m a n y   o b s t a c l e s   s h o u l d   b e   l o n g e r .   T h e   m o r e   o b s t a c l e s ,   t h e   m o r e   l e s s   f r e e - m o t i o n   o p p o r t u n i t y   a n d   t h e   c o l l i s i o n   t i m e s   w i l l   i n c r e a s e .   T h i s   l e a d s   t h e   r o b o t   t o   i n c r e a s e   i t s   a c c u m u l a t e d   n e g a t i v e   s c o r e   p o s s i b i l i t i e s .   I n   t h e   e n v i r o n m e n t   c o n t a i n i n g   1 0   o b s t a c l e s ,   t h e   p r o d u c t i o n   o f   t h e   b e s t   i n d i v i d u a l   w i l l   t a k e   1 0   g e n e r a t i o n s .   H o w e v e r ,   i n   t h e   e n v i r o n m e n t   c o n t a i n i n g   4   o b s t a c l e s ,   t h i s   e v o l u t i o n a r y   p r o c e s s   n e e d s   o n l y   4   g e n e r a t i o n s .   T h e   r o b o t s   e v o l u t i o n a r y   p e r f o r m a n c e   b e c o m e   w o r s e   i n   t h e   e n v i r o n m e n t s   c o n t a i n i n g   m o r e   o b s t a c l e s ,   b e c a u s e   t h e   s t r a i g h t   l i n e s   o f   h i g h e s t   s c o r e   v a l u e s   t h a t   o b t a i n e d   b y   t h e   r o b o t   h a v e   l e s s   o p p o r t u n i t y   t o   m o v e   f o r w a r d .   S l i g h t l y   i n c r e a s i n g   t h e   c r o s s o v e r   r a t e   a n d   m u t a t i o n   r a t e   m a y   m a k e   t h e   c o n v e r g e n c e   r a t e   s l o w   d o w n .   B u t   4 0   g e n e r a t i o n s   e v o l u t i o n   l a t e r ,   t h e   a v e r a g e   e x p e r i m e n t a l   p e r f o r m a n c e   m a y   b e   a c c e p t e d .   T o o   h i g h   a   c r o s s o v e r   r a t e   c a n   r e d u c e   t h e   G A   p e r f o r m a n c e ,   s i n c e   i t s   m a i n   a i m   i s   t o   h a v e   a   h i g h e r   d e s t r u c t i o n   r a t e   t o   g a i n   t h e   h i g h e s t   t n e s s   v a l u e   p a t t e r n .   T o o   h i g h   m u t a t i o n   r a t e   h a s   a   r e m a r k a b l e   e f f e c t   o n   G A   p e r f o r m a n c e   [ 3 8 ] .   I n   s o m e   s i t u a t i o n s ,   t h e   s y s t e m   c o n t i n u e s   t o   o p e r a t e   f o r   o n l y   1 0   g e n e r a t i o n s   m o r e ,   a n d   t h e   s y s t e m   p e r f o r m a n c e   m a y   g e t   w o r s e .   H o w e v e r ,   t h e   c o n v e r g e n c e   r a t e   a n d   t h e   q u a l i t y   o f   t h e   s o l u t i o n s   a r e   g r e a t l y   i m p r o v e d   b y   c o m b i n i n g   p a r a l l e l   G A   a n d   c r o s s o v e r   m a p p i n g .       4 .   I M P L E M E N T A T I O N   O F   B E H A V I O R   S W I T C H I N G   C O N T R O L   S T R A T E G Y   4 . 1 .   N e u r a l   N e t w o r k   E n c o d i n g   B a s e d   o n   G A   N e u r a l   n e t w o r k s   a r e   w e l l   s u i t e d   f o r   t r a i n i n g   w i t h   e v o l u t i o n a r y   c o m p u t i n g - b a s e d   m e t h o d s   b e c a u s e   t h e y   c a n   b e   r e p r e s e n t e d   b y   a   c o n c i s e   s e t   o f   t u n a b l e   p a r a m e t e r s   [ 3 0 ] .   A   w i d e   v a r i e t y   o f   n e u r a l   n e t w o r k   s t r u c t u r e s   h a v e   b e e n   u s e d .   T h e   m o s t   c o m m o n   o f   t h e s e   a r e   l a y e r e d   f e e d f o r w a r d   o r   r e c u r r e n t   n e t w o r k   a r c h i t e c t u r e s .   T h e   b e h a v i o r - s w i t c h i n g   c o n t r o l l e r s   o f   E R   b a s e d   o n   t h e   n e t w o r k   m o d u l e s   p r o p o s e d   i n   t h i s   p a p e r   i s   a c c o m p l i s h e d   b y   c o m b i n i n g   A N N   a n d   G A .   T h e   b a s i c   i d e a   o f   b e h a v i o r   s w i t c h i n g   c o n t r o l   s t r a t e g y   i s   t h a t   b e h a v i o r - s w i t c h   c o n t r o l l e r   s h o u l d   b e   a c t i v a t e d   i m m e d i a t e l y   a n d   s w i t c h e d   t o   o b s t a c l e   a v o i d a n c e   b e h a v i o r   a n d   f o l l o w   w a l l   b e h a v i o r   o n c e   t h e   t o u c h   s e n s o r   n d s   t h e   o b s t a c l e s ,   a n d   t h e   E R L   s y s t e m s   h a v e   t o   c h a n g e   r o b o t s   m o v i n g   d i r e c t i o n   r a p i d l y   b a s e d   o n   t h e   b a s i c   b e h a v i o r s   a n d   j u m p   o v e r   t h e   r e g i o n   w i t h   t h e   l o c a l   m i n i m u m   p o i n t ,   a n d   e s c a p e   f r o m   t h e   t r a p   o f   l o c a l   m i n i m u m   a n d   p l a n   t h e i r   p a t h s   t o   g o a l   a g a i n .   F u r t h e r m o r e ,   t h e   g e n e t i c   a l g o r i t h m s   a r e   u s e d   t o   e v o l v e   n e t w o r k   c o n n e c t i o n   w e i g h t s   f o r   p r o v i d i n g   a   g l o b a l   s e a r c h   m e t h o d   f o r   n e t w o r k   w e i g h t   t r a i n i n g   a n d   f o r   a v o i d i n g   t h e   p r o b l e m   t o   b e i n g   t r a p p e d   i n   a   l o c a l   m i n i m u m   c a u s e d   b y   g r a d i e n t   d e s c e n t   l e a r n i n g .   T h i s   i s   v e r y   i m p o r t a n t   t o   m u l t i - r o b o t   s y s t e m   a n d   t h e   s i m u l a t e d   a n d   r e a l   r o b o t i c s   s o c c e r   g a m e s .   T h e   a p p r o a c h   b e h a v i o r   s h o u l d   a l s o   b e   a c t i v a t e d   w h e n   t h e   r o b o t   i s   i n   t h e   f r e e   s p a c e .   F o r   t h e   b a s i c   a p p r o a c h   b e h a v i o r   a n d   a p p r o a c h   s e n s o r   p a r a m e t e r s   a r e   e f f e c t i v e ,   w e   c a n   u s e   t h e   G A   t o   e v o l v e   t h e   s w i t c h i n g   n e t w o r k   o f   t h e   b a s i c   b e h a v i o r s   d i r e c t l y .   T h i s   e x p e r i m e n t a l   e n v i r o n m e n t   c o n t a i n e d   o n l y   1 0   o b s t a c l e s   a n d   1 0   g o a l   s o u r c e s .   T h i s   i s   b e c a u s e   t h e   b a s i c   b e h a v i o r   a n d   t h e   s e n s i n g   p a r a m e t e r s   e m b e d d e d   i n   t h e   r o b o t   e v o l v e   o n   t h e   b a s i s   o f   t h i s   e n v i r o n m e n t .   I n   o u r   e x p e r i m e n t ,   p o s i t i o n s ,   s i z e s ,   a n d   s h a p e s   o f   t h e   o b s t a c l e s ,   a n d   t h e   p o s i t i o n s   o f   t h e   g o a l   s o u r c e s   a r e   v a r i a b l e .   T h e   n u m b e r s   o f   o b s t a c l e s   a n d   t h e   g o a l   s o u r c e s   a r e   x e d   a t   1 0 .   T h e   r o b o t s   d e s i g n   i s   b a s i c a l l y   t h e   s a m e   a s   t h e   o n e   d e s c r i b e d   a b o v e ,   b u t   t h e   a p p r o a c h   s e n s o r   p a r a m e t e r s   a r e   x e d ,   a n d   n o   l o n g e r   e v o l v e   b y   t h e   G A   e n c o d i n g .   T h i s   n e w   n e t w o r k   s t r u c t u r e   i s   i l l u s t r a t e d   i n   F i g u r e   6 .   T h e   c h r o m o s o m e   i n c l u d e s   1 1   m o d u l e   n e t w o r k s   ( g 0 g 1 0 ) ( e a c h   m o d u l e   n e t w o r k   h a s   6 - b i t   e n c o d i n g ;   e v e r y   w e i g h t   h a s   1 - b i t   e n c o d i n g ) .   T h e r e f o r e ,   t h e   m o d u l e   n e t w o r k s   a n d   t h e i r   c o n n e c t i o n   w e i g h t s   n e e d   6 × 1 1 + 8 × 2 + 4 × 2 + 4 = 9 4 - b i t   e n c o d i n g   i n   a l 1 .   T h e   r s t   8   m o d u l e   n e t w o r k s   a r e   a l m o s t   t h e   s a m e   a s   t h e   m o d u l e   n e t w o r k s   i n   t h e   s e v e r a l   s e c t i o n s   a b o v e .   T h e   m a i n   d i f f e r e n c e   i s   t h a t   t h e   o u t p u t   i s   n o t   d i r e c t l y   c o n n e c t e d   t o   t h e   m o t o r   o u t p u t s ,   b u t   i s   t h e   i n p u t   o f   t h e   s e c o n d   c e l l   n e t w o r k   c o m p o s e d   b y   t h e   o t h e r   t w o   m o d u l e   n e t w o r k s   ( S e e   F i g u r e   7 ) .   T h e   o u t p u t   o f   t h e   m o d u l e   n e t w o r k   1 1 ( g 1 0 )   d e t e r m i n e s   t h e   b a s i c   b e h a v i o r   t h a t   w i l l   b e   a c t i v a t e d .   T h e   o u t p u t   o f   0   r e p r e s e n t s   o b s t a c l e   a v o i d a n c e ,   a n d   t h e   o u t p u t   o f   1   m e a n s   a p p r o a c h   b e h a v i o r .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 9 - 4 8 5 6   I J R A     V o l .   1 ,   N o .   1 ,     M a r c h   2 0 1 2   :     3 1     4 8   4 0 4 . 2 .   P a r a m e t e r   S e t u p   o f   G A   O p e r a t o r   T h e   r o b o t s   d u t y   i s   t o   r e a c h   a l l   g o a l s   ( 1 0 )   w i t h i n   2 5 0   t i m e   s t e p s .   T h e r e f o r e ,   t h e   r o b o t   w h i c h   r e a c h e s   a l l   g o a l s   a n d   d o   n o t   t o u c h   a n y   o b s t a c l e   w i l l   o b t a i n   t h e   h i g h e s t   t n e s s   v a l u e   o f   2 0 0 0 .   H o w e v e r ,   i f   t h i s   r o b o t   t o u c h e s   a n   o b s t a c l e   o r   s t o p s   a t   s o m e   t i m e   s t e p   i n   t h e   e v o l u t i o n   c y c l e   ( d e a d l o c k ) ,   i t s   t n e s s   v a l u e   s h o u l d   b e   0 .   T h e   t n e s s   v a l u e s   t h a t   o t h e r   r o b o t   c a n   h a v e   l i e   b e t w e e n   t w o   t n e s s   v a l u e s   o f   0   a n d   2 0 0 0 .   T h e i r   c h r o m o s o m e s   m a y   b e   u s e d   a s   i n t e r m e d i a t e   m e d i u m s   o f   t h e   h e r e d i t y   o v e r l a p p i n g   o p e r a t i o n .             ( a )                             ( b )   F i g .   5 .   C o m p a r i s o n   b e t w e e n   t h e   e x p e r i m e n t a l   r e s u l t s   i n   t h e   d i f f e r e n t   o b s t a c l e   e n v i r o n m e n t s :   ( a )   M a x i m u m   t n e s s   a n d   a v e r a g e   t n e s s   o f   t h e   i n d i v i d u a l s   a t   e a c h   g e n e r a t i o n   i n   4 - o b s t a c l e   e n v i r o n m e n t ;   ( b )   M a x i m u m   t n e s s   a n d   a v e r a g e   t n e s s   o f   t h e   i n d i v i d u a l s   a t   e a c h   g e n e r a t i o n   i n   1 0 - o b s t a c l e   e n v i r o n m e n t .         F i g .   6 .   T h e   n e u r a l   n e t w o r k   t o p o l o g y   o f   b e h a v i o r   s w i t c h i n g   c o n t r o l :   t h e   o u t p u t   o f   t h e   m o d u l e   n e t w o r k   ( g 1 0 )   h a s   t w o   s t a t e s :   0   r e p r e s e n t s   o b s t a c l e   a v o i d a n c e   b e h a v i o r ,   a n d   1   m e a n s   a p p r o a c h   b e h a v i o r .       B e c a u s e   t h e   s i m u l a t e d   t i m e   s t e p s   a r e   r e d u c e d ,   t h e   c o m p u t a t i o n   t i m e   f o r   e a c h   g e n e r a t i o n   i s   s u i t a b l y   i n c r e a s e d ,   a n d   t h e r e f o r e   t h e   n u m b e r   o f   i n d i v i d u a l s   i s   i n c r e a s e d   u p   t o   5 0 .   T h e   n u m b e r   o f   t h e   e v o l u t i o n a r y   Evaluation Warning : The document was created with Spire.PDF for Python.