T E L K O M N I K A ,   V o l . 9 ,   N o . 3 ,   D e c e m b e r   2 0 1 1 ,   p p .   4 7 3 ~ 4 8 2   I S S N :   1 6 9 3 - 6 9 3 0   a c c r e d i t e d   b y   D G H E   ( D I K T I ) ,   D e c r e e   N o :   5 1 / D i k t i / K e p / 2 0 1 0           4 7 3       R e c e i v e d   J u l y   3 1 th ,   2 0 1 1 ;   R e v i s e d   S e p t e m b e r   2 2 th ,   2 0 1 1 ;   A c c e p t e d   S e p t e m b e r   2 7 t h ,   2 0 1 1   B e h a v i o r s   C o o r d i n a t i o n   a n d   L e a r n i n g   o n   A u t o n o m o u s   N a v i g a t i o n   o f   P h y s i c a l   R o b o t       H a n d y   W i c a k s o n o * 1 ,   H a n d r y   K h o s w a n t o 1 ,   S o n   K u s w a d i 2   1 El e c t r i c a l   En g i n e e r i n g   D e p a r t m e n t ,   Pe t r a   C h r i s t i a n   U n i v e r s i t y   2 M e c h a t r o n i c s   D e p a r t m e n t ,   El e c t r o n i c s   En g i n e e r i n g   Po l y t e c h n i c   I n s t i t u t e   o f   Su r a b a y a   e - m a i l :   h a n d y @ p e t r a . a c . i d 1 ,   h a n d r y @ p e t r a . a c . i d 2 ,   s o n k @ e e p i s - i t s . e d u 3       A b s t r a k   Ko o r d i n a s i   p e r i l a k u   a d a l a h   s a l a h   s a t u   f a k t o r   k u n c i   p a d a   r o b o t   b e r b a s i s   p e r i l a k u .   Ar s i t e k t u r   s u b s u m p t i o n   d a n   m o t o r   s c h e m a   a d a l a h   c o n t o h   d a r i   m e t o d e   t e r s e b u t .   U n t u k   m e m p e l a j a r i   s i f a t   k e d u a n y a ,   e k s p e r i m e n   p a d a   r o b o t   f i s i k   p e r l u   d i l a k u k a n .   D a r i   h a s i l   e k s p e r i m e n   d a p a t   d i s i m p u l k a n   b a h w a   m e t o d e   p e r t a m a   m e m b e r i k a n   r e s p o n s   y a n g   c e p a t ,   r o b u s t   t e t a p i   t i d a k   h a l u s .   Se d a n g   m e t o d e   k e   d u a   m e m b e r i k a n   r e s p o n s   y a n g   l e b i h   l a m b a t   n a m u n   l e b i h   h a l u s ,   d a n   c e n d e r u n g   m e n e m u k a n   t a r g e t   l e b i h   c e p a t .   P e r i l a k u   y a n g   m a m p u   b e l a j a r   d a p a t   m e m p e r b a i k i   p e r f o r m a   r o b o t   d a l a m   m e n g h a d a p i   k e t i d a k p a s t i a n .   Q   l e a r n i n g   a d a l a h   m e t o d e   p e m b e l a j a r a n   r e i n f o r c e m e n t   y a n g   p o p u l e r   d i g u n a k a n   p a d a   p e m b e l a j a r a n   r o b o t   k a r e n a   s e d e r h a n a ,   k o n v e r g e n   d a n   o f f   p o l i c y .   Va r i a b e l   l a j u   p e m b e l a j a r a n   b e r p e n g a r u h   p a d a   p e r f o r m a   r o b o t   d a l a m   f a s e   p e m b e l a j a r a n .   A l g o r i t m a   Q   l e a r n i n g   d i t e r a p k a n   p a d a   s u b s u m p t i o n   a r c h i t e c t u r e   d a r i   s u a t u   r o b o t   f i s i k .   Se b a g a i   h a s i l n y a ,   r o b o t   t e l a h   b e r h a s i l   m e l a k u k a n   n a v i g a s i   o t o n o m   m e s k i   d e n g a n   b e b e r a p a   k e t e r b a t a s a n   a k i b a t   p e l e t a k a n   d a n   k a r a k t e r i s t i k   s e n s o r .     K a t a   k u n c i :   b e h a v i o r   b a s e d   r o b o t i c s ,   c o o r d i n a t i o n ,   r e i n f o r c e m e n t   l e a r n i n g ,   n a v i g a s i   o t o n o m       A b s t r a c t     Be h a v i o r s   c o o r d i n a t i o n   i s   o n e   o f   k e y p o i n t s   i n   b e h a v i o r   b a s e d   r o b o t i c s .   Su b s u m p t i o n   a r c h i t e c t u r e   a n d   m o t o r   s c h e m a   a r e   e x a m p l e   o f   t h e i r   m e t h o d s .   I n   o r d e r   t o   s t u d y   t h e i r   c h a r a c t e r i s t i c s ,   e x p e r i m e n t s   i n   p h y s i c a l   r o b o t   a r e   n e e d e d   t o   b e   d o n e .   I t   c a n   b e   c o n c l u d e d   f r o m   e x p e r i m e n t   r e s u l t   t h a t   t h e   f i r s t   m e t h o d   g i v e s   q u i c k ,   r o b u s t   b u t   n o n   s m o o t h   r e s p o n s e .   M e a n w h i l e   t h e   l a t t e r   g i v e s   s l o w e r   b u t   s m o o t h e r   r e s p o n s e   a n d   i t   i s   t e n d i n g   t o   r e a c h   t a r g e t   f a s t e r .   L e a r n i n g   b e h a v i o r   i m p r o v e   r o b o t s   p e r f o r m a n c e   i n   h a n d l i n g   u n c e r t a i n t y .   Q   l e a r n i n g   i s   p o p u l a r   r e i n f o r c e m e n t   l e a r n i n g   m e t h o d   t h a t   h a s   b e e n   u s e d   i n   r o b o t   l e a r n i n g   b e c a u s e   i t   i s   s i m p l e ,   c o n v e r g e n t   a n d   o f f   p o l i c y .   T h e   l e a r n i n g   r a t e   o f   Q   a f f e c t s   r o b o t s   p e r f o r m a n c e   i n   l e a r n i n g   p h a s e .   Q   l e a r n i n g   a l g o r i t h m   i s   i m p l e m e n t e d   i n   s u b s u m p t i o n   a r c h i t e c t u r e   o f   p h y s i c a l   r o b o t .   As   t h e   r e s u l t ,   r o b o t   s u c c e e d s   t o   d o   a u t o n o m o u s   n a v i g a t i o n   t a s k   a l t h o u g h   i t   h a s   s o m e   l i m i t a t i o n s   i n   r e l a t i o n   w i t h   s e n s o r   p l a c e m e n t   a n d   c h a r a c t e r i s t i c .       K e y w o r d s :   b e h a v i o r   b a s e d   r o b o t i c s ,   c o o r d i n a t i o n ,   r e i n f o r c e m e n t   l e a r n i n g ,   a u t o n o m o u s   n a v i g a t i o n         1 .     I n t r o d u c t i o n   B e h a v i o r   b a s e d   a r c h i t e c t u r e   i s   a   k e y   c o n c e p t   i n   c r e a t i n g   f a s t   a n d   r e l i a b l e   r o b o t .   I t   r e p l a c e s   d e l i b e r a t i v e   a r c h i t e c t u r e   t h a t   u s e d   i n   S h a k e y   r o b o t   [ 1 ] .   B e h a v i o r   b a s e d   r o b o t   d o e s n t   n e e d   w o r l d   m o d e l   t o   f i n i s h   i t s   t a s k .   T h e   e n v i r o n m e n t   i s   t h e   o n l y   m o d e l   n e e d e d .   A n o t h e r   a d v a n t a g e   i s   a l l   b e h a v i o r s   r u n   i n   p a r a l l e l ,   s i m u l t a n e o u s ,   a n d   a s y n c h r o n o u s   w a y   [ 2 ] .   I n   t h i s   a r c h i t e c t u r e ,   r o b o t   m u s t   h a v e   b e h a v i o r   c o o r d i n a t o r   t o   c o o r d i n a t e   r o b o t s   b e h a v i o r s .   F i r s t   a p p r o a c h   s u g g e s t e d   b y   B r o o k s   [ 2 ]   i s   S u b s u m p t i o n   A r c h i t e c t u r e   t h a t   c a n   b e   c l a s s i f i e d   a s   c o m p e t i t i v e   m e t h o d .   I n   t h i s   m e t h o d ,   t h e r e   i s   o n l y   o n e   b e h a v i o r   t h a t   c a n   b e   a p p l i e d   i n   r o b o t   a t   o n e   t i m e .   I t   i s   v e r y   s i m p l e   a n d   i t   g i v e s   t h e   f a s t   p e r f o r m a n c e   r e s u l t ,   b u t   i t   h a s   d i s a v a n t a g e   o f   n o n - s m o o t h   r e s p o n s e   a n d   i n a c c u r a t e .   T o   o v e r c o m e   c o m p e t i t i v e   m e t h o d   w e a k n e s s ,   A r k i n   [ 3 ] , [ 4 ]   s u g g e s t s   M o t o r   S c h e m a   t h a t   c a n   b e   c l a s s i f i e d   a s   c o o p e r a t i v e   m e t h o d .   I n   t h i s   m e t h o d ,   t h e r e   c a n   b e   m o r e   t h a n   o n e   b e h a v i o r   t h a t   a p p l i e d   i n   r o b o t   a t   o n e   t i m e   s o   e v e r y   b e h a v i o r   h a s   c o n t r i b u t i o n   i n   r o b o t s   a c t i o n .   T h i s   m e t h o d   r e s u l t s   i n   s m o o t h e r   r e s p o n s e   a n d   m o r e   a c c u r a t e ,   b u t   i t   i s   m o r e   c o m p l i c a t e d .   T h e   c o m p l e t e   l i s t   o f   b e h a v i o r   c o o r d i n a t i o n   m e t h o d s   c a n   b e   f o u n d   i n   [ 5 ] .   I n   o r d e r   t o   a n t i c i p a t e   m a n y   u n c e r t a i n   t h i n g s ,   r o b o t   s h o u l d   h a v e   l e a r n i n g   m e c h a n i s m .   I n   s u p e r v i s e d   l e a r n i n g ,   r o b o t   w i l l   n e e d   a   m a s t e r   t o   t e a c h   i t   w h i l e   u n s u p e r v i s e d   l e a r n i n g   m e c h a n i s m   w i l l   m a k e   r o b o t   l e a r n   b y   i t s e l f .   R e i n f o r c e m e n t   l e a r n i n g   ( R L )   i s   a n   e x a m p l e   o f   t h i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   3 ,     D e c e m b e r   2 0 1 1   :     4 7 3     4 8 2   4 7 4 m e t h o d ,   s o   r o b o t   c a n   l e a r n   o n l i n e   b y   a c c e p t i n g   r e w a r d   f r o m   i t s   e n v i r o n m e n t   [ 6 ] .   T h e r e   a r e   m a n y   R L   a p p l i c a t i o n s   o n   r o b o t i c s ,   i n c l u d i n g :   f r e e   g a i t   g e n e r a t i o n s   f o r   s i x   l e g g e d   r o b o t   [ 7 ]   a n d   r o b o t   g r a s p i n g   [ 8 ] .   T h e r e   a r e   m a n y   m e t h o d s   t o   s o l v e   R L   p r o b l e m .   O n e   o f   m o s t   p o p u l a r   m e t h o d   i s   T e m p o r a l   D i f f e r e n c e   A l g o r i t h m ,   e s p e c i a l l y   Q   L e a r n i n g   a l g o r i t h m   [ 9 ] .   Q   L e a r n i n g   a d v a n t a g e s   a r e   i t s   o f f - p o l i c y   c h a r a c t e r i s t i c   a n d   s i m p l e   a l g o r i t h m .   I t   i s   a l s o   c o n v e r g e n t   i n   o p t i m a l   p o l i c y .   B u t   i t   c a n   o n l y   b e   u s e d   i n   d i s c r e t e   s t a t e / a c t i o n .   I f   Q   t a b l e   i s   l a r g e   e n o u g h ,   a l g o r i t h m   w i l l   s p e n d   t o o   m u c h   t i m e   i n   l e a r n i n g   p r o c e s s   [ 1 0 ] .   I n   o r d e r   t o   s t u d y   c h a r a c t e r i s t i c s   o f   b e h a v i o r s   c o o r d i n a t i o n   m e t h o d s   a n d   b e h a v i o r   l e a r n i n g   a b o v e ,   s o m e   r e s e a r c h e r s   h a s   d o n e   s i m u l a t i o n s   b y   u s i n g   r o b o t i c   s i m u l a t o r   s o f t w a r e   [ 1 1 ] ,   [ 1 2 ] .   S i m u l a t i o n   i s   n e e d e d   b e c a u s e   l e a r n i n g   a l g o r i t h m   u s u a l l y   t a k e s   m o r e   m e m o r y   s p a c e   o n   r o b o t s   c o n t r o l l e r   a n d   i t   a l s o   a d d s   p r o g r a m   c o m p l e x i t y .   H o w e v e r ,   e x p e r i m e n t s   w i t h   p h y s i c a l   r o b o t   a r e   s t i l l   n e e d e d   t o   b e   d o n e ,   b e c a u s e   t h e r e   a r e   b i g   d i f f e r e n c e s   b e t w e e n   i d e a l   e n v i r o n m e n t   a n d   r e a l   w o r l d .   R o b o t   w i l l   a c c o m p l i s h   a u t o n o m o u s   n a v i g a t i o n   t a s k   b y   d e v e l o p i n g   a d a p t i v e   b e h a v i o r s .   B e c a u s e   o f   l i m i t e d   r e s o u r c e s   ( e . g .   s e n s o r s ) ,   t h i s   r o b o t   d o e s   n o t   h a v e   c a p a b i l i t i e s   t o   b u i l d   a n d   m a i n t a i n   e n v i r o n m e n t s   m a p .   N e v e r t h e l e s s   i t   s t i l l   a b l e s   t o   f i n i s h   t h e   c e r t a i n   t a s k   [ 1 3 ] .   T h i s   p a p e r   w i l l   d e s c r i b e   a b o u t   b e h a v i o r   c o o r d i n a t i o n   a n d   l e a r n i n g   i m p l e m e n t a t i o n   o n   p h y s i c a l   r o b o t   t h a t   c a n   n a v i g a t e   a u t o n o m o u s l y .       2 .   T h e   P r o p o s e d   M e t h o d   2 . 1 .   B e h a v i o r s   C o o r d i n a t i o n     I n   b e h a v i o r   b a s e d   r o b o t i c s   a p p r o a c h ,   m e t h o d s   o f     b e h a v i o r s   c o o r d i n a t i o n   a r e   s i g n i f i c a n t .   T h e   d e s i g n e r   n e e d s   t o   k n o w   h o w   r o b o t   c o o r d i n a t e   i t s   b e h a v i o r s   a n d   t a k e   t h e   a c t i o n   i n   t h e   r e a l   w o r l d .   T h e r e   a r e   t w o   a p p r o a c h e s :   c o m p e t i t i v e   a n d   c o o p e r a t i v e .   I n   c o m p e t i t i v e   m e t h o d ,   a t   o n e   t i m e ,   t h e r e   i s   o n l y   o n e   b e h a v i o r   t h a t   a p p l i e d   i n   r o b o t .     T h e   f i r s t   s u g g e s t i o n   o n   t h i s   t y p e   i s   S u b s u m p t i o n   A r c h i t e c t u r e   t h a t   s u g g e s t e d   b y   B r o o k s   [ 2 ] .   T h i s   m e t h o d   d i v i d e s   b e h a v i o r s   t o   m a n y   l e v e l s ,   w h e r e   t h e   h i g h e r   l e v e l   b e h a v i o r   h a v e   h i g h e r   p r i o r i t i e s   t o o .   S o   i t   c a n   s u b s u m e   t h e   l o w e r   l e v e l   o n e s .   T h e   l a y e r e d   c o n t r o l   s y s t e m   i s   s h o w n   o n   F i g u r e 1 .           F i g u r e   1 .   L a y e r e d   c o n t r o l   s y s t e m   [ 2 ]       T h e   c o o p e r a t i v e   m e t h o d   h a v e   d i f f e r e n t   a p p r o a c h e s .   I n   t h i s   m e t h o d ,   a t   o n e   t i m e ,   t h e r e   c a n   b e   m o r e   t h a n   o n e   b e h a v i o r   t h a t   a p p l i e d   i n   r o b o t ,   s o   e v e r y   b e h a v i o r   h a s   c o n t r i b u t i o n   i n   r o b o t s   a c t i o n .   A r k i n   [ 3 ]   s u g g e s t   t h e   m o t o r   s c h e m a   m e t h o d ,   w h i c h   e v e r y   o b j e c t   w i l l   b e   d e s c r i b e d   a s   v e c t o r   t h a t   h a s   m a g n i t u d e   a n d   d i r e c t i o n .   T h e   r e s u l t   b e h a v i o r   i s   m i x i n g   b e t w e e n   e a c h   b e h a v i o r .   T h e   m o t o r   s c h e m e   f o r   t h i s   m e t h o d   a p p e a r s   o n   F i g u r e   2 .   S o m e   e x p e r i m e n t s   w i l l   b e   d o n e   t o   c o m p a r e   t h e   b e h a v i o r   c o o r d i n a t i o n   m e t h o d s   i m p l e m e n t a t i o n   o n   a u t o n o m o u s   n a v i g a t i o n   t a s k   o f   p h y s i c a l   r o b o t .     2 . 2   L e a r n i n g   B e h a v i o r   R o b o t   u s i n g   p r o p e r   c o n f i g u r a t i o n   o f   b e h a v i o r s   c o o r d i n a t i o n   m e t h o d   w i l l   a c c o m p l i s h   t a s k   g i v e n   b y   h u m a n   w e l l .   H o w e v e r ,   i n   s o m e   u n p r e d i c t a b l e   c o n d i t i o n s   b y   h u m a n   d e s i g n e r ,   r o b o t   s h o u l d   h a v e   i n t e l l i g e n c e   t o   m a k e   i t s   o w n   d e c i s i o n .   O n e   o f   l e a r n i n g   m e t h o d   t h a t   s u i t a b l e   f o r   r o b o t   a p p l i c a t i o n   i s   r e i n f o r c e m e n t   l e a r n i n g   ( R L ) ,   a   k i n d   o f   u n s u p e r v i s e d   l e a r n i n g   m e t h o d   w h i c h   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       B e h a v i o r s   C o o r d i n a t i o n   a n d   L e a r n i n g   o n   A u t o n o m o u s   N a v i g a t i o n   o f   .   ( H a n d y   W i c a k s o n o )   4 7 5   l e a r n s   f r o m   a g e n t s   e n v i r o n m e n t   [ 8 ] .   A g e n t   ( s u c h   a s :   r o b o t )   w i l l   r e c e i v e   d e l a y e d   r e w a r d   f r o m   i t s   e n v i r o n m e n t .   F i g u r e   3   s h o w s   r e i n f o r c e m e n t   l e a r n i n g   b a s i c   s c h e m e .         F i g u r e   2 .   M o t o r   s c h e m a   m e t h o d   [ 3 ]           F i g u r e   3 .     R e i n f o r c e m e n t   l e a r n i n g   b a s i c   s c h e m e   [ 8 ]         T h e r e   a r e   s o m e   r e i n f o r c e m e n t   l e a r n i n g   m e t h o d s   :   S a r s a ,   A c t o r   C r i t i c ,   Q   l e a r n i n g ,   e t c .   Q   l e a r n i n g   i s   m o s t   p o p u l a r   R L   m e t h o d   t h a t   a p p l i e d   i n   r o b o t i c s   b e c a u s e   i t   i s   o f f   p o l i c y   ( o t h e r s   a r e   o n   p o l i c y )   a n d   s i m p l e   [ 8 ] .   I t   a l s o   h a s   b e e n   c o n v e r g e n t l y   p r o o f e d   [ 9 ] .   P s e u d o c o d e   o f   Q   l e a r n i n g   a l g o r i t h m   i s   s h o w n   b e l o w   [ 1 0 ] .       I n i t i a l i z e   Q ( s , a )   a r b i t r a l i l y   R e p e a t   ( f o r   e a c h   e p i s o d e )   :     I n i t i a l i z e   s     R e p e a t   ( f o r   e a c h   s t e p   o f   e p i s o d e ) :         C h o o s e   a   f r o m   s   u s i n g   p o l i c y                 d e r i v e d   f r o m   Q   ( e . g . ,   Î - g r e e d y )         T a k e   a c t i o n   a ,   o b s e r v e   r ,   s         A p p l y               [ ] ) , ( ) ' , ' ( m a x ) , ( ) , ( ' a s Q a s Q r a s Q a s Q a - + + ¬ g a         s   ¬ ¬ ¬ ¬   s ;     u n t i l   s   i s   t e r m i n a l     w h e r e :   Q ( s , a )   :   c o m p o n e n t   o f   Q   t a b l e   ( s t a t e ,   a c t i o n )   s :   s t a t e   s :   n e x t   s t a t e   a :   a c t i o n   a   :   n e x t   a c t i o n     r :   r e w a r d   a   :   l e a r n i n g   r a t e       g   :   d i s c o u n t   f a c t o r     2 . 3   L e a r n i n g   B e h a v i o r   o n   B e h a v i o r s   C o o r d i n a t i o n   L e a r n i n g   b e h a v i o r   a n d   b e h a v i o r s   c o o r d i n a t i o n   a r e   n e e d e d   b y   r o b o t   t o   a c c o m p l i s h   i t s   t a s k   a n d   a d a p t   w i t h   u n p r e d i c t a b l e   e n v i r o n m e n t   w e l l .   H e n c e ,   l e a r n i n g   b e h a v i o r   n e e d s   t o   b e   i n c l u d e d   i n   o f   b e h a v i o r s   c o o r d i n a t i o n   m e t h o d .   F i g u r e   4   s h o w s   p r o p o s e d   m e t h o d   o f   b e h a v i o r s   c o o r d i n a t i o n   w h i c h   i s   c o m b i n e   l e a r n i n g   b e h a v i o r s   a n d   n o n   l e a r n i n g   o n e s .   S o m e   e x p e r i m e n t s   o n   b e h a v i o r s   c o o r d i n a t i o n   t h a t   i n c l u d e   Q   l e a r n i n g   b e h a v i o r   w i l l   b e   d o n e .   A n o t h e r   c o n t r i b u t i o n   o f   t h i s   p a p e r   i s   i m p l e m e n t a t i o n   o f   t h i s   m e t h o d   o n   p h y s i c a l   r o b o t ,   b e c a u s e   u s u a l l y   i t   i s   a p p l i e d   i n   r o b o t i c s   s i m u l a t i o n   s o f t w a r e   o n l y   [ 1 1 ] ,   [ 1 2 ] .       3 .     R e s e a r c h   M e t h o d   3 . 1   R o b o t s   B e h a v i o r s   D e s i g n   I n   o r d e r   t o   f i n i s h   a u t o n o m o u s   n a v i g a t i o n   t a s k ,   r o b o t   s h o u l d   h a v e   t h e s e   b e h a v i o r s :   b s t a c l e   a v o i d a n c e ,   s e a r c h   t a r g e t ,   w a n d e r i n g ,   a n d   s t o p .   S u b s u m p t i o n   a r c h i t e c t u r e   ( a s   c o m p e t i t i v e   b e h a v i o r s   c o o r d i n a t i o n   m e t h o d )   f o r   r o b o t   c a n   n a v i g a t e   a u t o n o m o u s l y   s h o w n   i n   F i g u r e   5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   3 ,     D e c e m b e r   2 0 1 1   :     4 7 3     4 8 2   4 7 6     F i g u r e   4 .   P r o p o s e d   b e h a v i o r s   c o o r d i n a t i o n   m e t h o d         F i g u r e   5 .   R o b o t s   s u b s u m p t i o n   a r c h i t e c t u r e   f o r   a u t o n o m o u s   n a v i g a t i o n     F o r m   f i g u r e   a b o v e ,   i t   c a n   b e   s e e n   t h a t   r o b o t   u s e   d i s t a n c e   s e n s o r s   t o   d e t e c t   t h e   o b s t a c l e   a n d   l i g h t   s e n s o r s   t o   f i n d   t h e   t a r g e t   ( c a n d l e   l i g h t ) .   O b s t a c l e   a v o i d a n c e   b e c o m e   t h e   m o s t   i m p o r t a n t   b e h a v i o r ,   a n d   w a n d e r i n g   b e c o m e   t h e   l e a s t   o n e .   T h e r e   i s   o n l y   o n e   b e h a v i o r   t h a t   c a n   b e   u s e d   b y   r o b o t   a t   o n e   t i m e .   P s e u d o c o d e   o f   t h i s   a r c h i t e c t u r e   i s   s h o w n   b e l o w .         I F   d i s t a n c e   s e n s o r s   i s   n e a r   t h e   o b s t a c l e       T H E N   r o b o t   a v o i d s   t h e   o b s t a c l e     E L S E       { I F   l i g h t   s e n s o r s   i s   v e r y   n e a r   w i t h   c a n d l e   l i g h t           T H E N   r o b o t   i s   s t o p       E L S E           { I F   l i g h t   s e n s o r s   i s   n e a r   w i t h   c a n d l e   l i g h t           T H E N   r o b o t   m o v e   t o w a r d s   c a n d l e   l i g h t           E L S E           R o b o t   i s   w a n d e r i n g   e v e r y w h e r e         }       }     T h e   e x a m p l e   o f   c o o p e r a t i v e   b e h a v i o r s   c o o r d i n a t i o n   m e t h o d   i s   m o t o r   s c h e m a .   I t s   a p p l i c a t i o n   f o r   r o b o t s   a u t o n o m o u s   n a v i g a t i o n   c a n   b e   s h o w n   i n   F i g u r e   6 .   T h e   b e h a v i o r   s t r u c t u r e   i s   s i m i l a r   w i t h   S u b s u m p t i o n   A r c h i t e c t u r e ,   e x c e p t   t h e   w a y   t o   m i x   a l l   r o b o t s   b e h a v i o r s .   H e r e   i s   t h e   p s e u d o c o d e   o f   a r c h i t e c t u r e   a b o v e .       I F   d i s t a n c e   s e n s o r s   i s   n e a r   t h e   o b s t a c l e       T H E N   c o m p u t e   o b s t a c l e   a v o i d a n c e   b e h a v i o r   c o n t r i b u t i o n     I F   l i g h t   s e n s o r s   n e a r   w i t h   c a n d l e   l i g h t       T H E N   c o m p u t e   s e a r c h   t a r g e t   b e h a v i o r   c o n t r i b u t i o n     I F   l i g h t   s e n s o r s   i s   n e a r   w i t h   c a n d l e   l i g h t       T H E N   c o m p u t e   s t o p   b e h a v i o r   c o n t r i b u t i o n     C o m p u t e   w a n d e r i n g   w a n d e r i n g   b e h a v i o r   c o n t r i b u t i o n     C o m p u t e   a l l   b e h a v i o r s   c o n t r i b u t i o n   a n d   t r a n s l a t e   i t   t o   m o t o r s   s p e e d   a n d   d i r e c t i o n     D e s i g n   o f   b e h a v i o r s   c o o r d i n a t i o n   m e t h o d   ( i n   e x a m p l e :   S u b s u m p t i o n   A r c h i t e c t u r e )   t h a t   i n c o r p o r a t e   l e a r n i n g   b e h a v i o r   ( o b s t a c l e   a v o i d a n c e )   i s   s h o w n   i n   F i g u r e   7 .             F i g u r e   6 .   R o b o t s   m o t o r   s c h e m a   f o r   a u t o n o m o u s   n a v i g a t i o n       F i g u r e   7 .     Q   l e a r n i n g   b e h a v i o r   o n   r o b o t s   s u b s u m p t i o n   a r c h i t e c t u r e   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       B e h a v i o r s   C o o r d i n a t i o n   a n d   L e a r n i n g   o n   A u t o n o m o u s   N a v i g a t i o n   o f   .   ( H a n d y   W i c a k s o n o )   4 7 7   P s e u d o c o d e   o f   Q   l e a r n i n g   a l g o r i t h m   i s   s h o w n   o n   s e c t i o n   2 . 2 ,   w h i l e   p s e u d o c o d e   o f   a r c h i t e c t u r e   o n   F i g u r e   7 .   i s   s h o w n   b e l o w .       I F   d i s t a n c e   s e n s o r s   i s   n e a r   t h e   o b s t a c l e       T H E N   r o b o t   l e a r n s   t o   a v o i d   t h e   o b s t a c l e     E L S E       { I F   l i g h t   s e n s o r s   i s   v e r y   n e a r   w i t h   c a n d l e   l i g h t           T H E N   r o b o t   i s   s t o p       E L S E           { I F   l i g h t   s e n s o r s   i s   n e a r   w i t h   c a n d l e   l i g h t           T H E N   r o b o t   l e a r n s   t o   m o v e   t o w a r d   c a n d l e   l i g h t           E L S E           R o b o t   i s   w a n d e r i n g   e v e r y w h e r e         }       }     D e s i g n   o f   s t a t e   a n d   r e w a r d   a r e   i m p o r t a n t   i n   Q   l e a r n i n g   a l g o r i t h m .   H e r e   i s   s t a t e s   v a l u e   d e s i g n   o f   r o b o t s   o b s t a c l e   a v o i d a n c e   b e h a v i o r :   0   :   i f   o b s t a c l e   i s   f a r   f r o m   l e f t   a n d   r i g h t   s i d e   1   :   i f   o b s t a c l e   i s   n e a r   f r o m   l e f t   s i d e   a n d   f a r   f r o m   r i g h t   s i d e   2   :   i f   o b s t a c l e   i s   f a r   f r o m   l e f t   s i d e   a n d   n e a r   f r o m   r i g h t   s i d e   3   :   i f   o b s t a c l e   i s   n e a r   f r o m   l e f t   a n d   r i g h t   s i d e   M e a n w h i l e   r e w a r d s   d e s i g n   o f   t h e   s a m e   b e h a v i o r   i s :   2       :   i f   o b s t a c l e   i s   n o t   v e r y   n e a r   f r o m   l e f t   a n d   r i g h t   s i d e   - 1       :   i f   o b s t a c l e   i s   v e r y   n e a r   o n l y   f r o m   l e f t   s i d e   o r   i f   o b s t a c l e   i s   v e r y   n e a r   o n l y   f r o m   r i g h t   s i d e   - 2       :   i f   o b s t a c l e   v e r y   n e a r   f r o m   l e f t   a n d   r i g h t   s i d e   O t h e r   e x p e r i m e n t s   w i l l   b e   d o n e   b y   i n c o r p o r a t i n g   s e a r c h   t a r g e t   a s   Q   l e a r n i n g   b e h a v i o r .   S t a t e   d e s i g n   o f   t h i s   b e h a v i o r   i s   t h e   s a m e   w i t h   o b s t a c l e   a v o i d a n c e   l e a r n i n g   b e h a v i o r :   0   :   i f   t a r g e t   i s   f a r   f r o m   l e f t   a n d   r i g h t   s i d e   1   :   i f   t a r g e t   i s   n e a r   f r o m   l e f t   s i d e   a n d   f a r   f r o m   r i g h t   s i d e   2   :   i f   t a r g e t   i s   f a r   f r o m   l e f t   s i d e   a n d   n e a r   f r o m   r i g h t   s i d e   3   :   i f   t a r g e t   i s   n e a r   f r o m   l e f t   a n d   r i g h t   s i d e   B u t   r e w a r d s   d e s i g n   i s   l i t t l e   b i t   d i f f e r e n t   w i t h   t h e   f i r s t   b e h a v i o r .   H e r e   i t   i s :   4       :   i f   t a r g e t   i s   v e r y   n e a r   f r o m   l e f t   a n d   r i g h t   s i d e   - 1       :   i f   t a r g e t   i s   v e r y   n e a r   o n l y   f r o m   l e f t   s i d e   o r   i f   o b s t a c l e   i s   v e r y   n e a r   o n l y   f r o m   r i g h t   s i d e   - 2       :   i f   t a r g e t   i s   n o t   v e r y   n e a r   f r o m   l e f t   a n d   r i g h t   s i d e     3 . 2   P h y s i c a l   R o b o t   I m p l e m e n t a t i o n   S i m u l a t i o n   b e c o m e s   a n   i m p o r t a n t   a s p e c t   o f   r o b o t i c   r e s e a r c h .   I n   c o m p a r i s o n   w i t h   r e a l   r o b o t   e x p e r i m e n t s ,   s i m u l a t i o n s   a r e   e a s i e r   t o   s e t   u p ,   l e s s   e x p e n s i v e ,   f a s t e r ,   m o r e   c o n v e n i e n t   t o   u s e ,   a n d   a l l o w   t h e   u s e r   t o   p e r f o r m   e x p e r i m e n t s   w i t h o u t   t h e   r i s k   o f   d a m a g i n g   t h e   r o b o t   [ 1 4 ] .   H o w e v e r   p h y s i c a l   r o b o t   e x p e r i m e n t   i s   s t i l l   u r g e n t l y   n e e d e d .   T h e r e   s t i l l   m a n y   u n p r e d i c t a b l e   a s p e c t s   o f   r o b o t   t h a t   c a n   n o t   b e   p e r f e c t l y   m o d e l e d   b y   r o b o t i c s   s i m u l a t i o n   s o f t w a r e .     I n   o r d e r   t o   r e a l i z e   p h y s i c a l   r o b o t ,   t h e r e   a r e   m a n y   r o b o t i c s   p l a t f o r m   n o w a d a y s .   S t u d e n t s   o r   r e s e a r c h e r s   d o n t   h a v e   t o   b u i l d   r o b o t   f r o m   t h e   b e g i n n i n g ,   b u t   t h e y   c a n   u s e   r o b o t i c   k i t   t h a t   a v a i l a b l e   o n   t h e   m a r k e t   t o d a y .   L E G O   N X T   R o b o t   i s   f a m o u s   r o b o t i c   k i t .   I t   c o n s i s t s   o f   N X T   B r i c k   a s   c o n t r o l l e r ,   m a n y   k i n d   o f   s e n s o r s   ( u l t r a s o n i c   s e n s o r ,   l i g h t   s e n s o r ,   t o u c h   s e n s o r   a n d   s o u n d   s e n s o r ) ,   a n d   s e r v o   m o t o r s   a s   a c t u a t o r .   N o w a d a y s   i t   h a s   b e e n   u s e d   i n   a d v a n c e   r o b o t i c   a p p l i c a t i o n   s u c h   a s   e n v i r o n m e n t   m a p p i n g   [ 1 5 ] ,   m u l t i   r o b o t   s y s t e m   [ 1 6 ] ,   [ 1 7 ] ,   r o b o t   m a n i p u l a t o r   [ 1 8 ]   a n d   r o b o t   l e a r n i n g   [ 1 9 ] .     T h i s   p a p e r   w i l l   d e s c r i b e   a b o u t   i m p l e m e n t a t i o n   o f   b e h a v i o r   c o o r d i n a t i o n   o n   L E G O   N X T   R o b o t .   N X C   ( N o t   e X a t c l y   C ) ,   a n   o p e n   s o u r c e   C - l i k e   l a n g u a g e ,   w i l l   b e   u s e d   t o   p r o g r a m   t h e   r o b o t   a s   s u b s t i t u t e   o f   N X T - G .   T h e r e   a r e   s o m e   N X C   p r o g r a m m i n g   t e c h n i q u e s   o n   i m p l e m e n t a t i o n   o f   r o b o t s   Q   l e a r n i n g   b e h a v i o r .   Q   l e a r n i n g   a l g o r i t h m   n e e d s   2   d i m e n s i o n a l   a r r a y   t o   b u i l d   Q   t a b l e   c o n s i s t   o f   s t a t e   a c t i o n .   E n h a n c e d   N B C / N X C   f i r m w a r e   t h a t   s u p p o r t   m u l t i   d i m e n s i o n a l   a r r a y   w i l l   b e   u s e d   h e r e .   I t   i s   a l s o   i m p o r t a n t   t o   u s e   f l o a t   d a t a   t y p e   o n   a   ( l e a r n i n g   r a t e )   a n d   g   ( d i s c o u n t   r a t e ) ,   s o   t h e i r   v a l u e   c a n   b e   v a r i e d   b e t w e e n   0   a n d   1 .     L E G O   N X T   r o b o t   u s e d   i n   t h i s   r e s e a r c h   w i l l   u s e   t w o   u l t r a s o n i c   s e n s o r s   ( t o   d e t e c t   t h e   o b s t a c l e s ) ,   t w o   l i g h t   s e n s o r s   ( t o   d e t e c t   t h e   t a r g e t )   a n d   t w o   s e r v o   m o t o r s .   N X T   B r i c k   b e h a v e s   a s   b r a i n   o r   c o n t r o l l e r   f o r   t h i s   r o b o t .   T h e   r o b o t   i s   s h o w n   i n   F i g u r e   8 .   T h e r e   a r e   s o m e   e x p e r i m e n t s   t h a t   w i l l   b e   d o n e   h e r e :   r e a c h i n g   t a r g e t ,   r o b o t s   m o v e m e n t ,   a n d   t a r g e t   v e r s u s   o b s t a c l e   e x p e r i m e n t .   R o b o t s   a r e n a   c o n t a i n s   s o m e   o b s t a c l e s   a n d   o n e   c a n d l e   a s   t h e   t a r g e t .   I t   h a s   t h r e e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   3 ,     D e c e m b e r   2 0 1 1   :     4 7 3     4 8 2   4 7 8 d i f f e r e n t   h o m e   p o s i t i o n s .   T h e   a r e n a   i s   s h o w n   o n   F i g u r e   9 .   O t h e r   a r e n a   w i t h   s i m p l e   s t r u c t u r e   ( b y   u s i n g   o n e   o b s t a c l e   a n d   o n e   t a r g e t   o n l y )   w i l l   a l s o   b e   u s e d   i n   e x p e r i m e n t s .   T h e y   a r e   s h o w n   o n   F i g u r e   1 0 .           F i g u r e   8 .   L E G O   N X T   R o b o t   f o r   a u t o n o m o u s   n a v i g a t i o n   t a s k           F i g u r e   9 .   C o m p l e t e   a r e n a           F i g u r e   1 0 .   S i m p l e   a r e n a     4 .     R e s u l t s   a n d   A n a l y s i s     4 . 1   R e a c h i n g   t h e   t a r g e t     T h i s   e x p e r i m e n t   w i l l   m e a s u r e   t i m e   t h a t   n e e d e d   b y   r o b o t   ( w i t h   d i f f e r e n t   b e h a v i o r   c o o r d i n a t i o n   m e t h o d )   t o   r e a c h   t h e   t a r g e t .   I t   h a s   b e e n   d o n e   f r o m   t h r e e   d i f f e r e n t   h o m e   p o s i t i o n s   ( s e e   F i g u r e   1 0 . ) .   T h e   r e s u l t   i s   s h o w n   i n   T a b l e   1 .   F r o m   t h e   t a b l e ,   i t   c a n   b e   s h o w n   t h a t   r o b o t   w i t h   M o t o r   S c h e m a   c a n   r e a c h   t h e   t a r g e t   f a s t e r   t h a n   t h e   S u b s u m p t i o n   A r c h i t e c t u r e   r o b o t .   T h e   r e a s o n   o f   t h i s   r e s u l t   c a n   b e   a n a l y z i n g   r o b o t s   m o v e m e n t .       4 . 2   R o b o t s   m o v e m e n t   i n   a r e n a   T h i s   s e c t i o n   w i l l   a n a l y z e   t r a j e c t o r y   t h a t   m a d e   b y   t h e   r o b o t   w h e n   i t   n a v i g a t e   a u t o n o m o u s l y   t o   f i n d   t h e   t a r g e t .   F i g u r e   1 1   a n d   1 2   s h o w s   t r a j e c t o r y   o f   S u b s u m p t i o n   A r c h i t e c t u r e   a n d   M o t o r   S c h e m a   r o b o t   f r o m   t h r e e   d i f f e r e n t   p o s i t i o n s .       T a b l e   1 .   T i m e   t o   r e a c h   t h e   t a r g e t   H o m e   P o s i t i o n   S u b s u m p t i o n   A r c h i t e c t u r e     ( s e c o n d s )   M o t o r   S c h e m a   ( s e c o n d s )   P o s i t i o n   1   2 5   2 0   P o s i t i o n   2   4 7   4 5   P o s i t i o n   3   2 3   1 4                             ( a )   ( b )   ( c )     F i g u r e   1 1 .   S u b s u m p t i o n   A r c h i t e c t u r e   r o b o t   t r a j e c t o r y   f r o m   h o m e   p o s i t i o n   1 ,   2 ,   a n d   3                       ( a )   ( b )   ( c )     F i g u r e   1 2 .   M o t o r   S c h e m a   r o b o t   t r a j e c t o r y   f r o m   h o m e   p o s i t i o n   1 ,   2 ,   a n d   3   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A       B e h a v i o r s   C o o r d i n a t i o n   a n d   L e a r n i n g   o n   A u t o n o m o u s   N a v i g a t i o n   o f   F r o m   t h o s e   f i g u r e s   a b o v e m o v e m e n t   i s   s h a r p   a n d   n o t   s m o o t h .   T h e r e   a r e   m a n y   s h a r p   t u r n   o n   t h i s   r o b o t s   t r a j e c t o r y .   F r o m   t h e   e x p e r i m e n t s   v i d e o   i t   a p p e a r s   t h a t   t h i s   r o b o t   i s   a l s o   f a s t e r   t h a n   t h e   o t h e r .   H o w e v e r   o n   t h i s   r e a c h i n g   t a r g e t   b e h a v i o r ,   i t s   n o t   u s e f u l   m u c h   b e c a u s e   w h e n   t h e   r o b o t   m o v e   t o o   f a s t   w i t h   t h e   s h a r p   m o v e m e n t ,   t h e   t a r g e t   c a n   b e   l o s t   o n   t h e   r o b o t s   s i g h t . r o b o t s   m o v e m e n t   i s   s m o o t h e r   t h a n   t h e   p r e c e d i n g   o n e .   T h e   s h a r p   b u t   i t s   n u m b e r   i s   l e s s   t h a n   b e f o r e .   T h i s   r o b o t   h a s   s l o w e r   m o v e m e n t ,   b u t   i t   h a s   m o r e   a c c u r a t e   d e t e c t i o n   o n   t a r g e t   l o c a t i o n .   T h a t s   f a s t e r   t h a n   t h e   f i r s t   o n e .     4 . 3   T a r g e t   v e r s u s   o b s t a c l e   e x p e r i m e n t T h i s   e x p e r i m e n t   w i l l   b e   d o n e   t o   o b s e r v e   r o b o t s   l o c a t e d   n e a r   t h e   r o b o t .   E x p e r i m e n t   r e t h a t   S u b s u m p t i o n   A r c h i t e c t u r e   g i v e   m o r e   r e a c t i v e   a c t i o n   b y   a v o i d i n g   t h e   o b s t a c l e   a n d   ( a t   t h e   s a m e   t i m e )   l e a v i n g   t h e   t a r g e t .   I t   i s   r e a s o n a b l e   b e c a u s e   o b s t a c l e   a v o i d a n c e   i s   t h e   m o s t   i m p o r t a n t   b e h a v i o r   o f   r o b o t .   M e a n w h i l e   t h e   t h e   t a r g e t .   I t   c a n   b e   h a p p e n e d   b e c a u s e   r o b o t   c o n s i d e r s   t h e   t a r g e t   l o c a t i o n   t h a t   i s   n e a r   t o   t h e   r o b o t .     4 . 4   Q   l e a r n i n g   -   o b s t a c l e   a v o i d a n c e   I n   t h i s   e x p e r i m e n t ,   Q   l e a r n i n g   t o   w a t c h   r o b o t s   p e r f o r m a n c e ,   a   s i m p l e   o b s t a c l e   s t r u c t u r e   i s   p r e p a r e d .   Q   l e a r n i n g   a l g o r i t h m   a p p l i e d   o n   r o b o t   u s e   a   =   0 . 7   a n d   p o l i c y .   R o b o t s   p e r f o r m a n c e   o n   t h e   b e g i n n i n g   a n d   t h e F i g u r e   1 5 .   I t   c a n   b e   s e e n   f r o m   o n e   a n d   o t h e r   r o b o t .   T h e   f i r s t   r o b o t   t e n d l e f t   d i r e c t i o n .   B o t h   o f   t h e m   a r e   s u c c e e d   t o   a v o i d   t h e   o b s t a c l e .   T h i s   c a n   b e   h a p p e n e d   b e c a u s e   Q   l e a r n i n g   g i v e s   i n t e l l i g e n c e   o n   e a c h   r o b o t   t o   d e c i d e   b e s t   a c t i o n   f o r   r o b o t   i t s e l f . R o b o t s   g o a l   i n   Q   l e a r n i n p o s s i b l e .   G r a p h i c   o f   r e w a r d s   a v e r a g e   e v e r y   t e n   i t e r a t i o n s   a n d   t o t a l   r e w a r d s   d u r i n g   t h e   e x p e r i m e n t   i s   s h o w n   o n   F i g u r e r e w a r d   t h a t   r e c e i v e d   b y   r o b o t   i s   g e t t i n g   b e t t e r   o v e r   t h e   t i m e .   I n   t h e   l e a r n i n g   p h a s e   r o b o t   s t i l l   r e c e i v e   m a n y   n e g a t i v e   r e w a r d s ,   b u t   a f t e r   5   s t e p s   i t   s t a r t s   t o   c o l l e c t   p o s i t i v e   r e w a r d s .   F i g u r e   s h o w s   t o t a l   ( a c c u m u l a t e d )   r e w a r d s   c o l l e c t e d   b y   r o b o t   i s   g e t t i n g   l a r g e r   o v e r   t h e   t i m b e   c o n c l u d e d   t h a t   r o b o t   c a n   m a x i m i z e   i t s   r e w a r d   a f t e r   l e a r n i n g   f o r   s o m e   t i m e .       ( a )     ( b )     F i g u r e   1 3 .   S u b s u m p t i o n   A r c h i t e c t u r e   a n d   M o t o r   S c h e m a   r o b o t   n e a r   o b s t a c l e   a n d   t a r g e t     I S S N :   1 6 9 3 - 6 9 3 0   B e h a v i o r s   C o o r d i n a t i o n   a n d   L e a r n i n g   o n   A u t o n o m o u s   N a v i g a t i o n   o f   .   ( H a n d y   W i c a k s o n o s   a b o v e ,   i t   c a n   b e   s e e n   t h a t   S u b s u m p t i o n   A r c h i t e c t u r e m o v e m e n t   i s   s h a r p   a n d   n o t   s m o o t h .   T h e r e   a r e   m a n y   s h a r p   t u r n   o n   t h i s   r o b o t s   t r a j e c t o r y .   F r o m   t   a p p e a r s   t h a t   t h i s   r o b o t   i s   a l s o   f a s t e r   t h a n   t h e   o t h e r .   H o w e v e r   o n   t h i s   r e a c h i n g   t a r g e t   b e h a v i o r ,   i t s   n o t   u s e f u l   m u c h   b e c a u s e   w h e n   t h e   r o b o t   m o v e   t o o   f a s t   w i t h   t h e   s h a r p   m o v e m e n t ,   t h e   t a r g e t   c a n   b e   l o s t   o n   t h e   r o b o t s   s i g h t .   O n   t h e   o t h e r   h a n d ,   M o t o r   S c h e m a   r o b o t s   m o v e m e n t   i s   s m o o t h e r   t h a n   t h e   p r e c e d i n g   o n e .   T h e   s h a r p   t u r n s   a r e   n o t   c o m p l e t e l y   l o s t ,   b u t   i t s   n u m b e r   i s   l e s s   t h a n   b e f o r e .   T h i s   r o b o t   h a s   s l o w e r   m o v e m e n t ,   b u t   i t   h a s   m o r e   a c c u r a t e   d e t e c t i o n   o n   t a r g e t   l o c a t i o n .   T h a t s   w h y   t h e   t i m e   t h a t   n e e d e d   b y   t h i s   r o b o t   t o   r e a c h   t h e   t a r g e t   i s   o b s t a c l e   e x p e r i m e n t   T h i s   e x p e r i m e n t   w i l l   b e   d o n e   t o   o b s e r v e   r o b o t s   c h a r a c t e r i s t i c s   i f   t a r g e t   a n d   o b s t a c l e   a r e   r i m e n t   r e s u l t   s h o w n   o n   F i g u r e   1 3 .   F r o m   f i g u r e   a b o v e   i t   c a n   b e   s e e n   t h a t   S u b s u m p t i o n   A r c h i t e c t u r e   g i v e   m o r e   r e a c t i v e   a c t i o n   b y   a v o i d i n g   t h e   o b s t a c l e   a n d   ( a t   t h e   s a m e   t i m e )   l e a v i n g   t h e   t a r g e t .   I t   i s   r e a s o n a b l e   b e c a u s e   o b s t a c l e   a v o i d a n c e   i s   t h e   m o s t   o f   r o b o t .   M e a n w h i l e   t h e   m o t o r   s c h e m a   r o b o t   m o v e s   s l o w e r h a p p e n e d   b e c a u s e   r o b o t   c o n s i d e r s   t h e   t a r g e t   l o c a t i o n   t h a t   i s   n e a r   t o   t h e   o b s t a c l e   a v o i d a n c e   b e h a v i o r   w i t h   f i x e d   l e a r n i n g   r a t e   Q   l e a r n i n g   i s   a p p l i e d   i n   o b s t a c l e   a v o i d a n c e   b e h a v i o r t o   w a t c h   r o b o t s   p e r f o r m a n c e ,   a   s i m p l e   o b s t a c l e   s t r u c t u r e   i s   p r e p a r e d .   Q   l e a r n i n g   a l g o r i t h m   =   0 . 7   a n d   g   =   0 . 7 .   I t   u t i l i z e s   g r e e d y   m e t h o d   f o r   e x p l o r a t i o n   p o l i c y .   R o b o t s   p e r f o r m a n c e   o n   t h e   b e g i n n i n g   a n d   t h e   e n d   o f   t r i a l   i s   s h o w n   o n   F i g u r e   1 4 .   a n d   I t   c a n   b e   s e e n   f r o m   f i g u r e s   a b o v e   t h a t   r o b o t s   l e a r n i n g   r e s u l t   c a n   b e   d i f f e r e n t   b e t w e e n   .   T h e   f i r s t   r o b o t   t e n d s   t o   g o   t o   r i g h t   d i r e c t i o n   a n d   t h e   s e c o n d   o n e   c h o o s e s   l e f t   d i r e c t i o n .   B o t h   o f   t h e m   a r e   s u c c e e d   t o   a v o i d   t h e   o b s t a c l e .   T h i s   c a n   b e   h a p p e n e d   b e c a u s e   Q   l e a r n i n g   g i v e s   i n t e l l i g e n c e   o n   e a c h   r o b o t   t o   d e c i d e   b e s t   a c t i o n   f o r   r o b o t   i t s e l f .   R o b o t s   g o a l   i n   Q   l e a r n i n g   p o i n t   o f   v i e w   i s   c o l l e c t   p o s i t i v e   r e w a r d s   a s   m a n y   a s   p o s s i b l e .   G r a p h i c   o f   r e w a r d s   a v e r a g e   e v e r y   t e n   i t e r a t i o n s   a n d   t o t a l   r e w a r d s   d u r i n g   t h e   u r e   1 6   a n d   F i g u r e   1 7 .   F r o m   F i g u r e   1 6 ,   i t   c a n   b e   s e e n   t h a t   a v e r a g e   y   r o b o t   i s   g e t t i n g   b e t t e r   o v e r   t h e   t i m e .   I n   t h e   l e a r n i n g   p h a s e   r o b o t   s t i l l   r e c e i v e   m a n y   n e g a t i v e   r e w a r d s ,   b u t   a f t e r   5   s t e p s   i t   s t a r t s   t o   c o l l e c t   p o s i t i v e   r e w a r d s .   F i g u r e   h o w s   t o t a l   ( a c c u m u l a t e d )   r e w a r d s   c o l l e c t e d   b y   r o b o t   i s   g e t t i n g   l a r g e r   o v e r   t h e   t i m b e   c o n c l u d e d   t h a t   r o b o t   c a n   m a x i m i z e   i t s   r e w a r d   a f t e r   l e a r n i n g   f o r   s o m e   t i m e .     ( a )     ( b )     F i g u r e   1 4 .     R o b o t s   p e r f o r m a n c e   a t   t h e   b e g i n n i n g   a n d   t h e   e n d   o f   t r i a l   1     F i g u r e   1 p e r f o r m a n c e   a t   t h e   b e g i n n i n g   a n d   t h e   e n d   o f   t r i a l   2   H a n d y   W i c a k s o n o )   4 7 9   S u b s u m p t i o n   A r c h i t e c t u r e   r o b o t s   m o v e m e n t   i s   s h a r p   a n d   n o t   s m o o t h .   T h e r e   a r e   m a n y   s h a r p   t u r n   o n   t h i s   r o b o t s   t r a j e c t o r y .   F r o m   t   a p p e a r s   t h a t   t h i s   r o b o t   i s   a l s o   f a s t e r   t h a n   t h e   o t h e r .   H o w e v e r   o n   t h i s   r e a c h i n g   t a r g e t   b e h a v i o r ,   i t s   n o t   u s e f u l   m u c h   b e c a u s e   w h e n   t h e   r o b o t   m o v e   t o o   f a s t   w i t h   t h e   O n   t h e   o t h e r   h a n d ,   M o t o r   S c h e m a   n o t   c o m p l e t e l y   l o s t ,   b u t   i t s   n u m b e r   i s   l e s s   t h a n   b e f o r e .   T h i s   r o b o t   h a s   s l o w e r   m o v e m e n t ,   b u t   i t   h a s   m o r e   a c c u r a t e   w h y   t h e   t i m e   t h a t   n e e d e d   b y   t h i s   r o b o t   t o   r e a c h   t h e   t a r g e t   i s   i f   t a r g e t   a n d   o b s t a c l e   a r e   F r o m   f i g u r e   a b o v e   i t   c a n   b e   s e e n   t h a t   S u b s u m p t i o n   A r c h i t e c t u r e   g i v e   m o r e   r e a c t i v e   a c t i o n   b y   a v o i d i n g   t h e   o b s t a c l e   a n d   ( a t   t h e   s a m e   t i m e )   l e a v i n g   t h e   t a r g e t .   I t   i s   r e a s o n a b l e   b e c a u s e   o b s t a c l e   a v o i d a n c e   i s   t h e   m o s t   c h e m a   r o b o t   m o v e s   s l o w e r ,   s o   i t   c a n   d e t e c t   h a p p e n e d   b e c a u s e   r o b o t   c o n s i d e r s   t h e   t a r g e t   l o c a t i o n   t h a t   i s   n e a r   t o   t h e   a p p l i e d   i n   o b s t a c l e   a v o i d a n c e   b e h a v i o r   o n l y .   I n   o r d e r   t o   w a t c h   r o b o t s   p e r f o r m a n c e ,   a   s i m p l e   o b s t a c l e   s t r u c t u r e   i s   p r e p a r e d .   Q   l e a r n i n g   a l g o r i t h m   o r a t i o n     e x p l o i t a t i o n   e n d   o f   t r i a l   i s   s h o w n   o n   F i g u r e   1 4 .   a n d   t h a t   r o b o t s   l e a r n i n g   r e s u l t   c a n   b e   d i f f e r e n t   b e t w e e n   s   t o   g o   t o   r i g h t   d i r e c t i o n   a n d   t h e   s e c o n d   o n e   c h o o s e s   l e f t   d i r e c t i o n .   B o t h   o f   t h e m   a r e   s u c c e e d   t o   a v o i d   t h e   o b s t a c l e .   T h i s   c a n   b e   h a p p e n e d   b e c a u s e   Q   g   p o i n t   o f   v i e w   i s   c o l l e c t   p o s i t i v e   r e w a r d s   a s   m a n y   a s   p o s s i b l e .   G r a p h i c   o f   r e w a r d s   a v e r a g e   e v e r y   t e n   i t e r a t i o n s   a n d   t o t a l   r e w a r d s   d u r i n g   t h e   ,   i t   c a n   b e   s e e n   t h a t   a v e r a g e   y   r o b o t   i s   g e t t i n g   b e t t e r   o v e r   t h e   t i m e .   I n   t h e   l e a r n i n g   p h a s e   r o b o t   s t i l l   r e c e i v e   m a n y   n e g a t i v e   r e w a r d s ,   b u t   a f t e r   5   s t e p s   i t   s t a r t s   t o   c o l l e c t   p o s i t i v e   r e w a r d s .   F i g u r e   1 7   h o w s   t o t a l   ( a c c u m u l a t e d )   r e w a r d s   c o l l e c t e d   b y   r o b o t   i s   g e t t i n g   l a r g e r   o v e r   t h e   t i m e .   S o   i t   c a n       ( a )     ( b )     1 5 .     R o b o t s   p e r f o r m a n c e   a t   t h e   b e g i n n i n g   a n d   t h e   e n d   o f   t r i a l   2     Evaluation Warning : The document was created with Spire.PDF for Python.
                                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   3 ,     D e c e m b e r   2 0 1 1   :     4 7 3     4 8 2   4 8 0   F i g u r e   1 6 .     A v e r a g e   r e w a r d   e v e r y   t e n t h   i t e r a t i o n       F i g u r e   1 7 .     T o t a l   r e w a r d s   o f   Q   l e a r n i n g   o b s t a c l e   a v o i d a n c e   b e h a v i o r .       4 . 5   Q   l e a r n i n g   -   o b s t a c l e   a v o i d a n c e   b e h a v i o r   w i t h   v a r y i n g   l e a r n i n g   r a t e   I n   t h i s   e x p e r i m e n t ,   d i f f e r e n t   l e a r n i n g   r a t e   ( a )   w i l l   b e   g i v e n   t o   t h e   r o b o t s   Q   l e a r n i n g   a l g o r i t h m .   I t s   v a l u e s   a r e :   0 . 2 5 ,   0 . 5 ,   0 . 7 5   a n d   1 .   T h e   r e s u l t   i s   s h o w n   i n   F i g u r e   1 8 .   F r o m   F i g u r e   1 8   ( a )   a n d   ( b ) ,   i t   c a n   b e   s e e n   t h a t   r o b o t   w i t h   0 . 2 5   ( s o m e t i m e s   0 . 5 )   l e a r n i n g   r a t e   c a n   n o t   l e a r n   t o   a v o i d   o b s t a c l e s .   B u t   r o b o t   w i t h   0 . 5 ,   0 . 7 5   a n d   1   l e a r n i n g   r a t e   c a n   l e a r n   o b s t a c l e   a v o i d a n c e   t a s k   w e l l   ( i t   s h o w n   o n   F i g .   1 8 .   ( c )     ( h ) ) .   B e f o r e   r o b o t   l e a r n s ,   i t   w i l l   b u m p   t o   t h e   o b s t a c l e s   s o m e t i m e   b e c a u s e   i t   s t i l l   d o e s n t   u n d e r s t a n d   t h a t   i t   i s   f o r b i d d e n .   B u t   a f t e r   i t   h a s   l e a r n e d ,   i t   c a n   a v o i d   o b s t a c l e   ( w i t h o u t   b u m p i n g )   s u c c e s s f u l l y .             ( a )   ( b )   ( c )   ( d )                   ( e )   ( f )   ( g )   ( h )     F i g u r e   1 8 .     R o b o t s   m o v e m e n t   w i t h   d i f f e r e n t   l e a r n i n g   r a t e   v a l u e s       T a b l e   2 .   C o m p a r i s o n   o f   r o b o t   w i t h   d i f f e r e n t   l e a r n i n g   r a t e .   a   B e f o r e   l e a r n i n g   ( s e c o n d s )   A f t e r   l e a r n i n g   ( s e c o n d s )   0 . 5   1 5   7   0 . 7 5   9   5   1   7   7           F i g u r e   1 9 .     T o t a l   r e w a r d s   c o l l e c t e d   b y   r o b o t s   o b s t a c l e   a v o i d a n c e   b e h a v i o r .   - 2 0 0 2 0 4 0 1 3 5 7 9 1 1 1 3 A v a e r a g e   R e w a r d T e n t h   I t e r a t i o n - 1 0 0 0 1 0 0 2 0 0 1 1 8 3 5 5 2 6 9 8 6 1 0 3 1 2 0 T o t a l   R e w a r d I t e r a t i o n be f ore  l ea r n i n g bu m p af te r   l ea rn i n g - 4 0 - 2 0 0 2 0 4 0 6 0 8 0 1 4 7 1 0 1 3 1 6 1 9 2 2 2 5 2 8 3 1 3 4 3 7 4 0 4 3 T o t a l   R e w a r d I t e r a t i o n s A l f a   =   0 . 2 5 A l f a   =   0 . 5 Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       B e h a v i o r s   C o o r d i n a t i o n   a n d   L e a r n i n g   o n   A u t o n o m o u s   N a v i g a t i o n   o f   .   ( H a n d y   W i c a k s o n o )   4 8 1   T h e   d i f f e r e n c e   o f   r o b o t   w i t h   0 . 5 ,   0 . 7 5   a n d   1   l e a r n i n g   r a t e   i s   t i m e   n e e d e d   t o   l e a r n   a n d   f i n i s h   o b s t a c l e   a v o i d a n c e   t a s k .   T a b l e   2   i s   t h e   c o m p a r i s o n   t a b l e   o f   t h e m .   F r o m   T a b l e   2 ,   i t   c a n   b e   s e e n   t h a t   t h e   i n c r e a s i n g   o f   l e a r n i n g   r a t e   i s   p r o p o r t i o n a l   w i t h   d e c r e a s i n g   t i m e   n e e d e d   b y   r o b o t   t o   s o l v e   t h e   t a s k .   I n   t h i s   c a s e ,   r o b o t   w i t h   a   =   1   i s   t h e   f a s t e s t .   B u t   i n   a f t e r - l e a r n i n g   p h a s e ,   t h a t   r o b o t   i s   n o t   a l w a y s   b e i n g   t h e   f a s t e s t   o n e   t o o .   B e s i d e   t h e   t i m e   n e e d e d   t o   l e a r n   a n d   f i n i s h   t h e   t a s k ,   a l s o   r o b o t   r e c e i v e s   d i f f e r e n t   r e w a r d s .   A m o u n t   o f   r e w a r d s   c o l l e c t e d   b y   r o b o t s   i s   s h o w n   o n   F i g u r e   1 9 .   F r o m     F i g u r e   1 9 ,   i t   i s   s h o w n   t h a t   r o b o t   w i t h   b i g g e r   l e a r n i n g   r a t e   w i l l   c o l l e c t   t h e   b i g g e r   a m o u n t   o f   r e w a r d s   t o o .   I t   m e a n s   t h a t   r o b o t   w i l l   l e a r n   t h e   t a s k   f a s t e r .   S o   i t   c a n   b e   c o n c l u d e d   t h a t   f o r   s i m p l e   o b s t a c l e   a v o i d a n c e   t a s k ,   t h e   b e s t   l e a r n i n g   r a t e   ( a )   t h a t   c a n   b e   g i v e n   b y   r o b o t   i s   1 .       4 . 6   Q   l e a r n i n g   -   s e a r c h   t a r g e t   b e h a v i o r   w i t h   f i x e d   l e a r n i n g   r a t e   I n   t h i s   e x p e r i m e n t ,   Q   l e a r n i n g   i s   a p p l i e d   i n   s e a r c h   t a r g e t   b e h a v i o r   o n l y .   S i m p l e   a r e n a   w i t h   o n e   c a n d l e   a s   t a r g e t   i s   p r e p a r e d   t o   t e s t   t h i s   b e h a v i o r .   T h e r e   a r e   t w o   h o m e   p o s i t i o n s   o f   r o b o t   ( l e f t   a n d   r i g h t   s i d e   o f   t a r g e t ) .   T h e   r e s u l t   i s   s h o w n   i n   F i g u r e   2 0 .   F r o m   t h e   f i g u r e ,   i t   c a n   b e   s e e n   t h a t   b e f o r e   l e a r n i n g ,   r o b o t   d o e s n t   k n o w   t h a t   i t   s h o u l d   g o   t o w a r d   g o a l   ( b o l d   l i n e ) .   B u t   a f t e r   l e a r n i n g ,   r o b o t   w i l l   g o   t o   w h e r e   t h e   g o a l   i s   ( d a s h   l i n e ) .   I n   s e a r c h   t a r g e t   b e h a v i o r   e x p e r i m e n t ,   r o b o t   t e n d s   t o   g e t   n e g a t i v e   r e w a r d s   b e c a u s e   i t   d o e s n t   k n o w   e x a c t l y   w h e r e   t h e   g o a l   i s .   I t   i s   t r u e   b e c a u s e   R L   i s   k i n d   o f   t r i a l   a n d   e r r o r   m e t h o d .   S o   i t   c a n   b e   c o n c l u d e d   t h a t   Q   l e a r n i n g   a p p l i c a t i o n   o n   s e a r c h   t a r g e t   b e h a v i o r   i s   n o t   s u i t a b l e   f o r   a u t o n o m o u s   n a v i g a t i o n   t a s k .   B e c a u s e   o f   t h a t ,   r o b o t s   p e r f o r m a n c e   i s   n o t   s h o w n   b y   r e w a r d s   c o l l e c t e d   b y   r o b o t ,   b u t   b y   a m o u n t   o f   i t e r a t i o n s   r o b o t   n e e d   t o   f i n d   t a r g e t   ( s e e   F i g u r e   2 1 ) .   F r o m   F i g u r e   2 1   i t   c a n   b e   s h o w n   t h a t   a f t e r   s o m e   t r i a l s   r o b o t   i s   r e a c h i n g   t a r g e t   f a s t e r   t h a n   b e f o r e .       4 . 7   Q   l e a r n i n g   -   o b s t a c l e   a v o i d a n c e   b e h a v i o r   o n   a u t o n o m o u s   n a v i g a t i o n   t a s k   T h i s   Q   l e a r n i n g   b e h a v i o r   h a s   b e e n   u s e d   i n   p h y s i c a l   r o b o t   t h a t   s o l v e   a u t o n o m o u s   n a v i g a t i o n   t a s k .   H e r e   i s   t h e   e x p e r i m e n t   r e s u l t   ( s e e   F i g u r e   2 2 . ) .   T h i s   r o b o t   s u c c e e d   t o   a v o i d   t h e   o b s t a c l e   ( a f t e r   s o m e   l e a r n i n g   t i m e )   a n d   r e a c h   t h e   t a r g e t   ( b y   i t s   c o m b i n a t i o n   w i t h   s e a r c h   t a r g e t   b e h a v i o r ) ,   b u t   i t   a l s o   h a s   s o m e   w e a k n e s s e s .   D a s h e d   r e c t a n g l e   i n   t h e   f i g u r e   s h o w s   s o m e   p h y s i c a l   p r o b l e m s   o f   l i g h t   s e n s o r   p l a c e m e n t   i n   r o b o t   a n d   u l t r a s o n i c   s e n s o r   c h a r a c t e r i s t i c s .   F i g u r e   2 3   d e s c r i b e s   t h o s e   p h y s i c a l   p r o b l e m s .         ( a )     ( b )         F i g u r e   2 1 .   R o b o t s   p e r f o r m a n c e   o n   r e a c h i n g   t h e   t a r g e t       F i g u r e   2 0 .   R o b o t s   p e r f o r m a n c e   b y   u s i n g   s e a r c h   t a r g e t   b e h a v i o r             F i g u r e   2 2 .   A u t o n o m o u s   n a v i g a t i o n   o f   r o b o t   w i t h   Q   l e a r n i n g   -   o b s t a c l e   a v i o d a n c e   b e h a v i o r             ( a )       ( b )     F i g u r e   2 3 .   P r o b l e m s   o n   p h y s i c a l   r o b o t s       0 2 0 4 0 6 0 1 2 3 4 5 I t e r a t i o n s T r i a l F r o m   L e f t F r o m   R i g h t Evaluation Warning : The document was created with Spire.PDF for Python.
                                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   3 ,     D e c e m b e r   2 0 1 1   :     4 7 3     4 8 2   4 8 2 5 .     C o n c l u s i o n   I t   c a n   b e   c o n c l u d e d   t h a t   p h y s i c a l   r o b o t   u s i n g   s u b s u m p t i o n   a r c h i t e c t u r e   a n d   m o t o r   s c h e m a   a s   b e h a v i o r   c o o r d i n a t i o n   m e t h o d s   c a n   f i n i s h   n a v i g a t i o n   t a s k   w e l l .   M o t o r   s c h e m a   t e n d   t o   g i v e   f a s t e r   r e s u l t   o n   r e a c h i n g   t a r g e t .   I t   i s   h a p p e n e d   b e c a u s e   m o t o r   s c h e m a   h a s   m o r e   a c c u r a t e   ( a l s o   s l o w e r )   m o v e m e n t .   H o w e v e r ,   s u b s u m p t i o n   a r c h i t e c t u r e   s t i l l   h a s   a d v a n t a g e   o n   i t s   r o b u s t   ( a l s o   f a s t e r )   r e s u l t   a n d   s i m p l e   i m p l e m e n t a t i o n .   R o b o t   u s i n g   Q   l e a r n i n g   m e c h a n i s m   c a n   l e a r n   o b s t a c l e   a v o i d a n c e   t a s k   w e l l ,   t h i s   i s   r e m a r k e d   b y   i t s   s u c c e s s   i n   c o l l e c t i n g   p o s i t i v e   r e w a r d s   c o n t i n u a l l y .   L e a r n i n g   r a t e   a f f e c t   t h e   r o b o t s   l e a r n i n g   p e r f o r m a n c e .   W h e n   i t   i s   g e t t i n g   b i g g e r ,   l e a r n i n g   p h a s e   g e t t i n g   f a s t e r   t o o .   A l t h o u g h   Q   l e a r n i n g   c a n   b e   a p p l i e d   i n   s e a r c h   t a r g e t   b e h a v i o r ,   b u t   i t   d o e s   n o t   g i v e   s a t i s f y i n g   r e s u l t   i n   a m o u n t   o f   p o s i t i v e   r e w a r d s   c o l l e c t e d   b y   r o b o t .   H e n c e   i t   i s   s u g g e s t e d   t o   b e   a p p l i e d   o n l y   o n   o b s t a c l e   a v o i d a n c e   b e h a v i o r .   P h y s i c a l   r o b o t   a p p l y i n g   Q   l e a r n i n g   c a n   s o l v e   n a v i g a t i o n   t a s k   w e l l ,   b u t   t h e r e   a l s o   w e a k n e s s e s   o n   l i g h t   s e n s o r   p l a c e m e n t   a n d   u l t r a s o n i c   s e n s o r   c h a r a c t e r i s t i c .       A c k n o w l e d g e m e n t   T h i s   w o r k   i s   b e i n g   s u p p o r t e d   b y   D P 2 M     D i k t i   t h r o u g h   Y o u n g   L e c t u r e r   R e s e a r c h   G r a n t   w i t h   c o n t r a c t   n u m b e r   0 0 2 6 / S P 2 H - P D M / O o 7 / K L . 1 / I I / 2 0 1 0 .       R e f e r e n c e s   [ 1 ]     N i l l s o n   N J .   Sh a k e y   t h e   R o b o t .     AI   C e n t e r .   SR I   I n t e r n a t i o n a l .   T e c h n i c a l   N o t e   3 2 3 .   1 9 8 4 .   [ 2 ]   Br o o k s   R .   R o b u s t   L a y e r e d   C o n t r o l   Sy s t e m   F o r   a   M o b i l e   R o b o t .     I EEE  J o u r n a l   o f   R o b o t i c s   a n d   Au t o m a t i o n .   1 9 8 6 ;   2 ( 1 ) :   1 4     2 3 .   [ 3 ]   A r k i n   R C .   M o t o r   S c h e m a   B a s e d   N a v i g a t i o n   f o r   a   M o b i l e   R o b o t   :   a n   A p p r o a c h   t o   P r o g r a m m i n g   b y   B e h a v i o r .   I E E E   I n t .   C o n f .   o n   R o b o t i c s   a n d   A u t o m a t i o n .   1 9 8 7 :   2 6 4 - 2 7 1 .   [ 4 ]     A r k i n   R C .   B e h a v i o r - B a s e d   R o b o t i c s .   E n g l a n d :   B r a d f o r d   B o o k s .   1 9 9 8 .   [ 5 ]   Pi r j a n i a n   P.   B e h a v i o r   c o o r d i n a t i o n   m e c h a n i s m s :   St a t e - o f - t h e - a r t .   U n i v .   So u t h e r n   C a l i f o r n i a .   T e c h n i c a l   R e p o r t   I R I S - 9 9 - 3 7 5 .   1 9 9 9 .   [ 6 ]   S u t t o n   R S ,   B a r t o   A G .   R e i n f o r c e m e n t   L e a r n i n g :   a n   I n t r o d u c t i o n .   M a s s a c h u s e t s :   M I T   P r e s s .   1 9 9 8 .   [ 7 ]     Er d e n   M S,   L e b l e b i c o g l u   K .   F r e e   g a i t   g e n e r a t i o n   w i t h   r e i n f o r c e m e n t   l e a r n i n g   f o r   a   s i x - l e g g e d   r o b o t .   R o b o t i c s   a n d   A u t o n o m o u s   S y s t e m s .   2 0 0 8 ;   5 6   :   p p . 1 9 9 2 1 2 .   [ 8 ]   Kr o e m e r   O B,   D e t r y   R ,   Pi a t e r   J ,   Pe t e r s   J .   C o m b i n i n g   a c t i v e   l e a r n i n g   a n d   r e a c t i v e   c o n t r o l   f o r   r o b o t   g r a s p i n g .   R o b o t i c s   a n d   Au t o n o m o u s   S y s t e m s .   2 0 1 0 ;   5 8 ( 1 0 )   :   p p . 1 1 0 5 1 1 1 6 .   [ 9 ]   W a t k i n s   C ,   D a y a n   P.   Q - l e a r n i n g :   T e c h n i c a l   N o t e .   M a c h i n e   L e a r n i n g .   1 9 9 2 ;   8 :   2 7 9 - 2 9 2 .   [ 1 0 ]   P e r e z   M C .   A   P r o p o s a l   o f   B e h a v i o r   B a s e d   C o n t r o l   A r c h i t e c t u r e   w i t h   R e i n f o r c e m e n t   L e a r n i n g   f o r   a n   A u t o n o m o u s   U n d e r w a t e r   R o b o t .   P h . D . T h e s i s .   G i r o n a :   U n i v e r s i t y   o f   G i r o n a ;   2 0 0 3 .   [ 1 1 ]     W i c a k s o n o   H ,   Pr i h a s t o n o ,   An a m   K,   Ku s w a d i   K,   Ef f e n d i e   R ,   J a z i d i e   A,   Su l i s t i j o n o   I A ,   Sa m p e i   M .   M o d i f i e d   F u z z y   Be h a v i o r   C o o r d i n a t i o n   f o r   Au t o n o m o u s   M o b i l e   R o b o t   N a v i g a t i o n   S y s t e m .   Pr o c .   o f   I C C AS - SI C E .   F u k u o k a .   2 0 0 9 .   [ 1 2 ]     An a m   K. ,   K u s w a d i   S.   Be h a v i o r   Ba s e d   C o n t r o l   a n d   F u z z y   Q - L e a r n i n g   F o r   Au t o n o m o u s   M o b i l e   R o b o t   N a v i g a t i o n .   Pr o c e e d i n g   o f     T h e   4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   C o m m u n i c a t i o n   T e c h n o l o g y   a n d   Sy s t e m s   ( I C T S) .   Su r a b a y a .   2 0 0 8 .   [ 1 3 ]   Kn u d o s n   M ,   T u m e r   K.   Ad a p t i v e   n a v i g a t i o n   f o r   a u t o n o m o u s   r o b o t s .   R o b o t i c s   a n d   Au t o n o m o u s   Sy s t e m s .   2 0 1 1 ;   5 9   :   4 1 0 - 4 2 0 .   [ 1 4 ]     H o h l   L ,   T e l l e z   R ,   M i c h e l   O ,   I j s p e e r t   AJ .   Ai b o   a n d W e b o t s :   Si m u l a t i o n ,   w i r e l e s s   r e m o t e   c o n t r o l   a n d   c o n t r o l l e r   t r a n s f e r .   R o b o t i c s   a n d   Au t o n o m o u s   S y s t e m s .   2 0 0 6 ;   5 4 ( 6 ) :   4 7 2 4 8 5 .     [ 1 5 ]     O l i v e i r a   G ,   S i l v a   R ,   L i r a   T ,   R e i s   L P.   En v i r o n m e n t   M a p p i n g   u s i n g   t h e   L e g o   M i n d s t o r m s   N XT   a n d   l e J O N XJ .     EPI A .   2 0 0 9 .     [ 1 6 ]     Be n e d e t t e l l i   D . ,   C e c c a r e l l i   N . ,   G a r u l l i   A. ,   G i a n n i t r a p a n i   A.   Ex p e r i m e n t a l   v a l i d a t i o n   o f   c o l l e c t i v e   c i r c u l a r   m o t i o n   f o r   n o n h o l o n o m i c   m u l t i - v e h i c l e   s y s t e m s .   R o b o t i c s   a n d   Au t o n o m o u s   Sy s t e m s .   2 0 1 0 ;   5 8 ( 8 ) :   1 0 2 8 - 1 0 3 6 .   [ 1 7 ]   Ad r i a n s y a h   A.   Se b u a h   M o d e l   Be r b a s i s   Pe n g e t a h u a n   u n t u k   Pe n g e n d a l i a n   F o r m a s i   Si s t e m   R o b o t   M a j e m u k .   T EL KO M N I KA  I n d o n e s i a n   J o u r n a l   o f   El e c t r i c a l   En g i n e e r i n g .   2 0 1 0 ;   8 ( 2 ) :   8 1 8 6 .   [ 1 9 ]   D j a j a d i   A,   L a o d a   F ,   R u s y a d i   R ,   Pr a j o g o   T ,   Si n a g a   M .   M o d e l   V i s i o n   o f   So r t i n g   Sy s t e m   Ap p l i c a t i o n   U s i n g   R o b o t i c   M a n i p u l a t o r .   T EL KO M N I KA  I n d o n e s i a n   J o u r n a l   o f   El e c t r i c a l   En g i n e e r i n g .   2 0 1 0 ;   8 ( 2 ) :   1 3 7 1 4 8 .   [ 2 0 ]   L e f f l e r   BR ,   M a n s l e y   C R ,   L i t t m a n   M L .   Ef f i c i e n t   L e a r n i n g   o f   D y n a m i c s   M o d e l s   u s i n g   T e r r a i n   C l a s s i f i c a t i o n .   Pr o c e e d i n g s   o f   t h e   I n t e r n a t i o n a l   W o r k s h o p   o n   Ev o l u t i o n a r y   a n d   R e i n f o r c e m e n t   L e a r n i n g   f o r   Au t o n o m o u s   R o b o t   Sy s t e m s .   2 0 0 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.