I S S N :   1 6 9 3 - 6 9 3 0   Te r a k r e d i t a s i   D I K TI ,   S K   N o :   5 1 / D I K TI / K e p / 2 0 1 0             1 3 7       A   M o d e l   V i s i o n   o f   S o r t i n g   S y s t e m   A p p l i c a t i o n   U s i n g   R o b o t i c   M a n i p u l a t o r   ( A r k o   D j a j a d i )   A   M O D E L   V I S I O N   O F   S O R T I N G   S Y S T E M   A P P L I C A T I O N     U S I N G   R O B O T I C   M A N I P U L A T O R       A r k D j a j a di ,   Fi ona   La od a ,   R us m a R us y a di ,   Tut u k P r a j ogo ,   M a r a l S i na ga   M e c h a t r o n i c s   D e p a r t m e n t ,   Fa c u l t y   o f   E n g i n e e r i n g ,   S w i s s   G e r m a n   U n i v e r s i t y   E d u To w n   B S D   C i t y ,   Ta n g e r a n g   1 5 3 3 9 ,   I n d o n e s i a   e - m a i l :   a r k o @ s g u . a c . i d       A bs t r a k   P e n g o l a h a n   c i t r a   m e r u p a k a n   s a l a h   s a t u   b i d a n g   y a n g   s a a t   i n i   m e m p e r o l e h   b a n y a k   p e r h a t i a n   k a r e n a   k e b e r a d a a n   b i d a n g   i l m u   i n i   t e l a h   m e m b u k a   b a n y a k   p e l u a n g   a k a n   p e n g e m b a n g a n   a p l i k a s i   d i   b i d a n g   l a i n n y a .   Ta n t a n g a n   u t a m a   a d a l a h   b a g a i m a n a   m e m a n f a a t k a n   p e n g o l a h a n   c i t r a   u n t u k   p e n i n g k a t a n   k i n e r j a   s i s t e m   p e r s o r t i r a n   y a n g   t e l a h   a d a   d i   l a b o r a t i r i u m   M o d u l a r   P r o c e s s i n g   S t a t i o n   ( M P S )   y a n g   m e n g g u n d a k a n   k o m b i n a s i   s e n s o r   k a p a s i t i f ,   i n d u k t i f   d a n   o p t i s   u n t u k   m e m b e d a k a n   w a r n a   b e n d a .   M a k a l a h   i n i   m e n g h a d i r k a n   s e b u a h   s o l u s i   m e k a t r o n i k   u n t u k   s i s t e m   p e n g e l o m p o k a n   w a r n a   d e n g a n   p e n e r a p a n   p e n g o l a h a n   c i t r a .   D i d u k u n g   O p e n C V   s e b a g a i   p u s t a k a   u t a m a   d a n   d i s e r t a i   w e b c a m ,   p u s t a k a   p e n g o l a h a n   c i t r a   m e n d e t e k s i   k e b e r a d a a n   s e b u a h   b e n d a   u n t u k   m e n g a n a l i s a   k a n d u n g a n   i n f o r m a s i   w a r n a   d a n   p o s i s i   d a r i   b e n d a   y a n g   b e r b e n t u k   l i n g k a r a n .   K e d u a   i n f o r m a s i   i n i   d i g u n a k a n   s e b a g a i   d a s a r   p e r i n t a h   y a n g   d i k i r i m   m e l a l u i   s e r i a l   k o m u n i k a s i   k e   r o b o t   ( M i t s u b i s h i   M o v e m a s t e r   R V - M 1 )   u n t u k   m e l a k u k a n   s e r a n g k a i a n   g e r a k a n   d e n g a n   m e k a n i s m e   p e n e m p a t a n   a m b i l - d a n - t a r u h   s e s u a i   w a r n a   d a n   p o s i s i   d a r i   b e n d a   k e r j a .   S e r a n g k a i a n   t e s   m e m b u k t i k a n   b a h w a   s i s t e m   i n i   m e m b e r i k a n   k i n e r j a   d e n g a n   t i n g k a t   a k u r a s i   1 0 0 %   d a l a m   m e n g a n a l i s a   b e n d a   b e r b e n t u k   l i n g k a r a n   d a n   m e n g e n a l i   t i g a   s p e s i f i k   w a r n a ,   s i l v e r ,   m e r a h   d a n   h i t a m   p a d a   k o n d i s i   p e n e r a n g a n   y a n g   m e m a d a i .   P a d a   k o n d i s i   l a i n n y a   s e p e r t i   p e n g a n a l i s a a n   w a r n a - w a r n a   d i   l u a r   y a n g   s u d a h   d i t e n t u k a n ,   s i s t e m   i n i   m e n c a p a i   t i n g k a t   a k u r a s i   8 0 % .       K a t a   k unc i :   a m b i l - d a n - t a r u h ,   m a n i p u l a t o r   r o b o t ,   O p e n C V ,   p e n g o l a h a n   c i t r a ,   s o r t i r   o b y e k       A bs t r a c t   I m a g e   p r o c e s s i n g   i n   t o d a y s   w o r l d   g r a b s   m a s s i v e   a t t e n t i o n s   a s   i t   l e a d s   t o   p o s s i b i l i t i e s   o f   b r o a d e n   a p p l i c a t i o n   i n   m a n y   f i e l d s   o f   h i g h   t e c h n o l o g y .   Th e   r e a l   c h a l l e n g e   i s   h o w   t o   i m p r o v e   e x i s t i n g   s o r t i n g   s y s t e m   i n   t h e   M o d u l e r   P r o c e s s i n g   S y s t e m   ( M P S )   l a b o r a t i r i u m   w h i c h   c o n s i s t s   o f   f o u r   i n t e g r a t e d   s t a t i o n s   o f   d i s t r i b u t i o n ,   t e s t i n g ,   p r o c e s s i n g   a n d   h a n d l i n g   w i t h   a   n e w   i m a g e   p r o c e s s i n g   f e a t u r e .   E x i s t i n g   s o r t i n g   m e t h o d   u s e s   a   s e t   o f   i n d u c t i v e ,   c a p a c i t i v e   a n d   o p t i c a l   s e n s o r s   d o   d i f f e r e n t i a t e   o b j e c t   c o l o r .   T h i s   p a p e r   p r e s e n t s   a   m e c h a t r o n i c s   c o l o r   s o r t i n g   s y s t e m   s o l u t i o n   w i t h   t h e   a p p l i c a t i o n   o f   i m a g e   p r o c e s s i n g .   S u p p o r t e d   b y   O p e n C V ,   i m a g e   p r o c e s s i n g   p r o c e d u r e   s e n s e s   t h e   c i r c u l a r   o b j e c t s   i n   a n   i m a g e   c a p t u r e d   i n   r e a l t i m e   b y   a   w e b c a m   a n d   t h e n   e x t r a c t s   c o l o r   a n d   p o s i t i o n   i n f o r m a t i o n   o u t   o f   i t .   Th i s   i n f o r m a t i o n   i s   p a s s e d   a s   a   s e q u e n c e   o f   s o r t i n g   c o m m a n d s   t o   t h e   m a n i p u l a t o r   ( M i t s u b i s h i   M o v e m a s t e r   R V - M 1 )   t h a t   d o e s   p i c k - a n d - p l a c e   m e c h a n i s m .   E x t e n s i v e   t e s t i n g   p r o v e s   t h a t   t h i s   c o l o r   b a s e d   o b j e c t   s o r t i n g   s y s t e m   w o r k s   1 0 0 %   a c c u r a t e   u n d e r   i d e a l   c o n d i t i o n   i n   t e r m   o f   a d e q u a t e   i l l u m i n a t i o n ,   c i r c u l a r   o b j e c t s   s h a p e   a n d   c o l o r .   Th e   c i r c u l a r   o b j e c t s   t e s t e d   f o r   s o r t i n g   a r e   s i l v e r ,   r e d   a n d   b l a c k .   Fo r   n o n - i d e a l   c o n d i t i o n ,   s u c h   a s   u n s p e c i f i e d   c o l o r   t h e   a c c u r a c y   r e d u c e s   t o   8 0 % .       K e y w or ds :   i m a g e   p r o c e s s i n g ,   O p e n C V ,   o b j e c t   s o r t i n g ,   p i c k - a n d - p l a c e ,   r o b o t i c   m a n i p u l a t o r       1 .   I N TR O D U C TI O N   I n   t h e   w o r l d   o f   s c i e n c e   a n d   t e c h n o l o g y ,   m o r e   s e e m s   n e v e r   b e   e n o u g h .   F o r   t h e   s a k e   o f   i n t e l l i g e n t   i m p r o v e m e n t   t o   i m p e r s o n a t e   h u m a n s   c a p a b i l i t y ,   n o t   o n l y   m o t o r i c   s k i l l   b u t   a l s o   c o g n i t i v e   a b i l i t i e s ,   s u c h   a s   v i s u a l   p e r c e p t i o n ,   t h e   s y s t e m   t o   a c c o m p l i s h   p e r c e p t i o n   t a s k s   t e n d   t o   b e   m o r e   c o m p l e x   a n d   t e c h n o l o g y   r i c h .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                                I S S N :   1 6 9 3 - 6 9 3 0     TE LK O M N I K A     V o l .   8   N o .   2   A u g u s t u s   2 0 1 0 :     1 3 7     1 4 8   1 3 8 Th e   r e a l   c h a l l e n g e   f a c e d   i n   t h e   l a b   a s   w e l l   a s   i n   i n d u s t r i a l   s e t t i n g   i s   h o w   t o   i m p r o v e   e x i s t i n g   s o r t i n g   s y s t e m   i n   t h e   M o d u l e r   P r o c e s s i n g   S y s t e m   ( M P S )   [ 1 ] ,   [ 2 ] .   Th e   M P S   t y p i c a l l y   c o n s i s t s   o f   4   i n t e g r a t e d   s t a t i o n s   c a l l e d   d i s t r i b u t i o n ,   t e s t i n g ,   p r o c e s s i n g   a n d   h a n d l i n g .   O l d   s o r t i n g   m e t h o d   u s e s   a   s e t   o f   i n d u c t i v e ,   c a p a c i t i v e   a n d   o p t i c a l   s e n s o r s   d o   d i f f e r e n t i a t e   o b j e c t   c o l o r   i n   t h e   t e s t i n g   s t a t i o n .   H a n d l i n g   i s   d o n e   b y   u s i n g   a   p r o g r a m m e d   m a n i p u l a t o r ,   a s   a v a i l a b l e   i n   t h e   M P S   m a n u a l   b o o k .   N o   v i s i o n   c a p a b i l i t y   e x i s t s   i n   t h e   s y s t e m   t o   i m p r o v e   i t s   p e r f o r m a n c e   a n d   f l e x i b i l i t y .   R e p l a c i n g   o r   c o m p l e m e n t i n g   t h e s e   3   s e n s o r s   w i t h   v i s u a l   s e n s o r   i s   l i k e   e n a b l i n g   t h e   e y e s   t o   a   b l i n d   p e r s o n   w a l k i n g   w i t h   s t i c k .   Th i s   i s   t h e   m a i n   o b j e c t i v e   a n d   c o n t r i b u t i o n   o f   t h e   p a p e r .   C o m p u t e r   v i s i o n   i s   d e v e l o p e d   a n d   g e n e r a l l y   u s e d   f o r   s u c h   a p p l i c a t i o n   t h a t   r e q u i r e s   f u n d a m e n t a l   v i s u a l   f u n c t i o n s ,   c a p t u r i n g   a n d   r e c o g n i z i n g   v i s i b l e   o b j e c t s   o r   p a t t e r n   j u s t   l i k e   i n   s o r t i n g   s y s t e m .   I n   o b j e c t   s o r t i n g   s y s t e m   e q u i p p e d   w i t h   c o m p u t e r   v i s i o n ,   t h e   i m a g e   o f   e n v i r o n m e n t   i s   c a p t u r e d   a n d   p r o c e s s e d   t o   o b t a i n   i n f o r m a t i o n   a s   d i c t a t e d   b y   s y s t e m   r e q u i r e m e n t s .   I t   u s u a l l y   t a k e s   d a t a   a b o u t   t h e   c h a r a c t e r i s t i c   o f   w o r k p i e c e s ,   l o c a t i o n   a n d   e v e n   c o l o r .   Th i s   p a p e r   i s   i n t e n d e d   t o   d e s c r i b e s   a   c o l o r   b a s e d   s o r t i n g   s y s t e m   b y   e m p l o y i n g   t h e   a p p l i c a t i o n   o f   i m a g e   p r o c e s s i n g   t o   r e c o g n i z e   o b j e c t s   s h a p e   a n d   c o l o r   a n d   t h e n   t o   g r o u p   t h e   o b j e c t   c o l o r w i s e .   S i m i l a r   b u t   m o r e   b a s i c   g r a d i n g   s y s t e m   o f   l e m o n   u s i n g   v i s i o n   i s   i n   p r o g r e s s   a s   r e p o r t e d   b y   K h o j a s t e h n a z h a n d   [ 3 ] .         2 .   P R O P O S E D   M E TH O D   A N D   A L G O R I TH M   I m a g e   c a n   b e   a s s u m e d   a s   t h e   v i s u a l i z a t i o n   o f   w h a t   v i s i o n   s e n s e s   t h a t   i s   c a p t u r e d   b y   i m a g e   c a p t u r i n g   d e v i c e s .   I m a g e   i s   c o n s i d e r e d   a s   a   t w o   d i m e n s i o n a l   f u n c t i o n   w i t h   v a r i a b l e s   t h a t   r e p r e s e n t   t h e   s p a t i a l   c o o r d i n a t e .   I t   h o l d s   i n f o r m a t i o n   a b o u t   c o l o r   a s   w e l l   a s   s h a p e s .   I n   c o l o r   i m a g e ,   R G B   c o l o r   m o d e l   m i x e s   t h o s e   t h r e e   p r i m e   c o l o r   c o m p o n e n t s ,   r e d ,   g r e e n   a n d   b l u e ,   t o   p r o d u c e   a n o t h e r   c o l o r   [ 4 ] ,   [ 5 ] .   I m a g e   c a p t u r i n g   a n d   p r o c e s s i n g   h a v e   b e e n   u s e d   w i d e l y   i n   d i v e r s e   a p p l i c a t i o n s ,   s u c h   i n   m e d i c a l   a n d   s u r v e i l l a n c e   a p p l i c a t i o n s   [ 7 ] ,   [ 8 ] .       2 . 1 .   C i r c ul a r   S ha pe O bj e c t   D e t e c t i on  M e t ho us i n H ough  Tr a ns f or m   Fo r   o b j e c t   d e t e c t i o n ,   H o u g h   t r a n s f o r m   i s   a   m e t h o d   w i d e l y   u s e d   f o r   o b j e c t   r e c o g n i t i o n   a p p l i c a t i o n s   [ 8 ] - [ 1 0 ] .   R o u g h l y ,   i t   c h e c k s   t h e   l i k e l i n e s s   b e t w e e n   t h e   c l u s t e r   a n d   t h e   o b j e c t   m o d e l   t o   f i n d   w h a t   c l u s t e r   c o r r e s p o n d s   t o   t h a t   o b j e c t   i n   a n   i m a g e .   A t   t h e   b e g i n n i n g ,   t h e   o r i g i n a l   o n e ,   H o u g h   t r a n s f o r m   c o n c e n t r a t e s   o n l y   o n   f i n d i n g   l i n e   b u t   i t   h a s   b e e n   d e v e l o p e d   t o   f i n d   o t h e r   s i m p l e   s h a p e s ,   s u c h   a s   c i r c l e   a n d   e l l i p s e .   I n   a   p l a n e ,   c i r c l e   i s   c h a r a c t e r i z e d   w i t h   c e n t e r   c o o r d i n a t e   ( a , b )   a n d   r a d i u s   r ,   a s   i l l u s t r a t e d   i n   Fi g u r e   1 .         Fi g u r e   1 .   C i r c l e   r e p r e s e n t a t i o n       Th e   m e t h o d   t o   f i n d   t h e   c i r c l e   s h a p e   s t a r t s   w i t h   p r e p r o c e s s i n g .   Th e   i n p u t   i m a g e   h a s   t o   b e   p r o c e s s e d   t o   b e   p r e p a r e d ,   u s i n g   s m o o t h i n g .   Th e n   t h e   i n p u t   i s   t r a n s f o r m e d   i n t o   c i r c l e   p a r a m e t e r   w i t h   r a d i u s   a n d   c e n t e r   r e l a t i o n   a s   i n   E q . 1 .       q q s i n c o s r b y r a x i i + = + =                                                     ( 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
TE LK O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0         A   M o d e l   V i s i o n   o f   S o r t i n g   S y s t e m   A p p l i c a t i o n   U s i n g   R o b o t i c   M a n i p u l a t o r   ( A r k o   D j a j a d i )   1 3 9 C l a s s i c a l   w a y ,   t h e   c i r c l e   i s   c h a r a c t e r i z e d   b y   u s i n g   t h r e e   p a r a m e t e r   ( x ,   y ,   r ) .   Th e   c i r c u l a r   s h a p e   c a n   b e   d e f i n e d   a f t e r   e d g e   d e t e c t i o n   p h a s e .   E d g e s   d e t e c t e d   w i l l   c o n t r i b u t e   c i r c l e s   w i t h   c e r t a i n   r a d i u s .   Th e   p o i n t   w i t h   t h e   m o s t   i n t e r c e p t i o n   f r o m   c i r c l e s   i s   t h e   c e n t e r   c o o r d i n a t e .       2 . 2 .   O bj e c t   H a ndl i ng  M e t hod  us i ng  R obot   M a ni p u l a t or   M i t s u bi s hi   M ov e m a s t e r   R V - M 1   A   p a c k a g e   o f   M i t s u b i s h i   M o v e m a s t e r   R V - M 1   c o n s i s t s   o f   a   r o b o t   a r m   w i t h   g r i p p e r   h a n d ,   t e a c h i n g   b o x ,   d r i v e   u n i t s   a n d   a l s o   t h e   m a n u a l   [ 1 ] ,   [ 2 ] .   I t   i s   a n   i n d u s t r i a l   a r t i c u l a t e d   5 - a x i s   r o b o t   w i t h   w a i s t ,   s h o u l d e r ,   e l b o w ,   w r i s t   p i t c h   a n d   w r i s t   r o l l ,   a s   p a r t   o f   M o d u l a r   P r o c e s s i n g   S t a t i o n   ( M P S )   i n   t h e   l a b o r a t o r y ,   a s   s h o w n   i n   Fi g u r e   2 .   I t   c a n   b e   c o n t r o l l e d   b y   u s i n g   a   p e r s o n a l   c o m p u t e r   c o n f i g u r a t i o n   w h e r e   a l l   c o m m a n d s   a n d   d e c i s i o n s   a r e   m a d e   i n   c o m p u t e r   a s   d i r e c t   e x e c u t i o n   m o d e .   R S - 2 3 2 C   i n t e r f a c e   i s   u s e d   b e t w e e n   t h e   P C   a n d   t h e   d r i v e   u n i t   f o r   t h i s   p u r p o s e ,   a s   s h o w n   i n   Fi g u r e   3 .           Fi g u r e   2 .   R o b o t   M i t s u b i s h i   M o v e m a s t e r   R V - M 1           Fi g u r e   3 .   S y s t e m   d e s i g n   o v e r v i e w   Evaluation Warning : The document was created with Spire.PDF for Python.
                                                I S S N :   1 6 9 3 - 6 9 3 0     TE LK O M N I K A     V o l .   8   N o .   2   A u g u s t u s   2 0 1 0 :     1 3 7     1 4 8   1 4 0 3 .   R E S E A R C H   M E TH O D   Fi g u r e   3   s h o w s   t w o   m a i n   p a r t s   o f   t h e   s u b s y s t e m ,   i m a g e   p r o c e s s i n g   a n d   h a n d l i n g   s u b s y s t e m .   I n   i m a g e   p r o c e s s i n g ,   t h e   w e b c a m   c a p t u r e s   i n   r e a l t i m e   t h e   c o n d i t i o n   o f   w o r k p i e c e s .   Th i s   p i c t u r e   c a p t u r e d   i s   p a s s e d   t h r o u g h   n o i s e   r e d u c t i o n   p h a s e   b e f o r e   i t   i s   p r o c e s s e d   t o   g e t   d a t a   a b o u t   p o s i t i o n   a n d   c o l o r .   Th e   d a t a   f r o m   t h i s   p r o c e s s   w i l l   b e   t r a n s m i t t e d   a s   p a r t   o f   c o m m a n d s   t o   t h e   d r i v e   u n i t   t o   i n s t r u c t   t h e   M i t s u b i s h i   M o v e m a s t e r   R V - M 1   t o   m o v e   i n   c e r t a i n   p a t t e r n   b a s e d   o n   t h e   c o l o r   a n d   p o s i t i o n   o f   t h e   w o r k p i e c e s   u n d e r   t h e   s o r t i n g   p r o c e s s .   T h a t   s e q u e n c e   o f   c o m m a n d s   w i l l   p i c k   t h e   w o r k p i e c e s ,   o n e   b y   o n e ,   f r o m   t h e   p a l l e t   a n d   s t a c k   t h e m   i n   t h e   m a g a z i n e   b a s e d   o n   t h e i r   c o l o r .   Th e   o v e r a l l   s y s t e m   f l o w c h a r t   i s   g i v e n   i n   Fi g u r e   4   ( a ) ,   i n c l u d i n g   i t s   s o r t i n g   p r o c e s s   f l o w c h a r t   s u b p r o c e s s   i n   i n   Fi g u r e   4   ( b .   Th e   s o r t i n g   p r o c e s s   c a l l s   t h e   i m a g e   p r o c e s s i n g   f l o w c h a r t   i n   F i g u r e   5   a n d   h a n d l i n g   f l o w c h a r t   i n   Fi g u r e   7 .           ( a )               ( b )     Fi g u r e   4 .   S y s t e m   o v e r v i e w   f l o w c h a r t :   ( a ) .   m a i n   p r o g r a m   ( l e f t ) ,   ( b ) .   s o r t i n g   s u b r o u t i n e   ( r i g h t )       3 . 1 .   I m a ge   P r oc e s s i ng  f o r   S ha pe   a nd  C ol or   R e c og ni t i on   Th e   t a s k   o f   i m a g e   p r o c e s s i n g   p a r t   i s   t o   g e t   i n f o r m a t i o n   a b o u t   p o s i t i o n   a n d   c o l o r   o f   t h e   w o r k p i e c e s .   Th e   p o s i t i o n   i s   d e t e r m i n e d   f r o m   t h e   c e n t e r   c o o r d i n a t e   o f   c i r c u l a r   o b j e c t   a n d   c o l o r   i n f o r m a t i o n .   B e f o r e   t h e   c i r c l e   d e t e c t i o n   p h a s e ,   t h e   i n p u t   i m a g e ,   t h e   w o r k p i e c e s   o n   t h e   p a l l e t ,   h a s   t o   g o   t h r o u g h   n o i s e   r e d u c t i o n   p r o c e s s   a s   i t   i s   i l l u s t r a t e d   i n   t h e   Fi g u r e   5 .     N o i s e   r e d u c t i o n   m e t h o d   c l e a n s   t h e   i n p u t   i m a g e   i n   o r d e r   t o   g e t   r i d   o f   n o i s e .   I n   t h i s   p r o c e s s ,   t h e   i n p u t   i m a g e   i s   s e g m e n t e d   t o   g e t   o n l y   t h e   o b j e c t s   t o   b e   f o c u s e d   o n .   Th e   p a l l e t   h a s   n i n e   c i r c l e   h o l e s   f o r   t h e   w o r k p i e c e s   s p o t s   a s   s h o w n   i n   Fi g u r e   6 .   H a n d l i n g   t a b l e   h a s   i t s   o w n   s u r f a c e   c o n t o u r .   B a c k g r o u n d   s u b t r a c t i o n   i s   a   m e t h o d   t o   c o m p a r e   t h e   b a c k g r o u n d   i m a g e   a n d   t h e   r e a l   c u r r e n t   i m a g e   t o   f i n d   a n y   d i f f e r e n t .   Tw o   i m a g e s   a r e   t a k e n ;   o n e   i m a g e   g r a b s   t h e   c o n d i t i o n   o f   e m p t y   p a l l e t   a n d   w i t h   t h e   a s s u m p t i o n   t h a t   i t s   i n i t i a l   c o n d i t i o n   d o e s   n o t   c h a n g e .   A n o t h e r   i m a g e   i s   t a k e n   f o r   t h e   c o n d i t i o n   a f t e r   t h e   w o r k p i e c e s   c o m e   i n   t h e   p a l l e t   r a n d o m l y .   I m a g e   d i f f e r e n c i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
TE LK O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0         A   M o d e l   V i s i o n   o f   S o r t i n g   S y s t e m   A p p l i c a t i o n   U s i n g   R o b o t i c   M a n i p u l a t o r   ( A r k o   D j a j a d i )   1 4 1 t e c h n i q u e   s u b t r a c t s   e v e r y   p i x e l   i n   t h e   f i r s t   i m a g e   w i t h   t h e   c o r r e s p o n d i n g   p i x e l   i n   s e c o n d   i m a g e   t h e n   r e m a p p e s   t h e   r e s u l t   i n   a   n e w   i m a g e .   I t   c o n t a i n s   w o r k p i e c e s   i n f o r m a t i o n   c h a n g e s   d u e   t o   t h e   e x i s t e n c e   o f   w o r k p i e c e s   i n   t h e   p a l l e t .   I n   s o m e   c a s e s ,   a d d i t i o n a l   c l e a n   u p   m e t h o d   h a s   t o   b e   a p p l i e d   t o   a s s i s t   t h e   b a c k g r o u n d   s u b t r a c t i o n   p r o c e s s .   E r o s i o n   a n d   d i l a t i o n   a r e   c o m m o n   t e c h n i q u e s   t o   t a k e   o u t   s m a l l   n o i s e .   E r o s i o n   t u r n s   o f f   a l l   p i x e l s   t h a t   w e r e   o n   a n d   d i l a t i o n   w o r k s   t h e   o t h e r   w a y   r o u n d .   Th e   i m p e r f e c t   s u b t r a c t i o n   m a y   l e a v e   s m a l l   n o i s e   a r o u n d   t h e   w o r k p i e c e s   t h a t   s h o u l d   n o t   b e   t h e r e .   N e x t ,   t h e   c l e a n   d i f f e r e n c e   i m a g e   i s   c o v e r t e d   i n t o   a   g r a y   i m a g e   a n d   g e t   s m o o t h e d   b y   G a u s s i a n   k e r n e l .   S m o o t h i n g   p r o c e s s   r e d u c e s   r o u g h   e d g e s   a n d   t h e   i m a g e   i s   r e a d y   f o r   c i r c l e   d e t e c t i o n .     H o u g h   c i r c l e   t r a n s f o r m   m e t h o d   i s   u s e d .   I n   O p e n C V   l i b r a r y ,   c v H o u g h C i r c l e s   i s   t h e   f u n c t i o n   t o   i d e n t i f y   c i r c u l a r   s h a p e   [ 1 1 ] .   C i r c l e   p a r a m e t e r   i s   c e n t e r   c o o r d i n a t e   a n d   r a d i u s .   Th i s   c i r c u l a r   s h a p e   d e t e c t i o n   r e q u i r e s   m o r e   m e m o r y   a n d   t i m e   f o r   t h e   a l g o r i t h m   t o   b e   r u n   c o m p a r e d   t o   t h e   l i n e   d e t e c t i o n .   H o u g h   c i r c l e   t r a n s f o r m   e m p l o y s   g r a d i e n t   m e t h o d   t o   f i n d   t h e   c i r c l e .   I t   f i n d s   t h e   l o c a l   g r a d i e n t   a n d   c h e c k s   t h e   p o s s i b i l i t y   o f   c i r c l e   s h a p e s .   H o u g h   t r a n s f o r m   b e g i n s   w i t h   a n   e d g e   d e t e c t i o n   p r o c e s s .   C o m p l e t i o n   o f   c i r c u l a r   s h a p e   d e t e c t i o n   i s   f o l l o w e d   b y   c o l o r   r e c o g n i t i o n .   C o l o r   r e c o g n i t i o n   t a s k   i s   a   p r o c e s s   t o   d e t e r m i n e   t h e   d o m i n a n t   c o l o r   i n   t h e   c i r c l e   a s   i t   i s   i l l u s t r a t e d   i n   Fi g u r e   6 .   Th e   m e t h o d   t o   d e f i n e   t h e   c o l o r   i n   t h i s   p a p e r   i s   b y   c o m p a r i n g   t h e   3   b a s i c   c o l o r   v a l u e s   o f   R ,   G ,   a n d   B   o n e   t o   a n o t h e r .                 Fi g u r e   5 .   I m a g e   p r o c e s s i n g   f l o w c h a r t .         Fi g u r e   6 .   C o l o r   a n a l y s i s       Th e   w o r k p i e c e s   h a v e   t h r e e   d i f f e r e n t   a c t u a l   c o l o r s ,   r e d ,   s i l v e r   a n d   b l a c k   t h a t   h a s   t o   b e   r e c o g n i z e d .   Fo r   e a c h   c o l o r ,   t h e   c o m b i n a t i o n   o f   R G B   v a l u e   h a s   t o   b e   a n a l y z e s   t o   d e t e r m i n e   t h e   c o l o r   o f   d e t e c t e d   w o r k p i e c e s .   Th e   v a l u e   o f   t h e   R G B   d e p e n d s   o n   t h e   i n t e n s i t y   i f   t h e   i m a g e .   P e r c e n t a g e   m e t h o d   m i g h t   b e   f r i e n d l i e r   f o r   t h i s   j o b .   T h e   i d e a   o f   t h i s   m e t h o d   i s   b y   t a k i n g   t h e   v a l u e   o f   e a c h   R G B   i n   a   p i x e l   a n d   t h e n   c a l c u l a t e s   t h e   p e r c e n t a g e   o f   e a c h   c o l o r   i n   t h a t   p i x e l .   Th i s   c a l c u l a t i o n   r e s u l t s   i n   h o w   m u c h   p o r t i o n   o f   t h a t   b a s i c   c o l o r   o u t   o f   t h e   w h o l e   i n t e n s i t y   i n   o n e   p i x e l .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                                I S S N :   1 6 9 3 - 6 9 3 0     TE LK O M N I K A     V o l .   8   N o .   2   A u g u s t u s   2 0 1 0 :     1 3 7     1 4 8   1 4 2 % 1 0 0 % * + + = B G R R R   % 1 0 0 % * + + = B G R G G   % 1 0 0 % * + + = B G R B B     ( 2 )     Th i s   p e r c e n t a g e   r e p r e s e n t a t i o n   g i v e s   b e t t e r   i l l u s t r a t i o n   a b o u t   t h e   a m o u n t   o f   b a s i c   c o l o r   i n   o n e   p i x e l   c o m p a r e   t o   t h e   r e a l   v a l u e   o f   t h e   c o l o r .   T h e   p e r c e n t a g e   v a l u e   i s   n o t   t a k e n   n o t   o n l y   i n   o n e   p i n t   b u t   i n   a r e a   a r o u n d   c e n t e r   c o o r d i n a t e .   Th e   a v e r a g e d   v a l u e   w i l l   b e   u s e d   a s   f i n a l   c o l o r   r e s u l t .       3 . 2 .   H a ndl i n a nd  S o r t i n   A s   s h o w n   i n   Fi g u r e   7 ,   t h e   h a n d l i n g   s u b s y s t e m   d o e s   t h e   p i c k - a n d - p l a c e   m e c h a n i s m   a n d   i t   i s   r e p e a t e d   u n t i l l   n o   w o r k p i e c e s   i s   l e f t .   E x c e p t   f o r   c o n t i n o u s   c y c l e ,   i t   o n l y   t a k e s   o n e   s i n g l e   o b j e c t .   Th e   i n p u t   f o r   t h e   M i t s u b i s h i   M o v e m a s t e r   R V - M 1   i s   a   s e r i e s   o f   c o m m a n d s   t h a t   c r e a t e s   m o v e m e n t s   f r o m   o n e   p o s i t i o n   t o   a n o t h e r   p o s i t i o n .                                 Fi g u r e   7 .   H a n d l i n g   Fl o w c h a r t   Fi g u r e   8 .   P o s i t i o n   D e s i g n a t i o n   f o r   P a l l e t             Fi g u r e   9 .   P o s i t i o n   D e s i g n a t i o n   f o r   M a g a z i n e s   a n d   W o r k p i e c e s       Th e   p o s i t i o n   c o m e s   f r o m   t h e   w o r k p i e c e s   l o c a t i o n   a n d   c o l o r .   I n   Fi g u r e   8 ,   t h e   c e n t e r   c o o r d i n a t e   f r o m   c v H o u g h C i r c l e s   i s   c l a s s i f i e d   i n t o   n i n e   p o s s i b l e   p o s i t i o n s   i n   t h e   p a l l e t .   Th e   p a l l e t   i s   d i v i d e d   i n t o   n i n e   a r e a s   f o r   n u m b e r i n g   t h e   p o s i t i o n .   M a r k s   a r e   d e f i n e d   i n   t h e   p a l l e t   t o   c l a s s i f y   Evaluation Warning : The document was created with Spire.PDF for Python.
TE LK O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0         A   M o d e l   V i s i o n   o f   S o r t i n g   S y s t e m   A p p l i c a t i o n   U s i n g   R o b o t i c   M a n i p u l a t o r   ( A r k o   D j a j a d i )   1 4 3 t o   w h a t   p o s i t i o n   t h a t   t h e   c e n t e r   p o i n t   b e l o n g   t o .   F o r   e x a m p l e ,   w h e n   t h e   p i x e l   o f   c e n t e r   p o i n t   i s   s m a l l e r   t h a n   x 1   a n d   y 1   t h e n   t h e   p o s i t i o n   n u m b e r   i s   1 1 .     Th e   i n f o r m a t i o n   a b o u t   c o l o r   a r e   i n t e r p r e t e d   i n   s e r i e s   o f   p o s i t i o n   t o o   t h a t   w i l l   d e f i n e   t o   w h i c h   m a g a z i n e   t h e   w o r k p i e c e s   w i l l   b e   s t a c k e d .   Th e   n u m b e r e d   m a g a z i n e s   a n d   w o r k p i e c e s   a r e   i l l u s t r a t e d   i n   Fi g u r e   9 .   E a c h   m a g a z i n e   h o l d s   o n e   c o l o r   f o r   t h r e e   d i f f e r e n t   s p e c i f i e d   c o l o r s .   Th e   f o u r t h   m a g a z i n e   i s   d e d i c a t e d   f o r   r e j e c t e d   o b j e c t   w h e n   t h e   c o l o r s   c h a r a c t e r i s t i c   i s   n e i t h e r   r e d ,   s i l v e r   n o r   b l a c k   w o r k p i e c e s .   Th o s e   t w o   n u m b e r s ,   p i c k   p o s i t i o n s   i n   p a l l e t   a n d   p l a c e   p o s i t i o n s   i n   m a g a z i n e s ,   a r e   u s e d   i n   t h e   c o m m a n d   c o m b i n e d   w i t h   a n o t h e r   c o m m a n d   t o   h a v e   a   c o m p l e t e   p i c k - a n d - p l a c e   m e c h a n i s m   t o   m o v e   r a n d o m l y   p l a c e d   w o r k p i e c e s   f r o m   s o u r c e   p a l l e t   t o   s o r t e d   d e s t i n a t i o n   m a g a z i n e .       4 .   R E S U LTS   A N D   D I S C U S S I O N   A l l   p r o c e s s e s   a n d   e x p e r i m e n t s   a r e   a p p l i e d   t o   t h e   s p e c i f i e d   o b j e c t s   r e c o g n i t i o n   w h i c h   h a v e   c i r c u l a r   s h a p e   i n   t h e   s u r f a c e   a n d   t h r e e   d i f f e r e n t   c o l o r   w h i c h   i s   r e d ,   b l a c k   a n d   s i l v e r .   Th e   o v e r a l l   s y s t e m   i s   s h o w n   Fi g u r e   3   a n d   Fi g u r e   1 0 .   T h e r e   a r e   t w o   m a i n   m o d e s   o f   e x p e r i m e n t s ,   n a m e l y   s i n g l e   a n d   c o n t i n u o u s   m o d e s ,   a s   i l l u s t r a t e d   i n   t h e   f l o w c h a r t   o f   Fi g u r e   4 ,   5   a n d   7   e a r l i e r .             Fi g u r e   1 0 .   S y s t e m   o v e r v i e w           ( a )         ( b )     Fi g u r e   1 1 .   C i r c l e   d e t e c t i o n   w i t h   b a c k g r o u n d   s u b t r a c t i o n :   ( a )   f u l l   p a l l e t ,   ( b )   p a r t l y   f u l l   p a l l e t       Evaluation Warning : The document was created with Spire.PDF for Python.
                                                I S S N :   1 6 9 3 - 6 9 3 0     TE LK O M N I K A     V o l .   8   N o .   2   A u g u s t u s   2 0 1 0 :     1 3 7     1 4 8   1 4 4 Ta b l e   1 .   R e s u l t s   o f   s i n g l e   m o d e   c i r c l e   d e t e c t i o n   N u m b e r   o f   W o r k p i e c e s   G i v e n   N u m b e r   o f   W o r k p i e c e s   D e t e c t e d   E m p t y   P a l l e t   O u t s i d e   o f   P a l l e t   1   1   0   0   2   2   0   0   3   3   0   0   4   4   0   0   5   5   0   0   6   6   0   0   7   7   0   0   8   8   0   0   9   9   0   0       4 . 1 .   S i ngl e   M ode   O pe r a t i on  U s i ng  I m a ge   D i f f e r e n c i ng    I n   a   s i n g l e   m o d e   s y s t e m ,   a   b a c k g r o u n d   i m a g e   o f   e m p t y   p a l l e t   i s   t a k e n   o n l y   o n e   t i m e   j u s t   r i g h t   b e f o r e   t h e   c u r r e n t   i m a g e .   I m a g e   s u b s t r a c t i o n   i s   a p p l i e d   t o   t h e   c u r r e n t   a g a i n s t   b a c k g r o u n d   i m a g e .   Th e   m a n i p u l a t o r   h a n d l e s   a l l   w o r k p i e c e s   d e t e c t e d   i n   t h e   i m a g e .   Fi g u r e   1 1   s h o w s   p a l l e t s   w i t h   f u l l   a n d   p a r t i a l l y   f u l l   w o r k p i e c e s   t o   b e   c o m p a r e d   w i t h   a n   e m p t y   b a c k g r o u n d   p a l l e t .   Ta b l e   1   s h o w s   t h e   r e s u l t s   o f   d e t e c t i o n .   A f t e r   e x p e r i m e n t s   o f   v a r i o u s   f u l l y   a n d   n o t   f u l l y   p a l l e t ,   t h e   r e s u l t s   i n d i c a t e   t h a t   t h i s   i m a g e   s u b t r a c t i o n   a n d   o b j e c t   d e t e c t i o n   g i v e s   1 0 0 %   a c c u r a c y .   N o n e   o f   t h e   c i r c l e   w a s   f o u n d   i n   e m p t y   p a l l e t   n o r   o u t s i d e   t h e   p a l l e t .     4 . 2 .   C ont i nu ous   M ode   O pe r a t i o U s i ng  I m a ge   D i f f e r e n c i ng  a n E r os i on    I n   c o n t i n u o u s   m o d e   s e l e c t i o n ,   t h e   s o r t i n g   s y s t e m   h a n d l e s   o n e   o b j e c t   a n d   m o v e s   b a c k   t o   i n i t i a l   p o s i t i o n   t o   c a p t u r e   a n o t h e r   i m a g e .   Th e   b a c k g r o u n d   i s   t a k e n   o n e   t i m e   i n   t h e   b e g i n n i n g   o f   t h e   w h o l e   p r o c e s s .   Th e   c u r r e n t   i m a g e s   a r e   t a k e n   a f t e r   t h e   m a n i p u l a t o r   h a s   f i n i s h e d   h a n d l i n g   o n e   w o r k p i e c e .   A s   t h e   m a n i p u l a t o r   h a s   d o n e   m o v e m e n t s ,   t h e   e x a c t   w e b c a m   p o s i t i o n   c o u l d   s h i f t   s l i g h t l y   d u e   t o   m e c h a n i c a l   i n p e r f e c t i o n   o f   t h e   r o b o t   m a n i p u l a t o r .   I n   t h i s   c a s e ,   t h e r e   w i l l   b e   i m a g e   s h i f t i n g   e f f e c t s   t h a t   a c t   a s   n o i s e s   a n d   d i s t u r b   t h e   c i r c l e   d e t e c t i o n   r o u t i n e .   Th e   i m a g e   s h i f t i n g   g a v e   n o i s e s   a s   t h e   b a c k g r o u n d   s u b t r a c t i o n   i s   n o t   c l e a n   e n o u g h   i n   r e m o v i n g   a l l   n o i s e s .   T h e   s o l u t i o n   w a s   e r o s i o n   t e c h n i q u e   t o   c l e a n   t h e   i m a g e   [ 4 ] ,   [ 5 ] ,   [ 1 1 ] .     Th e   R e s u l t   c a n   b e   s e e n   i n   Fi g u r e   1 2 .   A s   s h o w n   Fi g u r e   1 2 . a ,   b e f o r e   t h e   e r o s i o n   t h e   i m a g e   s u b s t r a c t i o n   i s   r a t h e r   n o i s y   a n d   c i r c l e   d e t e c t e d   w a s   n o t   a c c u r a t e .   N o i s e s   o u t s i d e   t h e   p a l l e t   w e r e   a l s o   s i g n i f i e d   a s   a   c i r c l e .   A f t e r   t h e   e r o s i o n   w a s   a p p l i e d   t o   t h e   i m a g e ,   Fi g u r e   1 2 . b ,   t h e   d e t e c t i o n   p r o c e s s   p e r f o r m e d   a c c u r a t e l y .   A l l   o b j e c t s   w e r e   d e t e c t e d ,   a s   t h e r e   w a s   n o   m o r e   n o i s e   o u t s i d e   t h e   p a l l e t   a r e a .   E r o s i o n   f u n c t i o n   c o r r e c t e d   s u c c e s s f u l l y   t h e   c i r c l e   r e c o g n i z e d   a l o n g   w i t h   t h e   n o i s e   r e m o v a l .   S e v e r a l   e x p e r i m e n t s   w e r e   t a k e n   t o   t e s t   t h e   r e d u c t i o n   a s   a   r e s u l t   o f   e r o s i o n   m e t h o d .     Th e   r o b o t   m a n i p u l a t o r   w a s   m o v e d   t o   s o m e   p i c k - p o s i t i o n s   a n d   r e t u r n e d   t o   h o m e - p o s i t i o n .                 ( a )   ( b )     Fi g u r e   1 2 .   C i r c l e   d e t e c t i o n   w i t h   e r o s i o n   i n   f u l l   p a l l e t :   ( a ) .   b e f o r e   e r o s i o n ,   ( b ) .   a f t e r   e r o s i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
TE LK O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0         A   M o d e l   V i s i o n   o f   S o r t i n g   S y s t e m   A p p l i c a t i o n   U s i n g   R o b o t i c   M a n i p u l a t o r   ( A r k o   D j a j a d i )   1 4 5 Ta b l e   2 .   R e s u l t s   o f   c o n t i n u o u s   m o d e   c i r c l e   d e t e c t i o n   N u m b e r   o f   w o r k p i e c e s   g i v e n   N u m b e r   o f   c i r c l e   d e t e c t e d   R e s u l t s   a c c u r a c y   b e f o r e   e r o s i o n     a f t e r   e r o s i o n   0   1 1   0   1 0 0   %   6   0   1 0 0   %   9   0   1 0 0   %   1   1 4   1   1 0 0   %   1 5   1   1 0 0   %   1 5   0   0   %   9   1 3   9   1 0 0   %   1 7   9   1 0 0   %   1 5   9   1 0 0   %   1 5   9   1 0 0   %           Ta b l e   2   c o n t a i n s   t h e   d a t a   o f   c i r c l e   f o u n d   b e f o r e   a n d   a f t e r   e r o s i o n   f o r   c o n t i n u o u s   m o d e .   Th e   e r o s i o n   r e d u c e d   a l l   p r e v i o u s   c i r c l e s   d e t e c t e d   w h e n   t h e   p a l l e t   w a s   e m p t y ,   n o   w o r k p i e c e s .   Fo r   t h e   c a s e   w h e r e   t h e r e   w e r e   w o r k p i e c e s ,   i t   r e s u l t e d   i n   f u l l y   a c c u r a t e   d e t e c t i o n .   H o w e v e r ,   t h e r e   w a s   o n e   c o n d i t i o n   t h a t   d e t e c t s   n o   c i r c l e   w h i l e   a c t u a l l y   t h e r e   w a s   o n e   o b j e c t .   Th i s   e r r o r   w a s   c a u s e d   b y   t h e   i l l u m i n a t i o n   f a c t o r .   Th e   p o s i t i o n   o f   i l l u m i n a t i o n   s o u r c e   c a u s e d   t h e   u p p e r   r i g h t   p o s i t i o n   t o   b e   d a r k e r   s i n c e   i t   w a s   a   l i t t l e   b i t   c o v e r e d   w i t h   s h a d o w   o f   r o b o t   h a n d .   Th a t   d a r k   a r e a   b e c o m e s   e v e n   m o r e   s u r r o u n d e d   b y   z e r o s   p i x e l   s i n c e   t h e   e r o s i o n   b r o a d e n   b l a c k   s p o t .   B y   s e t t i n g   t h e   t a b l e   t o   f a c e   t h e   i l l u m i n a t i o n   s o u r c e ,   t h e   s h a d o w   o f   r o b o t   h a n d   w i l l   n o t   a f f e c t   t h e   p a l l e t   l o c a t i o n ,   t h u s   r e s u l t i n g   i n   b e t t e r   d e t e c t i o n .     4 . 3   C ol or   A n a l y s i s   U s i ng  R G B   P r oc e n t a ge   S e v e r a l   t e s t s   a r e   u s e d   t o   c h e c k   t h e   c o l o r   d e t e c t i o n   c a p a b i l i t y   b a s e d   o n   R G B   p e r c e n t a g e   f o r m u l a e   d e r i v e d   i n   E q .   2 .   Th e   r e s u l t s   o f   n i n e   t i m e s   R G B   a n a l y s i s   i n   a r e a   a r o u n d   c e n t e r   c o o r d i n a t e s   g i v e   c o n s i s t e n t   c o l o r   d e t e c t i o n   f o r   3   s p e c i f i e n d   c o l o r s ,   a s   i n   Ta b l e   3   a n d   Fi g u r e   1 3 .       Ta b l e   3 .   C o l o r   a n a l y s i s   i n   a r e a   a r o u n d   c e n t e r   c o o r d i n a t e :   ( a )   r e d ;   ( b )   b l a c k ;   ( c )   s i l v e r   R e d   % R   % G   % B   6 8 . 8 3   1 2 . 0 5   2 4 . 1 8   6 8 . 1 1   1 3 . 4 4   2 3 . 5 1   7 9 . 1 2   4 . 0 4   2 1 . 9 0   5 8 . 7 5   1 9 . 5 5   2 6 . 7 7   5 5 . 0 2   2 3 . 2 6   2 6 . 7 9   6 2 . 7 3   1 7 . 6 9   2 4 . 6 4   6 2 . 1 7   1 6 . 5 3   2 6 . 3 7   5 1 . 8 8   2 5 . 5 9   2 7 . 9 0   7 1 . 3 6   1 2 . 1 7   2 1 . 5 3     B l a c k   % R   % G   % B   2 0 . 1 9   1 4 . 8 2   7 0 . 0 5   1 8 . 4 8   1 4 . 6 1   7 1 . 9 7   1 1 . 5 2   7 . 5 1   8 6 . 0 2   2 7 . 2 7   2 0 . 7 1   5 7 . 0 8   3 1 . 4 3   2 7 . 3 7   4 6 . 2 6   1 8 . 4 5   1 1 . 6 2   7 4 . 9 9   2 5 . 2 2   2 0 . 8 2   5 9 . 0 3   3 0 . 4 2   2 7 . 1 1   4 7 . 5 3   2 5 . 5 1   2 2 . 8 5   5 6 . 7 0     S i l v e r   % R   % G   % B   8 . 8 1   5 7 . 1 4   3 9 . 1 2   8 . 2 8   5 9 . 4 2   3 7 . 3 7   4 . 8 1   6 2 . 9 3   3 7 . 3 2   2 1 . 5 9   4 5 . 6 3   3 7 . 8 4   1 8 . 1 6   4 9 . 9 4   3 6 . 9 6   6 . 3 7   6 0 . 9 6   3 7 . 7 3   1 9 . 9 1   4 9 . 3 1   3 5 . 8 5   1 4 . 4 3   5 3 . 0 6   3 7 . 5 7   5 . 9 7   6 2 . 4 3   3 6 . 6 6     ( a )   ( b )   ( c )     Th e   r e s u l t   i n   Fi g u r e   1 3   r e l a t e s   c o l o r   d e t e c t i o n   t o   i t s   R G B   v a l u e s   a s   f o l l o w       R e d   o b j e c t s   :   R   >   B   >   G   B l a c k   o b j e c t s :   B   >   R   >   G   S i l v e r   o b j e c t s :   G   >   B   >   R     Th i s   f i n d i n g   i s   f u r t h e r   t e s t e d   t o   t h e   p a l l e t   w i t h   c o m b i n e d   c o l o r   o f   w o r k p i e c e s .   Fi g u r e   1 4   i s   t h e   i n p u t   i m a g e   a n d   Ta b l e   4   i s   t h e   r e c o r d .     4 . 4 .   C om m a nd  Tr a ns m i s s i on  a nd  W o r k pi e c e   H a n dl i ng    Th e   r o b o t   w a s   s e t u p   a s   i n   Fi g u r e   3   a n d   p i c t u r e d   i n   F i g u r e   1 0 .     I t   w a s   o r d e r e d   t o   m o v e   w o r k p i e c e s   b a s e d   o n   t h e   s e q u e n c e   o f   s o m e   r o b o t   c o m m a n d s   f r o m   t h e   l a p t o p ,   a s   l i s t e d   i n     Ta b l e   5   [ 2 ] .   I t   g a v e   w r o n g   r e s u l t   w h e n   a l l   c o m m a n d s   w e r e   s e n t   o n e   a f t e r   a n o t h e r   w i t h o u t   d e l a y .   S o ,   d e l a y   b e t w e e n   c o m m a n d s   h a s   t o   b e   s e t   t o   a l l o w   r o b o t   t o   f i n i s h   o n e   m o v e m e n t   b e f o r e   i t   c a n   a c c e p t   f u r t h e r   c o m m a n d s .   S h o r t   m o v e m e n t ,   s u c h   a s   G C   f o r   g r i p p e r   c l o s e ,   t o o k   l e s s   t i m e   t o   e x e c u t e .   O n   t h e   c o n t r a r y   o t h e r   c o m m a n d s ,   s u c h   a s   N f o r   n e s t i n g ,   t o o k   m u c h   l o n g e r   t i m e   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
                                                I S S N :   1 6 9 3 - 6 9 3 0     TE LK O M N I K A     V o l .   8   N o .   2   A u g u s t u s   2 0 1 0 :     1 3 7     1 4 8   1 4 6 e x e c u t e .   V a r i a b l e   d e l a y   u s i n g   s l e e p ( )   c o m m a n d   w a s   n e e d e d   f o r   e a c h   c o m m a n d ,   b u t   i t   r e d u c e d   t h e   p r o g r a m m i n g   f l e x i b i l i t y .           ( a )   ( b )         ( c )     Fi g u r e   1 3 .   C h a r t s   o f   c o l o r   a n a l y s i s   i n   a r e a   a r o u n d   c e n t e r   c o o r d i n a t e :   ( a )   r e d ,   ( b )   b l a c k ,   ( c )   s i l v e r           ( a )                                                                             ( b )     Fi g u r e   1 4 .   I m a g e   f o r   Fi n a l   C o l o r   A n a l y s i s   b a s e d   o n   f i n d i n g   i n   Fi g u r e   1 3 :     ( a ) .   i m a g e   t e s t e d   ( b ) .   r e f e r e n c e   p o s i t i o n       Ta b l e   4 .   R e s u l t   o f   f i n a l   c o l o r   a n a l y s i s   o f   Fi g u r e   1 4   P o s i t i o n   ( F i g   1 4 . a )   % R   % G   % B   C o l o r   R e c o g n i s e d   a s   C o l o r   d e t e c t i o n   1 1   6 0 . 6 7   1 7 . 6 9   2 6 . 7 0   R e d   O K   1 2   2 3 . 9 7   2 1 . 2 5   5 9 . 8 4   B l a c k   O K   1 3   3 . 1 4   6 0 . 5 5   4 1 . 3 7   S i l v e r   O K   1 4   1 9 . 8 7   4 6 . 3 3   3 8 . 8 7   S i l v e r   O K   1 5   5 3 . 2 0   2 4 . 1 7   2 7 . 7 0   R e d   O K   1 6   2 0 . 9 2   1 8 . 0 3   6 6 . 1 1   B l a c k   O K   1 7   2 2 . 0 1   1 9 . 0 6   6 3 . 9 9   B l a c k   O K   1 8   1 4 . 9 9   5 2 . 6 6   3 7 . 4 1   S i l v e r   O K   1 9   6 7 . 9 5   1 3 . 9 4   2 3 . 1 7   R e d   O K     Evaluation Warning : The document was created with Spire.PDF for Python.