I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E )   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9 ,   p p .   2 3 1 ~ 2 3 6   I S S N :   2 0 8 8 - 8 7 0 8 ,   D O I :   1 0 . 1 1 5 9 1 / i j e c e . v 9 i 1 . p p 2 3 1 - 2 3 6             2 3 1       J o u r n a l   h o m e p a g e :   h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / I J E C E   H i g h   s p e e d   s c r i p t   e x e c u t i o n   f o r   G U I   A u t o m a t i o n   u s i n g   C o m p u t e r   V i s i o n       M   N a r a y a n a 1 ,   R a g h u   R a m   R e d d y   N 2 ,   H y n d a v i   R e d d y   N 3   1 , 3 D e p a r t m e n t   o f   E l e c t r o n i c s   a n d   C o m m u n i c a t i o n   E n g i n e e r i n g ,   V a r d h a m a n   C o l l e g e   o f   E n g i n e e r i n g ,   I n d i a   2 D e p a r t m e n t   o f   E l e c t r o n i c s   a n d   C o m m u n i c a t i o n ,   J a y a p r a k a s h   N a r a y a n   C o l l e g e   o f   E n g i n e e r i n g ,   I n d i a       A r t i c l e   I n f o     A B S T R A C T   A r t i c l e   h i s t o r y :   R e c e i v e d   A p r   1 1 ,   2 0 1 8   R e v i s e d   A u g   1 7 ,   2 0 1 8   A c c e p t e d   S e p   2 ,   2 0 1 8       S o f t w a r e   t e s t i n g   b y   u s i n g   o p e n   s o u r c e   t o o l   l i k e   S e l e n i u m   w i n d o w s   a p p l i c a t i o n s   c a n n o t   b e   a u t o m a t e d ,   c i t r i x   b a s e d   a p p l i c a t i o n s ,   f l a s h   w e b s i t e s   a n d   g a m e s .   C o m p u t e r   v i s i o n   b a s e d   a u t o m a t i o n   t o o l s   c a n   b e   u s e d   t o   a u t o m a t e   t h e s e   k i n d s   o f   a p p l i c a t i o n s .     T h e s e   a u t o m a t i o n   t o o l s   w o r k s   b a s e d   o n   s c r e e n s h o t s   o f   G U I   o b j e c t s   l i k e   b u t t o n ,   r a d i o   b u t t o n ,   t e x t   b o x ,   i m a g e s ,   d r o p d o w n s   e t c .   I n   t h i s   p a p e r   a   p r o t o t y p e   o f   a u t o m a t i o n   t o o l   h a s   b e e n   d e v e l o p e d   w h i c h   c a n   e x e c u t e   t h e   a u t o m a t i o n   s c r i p t s   m u c h   f a s t e r   t h a n   e x i s t i n g   t o o l s   l i k e   S i k u l i ,   w h i c h   t a k e s   m u c h   t i m e   t o   r u n   t h e   A u t o m a t i o n   s c r i p t s .   T h e   e x e c u t i o n   t i m e   c a n   b e   r e d u c e d   b y   u s i n g   t h i s   p r o p o s e d   t o o l .   K e y w o r d s :   A u t o m a t i o n   C o m p u t e r   v i s i o n   G U I   C o p y r i g h t   ©   2 0 1 9   I n s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e .     A l l   r i g h t s   r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   H y n d a v i   R e d d y   N ,     D e p a r t m e n t   o f   C o m p u t e r   S c i e n c e   E n g i n e e r i n g ,   J a y a p r a k e s h   N a r a y a n   C o l l e g e   o f   E n g i n e e r i n g ,   I n d i a .   E m a i l :   r a g h u t r i p l e r @ g m a i l . c o m       1 .   I N T R O D U C T I O N   S o f t w a r e   i s   e v e r y w a r e   i n   t h i s   b u s i n e s s   w o r l d .   S o f t w a r e   t e s t i n g   i s   t h e   p r o c e s s   o f   v a l i d a t i n g   a n d   v e r i f y i n g   t h a t   a   s o f t w a r e   p r o g r a m   o r   p r o d u c t   m e e t s   t h e   b u s i n e s s ,   f u n c t i o n a l ,   t e c h n i c a l   a n d   u s e r   r e q u i r e m e n t   t h a t   g u i d e s   t h e   d e s i g n   a n d   d e v e l o p m e n t .   I t   v e r i f i e s   w h e t h e r   a n   a p p l i c a t i o n   o r   p r o g r a m   w o r k s   a s   e x p e c t e d .   I t   i s   a   p r o c e s s   t h a t   t a k e s   p l a c e   t h r o u g h o u t   t h e   s o f t w a r e   d e v e l o p m e n t   l i f e   c y c l e .   I t   i s   v e r y   i m p o r t a n t   t o   e n s u r e   t h e   q u a l i t y   o f   s o f t w a r e .     A u t o m a t e d   s o f t w a r e   t e s t i n g   [ 1 ]   i s   e s s e n t i a l   b e c a u s e   m a n u a l   t e s t i n g   o f   a l l   t h e   t e s t   c a s e s ,   a l l   t h e   U I   e l e m e n t s ,   a l l   t h e   p o s i t i v e   a n d   n e g a t i v e   s c e n a r i o s   i s   t i m e   a n d   c o s t   c o n s u m i n g .   I t   i s   d i f f i c u l t   t o   t e s t   a   s c e n a r i o   f o r   a   n u m b e r   o f   u s e r s   a n d   w i t h   h u g e   t e s t   d a t a .   I t   d o e s   n o t   r e q u i r e s   h u m a n   i n t e r v e n t i o n   a n d   c a n   b e   e x e c u t e d   u n a t t e n d e d ,   w h i c h   i n c r e a s e s   s p e e d   o f   e x e c u t i o n   a n d   h e l p s   t o   i n c r e a s e   t h e   t e s t   c o v e r a g e .   A u t o m a t e d   s o f t w a r e   t e s t i n g   c a n   b e   u s e d   t o   d o   v a r i o u s   k i n d s   o f   t e s t i n g   l i k e   S m o k e   t e s t i n g ,   R e g r e s s i o n   t e s t i n g   w h i c h   r e d u c e s   l o t   o f   m a n u a l   e f f o r t s .   T h e   p o p u l a r   t o o l s   i n   G U I   a u t o m a t i o n   [ 2 ]   t e s t i n g   a r e   S e l e n i u m   [ 3 ] ,   Q T P   [ 4 ] ,   T e s t   c o m p l e t e ,   C o d e d U I ,   R a n o r e x ,   T e l e r i k   T e s t   s t u d i o   e t c .   T a b l e   1   s h o w s   t h a t   t h e s e   t o o l s   c a n   b e   u s e d   t o   a u t o m a t e   b o t h   w i n d o w s   a n d   W e b   a p p l i c a t i o n s   [ 5 ] .   S e l e n i u m   i s   t h e   m o s t   p o p u l a r   o p e n   s o u r c e   a u t o m a t i o n   t o o l   u s e d   t o   a u t o m a t e   w e b   a p p l i c a t i o n .   T h i s   t o o l   c a n n o t   b e   u s e d   t o   a u t o m a t e   f l a s h   w e b s i t e s   w h e r e   t h e   o b j e c t   I d s   n o t   e x p o s e d   f o r   i d e n t i f y i n g   t h e   o b j e c t s .   W e b s i t e s   w i t h   v i d e o   p l a y e r s ,   M u s i c   p l a y e r s ,   G a m e s   a r e   s o m e   e x a m p l e s   o f   f l a s h   w e b s i t e s .   T o   o v e r c o m e   t h i s   l i m i t a t i o n ,   S i k u l i   [ 6 ]   c a n   b e   u s e d   t o   a u t o m a t e   t h e   f l a s h   w e b s i t e s   a n d   G a m e s .     S i k u l i   w o r k s   b a s e d   o n   T e m p l a t e   m a t c h i n g   [ 7 ]   u s i n g   s c r e e n   s h o t s   [ 8 ]   o f   G U I   o b j e c t s   [ 9 ] .   B u t   t h e   l i m i t a t i o n   o f   S i k u l i   i s   i t   t a k e s   m u c h   t i m e   f o r   o b j e c t   r e c o g n i t i o n   a n d   f a i l s   t o   i d e n t i f y   t h e   o b j e c t   l i k e   b u t t o n ,   l a b e l s ,   d r o p d o w n   e t c .   B e c a u s e   o f   t h i s   i s s u e   t h e r e   a r e   m o r e   c h a n c e s   o f   T e s t   f a i l u r e .   A s   a   r e s u l t   o f   t h i s   t e s t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 3 1   -   2 3 6   2 3 2 e x e c u t i o n   t a k e s   m o r e   t i m e   t h a n   e x p e c t e d .   T h i s   a l s o   i n c r e a s e s   t h e   t i m e   f o r   T e s t   A u t o m a t i o n   e n g i n e e r s   t o   d e v e l o p   a u t o m a t e d   t e s t   c a s e s   [ 1 0 ] .       T a b l e   1 .   C o m p a r i s o n   o f   V a r i o u s   A u t o m a t i o n   T o o l s   a n d   U s a g e   A u t o m a t i o n   T o o l   W i n d o w s   A p p l i c a t i o n   W e b   A p p l i c a t i o n   F l a s h   o b j e c t s   A u t o m a t i o n   S e l e n i u m   N o   Y e s   N o   Q T P   Y e s   Y e s   N o   T e s t   C o m p l e t e   Y e s   Y e s   N o   C o d e d U I   Y e s   Y e s   N o   R a n o r e x   Y e s   Y e s   N o   S i k u l i   Y e s   Y e s   Y e s       2 .   R E L A T E D   W O R K S     F o r   s o f t w a r e   t e s t i n g   t h e r e   a r e   m a n y   t y p e s   o f   t o o l s   l i k e   S e l e n i u m ,   Q T P ,   T e s t   C o m p l e t e   e t c .   T h e s e   k i n d s   o f   t o o l s   c a n   b e   u s e d   f o r   A u t o m a t i n g   W e b   a n d   W i n d o w s   A p p l i c a t i o n s .   T h e s e   t o o l s   a r e   b a s e d   o n   t h e   o b j e c t   p r o p e r t i e s   l i k e   I d ,   c l a s s   n a m e ,   T a g   n a m e ,   t e x t   e t c .   C o m p u t e r   v i s i o n   b a s e d   a u t o m a t i o n   t o o l s   l i k e   S i k u l i   u s e s   i m a g e s   o f   v a r i o u s   G U I   o b j e c t s .   S i k u l i   c a n   b e   u s e d   t o   p e r f o r m   v a r i o u s   a c t i o n s   l i k e   c l i c k ,   d o u b l e   c l i c k ,   e n t e r i n g   t h e   t e x t   i n   t e x t   b o x ,   d r a g   a n d   d r o p   e t c .   S i k u l i   i s   u s e d   t o   a u t o m a t e   t h e   t e s t   c a s e s   u s i n g   t h e   s c r e e n   s h o t s   o f   G U I   o b j e c t s   s u c h   a s   b u t t o n ,   l i n k s ,   r a d i o   b u t t o n s ,   d r o p d o w n s   e t c .   b y   u s i n g   i m a g e   r e c o g n i t i o n   t e c h n i q u e .   I t   i n t e r a c t s   w i t h   t h e   G U I   b y   f i n d i n g   t h e   p o s i t i o n   o f   o b j e c t   i n   G U I   u s i n g   t e m p l a t e .   S i k u l i   a u t o m a t e s   t h e   G U I   i n t e r a c t i o n s   [ 1 1 - 1 2 ]   o f   k e y b o a r d   a n d   m o u s e   e v e n t s   u s i n g   V i s u a l   p a t t e r n s .   T h e   i n p u t   t o   t h e   S i k u l i   i s   t h e   s c r e e n s h o t   o f   v a r i o u s   w e b   e l e m e n t   o r   w i n d o w s   e l e m e n t .   S i k u l i   w i l l   d o   v a r i o u s   a c t i o n s   s u c h   a s   c l i c k ,   d o u b l e   c l i c k ,   d r a g   a n d   d r o p   e t c .   b y   f i n d i n g   t h e   l o c a t i o n   o f   t h e   e l e m e n t s   i n   t h e   u s e r   i n t e r f a c e .   T h e   s c r e e n s h o t s   o f   t h e   v a r i o u s   e l e m e n t s   a r e   s t o r e d   i n   t h e   p r o j e c t   f o l d e r   a n d   p a s s e d   a s   p a r a m e t e r   f o r   d o i n g   v a r i o u s   G U I   i n t e r a c t i o n s .   E v e n   W i n d o w   b a s e d   a p p l i c a t i o n s   c a n   a l s o   b e   a u t o m a t e d   u s i n g   S i k u l i .   I t   p r o v i d e s   v e r y   f r i e n d l y   S i k u l i - s c r i p t . j a r ,   w h i c h   c a n   b e   e a s i l y   u s e d   t o g e t h e r   w i t h   S e l e n i u m   W e b   D r i v e r .   T h e   s c r e e n s h o t s   o f   t h e   v a r i o u s   e l e m e n t s   a r e   s t o r e d   i n   t h e   p r o j e c t   f o l d e r   a n d   p a s s e d   a s   p a r a m e t e r   f o r   d o i n g   v a r i o u s   G U I   i n t e r a c t i o n s   a s   s h o w n   i n   F i g u r e   1 .   W e   c a n   e v e n   a u t o m a t e   A d o b e   V i d e o / A u d i o   p l a y e r ,   F l a s h   G a m e s   o n   t h e   w e b s i t e s   u s i n g   S i k u l i   [ 1 ] .           F i g u r e   1 .   S i k u l i   b l o c k   d i a g r a m       S e l e n i u m   i s   t h e   m o s t   p o p u l a r   o p e n   s o u r c e   a u t o m a t i o n   t o o l   w h i c h   i s   w i d e l y   u s e d   i n   A u t o m a t i o n   t e s t i n g   [ 1 3 ] .   S e l e n i u m   W e b   d r i v e r   i d e n t i f i e s   t h e   o b j e c t s   u s i n g   x p a t h   [ 1 4 ] ,   c s s   s e l e c t o r s ,   u s i n g   i d ,   n a m e ,   c l a s s   n a m e   e t c .   W h e n   a n   o b j e c t   p r o p e r t y   i s   c h a n g e d   t h e n   t h e   t e s t   f a i l s   a s   S e l e n i u m   f a i l e d   t o   i d e n t i f y   t h e   o b j e c t .   I n   t h i s   c a s e   e v e n   t h e   o b j e c t   e x i s t   t h e   t e s t   f a i l e d .   T o   a v o i d   t h i s   k i n d   o f   s i t u a t i o n s   c o m p u t e r   v i s i o n - b a s e d   t o o l s   c a n   b e   v e r y   h e l p f u l   t o   o v e r c o m e   t h i s   k i n d   o f   p r o b l e m s .   W e   c a n   a u t o m a t e   w h a t   w e   a r e   s e e i n g   o n   t h e   s c r e e n .   I t   p r o v i d e s ,   s i m p l e   A P I   i . e .   a l l   t h e   t e s t   c a s e s   a r e   a u t o m a t e d   u s i n g   t h e   s c r e e n s h o t s   o f   t h e   o b j e c t s .   S i k u l i   a u t o m a t e s   t h e   G U I   i n t e r a c t i o n s   o f   k e y b o a r d   a n d   m o u s e   e v e n t s   u s i n g   V i s u a l   p a t t e r n s .   T h e   i n p u t   t o   t h e   S i k u l i   i s   t h e   s c r e e n s h o t   o f   v a r i o u s   w e b   e l e m e n t   o r   w i n d o w s   e l e m e n t .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       R a d i a l   D y n a m i c s   o f   E l e c t r o n s   i n   T w o - S e c t i o n   L i n e a r   A c c e l e r a t o r   ( M   N a r a y a n a )   2 3 3 3 .   P R O P O S E D   S O L U T I O N   I n   t h i s   p a p e r   a   p r o t o t y p e   o f   c o m p u t e r   v i s i o n   b a s e d   a u t o m a t i o n   t o o l   h a s   b e e n   d e v e l o p e d   u s i n g   C + +   a n d   O p e n C V .   I n   t h i s   t h e r e   a r e   t w o   m o d e s   i f   y o u   w a n t   t o   e x e c u t e   t h e   s c r i p t   f a s t e r   s c r e e n s h o t   i s   c o n v e r t e d   t o   g r a y   s c a l e   w h i c h   r e d u c e s   t h e   c a l c u l a t i o n s ,   T e m p l a t e   m a t c h i n g   a l g o r i t h m   o f   c o m p u t e r   v i s i o n   i s   u s e d   t o   d e t e c t   t h e   o b j e c t s   l i k e   b u t t o n   d r o p   d o w n   r a d i o   b u t t o n   c h e c k b o x e s   a n d   i m a g e s   e t c .   T h e   p r o p o s e d   f r a m e w o r k   c a n   s u c c e s s f u l l y   h a n d l e   v a r i o u s   k i n d s   o f   G U I   o b j e c t s   b a s e d   o n   s c r e e n s h o t s   a s   s h o w n   i n   F i g u r e   2 .   T h e   p r o p o s e d   p r o t o t y p e   c a n   b e   u s e d   f o r   a u t o m a t i n g   w i n d o w s   a p p l i c a t i o n s ,   W P F   A p p l i c a t i o n s ,   G a m e s   a n d   C i t r i x   b a s e d   A p p l i c a t i o n s .   B y   e x e c u t i n g   s e v e r a l   t e s t s ,   2 5   t e s t   c a s e s   a r e   e x e c u t e d   u s i n g   b o t h   S i k u l i   a n d   t h e   p r o p o s e d   t o o l   i n   t h e   s i m i l a r   e n v i r o n m e n t   t h e   p r o p o s e d   t o o l   h a s   t a k e n   o n l y   2 9   m i n u t e s   w h e r e a s   S i k u l i   h a s   t a k e n   a r o u n d   3 5   m i n u t e s .             F i g u r e   2 .     P r o p o s e d   b l o c k   d i a g r a m       I n   c o m p u t e r   v i s i o n   T e m p l a t e   m a t c h i n g   i s   a   t e c h n i q u e   f o r   f i n d i n g   t h e   a r e a   i n   t h e   i m a g e   w h i c h   m a t c h e s   w i t h   t h e   t e m p l a t e   i m a g e .   H e r e   w e   n e e d   t w o   i m a g e s .   F i r s t   i m a g e   i s   t h e   S o u r c e   i m a g e   ( I )   a n d   s e c o n d   i m a g e   i s   t h e   T e m p l a t e   I m a g e   ( T ) .   S o u r c e   i m a g e   i s   u s e d   t o   f i n d   t h e   m a t c h i n g   a r e a   w i t h   t h e   t e m p l a t e   i m a g e   [ 1 5 ] .   T e m p l a t e   i m a g e   i s   t h e   i n p u t   i m a g e   f o r   c o m p a r i n g   w i t h   t h e   S o u r c e   i m a g e .   T h e   m a i n   o b j e c t i v e   i s   t o   f i n d   t h e   h i g h e s t   m a t c h i n g   a r e a   o f   t e m p l a t e   i m a g e   ( T )   i n   t h e   S o u r c e   i m a g e .   T o   i d e n t i f y   t h e   m a t c h i n g   a r e a   t h e   t e m p l a t e   i m a g e   i s   c o m p a r e d   w i t h   s o u r c e   i m a g e   b y   s l i d i n g   t h e   i m a g e   p a t c h .   H e r e   p a t c h   i s   m o v e d   o n e   p i x e l   a t   a   t i m e   f r o m   l e f t   t o   r i g h t   a n d   u p   t o   d o w n .   A t   e a c h   l o c a t i o n   a   m e t r i c   i s   c a l c u l a t e d   f o r   T   o v e r   I   a n d   t h e   m e t r i c   i s   s t o r e d   i n   t h e   r e s u l t   m a t r i x   R   [ 1 6 ] .   N o r m a l i z e d   c r o s s   c o r r e l a t i o n   [ 1 7 ]   i s   u s e d   f o r   f i n d i n g   t h e   M a t r i x   R .   T h e   e x a c t   m a t c h   o f   t h e   t e m p l a t e   i s   i d e n t i f i e d   u s i n g   M a t r i x   R .   C h r o m e   i c o n   i m a g e   i s   t h e   i n p u t   i m a g e .   W h e n   t h e   t e m p l a t e   i m a g e   i s   c o m p a r e d   w i t h   s o u r c e   i m a g e   u s i n g   R   M a t r i x ,   t h e   o b j e c t   i s   i d e n t i f i e d   a n d   h i g h l i g h t e d   w i t h   g r e e n   c o l o r .   T h e   h i g h e s t   m a t c h e d   a r e a   i s   i d e n t i f i e d ,   a n d   t h e   m i d p o i n t   o f   t h e   p a t c h   i s   c a l c u l a t e d   i n   t h e   s o u r c e   i m a g e .   B y   u s i n g   t h i s   p o i n t   v a r i o u s   a c t i o n s   a r e   p e r f o r m e d   u s e d   k e y b o a r d   a n d   m o u s e   f o r   v a r i o u s   G U I   I n t e r a c t i o n s   [ 1 8 ] .     R ( x , y ) = ( T ( x , y ) . I ( x + x , y + y ) ) , T ( x , y ) . ,   I ( x + x , y + y ) ,     T ( x , y ) = T ( x , y ) 1 / ( w . h ) . T ( x , y ) ,     I ( x + x , y + y ) = I ( x + x , y + y ) 1 / ( w . h ) . I ( x + x , y + y ) ,       3 . 1 .     H a n d l i n g   k e y b o a r d   K e y b o a r d   i s   h a n d l e d   b y   s i m u l a t i n g   k e y s t r o k e s   u s i n g   v i r t u a l   k e y   c o d e s   o f   v a r i o u s   b u t t o n s   i n   t h e   k e y b o a r d   l i k e   c t r l ( V K _ C O N T R O L ) ,   E n t e r ( V K _ R E T U R N ) ,   S H I F T   k e y ( V K _ S H I F T ) ,   S P A C E B A R ( V K _ S P A C E ) ,   N u m e r i c   k e y p a d   0   k e y ( V K _ N U M P A D ) ,   A L T   k e y ( V K _ M E N U ) ,   e t c .   B y   u s i n g   t h i s   v a r i o u s   a c t i o n s   a r e   p e r f o r m e d   l i k e   e n t e r i n g   t h e   t e x t   i n   t h e   t e x t   b o x ,   c l e a r i n g   t h e   v a l u e s   i n   t h e   T e x t   b o x ,   f o r   g e n e r a t i n g   K e y s t r o k e   o f   E n t e r   b u t t o n   e t c .   V a r i o u s   U t i l i t i e s   h a s   b e e n   c r e a t e d   t o   p e r f o r m   v a r i o u s   a c t i o n s   s u c h   a s   c o p y   p a s t e ,   c u t ,   N a v i g a t i n g   f o r w a r d   a n d   b a c k w a r d   i n   t h e   b r o w s e r   r e f r e s h i n g   t h e   c u r r e n t   p a g e   e t c .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 3 1   -   2 3 6   2 3 4 3 . 2 .     H a n d l i n g   m o u s e   B a s i c   f u n c t i o n   o f   m o u s e   s u c h   a s   l e f t   c l i c k   a n d   r i g h t   c l i c k   a r e   g e n e r a t e d   o n c e   a f t e r   l o c a t i n g   t h e   o b j e c t   u s i n g   t e m p l a t e   m a t c h i n g   a l g o r i t h m   [ 8 ]   b a s e d   o n   t h e   i n p u t s   f r o m   t h e   u s e r .   M i d p o i n t   o f   t h e   t e m p l a t e   i s   i d e n t i f i e d .   V a r i o u s   a c t i o n s   s u c h   a s   d r a g   a n d   d r o p ,   L e f t   c l i c k ,   R i g h t   c l i c k ,   d o u b l e   c l i c k   e t c .   c a n   b e   p e r f o r m e d   f o r   a u t o m a t i n g   a n   a p p l i c a t i o n .   U s e r   c a n   a l s o   c l i c k   o n   t h e   d e s i r e d   l o c a t i o n   o f   t h e   t e m p l a t e   a s   s h o w n   i n   F i g u r e   3 .   T e m p l a t e   i s   d i v i d e d   i n t o   v a r i o u s   q u a d r a n t s   Q 1 ,   Q 2 ,   Q 3 ,   a n d   Q 4   a s   s h o w n   i n   F i g u r e   4 .   F o r   e x a m p l e ,   i f   u s e r   w a n t s   t o   c l i c k   o n   t h e   f i r s t   q u a d r a n t   Q 1   m i d p o i n t ,   Q 1   h a s   t o   b e   p a s s e d   a s   a   p a r a m e t e r   i n   C l i c k   f u n c t i o n .               F i g u r e   3 .   T e m p l a t e   i m a g e   F i g u r e   4 .   T e m p l a t e   q u a d r a n t s       3 . 3 .     H a n d l i n g   m u l t i p l e   o b j e c t s   F o r   f e w   t e s t   s c e n a r i o s   t h e r e   i s   a   c h a n c e   w h e r e   t h e r e   a r e   m u l t i p l e   i d e n t i c a l   t e m p l a t e   o b j e c t s   i n   t h e   s a m e   s c r e e n   a s   s h o w n   i n   F i g u r e   5 .   F o r   t h i s   c a s e   t h e   d e s i r e d   o b j e c t   c a n   b e   i d e n t i f i e d   b a s e d   o n   t h e   p o s i t i o n   o f   t h e   i m a g e .   T o p ,   b o t t o m ,   l e f t ,   r i g h t   p a r a m e t e r s   c a n   b e   u s e d   t o   i d e n t i f y   t h e   o b j e c t s   b a s e d   o n   t h e   p o s i t i o n   i n   t h e   s o u r c e   i m a g e .   I f   t h e   a b o v e   c o n d i t i o n s   d o e s   n o t   s a t i s f y ,   o b j e c t   c a n   b e   i d e n t i f i e d   b a s e d   o n   t h e   p o s i t i o n   o f   t h e   i m a g e s   f r o m   l e f t   t o   r i g h t .   I f   t h e r e   a r e   t w o   o b j e c t s   s i d e   b y   s i d e   i n   t h e   t o p   l e f t   o f   t h e   s c r e e n   t h e n   t h e   o b j e c t   i s   i d e n t i f i e d   b a s e d   o n   t h e   c o u n t   o f   t h e   o b j e c t s .   T h e   t w o   i m a g e s   a r e   i d e n t i f i e d   a s   t o p   l e f t   f i r s t   o b j e c t ,   t o p   l e f t   s e c o n d   o b j e c t   r e s p e c t i v e l y .           F i g u r e   5 .   A n   e x a m p l e   o f   h a n d l i n g   i d e n t i c a l   m u l t i p l e   o b j e c t s   i n   t h e   s a m e   s c r e e n       4 .   R E S U L T S   A N D   D I S C U S S I O N S   F o r   e x e c u t i o n   o f   a u t o m a t e d   t e s t   c a s e s ,   t h e   p r o p o s e d   m o d e l   i s   c o m p a r e d   w i t h   p o p u l a r   o p e n   s o u r c e   t o o l   S i k u l i .   F o r   E x e c u t i o n   o f   e a c h   t e s t   c a s e   t i m e   h a s   b e e n   c a l c u l a t e d .   T h e   t e s t   h a s   b e e n   c o n d u c t e d   o n   b o t h   w i n d o w s   a n d   w e b   a p p l i c a t i o n .   I n   T a b l e   2   t e s t   c a s e s   1 - 4   a r e   r e l a t e d   t o   W i n d o w s   a p p l i c a t i o n   a n d   T e s t   c a s e   5 - 7   a r e   r e l a t e d   t o   w e b   a p p l i c a t i o n .   F o r   S i k u l i   t h e   t o t a l   t i m e   o f   e x e c u t i o n   o f   a u t o m a t e d   s c r i p t s   i s   4 2 5 . 0 9   s e c o n d s   a n d   f o r   p r o p o s e d   m o d e l   i t   h a s   t a k e n   4 0 6 . 0 4   s e c o n d s .   B a s e d   o n   t h e   b e l o w   r e s u l t s   t h e   p r o p o s e d   m o d e l   i s   m u c h   f a s t e r   t h a n   t h e   e x i s t i n g   o p e n   s o u r c e   S i k u l i .   B y   u s i n g   t h e   p r o p o s e d   m o d e l   t e s t   s c r i p t   d e v e l o p m e n t   t i m e   a l s o   c a n   b e   m i n i m i z e d .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       R a d i a l   D y n a m i c s   o f   E l e c t r o n s   i n   T w o - S e c t i o n   L i n e a r   A c c e l e r a t o r   ( M   N a r a y a n a )   2 3 5 T a b l e   2 .   S i k u l i   a n d   P r o p o s e d   M o d e l   T e s t   E x e c u t i o n   S p e e d   C o m p a r i s o n   T e s t   C a s e   n u m b e r   S i k u l i   P r o p o s e d   m o d e l   T e s t   c a s e   1   4 . 5 4   s e c   4 . 3 1   s e c   T e s t   c a s e   2   5 0 . 3 3   s e c   4 7 . 8 9   s e c   T e s t   c a s e   3   2 2 . 5 8   s e c   2 1 . 2 3   s e c   T e s t   c a s e   4   9 0 . 7 3   s e c   8 6 . 2 6   s e c   T e s t   c a s e   5   7 3 . 1 3   s e c   7 0 . 4 6   s e c   T e s t   c a s e   6   9 6 . 2 6   s e c   9 2 . 7 7   s e c   T e s t   c a s e   7   8 7 . 5 2   s e c   8 3 . 1 2   s e c   T o t a l   t i m e   i n   s e c   4 2 5 . 0 9   s e c   4 0 6 . 0 4   s e c       5 .   C O N C L U S I O N   A N D   F U T U R E   S C O P E   I n   t h i s   p a p e r   a   n o v e l   A u t o m a t i o n   f r a m e w o r k   h a s   b e e n   d e v e l o p e d   u s i n g   c o m p u t e r   v i s i o n ,   w h i c h   c a n   a u t o m a t e   w i n d o w s   a p p l i c a t i o n s ,   w e b   a p p l i c a t i o n s ,   f l a s h   w e b s i t e s   a n d   C i t r i x   b a s e d   a p p l i c a t i o n s   a t   h i g h   s p e e d   c o m p a r e d   t o   t h e   o t h e r   o p e n   s o u r c e   t o o l s   l i k e   S i k u l i .   T h e   o b j e c t   d e t e c t i o n   s p e e d   o n   G U I   c a n   b e   i n c r e a s e d   b y   u s i n g   t h e   p r o p o s e d   m o d e l .   T h e   T e s t   e x e c u t i o n   t i m e   f o r   r u n n i n g   t h e   a u t o m a t e d   t e s t   c a s e s   c a n   b e   r e d u c e d   w h i c h   i n c r e a s e s   a c c u r a c y   a n d   r e d u c e s   T i m e   o u t   i s s u e .   T h e r e   i s   a   n e e d   i n   t e s t   a u t o m a t i o n   f o r   t h e   d e v e l o p m e n t   o f   a   f r a m e w o r k   w h i c h   i s   i n d e p e n d e n t   o f   o b j e c t   p r o p e r t i e s   l i k e   I d s ,   x p a t h   a n d   s c r e e n s h o t   o f   o b j e c t s .   O b j e c t s   s h o u l d   b e   i d e n t i f i e d   b a s e d   o n   t h e   t e x t   o f   t h e   o b j e c t s   a n d   i t s   v i s u a l   f e a t u r e s .   F u t u r e   w o r k   f o c u s e s   o n   i d e n t i f y i n g   t h e   G U I   o b j e c t s   u s i n g   t e x t   b a s e d   o n   v a r i o u s   M a c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g   a l g o r i t h m s   w h i c h   h e l p s   t o   r e d u c e   t h e   t i m e   t o   a u t o m a t e   t h e   a p p l i c a t i o n .   B y   u s i n g   m a c h i n e   l e a r n i n g   c o n c e p t s   o b j e c t s   c a n   b e   i d e n t i f i e d   b y   t r a i n i n g   t h e   s c r e e n s h o t s   w i t h   t h e   c l a s s i f i e r s .       R E F E R E N C E S   [ 1 ]   D .   R a j y a   L a k s h m i ,   S .   S u g u n a   M a l l i k a ,   " A   R e v i e w   o n   W e b   A p p l i c a t i o n   T e s t i n g   a n d   i t s   C u r r e n t   R e s e a r c h   D i r e c t i o n s ,   "   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g ,   v o l .   7 ,   p p .   2 1 3 2 - 2 1 4 1 ,   A u g u s t   2 0 1 7   [ 2 ]   L e s h e d ,   G . ,   E .   M .   H a b e r ,   T .   M a t t h e w s ,   a n d   T .   L a u ,   " C o S c r i p t e r :   A u t o m a t i n g   &   S h a r i n g   H o w - t o   K n o w l e d g e   i n   t h e   E n t e r p r i s e ,   "   C o n f e r e n c e   o n   H u m a n   F a c t o r s   i n   C o m p u t i n g   S y s t e m s ,   p .   1 7 1 9 - 1 7 2 8 ,   2 0 0 8 .   [ 3 ]   S .   I n d e r j e e t ,   a n d   T .   B i n d i a ,   " C o m p a r a t i v e   A n a l y s i s   o f   O p e n   S o u r c e   A u t o m a t e d   S o f t w a r e   T e s t i n g   T o o l s :   S e l e n i u m ,   S i k u l i   a n d   W a t i r , "   I n t e r n a t i o n a l   J o u r n a l   o f   I n f o r m a t i o n   &   C o m p u t a t i o n   T e c h n o l o g y ,   v o l .   4 ,   p p .   1 5 0 7 - 1 5 1 8 ,   2 0 1 4 .   [ 4 ]   M o n i k a   S h a r m a ,   R i g z i n   A n g m o ,   W e b   b a s e d   A u t o m a t i o n   T e s t i n g   a n d   T o o l s ,   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   S c i e n c e   a n d   I n f o r m a t i o n   T e c h n o l o g i e s ,   v o l .   5 ,   p p .   9 0 8 - 9 1 2 ,   2 0 1 4 .   [ 5 ]   B o l i n ,   M . ,   M .   W e b b e r ,   P .   R h a ,   T .   W i l s o n ,   a n d   R .   C .   M i l l e r ,   " A u t o m a t i o n   a n d   C u s t o m i z a t i o n   o f   R e n d e r e d   W e b   P a g e s , "   S y m p o s i u m   o n   U s e r   I n t e r f a c e   S o f t w a r e   T e c h n o l o g y ,   p p .   1 6 3 - 1 7 2 ,   2 0 1 4 .   [ 6 ]   C .   T s u n g - H s i a n g ,   Y .   T o m ,   C .   M .   R o b e r t ,   " G U I   T e s t i n g   U s i n g   C o m p u t e r   V i s i o n , "   C H I   1 0 t h   C o n f e r e n c e   o n   H u m a n   F a c t o r s   i n   C o m p u t i n g   S y s t e m s ,   p p .   1 5 3 5 - 1 5 4 4 ,   2 0 1 0 .   [ 7 ]   J .   H y u n j u n ,   L .   S u k h o o n ,   B .   D o o - K w o n ,   " A n   I m a g e   C o m p a r i n g - b a s e d   G U I   S o f t w a r e   T e s t i n g   A u t o m a t i o n   S y s t e m , "   W o r l d   C o n g r e s s   i n   C o m p u t e r   S c i e n c e ,   C o m p u t e r   E n g i n e e r i n g ,   a n d   A p p l i e d   C o m p u t i n g ,   2 0 1 2 .     [ 8 ]   Y .   T o m ,   C .   T s u n g - H s i a n g ,   C .   M .   R o b e r t ,   " S i k u l i :   U s i n g   G U I   S c r e e n s h o t s   f o r   S e a r c h   a n d   A u t o m a t i o n , "   T h e   2 2 n d   a n n u a l   A C M   s y m p o s i u m   o n   U s e r   i n t e r f a c e   s o f t w a r e   a n d   t e c h n o l o g y ,   p p .   1 8 3 - 1 9 2 ,   2 0 0 9 .   [ 9 ]   S .   L .   M .   J e f f r e y ,   " U s e r   I n t e r f a c e   C o m p u t a t i o n   a s   a   C o n t e x t u a l i z e d   A p p r o a c h   f o r   I n t r o d u c t o r y   C o m p u t i n g   I n s t r u c t i o n , "   T h e   9 t h   A n n u a l   I n t e r n a t i o n a l   A C M   C o n f e r e n c e   o n   I n t e r n a t i o n a l   C o m p u t i n g   E d u c a t i o n   R e s e a r c h ,   p p .   1 7 9 - 1 8 0 ,   2 0 1 3 .   [ 1 0 ]   K .   D e a - K w a n g ,   a n d   L .   L e e - S u b ,   " R e v e r s e   E n g i n e e r i n g   f r o m   E x p l o r a t o r y   T e s t i n g   t o   S p e c i f i c a t i o n - b a s e d   T e s t i n g , "   I n t e r n a t i o n a l   J o u r n a l   o f   S o f t w a r e   E n g i n e e r i n g   a n d   I t s   A p p l i c a t i o n s ,   v o l .   8 ,   p p .   1 9 7 - 2 0 8 ,   2 0 1 4 .   [ 1 1 ]   M .   G h a r a v i - A l k h a n s a r i ,   " A   F a s t   G l o b a l l y   O p t i m a l   A l g o r i t h m   f o r   T e m p l a t e   M a t c h i n g   U s i n g   L o w - r e s o l u t i o n   P r u n i n g , "   I E E E   T r a n s .   I m a g e   P r o c e s s . ,   v o l .   1 0 ,   p p .   5 2 6 - 5 3 3 ,   A p r .   2 0 0 1 .   [ 1 2 ]   L .   M a u r i z i o ,   S .   A n d r e a ,   R .   F i l i p p o ,   a n d   T .   P a o l o ,   " A u t o m a t e d   G e n e r a t i o n   o f   V i s u a l   W e b   T e s t s   f r o m   D O M - b a s e d   W e b   T e s t s , "   A C M / S I G A P P   S y m p o s i u m   o n   A p p l i e d   C o m p u t i n g ,   A p r i l ,   2 0 1 5 .   [ 1 3 ]   V .   A n d r i y c h e n k o ,   L .   Y i n g - d a r ,   C .   T .   N a t i o n a l ,   " A u t o m a t i c   F u n c t i o n a l i t y   a n d   S t a b i l i t y   T e s t i n g   T h r o u g h   G U I   o f   H a n d h e l d   D e v i c e s , "   C i t e S e e r x ,   2 0 1 1 .   [ 1 4 ]   N i s h a   G o g n a ,   " S t u d y   o f   B r o w s e r   B a s e d   A u t o m a t e d   T e s t   T o o l s   W A T I R   a n d   S e l e n i u m , "   I n t e r n a t i o n a l   J o u r n a l   o f   I n f o r m a t i o n   a n d   E d u c a t i o n   T e c h n o l o g y ,   V o l .   4 ,   p p .   3 3 6 - 3 3 9 ,   A u g u s t   2 0 1 4 .   [ 1 5 ]   R a j i t h k u m a r   B   K ,   H . S .   M o h a n a ,   " T e m p l a t e   M a t c h i n g   M e t h o d   f o r   R e c o g n i t i o n   o f   S t o n e   I n s c r i p t e d   K a n n a d a   C h a r a c t e r s   o f   D i f f e r e n t   T i m e   F r a m e s   B a s e d   o n   C o r r e l a t i o n   A n a l y s i s , "   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   , V o l .   4 ,   p p .   7 1 9 - 7 2 9 ,   O c t o b e r   2 0 1 4 .   [ 1 6 ]   Q i a o   Z h a n g ,   H u i j i e   G a o ,   Z h e n   K a n g ,   " F a s t   T e m p l a t e   M a t c h i n g   w i t h   P a r t i a l   S k i p p i n g   U s i n g   S u b - t e m p l a t e , "   A u d i o   L a n g u a g e   a n d   I m a g e   P r o c e s s i n g   ( I C A L I P )   2 0 1 2   I n t e r n a t i o n a l   C o n f e r e n c e ,   2 0 1 2 ,   p p .   8 8 9 - 8 9 2 .   [ 1 7 ]   W a n l i   O u y a n g ,   F e d e r i c o   T o m b a r i ,   S t e f a n o   M a t t o c c i a ,   L u i g i   D i   S t e f a n o ,   W . K .   C h a m ,   " P e r f o r m a n c e   E v a l u a t i o n   o f   F u l l   S e a r c h   E q u i v a l e n t   P a t t e r n   M a t c h i n g   A l g o r i t h m s , "   P a t t e r n   A n a l y s i s   a n d   M a c h i n e   I n t e l l i g e n c e   I E E E   T r a n s a c t i o n s ,   v o l .   3 4 ,   p p .   1 2 7 - 1 4 3 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 3 1   -   2 3 6   2 3 6 [ 1 8 ]   C .   T s u n g - H s i a n g ,   " U s i n g   G r a p h i c a l   R e p r e s e n t a t i o n   o f   U s e r   I n t e r f a c e s   a s   V i s u a l   R e f e r e n c e s , "   T h e   2 4 t h   a n n u a l   A C M   s y m p o s i u m   a d j u n c t   o n   U s e r   i n t e r f a c e   s o f t w a r e   a n d   t e c h n o l o g y ,   p p .   2 7 - 3 0 ,   2 0 1 1 .       B I O G R A P H I E S   O F   A U T H O R S       D r .   M .   N a r a y a n a   i s   a   p r o f e s s o r   i n   V a r d h a m a n   c o l l e g e   o f   E n g i n e e r i n g ,   H y d e r a b a d ,   T e l a n g a n a .   H e   r e c e i v e d   B . T e c h .   f r o m   G .   P u l l a r e d d y   C o l l e g e   o f   E n g i n e e r i n g ,   K u r n o o l ,   S K U ,   A n a n t a p u r   a n d   M . T e c h .   f r o m   J N T U H ,   H y d e r a b a d ,   A P ,   I n d i a   a n d   r e c e i v e d   P h . D   f r o m   J N T U A ,   A n a n t a p u r ,   A P .   H e   h a s   s e v e n t e e n   y e a r s   o f   e x p e r i e n c e   i n   t e a c h i n g   u n d e r g r a d u a t e   a n d   p o s t   g r a d u a t e   s t u d e n t s ,   a n d   g u i d e d   m o r e   t h a n   4 3   u n d e r g r a d u a t e   a n d   m o r e   t h a n   3 4   p o s t g r a d u a t e   t h e s i s .   H e   h a s   p u b l i s h e d   3 2   p a p e r s   i n   I n t e r n a t i o n a l   J o u r n a l s ,   6   p a p e r s   i n   I n t e r n a t i o n a l   C o n f e r e n c e s   a n d   1   p a p e r   i n   N a t i o n a l   C o n f e r e n c e s .   H e   h a s   p r e s e n t e d   r e s e a r c h   p a p e r s   i n   i n t e r n a t i o n a l   a n d   n a t i o n a l   c o n f e r e n c e s .   H i s   r e s e a r c h   i n t e r e s t s   a r e   i n   t h e   a r e a s   o f   s i g n a l   a n d   i m a g e   p r o c e s s i n g ,   s e g m e n t a t i o n ,   p a t t e r n   r e c o g n i t i o n ,   c o n t e n t - b a s e d   i m a g e   r e t r i e v a l ,   B i o m e t r i c s   a n d   B i o m e d i c a l   E n g i n e e r i n g .       R a g h u   R a m   R e d d y   N   i s   c u r r e n t l y   w o r k i n g   a s   a   S o f t w a r e   D e v e l o p e r   i n   a   r e p u t e d   p r o d u c t   b a s e d   c o m p a n y   i n   B a n g a l o r e .   H e   r e c e i v e d   B .   T e c h   a n d   M .   T e c h   f r o m   J a y a   P r a k a s h   N a r a y a n   c o l l e g e   o f   E n g i n e e r i n g ,   M a h a b u b n a g a r ,   T e l a n g a n a .   H e   h a s   p u b l i s h e d   2   p a p e r s   i n   I n t e r n a t i o n a l   J o u r n a l s .   H i s   r e s e a r c h   i n t e r e s t s   a r e   i n   t h e   a r e a s   o f   C o m p u t e r   V i s i o n ,   S e g m e n t a t i o n ,   M a c h i n e   L e a r n i n g ,   P a t t e r n   r e c o g n i t i o n   a n d   N e u r a l   N e t w o r k s .         H y n d a v i   R e d d y   N   i s   c u r r e n t l y   w o r k i n g   a s   a   S o f t w a r e   D e v e l o p e r   i n   a   r e p u t e d   s e r v i c e   b a s e d   c o m p a n y   i n   B a n g a l o r e .   S h e   r e c e i v e d   B . T e c h   f r o m   J a y a   P r a k a s h   N a r a y a n   c o l l e g e   o f   E n g i n e e r i n g ,   M a h a b u b n a g a r ,   T e l a n g a n a .   H e r   r e s e a r c h   i n t e r e s t s   a r e   i n   t h e   a r e a s   o f   A r t i f i c i a l   I n t e l l i g e n c e ,   C o m p u t e r   V i s i o n ,   S e g m e n t a t i o n ,   M a c h i n e   L e a r n i n g ,   P a t t e r n   r e c o g n i t i o n   a n d   N e u r a l   N e t w o r k s .               Evaluation Warning : The document was created with Spire.PDF for Python.