I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20 ,   pp .   992 ~ 999   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 19 .i 2 . pp 992 - 999             992       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   T e st   su i t e s  e f f e c t i v e n e ss  e v o l u t i o n   i n   o p e n   so u r c e   s y st e m s:   e m p i r i c a l   st u d y       M o h amm e d   A k o u r 1 ,   M am d ou h   A l e n e z i 2   1 D e pa r t m e n t   o f   C o m put e r   E ng i ne e r i ng ,   A l   Y a m a m a h   U n i v e r s i t y ,   S a udi   A r a b i a   1 Y a r m o uk  U ni v e r s i t y ,   J o r da n   2 P r i nc e   S ul t a n  U n i v e r s i t y ,   S a ud i   A r a b i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   D e c   24 ,   2019   R e v i s e d  F e b   26,   202 0   A c c e pt e d  M a r   1 1,   202 0       T e s t   s u i t e   c o de   c ov e r a g e   i s   u s ua l l y   us e d  t o   i nd i c a t e   t h e   c a pa b i l i t y   of   a   t e s t   s ui t e   i n  d e t e c t i ng   f a ul t s .   E a r l i e r   r e s e a r c h  s t ud i e s ,   w h i c h   e xpl o r e d    t he   r e l a t i o ns h i p  a m o ng   t e s t   s u i t e   e f f e c t i v e ne s s   a nd  c o de   c ov e r a g e ,   ha v e   no t   a ddr e s s e d  t h i s   r e l a t i o ns h i p  e v o l u t i o na l l y .   M o r e o v e r ,   s o m e   o f   t h e s e   w o r k s   w e r e   s t u di e d  s m a l l   o r   i de nt i c a l   do m a i n  s y s t e m s ,   w hi c h  m a k e   t he   r e s ul t   g e ne r a l i z a t i o n  p r o c e s s   unc l e a r   f o r   o t he r   s y s t e m s .   F i na l l y ,   s o m e   o f   t he s e   s t ud i e s   w e r e   c o nduc t e d  w i t h  a ut o m a t i c a l l y   g e ne r a t e d  t e s t   s u i t e s ,   w h i c h  m i g ht   no t   pr e s e nt   t he   r e a l   s i t ua t i o n  f o r   s t udi e d  s y s t e m s ,   s o   t he   r e s u l t s   c a nno t   be   g e ne r a l i z e d  t o   r e a l   t e s t   s u i t e s .   I n  t hi s   pa p e r ,   t he   a ut ho r s   e m p i r i c a l l y   e xpl o r e   t hr e e   o pe n - s o ur c e   s o f t w a r e   s y s t e m s   a l o ng   w i t h  t he i r   11  v e r s i o ns .   T he s e   v e r s i o ns   a r e   e v o l v e d  ov e r   t i m e   a nd  m i g ht   h a v e   m o r e   s o ur c e s   o f   c o de   a nd  t e s t   s ui t e s .   T hi s   w o r k  o bj e c t i v e   i s   t o   s t udy   t he   c o r r e l a t i o n  be t w e e n   t e s t   s ui t e   e f f e c t i v e ne s s ,   t he   s i z e   o f   t he   t e s t   s u i t e ,   a nd  c o v e r a g e   f o r   t hr e e   J a v a   pr o g r a m s   dur i ng   t h e i r   e v o l ut i o n.   I n  t hi s   w o r k ,   t he   c o de   c o v e r a g e ,   t e s t   s u i t e   L O C   a nd  m ut a t i o n  t e s t i ng   c ov e r a g e   a r e   m e a s ur e d  t o   a s s e s s   t h e   c o r r e l a t i o n  be t w e e n     t he   e f f e c t i v e ne s s   o f   f a ul t   de t e c t i o n,   c o de   c ov e r a g e ,   a nd  t e s t   s u i t e   s i z e .   B a s e d   o n  t he   r e s ul t   w e   c a nno t   g e ne r a l i z e   t he   a s s um p t i o n  t ha t   t e s t   s i z e   i s   a l w a y s   r e v e a l i ng   a   po s i t i v e   c o r r e l a t i o n  w i t h  i t s   e ffe c t i v e ne s s ,   b ut   s t i l l   w e a k  t o     t he   h i g h  c o r r e l a t i o n  b e t w e e n   t e s t   e f f e c t i v e ne s s ,   t e s t   s i z e ,   a nd   c o v e r a g e .   Ke y w or d s :   E m p i r i c a l   s t udy   O pe n   s o u r c e   e vo l ut i o n   T e s t   s ui t e   e f fe c t i ve n e s s   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M o h a m m e d  A ko u r ,   D e pa rt m e n t   o f   Co m put e r  E ngi n e e ri n g ,   A L   Y a m a m a h   U n i v e r s i t y ,    R i y a dh ,   S a u di   A r a b i a .   E m a i l :   m _ a ko ur@ y u. e du. s a       1.   I N TR O D U C TI O N     H a v i n g  go o d  e ff e c t i v e   t e s t   s ui t e s   w i l l   r e s ul t   i n  b e t t e r   s o f t w a r e   qu a l i t y .   F a ul t - r e v e a l i n g   a b i l i t y   e v a l ua t i o n   t e s t   s ui t e s   a r e   v e r y   e s s e n t i a l   f o r   c o m pa ri n g  di f f e r e nt   t e s t   s ui t e s   [1] .   T e s t i ng  i s   a   v i t a l   s t a ge   i n     t h e   s of t w a r e   de ve l o pm e n t   p r o c e s s   a n d  p r o duc t   q ua l i t y .   W h e n   s o f t w a r e   s y s t e m s   gr ow   i n   s i z e   a n d  c o m pl e xi t y ,   t h e   n e e d  fo r   t h o r o ug h   s o f t w a r e   t e s t i ng.   S i n c e   s i z e   a n d  c o m pl e xi t y   a r e   t h e   m a i n   s o ur c e s   of   s of t w a r e   de fe c t s .   H ow e ve r ,   c o m pr e h e n s i v e   t e s t i n g  i s   us ua l l y   i m po s s i b l e   s i n c e   t h e   t ra de - o ff   b e t w e e n   a   num b e r   o f   f a ul t s   f o un d  a n d  t e s t i ng  c o s t s   i s   a l w a y s   t h e r e .   T e s t i n g  e f f e c t i v e n e s s   c a n   b e   m e a s ur e d  by   h ow   w e l l   a   t e s t   s ui t e   c a n   di s c o ve r   f a ul t s   i n  a   s o f t w a r e   s y s t e m .   T h e   m o r e   t e s t   s u i t e s   r e v e a l   b ugs   t h e   m o r e   t h e y   a r e   c o n s i de r e d  o f   h i g h   qua l i t y .   T e s t i n g   a c t i v i t i e s   c a n   c o s t   h a l f   t h e   t i m e   a n d   e ff o r t   r e qui r e d  t o   de v e l o p  a   s o f t w a r e   s y s t e m   a n d  i n   s o m e   c a s e s ,   i t   c a n   go   up  e a s i l y   t o   75  pe r c e nt   o f   t h e   de v e l o pm e n t   c o s t .   S o f t w a r e   t e s t i n g  i s   n o t   a s   e f f e c t i v e   a s   i t   s h o ul d  b e   [2].   T h e r e   i s   a   l a c k  o f   a   c o m m o n l y   a c c e pt e d  s t a n d a r d  f o r   s of t w a r e   t e s t i n g  t ha t   hi n de r s   de v e l o pm e n t   e ffo r t s   t o   e v a l ua t e   t h e   t e s t   r e s ul t s .   T h e r e   i s   n o   ge n e r a l i z e d  p ra c t i c e   of   s of t w a r e   t e s t i n g  t ha t   i s   f o l l ow e d  a c r o s s   t h e   i ndus t ri e s .   T h e r e   i s   a   n e e d  f o r   a   w e l l - de f i n e d  un de rl y i n g  m e t h o do l o g y   t h a t   c a n   gui de   t e s t e r s .   T hi s   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T e s t   s u i t e s   e f f e c t i v e n e s s   e v o l ut i on  i n   op e n  s our c e   s y s t e m s :  e m pi r i c a l   s t udy   ( Moham m e d  A k our )   993   r e qui r e d  t o   un de r s t a nd  h o w   a n   i de a l   t e s t   c a s e   s h o ul d  l o o k  l i ke   o r   w h a t   s h o ul d  b e   t h e   fo c us   of   a   t e s t   c a s e   i n   a   gi v e n   s i t ua t i o n .     T o   i de n t i fy   a n   e ffe c t i ve   t e s t   s ui t e ,   i t   i s   i m po rt a nt   t o   m e a s ur e   i t s   qua l i t y .   S of t w a r e   de v e l o pm e n t   s t a rt s   w i t h   i de nt i f y i n g  a   s e t   o f   r e qui r e m e nt s   t ha t   w i l l   g ui de   t h e   de ve l o pm e n t   e f fo r t s .   S o f t w a r e   t e s t i n g  v e ri f i e s     a n d  v a l i da t e   t ha t   t h e   b ui l t   s o f t w a r e   s y s t e m   i s   a c c o r di n g   t o   t h e s e   r e qu i r e m e n t s .   S o f t w a r e   t e s t i ng  a i m s   t o   pr e v e n t   t h e   o c c ur r e n c e s   of   f a ul t s   i n   t h e   s o f t w a r e   s y s t e m .   E va l u a t i ng  t h e   s o f t w a r e   t o   c a t c h   t h e   f a ul t s   t ha t   a r e   a l r e a dy   oc c ur r e d  i s   a l s o   pa r t   o f   s o f t w a r e   t e s t i n g .   M o r e o v e r ,   t e s t i n g   c a n   b e   ut i l i z e d  t o   e xa m i n e   t h e   s o f t w a r e   f i n  t e rm s   o f   us a b i l i t y ,   s e c ur i t y ,   c o m pa t i b i l i t y ,   r e l i a b i l i t y ,   po r t a b i l i t y ,   i n t e g ri t y ,   e ff i c i e n c y ,   c a pa b i l i t y ,   e t c .   S of t w a r e   t e s t i n g  s t r i v e s   t o   a c c o m pl i s h   t h e   r e qu i r e d  go a l s   a n d  m o r a l i t i e s   t h a t   n e e d  t o   b e   f ul f i l l e d.   I n   s i m p l e   w o r ds ,   t e s t i n g  i s   t h e   p r o c e s s   of   l oc a t i n g  e rr o r s   i n   t h e   p ro gr a m .   T e s t   c a s e s   a r e   c o n s i de r e d  a s   t h e   h e a r t     of   t e s t i ng  w h e r e   s o f t w a r e   t e s t e r s   s pe nt   t h e i r   e f fo r t   a n d   t i m e   i n   b ui l d i n g   t h e s e   pi e c e s   a n d  ke e p  upd a t i n g   t h e m   t o   e n s u r e   hi g h - qu a l i t y   t e s t i n g  i s   pe r f o r m e d.     L e h m a n  ha s   e duc a t e d  s o f t w a r e   p r a c t i t i o n e r s   t ha t   s o f t w a r e   s y s t e m s   m us t   e v o l v e ,   o r   t h e y   w i l l   b e   l e s s   us e f ul   [3].   W h e n   s o f t w a r e   s y s t e m s   e vo l ve ,   t h e i r   s o ur c e   c ode   i s   c o n s i de r e d  t o   b e   t h e   m a i n   s t udi e d  a rt i f a c t .   H ow e ve r ,   s o f t w a r e   s y s t e m s   a r e   m u l t i - di m e n s i o na l ,   w h i c h   i n v o l v e   di ff e r e n t   a r t i f a c t s   o t h e r   t ha n   t h e   s o ur c e   c o d e .   T h e r e   a r e   d i f fe r e nt   a rt i f a c t s   l i ke   r e qui r e m e nt s ,   de s i gn  e l e m e nt s ,   do c um e n t a t i o n ,   t e s t   s u i t e s ,   c o n f i gur a t i o n   s c r i pt s ,   e t c .   [ 4].   D u ri n g  t h e   s of t w a r e   de ve l o p m e nt   l i f e   c y c l e ,   t h e   qu a l i t y   of   a l l   a rt i f a c t s   i s   v e r y   c r uc i a l ,   o n c e   t h e   s o f t w a r e   s y s t e m s   a r e   e vo l ve d,   t h e   a s s o c i a t e d  a r t i f a c t s   m us t   c o - e vo l ve   t o   m a i nt a i n   t h e   h i g h - qua l i t y   s o f t w a r e   f r o m   a l l   d i m e n s i o na l   a rt i f a c t s   n o t   o n l y   t h e   s o ur c e   c o de   pa r t .   A rt i f a c t s   e vo l ut i o n   m i g h t   c a us e   n e w   i n c o n s i s t e n t   s i t ua t i o n s   a nd  a s   m e n t i o n e d  e a rl i e r   s of t w a r e   t e s t s   a r e   pl a y i n g  a   s i g ni f i c a nt   r o l e   i n  a c c o m pl i s hi n g   s uc c e s s f ul   s of t w a r e ,   a t   t h e   s a m e   t i m e   t h e s e   t e s t s   n e e d  t o   b e   m a i nt a i n e d  a s   w e l l   du r i ng  s o f t w a r e   e vo l ut i o n   t o   m a ke   s ur e   t h e y   a r e   up - to - da t e .   E v o l v i n g  t h e   t e s t s   b r i n gs   a   n e w   b ur de n   t o   t h e   s o f t w a r e   e vo l ut i o n   pr o c e s s   a s   w e l l .   T h e r e f o r e ,   de ve l o pi n g  t e s t - c o de   t h a t   c o - e vo l ve s   s i m ul t a n e o u s l y   w i t h   t h e   s of t w a r e   s o ur c e   c o d e   i s   n o t   a n  e a s y   t a s k,   a n d  ha v i n g  t o o l s   a n d  t e c hni que s   b e c o m e   m a n da t o r y   fo r   s of t w a r e   de v e l o p e r s   t o   m a ke   s ur e   t h e   c o - e v o l ut i o n   p r o c e s s   a n d   i t s   r e l a t i o n s h i p  a r e   c o n duc t e d  g r a c e f ul l y   a n d  c o rr e c t l y .   In   t h i s   p a pe r   a ut h o r s   e m pi ri c a l l y   e xpl o r e   t hr e e   o pe n - s o ur c e   s o f t w a r e   s y s t e m s   a l o n g  w i t h   t h e i r   11   v e r s i o n s .   T h e s e   v e r s i o n s   a r e   e v o l v e d  ove r   t i m e   a n d  m i g ht   h a v e   m o r e   s o ur c e s   of   c o de   a n d  t e s t   s ui t e s .   T h e   a i m   of   t hi s   w o r k  i s   t o   de t e r m i n e   w h e t h e r  c o de   c ov e r a ge   ha s   a   s t ro n g  c o rr e l a t i o n  w i t h   t h e   t e s t   s ui t e ' s   e ff e c t i v e n e s s   t hr o ugh  t h e   e v o l ut i o n   p r o c e s s   o r   n o t .   S e v e r a l   w o r ks   a r e   p r e s e n t e d  i n   t h e   l i t e ra t u r e   t ha t   a dd r e s s e s     t h e   c o r r e l a t i o n   b e t w e e n   c o de   c ove r a ge   a nd  f a ul t   de t e c t i o n   e f fe c t i ve n e s s   s uc h   a s   K o c hh a r  e t   a l   [5]     a n d  I n o z e m t s e v a   e t   a l .   [6] ,   A nt i n y a n  e t   a l   [7] ,   a n d  P a pa d a ki s   e t   a l .   [8] .   A l t h o ug h   t h i s   w o r k  i n v e s t i ga t e s     t h e   c o r r e l a t i o n   b e t w e e n   t h e   c o de   c ov e r a ge   a n d   t h e   t e s t   s ui t   e f f e c t i v e n e s s   us i n g  o pe n - s o ur c e   p r o j e c t s ,   s t i l l   t h e i r   s t udi e s   us e d  t h e   s m a l l   a nd  s o m e t i m e s   l a r ge   s y s t e m   b ut   n o ne   o f  t h e m   a dd r e s s e d  t h i s   c o rr e l a t i o n   e m pi ri c a l l y   us i n g  s e v e r a l   v e r s i o n s   o f   t h e   s o f t w a r e   u n de r   s t udy .   S o m e   of   t h e   pr e v i o us   s t udi e s   e m pl oy e d  m ut a n t s   t ha t   a r e   m a n u a l l y   c r e a t e d  o r   de v e l o pe d   a ut o m a t i c a l l y   us i n g  s pe c i a l   t o o l s   s uc h   a s   P IT   a n d  t h e n   m e a s u r e   t e s t   s ui t e   e ff e c t i v e n e s s   by   c a l c ul a t i ng    t h e   c a pa b i l i t y   of   t h e   t e s t   c a s e s   i n   k i l l i n g  t h e   m ut a n t s .   I n   t hi s   w o r k,   t h e   m u t a nt s   a r e   de v e l o pe d  us i n g  t h e   P IT   t o o l .   A f t e r   m e a s u r i ng  t h e   s o ur c e   c o de   c ove r a ge   a n d   t he   e ff e c t i v e n e s s   o f   t h e   t e s t   s ui t e   w e   c a l c ul a t e     t h e   c o r r e l a t i o n   b e t w e e n   t h e   t e s t   s ui t e s   c o d e   c ov e r a ge   f a c t o r  a n d  t e s t   s ui t e s   e f fe c t i ve n e s s   f a c t o r   by   t a ki n g  i n   o ur   a c c o un t   t h e   e v o l ut i o n   i n  b o t h  t h e   c o de   p r o duc t i o n   a n d   t e s t   s ui t e s   f o r   t h e   s t udi e d   s y s t e m s .   T h i s   pa pe r  a n s w e r s   t h e   f o l l ow i n g  t w o   r e s e a r c h   q ue s t i o n s :   a)   R Q 1:   Is   t h e r e   a n   e m p i r i c a l   c o r r e l a t i o n   b e t w e e n   a   t e s t   s ui t e ’s   c o de   c ov e r a ge   a nd  i t s   e ff e c t i v e n e s s   i n   t e rm s   o f   ki l l i n g   m u t a nt s ?   b)   R Q 2:   Is   t e s t   s ui t e   s i z e   i n   t e r m   o f   L O C  c o r r e l a t e d  w i t h   i t s   e ff e c t i v e n e s s   i n  t e rm s   o f   ki l l i n g   m ut a nt s ?   T h e   pa pe r   c o n t ri b ut i o n   c a n   b e   s um m a r i z e d  a s   f o l l ow s :   t h e   e xpe r i m e n t s   a r e   c o n duc t e d  o n   t hr e e   o pe n - s o ur c e   s y s t e m s   f r o m   di f f e r e n t   do m a i n s ,   t h e s e   s y s t e m s   a r e   c o l l e c t e d  a l o n g   w i t h   t h e i r   11   v e r s i o n s   a n d  t h e i r   a s s o c i a t e d  t e s t   s ui t e s .   T h e   e s s e n c e   be h i n d  t h i s   w o r k  i s   t o   un de r s t a n d  t o   w h i c h   e xt e n t   t h e   c o r r e l a t i o n   i s   e xi s t i n g  b e t w e e n   t h e   t e s t   s ui t e s   c o d e   c ove r a ge   a n d  i t s   e ff e c t i v e n e s s   i n   de t e c t i ng  t h e   f a ul t   t hr o ug h     t h e   e vo l ut i o n   p r o c e s s   of   t h e s e   s y s t e m s .   T h e   s t ruc t u r e   o f   t h i s   pa pe r   i s   a s   f o l l ow s .   S e c t i o n   t w o   b r i e fl y   d e s c r i b e s   t h e   r e l a t e d  w o r ks ,   S e c t i o n   t hr e e   pr e s e nt s   t h e   m e t h o do l o g y   of   t h e   w o r k,   S e c t i o n   f o ur   r e v e a l s   t h e   r e s ul t   a n d  f i n di ng  d i s c us s i o n ,   a nd  S e c t i o n  f i v e   c o n c l ude s   t h e   pa pe r .       2.   R ELA TED   WO R K S   S e ve r a l   r e s e a r c h   s t ud i e s   a r e   f o un d  i n   t h e   l i t e r a t u r e   w h e r e   t e s t   c a s e s '   e ff e c t i v e n e s s   w a s   s t udi e d.   G o pi n a t h   e t   a l .   [9]  i n v e s t i ga t e d  hu n d r e ds   o f   G i t H u b   pr o j e c t s .   T h e y   s t udi e d  t e s t   c a s e s ’  c o de   c ove r a ge     a n d  c o n duc t   m ut a t i o n   t e s t i n g  o n   m a n u a l   a nd  a ut o m a t i c   de ve l o pe d  t e s t   c a s e s   by   ut i l i z i n g  t h e   R a n do o p  t oo l .   T h e   r e s ul t   s h o w s   t ha t   s t a t e m e nt   c o v e r a ge   c o ul d  b e   c o n s i de r e d  a s   a n  i ndi c a t o r   o f   t h e   e ff e c t i v e n e s s   o f    t h e   t e s t   s ui t e .   I n o z e m t s e v a   e t   a l .   [10]  i n v e s t i ga t e d  5  O S S   a n d  de v e l o p e d  31, 000  a s s o c i a t e d  t e s t   c a s e s   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20  :     992   -   999   994   m e a s u r e d  s t a t e m e nt ,   m o di f i e d  c o n di t i o n ,   a n d  de c i s i o n,   c o ve ra ge .   A f t e r   c o n duc t i n g  t h e   m ut a t i o n   t e s t i ng,   t h e   t e s t   s ui t e ' s   e f f e c t i v e n e s s   i s   c a l c ul a t e d  t o   k n o w   t h e   e xt e n t   o f   c o r r e l a t i o n   b e t w e e n   t h e   c o de   c ov e r a ge   t h e   t e s t   s ui t e   e f fe c t i ve n e s s ,   t h e y   fo un d  t ha t   t h e r e   i s   n o   s t r o n g  r e l a t i o ns h i p  b e t w e e n   t h e s e   t w o   f a c t o r s .     O t he r  re s e a rc h  s t u d i e s   f o c us e d  o n  t e s t   c a s e s ’  e v o l u t i o n.   Z a i d m a n  e t .   a l .   [ 1 1 ]   e x a m i ne d   t he   c o rre l a t i o n   b e t w e e n  s o u rc e   c o de   a nd   i t s   a s s o c i a t e d   t e s t   s u i t e s   w i t h  re g a rd   t o   t he   s y nc h ro ni c i t y   o f   c o - e v o l u t i o n  a nd   t he   a b i l i t y   t o   d e t e c t   f a u l t s ,   a nd   t he   c o rre l a t i o n  b e t w e e n  t e s t   c o de   a nd   t e s t   c o d e   c o v e ra g e .   T h e y   fo l l ow e d  up  t h e i r   s t u dy   w i t h   a n o t h e r  s t udy   w h e r e   t h e y   us e d  a s s oc i a t i o n  r ul e s   t o   a dd r e s s   t h e   c o - e vo l ut i o n   r e l a t i o n  b e t w e e n   t e s t   c o de   a n d  s o ur c e   c o d e   [12].   A f t e r   t h a t ,   t h e y   e xpa n de d  t h e i r   w o r k  t o   i nc l ude   i n d us t r i a l   s o f t w a r e   [13]  a nd  o b s e r v e d  t h a t   t h e   s a m e   r e s ul t s   a r e   a ppl i c a b l e   t o   i ndus t ri a l   s y s t e m s .     O t h e r   r e s e a r c h   s t u di e s   f oc us e d  o n   v i s ua l i z a t i o n s   o f   t e s t   c a s e s ’  e vo l ut i o n .   M a ri n e s c u  e t .   a l .   [14]   c o n duc t e d  a   s t ud y   o n   6  o p e n   s o ur c e   pr o j e c t s   w h e r e   t h e   i n t r o duc e   C o v r i g,   a   f r a m e w o r k  t ha t   a l l o w s   e n gi n e e r s   t o   a na l y z e   t h e   s o ur c e   c o de ,   t e s t   c o de ,   a n d  s h o w   h ow   c ove r a ge   i s   e vo l ve d.   T h e i r   a i m   w a s   t o   i n v e s t i ga t e   t h e     co - e v o l ut i o n   c o rr e l a t i o n  b e t w e e n   s o ur c e   c o d e   a nd  i t s   a s s o c i a t e d  t e s t s   c o de .   T h e y   f o un d  t ha t   s o u r c e   c o d e   c h a nge s   do  n o t   c e r t a i nl y   m e a n   i n c r e a s i n g  t h e   t e s t i n g  e f fo r t   a n d  i n c r e a s i n g  t h e   t e s t   c o d e   a s   w e l l .   E n s   e t .   a l .   [15]  p r e s e nt e d  a   v i s ua l i z a t i o n   t e c h n i que   t o   s t udy   t e s t   a n d   s o ur c e   c oe vo l ut i o n.   T h e y   pr o po s e d  a   t o o l   na m e d   Chr o n o T w i gge r ,   w hi c h   us e s   c o - e vo l ve   a s   t h e   r o o t   t o   e xa m i n e   t h e   r e l a t i o n s h i p  b e t w e e n   s o ur c e   c o de   a n d  i t s   a s s o c i a t e d  t e s t s   a nd  t h e n   p r e s e nt s   t h i s   c o rr e l a t i o n  v i s ua l l y .   M i s hra   e t   a l .   [16]  i n t r o duc e d  a   s y s t e m a t i c   r e v i e w   of   t e s t   da t a   ge n e ra t i o n   a nd  o pt i m i z a t i o n   f o r   a dd r e s s i n g  pa t h   t e s t i n g  b y   ut i l i z i n g  E v o l ut i o n a r y   A l go r i t hm s   (E A s ).   S e v e r a l   E A   a l go ri t hm s   a r e   us e d  fo r   a ut o m a t i c   t e s t   c a s e   ge n e r a t i o n   a n d  o pt i m i z a t i o n   t o   a c hi e v e   m a xi m u m   pa t h   c o ve r a ge .   U m a r   e t   a l .   [17]   s um m a r i z e   di f f e r e n t   t e s t   c a s e   p ri o r i t i z a t i o n  t e c hni que s   t ha t   a r e   r e l a t e d  t o   o b j e c t - o r i e n t e d  s y s t e m s .     T h e i r   r e v i e w   a i m e d  t o   h i g hl i g ht   t h e   s i g n i f i c a n c e   a n d  T e s t   Ca s e   P r i o ri t i z a t i o n   i n   r e l a t i o n   t o   ob j e c t - o r i e n t e d  s of t w a r e   de v e l o pm e n t   l i f e c y c l e .   A l t h o ug h   t h e y   w o r k  h a s   a   go o d  e ff o r t ,   o ur   w o r k  w i l l   r e duc e   t h e   t i m e   a n d     t h e   e ffo r t   t o   pe r f o r m   t hi s   p ri o ri t i z a t i o n   i f   w e   c a n   r e a c h   t h e   b e s t   pa t t e rn   i n  e v o l v i n g  t h e   s o ur c e   c o de   a l o n g  w i t h   i t   i s   a n   a s s o c i a t e d  t e s t   c a s e   i n   t e rm s   o f   e ff e c t i v e n e s s .   S e v e r a l   r e s e a r c h   po i n t   o ut   t h a t   s o f t w a r e   e v o l ut i o n   r e v e a l s   a   n o t i c e a b l e   i m pa c t   o n   t e s t   s ui t e s   e vo l ut i o n,   a s   t h e y   h a v e   s t r o ng  r e l a t i o n s h i ps   a nd  t h e y   s h o ul d  be     e vo l v e d  c o n c urr e nt l y .     O n e   o f   t h e   m a i n   t e c hn i q ue s   t o   a dd r e s s   t h e   qua l i t y   of   s of t w a r e   s y s t e m s   i s   t h e   a b i l i t y   of   t e s t   c a s e s   t o  de t e c t   a n d  f i n d  de f e c t s   (t e s t   s ui t e   e ffe c t i ve n e s s ),   T h e r e fo r e ,   t h e   e ff e c t i v e n e s s   n e e ds   t o   b e   n a v i ga t e d.   M a m do u h   e t   a l .   [ 18 ]  i n t r o duc e   a   n e w   t e c h ni que   t o   e v a l ua t e   t h e   e ff e c t i v e n e s s   of   t e s t   c a s e s   i n   o r de r   t o   f i n d  de fe c t s   i n   o pe n   s o ur c e   s y s t e m s .   T h e y   p e r f o r m   s e ve r a l   e xpe ri m e n t s   o n   s i x  o pe n   s o ur c e   s of t w a r e .   T h e   r e s ul t   s h o w s   h ow   t h e   e f f e c t i v e n e s s   o f   t e s t   s ui t e   o f   c o ul d  gi v e   a n   i n d i c a t i o n   a b o ut   s t udi e d  s y s t e m s   qua l i t y .   M o r e ov e r ,   M a m do u h   e t   a l .   [ 19 ]  w o r k  i n t r o duc e s   a   s t a t i s t i c a l   e v i de n c e   o f   h a v i n g  s i g n i f i c a n t   r e l a t i o n s hi p   b e t w e e n   t h e   c o d e   pr o duc t i o n   a nd  i t s   a s s o c i a t e d  t e s t   s ui t e s .   In   o u r   w o r k,   t h e   f oc us   o n   t h e   e ffe c t i ve n e s s   of   t e s t   c a s e s   w h i l e   s of t w a r e   s y s t e m s   e vo l ve .   E f fe c t i ve n e s s   i s   m e a s ur e d  i n   t w o   w a y s ,   n a m e l y   c o de   c ov e r a ge ,     a n d  m u t a t i o n  t e s t i ng.   W e   s t ud i e d  10   v e r s i o n s   o f   t hr e e   o pe n - s o ur c e   s y s t e m s   f r o m   di f f e r e n t   do m a i n s .       3.   R ES EA R C H   M ET H O D   T h i s   s e c t i o n  r e v e a l s   t h e   m e t h o do l o g y   t h a t   i s   f o l l ow e d  i n  t h i s   w o r k  a s   i l l us t r a t e d  i n  F i gu r e   1 .    T h e   da t a   s e t   (p r o gra m s   u n de r s t udy )  i s   a l s o  de s c r i b e d  i n   t h i s   s e c t i o n   a l o n g  w i t h   c o r r e l a t i o n   m e t r i c s   t h a t   a r e   us e d  i n   t h i s   s t udy .     3. 1 .     S o ftw ar e   s ys te m s   r e l e as e s   c o l l e c t i o n   T hr e e   s y s t e m s   a r e   us e d  i n  t h i s   w o r k  w h e r e   e a c h  s y s t e m   c o n s i s t s   o f   ve r s i o n s   a s   f o l l ow s :   Co m m o n s   L a n g  i s   A p a c h e   J a v a   pa c k a ge   t h a t   h a s   u t i l i t y   c l a s s e s   i n   j a v a . l a n g ' s   hi e ra r c h y .   It   pr o v i de s   n o t a b l e   s e r v i c e s   s u c h   a s   s t r i n g  m a ni pu l a t i o n,   n u m e ri c a l   m e t ho ds ,   c o n c urr e n c y ,   a n d  s y s t e m   pr o pe r t i e s .   O G N L   i s   a n   a b b r e v i a t i o n   f o r   O b j e c t - G r a p h   N a v i g a t i o n   L a n g ua ge   w hi c h   i s   a n   e xp r e s s i o n   l a ngua ge   t o   ge t   a n d  s e t   J a v a   ob j e c t s   pr o pe r t i e s .   B i o J a v a   i s   a   J a v a   f ra m e w o r k  t ha t   p r o c e s s e s   b i o l o gi c a l   da t a   a n d   p r o v i de s   a n a l y t i c a l     a n d  s t a t i s t i c a l   f e a t u r e s .     F i gu r e s   2,   3  a n d  4  s h o w   h ow   L O C   fo r   bo t h   t h e   c o d e   pr o duc t i o n   a nd  t e s t   s ui t e s   a r e   e vo l v e d  t h r o ug h  t h e   11  v e r s i o n s .   I n   t h e   f i r s t   s y s t e m ,   t h e r e   w a s   a   n o t i c e a b l e   i nc r e m e nt   i n  t h e   L O C  f o r   t h e   c o de   a n d  t e s t   s u i t e s ,   w h i l e   a s   s h o w n   i n   F i gu r e   4  t h e   O G L N   c o d e   a n d  t e s t   s ui t e s   h a v e   a l m o s t   t h e   s a m e   L O C  t hr o ug h   t h e   11   v e r s i o n s   of   e vo l ut i o n .   B i o j a v a   S y s t e m   h a s   a   l a r ge r   L O C  fo r   c o d e   pr o duc t i o n   i n   c o m pa r i s o n   w i t h   i t s   a s s o c i a t e d  L O C  fo r   t e s t   s ui t e s .   S t i l l ,   t h e   L O C  fo r   b o t h   h a s   i n c r e a s e d  t hr o ug h   t h e   e vo l ut i o n   p r o c e s s   f r o m   v e r s i o n   1  t o   ve r s i o n   11 .   It   w a s   obv i o us   f r o m   F i gur e   2,   3  a nd   4  t h a t   t h e   t e s t   s ui t e ’s   L O C  of  c o m m o n L a n g  w a s   l a r ge r   i n  c o m pa r i s o n  w i t h   t h e   Co de ’s   L O C,   w h i l e   w a s   l o w e r   i n   O G N L   a n d  B i o j a v a .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T e s t   s u i t e s   e f f e c t i v e n e s s   e v o l ut i on  i n   op e n  s our c e   s y s t e m s :  e m pi r i c a l   s t udy   ( Moham m e d  A k our )   995       F i gu r e . 1   M e t h o do l o g y   s t e ps               F i gu r e   2 .   Co m m o n L a n g   s y s t e m   e vo l ut i o n   F i gu r e   3 .   O G N L   s y s t e m   e vo l ut i o n                 F i gu r e   4 .   B i o j a v a   s y s t e m   e vo l ut i o n       3. 2 .     Te s t   s u i te   c o d e   c o v e r age   an d   m u tati o n   m e as u r e m e n t s   Co de   c ove r a ge   c a n   b e   c o n s i de r e d  a s   a n   i ndi c a t o r   o f   h a v i ng  go o d  t e s t   s ui t e   qua l i t y ,   i t   p r e s e nt s   t o  w h i c h   e xt e n t   t h e   s o ur c e   c o d e   of   s of t w a r e   s y s t e m   i s   e xe c ut e d  w h e n   t h e   s t udi e d  t e s t   s ui t e   i s   r u n   [ 20 ].     Co de   c ov e r a ge   p r o v i de s   di ff e r e n t   l e v e l s   of   c ove r a ge   f o r   e xa m p l e   b r a n c h  c ov e r a ge ,   f u n c t i o n  c o ve r a ge ,     a n d  s t a t e m e nt   c o ve r a ge .   A s   t h e   f i r s t   s t e p   a n d   a f t e r  c o l l e c t i n g   t h e   s o ur c e   c o de   a n d   t e s t   s u i t e   d a t a   f r o m   t h e   G i t H ub   r e pos i t o r y ,   E c l E m m a   [ 21 ]  i s   us e d  t o   m e a s ur e   t h e   c o d e   c ove r a ge   f o r   t h e   s y s t e m s   un de r   s t u dy   a n d   E c l i ps e   M e t r i c s   [ 22 ]  i s   us e d  f o r   m e a s u r e   t h e   L O C  m e t r i c .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20  :     992   -   999   996   T h e   l a s t   s t e p  i s   t o   m e a s u r e   t h e   e f f e c t i v e n e s s   o f   t h e   c o l l e c t e d   t e s t   s ui t e s   i n   t e rm s   o f   ki l l i ng  t h e   f a ul t .   F o r   t h i s   pu r po s e   P IT   t o o l   [ 23 ]  i s   us e d  t o   ge n e ra t e   f a ul t y   v e r s i o n s   o f   t h e   s y s t e m   un de r   s t u dy .   P IT   a l l o w s   c r e a t i n g  m u t a nt s   t h a t   p r e s e n t   a   di f f e r e n t   v e r s i o n   o f   t h e   o r i gi na l   c o de   t h a t   i s   de ve l o pe d  by   m a ki n g  a   s y n t a c t i c   m o di f i c a t i o n   t o   t h e   o r i g i na l   s y s t e m .   P IT   t o o l s   e n a b l e   t h e   m ut a t i o n   t e s t i n g   t o   ge n e r a t e   a   v a r i a nt   n u m b e r     of   m ut a nt s   a n d  t h e n   r u n   t h e   c o de   pr o duc t i o n ’s   t e s t   s ui t e   a g a i n s t   e a c h   o n e .   If   t h e   t e s t   s u i t e   f a i l s   w h e n   i t   i s   r u n  o n   t h e   c r e a t e d  m ut a nt   t ha t   m e a n s   t h e   s t ud i e d  s ui t e   ki l l s   t ha t   c r e a t e d  m ut a nt .   M u t a nt   c o ve r a ge   i s   c a l c ul a t e d  f o r   t e s t   s ui t e s   b y   di v i di n g   t h e   num b e r  o f   ki l l e d  m ut a n t s   t o   t h e   t o t a l   n u m b e r   o f   s t udi e d  m ut a n t s .   P I T   i s   c o m m o nl y   us e d  t o   ge n e r a t e   t h e   m u t a nt s   a n d   m e a s u r e   t h e   m ut a t i o n  c o ve r a ge   [ 24 - 26 ].   F i gu r e s   5,   6   a nd  7  s h o w   h o w   t o   t e s t   s ui t e   s i z e   i n   t e rm s   o f   L O C  m i g ht   i n f l ue n c e   t h e   e ff e c t i v e n e s s     of   t h e   t e s t   s ui t e s   i n   k i l l i n g  t h e   m u t a nt s .   W e   b e l i e ve   t ha t   i n c r e a s i ng  L O C  m i g ht   h a v e   s o m e   m e a ni n g  o f  i n c r e a s i ng  t h e   e ff e c t i v e n e s s   of   t h e   t e s t   s ui t e s   by   ki l l i n g  m o r e   m ut a nt s .   T o   ha v e   a   c l e a r   c ut   c o n c l us i o n   o n     t h e   r e l a t i o n s h i p  b e t w e e n   t h e   L O C  of   t e s t   s ui t e s   a n d  i t s   e ff e c t i v e n e s s ,   t h e   c o rr e l a t i o n   i s   m e a s u r e d     a n d  t h e   h y po t h e s i s   i s   c r e a t e d   a n d   t h e   r e s ul t   i s   o b t a i n e d   i n  t h e   n e xt   s e c t i o n .               F i gu r e   5 .   Co m m o n l a n g   L O C  a n d   t e s t   e ffe c t i ve n e s s   c o m pa ri s o n   F i gu r e   6 .   O G N L   L O C  a n d   t e s t   e f f e c t i v e n e s s   c o m pa ri s o n                 F i gu r e   7 .   B i o j a v a   L O C  a n d   t e s t   e ff e c t i v e n e s s   c o m pa r i s o n       3. 3 .     C o r r e l ati o n   m e as u r e m e n ts   F o ur   H y p o t h e s e s   a r e   e v a l u a t e d  t o   a dd r e s s   t h e   s t a t i s t i c a l   s i g ni f i c a n c e   o f   t h e   r e s ul t s   a n d   t o   e s t i m a t e   t h e   s t r e n gt h  o f   t h e   r e l a t i o n s hi p   b e t w e e n   t h e   f a c t o r s   m e n t i o n e d  i n  t h e   R Q 1  a n d   R Q 2.   F o r   R Q 1,   T h e   H 0  h y p o t h e s i s   i s   s t a t e d  t ha t   t h e r e   i s   n o   e m pi ri c a l   r e l a t i o n s h i p  b e t w e e n   a   t e s t ’s   c o de   c ov e r a ge   a n d  i t s   e f fe c t i ve n e s s   i n   t e r m s   o f   ki l l i n g  m u t a nt s ,   w h e r e a s   t h e   a l t e rna t i v e   h y p o t h e s i s   H 1  s t a t e s   t ha t   t h e r e   i s     a   r e l a t i o n s h i p   b e t w e e n   t h e s e   t w o   f a c t o r s .     M o r e ov e r ,   fo r   R Q 2,   T h e   n ul l   h y p o t h e s i s   H 0  i s   s t a t e d  t h a t   t he r e   i s   n o   r e l a t i o n s hi p  b e t w e e n   t e s t   s ui t e   s i z e   i n   t e rm s   o f   L O C  a n d  i t s   e f fe c t i ve n e s s   i n   t e rm s   o f   ki l l i ng  m ut a n t s ? ,   w h e r e a s   t h e   a l t e rna t i v e   h y p o t h e s i s   H 1   s t a t e s   t h a t   t h e r e   i s   a   r e l a t i o n s hi p  b e t w e e n   t h e s e   t w o   f a c t o r s .   In   t h i s   s t udy ,   P e a r s o n ’s   c o rr e l a t i o n   c o e f f i c i e n t   i s   m e a s u r e d  us i n g   IB M   S P S S   [ 27 ],   a nd  t h e   po s i t i v e ,   n e ga t i v e   o r   e v e n   n o   c o r r e l a t i o n   i s   c o n s i de r e d  t o   r e j e c t   o r   a c c e pt   t h e   n u l l   h y p o t h e s i s   a f t e r   t h a t   w e   c o n c l ude   i f  t h e r e   i s   a   c o r r e l a t i o n   b e t w e e n   t h e   f a c t o r s   a r e   a dd r e s s e d  i n   t h i s   h y po t h e s e s   o r   n o t .       4.   R ES U LTS   A N D   D I S C U S S I O N   T a b l e s   1   a n d   2   s h o w   t h e   r e s ul t s   o f   t h e   P e a r s o n   Co rr e l a t i o n   c o e ff i c i e n t   f o r   R Q 1  a nd  R Q 2  h y po t h e s e s .   T h e   v a l ue s   i n   t h e s e   t a b l e s   t e l l   w h i c h   h y p o t h e s i s   w e   a c c e pt   a n d  w h i c h   w e   h a v e   t o   r e j e c t .   T a b l e   1   r e po r t s   t h e   a n s w e r   f o r   R Q 2:   Is   t e s t   s u i t e   s i z e   i n  t e rm   o f   L O C  c o r r e l a t e d   w i t h  i t s   e f fe c t i ve n e s s   i n  t e rm s   o f   ki l l i n g   m ut a nt s ?   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T e s t   s u i t e s   e f f e c t i v e n e s s   e v o l ut i on  i n   op e n  s our c e   s y s t e m s :  e m pi r i c a l   s t udy   ( Moham m e d  A k our )   997   T a b l e   1 .   P e a r s o n ’s   c o rr e l a t i o n  f o r   t e s t   s ui t e   s i z e   i n   t e r m   o f   L O C   a nd  i t s   e f f e c t i v e n e s s   S o ft w a re   P r o j e c t s   P e a r s o n ’ s   c o r re l a t i o n   c o e ff i c i e n t   Co m m o n L a n g   0 . 3 4 0 5 1 4   OGNL   - 0 . 3 8 8 5 6   Bi o j a v a   0 . 7 7 2 1 2 7       A s   m e n t i o n e d  e a rl i e r ,   w e   m i ght   b e l i e v e   t h a t   i n c r e a s i n g  t h e   L O C  o f  t h e   t e s t   s ui t e s   c o ul d  i m p r o ve   i t s   a s s o c i a t e d  e f fe c t i ve n e s s   i n   k i l l i n g  t h e   f a ul t s .   T h e r e fo r e ,   w e   a s ke d  t h i s   r e s e a r c h   q ue s t i o n   do   w e   r e a l l y   h a v e     a   r e l a t i o n s hi p  b e t w e e n   t h e   L O C  of   a   t e s t   s ui t e   a nd  i f   t h e r e   i s   a   r e l a t i o n s hi p  t ha t   do e s   i n c r e a s e   t h e   L O C  l e a d   t o   i n c r e a s e   t h e   e f f e c t i v e n e s s .   T o   pr o v i de   t h e   a n s w e r   t o   t hi s   r e s e a r c h   q ue s t i o n,   w e   m e a s u r e d  P e a r s o n ’s   c o r r e l a t i o n   c o e f f i c i e n t   b e t w e e n   t h e   t e s t   s ui t e   s i z e   (L O C)  a n d   t e s t   s ui t e   e ff e c t i v e n e s s .     W h e n   a   po s i t i v e   c o r r e l a t i o n   s h o w s   up  t ha t   m e a n s   t h e r e   is   a   po s i t i v e   r e l a t i o n s hi p  b e t w e e n   t h e   t w o  f a c t o r s   un de r   s t udy ;   a s   o n e - f a c t o r   i n c r e a s e s   o r   de c r e a s e s ,   t h e   o t h e r   w i l l   do   t h e   s a m e .   W hi l e   W h e n   a   n e ga t i v e   c o r r e l a t i o n   s h o w s   up   t ha t   m e a n s   i f   o n e   o f   t h e   f a c t o r s   i n c r e a s e s ,   t h e n   a n o t h e r   f a c t o r  w i l l   de c r e a s e ,   a n d   v i c e   v e r s a .   T a b l e   1   p r e s e nt s   t h e r e   i s   a n   e m pi ri c a l   po s i t i v e   c o r r e l a t i o n   f o r   b o t h   s y s t e m s   Co m m o n L a n g  a n d  B i o j a v a   w h i l e   t h e   n e ga t i v e   c o rr e l a t i o n   f o r   O G N L .   T h e   H 0  h y p o t h e s i s   s t a t e s   t ha t   t h e r e   i s   n o   c o r r e l a t i o n   b e t w e e n   t e s t   e ffe c t i ve n e s s   a nd  s i z e ,   w h i l e   t h e   H 1  h y p o t h e s i s   s t a t e s   t h a t   t he r e   i s   a   c o rr e l a t i o n   b e t w e e n   t h e m .   F r o m   T a b l e   1   w e   ob s e r ve   t ha t   t h e   nul l   h y po t h e s i s   i s   r e j e c t e d  fo r   t h e   t hr e e   s y s t e m s   e v e n   t h o ugh  w e   go t   a   n e ga t i v e   c o r r e l a t i o n   f o r   O G N L .       T a b l e   2 .   P e a r s o n ’s   c o rr e l a t i o n  f o r   t e s t   c o de   c ov e r a ge   a nd  i t s   e ffe c t i ve n e s s   S o ft w a re   P r o j e c t s   P e a r s o n ’ s   c o r re l a t i o n   c o e ff i c i e n t   Co m m o n L a n g   0 . 2 2 7 5 1 1   OGNL   0 . 2 8 8 6 7 5   Bi o j a v a   0 . 7 9 4 3 8 1       T a b l e   2   r e po rt s   t h e   a n s w e r   f o r   R Q 1:   Is   t h e r e   a n  e m p i r i c a l   c o r r e l a t i o n   b e t w e e n   a   t e s t   s u i t e ’s   c o de   c ove r a ge   a n d  i t s   e ff e c t i v e n e s s   i n   t e r m s   o f   ki l l i n g  m ut a n t s ? .   In   c o n t ra s t   t o   r e s e a r c h   que s t i o n   2 ,   i t   i s   o bv i o us   t h e r e   w a s   a   po s i t i v e   c o r r e l a t i o n   b e t w e e n   a   t e s t   s ui t e ’ s   c o de   c ove r a ge   a n d  i t s   e ff e c t i v e n e s s   i n  t e r m s   o f   ki l l i n g   m ut a n t s   f o r   a l l   s y s t e m s   un de r   s t u dy .   A s   s h o w n   i n   T a b l e   2 ,   w e   c a n   c o n c l u de   t ha t   t h e   t e s t   s u i t e ’s   c o de   c o ve r a ge   i s   w e a kl y   t o   s t r o n gl y   c o r r e l a t e   w i t h   i t s   a s s o c i a t e d  e ff e c t i v e n e s s .   M o r e ove r ,   t h e   n ul l   h y p o t h e s i s   i s   r e j e c t e d  fo r   t h e   t hr e e   s y s t e m s   un de r   s t udy .   T h e   de v i a t i o n   a m o n g  t e s t   s ui t e   s i z e   i n   t h e i r   c o r r e l a t i o n s   t o   i t s   e ff e c t i v e n e s s   i s   ob v i o us ,   w h e r e   s o m e   of   t h e   s ui t e   s i z e s   a r e   po s i t i v e l y   c o r r e l a t e d  w i t h   i t s   e f fe c t i ve n e s s   a nd  o t h e r s   a r e   n e ga t i v e l y   c o r r e l a t e d  w i t h   i t s   e f fe c t i ve n e s s   a s   s h o w n   i n   T a b l e   1 .   T h e r e f o r e ,   w e   c a nn o t   ge n e r a l i z e     t h e   a s s u m pt i o n   t ha t   t e s t   s i z e   i s   a l w a y s   r e v e a l i n g  a   po s i t i v e   c orr e l a t i o n   w i t h  i t s   e ff e c t i v e n e s s .       4. 1 .     Th r e ats   to   v al i d i ty   In  o ur   s t udy ,   w e   m e a s ur e d  t h e   s i z e   o f   t h e   t e s t   s ui t e   i n   t e rm s   o f   L O C,   t h e   c o de   c ov e r a ge   us i n g   E c l e m m a   a n d  t h e   e ff e c t i v e n e s s   of   t e s t   s ui t e s   i n   t e rm s   o f   ki l l i n g  t h e   m ut a n t s   t ha t   w e r e   c r e a t e d  us i n g  P I T .     T h e   L O C  a nd  t h e   c o de   c ove r a ge   a r e   m e a s u r e d  s t r a i g h t f o r w a r d ,   b ut   e ff e c t i v e n e s s   i s   m o r e   b l u rr y ,   a s   w e   a i m e d   t o   e xpe c t   t h e   c a p a b i l i t y   of   t h e   e xi s t i n g  t e s t   s ui t e   t h a t   m i g ht   no t   m a t u r e   e n o ug h   t o   de t e c t   t h e   f a ul t   a n d  a c h i e v e   go o d   e ff e c t i v e n e s s .   M o r e ov e r ,   t h e   P IT   p r o duc e s   s e v e r a l   m ut a nt s   t h a t   m i g h t   n o t   p r e s e n t   t h e   r e a l   f a ul t s   t h a t   s h o ul d  b e   pr e s e n t e d  i n   t h e   a c t ua l   p r a c t i c e   of   t h e   s y s t e m s .   T hi s   m e a n s   t ha t   t h e   pr o duc e d  m ut a n t s   m i g ht   a d d  f a ul t s   t h a t   m i g ht   n o t   o c c ur   o r   e ve n   m i s s e s   o n e s   t ha t   m i g h t   o c c ur   i n   t h e   r e a l   l i f e   of   t h e   s of t w a r e ,   t h i s   l e a ds   t o   ha v i ng  hi g h  c o n s t r uc t   v a l i d i t y   a n d  ra i s e s   a   t hr e a t   t o   t h e   v a l i d i t y   of   t h i s   m e a s u r e m e n t .       5.   C O N C LU S I O N   T h e   pa pe r   i n v e s t i ga t e d  t h e   r e l a t i o n s hi p  b e t w e e n   t h e   t e s t   s ui t e   L O C,   t h e   s ui t e ’s   c o d e   c ove r a ge     a n d  t h e   s ui t e ’s   m u t a t i o n   c o v e r a ge   e ff e c t i v e n e s s   m e a s ur e m e nt .   T hr e e   j a v a   s y s t e m s   a l o n g   w i t h   11  v e r s i o n s   f o r   e a c h   s y s t e m   a r e   s t udi e d.   T w o   m a i n  r e s e a r c h   q ue s t i o n s   w e r e   i n v e s t i g a t e d  i n  t hi s   s t u dy ,   R Q 1:   Is   t h e r e   a n   e m pi r i c a l   c o rr e l a t i o n   b e t w e e n   a   t e s t   s ui t e ’s   c o de   c ov e r a ge   a n d  i t s   e f fe c t i ve n e s s   i n   t e r m s   o f   ki l l i ng  m u t a nt s ? ,   R Q 2:   Is   t e s t   s ui t e   s i z e   i n   t e rm   o f  L O C  c o rr e l a t e d  w i t h   i t s   e ff e c t i v e n e s s   i n   t e rm s   of   ki l l i n g  m u t a nt s ? .   T h e   r e s ul t   s h o w s   t h a t   I n   ge n e ra l ,   t h e   t e s t   s ui t e ’s   c o de   c ov e r a ge   i s   w e a kl y   t o   s t r o n g l y   c o r r e l a t e   w i t h   i t s   a s s o c i a t e d  e ffe c t i ve n e s s .   W hi l e   i n   t e rm s   o f   t e s t   s ui t e   L O C ,   t h e r e   w a s   a   de v i a t i o n   a m o n g  t e s t   s ui t e   s i z e   i n   t h e i r  c o r r e l a t i o n s   t o   i t s   e f fe c t i ve n e s s   a s   s o m e   of   t h e   s ui t e   s i z e s   a r e   po s i t i v e l y   c o r r e l a t e d  w i t h   i t s   e f fe c t i ve n e s s     a n d  o t h e r s   a r e   n e ga t i v e l y   c o r r e l a t e d  w i t h  i t s   e f fe c t i ve n e s s   a s   s h o w n   i n  T a b l e s   1  a n d   2 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20  :     992   -   999   99 8   R EF ER EN C ES   [ 1]   Z ha ng ,   J i e   M . ,   L i ng m i ng   Z ha ng ,   D a n  H a o ,   M e ng   W a ng ,   a nd  L u  Z ha ng ,   " D o   ps e udo   t e s t   s ui t e s   l e a d  t o   i nf l a t e d  c o r r e l a t i o n  i n  m e a s ur i ng   t e s t   e f f e c t i v e ne s s ? . "   I n  2019  12t h  I E E E   C onf e r e nc e   on  Sof t w ar e   T e s t i ng ,   V al i da t i on  and   V e r i f i c a t i on   ( I C ST ) ,   pp .   252 - 26 3,   20 19.   [ 2]   N .   J ur i s t o ,   A .   M .   M o r e no ,   a n d  W .   S t r i g e l ,   "   G ue s t   e d i t o r s '   i nt r o duc t i o n:   s o f t w a r e   t e s t i ng   pr a c t i c e s   i n   i n dus t r y , ”   I E E E   So f t w ar e ,  v o l .   23 ,   no .   4 ,   pp .   19 – 21,   2 006 .   [ 3]   L e hm a n,   M e i r   M ,   " O n  unde r s t a ndi ng   l a w s ,   e v o l ut i o n,   a nd  c o ns e r v a t i o n  i n  t h e   l a r g e - pr o g r a m   l i f e   c y c l e , "  J our n al   o f   Sy s t e m s   an d  Sof t w ar e ,   v o l .   1 ,   p p.   21 3 - 221 ,   1 979 .   [ 4]   M e n s ,   T o m ,   M i c he l   W e r m e l i ng e r ,   S t é ph a ne   D uc a s s e ,   S e r g e   D e m e y e r ,   R o be r t   H i r s c hf e l d,   a n d  M e h di   J a z a y e r i ,   " C ha l l e ng e s   i n  s o f t w a r e   e v o l ut i o n , "  I n  E i g ht h  I nt e r nat i on al   W or k s hop  on  P r i nc i pl e s   o f   So f t w ar e   E v ol ut i on   ( I W P SE ' 05) ,   pp .   13 - 22,   2 005 .   [ 5]   K o c hha r ,   P a v ne e t   S i ng h ,   F e r di a n  T hung ,   a nd  D a v i d  L o . ,   " C o de   c o v e r a g e   a nd  t e s t   s u i t e   e f f e c t i v e ne s s :   E m pi r i c a l   s t udy   w i t h  r e a l   bug s   i n  l a r g e   s y s t e m , "   2015  I E E E   2 2nd  i n t e r nat i o nal   c on f e r e nc e   on  s of t w ar e   anal y s i s ,   e v ol ut i on ,   and  r e e ngi ne e r i ng   ( SA N E R ) ,   pp .   560 - 564 ,   201 5.   [ 6]   I n oz e m t s e v a ,   L a ur a ,   a nd  R e i d  H o l m e s ,   " C o v e r a g e   i s   no t   s t r o ng l y   c o r r e l a t e d  w i t h  t e s t   s u i t e   e f f e c t i v e ne s s , "   P r oc e e di ngs   o f   t he   36 t h  I n t e r na t i ona l   C o nf e r e nc e   o n  S of t w ar e   E ng i ne e r i ng ,   pp .   435 - 4 45 ,   20 14.   [ 7]   A nt i ny a n,   V a r d,   e t   al ,   " M y t hi c a l   un i t   t e s t   c o v e r a g e , "   I E E E   So f t w ar e ,   v o l .   35 ,   no .   3 ,   pp .   73 - 79 ,   2 018 .   [ 8]   P a pa d a k i s ,   M i ke ,   e t   a l ,   " A r e   m ut a t i o n  s c o r e s   c o r r e l a t e d  w i t h  r e a l   f a ul t   de t e c t i o n?   a   l a r g e   s c a l e   e m p i r i c a l   s t u dy   o n   t he   r e l a t i o ns hi p  b e t w e e n  m u t a nt s   a nd  r e a l   f a ul t s , "   20 18  I E E E / A C M   4 0t h   I nt e r na t i ona l   C onf e r e nc e   on   So f t w ar e   E ngi ne e r i n g  ( I C SE ) ,   pp .   5 37 - 548 ,   2018 .   [ 9]   R a hul   G o pi na t h,   C a r l o s   J e n s e n ,   a n d  G r o c e   A l e x ,   " C o de   c ov e r a g e   f o r   s ui t e   e v a l ua t i o n  by   de v e l o pe r s , "   P r oc e e di ngs   of   t he   36t h  I n t e r nat i o nal   C o nf e r e nc e   on   So f t w ar e   E ngi ne e r i ng ,  p p.   72 – 82 ,   201 4.     [ 10]   L a ur a   I n o z e m t s e v a   a nd  R e i d  H o l m e s . ,   " C ov e r a g e   i s   no t   s t r o ng l y   c o r r e l a t e d  w i t h  t e s t   s u i t e   e f f e c t i v e n e s s ,"   P r oc e e di ngs   o f   t he   36 t h  i n t e r na t i ona l   c on f e r e nc e   on   s o f t w ar e   e ng i n e e r i ng ,   pa g e s   435 – 445 ,   20 14.   [ 11]   Z a i dm a n,   B .   V a n  R o m pa e y ,   S .   D e m e y e r ,   a nd  A .   V a n  D e ur s e n ,   " M i ni ng   s o f t w a r e   r e po s i t o r i e s   t o   s t udy   c o - e vo l ut i o n  o f   pr o duc t i o n  &   t e s t   c o de ,"   200 8  1 s t   I n t e r na t i o na l   C on f e r e nc e   on   Sof t w ar e   T e s t i n g,   V e r i f i c at i on ,   and  V al i da t i on ,  L i l l e h a m m e r ,   pp .   220 - 229 ,   200 8 .   [ 12]   Z.   L ubs e n ,   A .   Z a i dm a n ,   a nd  M .   P i nz g e r ,   " U s i ng   a s s o c i a t i o n  r ul e s   t o   s t udy   t he   c o e vo l ut i o n  o f   pr o duc t i o n  &   t e s t   c o de ,"   2009  6t h  I E E E   I n t e r na t i ona l   W or k i ng  C on f e r e nc e   on  M i ni n g  Sof t w ar e   R e pos i t o r i e s ,   V a nc o uv e r ,   B C ,     pp.   15 1 - 154,   2 009 .   [ 13]   Z a i dm a n,   B .   V a n  R o m pa e y ,   A .   v a n  D e ur s e n,   a nd   S .   D e m e y e r ,   " S t udy i ng   t he   c o e v o l ut i o n  o f   pr o duc t i o n  a nd  t e s t   c o de   i n  o pe n  s o ur c e   a nd  i n dus t r i a l   de v e l o pe r   t e s t   pr o c e s s e s   t h r o ug h  r e po s i t o r y   m i ni ng , "   E m pi r i c al   S of t w ar e   E ngi ne e r i n g ,  v o l .   16 ,   no .   3 ,   pp.   3 25 –   364 ,   201 1.   [ 14]   P .   M a r i ne s c u,   e t   al ,   " C ov r i g:   A   f r a m e w o r k  f o r   t he   a na l y s i s   o f   c o de ,   t e s t ,   a nd  c o v e r a g e   e vo l ut i o n  i n  r e a l   s o f t w a r e , "   I n  P r oc e e di ngs   of   t he   20 14   I n t e r na t i ona l   Sy m po s i um   o n  Sof t w ar e   T e s t i ng   a nd  A na l y s i s ,   p p .   93 – 1 04 ,   2 014 .     [ 15]   B .   E n s ,   e t   al ,   " C hr o no t w i g g e r :   A   v i s ua l   a na l y t i c s   t o o l   f o r   unde r s t a n di ng   s o ur c e   a n d  t e s t   c o - e vo l ut i o n , "   20 14  Se c on d   I E E E   W or k i ng   C on f e r e nc e   on   So f t w ar e   V i s ual i z at i on ,   V i c t o r i a ,   B C ,   pp .   117 - 126 ,   201 4.   [ 16]   M i s hr a ,   D .   B . ,   A c ha r y a ,   A .   A . ,   &   M i s h r a ,   R . ,   " E v o l ut i o na r y   a l g o r i t hm s   f o r   p a t h  c o v e r a g e   t e s t   da t a   g e n e r a t i o n  a n d  o pt i m i z a t i o n:   a   r e v i e w , "   I ndone s i an  J ou r na l   of   E l e c t r i c a l   E ng i n e e r i ng  and  C om put e r   Sc i e nc e ,   v o l .   15 ,   no .   1,     pp.   50 4 - 510 ,   2 019 .   [ 17]   U m a r   F a r o o q,   H a nna ni   A m a n,   A i da   M us t a p ha ,   Z a i n ur i   S a r i ng a t ,   " A   r e v i e w   of   o bj e c t - o r i e nt e d  a p pr o a c h  f o r   t e s t   c a s e   pr i o r i t i z a t i o n , "   I n done s i an  J o ur n al   o f   E l e c t r i c a l   E ng i ne e r i ng  an d  C om pu t e r   Sc i e nc e ,   vol .   16 ,   no .   1,     pp.   42 9 - 434 ,   2 019 .   [ 18]   M a m do uh  A l e ne z i ,   M o ha m m e d  A ko ur ,   A l a a   H us s i e n,   a nd  M o ha m m a d  Z .   A l - S a a d ,   " T e s t   s u i t e   e f f e c t i v e ne s s :   a n  i nd i c a t o r   f o r   o pe n  s o ur c e   s o f t w a r e   qua l i t y , "   2016  2nd  I nt e r n a t i o na l   C onf e r e nc e   on  O pe n  Sour c e   Sof t w ar e   C om put i ng   ( O SSC O M ) ,   B e i r u t ,   pp .   1 - 5,   20 16 .   [ 19]   M a m do uh  A l e n e z i ,   M o ha m m e d   A ko ur ,   a nd   H i ba   A l s g ha i e r ,   " T h e   i m pa c t   o f   c o - e v o l ut i o n  o f   c o de   pr o duc t i o n  a n d  t e s t   s u i t e s   t h r o ug h  s o f t w a r e   r e l e a s e s   i n  o pe n  s o ur c e   s o f t w a r e   s y s t e m s , "   I nt e r nat i on al   J o ur n al   o f   I nno v a t i v e   T e c hnol o gy   and   E x pl or i ng   E ng i ne e r i ng   ( I J I T E E ) ,  v o l .   9,   no .   1 ,   p p.   2737 - 273 9 ,  20 19.   [ 20]   P a ul   A m m a nn  a nd   J e f f   O f f ut t ,   I n t r oduc t i on   t o  s of t w ar e   t e s t i n g ,   C a m br i dg e   U ni v e r s i t y   P r e s s ,   2 008 .   [ 21]   E c l E m m a :   ht t ps : / / w w w . e c l e m m a . o r g / ,   A c c e s s   2 019   [ 22]   E c l i ps e   M e t r i c s :   ht t ps : / / m a r ke t p l a c e . e c l i p s e . o r g / c o nt e nt / e c l i ps e - m e t r i c s ,   A c c e s s   201 9   [ 23]   P I T .   ht t p: / / pi t e s t . o r g / ,   A c c e s s   2 019   [ 24]   R .   J u s t ,   D .   J a l a l i ,   L .   I noz e m t s e v a ,   M .   D .   E r ns t ,   R .   H o l m e s ,   a n d  G .   F r a s e r ,   " A r e   m u t a n t s   a   v a l i d  s ubs t i t u t e   f o r   r e a l   f a ul t s   i n  s o f t w a r e   t e s t i ng ?   T e c hni c a l   R e po r t   U W - C S E - 14 - 02 - 02, "   i n  P r oc e e di ngs   o f   t he   22nd  A C M   SI G SO F T   I nt e r n at i on al   Sy m pos i um   on   F ounda t i ons   o f   Sof t w ar e   E ng i ne e r i ng ,   pp.   65 4 - 665,   2 014   [ 25]   J .   H .   A ndr e w s ,   L .   C .   B r i a nd ,   a n d  Y .   L a bi c he . ,   " I s   m ut a t i o n  a n   a pp r o pr i a t e   t o o l   f o r   t e s t i ng   e xpe r i m e nt s ? ,"   P r oc e e di ngs   o f   t he   27 t h  i n t e r na t i ona l   c on f e r e nc e   on   So f t w ar e   e ngi n e e r i ng ,   pp .   4 02 - 411 ,   200 5.     [ 26]   J .   H .   A ndr e w s ,   L .   C .   B r i a n d,   Y .   L a bi c he ,   a nd  A .   S .   N a m i n ,   " U s i ng   m ut a t i o n  a na l y s i s   f o r   a s s e s s i ng   a nd  c o m pa r i ng   t e s t i ng   c o v e r a g e   c r i t e r i a , "   I E E E   T r an s ac t i ons   o n  S of t .   E n g. ,  v o l .   32 ,   no .   8 ,   pp .   608 - 62 4,   20 06 .   [ 27]   I B M   C o r p.   R e l e a s e d  i n   20 13.   I B M   SP SS   St at i s t i c s   f or   W i ndow s ,   V e r s i o n  22 . 0 .   A r m o nk,   N Y :   I B M   C o r p           Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T e s t   s u i t e s   e f f e c t i v e n e s s   e v o l ut i on  i n   op e n  s our c e   s y s t e m s :  e m pi r i c a l   s t udy   ( Moham m e d  A k our )   999   B I O G R A P H I ES   O F   A U T H O R S         D r .   M o h am m e d   A k o u r   i s   a n  a s s o c i a t e   P r o f e s s o r   o f   S o f t w a r e   E ng i ne e r i ng   a t   A l   Y a m a m a h  U ni v e r s i t y   ( Y U ) .   H e   g o t   hi s   B a c he l o r ' s   ( 2006 )   a nd  M a s t e r ' s   ( 20 08)   de g r e e   f r o m   Y a r m o uk  U ni v e r s i t y   i n  C o m put e r   I nf o r m a t i o n  S y s t e m s   w i t h  H o no r .   H e   j o i ne d  Y a r m o uk  U ni v e r s i t y   a s     a   L e c t ur e r   i n   A ug us t   200 8  a f t e r   g r a d ua t i ng   w i t h   h i s   m a s t e r ' s   i n  C o m put e r   I nf o r m a t i o n  S y s t e m s .   I n  A u g us t   2009 ,   H e   l e f t   Y a r m o uk  U ni v e r s i t y   t o   pur s ue   h i s   P h . D .   i n  S o f t w a r e   E ng i ne e r i ng   a t   N o r t h  D a ko t a   S t a t e   U ni v e r s i t y   ( N D S U ) .   H e   j o i n e d  Y a r m o uk  U ni v e r s i t y   a g a i n  i n  A pr i l   2 0 13   a f t e r   g r a d ua t i ng   w i t h  hi s   P h . D .   i n  S o f t w a r e   E ng i n e e r i ng   f r o m   N D S U   w i t h  H o no r .   H e   s e r v e s   a s   K e y n o t e   S pe a ke r ,   O r g a ni z e r ,   a   C o - c ha i r   a nd  pu bl i c i t y   C ha i r   f o r   s e v e r a l   I E E E   c o nf e r e nc e s ,     a nd  a s   E R B   f o r   m o r e   t ha n  10  I S I   i nde xe d  p r e s t i g i o us   j o ur n a l s .   H e   i s   a   m e m be r   o f   t he   I nt e r na t i o na l   A s s o c i a t i o n  o f   E ng i ne e r s   ( I A E N G ) .   D r .   A ko ur   a t   Y a r m o uk  U ni v e r s i t y   s e r v e d  a s   H e a d  o f   a c c r e di t a t i o n  a nd  Q ua l i t y   a s s ur a nc e   a nd  t h e n  w a s   hi r e d  a s   di r e c t o r   o f   c o m put e r   a nd   I n f o r m a t i o n  C e nt e r .   I n  2018 ,   D r .   A ko ur   ha s   be e n  hi r e d  a s   V i c e   D e a n  o f   S t ude n t   A f f a i r s   a t   Y a r m o uk  U ni v e r s i t y .   I n  2019,   D r .   A ko ur   j o i ns   A l   Y a m a m a h  U ni v e r s i t y   - R i y a dh  S a udi   A r a b i a -   a s   a n   a s s o c i a t e   p r o f e s s o r   i n  S o f t w a r e   E ng i n e e r i ng .           D r .   M am d o u h   A l e n e z i   i s   c ur r e n t l y   t he   D e a n  o f   E duc a t i o na l   S e r v i c e s   a t   P r i nc e   S u l t a n  U ni v e r s i t y .   D r .   A l e n e z i   r e c e i v e d  hi s   M S   a nd  P h. D .   de g r e e s   f r o m   D e P a u l   U n i v e r s i t y   a nd  N o r t h  D a ko t a   S t a t e   U ni v e r s i t y   i n  2011  a nd  2 014 ,   r e s p e c t i v e l y .   D r .   A l e ne z i   i s   a n  a s s o c i a t e   pr o f e s s o r   i n  s o f t w a r e   e ng i n e e r i ng   w i t h  t he   t e a c hi ng   e m pha s i s   o n  s o f t w a r e   e ng i n e e r i ng   a nd  s o f t w a r e   s e c ur i t y .   H e   pa r t i c i pa t e s   i n  o r g a ni z i ng   s e v e r a l   i nt e r n a t i o na l   s c i e n t i f i c   c o n f e r e nc e s   a nd  e d i t o r i a l   bo a r ds   o f   t he   w e l l - r e pu t e d  j o ur n a l s .   H e   ha s   e x t e n s i v e   e xpe r i e nc e   i n  a pp l y i ng   da t a   m i n i ng   a nd   m a c hi ne   l e a r n i ng   t e c hni q ue s   t o   s o l v e   s o f t w a r e   e ng i ne e r i ng   pr o bl e m s .   H e   pub l i s h e d  m o r e   t h a n  80  pa pe r s .   H e   c o nduc t e d   s e v e r a l   r e s e a r c h  a r e a s   a nd   de v e l o pm e n t   o f   pr e di c t i v e   m o de l s   us i ng   m a c hi ne   l e a r ni ng   t o   pr e d i c t   f a ul t - p r o ne   c l a s s e s ,   c o m pr e he nd  s o ur c e   c o de ,   a nd  pr e d i c t   t he   a ppr o pr i a t e   de v e l o pe r   t o   be   a s s i g ne d  t o   a   ne w l y   r e po r t e d  bug .   H i s   r e s e a r c h  f oc us e s   o n   S o f t w a r e   E ng i ne e r i ng ,   S o f t w a r e   S e c u r i t y ,   M a c hi ne   L e a r ni ng ,   a nd  O pe n  S o ur c e   S o f t w a r e   S y s t e m s .       Evaluation Warning : The document was created with Spire.PDF for Python.