I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   12 ,   No .   1 Octo b er   201 8 ,   p p .   51 ~ 60   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 1 2 .i 1 . p p 51 - 60          51       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   Co m pa ra tive  Ana ly sis   o f V a rio us Tes ting Techni ques  Used  f o Aspect - O ri ente So ft w a re Sys te m       Sa nd ee p Da la l1 ,   Su s heela   H o o da ,   K a m na   So la n k i   M . D.  Un iv e rsity ,   Ro h tak ,   Ha ry a n a ,   In d ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J an   19 ,   2 0 1 8   R ev i s ed   A p r   28 ,   2 0 1 8   A cc ep ted   Ju 14 ,   2 0 1 8       No w a d a y s,  A sp e c t - Orie n ted   P r o g ra m m in g   ( A OP p a ra d ig m   is  g e tt in g   m o re   p o p u larity   in   t h e   f ield   o f   so f twa re   d e v e lo p m e n t.   Bu tes ti n g   a n   A sp e c t - Orie n ted   S o f tw a re   S y ste m   ( AO S S is  n o w e ll   m a tu re d .   T h e re fo re ,   m a n y   re se a rc h e rs  h a v e   b e e n   f o c u sin g   o n   tes ti n g   a n   A OSS .   M o re o v e r,   th e   li tera tu re   in d ica tes   th a v e r y   f e w   p a p e rs   h a v e   d e v o ted   to   li tera tu re   su rv e y   b u stil th e re   is  n e e d   to   st u d y   in   d e p t h   o f   v a rio u tes ti n g   tec h n iq u e u se d   f o A OSS .   T h e re f o re ,   in   th is  p a p e r,   a   c o m p re h e n siv e   stu d y   o e x isti n g   v a rio u tes ti n g   tec h n iq u e f o A OSS   h a v e   b e e n   c o n d u c ted   a n d   p re se n a   c o m p a ra ti v e   a n a ly sis re su lt   o f   v a rio u s tes ti n g   t e c h n iq u e s b a se d   o n   v a rio u p a ra m e ters .   K ey w o r d s :   A O SS   tes tin g   A O SS   tes tin g   s u r v e y   Asp ec t - o r ien ted   p r o g r am m i n g   ( A OP )   As p ec t - o r ien ted   s o f t w ar s y s te m   ( A O SS )   So f t w ar test in g   Co p y rig h ©   2 0 1 8   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Su s h ee la  Ho o d a,   M. D.   Un iv er s it y ,   R o h ta k ,   Har y a n a,   I n d ia.   E m ail:  s u s h ee la h o o d a@ g m ai l.c o m       1.   I NT RO D UCT I O N     Asp ec t - Or ie n ted   P r o g r a m m in g   ( AOP )   is   r elativ el y   th la tes p r o g r am m i n g   p ar ad ig m   a s   co m p ar ed   to   tr ad itio n al  p r o g r a m m in g   p ar ad ig m   w h ic h   f o cu s es  o n   s ep ar atio n   o f   cr o s s cu tti n g   co n ce r n .   A   p r o g r a m   co n s is t s   o f   t w o   m aj o r   th in g s   s u c h   as  1 )   B u s in ess   L o g ic  an d   2 )   Su p p o r tin g   f u n ctio n s .   A OP   is o lates  th s u p p o r tin g   f u n ctio n s   f r o m   t h m ai n   b u s in ess   lo g ic  i n   w h ic h   s u p p o r tin g   f u n ctio n s   ar e   k n o w n   as c r o s s c u tti n g   co n ce r n s   a n d   b u s i n ess   lo g ic   is   k n o w n   as   p r i m ar y   co n ce r n .   T h er ef o r e,   AOP   in cr ea s e s   t h co n ce p o f   m o d u lar it y   b y   m i n i m izi n g   o r   n o   co d s ca tter in g .   T h er ef o r e,   AOP   h as b ee n   u s ed   to   d ev elo p   co m p le x   s o f t w ar s y s te m s .     A cc o r d in g   to   Dala l   et.   al.   [ 1 ] ,   s o f t w ar tes tin g   p la y s   a   cr itical  r o le  to   en s u r t h q u al it y   o f   t h e   s o f t w ar e.   So f co m p u ti n g   tec h n iq u es  h a v e   p r o v en   s u cc ess f u in   th ar ea   o f   s o f t w ar test in g .   Mo h ap atr an d   P r asad   p r o p o s ed   an t - co lo n y   o p tim izatio n   tec h n iq u f o r   r ed u cin g   th s ize  o f   test   s u i te  an d   p r o v ed   its   ef f ec tiv e n e s s   w i th   o th er   co n te m p o r ar y   tech n iq u es [ 2 ] .   A s p e ct - o r ien ted   s o f t w ar s y s te m   te s tin g   i s   n o t so   m u ch   m at u r ed   as  o t h er   p r o g r a m m i n g   p ar ad ig m s   s u c h   a s   o b j ec t - o r ien ted   an d   p r o ce d u r al  p r o g r am m in g   p ar ad ig m .   T h er ef o r e,   m a n y   o f   t h r esear ch er s   h av w o r k ed   in   t h f ield   o f   A OP   test i n g   b u s till   o n n ee d s   to   f o cu s   m o r e   in   th i s   f ield .   Qu a lit y   o f   t h s y s te m   is   d ir ec tl y   d ep en d en o n   th test in g .   P r o p er   test in g   o f   s o f t w ar lead s   to   d esig n   an d   d ev e lo p   q u al it y   s o f t w ar e.   So f t w ar tes ti n g   ca n   b p er f o r m ed   m a n u all y   as  w e ll  as    au to m at icall y   [ 3 ] ,   [ 4 ] .     A cc o r d in g   to   G h a n i [ 5 ] ,   au to m atio n   o f   s o f t w ar test i n g   p r o ce s s   i s   p er f o r m ed   to   m i n i m ize   co s t a n d   to   d ec r ea s th h u m a n   er r o r s .   Au to m at io n   o f   A OP   test i n g   ap p r o ac h es  d ep en d s   o n   th r ee   elem en ts ( i)   au to m ated   test   in p u g en er atio n   an d   s ele ctio n   ( ii)  au to m ated   test   o r ac l an d   ( iii)  au to m ated   te s ex e cu tio n .   A p ar t   f r o m   ab o v ele m e n ts ,   o t h er   i m p o r t an c h ar ac ter is tic s   ar test i n g   tech n iq u e s   f o r   A OP ,   d if f er e n te s tin g   le v el  a n d   co v er ag cr iter ia  f o r   test i n g   AOP .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esi a n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  12 ,   No .   1 Octo b er   2 0 1 8     51     60   52   Var io u s   r esear ch er s   [ 3 ] - [ 7 ]   d escr ib asp ec t - or ien ted   p r o g r a m   tes tin g   s u r v e y s .   B u s t ill,   n o   f o r m a l   s u r v e y   h as   b ee n   f o u n d   f o r   A O P   test in g   ap p r o ac h es a s   p er   o u r   k n o w led g e.   T h is   p ap er   w i ll  p r o v id th d etailed   an al y s is   o f   A OP   test i n g   ap p r o ac h es  b y   u s i n g   f o r m al  p r o ce d u r [ 8 ]   s y s te m a tic  r ev ie w .   T h is   p ap er   d o es  n o ca ter   to   c o m p ar t h e   ex i s ti n g   A OP   tes ti n g   tec h n iq u es   b ased   o n   th eir   m er its   an d   d em er i ts .   T h f o cu s   o f   t h is   p a p er   is   to   g iv co m p ar ativ a n al y s i s   s tu d y   o f   ex i s ti n g   asp e ct - o r ien ted   s o f t w ar test i n g   tech n iq u es  b a s ed   o n   s o m e   c h ar ac ter is tic s   s u c h   a s   te s tin g   tech n iq u e,   test in g   lev el,   au to m at io n   s u p p o r t,  au to m at io n   lev e an d   test   ca s g en er atio n   cr iter ia. Or g a n iza tio n   o f   th i s   p ap er   is   as:  Secti o n   2   d escr ib es  th s u r v e y   p la n n i n g   an d   ex ec u ti o n   o f   th li ter atu r s u r v e y .   Sectio n   3   d is cu s s e s   d etail  an al y s i s   s t u d y   o n   t h e   av ailab le  test i n g   tech n iq u es  f o r   A OP   an d   s ec tio n   4   d escr ib es  th v ar io u s   i s s u es  w h ic h   o cc u r   u s u all y   d u r i n g   A OP   test i n g .   Sectio n   5   p r esen ts   th co n c lu s io n s   an d   f u t u r w o r k .       2.   SYST E M AT I R E VI E W:   S URVEY P L ANN I N G   AND  E XE CUT I O N   A cc o r d in g   to   B .   Kitch en h a m   [ 8 ] ,   a   s y s te m atic  r ev ie w   is   p lan n i n g   w h ic h   in cl u d es   t h m et h o d s   to   id en ti f y ,   a n al y ze   a n d   clar if y   t h m o s ap p r o p r iate  r esear ch   ab o u s p ec i f ic  r esear ch   q u es tio n .   T h f o llo w i n g   s tep s   h a v to   ca r r y   o u t h r ev ie w   i n   th is   liter at u r ar as  f o llo w ai m ,   r esear ch   q u e s tio n s ,   s elec tio n   o f   av ailab le  s o u r ce s ,   s ele ctio n   o f   s ea r ch   s tr in g s ,   cla s s i f icati o n   an d   ex tr ac t h i n f o r m ati o n   f r o m   ea c h   A OP   test i n g   ap p r o ac h .   T h f o llo w i n g   s tep s   h av b ee n   tak en   u s i n g   th ap p r o ac h   o f   B .   Kitch en h a m   [ 8 ]:   Ai m :   T o   ch ar ac ter ize  th v ar io u s   A OP   test i n g   ap p r o ac h es  f r o m   t h a v ailab le  lite r at u r e.   Resea rc h Q ues t io n: - W h at  ar th av ailab le  A OP   test in g   te ch n iq u es a n d   th eir   ch ar ac ter i s t ics.   So urce s :   A C M   Di g ital  L ib r a r y ,   I E E E   X - p lo r e,   o p en   ac ce s s   j o u r n als,  s p r in g er ,   Scie n ce   d ir ec t,  E ls ev ier   ,   v ar io u s   j o u r n al s   an d   co n f er en ce   p r o ce ed in g s .   Sea rc S t ring : -   ( “A OP   te s t in g   tec h n iq u es”) o r ( T est i n g   Asp ec t - o r ien ted   p r o g r a m s   o r   s o f t w ar e” ) o r ( u n it   test i n g   f o r   A OP ”) o r ( Data   f l o w   te s ti n g   f o r   A OP ”) o r ( au t o m a ted   test i n g   f o r   AOP ”) o r ( Mo d el  b ased   A OP   test i n g ”)   o r ( co n tr o f lo w   t esti n g   f o r   A OP ”) o r ( Stru c tu r al  test i n g   f o r   A OP ”)   o r ( Sear ch   b ased   AOP   test i n g ”) o r ( “Reg r e s s io n   te s ti n g   f o r   A OP ”) o r ( R an d o m   test i n g   f o r   AOP ”) o r ( in teg r at io n   t esti n g   f o r   A OP ”) .   A OP   te s ti n g   tech n iq u e s   h av e   b ee n   clas s if ied   in to   d if f er en t   f ield s   b ased   o n   r e v ie w   o f   [ 3 ] - [ 7 ]   s h o ws   th at  i n   T ab le  1 .       T ab le  1 .   C h ar ac ter izatio n   o f   V ar io u s   A OP   T esti n g   T ec h n iq u es   F i e l d   D e scri p t i o n   T e st i n g   T e c h n i q u e   D e f i n e   v a r i o u s t e st i n g   t e c h n i q u e s fo r   A O P   w h i c h   a r e   c l a ssi f i e d   d i f f e r e n t l y   b y   d i f f e r e n t   r e se a r c h e r s.   L e v e l   o f   Te st i n g   D e f i n e   w h i c h   l e v e l   o f   t e st i n g   i u se d   t o   t e st   t h e   so f t w a r e   b e h a v i o r .   D i f f e r e n t   l e v e l   o f   t e st i n g   u se d   a r e :   u n i t ,   i n t e g r a t i o n ,   sy st e m,  a c c e p t a n c e   a n d   r e g r e ssi o n   t e st i n g .   T e st   C o v e r a g e   C r i t e r i a   D e f i n e   c r i t e r i a   t o   se l e c t   w h i c h   i n p u t   s e t s a r e   t o   b e   i n c o r p o r a t e d .     T o o l s t o   S u p p o r t     D e f i n e   t h e   e x i s t e n c e   o r   n o t   o f   s u p p o r t i n g   t o o l s.   A u t o mat i o n   L e v e l   A u t o mat i o n   me a n s   t h e   r e d u c t i o n   i n   c o st ,   t i me   a n d   e f f o r t .   D e f i n e s h o w   a u t o mat e d   i s   a   p r o p o se d   t e st i n g   a p p r o a c h .   B e h a v i o u r   M o d e l   D e scri b e   w h i c h   b e h a v i o u r   mo d e l   i b e i n g   u se d   b y   t e st i n g   t e c h n i q u e .       3.   ANALY S I S O F   ASP E C T - O RIE N T E SO F T WAR E   T E ST I NG   T E CH NI Q U E S   T o   h av th b etter   u n d er s tan d   th p r esen s ce n ar io   o f   v ar io u s   test i n g   ap p r o ac h es  f o r   a n   asp ec t - o r ien ted   s o f t w ar s y s te m .   T h f o llo w i n g   s ec tio n   d is c u s s es  t h v ar io u s   p ap er s   w h ich   h av e x ten s i v el y   co v er ed   th e   b asic a s p ec ts   o f   asp ec t - o r i en ted   s o f t w ar p r o g r a m m i n g   p ar ad ig m   an d   t h eir   test i n g   ap p r o ac h es.     3 . 1 .     T esting   T ec hn iq ues   f o AO P   T h er ar v ar io u s   test i n g   t ec h n iq u es  f o r   A OP   w h ic h   ar class i f ied   d if f er en tl y   b y   d if f er e n t   r esear ch er s   [ 3 ] ,   [ 4 ]   an d   [ 6 ] .   Ho w e v er ,   b r o ad   class if icati o n   o f   test i n g   tech n iq u e s   f o r   A OP   g i v e n   s h o w n   i n   Fig u r e   1   an d   d etail  d escr ip tio n   o f   ea ch   test i n g   tech n iq u e .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752     C o mp a r a tive  A n a lysi s   o f V a r io u s   Tes tin g   Tech n iq u es Used   fo r   A s p ec t - Ori en ted …  ( S u s h ee la   Ho o d a )   53   T e s t i n T e c h n i q u e s   i n   A O P F u nc t i o na l   T e s t i ng Or M ode l   B a s e T e s t i ng S t r uc t ur a l   T e s t i ng Or C od e   B a s e T e s t i ng M ut a t i on   T e s t i ng R e gr e s s i on   T e s t i ng R a ndom   T e s t i ng S e a r c B a s e T e s t i ng     Fig u r e   1 .   T esti n g   tech n i q u es i n   A OP       3 . 1 . 1.     F un ct io na l/ M o del - B a s ed  T esting   Fu n ctio n al  te s ti n g   is   u s ed   to   test   t h e x ter n al   b eh a v io u r   o f   s o f t w ar w h et h er   s o f t w ar e   m ee t s   th e   cu s to m er s   r eq u ir e m en o r   n o w it h o u b o t h er in g   t h i m p le m en tatio n   d etails  o f   t h s o f t w ar e.   Mo d el - b ased   test i n g   ( MB T )   is   also   c o n s id er ed   as  f u n ct io n al  test in g   b ec au s li k f u n c ti o n al  tes tin g ,   it  h as  also   in ten d ed   to   test   th ex ter n al  b eh a v io u r   o f   th s y s te m .   Mo r eo v er ,   U ML   ( Un i f ied   Mo d elin g   L a n g u a g e)   h as  p r o v e n   s u cc e s s f u to   p r ed ict  test   ef f o r in   ea r lier   s ta g es  o f   t h s o f t war d ev elo p m e n p r o ce s s   [ 9 ] .   MB T   w as  o r ig i n all y   d ev elo p ed   f o r   s y s te m   te s ti n g .   Ho w e v er ,   MB T   ca n   b u s ed   in   u n it  te s ti n g ,   i n teg r atio n   te s tin g   a n d   i n   o t h er   test i n g   tec h n iq u es   [ 1 0 ] - [ 3 0 ] .     3 . 1 . 2 .     Str uct ura l/Co de  B a s e d T esting   Stru ct u r al  te s ti n g   is   u s ed   to   te s t h s o f t w ar e s   i m p le m e n tati o n   i n   w h ic h   te s d ata  i s   d er iv e d   f r o m   th e   k n o w led g o f   th in ter n al  d etail.   ( e. g .   co n tr o p ath ,   d ata  ite m s ) .   T h is   k n o w led g ca n   b g ath er ed   o n l y   w h e n   o n h a s   k n o w led g ab o u t h s o u r ce   co d e.   T h is   i s   t h e   r ea s o n   th at   s tr u ct u r al  te s ti n g   i s   co n s id er ed   as     co d e - b ased   test i n g .   C o n tr o f l o w   a n d   d ata  f lo w   tes tin g   h a v also   co m e   u n d er   s tr u ctu r al   test i n g .   As  co n tr o f lo w   test in g   r eq u ir es  k n o w le d g ab o u th co n tr o f lo w   s tr u ct u r o f   t h p r o g r a m   an d   d ata  f lo w   tes tin g   r eq u ir es  k n o w led g ab o u t h e   test   p ath s   o f   p r o g r a m   w h i ch   ca n   b d er iv ed   f r o m   t h e   s eq u en ce   o f   e v e n t s   r elate d   to   th d ata  s tate   [ 3 1 ] - [ 4 5 ] .     3 . 1 . 3 .     M uta t io n T esting   Mu tatio n   tes tin g   i s   al s o   k n o wn   as   f a u lt - b ased   te s ti n g .   I n   o r d er   to   p er f o r m   m u tatio n   tes tin g ,   m u ta n t s   ar g e n er ated   f r o m   t h o r i g i n al  p r o g r a m   b y   m o d i f y i n g   t h o r ig in al   p r o g r a m   w it h   t h h elp   o f   d i f f er en t   m u tatio n   o p er ato r s .   T h er ea f ter ,   m u tat io n   test in g   is   p er f o r m e d   to   id en tify   w h et h er   test   d ata   is   ab le  to   d is co v er   th m o d i f icatio n s   w h ich   w er p er f o r m ed   i n   o r ig i n al  p r o g r a m   o r   n o t [ 4 6 ] - [ 6 0 ] .     3 . 1 . 4 .     Reg re s s io n T esting   R eg r es s io n   te s ti n g   i s   p er f o r m ed   d u r in g   t h m a in te n a n ce   p h ase  o f   t h s o f t w ar to   en s u r th at  all   f au lts   h ad   b ee n   d etec ted   w h ich   o cc u r r ed   d u to   v ar io u s   c h an g es  in   s o f t w ar w h ile  m o d if y i n g   th e     s o f t w ar [ 6 1 ] - [ 6 4 ] .     3 . 1 . 5 .     Ra nd o m   T e s t ing   R an d o m   te s ti n g   i s   p r o d u ce d   tes d ata  r an d o m l y   r at h er   th a n   o n e s   ch o ice.   I is   o n o f   th s i m p le   test i n g   tech n iq u e   an d   le s s   co s tl y   a s   co m p ar ed   to   o th er   te s ti n g   tech n iq u es.  R .   M .   P ar izi  et . al.   [ 6 6 ]   p r o p o s ed   a   f r a m e w o r k   f o r   test i n g   a n   asp ec t - o r ien ted   p r o g r a m   u s i n g   r an d o m   test in g .   A cc o r d i n g   to   t h a u t h o r ,     th is   ap p r o ac h   is   th f ir s ap p r o ac h   f o r   r an d o m   test i n g   f o r   an   asp ec t - o r ien ted   p r o g r a m .   T h au th o r   also   ex te n d s   h is   o w n   w o r k   in   [ 6 7 ] .     3 . 1 . 6 .     Sea rc h - B a s ed  T esting   Sear ch   b ased   te s ti n g   is   also   co n s id er ed   as  e v o lu t io n ar y   te s tin g   b a s ed   o n   t h t h eo r y   o f   ev o lu tio n .     I f o r m u late s   t h f it n es s   f u n c tio n   to   s elec te s d ata   b ased   o n   s o m o b j ec tiv es   s u ch   as   co v er ag cr i ter ia.     B etter   f itn e s s   f u n ctio n   h elp s   to   s o lv th s ea r ch   p r o b le m   in   b etter   w a y   [ 6 8 ] - [ 7 3 ] .   C u r r en tl y ,   6 2   p ap er s   h a v b ee n   clas s i f ied   i n to   d if f er e n ca te g o r ies.  T ab le  2   s h o w s   t h co m p lete  li s t   o f   th s elec ted   p ap er s   w it h   th e ir   class i f icatio n   o f   d if f er en t c a teg o r ies.     3 . 2 .     L ev el  o f   T esting     T a b le  3   s h o w s   th d i f f er e n l ev el  o f   te s ti n g   o f   A OP   an d   n u m b er   o f   ap p r o ac h es  f r o m   T ab le  4   w h ich   e x ten d s   th s co p o f   ap p licati o n   o f   A OP   test i n g   ap p r o ac h es.       \   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esi a n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  12 ,   No .   1 Octo b er   2 0 1 8     51     60   54   T ab le  2 .   Var io u s   C lass i f icat io n s   o f   Selecte d   P ap er s   P a p e r   C a t e g o r i e s   # P a p e r s   F u n c t i o n a l   T e st i n g   o r   M o d e l   B a se d   T e st i n g     21   S t r u c t u r a l   T e st i n g   o r   C o d e - b a se d   T e st i n g   15   M u t a t i o n   T e st i n g   15   Re g r e ssi o n   T e st i n g   4   R a n d o m T e st i n g   2   S e a r c h   B a se d   T e st i n g   5   T o t a l   o f   p a p e r s   62       T ab le  3 .   Qu an titati v An al y s is   o f   T esti n g   L ev e l   T e st i n g   L e v e l   #   A p p r o a c h e s   U n i t   t e st i n g   9   I n t e g r a t i o n   t e st i n g   10   S y st e m t e st i n g   30   R e g r e ssi o n   t e st i n g   3       3. 3   T est  Ca s Co v er a g Cri t er ia   C o v er ag cr iter ia  is   m ea s u r to   d eter m i n w h ic h   in p u t s   ar to   b in co r p o r ated   in to   test   s u it.   E f f ec tiv e   co v er ag e   cr iter ia  h e lp   to   test   th e   s o f t w ar e f f ec t i v el y .   A s   liter at u r i n d icate s   t h at  n o all   co v er ag e   cr iter ia  w h ic h   h av e   b ee n   u s e d   in   tr ad itio n a p r o g r a m m i n g   p ar ad ig m   ar d ir ec tl y   u s e f u l   f o r   test in g   AOP s .   T h er ef o r e,   b r o a d   class if icati o n   o f   co v er a g cr iter ia  h as b ee n   s h o w n   in   Fi g u r e   2   a n d   b r ief   d escr ip tio n   o f   ea c h   co v er ag cr iter ia  h as b ee n   d is c u s s ed :       T e s t i n C o ve r a ge   C r i t e r i a   F o r   A O P C o de   B a s e C r i t e r i a M o de l   B a s e C r i t e r i a F a u l t   B a s e C r i t e r i a     Fig u r 2 .   Dif f er en t te s t c ase  c o v er ag cr iter ia  f o r   A OP       3 . 3 . 1 .     Co de - B a s ed  Crit er ia   T h s o u r ce   co d o f   A OP   o r   s o m f o r m   o f   g r ap h   m o d el  a r u s ed   to   d ef in co d e - b a s ed   co v er ag e   cr iter ia.   C o d e b ased   cr iter ia  ca n   b d ef i n ed   b y   t w o   m et h o d s   s u c h   as  ( 1 )   asp e ct  co v er ag cr iter ia  an d   ( 2 )   asp ec tu al  b r an ch   co v er a g e   cr iter ia  [ 5 ] .   A s p ec co v er ag cr iter ia  in cl u d s t ate m e n co v er ag e,     j o in p o in co v er ag e,   co n tex c o v er ag an d   d ef - u s co v er a g [ 3 9 ] ,   [ 4 1 ]   w h er ea s   asp ec t u al  b r an ch   co v er ag e   cr iter ia  in cl u d i n ter ac tio n   c o v er ag e,   d ata  f lo w   co v er ag e   an d   d ata  co v er ag e   [ 3 3 ] ,   [ 3 6 ] ,   [ 4 0 ] ,   [ 4 3 ] ,   [ 4 5 ] .   Mo r eo v er ,   n e w   f lo w   g r ap h   m o d els  h a v p r o p o s ed   to   h a n d l th e   asp ec ts   i n te g r atio n   w it h   s o u r ce   co d s u c h   as   d ef - u s g r ap h   m o d el   ( A ODU) ,   P air W is Def - Use   ( P W DU)   [ 3 9 ] ,   [ 4 1 ]   an d   s o   o n .     3 . 3 . 2 .     M o del - ba s ed  co v er a g e   cr it er ia   C o n tr o f lo w   g r ap h   w h ic h   is   g en er ated   f r o m   UM L   m o d el  is   u s ed   to   d ef in m o d el - b a s e d   cr iter ia.   Var io u s   co v er a g cr iter ia  h a v e   b ee n   u s ed   to   d ef i n m o d el - b ased   cr iter ia  s u c h   as   tr an s itio n   co v er ag e,   s eq u e n c e   co v er ag e,   m u lti  a s p ec in teg r atio n ,   p o l y m o r p h ic,   b r an c h   c o v er ag an d   asp ec t u a b r an c h   co v er ag cr iter ia   [ 1 4 ] - [ 1 8 ] ,   [ 2 2 ] - [ 2 4 ]   h as b ee n   u s ed   to   g e n er ate  th te s t d ata.     3 . 3 . 3 .     F a ult  ba s ed  cr it er ia   I t is u s ed   to   g e n er ate  test   d ata  to   d etec t f au lt s   in   t h m u ta t ed   v er s io n   o f   th p r o g r a m   [ 4 6 ] - [ 6 0 ] .     3. 4   T o o ls   t o   s up po rt   T h er ar s o m ap p r o ac h es   [ 1 2 ] ,   [ 1 4 ] ,   [ 1 5 ] ,   [ 1 9 ] ,   [ 2 3 ] ,   [ 2 5 ] ,   [ 2 6 ] ,   [ 2 9 ] ,   [ 3 6 ] ,   [ 3 8 ] ,   [ 4 3 ] ,   [ 4 4 ] ,   [ 4 6 ] ,   [ 4 9 ] ,   [ 5 1 ] - [ 5 4 ]   an d   s o   o n   w h i ch   p r o v id au to m ated   to o ls   to   ap p ly   t h eir   alg o r ith m s   a n d   s o m ap p r o ac h e s   s till   s u p p o r m an u al.   Fo r   test   ca s g en er atio n ,   m a n u al  ap p r o ac h   is   tr iv ial,   it  ta k es  m o r ti m t h at  lead s   to   co s o f   th s o f t w ar h ig h .   T h er ef o r e,   o n s h o u ld   h av to   tr y   to   d e s ig n   to o w h ich   s u p p o r ts   th p r o p o s ed   ap p r o ac h .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752     C o mp a r a tive  A n a lysi s   o f V a r io u s   Tes tin g   Tech n iq u es Used   fo r   A s p ec t - Ori en ted …  ( S u s h ee la   Ho o d a )   55   Ho w e v er ,   au to m ated   s u p p o r tin g   to o ls   p r o v id r ich   f ea t u r es  b u it  l i m its   i ts   u s a g i n   a n   o r g an iza tio n   d u to   a   h ea v y   lice n s f ee .   An al y z in g   all  s u p p o r tin g   to o ls   w h ic h   h av o r   n o b ee n   ap p lied   in   v ar io u s   AOP   test in g   ap p r o ac h es  is   d if f ic u lt  tas k .   T h er ef o r e,   T ab le  4   o n l y   s h o ws  th p r ese n o r   ab s en o f   s u p p o r tin g   to o o n   t h b asis   o f   th e   in f o r m a tio n   w h i ch   h as  b ee n   p r o v id ed   b y   au t h o r s   [ 4 ] - [ 6 ] .   C o u n tin g   al s u p p o r tin g   to o ls   a n d   an al y z in g   t h e m   i s   n o t t h in te n tio n   o f   th i s   p ap er .       T ab le  4 .   C o m p ar ativ An al y s i s   o f   Var io u s   T esti n g   T ec h n iq u es f o r   Asp ec t - Or ien ted   So f t w a r S y s te m   A u t h o r   / Y e a r   o f   p u b l i c a t i o n   T e st i n g   T e c h n i q u e / B e h a v i o r   M o d e l   T e st i n g   L e v e l   T e st   C o v e r a g e   C r i t e r i a   T o o l s t o   S u p p o r t   A p p r o a c h   A u t o mat i o n   S u p p o r t   t o   T e st   J.  Z h a o [ 2 0 0 3 ]   S t r u c t u r a l   T e st i n g   D a t a   f l o w   b a se d   u n i t   T e st i n g   N o   c o v e r a g e   c r i t e r i a     d e f i n e d       R .   T .   A l e x a n d e r   e t   a l . [ 2 0 0 4 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d     C r i t e r i a       Y .   Z h o u [ 2 0 0 4 ]   S t r u c t u r a l   T e st i n g   S y st e T e st i n g   N o   c o v e r a g e   c r i t e r i a     d e f i n e d       M .   M o r t e n se n   e t   a l [ 2 0 0 4 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   C o n t e x t   c o v e r a g e       W . X u   e t   a l [ 2 0 0 4 ]   M o d e l   B a se d   T e st i n g (   A sp e c t u a l   f l o w   g r a p h   b a se d   T e st i n g )   U n i t   T e st i n g   U se   c a se ,   p o l y mo r p h i c ,   t r a n s i t i o n   c o v e r a g e   c r i t e r i a       G . X u   e t   a l [ 2 0 0 4 ]   S t r u c t u r a l / C o d e   b a se d   T e st i n g   U n i t   T e st i n g   N o   c o v e r a g e   c r i t e r i a     d e f i n e d       D .   X u   e t   a l [ 2 0 0 5 ]   M o d e l   b a se d   t e st i n g (   S t a t e   b a se d   t e st i n g )   U n i t   T e st i n g   C o n d i t i o n a l   b r a n c h   C o v e r a g e         W .   X u   e t   a l [ 2 0 0 5 ]   M o d e l   b a se d   t e st i n g (   U M L   d i a g r a ms( c l a ss  d i a g r a m,  a sp e c t   d i a g r a m a n d   se q u e n c e   d i a g r a m)   S y st e T e st i n g   P o l y mo r p h i c   a n d   b r a n c h   c o v e r a g e   c r i t e r i a       C .   V .   L o p e s e t   a l [ 2 0 0 5 ]   S t r u c t u r a l   / C o d e   B a se d   T e st i n g   U n i t   T e st i n g   N o   C o v e r a g e   c r i t e r i a   d e f i n e d       M . M o r t e n se n   e t   a l [ 2 0 0 5 ]   n o t   i n c l   M u t a t i o n   T e st i n g   S y st e T e st i n g   D e f - u se   c o v e r a g e       H . R a j a n   e t   a l [ 2 0 0 5 ]   S t r u c t u r a l / C o d e   b a se d   T e st i n g   S y st e T e st i n g   N o   C o v e r a g e     c r i t e r i a   d e f i n e d       T . X i e   e t   a l [ 2 0 0 5 ]   S t r u c t u r a l   / C o d e   b a se d   T e st i n g   U n i t   T e st i n g ,   I n t e g r a t i o n   t e st i n g   A sp e c t u a l   I n t e g r a t i o n   c o v e r a g e       M .   B a d r i   e t   a l [ 2 0 0 5 ]   M o d e l   B a se d   T e st i n g ( S t a t e   D i a g r a m)   U n i t   T e st i n g   M u l t i   a sp e c t   i n t e g r a t i o n   c o v e r a g e     c r i t e r i a       P .   M a ssi c o t t e   e t   a l [ 2 0 0 5 ]   M o d e l   b a se d   T e st i n g (   C o l l a b o r a t i o n     D i a g r a m)   I n t e g r a t i o n   T e st i n g   T r a n si t i o n   c o v e r a g e ,   se q u e n c e   c o v e r a g e ,   mo d i f i e d   se q u e n c e   c o v e r a g e   a n d   m u l t i   a sp e c t   i n t e g r a t i o n   c o v e r a g e   c r i t e r i a       P . M a ss i c o t t e   e t   a l . [ 2 0 0 5 ]   M o d e l   B a se d   T e st i n g (   C o l l a b o r a t i o n     D i a g r a m)   I n t e g r a t i o n   T e st i n g   T r a n si t i o n   c o v e r a g e ,   se q u e n c e   c o v e r a g e ,   mo d i f i e d   se q u e n c e   c o v e r a g e   a n d   m u l t i   a sp e c t   i n t e g r a t i o n   c o v e r a g e   c r i t e r i a       D .   X u   e t   a l [ 2 0 0 6 ]   M o d e l   B a se d   T e st i n g     S y st e T e st i n g       b r a n c h   c o v e r a g e   c r i t e r i a       T . X i e   e t   a l [ 2 0 0 6 ]   S t r u c t u r a l / C o d e   b a se d   T e st i n g   S y st e T e st i n g   A sp e c t u a l   B r a n c h ,   i n t e r a c t i o n   C o v e r a g e   C o v e r a g e       P .   A n b a l a g a n   e t   a l [ 2 0 0 6 ]   S t r u c t u r a l / C o d e   B a se d   T e st i n g   U n i t   T e st i n g   N o   c o v e r a g e       P . A n b a l a g a n   e t   a l [ 2 0 0 6 ]   Mu t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       O . A . L . L e m o s e t   a l [ 2 0 0 6 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       J.  Z h a o   e t   a l [ 2 0 0 6 ]   R e g r e ssi o n   t e st i n g   S y st e T e st i n g   N o   c o v e r a g e   c r i t e r i a   d e f i n e d       G .   X u   e t   a l [ 2 0 0 6 ]   R e g r e ssi o n   t e st i n g   S y st e T e st i n g   N o   c r i t e r i a   d e f i n e d       J.S.B a e k k e n   e t   a l [ 2 0 0 6 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   C r o sscu t t i n g   n o d e   c r i t e r i a       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esi a n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  12 ,   No .   1 Octo b er   2 0 1 8     51     60   56   O . A . L . L e m o s e t   a l [ 2 0 0 7 ]   C o d e   b a se d   T e st i n g   S y st e T e st i n g   D e f - u se         T .   X i e   e t   a l [ 2 0 0 7 ]   S t r u c t u r a l   / C o d e   B a se d   T e st i n g   U n i t   a n d   I n t e g r a t i o n   T e st i n g   A sp e c t u a l   i n t e g r a t i o n   c o v e r a g e       C .   Z h a o   e t   a l [ 2 0 0 7 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       P .     M a ss i c o t t e   e t   a l . [ 2 0 0 7 ]   M o d e l   B a se d   T e st i n g (   C o l l a b o r a t i o n   D i a g r a m)   I n t e g r a t i o n   T e st i n g   A sp e c t   i n t e g r a t i o n   c o v e r a g e   c r i t e r i a       G .   X u   e t   a l [ 2 0 0 7 ]   R e g r e ssi o n   t e st i n g   S y st e T e st i n g   N o   c o v e r a g e   c r i t e r i a   d e f i n e d       W .   X u   e t   a l [ 2 0 0 7 ]   M o d e l   B a se d   T e st i n g   S t a t e   B a se d   T e st i n g     N o   c r i t e r i a   d e f i n e d       D .   X u   e t   a l [ 2 0 0 7 ]   M o d e l   B a se d   T e st i n g   A sp e c t u a l   u se   c a se   d i a g r a m   U se   c a se ,   t r a n si t i o n   a n d   s t a t e   c o v e r a g e   c r i t e r i a       I . G . F r a n c h i n   e t   a l [ 2 0 0 7 ]   C o d e   b a se d   T e st i n g   S y st e T e st i n g   P a i r - w i se   D e f - u se       P . A n b a l a g a n   e t   a l [ 2 0 0 8 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       F . C . F e r r a r i   e t   a l [ 2 0 0 8 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       D . X u   e t   a l [ 2 0 0 8 ]   M o d e l   B a se d   T e st i n g   U M L   C l a ss,  S e q u e n c e   a n d   A sp e c t   D i a g r a m   U se   c a se ,   t r a n si t i o n   a n d   s t a t e   c o v e r a g e   c r i t e r i a       C . H . L i u   e t   a l [ 2 0 0 8 ]   M o d e l   B a se d   t e st i n g   S t a t e   B a se d   T e st i n g   N o   c o v e r a g e   c r i t e r i a       O . A . L . L e m o s e t   a l [ 2 0 0 8 ]   C o d e   B a se d   T e st i n g   S y st e T e st i n g   A d v i c e   p o i n t   c u t   c o v e r a g e       C . B a b u   e t   a l [ 2 0 0 9 ]   M o d e l   B a se d   T e st i n g (   U M L   S e q u e n c e   D i a g r a m)   I n t e g r a t i o n   T e st i n g   T r a n si t i o n   c o v e r a g e   c r i t e r i a       M . H a r m a n   e t   a l   [ 2 0 0 9 ]   S e a r c h   b a se d   T e st i n g   S y s t e T e st i n g   A sp e c t u a l   b r a n c h   c o v e r a g e       R . M . P a r i z i   e t   a l [ 2 0 0 9 ]   R a n d o m T e st i n g   S y st e T e st i n g   N o   c o v e r a g e   c r i t e r i a   d e f i n e d       R . D e l mare   e t   a l [ 2 0 0 9 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       M . B a d r i   e t   a l [ 2 0 0 9 ]   M o d e l   b a se d   T e st i n g   U M L   S t a t e   D i a g r a m   S t a t e   c o v e r a g e       A . Jac k so n   e t   a l [ 2 0 0 9 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       O . A . L . L e m o s e t   a l [ 2 0 0 9 ]   C o d e   B a se d   T e st i n g   I n t e g r a t i o n   T e st i n g   P a i r W i se   D e f - u se       F . W e d y a n   e t   a l [ 2 0 1 0 ]   C o d e   B a se d   T e st i n g   I n t e g r a t i o n   T e st i n g   I n t e r a c t i o n   c o v e r a g e   c r i t e r i a       F . C . F e r r a r i   e t   a l [ 2 0 1 0 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       D . X u   e t   a l [ 2 0 1 0 ]   M o d e l   B a se d   T e st i n g   Ex t e n d e d   st a t e   b a se d   T e st i n g   S t a t e   c o v e r a g e       D . X u   e t   a l [ 2 0 1 0 ]   M o d e l   B a se d   T e st i n g   S t a t e   B a se d   T e s t i n g   S t a t e   c o v e r a g e       F .   W e d y a n   e t . a l . [ 2 0 1 0 ]   S t r u c t u r a l   T e st i n g   S y st e T e st i n g     D a t a   f l o w   c o v e r a g e   c r i t e r i a       A . D e l mare   e t   a l [ 2 0 1 1 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a       R . M . P a i r z i   e t   a l   [ 2 0 1 1 ]   R a n d o m T e st i n g   S y st e T e st i n g   N o   C o v e r a g e       S .   M a d a d p o u r   e t   a l [ 2 0 1 1 ]   M o d e l   b a se d   t e st i n g   I n t e g r a t i o n   T e st i n g   A sp e c t - i n t e g r a t i o n   c o v e r a g e   c r i t e r i a       R . D e l mare   e t   a l [ 2 0 1 2 ]   I n t e g r a t i o n   T e st i n g   S e a r c h   B a se d   A p p r o a c h   N o     c o v e r a g e   c r i t e r i a   d e f i n e d       R . D e l mare   e t   a l [ 2 0 1 2 ]   I n t e g r a t i o n   T e st i ng   S e a r c h   B a se d   A p p r o a c h   N o     c o v e r a g e   c r i t e r i a   d e f i n e d       P . W a n g   e t   a l [ 2 0 1 2 ]   S t r u c t u r a l   T e st i n g   S y st e T e st i n g   N o   c o v e r a g e   c r i t e r i a   d e f i n e d       M .   M a h a j a n   e t   a l [ 2 0 1 2 ]   S t r u c t u r a l   T e st i n g     S y st e T e st i n g   N o   c o v e r a g e   c r i t e r i a   d e f i n e d       C .   K a u r   e t   a l [ 2 0 1 2]   M o d e l   B a se d   t e st i n g   I n t e g r a t i o n   T e st i n g   A sp e c t   I n t e g r a t i o n       A . A .   G h a n i   [ 2 0 1 3 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   S e man t i c   f a u l t   b a se d   c r i t e r i a       F .   G .   L e m e   e t . a l . [ 2 0 1 5 ]   M u t a t i o n   T e st i n g   S y st e T e st i n g   F a u l t   b a se d   c r i t e r i a         Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752     C o mp a r a tive  A n a lysi s   o f V a r io u s   Tes tin g   Tech n iq u es Used   fo r   A s p ec t - Ori en ted …  ( S u s h ee la   Ho o d a )   57   F .   W e d y a n   e t . a l . [ 2 0 1 5 ]   S t r u c t u r a l   T e st i n g   S y st e T e st i n g   D a t a   F l o w   B a se d   c o v e r a g e   c r i t e r i a       S .   D a l a l   e t . a l . [ 2 0 1 7 ]   M o d e l   B a se d   T e st i n g   S y st e T e st i n g   A sp e c t u a l   b r a n c h   c o v e r a g e   c r i t e r i a       S .   D a l a l   e t . a l . [ 2 0 1 7 ]   M o d e l   B a se d   T e st i n g   S e a r c h   B a se d   A p p r o a c h   A sp e c t u a l   b r a n c h   C o v e r a g e   C r i t e r i a       S .   D a l a l   e t . a l . [ 2 0 1 7 ]   M o d e l   B a se d   T e st i n g   S e a r c h   B a se d   A p p r o a c h   A sp e c t u a l   b r a n c h   C o v e r a g e   C r i t e r i a           3. 5   Aut o m a t io n lev el   Au to m a ted   s u p p o r is   v er y   i m p o r tan f o r   test in g   as  it  r ed u ce s   co s t,  ef f o r t,  ti m e   an d   a ls o   m i n i m ize  t h e   h u m a n   er r o r s .   Var io u s   au to m atio n   lev e h a s   b ee n   d escr ib ed   b y   r esear ch er s   [ 3 ] - [ 5 ] .   On   th b asis   o f   t h o s e,     b r o ad   class if ica tio n   o f   a u to m atio n   le v el  h as b ee n   s h o w n   i n   Fi g u r e   3 .       Aut om a t i on  S u ppor t Aut om a t e T e s t   I np ut   Ge ne r a t i on   And   S e l e ct i o n Aut om a t e T e s t   O r a cl e A ut o m a t e T e s t   E x e c u t i on     Fig u r e   3 .   C lass if ica tio n   o f   a u t o m a tio n   i n   A OP       3 . 5 . 1 .     Aut o m a t ed  T est  I np ut   G ener a t io n a nd   Select io n T o o ls   T h ese  t y p o f   to o ls   ar u s ed   to   p r o d u ce   test   d ata  w h ic h   s at is f ies th p ar ticu lar ized   co v er ag e   cr iter ia.     3 . 5 . 2 .     Aut o m a t ed  T est  O ra cle   T h ese  ar u s ed   to   au to m atica l l y   ex a m i n th f id elit y   o f   t h te s ts .     3 . 5 . 3 .     Aut o m a t ed  T est  E x ec utio n   T h is   to o is   u s ed   to   e x ec u te   th test   a n d   co llect s   t h te s r es u lts   w it h   t h h elp   o f   au to m ated     test   o r ac les.       4.   I SS U E S R E G ARD I N G   AO P   T E S T I NG   AP P RO A CH E S   T h er ar f o llo w i n g   is s u e s   th a t c o u ld   h elp   an d   m o ti v ate  t h p r o s p ec tiv r esear ch er s   to   d o   th eir   co n tr ib u tio n   i n   t h is   f ield .     4 . 1 .     Su pp o rt   o f   U M L   beha v i o m o del f o Asp ec t - O rient e d T esting   Ap pro a ches   I n   asp ec t - o r ien ted   p r o g r a m m in g   p ar ad ig m ,   s o f t w ar d ev e lo p m e n t   an d   te s ti n g   ar d if f er en f r o m   o th er   p r o g r a m m i n g   p ar ad ig m s   as  it  s u p p o r ts   t h co n ce p o f   Sep ar atio n   o f   C o n ce r n s   ( So C ) [ 7 ] [ 8 ] .   A s   o b s er v ed   in   T ab le  4 ,   o n l y   a   f e w   ap p r o ac h es  h av e   u s ed   t h U ML   b e h av io r   m o d els   f o r   test i n g   A s p ec t - Or ie n ted   P r o g r am s .   E f f icien a n d   ef f ec t iv test   m o d el  ca n   b d esig n e d   b y   d ir ec tl y   u s in g   t h UM L   b eh av io r al  m o d els.   Desig n i n g   s p ec if ic  test   m o d el  f o r   test i n g   i s   ted io u s   a n d   ti m e -   co n s u m i n g   ta s k   [ 8 ] .   Usag o f   UM L   b e h av io r a l   m o d el  to   tes A OP   r ed u ce s   th e   ef f o r t a n d   i n cr ea s es r e u s ab ilit y .     4 . 2 .     T est  Ca s Co v er a g Cri t er ia   C o v er ag e   cr iter ia  i s   a   m ea s u r e   to   d ec id w h ic h   in p u s ets   ar to   b in v o l v ed   in   tes tin g .   I n   tr ad itio n al   p r o g r am m i n g   p ar ad ig m s ,   co v e r ag cr iter ia  h a v b ee n   p r o v ed   s o   h elp f u l.  B u in   ca s o f   test i n g   asp ec t - o r ien ted   p r o g r am s ,   all   co v er ag e   cr iter i r elate d   to   tr ad itio n al   p r o g r am m in g   p ar ad ig m s   ca n n o t   b u s ed   d ir ec tl y   a s   t h er e   is   co n ce p o f   So C   [ 3 ] .   T h er ef o r e,   n ee d   to   ex ten d   th co v er ag cr iter ia  f o r   test i n g   A OP   [ 8 ] .   Stu d y   o f   liter atu r in d icate s   th a t o n l y   th r ee   test in g   co v er ag cr iter ia  ar d ef in ed   [ 3 ] .     4 . 3 .     Aut o m a t io n Su pp o rt   Asp ect - Or ie n ted   P r o g r a m m i n g   is   b ec o m i n g   m at u r d a y   b y   d a y .   T h er ef o r e,   au to m at io n   s u p p o r f o r   test i n g   AOP   is   n ee d ed   n o w .   Au to m a tio n   d o es  n o o n l y   cu d o w n   t h test   e f f o r b u t   it  also   u p t u r n s   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esi a n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  12 ,   No .   1 Octo b er   2 0 1 8     51     60   58   ef f icien c y   a n d   ef f ec ti v e n es s   o f   A OP   test i n g   p r o ce s s .   T h er ef o r e,   t h f u t u r p er s p ec tiv e   o f   th r e s ea r ch er s   s h o u ld   b au to m ated   th AOP   test i n g   p r o ce s s .     4 . 4 .     Sea rc h - B a s ed  T esting   T ab le   4   s h o w s   t h at  o n l y   th r e s ea r ch - b ased   test i n g   ap p r o ac h   h a s   b ee n   p r o p o s ed   f o r   A O P .   So ,   o n e   n ee d s   to   f o cu s   o n   o p ti m iza tio n   ap p r o ac h   to   m ak e   t h test in g   p r o ce s s   ef f ec t iv a n d   ef f icie n t.     4 . 5 .     L a ck   o f   E x peri m ent a l E v a lua t io n   T h er is   a   lack   o f   ex p er i m en ta ev alu atio n   o f   e m p ir ical  r esu l ts   o n   A OP   test i n g   ap p r o ac h es.   I n   th 6 2   an al y ze d   p ap er s ,   m o s o f   t h ap p r o ac h es  h av b ee n   ap p lied   o n l y   to   s m al p r o j ec ts   r ath er   th an   th i n d u s tr ial  en v ir o n m e n t.   T h o s ap p r o ac h es  h av e   b ee n   d e v elo p ed   f o r   t h s p ec if ic  p u r p o s a n d   d o   n o g et  b r o u g h i n to   t h e   in d u s tr y   e n v ir o n m e n t.   T h s y s te m atic  co m p ar ativ a n al y ze d   p ar tial  r esu lt s   o n   A O P   test in g   ap p r o ac h es  h as  b ee n   p r esen ted   in   t h is   p ap er   d u to   s p ac r est r ictio n .   T h d etailed   an al y s is   r esu lt s   ar av ailab le  i n   [ 3 ] ,   [ 5 ]   an d   [ 6 ] . I f   o n h a s   f o cu s ed   o n   o n l y   MB T   ap p r o ac h es  f o r   A OP   th e n   t h d etailed   an al y ze d   r es u lt s   ar av ailab le  i n   [ 6 ] [ 7 ] .       5.   CO NCLU SI O NS A ND  F UT URE WO RK   T h i s   p ap er   ca ter s   d ep th   s u r v e y   o f   li ter atu r o n   a s p ec t - o r ie n ted   s o f t w ar s y s te m   tes tin g   a p p r o ac h es  an d   also   co m p ar ativ s t u d y   o f   d if f er en A OP   test i n g   ap p r o ac h es.  I n   th is   p ap er ,   d if f er en test i n g   ap p r o ac h es   f o r   AOP   h av b ee n   ch ar ac te r ized   o n   th b asi s   o f   s o m c h ar ac ter is tic s   s u ch   as    A OP   test i n g   tec h n iq u e s ,     lev el  o f   te s ti n g ,   s u p p o r tin g   to o ls ,   test   ca s co v er a g cr iter ia   an d   a u to m at io n   le v el.   co m p ar ativ an al y s is   o f   av ailab le  A OP   te s ti n g   tech n iq u es  h as   b ee n   s h o w n   i n   T ab le  4 .   I m p o r tan t   is s u e s   al s o   h a v b e en   d is cu s s ed   i n   th is   p ap er   s u c h   as  a u to m atio n   s u p p o r t,  lack   o f   o p ti m izati o n   ap p r o ac h   u s ed   f o r   A OP   t esti n g ,   lac k   o f   AOP   test i n g   ap p r o ac h   u s ed   i n   t h in d u s tr ial  e n v ir o n m e n t,  s u p p o r o f   UM L   b eh a v io r al  m o d el  to   test   AOP   etc.     T h is   p ap er   h elp s   th r esear ch er s   t o   u n d er s tan d   t h d ep th   o f   t h w o r k   w h ic h   h as  b ee n   d o n b y   o th er   r esear ch er s   an d   ca n   al s o   ex p lo r th eir   k n o w led g o n   t h s u b ject.       RE F E R E NC E   [1 ]   Da lal  S .   a n d   C h h il ler  R. S .   A   No v e A p p ro a c h   f o G e n e ra ti n g   o f   Te st  Ca se Ba s e d   o n   Be e   Co l o n y   Op ti m iza ti o n   a n d   M o d if ied   G e n e ti c   A lg o rit h m   ( BCO - m GA ).   In ter n a ti o n a J o u r n a o Co m p u ter   Ap p li c a ti o n s ,   V o l . 6 8 ,   No . 1 9 ,     A p r,   2 0 1 3 .     [2 ]   M o h a p a tra  S . K.  a n d   P ra sa d   S .   T e st  Ca se   Re d u c ti o n   Us in g   A n Co lo n y   Op ti m iza ti o n   f o Ob jec t - Orie n ted   P ro g ra m .   In ter n a t io n a J o u rn a o E lec trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   V o l. 5 ,   N o . 6 ,   p p . 1 4 2 4 - 1 4 3 2 ,   De c . 2 0 1 5 .   [3 ]   Na q v S . A .   a n d   A li   S .   a n d   Kh a n   M . U.  An   Ev a lu a ti o n   o Asp e c t - Or ien ted   T e stin g   T e c h n iq u e s.   In tern a ti o n a l   Co n f e re n c e   o n   Em e rg in g   tec h n o l o g ies ,   Isla m a b a d ,   S e p t,   2 0 0 5 .   [4 ]   Ba n ik   K.  In v e sti g a ti o n   o f   M e th o d f o T e stin g   A sp e c t - Orie n ted   S o f tw a r e .   M a ste r   De g re e   P ro jec t ,   Un iv e rsit y   o f   S k o v d e ,   2 0 1 3 .   [5 ]   G h a n A   a n d   P a rizi  R.   A sp e c t - Or ien ted   P ro g ra m   T e stin g A n   A n n o tate d   Bib li o g ra p h y .   J o u rn a o S o ft wa re ,   V o l . 8 ,   Ju n e   2 0 1 3 .   S i n g h a l,   A .   Ba n sa l,   Ku m a A .   A   Crit ic a Re v ie o f   V a rio u T e stin g   Tec h n iq u e in   A sp e c t - Ori e n ted   S o f tw a r e   S y ste m s.  ACM     S IGS O FT   S o ft w a re   En g in e e rin g   No tes ,   J u 2 0 1 3 .   [6 ]   Ho o d a   S ,   Da lal   S ,   S o la n k i.   A   S y st e ma ti c   Rev iew  fo M o d e B a se d   T e stin g   a n   Asp e c t - Or ien ted   Pro g ra m .   P ro c e e d i n g   o f   3 rd   IEE In te rn a ti o n a Co n f e re n c e   o n   Co m p u ti n g   f o S u sta in a b le  G lo b a De v e lo p m e n t,   IN DIA C OM  2 0 1 6 ;   Av a il a b le at I EE E - Xp lo re   Dig it a l   L ib ra r y .   [7 ]   Kitch e n h a m   B.   Pro c e d u re fo p e rfo rm in g   sy ste ma ti c   re v iew .   Jo in T e c h n ica Re p o rt  S o f twa re   En g i n e e rin g   G ro u p ,   De p a rtme n o f   Co m p u ter  S c ien c e ,   Ke e le   Un iv e rsit y ,   UK   a n d   Em p iri c a S o f t w a r e   En g in e e rin g ,   Na ti o n a ICT   A u stra li a   L td .   [8 ]   S a h o o   P .   a n d   M o h a n ty   J.R.   Earl y   T e st  E ff o rt  P re d icti o n   Us i n g   UML   Dia g ra m s.   In d o n e sia n   J o u rn a o El e c trica l   En g i n e e rin g   a n d   C o mp u ter   S c ien c e   ( I J EE CS ) ,   V o l . 5 ,   No . 1 ,   p p . 2 2 0 - 2 2 8 ,   Ja n   2 0 1 7 .   [9 ]   Ka n d e   M .   M ,   Kie n z le  J,  S tro h m e ier  A .   Fro AOP  to   UM L T o wa rd a n   As p e c t - Or ien ted   Arc h it e c t u ra M o d e l in g   Ap p ro a c h .   8 th   W o rk sh o p   o n   A sp e c t - Orie n ted   m o d e li n g ,   G e r m a n y ,   2 0 0 6 .   [1 0 ]   Kh a n   S . A .   Na d e e m   A .   UM L   Ext e n sio n fo M o d e li n g   o Asp e c t   Or ien ted   S o ft w a re S u rv e y .   Na ti o n a S o f twa re   En g in e e rin g   Co n f e re n c e   (NSE C‟1 0 ),   Oc t,   2 0 1 0 .   [1 1 ]   Qa isa Z.   H,  A n w a K,  Re h m a n   S . U.   Us in g   UML   Be h a v io r a M o d e t o   S u p p o rt   A sp e c Orie n ted   M o d e l .   In ter n a t io n a J o u rn a o S o f twa re   En g in e e rin g   a n d   Ap p li c a ti o n s ,   M a r,   2 0 1 3 .   [1 2 ]   X u   W ,   X u   D,  G o e V ,   N y g a rd   K.  Asp e c fl o g r a p h   fo tes ti n g   a sp e c t - o rie n t e d   p ro g ra ms h tt p : // ww w . c s.n d su . n o d a k . e d u /w x u /res e a rc h ,   2 0 0 4 .     [1 3 ]   X u   D,  X u   W ,   Ny g a rd   K,  S ta te - b a se d   a p p ro a c h   t o   tes ti n g   a sp e c t - o rie n te d   p r o g ra ms .   P ro c e e d in g   o f   th e   In tern a ti o n a C o n f e re n c e   o n   S o f tw a r e   En g in e e rin g   a n d   Kn o w led g e   En g in e e rin g ,   Ju l. 2 0 0 5 .   [1 4 ]   X u   D,  X u   W ,   N y g a rd   K.  A   S ta te - b a se d   a p p ro a c h   to   tes ti n g   a s p e c t - o rie n ted   p r o g ra ms .   P r o c e e d in g   o f   th e   1 7 th   In tern a ti o n a C o n f e re n c e   o n   S o f tw a r e   En g in e e rin g   a n d   Kn o w led g e   En g in e e rin g ,   J u l. 2 0 0 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752     C o mp a r a tive  A n a lysi s   o f V a r io u s   Tes tin g   Tech n iq u es Used   fo r   A s p ec t - Ori en ted …  ( S u s h ee la   Ho o d a )   59   [1 5 ]   Ba d ri  M ,   Ba d ri  L ,   Bo u rq u e - F o rt in   M .   Ge n e ra ti n g   u n it   tes se q u e n c e   fo a sp e c t - o rie n ted   p ro g r a ms T o wa rd a   fo rm a a p p ro a c h   u si n g   UM L   sta te  d ia g ra ms .   P r o c e e d in g   o f   th e   3 rd   In tern a ti o n a Co n f e re n c e   o n   In f o rm a ti o n   a n d   Co m m u n ica ti o n   T e c h n o l o g y ,   De c . 2 0 0 5.   [1 6 ]   M a ss ico tt e   P ,   Ba d ri  L ,   Ba d ri  M .   Ge n e ra li zin g   a sp e c ts - c la ss e in teg ra t io n   tes ti n g   se q u e n c e s:  a   c o ll a b o r a ti o n   d ia g ra b a se d   str a teg y .   P r o c e e d in g   o f   th e   3 rd   I n tern a ti o n a C o n f e re n c e   o n   S o f twa re   En g in e e rin g   Re se a rc h ,   M a n a g e m e n a n d   A p p li c a ti o n s,  A u g . 2 0 0 5 .   [1 7 ]   M a ss ico tt e   P ,   Ba d ri   L ,   Ba d ri   M .   Asp e c ts - c la ss e in te g ra ti o n   tes ti n g   stra te g y a n   in c re me n ta a p p ro a c h In tern a ti o n a W o rk sh o p   o n   Ra p i d   In teg ra ti o n   o f   S o f tw a r e   En g in e e rin g   T e c h n iq u e s,  M a r. 2 0 0 5 .   [1 8 ]   X u   D,  X u   W .   S ta te  b a se d   in c re me n ta tes ti n g   o a s p e c t - o rie n ted   p ro g ra ms .   P r o c e e d in g   o f   th e   5 th   In tern a ti o n a l   Co n f e re n c e   o n   A sp e c t - Orie n ted   S o f twa re   De v e lo p m e n t,   M a r. 2 0 0 6 .   [1 9 ]   a ss ico tt e   P ,   Ba d ri  L ,   Ba d ri  M .   T o w a rd a   to o su p p o rti n g   in teg ra ti o n   tes ti n g   o f   a sp e c t - o rien ted   p ro g r a m s.  J o u rn a o f   Ob jec T e c h n o lo g y ,   Ja n - F e b . 2 0 0 7 .   [2 0 ]   X u   W .   T e stin g   a s p e c t - o rie n ted   p ro g ra ms   wit h   st a te  mo d e ls.   Ph D   Diss e rta ti o n ,   No rt h   Da k o la  S tat e   Un iv e rsit y   o f   Ag ricu lt u re   a n d   A p p l ied   S c ien c e ,   M a y   2 0 0 7 .   [2 1 ]   X u   D,  He   X .   Ge n e ra t io n   o tes r e q u ire me n ts  fro a s p e c tu a u se   c a se .   P ro c e e d in g   o f   th e   3 rd   W o rk sh o p   o n   T e stin g   A sp e c t - Ori e n ted   P ro g ra m s,  M a r. 2 0 0 7 .   [2 2 ]   X u   D,  Xu   W ,   W o n g   W .   E.   T e stin g   a sp e c t - o rien ted   p r o g ra m w it h   UML   d e sig n   m o d e ls.   In ter n a ti o n a J o u r n a o f   S o ft w a re   En g in e e rin g   a n d   Kn o wl e d g e   En g in e e rin g   ,   2 0 0 8 .   [2 3 ]   L iu   C.   H,   Ch a n g   C. W .   A   sta te - b a se d   tes ti n g   a p p ro a c h   f o a sp e c t - o rien ted   p r o g ra m m in g .   J o u rn a l   o f   In f o rm a ti o n   S c ien c e   a n d   E n g i n e e rin g ,   2 0 0 8 .   [2 4 ]   Ba b u   C,   Krish n a n   H.  R.   F a u lt   m o d e a n d   tes t - c a s e   g e n e ra ti o n   fo th e   c o m p o siti o n   o f   a sp e c ts.   A CM   S IGS OFT   S o ft w a re   En g in e e rin g   No tes ,   2 0 0 9 .   [2 5 ]   Ba d ri  M ,   Ba d r L , Bo u r q u e - F o r ti n   M .   A u to m a ted   sta te - b a se d   u n it   tes ti n g   f o a sp e c t - o rien ted   p ro g ra m s:  su p p o rti n g   f ra m e w o r k .     J o u rn a o Ob jec T e c h n o l o g y ,   M a y - Ju n e   2 0 0 9 .   [2 6 ]   X u   D,    El - A riss  O,   X u   W ,   Wan g   L .   T e stin g   a sp e c t - o rien ted   p ro g ra m s   w it h   f in it e   m a c h in e .   J o u rn a o S o ft w a re   T e stin g   Ve rifi c a ti o n   a n d   Reli a b i li ty, d o i: 1 0 . 1 0 0 2 /stv r. 4 4 0 , 2 0 1 0 .   [2 7 ]   M a d a d p o u S   a n d .   Ho ss e in a b a d S .   H.  M .   T e stin g   As p e c t - Orie n ted   P r o g ra m w it h   UML   Ac ti v it y   Dia g ra m s.   In ter n a t io n a J o u rn a o C o mp u ter   Ap p l ica ti o n s ,   N o v . 2 0 1 1 .   [2 8 ]   Ka u C,   G a rg   S .   T e stin g   A sp e c t - Orie n ted   S o f t wa re   Us in g   U M L   Ac ti v it y   Dia g ra m .   In ter n a ti o n a J o u rn a o f   En g i n e e rin g   Res e a rc h   a n d   T e c h n o lo g y ,   M a y   2 0 1 2 .   [2 9 ]   Da lal  S ,   Ho o d a   S .   A u to m a ted   T e st  S e q u e n c e   G e n e ra ti o n   o f   A sp e c t - Orie n ted   P ro g ra m b a se d   u p o n   UML   A c ti v it y   Dia g ra m .   In ter n a ti o n a l   J o u r n a o En g in e e rin g   a n d   T e c h n o lo g y ,   Vo l. 9 ,   No . 2 ,   M a y   2 0 1 7 .   [3 0 ]   Zh a o   J.   Da t a - fl o w - b a se d   u n it   tes t in g   o a sp e c t - o rie n ted   p ro g r a ms .   P r o c e e d in g   o f   In ter n a ti o n a Co m p u ter  S o f tw a r e       a n d   A p p li c a ti o n s Co n f e re n c e ,   p p . 1 8 8 - 1 9 7 ,   De c .   2 0 0 3 .     [3 1 ]   Zh o u   Y,  Zi v     , Ric h a rd so n   D.   T o wa r d   a   p ra c ti c a a p p ro a c h   t o   tes a sp e c t - o rie n ted   so ft wa re .   P r o c e e d in g   o f   W o rk sh o p   o n   T e stin g   Co m p o n e n t - b a se d   S y ste m ,   S e p t. 2 0 0 4 .   [3 2 ]   X u   D,  Xu   W ,   N y g a rd   K. S ta te - b a se d   a p p ro a c h   to   tes ti n g   a sp e c t - o rie n ted   p ro g r a ms .   P ro c e e d i n g   o f   th e   1 7 th   In tern a ti o n a C o n f e re n c e   o n   S o f tw a r e   En g i n e e rin g   a n d   Kn o w led g e   En g in e e rin g ,   Ju l. 2 0 0 5 .   [3 3 ]   L o p e C.   V ,   Ng T . C.   Un it   _ tes ti n g   a sp e c tu a b e h a v i o r.   P r o c e e d in g   o f   th e   w o rk sh o p   o n   T e stin g   A sp e c t - Ori e n ted   P r o g ra m s,  M a r.   2 0 0 5 .   [3 4 ]   Ra jan   H,S u l li v a n   K.  Ge n e ra li zin g   AOP   fo a sp e c t - o rie n ted   tes ti n g .   P r o c e e d in g   o f   t h e   4 th   In tern a ti o n a C o n f e re n c e   o n   A sp e c t - Orie n ted   S o f twa re   De v e lo p m e n t,   M a r. 2 0 0 5 .   [3 5 ]   X ie  T ,   M a rin o v   J.  Z.   , No tk i n   D.  Au t o ma ted   tes g e n e ra ti o n   fo Asp e c tJ  p ro g ra ms .   W o rk sh o p   o n   T e stin g   A sp e c t - Orie n ted   P r o g ra m s,  M a r.   2 0 0 5 .   [3 6 ]   X ie  T ,   Zh a o   J.  fra me wo rk   a n d   t o o su p p o rts  fo r g e n e ra ti n g   tes i n p u ts  o As p e c tJ  p ro g ra ms .   P r o c e e d in g   o f   th e   5 th   In tern a ti o n a C o n f e re n c e   o n   A sp e c t - Orie n ted   S o f twa re   De v e lo p m e n t,   M a r. 2 0 0 6 .   [3 7 ]   A n b a lag a n   P ,   X ie  T   . Au to ma ted   p o in tc u tes ti n g   f o Asp e c tJ  p ro g ra ms AP T E .   P r o c e e d in g   o f   th e   W o rk sh o p   o n   T e stin g   A sp e c t - Orie n ted   P r o g ra m s,  Ju l. 2 0 0 6 .   [3 8 ]   L e m o O.  A .   L ,   V in c e n z A .   M .   J,M a ld o n a d o   , M a sie ro   P . C.   Co n tr o a n d   d a ta  f lo w   stru c tu ra tes ti n g   c rit e ria  f o r   a sp e c t - o rien ted   p ro g ra m s.  J o u rn a o S y ste m a n d   S o ft w a re ,   V o l .   8 0 ,   2 0 0 7 .   [3 9 ]   X ie  T ,   Zh a o   J.  P e rs p e c ti v e   o n   a u t o ma ted   tes ti n g   o     a sp e c t - o rie n te d   p ro g ra ms .   P ro c e e d i n g   o f   th e   3 r   W o rk sh o p   o n   T e stin g   A sp e c t - Orie n ted   P r o g ra m s,  M a r. 2 0 0 7 .   [4 0 ]   F ra n c h in   I. G ,   L e m o O.A . L ,   M a sie ro   P . . Pa ir - W ise   S tru c tu ra tes ti n g   o o b jec a n d   a sp e c t - o rie n ted   J a v a   p ro g r a ms .   P r o c e e d in g   o f   th e   2 1 st  Bra z il ian   S y m p o siu m   o n   S o f tw a r e   En g in e e rin g ,   2 0 0 7 .   [4 1 ]   L e m o O.  A .   L ,   M a sie ro   P . C.   In teg r a ti o n   tes ti n g   o f   a sp e c t - o rie n ted   p r o g r a ms stru c t u ra l   p o in tcu t - b a se d   a p p r o a c h .   P r o c e e d in g   o f   th e   2 2 nd   Bra z il ian   S y m p o siu m   o n   S o f tw a r e   En g in e e rin g ,   2 0 0 8 .   [4 2 ]   W e d y a n   F , G h o sh   S .   Da t a   Fl o T e stin g   Ap p ro a c h   fo r A s p e c t - Or ien ted   Pro g r a ms .   IEE In tern a ti o n a S y m p o siu m   o n   Hig h   A ss u ra n c e   S y ste m   En g in e e rin g ,   2 0 1 0 .   [4 3 ]   W a n g   P ,   Z h a o   X . T h e   Res e a rc h   o Au t o ma te d   S e lec T e st  C a se fo Asp e c t - Or ien ted   Pro g ra ms .   P ro c e e d in g   o f   th e   In tern a ti o n a C o n f e re n c e   o n   M e c h a n ica l,   In d u str ial  a n d   M a n u f a c tu rin g   En g in e e rin g ,   2 0 1 2 .   [4 4 ]   W e d y a n   F ,   G h o sh   S ,   V ij a y a s a rth y   L .   R.   A n   a p p ro a c h   a n d   t o o l   f o m e a su re m e n o f   sta te  v a riab le  b a se d   d a ta  f lo w   tes c o v e ra g e   f o a sp e c t - o rien ted   p ro g ra m s.  J o u rn a o f   I n fo rm a ti o n   a n d   S o ft w a re   T e c h n o lo g y ,   V o l . 5 9 ,   M a rc h   2 0 1 5 .   [4 5 ]   A le x a n d e R.   T . ,   Biem a n   J.  M . ,   A n d re w A . A .   T o wa rd th e   s y ste ma ti c   tes ti n g   o f   a s p e c t - o rie n ted   p ro g ra ms T e c h n ica Re p o rt,   2 0 0 4 .   [4 6 ]   M o rten se n   M ,   A lex a n d e R. T .   A d e q u a te  tes ti n g   o a sp e c t - o rien ted   p ro g ra m s.  T e c h n ica Re p o rt,   De p a rt m e n o Co m p u ter S c ien c e ,   Co l o ra d o   S tat e   Un iv e rsit y ,   USA ,   D e c . 2 0 0 4 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esi a n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  12 ,   No .   1 Octo b er   2 0 1 8     51     60   60   [4 7 ]   A n b a lag a n   P , X ie  T .   A u to ma ted   p o i n tcu tes ti n g   fo Asp e c tJ  p r o g ra ms AP T E .   P r o c e e d in g   o f   th e   W o rk sh o p   o n   T e stin g   A sp e c t - Orie n ted   P r o g ra m s,  Ju l. 2 0 0 6 .   [4 8 ]   L e m o O. A . L ,   F e rra ri  F . C,   M a is iero   P . C ,   L o p e C . V. T e stin g   a sp e c t - o rie n ted   p ro g r a mm in g   p o i n tc u d e sc rip to rs P r o c e e d in g   o f   th e   2 nd   W o rk sh o p   o n   T e stin g   A sp e c t - Ori e n ted   P ro g ra m s,  Ju l. 2 0 0 6 .   [4 9 ]   Ba e k k e n   J.S ,   A lex a n d e R. T .   T o wa rd a   fa u lt   m o d e f o Asp e c tJ  p ro g r a ms S tep   1 - po i n tcu t   fa u lt s .   P ro c e e d in g   o f   th e   2 nd   W o rk sh o p   o n   T e stin g   A sp e c t - Orie n ted   P ro g ra m s,  Ju l. 2 0 0 6 .   [5 0 ]   Zh a o   C,   A lex a n d e R. T .   T e stin g   Asp e c tJ  p ro g ra ms   u si n g   f a u lt - b a se d   tes ti n g .   P r o c e e d in g   o f   th e   3 rd   W o rk sh o p   o n   T e stin g   A sp e c t - Orie n ted   P r o g ra m s,  M a r. 2 0 0 7 .   [5 1 ]   A n b a lag a n   P ,   X ie  T . Au t o ma ted   g e n e ra ti o n   o p o i n tcu m u ta n t fo tes ti n g   p o in tcu ts  i n   Asp e c tJ  p ro g ra ms .   P r o c e e d in g   o f   th e   1 9 th   In tern a t io n a S y m p o siu m   o n   S o f tw a r e   Re li a b il it y   En g in e e rin g ,   No v . 2 0 0 8 .   [5 2 ]   F e rra ri  F . C,   M a ld o n a d o   J.C,   Ra sh id   A .   M u ta ti o n   tes ti n g   fo a s p e c t - o ri e n ted   p r o g ra ms .   P r o c e e d in g   o f   th e   1 st   In tern a ti o n a C o n f e re n c e   o n   S o f tw a r e   Tes ti n g ,   V e rif ica ti o n   a n d   V a li d a ti o n ,   2 0 0 8 .   [5 3 ]   De l m a re   R,   Ba u d ry   B,   L e   T r a o n   L . Aj M u ta to r:  t o o l   fo r   th e   m u ta ti o n   a n a lys is  o f   Asp e c tJ  p o in tcu d e sc rip t o r .   P r o c e e d in g   o f   th e   IEE I n tern a ti o n a C o n f e re n c e   o n   S o f twa re   T e stin g   V e rif ic a ti o n   a n d   V a li d a ti o n   W o rk sh o p   (ICS T W   2 0 0 9 ),   A p r. 2 0 0 9 .   [5 4 ]   Ja c k so n   A , Clark e   S .   M u A sp e c tJ M u tan g e n e ra ti o n   t o   su p p o rt  m e a su rin g   th e   tes tab il it y   o A sp e c tJ  p ro g ra m s.   T e c h n ica Re p o rt  (T CD - CS   - 2 0 0 9 - 3 8 ),   A CM ,   S e p t. 2 0 0 9.   [5 5 ]   F e rra ri  F . C,   Ra sh id   A ,   Na k a g a wa   E. Y,  M a ld o n a d o   J.C.   Au t o ma t i n g   th e   mu t a ti o n   tes ti n g   o a sp e c t - o rie n ted   J a v a   p ro g r a ms .   In   p r o c e e d in g   o f   th e   5 th   W o rk sh o p   o n   A u to m a ti o n   o f   S o f t w a r e   T e st ( A S T ‟1 0 ),   M a y   2 0 1 0 .   [5 6 ]   De l m a re   A ,   Ba u rd y   B,   G h o sh   S ,   G u p ta  S ,   L e   T ra o n   Y.   A n   a p p r o a c h   f o tes ti n g   p o in tc u d e sc rip to i n   A sp e c tJ.   J o u rn a o S o ft w a re   T e stin g ,   Ver if c a ti o n   a n d   Relia b il ty,   2 0 1 1 .   [5 7 ]   X u   D,  Din g   J.  Prio riti zin g   S t a te - Ba se d   Asp e c T e sts.   P ro c e e d i n g   o f   In tern a ti o n a Co n f e re n c e   o n   S o f twa re   Tes ti n g   V e rif ica ti o n   a n d   V a li d a t i o n ,   2 0 1 0 .   [5 8 ]   G h a n A .   A .   A ,   T o w a rd S e m a n ti c   M u tati o n   T e stin g   o f   As p e c t - Orie n ted   P r o g ra m s,  J o u rn a o S o f twa re   En g i n e e rin g   a n d   A p p li c a ti o n s ,   Vo l. 6 ,   No . 1 0 A ,   Oc t. 2 0 1 3 .   [5 9 ]   L e m e   F .   G . ,   F e rra ri  F .   C. ,   M a l d o n a d o   J.C  a n d   Ra sh i d   A . ,   M u l ti - L e v e M u ta ti o n   T e stin g   o f   J a v a   a n d   Asp e c t J   Pro g ra ms   T e sti n g   o J a v a   a n d   As p e c tJ  Pro g ra ms   S u p p o rte d   b y   t h e   Pro teu m/AJv 2   T o o l , h t tp :/ /w ww 2 . d c . u f sc a r. b r/~ fa b ian o / p u b _ a rq u iv o s/L e m e 2 0 1 5 _ c b so f tT o o ls2 0 1 5 . p d f .   [6 0 ]   Zh a o   J.,   Xie   T .   a n d   L i   N.,   T o wa rd a   re g re ss io n   tes se lec ti o n   fo Asp e c tJ  Pro g ra ms P ro c e e d in g   o f   th e   2 n d   W o rk sh o p   o n   T e stin g   A sp e c t - Ori e n ted   P r o g ra m s,  Ju l. 2 0 0 6 .   [6 1 ]   X u   G . re g re ss io n   tes ts  se lec ti o n   tec h n i q u e   fo a s p e c t - o rie n ted   p ro g r a ms .   P ro c e e d in g   o f   th e   2 nd     W o rk sh o p   o n   T e stin g   A sp e c t - Orie n ted   P r o g ra m s,  Ju l. 2 0 0 6 .   [6 2 ]   X u   G ,   Ro u n tev   A .   Reg re ss io n   T e st  S e lec ti o n   fo Asp e c tJ  S o f twa re .   P r o c e e d in g   o f   th e   2 9 th   In tern a ti o n a Co n f e re n c e   o n   S o f tw a r e   En g in e e rin g ,   2 0 0 7 .   [6 3 ]   Qa m a M ,   Na d e e m   A ,   A z i z   R.   A n   Ap p r o a c h   t o   T e st  Asp e c t - Or ien ted   Pro g ra ms .   P ro c e e d i n g   o f   th e   W o rld   Co n g re ss   o f   En g in e e rin g ,   L o n d o n ,   U.K.,   2 0 0 7 .   [6 4 ]   De l m a re   R,   G h o sh   B,   G h o sh   S ,   T ra o n   Y.  Reg re ss io n   T e st  S e l e c ti o n   wh e n   Evo lvi n g   S o f twa re   wit h   As p e c ts.   P r o c e e d in g   o f   In ter n a ti o n a c o n f e re n c e   o f   A sp e c t - Orie n ted   S o f tw a r e   De v e lo p m e n t,   2 0 0 8 .   [6 5 ]   P a rizi  R .   M ,   G h a n A . A . A ,   A b d u ll a h   R ,   A tan   R .   T o wa r d a   fra me wo rk   fo a u to m a ted   r a n d o t e stin g   o a sp e c t - o rie n ted   p ro g ra ms .   In   p r o c e e d in g   o th e   IS C A   1 8 th   In tern a ti o n a l   Co n f e re n c e   o n   S o f twa re   En g in e e rin g   a n d   Da ta  En g in e e rin g   (S EDE  2 0 0 9 ) ,   Ju n e   2 0 0 9 .   [6 6 ]   P a rizi  R.   M ,   G h a n A . A . A .   On   th e   p re li min a ry   a d a p ti v e   ra n d o m t e stin g   o a sp e c t - o rie n ted   p ro g ra ms .   P r o c e e d in g   o f   th e   6 th   In tern a ti o n a l   Co n f e re n c e   o n   S o f twa re   En g in e e rin g   A d v a n c e s (ICS EA   2 0 1 1 ),   Ba rc e lo n a ,   S p a i n ,   a n d   2 0 1 1 .   [6 7 ]   Ha r m a n   M ,   Isla m   F ,   X ie  T ,   W a p p ler.  A u to ma ted   tes d a t a   g e n e ra t io n   fo a s p e c t - o rie n ted   p ro g r a ms .   P r o c e e d in g   o f   th e   8 th   In tern a ti o n a l   Co n f e re n c e   o n   A sp e c t - Orie n ted   S o f tw a re   D e v e lo p m e n t,   2 0 0 9 .   [6 8 ]   De l m a re   R,   Kra f N. A . Ge n e ti c   Al g o rit h fo C o mp u ti n g   Cla ss   In teg ra ti o n   T e st  Or d e rs   fo Asp e c t - Or ien te d   S y ste m.   P r o c e e d in g   o f   th e   IEE E   5 th   In tern a ti o n a Co n f e re n c e   o n   S o f t w a r e   T e stin g ,   V e rif ica ti o n   a n d   V a li d a ti o n ,   2 0 1 2 .     [6 9 ]   M a h a jan   M ,   K u m a S ,   P o rw a R.   A p p l y in g   Ge n e ti c   A l g o rit h m   to   in c re a se   th e   Eff i c ien c y   o f   a   D a ta - F lo w   Ba se d   Tes t   Da ta  G e n e ra ti o n .     ACM   S IGS OFT   S o f twa re   En g i n e e rin g   N o tes ,   V o l . 3 7 ,   S e p t   2 0 1 2 .   [7 0 ]   Da lal  S ,   Ho o d a   S . A   No v e A p p ro a c h   f o T e stin g   a n   A sp e c t - Orie n ted   S o f tw a re   S y ste m   Us in g   P ri o rit ize d - G e n e ti c   A l g o rit h m .   In ter n a t io n a J o u rn a o A p p li e d   E n g i n e e rin g   Res e a rc h ,   Vo l. 1 2 ,   N o .   2 1 ,   2 0 1 7 .   [7 1 ]   Da lal  S ,   Ho o d a   S .   No v e A p p r o a c h   f o T e stin g   a n   As p e c t - Or ien ted   S o ft wa re   S y ste Us i n g   Ge n e ti c   a n d   F u zz y   Clu ste rin g   Al g o rit h m.   P ro c e e d i n g   o n   In tern a ti o n a C o n f e re n c e   o n   Co m p u ter  a n d   A p p l ica ti o n s,  ICCA   2 0 1 7 ;   Av a il a b le at I EE E - Xp lo re   Dig it a l   L ib ra r y .   [7 2 ]   V e rm a   A .   a n d   Ka u S .   De sig n   a n d   De v e lo p m e n o f   a n   A lg o rit h m   f o P ri o rit izi n g   th e   T e st  Ca s e u sin g   Ne u ra Ne tw o rk   a s Clas si f ier , In ter n a ti o n a J o u rn a o Art if icia l   In tell ig e n c e , V o l. 4 , No . 1 , p p . 1 4 - 1 9 , M a rc h   2 0 1 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.