I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   4 A u g u s t   20 2 6 ,   p p .   2 0 1 4 ~ 20 30   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 4 . pp 2 0 1 4 - 20 30           2014       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Scena rio - driv en  f a ult  inje ction  for  real istic bugs  in   web  a pplica tion testi n g       Asri Ma s pu pa h,  J o L ia M in,  Ya dh i A dity a   D e p a r t me n t   o f   C o mp u t e r   E n g i n e e r i n g   a n d   I n f o r m a t i c s,   P o l i t e k n i k   N e g e r i   B a n d u n g B a n d u n g ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 1 ,   2 0 2 5   R ev is ed   Ap r   2 9 ,   2 0 2 6   Acc ep ted   J u l 2 2 ,   2 0 2 6       Co n v e n ti o n a m u tati o n - b a se d   fa u lt   i n jec ti o n   tec h n i q u e g e n e ra ll y   p r o d u c e   sin g le - li n e   sy n tac ti c   fa u lt s,   wh ich   o ften   fa il   t o   re p re se n re a li stic  e rro rs  a th e   fu n c ti o n a re q u irem e n lev e b e c a u se   re q u irem e n c o n tex t ,   e x e c u t io n   p a th s,   a n d   fu n c ti o n a d e p e n d e n c ies   a re   n o c o n sid e re d .   To   a d d re ss   th is  l imitatio n ,   th is  st u d y   p ro p o se sc e n a ri o - d ri v e n   fa u lt   i n jec ti o n   ( S DFI),   a   sc e n a rio - b a se d   fa u lt   in se rti o n   a p p r o a c h   th a d e ri v e fa u lt fro m   f u n c ti o n a re q u ire m e n ts  a n d   tes c a se s.  S DFI  i n teg ra tes   o p e ra ti o n a l   fa u lt   lo c a li z a ti o n ,   we b   fa u lt   tax o n o m y ,   fa u lt   i n jec ti o n   p a tt e rn s,  a n d   fu n c ti o n a sc e n a rio   m a p p in g   t o   p ro d u c e   targ e te d   fa u lt   i n jec ti o n s   a re lev a n c o d e   l o c a ti o n s,  re su lt in g   i n   a   re a li stic  b u g   d a tas e with   m u lt i - li n e   fa u lt s.  An   e x p e rime n tal  e v a lu a ti o n   o n   a   re a we b   a p p li c a ti o n   p ro d u c e d   2 9   m u tan ts,   a c h iev i n g   a   fa u lt   d e tec ti o n   ra te  o f   8 9 . 2 9 %   b a se d   o n   th e   RIP   m o d e l.   F u r t h e a n a ly sis  s h o ws   t h a th e   g e n e ra ted   m u tan ts  re p li c a te  c o m m o n   re a l - wo rld   b u g   c h a ra c teristics ,   in c lu d in g   lo g ic   e rro rs,  v a li d a ti o n   a n o m a li e s,  in te r - fu n c ti o n   d a ta  p ro p a g a ti o n ,   a n d   m u lt i - li n e   fa u lt a ffe c ti n g   c li e n t se rv e a p p l ica ti o n   b e h a v io r .   Th e se   re su lt d e m o n stra te  th a S DFI  is  e ffe c ti v e   in   p ro d u c in g   re a li stic  b u g   d a tas e ts  fo e v a lu a ti n g   so ftwa re   tes ti n g   q u a li t y ,   im p ro v i n g   tes c a se   e ffe c ti v e n e ss ,   a n d   s u p p o rti n g   fu rth e re se a rc h   o n   re q u irem e n t - b a se d   fa u lt   re a li sm .   K ey w o r d s :   Fau lt d etec tio n   r ate   Fau lt in jectio n   Mu tatio n   test in g   R ea lis t ic  b u g   d ataset   R I P m o d el   Scen ar io - d r iv e n   f a u lt in jectio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Asri  Ma s p u p ah   Dep ar tm en t o f   C o m p u ter   E n g i n ee r in g   a n d   I n f o r m atics ,   Po litek n ik   Neg er i Ban d u n g     C iwar u g Stre et,   C iwar u g a,   Par o n g p o n g   Dis tr ict,   W est J av a   4 0 5 5 9 ,   I n d o n esia   E m ail: a s r i.m asp u p ah @ p o lb a n . ac . id       1.   I NT RO D UCT I O N   So f twar test in g   is   an   es s en t ial  co m p o n en in   th s o f twar d ev elo p m e n life   cy cle  to   en s u r th e   q u ality   o f   s y s tem   f u n ctio n alit y   th r o u g h   ea r ly   b u g   d etec tio n   [ 1 ] .   Var io u s   em p ir ical  s tu d ies  r ep o r th at  b u g s   in   r ea s y s tem s   g en er ally   m an if est  as  f u n ctio n al   er r o r s ,   lo g ic /d ata  er r o r s ,   co m p atib ilit y   is s u es,  an d   r eliab ilit y   is s u es  [ 2 ] ,   wh ile  in   in d u s tr ia s y s tem s ,   in ter f ac in co m p a tib ilit y ,   p r o ce s s   lo g ic  er r o r s ,   an d   d ev el o p m e n en v ir o n m en co n f ig u r atio n   is s u es  ar o f te n   f o u n d   [ 3 ] .   T esti n g   q u ality   d ep en d s   h ea v ily   o n   th ef f ec tiv e n ess   o f   test   ca s e s   in   id en tify in g   r elev an ex ec u tio n   p ath s   an d   b o u n d ar y   co n d itio n s ,   s o   in ef f ec ti v test   ca s e s   u s u ally   f ail  to   u n co v er   h id d en   b u g s   [ 4 ] .   On o f   th m ain   c h allen g es  i n   test in g   tech n iq u e v alu atio n   p r ac tices  is   th s ca r city   o f   r ea lis tic  b u g   d atasets   th at  r ef lect  th e   co m p l ex ity   o f   r ea l   p r o g r am   er r o r s   [ 5 ] .   R ea lis tic  b u g s   a r b u g s   t h a n atu r ally   o cc u r   in   th s o f twar d ev elo p m e n p r o ce s s .   T h u s o f   r ea lis tic  b u g s   in   th s o f twar test in g   lear n in g   p r o ce s s   ca n   im p r o v e   test er s '   an aly tical  an d   in tu itiv a b ilit ies  in   d esig n in g   test   ca s es  ca p ab le  o f   d et ec tin g   h id d en   a n d   s ig n if ican er r o r s ,   r ath er   th a n   m er ely   s im p le  s y n tax   er r o r s   [ 5 ] [ 6 ] .   R ea lis tic  b u g s   ex h ib it  h ig h er   co m p lex ity ,   v ar iatio n ,   an d   im p ac t   th an   s y n th etic  b u g s .   Ho we v er ,   m o s av ailab le  b u g   d atasets   ar s y n th etic,   lack   v ar iety ,   an d   d o   n o r e f lect  th co m p lex ity   o f   b u g s   in   in d u s tr ial  en v ir o n m e n ts ,   th er eb y   h in d e r in g   th ev alu atio n   o f   test in g   tech n iq u es  [ 7 ] [ 8 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ce n a r io - d r iven   f a u lt in jectio n   fo r   r ea lis tic  b u g s   in   w eb   a p p lica tio n   test in g   ( A s r i Ma s p u p a h )   2015   co m m o n   ap p r o ac h   to   g en er atin g   b u g   d atasets   is   f au lt  s ee d in g ,   wh ic h   in v o lv es  d e lib er ately   in jectin g   er r o r s   in to   s o f twar [ 9 ] .   I n   th is   p r o ce s s ,   th is   tech n iq u u s es  m u tatio n   test in g ,   w h ich   s y s tem atica lly   in jects  ar tific ial  er r o r s   in to   th s o u r ce   p r o g r am   co d b y   m o d if y in g   th lo g ical  s tr u ctu r e,   ar ith m etic  o p er ato r s ,   o r   co n tr o co n d itio n s   o f   p r o g r am   s tatem en ts   [ 1 0 ] [ 1 1 ] .   Fu r th er m o r e,   th p r o g r a m   co d in jecte d   with   f au lts   ( ca lled   m u tan ts )   s er v es  as  b asis   f o r   m ea s u r in g   th ef f ec tiv en ess   o f   test   ca s es  in   d ete ctin g   er r o r s .   Mo s m u tatio n   test in g   a p p r o ac h es  u s s et  o f   s im p le  s y n tactic  tr an s f o r m atio n s   ( m u tatio n   o p er ato r s )   th at  ar e   r an d o m l y   g en er ate d   b y   m u tati o n   to o ls ,   s u ch   as  ch an g in g   th e   o p er ato r   "> to   "> ="   in   th s tatem en "if   ( b ) "   [ 1 1 ] .   T h is   ap p r o ac h   p r o d u ce s   s y n th etic  b u g   d ataset  th at  ca n   b test ed   r ep ea ted ly ,   co n s is ten tly ,   an d   m ea s u r ab ly   [ 1 2 ] .   Ho wev er ,   th e   r esu ltin g   m u tan ts   ar o f ten   ir r elev a n to   th e   a p p licatio n ' s   b u s in ess   lo g ic  an d   th er e f o r e   d o   n o r ef lect  r ea lis tic  b u g s ,   b ec au s m u tatio n s   ar p er f o r m e d   r an d o m ly   with o u co n s id er in g   th e   r eq u ir em e n ts '   co n tex t.  Mu tati o n   o p er ato r s   o n ly   m o d if y   p r o g r am   c o d i n   a   s in g le  ex p r ess io n   in   s in g le   lin e,   s o   m u tan ts   d o   n o co v e r   m u lti - lin b u g s   th at  c o m m o n ly   ar is d u to   f u n ctio n ality   e r r o r s .   On   th o th er   h an d ,   m an y   m u tan ts   lead   to   th e   m u tan ex p lo s io n   p r o b lem ,   in   w h ich   m u ta n ts   ar d if f icu lt  to   co n tr o l,   r esu ltin g   i n   lo n g   a n aly s is   tim es  [ 1 0 ] .   Me a n wh ile,   p r o g r a m   er r o r s   d o   n o t   alwa y s   o r ig i n ate  f r o m   s y n tact ic  er r o r s b u g s   ca n   also   ar is f r o m   r eq u ir e m en l ev el  f au lts ,   wh ich   ar ca u s ed   b y   m is in ter p r etin g   s y s tem   r e q u ir em en ts   d u r in g   im p lem en tatio n   [ 1 3 ] .   T h is   ty p o f   er r o r   ca u s es  th s y s tem ' s   b eh av io r   n o to   m atch   th r eq u ir em en ts .   Fo r   ex am p le,   th l o g in   f u n ctio n   f a ils   to   v alid ate  u s er   r o le  co m b i n atio n s   ac co r d i n g   to   b u s in ess   r u les.   Sev er al  attem p ts   h av b ee n   m ad to   d e v elo p   r ea lis tic  b u g   d atasets ,   s u ch   as  Def ec ts 4 J   [ 1 4 ] Seem Seed   [ 1 5 ] ,   an d   g u id ed   f au lt  s ee d in g   [ 9 ] .   Ho wev er ,   th ese  ap p r o ac h es  h av e   lim itatio n s   r elate d   to   ap p licatio n   d o m ain   co v e r ag e,   co d e   ar ch itectu r e ,   o r   m u tatio n s   p er f o r m ed   o n   o n ly   a   s in g l lin e.   I n   a d d itio n ,   m o s m eth o d s   d o   n o t   ex p licit ly   co n s id er   f u n ctio n al   s ce n ar io s   o r   u s er   p r o ce s s   f lo ws  as  th b asis   f o r   f a u lt  in jectio n .   B ased   o n   th ese  is s u es,  th is   s tu d y   in tr o d u ce s   r ea lis tic,   g u id ed ,   an d   co n tex t u al  f au lt  in jectio n   m o d el   f o r   s y s tem   f u n ctio n ality   in   a   b lack - b o x   test in g   en v ir o n m en f o r   web   ap p licatio n s .   T h is   s tu d y   h as  th r ee   R esear ch   Qu esti o n s   ( R Qs):  Ho ca n   a   f a u lt  in jectio n   m eth o d   b e   d esig n e d   to   co n s tr u ct  r e alis tic  b u g   d atasets ( R Q1 ) "Wh at  ar th ch ar ac ter is tics   o f   m u lti - lin b u g s   in   r ea s y s tem s ,   an d   h o ca n   th ey   b r ep licated   in   a   co n tr o lled   m an n er ?"   ( R Q2 ) an d   "Ho ca n   th v alid atio n   an d   r ep r o d u cib ilit y   o f   in jecte d   b u g s   en s u r co m p atib ilit y   with   th tar g eted   test   s ce n ar io s ?"   ( R Q3 ) .   T o   ad d r ess   th ese  th r ee   R Qs,  t h is   s tu d y   p r o p o s es  s ce n ar io - d r iv en   f a u lt  in jectio n   ( SDFI)   ap p r o ac h .   SDFI  is   f au lt - s ee d in g   ap p r o ac h   th at  g e n er ates  f au lts   in   tar g eted   m a n n er   an d   f o c u s es  o n   f u n ctio n al   r eq u ir em e n s ce n ar io s   r ath er   th an   s y n tax - b ased   r an d o m   m u tatio n s .   T h is   ap p r o ac h   in t eg r ates  th r ee   m ain   elem en ts ,   n am ely   ii )   we b   f a u lt  tax o n o m y   to   d eter m in e   e r r o r - p r o n ar ea s ,   ii )   f au lt  in j ec tio n   p atter n s   to   f o r m u late  co d m o d i f icatio n s   th at  r esem b le  r ea b u g s ,   an d   iii )   s ce n ar io - b ased   m u tatio n   test in g   is   th en   u s ed   to   s y s tem atica lly   in s er f au lts .   B y   co m b in i n g   t h ese  elem en t s ,   SDFI  ca n   p r o d u ce   r ea lis tic,   m u lti - lin e,   an d   r eq u ir em e n ts - b ased   f au lts .   Fau lt  in s er tio n   ev alu atio n   u s es  ex p er im en tal  v alid atio n   o n   r ea web   ap p licatio n s .   E ac h   m u tan is   v alid ated   with   th r ea ch ab ilit y   in f ec tio n   p r o p ag atio n   ( R I P)  m o d el.   T h is   e n s u r es  th at  th f au lt   is   ex ec u ted ,   th s y s tem ' s   in ter n al  s tate  is   in f ec ted ,   an d   th e   f au lt' s   im p ac is   p r o p ag ate d   to   th p r o g r am   o u tp u t.   E x p er im en tal  v alid atio n   p r o v e s   th p r ac ticality   an d   ef f ec tiv e n ess   o f   th SDFI  ap p r o ac h   in   g en er atin g   r ea lis tic  b u g   d atasets .         2.   RE L AT E WO RK   Fau lt  in jectio n s   h av b ee n   u s ed   to   ev alu ate  th e f f ec tiv en e s s   o f   test in g   tech n iq u es.  Ho w ev er ,   m o s t   m u tatio n   test in g - b ased   m et h o d s   s till   r ely   o n   f ir s o r d er   m u tan ts   ( FOM) ,   wh ich   ar s im p le  s y n tactic  o p er ato r s   r an d o m l y   a p p lied   to   t h e n tire   co d e   b ase   u s in g   m u tatio n   to o [ 1 2 ] [ 1 1 ] .   R an d o m   m u tatio n s   o f ten   p r o d u ce   f au lts   th at  ar n o r ep r esen tat iv o f   r ea b u g s .   Sev e r al  s tu d ies  s h o th at  m u tatio n   o p er at o r s   m o d i f y   o n ly   s in g le  ex p r ess io n   o n   s in g le   lin e.   Ho wev e r ,   t h ey   f ail  to   r ep licate  th ch a r ac ter is tics   o f   r ea b u g s ,   s u c h   as  in ter ac tio n   b etwe en   co m p o n e n ts ,   m u lti - lin b u g s   an d   r eq u i r em en t - b ased   l o g ic  er r o r s .   As  r esu lt,  th f au lts   p r o d u ce   r ed u ce   f au lt  r ep r esen tativ en ess   v alu e,   wh ich   in   tu r n   lead s   to   d if f ic u lt - to - ev al u ate  m u tan ex p lo s io n   tr ig g er s   [ 1 2 ] [ 1 0 ] .   B u g - r ep o r t - d r iv e n   Fau lt  I n jec tio n   ( iB iR )   [ 1 6 ]   d em o n s tr ates  cu ttin g - ed g a p p r o ac h   to   g en er atin g   r ea lis tic  b u g   d atasets .   i B i R   u tili ze s   I R - b ased   f au lt  lo ca lizatio n   to   id en tify   co d lo ca tio n s   r elev an to   b u g   d escr ip tio n s   in   b u g   r e p o r ts .   Su b s eq u en tly ,   f au lt  in jectio n s   u s r ev er s ed   f ix   p atter n s   d e r iv ed   f r o m   r ea r ep ai r   p atter n s .   T h is   m eth o d   s ig n if ican tly   im p r o v es  r ea lis m   b y   lin k in g   r ea l - wo r ld   b u g   s ce n ar io s   to   in jectio n   lo ca tio n s ,   as  ev id en ce d   b y   s em an tic  s im ilar ity   o f   0 . 5 7 7   an d   f au lt  co u p lin g   o f   ~3 6 %,  wh ich   is   m u ch   h ig h er   th an   tr ad itio n al  m u tatio n   test in g .   Ho wev er ,   iB iR   h as  lim i tatio n s it  is   o n ly   ap p licab le  to   s y s tem s   with   a   h is to r y   o f   b u g   r ep o r ts ,   m u tati o n s   ar lim ited   to   s in g le  lin e,   an d   it  d o es  n o y et  s u p p o r t   r ep r o d u cin g   f a u lts   b ased   o n   r eq u ir em en t   lev el  b e h av io r   th at  h as   n o t   b ee n   r ec o r d ed   as  a   b u g .   Fu r th er m o r e,   f a u lt  in jectio n   p atter n   d o   n o ex p licitly   lin k   f au lts   to   u s er   p r o ce s s   f lo ws in   b u s in ess   ap p licatio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 1 4 - 20 30   2016   T o   ad d r ess   th lim itatio n s   o f   s in g le - lin m u tatio n ,   th co n c ep o f   h ig h er   o r d er   m u tan ts   ( HOM )   was   in tr o d u ce d   as  an   ex ten s io n   o f   FOM,   wh er m u tan ts   ar f o r m ed   th r o u g h   th co m b in ati o n   o f   two   o r   m o r e   ch an g es  in   th p r o g r am ,   allo win g   th em   to   r e p r esen m o r e   co m p lex   f a u lt  in ter ac tio n s   c o m p ar ed   to   s in g le   m u tatio n s   [ 1 7 ] .   HOM   in v o lv es  m u lti - lin ch an g es  th at  af f ec co n tr o f lo an d   co m p o n en d ep en d en cies,  m ak in g   m u tan ts   m o r e   lik r ea b u g s .   I n   th c o n tex o f   test in g ,   HOM   is   clo s ely   r elate d   to   t est  ca s es,  wh er s in g le  m u tan ca n   tr ig g er   m u l tip le  test in g   s ce n ar io s ,   lead in g   to   f ailu r es  ac r o s s   m o r t h an   o n test   ca s e.   T h is   r ef lects  HOM ' s   ab ilit y   to   r ep r esen th p r o p a g atio n   o f   f au lt   ef f ec ts   with in   th s y s tem .   T h ese  ch ar ac ter is tics   alig n   with   t h c o u p lin g   e f f ec h y p o th esis ,   wh ich   s tates  th at  c o m p lex   f au lts   ar e   r elate d   to   s im p le  f a u lts ,   s o   th a t   FOM  test   ca s e s   h av th p o ten tial to   d etec t H OM   [ 1 8 ] .   HOM   is   clas s if ied   in to   two   m ain   d im en s io n s s u b s u m in g   an d   co u p lin g   [ 1 7 ] .   T h e   s u b s u m in g   d im en s io n   r ef er s   to   th d if f icu lty   lev el  o f   th m u tan to   b k i lled ,   wh ile  th co u p lin g   d im e n s io n   d escr ib es  th r elatio n s h ip   b etwe en   test   ca s e s   th at  k ill  HOM   an d   FO M.   T h co m b in atio n   o f   th ese  two   d im en s io n s   r esu lts   in   s ix   ca teg o r ies  o f   HOM ,   n am e ly   i )   s tr o n g ly   s u b s u m in g   an d   co u p led ,   ii )   wea k ly   s u b s u m in g   an d   co u p led ,   iii wea k ly   s u b s u m in g   an d   d ec o u p led ,   iv )   n o n - s u b s u m i n g   a n d   d ec o u p led ,   v )   e q u iv alen m u tan t,  an d   vi )   n o n - s u b s u m in g   an d   co u p led   [ 1 8 ] .   T o   o v er c o m th ese  lim itatio n s ,   th is   s tu d y   p r o p o s es  SDF I ,   wh ich   is   f au lt  in jectio n   m ec h an is m   b ased   o n   f u n ctio n al  r eq u ir e m en s ce n ar io s   an d   s y s tem   o p er atio n al  s tr u ctu r es.  Un lik iB iR ,   wh ich   ex tr ac ts   co n tex f r o m   h is to r ical  b u g   r e p o r ts ,   SDFI  u tili ze s   s ce n ar io - d r iv en   m ap p in g   th at  c o m b in e s   test   ca s an aly s is ,   o p er atio n al  f au lt  lo ca lizatio n ,   an d   web   f a u lt  tax o n o m y   t o   d er iv tar g ete d   in jectio n s   in t o   s y s tem   b eh av io r .   T h u s ,   SDFI  p r o v id es  f au lt  in jectio n   m ec h an is m   th at  is   n o o n ly   r ea lis tic  b u also   alig n ed   with   r eq u ir em en ts ,   en ab lin g   th r ep r o d u ctio n   o f   b u g   d atasets   th at  in clu d m u lti - lin b u g s ,   wh ich   c o m m o n ly   o cc u r   in   clien t - s er v er   web   ap p licatio n   ar ch ite ctu r es.       3.   M E T H O D   T h is   s ec tio n   d escr ib es  th wo r k f lo f o r   im p lem e n tin g   th SDFI  ap p r o ac h   as  r ea lis tic  f au lt  in jectio n   m o d el.   T h SDFI  m o d el  co n s tr u cts  r ea lis tic  b u g   d atasets   f o r   b lack - b o x   test in g   in   web - b ased   ap p licatio n   e n v ir o n m en t.   T h e   f au lt  in jectio n   p r o ce s s   in   SDFI  f o llo ws  t h in jectio n   s tep s   in   iB iR ,   as  s h o wn   in   Fig u r 1 .   T h s u cc ess   o f   th is   r esear ch   is   m ea s u r ed   t h r o u g h   an   ex p e r im en tal  m eth o d   th at   ap p lies   all  s tag es  o f   th SDFI  m o d el  to   th J T K   L ea r n   ap p licatio n ,   web - b ased   e - lear n in g   p latf o r m   th at   s u p p o r ts   co m p lex   f u n ctio n al  f lo ws  in   an   e d u ca ti o n al  co n te x t.  E ac h   e x ec u tio n   s tep   is   an aly ze d   to   ass ess   th ac cu r ac y   o f   SDFI  in   in jectin g   f au lts .           Fig u r 1 .   W o r k f lo o f   th s ce n ar io - d r iv en   f au lt in jectio n   m o d el       T h SDFI  m o d el  ac ce p ts   two   in p u ts th s o u r ce   co d o f   th web   ap p licatio n   in   J av an d   test   ca s es   th at  in clu d test in g   g u i d elin es.  T h p r o g r am ' s   s o u r ce   co d is   s to r ed   in   g it  r ep o s ito r y   f r ee   o f   er r o r s .   Me an wh ile,   test   ca s es  ar wr itten   in   n atu r al  lan g u ag d er i v ed   f r o m   f u n ctio n ality   r e q u ir em en ts   to   test   th b eh av io r   o f   web   ap p licatio n   s o f twar e.   T est  ca s ex ec u tio n   u s in g   b lac k - b o x   test in g   a p p r o ac h   b y   e x am in in g   th s y s tem ' s   r esp o n s to   th in p u d ata   p r o v id ed   f o r   ea ch   a p p licatio n   f ea tu r e.   T h o b jectiv o f   f au lt  in jectio n   in   SDFI  is   to   m u tate  th e   p r o g r am   ag ain s th tar g et  f a u lt  in   t h test   ca s es  o f   th m ai n   f ea tu r m o s f r e q u en tly   ac ce s s ed   b y   u s er s .   T h is   aim s   to   im p r o v th e   ef f ec tiv en es s   o f   test   ca s es  f o r   cr itical  er r o r s ,   as  f u n ctio n al  f ailu r es in   k ey   f ea tu r es c an   ca u s s ig n if ican t d is r u p tio n   to   s y s tem   o p er atio n s   [ 1 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ce n a r io - d r iven   f a u lt in jectio n   fo r   r ea lis tic  b u g s   in   w eb   a p p lica tio n   test in g   ( A s r i Ma s p u p a h )   2017   T h SDFI  p r o ce s s   is   ca r r ied   o u in   f iv s tag es,  n am el y   ii )   s elec tio n   o f   k e y   f ea tu r es  b ased   o n   Hig h er - E d u ca tio n al   E - lear n in g   d esig n   p r i n cip les ii )   f o r m u latio n   o f   f a u lt  in jectio n   s ce n ar io s   u s in g   we b   Fau l t   tax o n o m y   r elev an to   r ea f au l ts ,   iii )   d esig n   o f   m u tatio n s   an d   f au lt  in jectio n   lo ca tio n s   b as ed   o n   f a u lt  in jectio n   p atter n s ,   iv )   im p lem en tatio n   o f   f au lt  in jectio n   b y   m u tati n g   th p r o g r am   c o d e,   v )   ev alu atio n   o f   m u tan p r o p a g atio n   u s in g   th R I m o d el  an d   f au lt  d etec tio n   r ate  ( FDR )   m etr ics.  T h p r o d u ctio n   o f   r ea lis tic  b u g   d atasets   r ef er s   to   s ev er al  ch ar ac ter is tics   o f   r ea li s m .   First,   m u tatio n s   s ig n if ican tly   af f ec th p r o g r am ' s   lo g ical  b eh av io r ,   in clu d in g   in c o r r ec o u tp u ts ,   f ailed   co n d itio n s ,   u n h an d led   er r o r s ,   an d   in co n s is t en p r o g r a m   s tates   [ 2 0 ] [ 1 6 ] .   Seco n d ,   b u g s   m u s b r elev an to   th co d e,   co n s id er in g   d ata  ty p es,  v ar ia b le  n am es,  co n tr o s tr u ctu r es,  d ata  f lo w,   a n d   API s /lib r ar ies  u s ed   [ 2 0 ] .   T h ir d ,   b u g s   m im ic  lo g ical  er r o r s   in v o l v in g   m u ltip le  lin es   [ 2 1 ] .   Fo u r th ,   f au lt in jectio n   tar g ets "r ea s o n ab le"  p ar ts   o f   th co d to   m im ic  r ea l b u g s   [ 1 6 ] .   B y   r ef er r in g   to   r ea lis tic  b u g   c r iter ia,   f au lt  s ce n ar io   d esig n ,   an d   f au lt  in jectio n   p atter n s ,   m u tan ts   ca n   b p r o d u ce d   th at  a r lik r ea f au lts .   All  s tep s   o f   th e   SDFI  m o d el  ar e   ca r r ied   o u t   m an u ally   b y   two   r o les:   th e   test er   ( f au lt  d esig n er )   an d   t h b u g g y   d e v elo p er   ( p r o g r a m   m u tan cr ea to r ) .   I n   th f in a s tag e,   th test er   ev alu ates  th d is tr ib u tio n   o f   m u tan ts   b ased   o n   th e   tar g et  f au lt  test   ca s b y   c h ec k in g   wh eth er   th e   m u tan t   p r o g r a m ' s   o u tp u m atch es  t h e   f au lt  ex p ec tatio n .   Un lik co n v en tio n al   m u tatio n   test in g ,   wh ich   s ep ar ates  th e   p r o ce s s   o f   m u tan cr ea tio n ,   g e n er ally   p er f o r m ed   r an d o m ly   b y   to o l,  f r o m   th p r e p ar atio n   o f   test   ca s es,  S DFI   em p h asizes  th co llab o r atio n   o f   th ese  two   ac tiv ities   th r o u g h   m an u al  f au lt  in jectio n   o r ien ted   to war d s   f u n ctio n al   s ce n ar io s .   T h is   ap p r o ac h   alig n s   c o n ce p tu al  b u g s   at  th e   r eq u i r em en t   lev el  wit h   im p lem e n tatio n al   b u g s   at  th co d lev el,   m ak in g   f au lt  in jectio n s   m o r tar g eted   an d   co n tex tu ally   r elev a n to   th s y s tem ' s   f u n ctio n ality .   T h e   SDFI  p r o c ed u r is   d ef in ed   b y   ex p licit,  s tep - by - s tep   r u les  to   en s u r e   r ep r o d u cib ilit y ,   as   r ep r esen ted   b y   alg o r ith m   1   an d   7   d ec is io n   r u les.     Alg o r ith m   1 .   SDFI  ap p r o ac h   a lg o r ith m       I n p u t   O u t p u t   :   F u n c t i o n a l   sc e n a r i o s S,   t e st   c a s e s T ,   f a u l t   i n j e c t i o n   p a t t e r n s P   ( Ta b l e   1 )       :   S e t   o f   m u t a n t M ,   R I P   e v a l u a t i o n   r e s u l t s,  F D R   m e t r i c   1:   2:   3:   4:   5:   6:   7:   8:   9:   10:   11:   12:   13:   14:   15:   initialize M =       for   each scenario s in S do          identify execution path p covered by T          determine fault type f based on scenario mapping rule          select mutation pattern m from P corresponding to f          locate code segment c along path p that matches pattern m          if   c is reachable by at least one test case then              apply mutation m to c to generate mutant μ              execute μ using test cases T              evaluate μ using RIP criteria (R, I, P)              add μ to M          end if     end for     compute FDR = (number of killed mutants) / (total mutants in M)     return   M, RIP results, FDR     D e c i ss i o n   R u l e :   S D F I   a p p r o a c h     1.   S c e n a r i o   M a p p i n g   R u l e :   F u n c t i o n a l   s c e n a r i o   m u st   b e   m a p p e d   t o   a   f a u l t   t y p e   b a se d   o n   i t d o mi n a n t   o p e r a t i o n   ( l o g i c ,   d a t a ,   o r   i n t e r f a c e ) .   2.   P a t t e r n   M u t a t i o n   S e l e c t i o n   R u l e :   M u t a t i o n   p a t t e r n s m u s t   b e   s e l e c t e d   f r o m   T a b l e   1   a n d   a l i g n e d   w i t h   t h e   i d e n t i f i e d   f a u l t   t y p e .   3.   Lo c a t i o n   S e l e c t i o n   R u l e :   A p p l y   t h e   mu t a t i o n   o n l y   t o   c o d e   se g me n t t h a t   ma t c h   t h e   sce n a r i o   a n d   s u p p o r t   t h e   s e l e c t e d   p a t t e r n                       ( e . g . ,   c o n d i t i o n a l   st a t e me n t s f o r   l o g i c a l   f a u l t s,   o r   q u e r y   s t a t e me n t s fo r   d a t a   f a u l t s) .   4.   R e a c h a b i l i t y   R u l e :   Th e   se l e c t e d   c o d e   l o c a t i o n   mu s t   b e   c o v e r e d   b y   a t   l e a s t   o n e   t e s t   c a se .   5.   S e ma n t i c   C h a n g e   R u l e :   T h e   a p p l i e d   mu t a t i o n   m u s t   i n t r o d u c e   a   m e a n i n g f u l   sema n t i c   d e v i a t i o n   i n   p r o g r a b e h a v i o u r .   6.   R I P   V a l i d a t i o n   R u l e :   A   mu t a n t   i s   c o n si d e r e d   e f f e c t i v e   o n l y   i f   i t   sa t i sf i e t h e   R I P   c r i t e r i a .   7.   F D R   E v a l u a t i o n   R u l e :   T h e   e f f e c t i v e n e ss  o f   t h e   mu t a t i o n   p r o c e ss  i s m e a s u r e d   u si n g   t h e   F D R   met r i c   a c r o ss  a l l   g e n e r a t e d   mu t a n t s .     3 . 1 .     Det er m ina t io o f   k e y   f e a t ures   Dete r m in in g   t h a p p licatio n ' s   m ain   f ea tu r es  en s u r es  t h at  f a u lt  in jectio n   s ce n ar i o s   ar e   ca r r i ed   o u o n   cr itical  ap p licatio n   f u n ctio n s .   B ec au s J T L ea r n   o p er ates  as  d ig ital  lear n in g   p latf o r m   i n   h ig h e r   ed u ca tio n ,   th id en tific atio n   o f   k e y   f ea tu r es  co n s id er s   in ter ac tio n   f o r m s ,   u s er   n ee d s ,   an d   ty p ical  u s a g p atter n s   in   an   e - lear n in g   en v ir o n m en t.  T h an aly s is   o f   th ap p licatio n ' s   m ain   f ea tu r r eq u ir em en ts   u s es  th Hig h er - E d u ca tio n al  E - lear n in g   d esig n   p r in cip les  f r am ewo r k .   T h is   f r am ewo r k   co n s is ts   o f   f o u r   m eta - r eq u ir em e n ts ,   wh ich   ar d e r iv ed   f r o m   i n to   t en   d esig n   p r in cip les  ( DP)   to   s u p p o r ac ce s s ib ilit y ,   clar ity   o f   co n ten s tr u ctu r e ,   task   in ter ac tiv ity ,   f ee d b ac k   s u p p o r t,   an d   m o tiv atio n al  el em en ts   [ 2 2 ] .   T h r o u g h   th is   a p p r o ac h ,   th e   f au lt  in jectio n   p r o ce s s   r ef lects th c o n tex t o f   o n lin lea r n in g   in   h ig h er   e d u ca tio n   e n v ir o n m en t.   T h r esu lts   o f   th an aly s is   o f   th m ain   f ea tu r es  o f   th J T L ea r n   ap p licatio n   in   T ab le  2   s h o th ess en tial  f ea tu r es  th at  ar th m ain   p o in ts   o f   u s er   in te r ac tio n ,   n am ely   u s er   au t h en ticatio n ,   co u r s p a g ac ce s s ,   m ater ial  ac ce s s ,   q u iz  co m p le tio n ,   q u iz  r esu lt  o v er v iew,   a n d   lear n in g   p r o g r ess   m o n ito r in g .   T h ese  f ea tu r es  wer ex tr ac ted   f r o m   test   ca s es  an d   s o u r ce   co d th at  h a d   th h ig h est  u s ag r ate  a n d   wer e   d i r ec tly   r elate d   to   th e   p r in cip les  o f   DP1   ( Acc ess ib ilit y ) ,   DP2   ( C o n ten Av aila b ilit y ) ,   DP3   ( I n ter ac tiv T ask s ) ,   DP4   ( Simp le  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 1 4 - 20 30   2018   Nav ig atio n   an d   Stru ctu r e) ,   DP5   ( Feed b ac k ) ,   DP6   ( Mu lt im ed ia  Su p p o r t) ,   an d   DP8   ( Pro g r ess   T r ac k in g ) .   Me an wh ile,   s ev er al  o th er   d esi g n   p r in ci p les,  s u ch   as  DP7   ( Did ac tic  E lem en ts ) ,   DP9   ( Mo tiv atio n al  E lem en ts ) ,   an d   DP1 0   ( C o m m u n icatio n   Me ch an is m s ) ,   wer n o i n clu d ed   b ec au s t h ey   we r n o t   alig n ed   with   th e   ar ch itectu r an d   f u n ctio n al  s c o p o f   th J T L ea r n   a p p licatio n .       T ab le  1 .   SDFI  f au lt in jectio n   p atter n   P a t t e r n   C o n t e x   C a t e g o r y   B u g   I n j e c t i o n   P a t t e r n   Ex a m p l e   I n p u t   Ex a m p l e   O u t p u t     I n sert   S t a t e m e n t   I n sert   a   s t a t e m e n t   f i e l d   i n   q u e r y   sel e c t   S ELEC f i e l d 1 ,   f i e l d 2     F R O M   …  W H E R   S ELEC f i e l d 1 ,   f i e l d 2 ,   f i e l d 3   F R O M   …  W H ER     I n sert   a   p r o p e r t y   t a g   h t ml   < so m e t a g   p r o p e r t y 1 = v a l u e >   < so m e t a g   p r o p e r t y 1 = v a l u e   p r o p e r t y 2 = { e x p r e ss i o n }>   {{   M u t a t e   S t a t e m e n t   C h a n g e   st a t e me n t   i n   b l o c k   c o n d i t i o n   st a t e m e n t   t o   a n o t h e r   st a t e me n t   I F   ( e x p r e ssi o n )   { s t a t e m e n t 1   }   I F   ( e x p r e ssi o n )   { s t a t e m e n t 2   }     M u t a t e   C o n d i t i o n a l   Ex p r e ssi o n   R e m o v e   a   c o n d i t i o n a l   e x p r e ss i o n   …c o n d E x p 1   & & c o n d Ex p 2   …c o n d E x p 1     I n sert   a   c o n d i t i o n a l   e x p r e ssi o n   …c o n d E x p 1   …c o n d E x p 1   & & c o n d Ex p 2 . . .     C h a n g e   t h e   v a r i a b l e   c o n d i t i o n a l   . . a   >   b . .   . . c   >   b . .     M u t a t e   Li t e r a l   Ex p r e ssi o n   C h a n g e   st r i n g   l i t e r a l i n   a   st a t e me n t   b y   a n o t h e r   l i t e r a l   o f   t h e   sam e   t y p e   t o   m a n i p u l a t e   e l e m e n   H T M L   Ex a m p l e   1 :   < so m e t a g   p r o p e r t y 1 = v a l u e 1 >   Ex a m p l e   2 :   < so m e t a g >   v a l u e 1   < / s o m e t a g >   Ex a m p l e   3 :   < so m e t a g   p r o p e r t y = v a l u e 1 >   Ex a m p l e   1 :   < so m e t a g   p r o p e r t y 1 = v a l u e 2 >   Ex a m p l e   2 :   < so m e t a g >   v a l u e 2   < / s o m e t a g >   Ex a m p l e   3 :   < so m e t a g   p r o p e r t y = v a l u e 2 >     M u t a t e   M e t h o d   I n v o c a t i o n   R e p l a c e   a   met h o d   c a l l   b y   a n o t h e r   o n e   w h e n   n a v i g a t e   t o   a n o t h e r   s c r e e n   n a v i g a t e ( / p a t h u r l 1 )   n a v i g a t e ( / p a t h u r l 2 )     R e p l a c e   a   met h o d   c a l l   a r g u m e n t   b y   a n o t h e r   o n e   mo d u l ( a r g 1 )   mo d u l ( a r g 2 )     R e m o v e   a   me t h o d   c a l l   a r g u me n t   w h e n   a   c a l l   e n d   p o i n   A P I   f r o m fr o n t   e n d   a p i , g e t ( e n d p o i n t ? p a r a m =   {v a l u e },…)   a p i , g e t ( e n d p o i n t ? p a r a m = , . . . )     A d d   a n   a r g u me n t   t o   a   me t h o d   c a l l   mo d u l ( a r g 1 )   mo d u l ( a r g 1 ,   a r g 2 )     M u t a t e   R e t u r n   S t a t e me n t   r e p l a c e   a   r e t u r n   e x p r e ssi o n   b y   a n o t h e r   o n e   w h e n   r e t u r n   v a l u e   r e g u l a r   r e t u r n   e x p r 1 ;   r e t u r n   e x p r 1 ;       r e p l a c e   a   r e t u r n   e x p r e ssi o n   b y   a n o t h e r   o n e   w h e n   r e t u r n   v a l u e   f o r mat   j s o n   r e t u r n   r e s . st a t u s( 4 0 0 ) . j s o n ( messa g e :   ' v a l u e 1 '   }) ;   r e t u r n   r e s . st a t u s( 4 0 0 ) . j s o n ( { me ss a g e :   'v a l u e 2 '   }) ;     M u t a t e   O p e r a t o r s   R e p l a c e   a   R e l a t i o n a l   o p e r a t o r   . . . a   > =   b . . .   . . . a   >   b . . .     R e p l a c e   a   C o n d i t i o n a l   o p e r a t o r *   . . . a   &&   b . . .   . . . a   | |   b . . .     * )   a   a n d   b   i n   e x a mp l e   i n p u t / o u t p u t   o f   R e p l a c e   a   C o n d i t i o n a l   o p e r a t o r   i s e x p r e ssi o n   c o n d i t i o n       T ab le  2 .   SDFI  f ea tu r es c o llect ed   f r o m   test   ca s es a n d   s o u r ce   co d f iles   Te st   c a s e   f e a t u r e   S o u r c e   c o d e   f e a t u r e   F e a t u r e   D e scri p t i o n   F r o n t   E n d   B a c k   En d   U ser A u t h e n t i c a t i o n   V e r i f y   u sers   w h o   a r e   a u t h o r i z e d   t o   a c c e ss  t h e   a p p l i c a t i o n .   Lo g i n P a g e . j s   a u t h C o n t r o l l e r . j s   D a sh b o a r d   V e r i f y   t h e   h o me  p a g e   t h a t   d i s p l a y t h e   c o u r se  l i s t   a n d   c o u r se   n a v i g a t i o n .   D a sh b o a r d P e l a j a r P a g e . j s   c o u r se C o n t r o l l e r . j s   M y   C o u r ses  P a g e   V e r i f y   c o u r ses   t h a t   s t u d e n t h a v e   t a k e n .   M y C o u r s e sP a g e . j s   p a r t i c i p a n t C o n t r o l l e r . j s   C o u r se  O v e r v i e w   V e r i f y   t h e   c o u r se   i n f o r ma t i o n   p a g e   t h a t   serv e s   a s   a c c e ss   t o   t h e   c o u r se  c o n t e n t .   C o u r seO v e r v i e w P a g e . j s   p a r t i c i p a n t C o n t r o l l e r . j s   C o u r se  D e t a i l s   V e r i f y   c o u r se   c o n t e n t   n a v i g a t i o n .   S i d e b a r P e l a j a r . j s   mat e r i C o n t r o l l e r . j s.  a n d   q u i z C o n t r o l l e r . j s   A c c e ss   M a t e r i a l s   V e r i f y   t h e   c o u r se   ma t e r i a l   c o n t e n t   d i s p l a y .   M e m p e l a j a r i C o u r seP a g e . j s   mat e r i C o n t r o l l e r . j s   A c c e ss   Q u i z   V e r i f y   c o mp l e t i o n   o f   t h e   c o u r se   q u i z   c o n t e n t .   M e m p e l a j a r i C o u r seP a g e . j s   q u i z C o n t r o l l e r . j s,   j a w a b a n C o n t r o l l e r . j s,  p e r t a n y a a n C o n t r o l l e r . j s ,   a n d   d e t a i l H i s t o r y Q u i z C o n t r o l l e r . j s   Q u i z   R e su l t s   O v e r v i e w   V e r i f y   t h e   q u i z   r e s u l t   d i s p l a y .   R i w a y a t Q u i z . j s   h i s t o r y Q u i z C o n t r o l l e r . j s   Le a r n i n g   M o n i t o r i n g   V e r i f y   t h e   t r a c e a b i l i t y   o f   mat e r i a l a n d   q u i z z e t h a t   st u d e n t s   h a v e   c o m p l e t e d .   S u mm a r y P r o g r e ss. j s   c o u r se C o n t r o l l e r . j s       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ce n a r io - d r iven   f a u lt in jectio n   fo r   r ea lis tic  b u g s   in   w eb   a p p lica tio n   test in g   ( A s r i Ma s p u p a h )   2019   3 . 2 .     F a ult  inje ct io n scena rio   dev elo pm ent     Dev elo p m en o f   f au lt  in jecti o n   s ce n ar io s   u s in g   o p er atio n al  f au lt  lo ca lizatio n ,   wh ich   m ap s   web   ap p licatio n   f u n ctio n al  ar ea s   m o s v u ln er ab le  to   er r o r s   in   p r o d u ctio n   co n d itio n s .   T h id en tific atio n   o f   f au lt  in jectio n   lo ca tio n s   f o llo ws  th b lack - b o x   f u n ctio n al   test in g   p r in cip le ,   wh ich   ass ess es  t h s y s tem ' s   ex ter n al  b eh av io r   in   ter m s   o f   n av ig a tio n   f lo w,   f o r m   p r o ce s s in g ,   d atab ase  m an ip u latio n ,   a n d   in ter f ac b e h av io r   co n s is ten cy   [ 2 3 ] ,   [ 2 4 ] .   W eb   ap p licatio n   co d ar ea s   th at  ar f au lt  p r o n ca n   r ef er   to   th s y n th esis   o f   th web   f au lt tax o n o m y   b y   Yasin   ( 2 0 2 0 ) ,   wh ich   s u r v ey s   f a u lt p atter n s   f r o m   p u b licatio n s   f r o m   2 0 0 0   to   2 0 2 0   [ 2 5 ]   B ased   o n   th is   s y n th esis ,   th is   s tu d y   u s es  th r ee   class if icatio n   f r am ewo r k s   to   s elec f au lt  class es.  First,   Ma r ch etto ' s   W eb   Fau lt  T ax o n o m y   ( 2 0 0 7 )   g r o u p s   f au lts   b y   h ig h - lev el   ar ch itectu r al   ch a r ac ter is tics   o f   web   ap p licatio n s .   Seco n d ,   Vijay ar ag h av an   an d   Kan er ' s   ( 2 0 0 3 )   f au lt  class if icatio n   em p h asizes  an o m alo u s   u s er   in ter ac tio n   b eh a v io r .   T h ir d ,   I iv an ain en ' s   d ef ec tax o n o m y   ( 2 0 2 1 )   ca teg o r izes  d ef e cts  in   m o d er n   web   ap p licatio n s   in to   n in ca teg o r ies.  I n   ad d itio n ,   th e   s elec tio n   o f   f au lt  t y p es  co n s id er s   alig n m en with   th e   ap p licatio n   ar ch itectu r e,   th e - lear n in g   d o m ain ,   p ag s tr u ct u r e,   an d   u s er   in ter ac tio n   with   th d ata  r etr iev al   p r o ce s s ,   co n ten t   r ep r esen tati o n ,   an d   b u s in ess   lo g ic  p r o c ess in g   in   th J T L ea r n   ap p licatio n .   T h u s ,   th e   s elec ted   f au lt  ty p es  in clu d d atab ase  f au lts ,   h y p er lin k ed   s t r u ctu r f a u lts ,   er r o r /war n in g   n o tific atio n   f a u lts ,   m ed ia  f au lts ,   d ea d - en d /o r p h a n   p ag f a u lts ,   Gr ap h ical  User   I n ter f ac ( GUI )   f a u lts ,   an d   lo g ic  an o m alies.   All  f au lt  ca teg o r ies  s er v as   th b asis   f o r   d ev elo p in g   f au lt  in j ec tio n   s ce n ar io   s p ec if icatio n s   th r o u g h   a   s ce n ar io - d r iv e n   m ap p in g   ap p r o ac h ,   wh ich   s y s tem atica lly   lin k s   J T L ea r n   u s ag e   s ce n ar io s ,   s y s tem   o p er atio n al  l o ca tio n s ,   an d   th ty p es  o f   f au lts   th at  m ay   ar is alo n g   th e   ex ec u tio n   p ath .   T h s ce n ar io s   a r e   d ev elo p e d   b ased   o n   f u n ctio n al  test   ca s es,  s o   th at  ea ch   test   s tep   r ep r esen tin g   u s er   b eh av io u r s   in   c r itical  f u n ctio n   o p er atio n s   is   t r an s f o r m ed   in t o   a   ca n d id ate  f a u lt  in j ec tio n   lo ca tio n .   T h d eter m in atio n   o f   f au lt  ty p es   f r o m   th we b   f a u lt  tax o n o m y   co n s id er s   i n jectio n   p o in ts   i n   web   ar c h itectu r e,   wh ich   g en er ally   h av e   th r ee   tier s : c lien t - s id ( f r o n t e n d ) ,   s er v er - s id ( b ac k   en d ) ,   a n d   d ata  s to r ag ( d atab ase) .     T h r esu lt  o f   th o p er atio n al   f au lt  lo ca lizatio n   p r o ce s s es  co n n ec ts   f ailin g   test   ca s es,  t ar g et  f au lt   ap p licatio n s ,   an d   f au lt  ty p es.  T ar g et  f au lts   d escr ib th f au l s p ec if icatio n s   in s er ted   s o   th a test   ca s es  b ec o m f au lts   an d   p r o g r am s   h av b u g s .   Fau lt  ap p licatio n s   ar th im p ac o f   b u g s   o n   ap p li ca tio n   f u n ctio n ality .   Me an wh ile,   f au lt ty p es a r e   f au lt c ateg o r ies s elec ted   f r o m   th e   web   f au lt tax o n o m y .     3 . 3 .     F a ult  inje ct io n desi g n   T h f au lt  in jectio n   d esig n   in   th is   s tu d y   ad ap ts   th f au lt  in j ec tio n   p atter n s   p r in ci p le  f r o m   th iB i R   ap p r o ac h   [ 1 6 ] ,   wh ich   f o r m s   i n jectio n   p atter n s   th r o u g h   in v er s io n   o f   AST - b ased   f ix   p atter n s .   I n   iB iR ,   ea ch   p atter n   is   d ef in ed   b y   an   A ST  n o d co n tex ( wh er th p atter n   is   ap p lied )   an d   r ec ip ( s y n tactic  m o d if icatio n ) .   Mu tatio n   p o in t s   ar d is co v e r ed   b y   tr av er s in g   th in jectio n   lo ca tio n   s u b t r ee   th r o u g h   s ea r ch in g   f o r   AST  n o d es th at  m atch   th f au lt p atter n   [ 1 6 ] .   T h is   s tu d y   a d o p ts   f au lt p atter n s   as th b asis   f o r   p r o g r am   co d e   ch an g es,  b u th a p p licatio n   is   s elec tiv b y   ass o ciatin g   ea ch   in jectio n   p atter n   with   f ailin g   test   ca s es  th at   v io late  f u n ctio n al  r eq u ir em en t s .   Un lik iB iR ,   wh ich   f o cu s es  o n   in jectio n   in to   u tili ty   lib r ar y   co d e,   th e   ap p licatio n   o f   in jecti o n   p atter n s   in   th SDFI  m o d el  is   ex ten d ed   to   co d elem en ts   th at  af f ec th f u n ctio n al  b e h av io r   o f   e - le ar n in g   ap p licatio n s ,   in clu d in g   HT ML   f iles ,   SQL  q u er ies,  en d p o in ca lls ,   DOM   m an ip u latio n   v ia  J av aScr ip t,  a n d   p r o ce s s in g   lo g ic  o n   b o th   th clien a n d   s er v e r   s id es.  T h is   ad ap tatio n   o v e r co m es  th lim itatio n s   o f   iB iR   i n   in jectin g   co n tex t - b ased   f au lts ,   s u ch   as  th in s e r tio n   o f   i n ap p r o p r iate  s tatem e n ts   in   co n d itio n   b lo ck s .   T h u s ,   th f au lt  in jectio n   d esig n   in   SDFI  m ai n tain s   th s y n tactic  p r ec is io n   o f   iB iR   wh ile  ad ju s tin g   p r o d u ce   f u n ctio n ally   r elev an t   m u tatio n s   in   th e   co n te x o f   web   ap p licatio n s .   T a b le  1   s h o ws  th f au lt  in jectio n   p atter n   u s ed   in   th SDFI  m o d el.     3 . 4 .     F a ult  inje ct io n im plem e nta t io n   Fau lt  in jectio n   is   im p lem en t ed   b y   a p p ly in g   s elec ted   m u tatio n   p atter n s   to   th e   id en ti f ied   co d e   lo ca tio n s .   E ac h   m u tan is   co n s tr u cted   to   tr ig g er   f ailu r in   th co r r esp o n d i n g   test   ca s e,   t h er eb y   m an i f esti n g   th in ten d ed   f au lt.  No tab l y ,   in   p r ac tice,   s in g le  m u tan m ay   af f ec m u ltip le  r elate d   test   ca s es,  wh ile  s in g le  test   ca s m ay   also   b ass o ciate d   with   m u ltip le  m u ta n ts   [ 1 2 ]     3 . 5 .     E v a lua t i o o f   m uta nt  di s t ributio n   Mu tan co r r ec tn ess   ev alu atio n   ca n   u s th R I m o d el  to   d e tect  f au lts   th at  af f ec p r o g r am   b eh av io r   th r o u g h   test   ca s ex ec u tio n .   D etec ted   f au lts   in d icate   t h at  m u tan ts   ar k illed .   Me a n wh ile,   t h r atio   o f   m u tan ts   k illed   b y   test   ca s es  is   d ef in e d   as  th m u tatio n   s co r [ 2 6 ] .   T h m u tatio n   s co r is   ca lcu l ated   u s in g   th f au lt   d etec tio n   r ate  ( FDR ) ,   th p e r c en tag o f   all  m u tan ts   k illed .   m u tan is   co n s id er ed   k illed   if   it  s ati s f ies  th r ea ch ab ilit y ,   in f ec tio n ,   an d   p r o p ag at io n   ( R I P)  co n d itio n s   [ 2 7 ] ,   wh er e   test   ca s ex ec u tes  th m u tated   c o d e,   p r o d u ce s   a   d ev iatio n   in   th e   p r o g r am s   i n ter n al   s tate,   an d   p r o p ag ates  th is   ef f e ct  to   o b s er v ab le  o u tp u b eh av i o r .   On   th o th er   h an d ,   m u tan ts   r em ain   aliv wh en   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 1 4 - 20 30   2020   th ey   f ail  to   m ee t o n o f   th R I P c o n d itio n s   [ 2 7 ] ,   n am el y ,   th e   m u tan t is n o t r ea ch ab le  b y   th test   ca s e,   th co d e   is   n o t in f ec ted ,   o r   th m u tatio n   ef f ec t is n o t p r o p a g ated   [ 2 8 ]   I n   th is   s tu d y ,   m u tan p r o p ag at io n   ev al u atio n   co m b i n es  th R I m o d el   an d   FDR   m etr ics  to   ass es s   th ef f ec tiv en ess   o f   f au lt  in jectio n   o n   test   ca s es '   ab ilit y   to   d etec t   er r o r   b e h av io r .   T ab le   3   p r ese n ts   o b s er v atio n s   o f   th f au lt  in jectio n   f lo in   m u tan ts   ac r o s s   th r ee   R I p ar a m eter s ,   with   ea ch   m u tan co n s id er ed   k illed   if   it   tr ig g er s   f u n ctio n al   f ailu r e   b e h av io r .   Fu r th e r m o r e,   th e   FDR   m etr ic  is   ca lcu lated   u s in g   ( 1 )   to   o b tain   th e   m u tatio n   s co r e.   m u tatio n   s co r ap p r o ac h i n g   1 0 0 in d ic ates  h ig h   f au lt  in jectio n   ac cu r ac y .   Mu tan ts   th at   r em ain   aliv ar s u b jecte d   to   a   r o llb ac k   p r o ce s s   ( r esto r in g   th p r o g r a m   co d to   its   o r ig in al  f o r m ) ,   r ein jecte d   at   th ap p r o p r iate  m u tatio n   lo ca t io n ,   an d   r etested   f o r   ev alu atio n .               =                  1 0 0 %   ( 1 )       T ab le  3 .   E v alu atio n   o f   f a u lt in jectio n   u s in g   th R I m o d el  a p p r o ac h   N o .   R I P   Ev a l u a t i o n   P a r a me t e r s   C o n d i t i o n   S t a t u s   S1   S2   S3   S4   1.   C o h e r e n c e   o f   t h e   m u t a t i o n   l o c a t i o n   w i t h   t h e   f u n c t i o n a l   r e q u i r e m e n t   b e i n g   t e s t e d   R   i s   sa t i sf i e d   w h e n   t h e   t e st   c a s e   t e st s   t h e   mu t a n t   l o c a t i o n   i n   t h e   f r o n t - e n d / b a c k - e n d   a r e a ,   t h e   mu t a n t   so u r c e   c o d e   f i l e ,   a n d   t h e   mu t a n t   p r o g r a m   c o d e   l i n e .   Tr u e   Tr u e   Tr u e   F a l se   2.   M a t c h i n g   o f   mu t a t i o n   e f f e c t s   w i t h   e x p e c t e d   f a i l u r e   I   i s sa t i sf i e d   w h e n   t h e   p r o g r a m's   e r r o r   b e h a v i o u r   ma t c h e s   t h e   f a u l t   sc e n a r i o .   Tr u e   Tr u e   F a l se   F a l se   3.   F a u l t   p r o p a g a t i o n   t o   o b ser v a b l e   o u t p u t s   P   i s s a t i sf i e d   w h e n   t h e   m u t a n t   p r o d u c e p r o g r a o u t p u t i d e n t i c a l   t o   t h e   t a r g e t   f a u l t .   Tr u e   F a l se   F a l se   F a l se     C o n c l u s i o n   M u t a n t   k i l l e d   l i v e   l i v e   l i v e       4.   RE SU L T S AN D I SCU SS I O N   T h is   s ec tio n   d em o n s tr ates  th SDFI  m o d el  wo r k f lo w   b y   in je ctin g   f au lts   in t o   th e   b u s in ess   ap p licatio n   J T L ea r n ,   f o c u s in g   o n   m u tat io n   o u tc o m es a n d   th ei r   ch ar ac t er is tics .       4 . 1 .     E x perim ent   s et up   T h ex p er im e n ap p lies   SDF I   to   th J T L ea r n   ap p licatio n   to   ev alu ate  m u tatio n   o u tc o m es.  T h m eth o d   u s ed   is   ca s s tu d y   ex p er im en t,  a n   ex p er im en tal   ap p r o ac h   th at  d ir ec tly   a p p li es  m eth o d   to   th e   s y s tem   u n d er   s tu d y .   All  s tag es  o f   th SDFI  m o d el  p r o ce s s   ar ap p lied   to   th o b ject  o f   s tu d y .   Me an wh ile,   th e   ex p er im en tal  r esu lts   ar a n aly ze d   u s in g   ev al u atio n   m etr ics.   T h s elec tio n   o f   th o b ject  o f   s tu d y   was  b ased   o n   s ev er al  cr iter ia,   n am ely   th av ailab ilit y   o f   test   s u ite,   th s u itab ilit y   o f   d o m ain   ch ar ac ter is tics   with   b u s i n ess   ap p licatio n s ,   s u p p o r f o r   web   ap p licatio n   ar ch itectu r e,   an d   th p latf o r m ' s   ab ilit y   to   o p er ate  th r o u g h   co m m u n icatio n   b etwe en   th f r o n en d   an d   b ac k   en d   b ased   o n   Ap p licatio n   Pro g r a m m in g   I n ter f ac e   ( API ) .   I n   ad d itio n ,   th e   ap p licatio n   d o m ain   was  also   d eter m in e d   b y   th e   s co p f am iliar   to   lear n e r s .   B ased   o n   th ese  c r iter ia,   J T L ea r n   was  s elec ted   as  th e   s tu d y   o b ject.   A   b r ief   p r o f ile  o f   J T L ea r n   is   p r esen ted   in   T ab le  4 .     4 . 2 .     T a rg e t   f a ult   T h r esu lts   o f   th e   o p e r atio n al  f au lt  lo ca lizatio n   an aly s is   o f   web   ap p licatio n s   a g ain s h ig h er   ed u ca tio n   d esig n   p r in ci p al  v io latio n s   h a v id en tifie d   3 4   f au lts ,   with   th f au lt  d is tr ib u tio n   s h o wn   in   T ab le  5 .   T h tar g et   f au lts   wer d eter m in ed   in   th r ee   s tep s   th at  en ab led   f au lt  in jectio n   in to   ea ch   J T L ea r n   f ea tu r o p e r atio n ,   n am ely ( 1 )   m a p p in g   J T L ea r n   f ea tu r es  in to   o p er atio n s   g r o u p e d   b ased   o n   DP,  r ef er r ed   to   as  DP  b eh av io r ( 2 )   an aly zi n g   tar g et  f au lts   f o r   DP  b eh av io r   th at  m ay   b e   in j ec ted   with   f au lts   b ased   o n   w eb   f au lt  tax o n o m y ,   ap p licatio n   ar ch itectu r e,   an d   test   ca s es  f r o m   f ailin g   test   ca s es;  an d   ( 3 )   ev alu atin g   wh eth er   th f a u lt  s p ec if icatio n s   ar m u tu ally   e x clu s iv e.   T ab le  5   s h o ws  th at  7 1 . 4 3 ( 2 0   o u t   o f   2 8 )   o f   th e   d esig n ed   f au lt   tar g ets  ca n   s p r ea d   t o   th e   m ain   b eh av io r   o f   th e   ap p licatio n .   I n   co m p ar is o n ,   2 8 . 5 7 % ( 8   o u t o f   2 8 )   o f   th b e h av io r s   ar m ain t ain ed   ac co r d in g   to   s p ec if icatio n s   b ec au s m o s o f   th e   b eh a v io r s   ac as  p r ec o n d itio n s   in   th f u n ctio n al  f l o w.   I n jectio n s   in to   p r ec o n d itio n   b eh a v io r s   ca n   s to p   th ex ec u tio n   f lo w,   p r ev e n tin g   f au lts   f r o m   p r o p ag atin g .   Fo r   ex am p le,   th lo g in   f u n ctio n   is   n o t g iv en   f au lt  b ec au s e   th e r r o r   ter m in at es  th n e x ex ec u tio n   f lo w.   I n   ad d itio n ,   f au lts   th at   ar h ig h ly   in f lu en ce d   b y   d ata  v ar iatio n   ar av o id ed   b ec au s th ey   ca n   ca u s o b s er v atio n   am b ig u ity ,   th e r eb y   h in d er in g   co n s is ten ass ess m e n o f   m u tatio n   im p ac t.   T h e r e f o r e,   th s elec ted   f au lt  ch a r a cter is tics   ar f au lts   th at  ca n   p r o p a g ate  an d   d o   n o t   ca u s b eh a v io r al  am b ig u ity ,   s o   th at  ea ch   m u tatio n   p r o d u ce s   an   is o lated   ef f ec t   o n   s p ec if ic  f u n ctio n ality .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ce n a r io - d r iven   f a u lt in jectio n   fo r   r ea lis tic  b u g s   in   w eb   a p p lica tio n   test in g   ( A s r i Ma s p u p a h )   2021   T ab le  4 .     Su m m ar y   o f   J T lear n   p r o f ile   A sp e c t   D e scri p t i o n   A p p l i c a t i o n   d o m a i n   JTK   Le a r n   i a   d i s t a n c e   l e a r n i n g   p l a t f o r m fo r   h i g h e r   e d u c a t i o n   w i t h   t w o   ma i n   r o l e s,   n a me l y   st u d e n t a n d   t e a c h e r s.  Th i p l a t f o r m c o m b i n e s   l e a r n i n g   c o n t e n t   ma n a g e me n t   ( t e x t / v i d e o   mat e r i a l s a n d   q u i z z e s) ,   l e a r n i n g   a c t i v i t i e s ,   a n d   l e a r n i n g   p e r f o r m a n c e   t r a c k i n g   i n   o n e   i n t e g r a t e d   e n v i r o n m e n t .   A p p l i c a t i o n   S p e c i f i c a t i o n s   1 3   f e a t u r e s,  a n d   2 1   i n t e r f a c e a c r o ss a l l   f e a t u r e s .   Ta r g e t   f a u l t   sp e c i f i c a t i o n s   K e y   f e a t u r e s   t h a t   a r e   f r e q u e n t l y   a c c e s sed   b y   u sers  a n d   h a v e   c r i t i c a l   d a t a   t r a n sa c t i o n s w i t h   d a t a :   n i n e   f e a t u r e s   a n d   1 1   i n t e r f a c e s.  Th i d a t a   w a o b t a i n e d   t h r o u g h   t h e   o b s e r v a t i o n   o f   u ser  i n t e r a c t i o n   f l o w s,   ma p p e d   t o   H i g h e r - Ed u c a t i o n a l   E - l e a r n i n g   D e s i g n   P r i n c i p l e s.   K e y   F e a t u r e s   ( 1 )   u s e r   a u t h e n t i c a t i o n ,   ( 2 )   d a sh b o a r d   c o n t a i n i n g   a   l i st   o f   c o u r ses ,   ( 3 )   g e n e r a l   c o u r se  i n f o r ma t i o n ,   ( 4 )   c o u r s e   d e t a i l c o n t a i n i n g   l e a r n i n g   p r o g r e ss ,   a n d   n a v i g a t i o n   t o   t e x t / v i d e o   ma t e r i a l s   a n d   q u i z z e s,   ( 5 )   mat e r i a l   d i sp l a y ,   ( 6 )   q u i z   c o m p l e t i o n ,   ( 7 )   i n f o r ma t i o n   o n   c o u r ses  t h a t   h a v e   b e e n   t a k e n ,   ( 7 )   Q u i z   c o m p l e t i o n   h i st o r y ,   ( 8 )   Le a r n i n g   p r o g r e ss  mo n i t o r i n g   b y   i n s t r u c t o r s,  ( 9 )   Lo g g i n g   o u t   o f   t h e   a p p l i c a t i o n   A p p l i c a t i o n   A r c h i t e c t u r e   Th e   w e b - b a se d   a p p l i c a t i o n   i mp l e m e n t s c l i e n t - s e r v e r   a r c h i t e c t u r e ,   se p a r a t i n g   t h e   c o m p u t i n g   p r o c e ss e b e t w e e n   t h e   c l i e n t   a n d   s e r v e r .   T h e   c l i e n t - si d e   h a n d l e s i n t e r f a c e   r e n d e r i n g   a n d   u ser  i n t e r a c t i o n   i n   t h e   b r o w ser ,   w h i l e   t h e   serv e r - si d e   h a n d l e s   b u si n e ss l o g i c   a n d   d a t a b a s e   c o m mu n i c a t i o n .   D a t a   e x c h a n g e   b e t w e e n   t h e   t w o   si d e u s e s t h e   H TTP p r o t o c o l   a n d   a n   A P I ;   n a me l y ,   t h e   f r o n t e n d   ma k e s re q u e st s   t o   t h e   b a c k e n d   v i a   A P I   e n d p o i n t s ,   a n d   t h e   serv e r   r e t u r n s   r e s p o n ses   i n   JS O N   f o r mat .   JT K   L e a r n   t e c h n o l o g y   u ses   R e a c t JS   ( f r o n t e n d ) ,   N o d e . j s (b a c k e n d ) ,   a n d   P o st g r e S Q L.   A r t i f a c t s   1 3   r e q u i r e me n t s,  1 3   t e st   c a ses,   7 1   f r o n t e n d   s o u r c e   c o d e   f i l e s ,   4 6   b a c k e n d   s o u r c e   c o d e   f i l e s,   1 2 , 4 5 5   t o t a l   l i n e o f   c o d e ,   4 8   A P I   e n d p o i n t s,   a n d   1 7   d a t a   t a b l e s.   S o u r c e   C o d e   Th e   so u r c e   c o d e   i s s t o r e d   i n   a   g i t   r e p o si t o r y   c o n t a i n i n g   b o t h   t h e   o r i g i n a l   a n d   b u g g y   s o u r c e   c o d e .   T h e   g i t   r e p o si t o r y   a d d r e ss  i h t t p s: / / g i t h u b . c o m/ y u d a p e r ma n a j t k 0 7 / j t k - l e a r n .   * )   A c c e ss  t o   t h e   r e p o s i t o r y   c a n   b e   g r a n t e d   u p o n   r e q u e st   b y   c o n t a c t i n g   t h e   c o r r e sp o n d i n g   a u t h o r .       T ab le  5 .   E x p er im en tal  f au lt ta r g ets   D e si g n   P r i n c i p l e   JTK   Le a r n   A p p l i c a t i o n   B e h a v i o r   Ta r g e t   F a u l t   # B e h a v i o r   # F a u l t   B e h a v i o r   # Ta g e t   F a u l t   D P 1 ,   A c c e ss i b i l i t y   Le a r n i n g   c o n t e n t   t h a t   i a c c e ssi b l e   t o   st u d e n t s.   A c c e ss  i n c l u d e l o g g i n g   i n ,   v i e w i n g   c o u r se  l i s t s,   a n d   n a v i g a t i n g   t o   c o u r se  m a t e r i a l s,   q u i z z e s,  a n d   q u i z   r e su l t s .   N a v i g a t i o n   t o   p a g e l e a d i n g   t o   i n a p p r o p r i a t e   l o c a t i o n s   a n d   a c c e ss   t o   i n a p p r o p r i a t e   c o u r ses,   v i o l a t i o n o f   c o u r se  r e g i st r a t i o n   r u l e s ,   a n d   t h e   a v a i l a b i l i t y   o f   c o u r se   ma t e r i a l s   a n d   q u i z z e s.   5   2   3   D P 2 ,   P e r m a n e n t   P r o v i si o n   o f   Le a r n i n g   C o n t e n t   C o u r se  mat e r i a l a r e   a v a i l a b l e   w i t h o u t   t i me  r e st r i c t i o n s   i f   t h e   c o u r se  i s s u c c e ssf u l l y   r e g i s t e r e d .   A c c e ss   t o   l e a r n i n g   a ss e ssm e n t s i a v a i l a b l e   u n t i l   1 0 0 %   c o mp l e t i o n .   Th e   l e a r n i n g   e v a l u a t i o n   c o m p l e t i o n   p e r i o d   i s l e ss  t h a n   8 0 .   2   1   1   D P 3 ,   I n t e r a c t i v e   Ta sk s   C o u r se  c o n t e n t   i p r e s e n t e d   i n t e r a c t i v e l y ,   mea n i n g   t h a t   c o u r s e   mat e r i a l   c a n   b e   v i e w e d   a n d   d o w n l o a d e d ,   l e a r n i n g   a ssessm e n t a r e   a v a i l a b l e ,   a n d   l e a r n i n g   p r o g r e ss r e v i e w ( l e a r n i n g   a c h i e v e m e n t s)   a r e   p r o v i d e d .   I n a p p r o p r i a t e   i n t e r a c t i v e   a c t i o n s ,   su c h   a q u i z   su b mi ssi o n s ,   a n sw e r   e v a l u a t i o n s ,   e v a l u a t i o n   r e s u l t s,  p a ss i n g   s c o r e s,  a n d   t h e   c o mp u t a t i o n   o f   l e a r n i n g   e v a l u a t i o n s.   8   7   9   D P 4 ,   C l e a r   S t r u c t u r e ,   a n d   si mp l e   n a v i g a t i o n   F e a t u r e s r e l a t e d   t o   i n f o r mat i o n   st r u c t u r e   a r e   p r e se n t e d   t h r o u g h   si mp l e   c o u r s e / l e a r n i n g   o u t c o me   n a v i g a t i o n   a n d   se a r c h   f o r   l e a r n i n g   e v a l u a t i o n   r e su l t s   i n   q u i z   h i s t o r y .   I n c o r r e c t   sp e l l i n g   a n d   i n a c c u r a t e   i n f o r mat i o n   sea r c h .   2   2   2   D P 5 ,   En t e r p r i c e   S y st e R e l a t e d   a sp e c t   Th e   a p p l i c a t i o n   p r o v i d e s   l e a r n i n g   c o n t e n t ,   i n c l u d i n g   c o u r se  i d e n t i t y   a n d   c o u r se  c o n t e n t   ( m a t e r i a l a n d   q u i z z e s) .   I f   t h e   d a t a   d o e s   n o t   e x i st ,   i t   i n f o r ms t h e   u ser.   Er r o r s a r e   i n ser t e d   i n t o   t h e   l e a r n i n g   c o n t e n t   i n f o r ma t i o n ,   i n c l u d i n g   i n f o r mat i o n   mess a g e s.   5   4   10   D P 6 ,   M u l t i me d i a   Th e   c o n t e n t   c o n si s t o f   v i d e o a n d   P D F s,  w h i l e   t h e   e v a l u a t i o n   c o n si s t o f   m u l t i p l e   c h o i c e   a n d   sh o r t   a n sw e r   q u e s t i o n g r a d e d   a u t o m a t i c a l l y .   Th e   mu l t i me d i a   a sp e c t   i n o t   a p p r o p r i a t e ,   a s t h e   v i d e o   c a n n o t   b e   p l a y e d   a n d   t h e   P D F   c a n n o t   b e   o p e n e d .   2   1   2   D P 8 ,   Tr a c k   o f   C o u r se  P r o g r e ss   Le a r n i n g   p r o g r e ss  i n   t h e   f o r o f   a c h i e v e me n t   p r e s e n t a t i o n s,  c o m p l e t i o n   i n d i c a t o r s fo r   mat e r i a l s/ q u i z z e s ,   a n d   m o n i t o r i n g   o f   t h e   c o m p l e t i o n   s t a t u s   o f   e a c h   c o u r se  c o n t e n t .   Er r o r s wer e   i n t r o d u c e d   i n t o   t h e   l e a r n i n g   a c h i e v e m e n t   l o g i c   p r o c e ss ,   i n c l u d i n g   l e a r n i n g   p e r c e n t a g e ,   e v a l u a t i o n   c o m p l e t i o n   i n d i c a t o r s,   mat e r i a l / q u i z   t r a c k i n g   st a t u s,  a n d   t h e   d i s p l a y   o r d e r   o f   l e a r n i n g   p r o g r e ss   t r a c k i n g .   4   3   7     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 1 4 - 20 30   2022   4 . 3 .     De m o ns t ra t io n o f   t he  S DF I   m o del w o rk f lo w   Fig u r es  2   an d   3   illu s tr ate  th ex ec u tio n   o f   t h f a u lt  in s er tio n   s tag in   t h SDFI  m o d el  f o r   test   ca s e   TC - FR 0 6 - 0 8 "Ve r if icatio n   o f   co u r s r eg is tr atio n   o p er atio n   f ails   b ec au s th co u r s o n l y   h as  q u iz  b u n o   co u r s co n te n t."   T h in jectio n   p r o ce s s   b eg in s   with   p r ep ar in g   f au lt  s ce n ar i o s   u s in g   test - ca s e - b ased   o p e r a tio n al  f au lt  lo ca lizatio n   p r o ce s s .   E ac h   test   ca s e   is   an aly ze d   to   id en ti f y   p o ten tial  d ev iatio n s   f r o m   e - lear n in g   d esig n   p r in cip les  th at  r ep r esen ex p e cted   s y s tem   b eh av io r .   d ev i atio n   o cc u r s   wh e n   th test   ca s f ails   to   m ee th test   ca s o b jectiv ( 1 )   o f   th e   ex p ec ted   r esu lt   ( 2 ) .   Fig u r 2   s h o ws  th e   f ailu r o f   test   c ase  T C - FR 0 6 - 0 8   to   v io late  DP1   ( Acc ess ib ilit y ) ,   n am ely   th a b ilit y   to   r eg is ter   f o r   c o u r s wh en   th co u r s o n ly   h as  q u iz  with o u m ater ial  co n ten t,  s o   t h at  o n e   o f   t h b e h av io r s   o f   D P1   ( 3 )   is   n o f u lf illed .   T h is   co n d itio n   is   d e f in ed   as   Fau lt - 7   ( 4 ) ,   wh ic h   ca n   b p r o p ag ated   f r o m   th test   ca s ex ec u tio n   f lo th r o u g h   p r o g r am   c o d in f ec tio n   in   th e   co u r s r eg is tr atio n   v alid atio n   o p er atio n   with   f a u lt  lo g ic  an o m aly   ( 5 ) ,   n am ely   p r o g r am   lo g ic  er r o r   c au s in g   th ex ec u tio n   f lo to   d ev iate  f r o m   th e x p ec ted   f u n ctio n ality .           Fig u r 2 .   E x am p le  in p u t : T C - FR 0 6 - 0 8   ( m a p p in g   f ailin g   test   ca s to   tar g et  f au lt)           Fig u r 3 .   E x am p le  e x ec u tio n   o f   th SDFI  wo r k f lo s tep s   in   f au lt - 7   in jectio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ce n a r io - d r iven   f a u lt in jectio n   fo r   r ea lis tic  b u g s   in   w eb   a p p lica tio n   test in g   ( A s r i Ma s p u p a h )   2023   T h n ex s tep   is   to   d esig n   f au lt  in jectio n   th at  id en tifie s   m u tatio n s   at  th in jectio n   lo ca tio n   b ased   o n   f au lt  in jectio n   p atter n s ,   T ab l 1 .   C o d e x p lo r atio n   is   p e r f o r m e d   o n   th c o u r s r e g is tr atio n   v alid atio n   ex ec u tio n   p ath .   B ased   o n   t h J T L ea r n   clien t - s er v er   ar ch itectu r e,   th co u r s co n ten co m p leten ess   v alid atio n   p r o ce s s   is   o n   th b ac k   en d   b ec a u s th v alid atio n   lo g ic  d ep e n d s   o n   th c o u r s e   co n ten d ata  in   th e   d atab ase.   T h er ef o r e,   co d tr ac in g   was  p er f o r m e d   o n   th M y   C o u r s Ov er v iew  m o d u le,   wh ich   im p lem en ts   th lo g ic  f o r   ch ec k in g   wh eth e r   m ater ials   an d   q u izze s   ex is in   a   co u r s e.   T h co d e   tr ac in g   r esu lts   s h o wed   th at  th e   im p lem en tatio n   was  in   th p a r ticip an tC o n tr o ller . js   f ile  ( 6 ) ,   wh ile  th C o u r s eOv er v iewPag e. js   f ile  tr ig g e r ed   th co u r s r eg is tr atio n   r eq u e s t.  T h en ,   co d t r ac in g   c o n ti n u ed   with   co d ch a n g an al y s is .   B ased   o n   th v alid atio n   lo g ic  s tr u ctu r e,   t h e   m o s r elev a n m u tatio n   p atter n   is   Mu tate   Op er ato r s   ( 7 ) ,   wh ich   m o d if ies  th e   B o o lean   o p e r ato r   in   th e   ch e ck   co n d itio n .   T h is   ch a n g c au s es  th ex ec u tio n   f lo w   to   ig n o r in co m p lete   m ater ials   o r   q u izze s ,   s o   th e   p r o g r am   d o es   n o t   en ter   th e   er r o r - h an d li n g   m ec h an is m .   T h is   r esu lts   in   m u tan t   ( 8 )   b eh av io r   th at  is   co n s is ten t w ith   th d ef i n itio n   o f   Fau lt - 7.   E ac h   f au lt  in jectio n   d esig n   i s   im p lem en ted   b y   m o d if y in g   p r o g r am   co d to   cr ea te  p r o p ag atin g   m u tan ts .   Fo r   ex am p le,   th i m p lem en tatio n   o f   Fau lt - 7   i n jectio n   in   Fig u r 3   p r o d u ce s   Mu tan t - 6   ( 8 ) .   All   m u tan ts   ar s to r ed   in   b u g g y   v er s io n   r ep o s ito r y ,   wh ich   is   th o r ig in al  p r o g r am   v e r s io n   th at  h as  b ee n   m o d if ied   to   co n tain   co n tr o lle d   f au lts .   T h o v er all  im p lem en tatio n   p r o d u ce s   2 9   m u tan ts   th at  ca u s 5 3   tes t   ca s es  to   f ail,   in   lin with   th ex p ec ted   b e h av io r   o f   3 4   f a u lts   as  s h o wn   in   T ab le  6   in   Ap p en d ix .   Deta iled   ex p lan atio n s   o f   th ex p er im en tal  r esu lts   ar av ailab le  in   th b u g g y   r ep o s ito r y   b r an ch .   T h is   d if f er en ce   d ir ec tly   r esu lts   f r o m   SDFI' s   s ce n ar io - d r iv e n   d esig n .   As  s h o wn   in   T ab le   6 ,   s ev er al   m u tan ts   ( e. g . ,   Mu tan t - 5 ,   Mu tan t - 9 ,   Mu tan t - 1 2 ,   Mu tan t - 1 6 ,   a n d   Mu tan t - 2 8 )   co r r esp o n d   to   m u ltip le  f au lts   d u to   v ar iatio n s   in   e x ec u tio n   p at h s   an d   f u n cti o n al  c o n d itio n s   t r ig g er ed   b y   th e   test   ca s es.  B y   in jectin g   m u tatio n s   at  b eh av io r ally   r ele v an c o d lo ca tio n s ,   s in g le   m u tan t   ca n   p r o p ag ate  ac r o s s   m u ltip le  f u n ctio n al  s ce n ar io s ,   y ield in g   d is tin ct  f au lt  m an i f e s tatio n s .   C o n s eq u en tly ,   th e   n u m b er   o f   i d en tifie d   f au lts   ex c ee d s   th n u m b er   o f   g en er ated   m u tan ts .   T ab le  6   s h o ws  th e   s y s tem atic  r elatio n s h ip   b etwe en   f au lt s ,   m u tan ts ,   a n d   test   ca s es  i n   cr itical  f u n ctio n ality .   E ac h   f a u lt  d er iv ed   f r o m   f u n ctio n al  s p ec if icati o n s   is   m u tated   at  tar g ete d   in j ec tio n   lo ca tio n s ,   s o   th at  th b u g   d ataset  c o n tain s   m u tan ts   e v alu ated   th r o u g h   t h ex ec u tio n   p ath   o f   th e   r el ated   test   ca s e.   T h ex p er im en tal  r esu lts   s h o th at  o n f au lt  g en er ally   p r o d u ce s   o n m u tan t,  b u m u tatio n s   at  th s am co d p o in t   ca n   ca u s d if f er e n f au lts   d e p en d in g   o n   th d ata  an d   e x e cu tio n   p ath   o f   th test   ca s e,   n am ely   Mu tan t - ( ca u s in g   Fau lt - 4 ,   Fau lt - 6 ,   a n d   Fau lt - 1 1 ) ,   M u tan t - 9   ( ca u s i n g   Fau lt - 1 0   a n d   Fau lt - 1 3 ) ,   Mu tan t - 1 2   ( ca u s in g   Fau lt - 1 2   an d   Fau lt - 1 6 ) ,   M u ta n t - 1 6   ( ca u s in g   Fau lt - 1 9   an d   Fau lt - 2 1 ) ,   a n d   M u tan t - 2 8   ( ca u s in g   Fau lt - 3 2   an d   Fau lt - 3 3 ) .   T h is   co n d itio n   ca u s es sev er al  test   ca s es to   f ail  wh en   tr ig g er e d   b y   th s am o r   d if f er en t m u ta n ts .   B ased   o n   th e   ty p o f   m u tatio n   p e r f o r m ed ,   T ab le   5   s h o ws  th at  2 4   m u ta n ts   ( 8 5 . 7 1 %)   f al in to   t h Sin g le  Mu tatio n   ( FOM)   ca te g o r y ,   wh ile  4   m u tan ts   ( 1 4 . 2 9 %)  ar m u ltil in m u tatio n s   ( HOM ) .   Gen er ate d   HOM s   ar class if ied   as  wea k ly   s u b s u m in g   an d   c o u p led ,   d e f in ed   b y   | T h |   | T i| ,   wh er T   is   th s et  o f   all   test   ca s es,  T k ills   FOM,   an d   T h   k ills   HOM .   Ov er lap   b etwe en   T h   an d   T o cc u r s   in   1 4 . 2 9 o f   m u tan ts ,   in d icatin g   HOM s   ar g en er all y   h a r d er   to   k ill.  Ho we v er ,   test   ca s es  th at  k ill  HOM   d o   n o alwa y s   co v e r   th o s e   th at  k ill   all  FOM.   I n   ad d itio n ,   test   ca s f ailu r es  ca n   b ca u s ed   b y   o n o r   m o r e   f au lts .   T h is   is   b ec au s f u n cti o n al  b ased   test   ca s es  wil test   th ex p ec ted   r esu lt  ( 2 ) ,   wh ich   ca n   ca ll m a n y   in ter n al  f u n ctio n s   d e p en d in g   o n   th v alid atio n   co n d itio n s   a n d   t h in v o lv em e n o f   ar ch itectu r al   co m p o n e n ts .   Me an wh ile,   s o m e   test   ca s es  ca n   d etec th e   s am e   f au lt  d u to   lo g ic  d ep en d en cie s   an d   d ata  f lo b etwe en   f ea tu r es.  Mu tan ts   ar s p r ea d   ac r o s s   th f r o n en d   an d   b ac k   en d   co d e ,   wh ile  d atab a s f au lts   o cc u r   in   d ata  in ter a ctio n s   b etwe en   th b ac k   en d   an d   th d atab ase   m an ag em en t sy s tem .   T h d is tr ib u tio n   o f   in jectio n   lo ca tio n s   a n d   f au lt  p atter n s   is   s h o wn   in   F ig u r 4 .   Fig u r 4 ( a)   p r esen ts   th e   d is tr ib u tio n   o f   f au lt   ty p es  b ased   o n   th we b   f a u lt  tax o n o m y ,   w h e r p r o g r a m   an o m aly   a n d   GUI   f au lts   d o m in ate,   in d icatin g   th at  er r o r s   m ain ly   o cc u r   at  t h f u n ctio n al  lo g ic  an d   u s er   in ter f ac lev els  i n   r ea lis tic  w eb   ap p licatio n   s ce n ar i o s .   Dat ab ase - r elate d   f a u lts   f u r t h er   h i g h lig h t h s tr o n g   r elatio n s h ip   b etwe en   f u n ctio n al  s ce n ar io s   an d   d ata  p r o ce s s in g   o p e r atio n s ,   wh ile  less   f r e q u en f a u lts   ( e. g . ,   m ed ia,   er r o r   h a n d lin g ,   an d   n av ig atio n   s tr u ctu r f au lts )   r ef lect   th d iv er s ity   o f   in jecte d   er r o r s .   On   th o th e r   h an d ,   Fig u r 4 ( b )   s h o ws  th d is tr ib u tio n   o f   f au lt  in jectio n   p atter n s ,   wh e r s tr in g   liter al  m o d if icatio n s   an d   r elatio n al  o p er ato r   ch a n g es  ar th m o s p r ev alen t,  in d icatin g   th at  m an y   m u tatio n s   af f ec t   lo g ical  co n d itio n s   an d   ex ec u tio n   f lo w.   Oth er   p atter n s ,   wi th   lo wer   f r eq u e n cy ,   r ep r esen v ar iatio n s   at  th im p lem en tatio n   le v el,   in clu d in g   m eth o d   ca lls ,   c o n d itio n al  s tr u ctu r es,  an d   in ter f ac o r   d ata b ase - r elate d   elem en ts .   Ov er all,   th ese  d is tr ib u tio n s   in d icate   th at  th g en er ated   m u tan ts   co v er   d iv e r s f au lt  ty p es  an d   im p lem en tatio n   p atter n s   d er iv ed   f r o m   th d e f in ed   f u n ctio n al  s ce n ar io s .   E ac h   m u tan was  ev alu ated   u s in g   th R I m o d el  as  s h o wn   in   T ab le  3   to   ass es s   r ea ch ab ilit y ,   in f ec tio n ,   an d   p r o p ag atio n .   T a b le  7   s h o ws  th at  2 6   o f   2 9   m u t an ts   wer k illed ,   wh ile  th r ee   m u tan ts   ( Mu tan t - 1 6 ,   Mu tan t - 1 7 ,   a n d   Mu tan t - 2 1 )   in   th FR - 0 9   Acc ess   Qu izz es  f ea tu r d id   n o p r o p a g ate ,   r esu ltin g   in   f o u r   u n d etec ted   f a u lts   o u o f   3 4 .   T h FDR   is   an aly ze d   f r o m   t wo   p er s p ec tiv es.  First,  th f a u lt - b ased   FDR ,   as   d ef in ed   i n   ( 1 ) ,   is   8 8 . 2 4 %,  in d icatin g   h i g h   d etec tio n   r ate   f o r   tar g et  f au lts .   Seco n d ,   f r o m   m u tan t - b ased   Evaluation Warning : The document was created with Spire.PDF for Python.