I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 7 ,   No .   2 ,  Feb r u ar y   20 2 5 ,   p p .   1 1 30 ~ 1 13 9   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 3 7 . i 2 . pp 1 1 30 - 1 13 9           1130     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   An eva lua tion mo del of w ebsite  t es t ing  f ra mewo rk  ba sed  o n ISO  2 5 0 1 0  perf o rma nce efficien cy       Dia s   T ri  K urn ia s a ri ,  Siti  Ro chim a h   D e p a r t me n t   o f   I n f o r m a t i c s,   I n st i t u t   T e k n o l o g i   S e p u l u h   N o p e m b e r ,   S u r a b a y a ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   J ul   10 ,   2 0 2 4   R ev is ed   Sep   21 ,  2 0 2 4   Acc ep ted   Sep   30 ,   2 0 2 4       Tes ti n g   is  a n   imp o rta n t  a sp e c t  o f   so ftwa re   d e v e lo p m e n t .   Au t o m a ti o n   tes ti n g   is  n o w  wid e l y   u se d   to   a c h iev e   b e tt e r  a n d   m o re   e fficie n t  re su l ts.  Va rio u s   a u to m a ti o n   tes ti n g   fra m e wo rk s  a r e   a v a il a b le  in   th e   m a rk e t.   H o we v e r,   o n e   o f   th e   m a jo r  c h a ll e n g e s  is   d e term in i n g   w h ich   a u to m a ti o n   tes ti n g   fra m e wo rk   is   su it a b le  f o r  tes ti n g .   Th is   stu d y   p r o p o se s  a n   e v a l u a ti o n   m o d e l   fo r   e v a lu a ti n g   we b   a u to m a ti o n   tes ti n g   fra m e wo rk s  b a se d   o n   se v e n   p e rfo rm a n c e   e fficie n c y   fa c to rs  to   a d d re ss   th is  issu e .   Th e   m o d e l  e v a lu a tes   fi v e   ty p e s  o f  t r a n sa c ti o n s   c o m m o n ly   u se d   o n   t h e   we b ;  CR UD ,   G e t  M a ss iv e   D a ta,  se a r c h ,   fil e   u p lo a d ,   a n d   fil e   d o w n lo a d .   In   a d d it i o n ,   th e   tes ted   fra m e wo rk s  a re   c a teg o rize d   a s  g o o d ,   m e d i u m ,   a n d   lo w .   To   m e a su re   th e   su c c e ss   o f  th e   re se a rc h ,   e x p e rt   we ig h ti n g   wa s  a lso   u se d .   Ba se d   o n   th e   re su lt s  o b tain e d   fo r   a ll   ty p e s  o f   tran sa c ti o n s,   a lmo st  a ll   c las sifica ti o n s   b e twe e n   th e   e x p e rime n tal   r e su lt s  a n d   we ig h ti n g   we re   in   t h e   sa m e   c la ss .   Alth o u g h   th e   m o d e l  wa s  fo u n d   to   b e   e ffe c ti v e   with   a   1 0 0 %   a c c u ra c y   ra te,  it   h a d   a n   a c c u ra c y   ra te  o f  8 0 %   fo r   u p l o a d   tran sa c ti o n s.  Th e   o u tco m e s o f  th is stu d y   se rv e   a s a   v a lu a b le refe re n c e   fo r  c h o o sin g   su it a b le so ftwa re   fo r   b o th   tes ted   fra m e wo rk s a n d   o th e r  so ftwa re   a p p li c a ti o n s.  I n   fu t u re   stu d ies   fo c u s  o n   n a rro wi n g   th e   se lec ti o n   b a s e d   o n   n o t   o n l y   p e rf o rm a n c e   b u t   a lso   f u n c ti o n a li ty   a n d   e a se   o f  u se .   K ey w o r d s :   Fra m ewo r k   I SO 2 5 0 1 0   Mo d el  ev alu atio n   Per f o r m an ce   e f f icien cy   W eb   test in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sit i Ro ch im ah   Dep ar tm en t o f   I n f o r m atics,  I n s titu t T ek n o lo g i Sep u l u h   No p em b er   Su r ab ay a,   I n d o n esia    E m ail: sit i @ its . ac . id       1.   I NT RO D UCT I O N   So f twar e  test in g   is   an   ess en ti al  p ar t  o f   s o f twar e  d ev elo p m en t  o r   SDLC  [ 1 ] .  SDLC  is   a  s o f twar e  d ev elo p m e n t  f lo w  co n s is tin g   o f   p r o d u ct  d esig n ,   d ev elo p m en t,  an d   test in g   p r o d u cts   [ 2 ] .   So f twar e  test in g   d etec ts   d ef ec ts   in   ap p licatio n s   [ 3 ] .   I n   ad d itio n ,   s o f twar e  test in g   attem p ts   to   en s u r e  th at  th e  d ev elo p e d   s o f twar e  m ee ts   r eq u ir em e n ts   an d   s p ec if icatio n s .   A  h i g h - q u ality   p r o d u ct  is   o n e   asp ec t o f   a  s o f twar e   p r o ject  [ 4 ] .   Var io u s   t y p e s   o f   s o f t w a r e   t e s t i n g   e x i s t ,   i n c l u d i n g   f u n c t i o n a l   s u i t a b i l i t y ,   p e r f o r m a n c e   e f f i c i e n c y ,   s e c u r i t y ,   a n d   u s a b i l i t y   [ 5 ] .   T wo   m eth o d s   ca n   b e  u s ed   f o r   s o f twar e  test in g :  m an u al  an d   au to m ated   [ 6 ] .   Ma n u al  test in g   is   s u itab le  f o r   test in g   co m p lex   test   ca s es;  h o wev er ,   an   a u to m ated   test in g   f r am ewo r k   s im p lifie s   an d   s p ee d s   th e   test in g   p r o ce s s   [ 7 ] .   Fra m ew o r k s   ar e  g u id elin es u s ed   to   h el p   s o f twar e  ex ec u te  s p ec if ic  co m m an d s   [ 8 ] .    On e  o f   th e  c h allen g es  in   a u t o m atio n   test in g   is   th at  m an y   to o ls   ex is t  to d ay .   Var i o u s   to o ls   cr ea te  co n f u s io n   f o r   o r d in ar y   p eo p le   wh en   s elec tin g   s u itab le   to o ls .   I n   ad d itio n ,   n o t  all  to o ls   ar e  id ea l  f o r   ea ch   web   tr an s ac tio n   an d   test in g   g o al.   T h er ef o r e ,   p r ev io u s   s tu d ies  h a v e  u s ed   v ar io u s   s o f twar e  test in g   to o ls   to   o b tain   th e  b est  s o f twar e  p er f o r m an ce .   Pre v io u s   s tu d ies  h av e   u s ed   v a r io u s   s o f twar e  test in g   to o ls   i n   s o f twar e  test in g :   Selen iu m ,   Kata lo n ,   an d   T eler i k   T est   [ 9 ] ,   [ 1 0 ] .   So f twar e  test in g   is   p er f o r m ed   b y   m ea s u r in g   th e  p er f o r m an c e  o f   th e  s o f twar e  test in g   to o ls .   R esear ch   r elate d   to   co m p ar i n g   test in g   f r am ewo r k s   th at  f o cu s   o n   s o f twar e  p er f o r m an ce   ef f icien cy   is   r ar e.   Similar   to   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         A n   ev a lu a tio n   mo d el  o f web s ite  test in g   fr a mewo r k  b a s ed   o n   I S O  2 5 0 1 0   …  ( Dia s   Tr i Ku r n i a s a r i )   1131   r esear ch   co n d u cted   b y   Yu n ias r i  et  a l.   [ 1 1 ] ,   p er f o r m an ce   m e asu r em en t  is   a  m aj o r   c o n s id er atio n   in   m ax im izin g   th e  test   au to m atio n   f u n ctio n .   Oth er   r esear ch   co n d u cted   b y   T h o o r i q o h   et  a l.   [ 1 2 ]   is   also   r elate d   to   p er f o r m a n ce   ef f icien cy   b y   f o cu s in g   o n   r eso u r ce   u tili za tio n   an d   u s in g   th e  weig h t  co ef f icie n t  b y   ex p er t  j u d g m e n t.  Ho wev e r ,   th e  two   s tu d ies  h av e  th eir   r esp ec tiv e  wea k n ess es,  n am ely ,   th e  r esear ch   b y   Yu n iasri  et  a l.   [ 1 1 ]   o n ly   co m p a r e d   two   f r am ewo r k s ,   a n d   t h er e  was  n o   v alid ati o n   b y   ex p er ts .   Me an wh ile,   r esear ch   b y   T h o o r iq o h   et   a l.   [ 1 2 ]   s u cc ee d ed   in   im p r o v in g   p r e v io u s   r esear ch   b u t  o n l y   f o cu s ed   o n   r eso u r ce   u tili za tio n .   I n   p er f o r m a n ce   ef f ici en cy ,   th e r e  ar e  two   o th er   im p o r tan t a s p ec ts ,   n am ely ,   ti m e  b eh av i o r   an d   ca p ac ity .   B ased   o n   v a r io u s   s tu d ies,  v ar io u s   f r am ewo r k s   f o r   a u to m at ed   test in g   ar e   ef f ec tiv e.   T h e  ad v an tag es   an d   d is ad v an tag es  o f   s o m e   p r ev io u s ly   m en tio n e d   s tu d ies  ca n   b e   co m b in ed   to   f ac i litate  n ew  r esear ch   in t o   s elec tin g   s o f twar e  test in g   f r am ewo r k s .   T h is   is   b ec au s e  ea ch   s o f twar e  o r   test in g   g o al  r eq u ir es  a  s u itab le   f r am ewo r k   to   o b tain   s atis f ac to r y   r esu lts .   I n   ad d itio n ,   p r ev i o u s   s tu d ies  s ti ll  u s ed   o n e  test i n g   to o l  an d   d i d   n o t  co m p ar e   th e  p e r f o r m an ce   o f   t h e  s o f twar e  t o o ls .   T h e r ef o r e,   th is   r esear ch   p r o p o s es  an   ass ess m en t  m o d el  f o r   web - b ased   s o f twar e  q u ality   te s tin g   f r am ewo r k s .   T h e  f r am e wo r k   is   r ec o m m en d ed   b ased   o n   th e  ca lcu latio n   o f   s ev er al  f ac to r s   r elate d   t o   th r ee   asp ec ts   o f   p er f o r m a n ce   e f f ic ien cy ,   in   ac co r d an ce   wit h   I SO/IE C   2 5 0 1 0   s tan d ar d izatio n .   I n   a d d itio n   to   u s in g   th e   ca lcu latio n   r esu lts   f r o m   test in g ,   t h is   s tu d y   u s es  th e  weig h t  co e f f icien t   to   ev alu ate  th e  test in g   f r am ew o r k .   T h e  co e f f icien t  is   o b tain e d   f r o m   th e  ass ess m en t  o f   th e  s ca le  o f   im p o r tan ce   b y   ex p er ts   an d   is   u s ed   as  th e  b asis   f o r   ca lcu latin g   th e  ass e s s m en t.  L ater ,   th e  ass e s s m en t  m o d el  ca n   b e  u s ed   f o r   v ar io u s   we b s ite  test in g   f r a m ewo r k s ,   alth o u g h   it  was  n o t  u s ed   in   th is   s tu d y .   T h is   r ese ar ch   is   ex p ec ted   to   s er v e  as a   r ef er en ce   o r   c o n s id e r atio n   f o r   d ev el o p er s   wh en   d et er m in in g   a  f r am ewo r k   th at  s u i ts   th eir   n ee d s .   T h e  f o llo win g   s ec tio n   will  ex p lain   th is   f u r th er .   Sectio n   2   d escr ib es  th e  liter atu r e  r ev iew.   Sectio n   3   p r esen ts   th e  p r o p o s ed   m eth o d o lo g y   f o r   class if y in g   th e   q u ali ty   o f   web - b ased   s o f twar e .   Sec tio n   4   d escr ib es   th e   class if icatio n   r esu lts   o b tain ed   u s in g   th e  p r o p o s ed   m eth o d .   S ec tio n   5   p r esen ts   th e  co n clu s io n s   o f   th e  an aly s is .         2.   RE L AT E D  WO RK   So f twar e  d ev elo p m en t,  w h eth er   ap p licatio n   p r o g r am i n g   i n ter f ac e   ( API ) ,   web s ite,   o r   m o b ile,   is   in s ep ar ab le  f r o m   o n e  o f   th e  c r itical  s tag es,  test in g .   So f twar e  test in g   h as  b ec o m e  a  p o p u lar   r esear ch   to p ic  in   m an y   s o f twar e   f ield s ,   i n clu d i n g   web s ites .   W eb s ite - b ased   s o f twar e  test in g   h as  b ee n   ex te n s iv ely   co n d u cted   in   v ar io u s   s tu d ies  [ 1 3 ] ,   [ 1 4 ] .   Ma zh ar   et   a l.   [ 1 5 ]   an al y ze d   an d   co m p ar ed   th e   p er f o r m a n ce   o f   s ev er al  web - b ased   ap p licatio n s .   T h is   s tu d y   s u cc ess f u lly   id en tifie d   co m p o n en ts   th at  ca n   b e  u s ed   to   im p r o v e  web s ite  p er f o r m an ce .   Ho wev er ,   th er e   was  n o   c o m p ar is o n   with   o th er   au t o m atio n   to o ls   u s ed   in   th is   s tu d y ,   w h ich   lim ited   th e  ab ilit y   to   ass ess   th e  ef f ec tiv en ess   an d   ef f icien cy   o f   th e  m eth o d s .   So f twar e  test in g   g en er ally   in v o lv es  au to m atio n   test in g .   T h i s   is   ac h iev ed   b ec au s e  it  tak es   less   tim e,   in cu r s   lo wer   co s ts ,   an d   id e n tifie s   a  m o r e  d iv er s e  r a n g e   o f   er r o r s .   Var i o u s   to o ls ,   s u ch   as  Po s tm an ,   Kata lo n ,   J Me ter ,   an d   Selen iu m ,   ca n   b e  u s ed   f o r   au to m atio n   test in g .   Var io u s   au to m atio n   test in g   to o ls   h av e  b ec o m e   in ter esti n g   r esear ch   to p ics  [ 1 6 ] ,   [ 1 7 ] .   B ah awe r es  et  a l.   [ 1 8 ]   a p p lied   a  m eth o d   f o r   au to m atio n   o f   g r ap h ical  u s er   in ter f ac e  ( GUI )   test in g   o n   th e   C UR A  an d   Swag   L ab s   web   ap p licatio n s .   T h e   b eh a v io r al - d r iv en   d ev elo p m en t   ( B DD)   tech n iq u e  was  u s ed ,   an d   r u n n in g   was  p er f o r m e d   u s in g   th e  Kata lo n   s tu d io .   T h is   s tu d y   o b tain ed   p r o m is in g   r esu lts ,   a n d   alm o s t  all  test   ca s es  wer e  s u cc ess f u ll y   ex ec u te d .   Ho we v er ,   n o   o th e r   m eth o d   was  u s ed   f o r   co m p ar is o n   i n   th is   s tu d y ,   a n d   n o   ex p e r t a s s ess m en ts   wer e   co n d u cted .   T h e  ex is ten ce   o f   v a r io u s   to o ls   th at  ca n   b e  u s ed   t o d ay   is   o n e  o f   th e  r esear ch   to p ics,  n am ely   co m p a r ativ e   s tu d ies  [ 1 9 ] ,   [ 2 0 ] .   Ho wev er ,   u s in g   m u ltip le  to o ls   ca n   co n f u s e  o r d i n ar y   p eo p le  wh en   s elec tin g   s u itab le  to o ls .   On e  way   to   o v er co m e  th ese  r esu lts   i s   to   b u il d   a  r ec o m m en d atio n   m o d el.   Var io u s   s tu d ies  h av e  d is cu s s ed   th is   is s u e,   s u ch   as  T h o o r i q o h   et  a l.   [ 1 2 ] .   w h ich   cr ea tes  a  r ec o m m en d atio n   m o d el  f o r   API   test in g   to o ls   b ased   o n   r eso u r ce   u s e  p er f o r m an ce .   T h is   s tu d y   s u c ce ed ed   in   class if y in g   th e  to o ls   ac co r d in g   t o   th e   ex p er ts ’   e x p ec tatio n s .   H o wev er ,   th e   s co p e   o f   tr an s ac tio n s   i n   th is   s tu d y   is   m i n im al,   a n d   it  m ay   n o t   p er f ec tly   co v er   th e  f u n ctio n ality   an d   s ce n ar io s   o f   th e   r ea l w o r ld .   On e  o f   th e  im p o r tan t  f ac to r s   th at  af f ec t  th e  s elec tio n   o f   au to m atio n   to o ls   is   th eir   p er f o r m an ce .   Ho wev er ,   th er e  ar e  f ew  s tu d ies  th at  f o cu s   o n   test in g   th e  p er f o r m an ce   o f   to o ls .   A  s tu d y   o n   p er f o r m an ce   ef f icien cy   was  co n d u cte d   b y   Yu n iasri  et  a l .  [ 1 1 ] .   T h is   s tu d y   co m p a r es  th e  p er f o r m an ce s   o f   two   au to m ated   test s :  cu cu m b er   an d   m o ch a.   Fi f ty   test   ca s es  o f   th e  Pre s tash o p   web   co n te n t  m an ag e m en t  s y s tem   wer e  test ed   in   th is   s tu d y .   T h is   r esear ch   s h o ws  p o s itiv e  r esu lts   o r   s u cc ee d s   in   id en tify in g   m o r e   ef f ici en t  to o ls ,   n am ely   cu cu m b er .   T h is   ty p e  o f   r esear ch   s h o u ld   b e  co n d u cted   u s in g   m o r e  to o ls   to   b r o ad e n   th e  co v er ag e  b e y o n d   ju s t  co m p ar in g   th e  two   to o ls .     B ased   o n   v ar io u s   s tu d ies,  v ar io u s   f r am ewo r k s   f o r   a u to m ated   test in g   ar e  ef f ec tiv e.   Ho wev er ,   s elec tin g   is   r ar ely   a  s ig n if ican t  to p ic  in   r esear c h   an d   i n d u s tr y .   E v er y   a p p licatio n   o r   test in g   g o al  r e q u ir es  a   s u itab le  f r am ewo r k   t o   o b tain   s atis f ac to r y   r esu lts .   T h er ef o r e,   th is   r esear c h   p r o p o s es  a  test in g   f r am ewo r k   r ec o m m en d atio n   m o d el  b ase d   o n   p er f o r m an ce   ef f icien cy   f o r   web s ites .   T h e  ex is ten ce   o f   th is   r esear ch   ar e   ex p ec ted   to   s er v e  as a   r ef er e n c e  f o r   d eter m in in g   s u itab le  test in g   f r a m ewo r k s   to   b e  u s ed   as n ee d ed .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 1 30 - 1 13 9   1132   3.   M E T H O D     T h is   ch ap ter   d escr ib es  th e  s ta g es  o f   th e  r esear ch .   T h e  r ec o m m en d atio n   m o d el  s h o u ld   u n d er g o   t h r ee   m ain   s tag es:  ex p lo r ato r y   s tu d y ,   d ata  c o llectio n ,   a n d   d ev elo p m en t  m o d el  ev al u atio n .   T h e  s tag es  o f   d ev elo p in g   th e  web   test in g   f r am ewo r k   e v alu atio n   m o d el  ar e  illu s tr ated   i n   Fig u r e  1 .     An   ex p l o r ato r y   s tu d y   was  co n d u cted   t o   id e n tify   th e  c o m p o n en ts   n ee d ed   in   th e  r esear ch .   T h is   ca n   b e  in   th e  f o r m   o f   tr an s ac tio n   ty p es,  p er f o r m an ce   ef f icien cy   I S O  2 5 0 1 0 ,   a n d   test in g   to o ls .   I n   th e  d ata  co llectio n   s tag e,   f iv e  tr an s ac tio n   ty p es  r ep r esen ted   b y   a  test   ca s e  wer e  u s ed   to   test   th e  p er f o r m an ce   o f   th e  f iv e  ex is tin g   to o ls .   T o   o b tain   ac cu r ate  r esu l ts ,   ea ch   test   ca s e  wa s   r ep ea ted   f iv e  tim es.  T h e  p r o p o s ed   f r a m ewo r k   is   b ased   on  th e  f in d in g s   f r o m   th e  ex p lo r at o r y   an d   d ata  co llectio n   s tag es.   T h e  d etails  o f   th ese  th r ee   s tag es  ar e  ex p lain ed   in   th e  n ex t sectio n .           Fig u r e  1 .   R esear ch   d esig n       3. 1 .    E x plo ra t o ry   s t ud y   T h e  ex p lo r ato r y   p h ase  o f   th is   r esear ch   is   ca lled   an   ex p l o r ato r y   s tu d y ,   a n d   it  in clu d es  a  t h o r o u g h   a n d   cr itical  an aly s is   o f   th e  r elev an t  liter atu r e.   T h is   p h ase  aim s   to   d eter m in e  th e  p r o p o s ed   f r am ewo r k ' s   s co p e.   T h r ee   ac tiv ities   ar e   ca r r ie d   o u t  at  th is   s tag e.   First,  id en tif y in g   th e   ty p es  o f   tr an s ac tio n s   th at  ar e  c o m m o n ly   u s ed   o n   web s ites   to d ay .   Seco n d ,   id en tific atio n   o f   th e  ch ar a cter is tics   in   th e  p er f o r m a n ce   ef f icien cy   b ased   o n   I SO  2 5 0 1 0 .   T h ir d ,   th e  d ete r m in atio n   an d   id en tific atio n   o f   to o ls   u s ed   in   au to m ated   w eb   test in g .   Deta iled   in f o r m atio n   ab o u t th e  th r e e  s tag es is   p r esen ted   in   th e  f o llo win g   s u b s ec tio n .     3. 1 . 1 .   Webs it e  t ra ns a ct io n t y pe   T h is   s tu d y   co n s id er s   s ev er al  t y p es  o f   tr an s ac tio n s   th at  e x is t  o n   t h e  web s ite.   T h e  ty p es  o f   d ata  th at   will  b e  u s ed   a r e  g ettin g   m ass iv e  d ata,   cr ea ti ng ,   r ea d in g ,   u p d atin g ,   an d   d eletin g   ( C R U D) ,   s ea r ch in g ,   u p lo ad in g ,   an d   d o wn lo a d in g   f iles .   A  tes t  ca s e  i s   cr ea ted   f o r   ea ch   tr an s ac tio n   ty p e,   a n d   th e  ex ec u tio n   tim e  is   ca lcu lated .   I n   th is   s tu d y ,   th e  r eq u est  to   r etr iev e  a  lar g e  am o u n t  o f   d ata  o r   g et  m ass iv e  d ata  is   ex em p lifie d   b y   r etr iev in g   d ata  in   th e  f o r m   o f   a  g r ap h   with   s ev er al  p ar am ete r s .   C R U D  tr an s ac tio n s   ar e  p er f o r m ed   b y   ad d in g   u s er s ,   ch an g i n g   u s er   d ata,   an d   d eletin g   u s er s .   Sear ch   tr an s ac tio n s   ar e  p e r f o r m ed   b y   s ea r ch in g   item s   o n   t h e   l an d in g   p ag e .   At  th e  s am e  ti m e,   f ile  u p lo ad   is   p er f o r m ed   b y   u p lo a d in g   ce r tific ate  f iles   d u r in g   item   cr ea tio n .   Fil e  d o wn lo ad   is   p er f o r m e d   b y   d o wn lo a d in g   item   d ata  in   E x ce l f o r m at.     3. 1 . 2 .   P er f o r m a nce  ef f iciency   I SO   2 5 0 1 0   I SO/IE C   2 5 0 1 0   is   an   in ter n atio n al  s ta n d ar d   th at  d ef in es  th e  s o f twar e  p r o d u ct  q u ality   m o d el .   I SO  2 5 0 1 0   is   u s ed   to   ev alu ate  o r   e n s u r e  test in g   an d   r esear c h   in   ac co r d an ce   with   s o f twar e  q u a lity   s tan d ar d s   [ 2 1 ] .  B y   u s in g   I SO  2 5 0 1 0 ,   r esear ch er s   ca n   m ea s u r e  an d   c o m p ar e  th e  q u ality   o f   v ar io u s   to o ls   an d   f r am ewo r k s   in   a n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         A n   ev a lu a tio n   mo d el  o f web s ite  test in g   fr a mewo r k  b a s ed   o n   I S O  2 5 0 1 0   …  ( Dia s   Tr i Ku r n i a s a r i )   1133   o b jectiv e  an d   s tr u ct u r ed   m an n er .   An   attr ib u te  o f   I SO  2 5 0 1 0   is   its   p er f o r m an ce   ef f icien cy .   Per f o r m an ce   ef f icien cy   h as  th r ee   s u b - ch a r ac ter is tics :  r eso u r ce   u tili za tio n ,   tim e  b eh a v io r ,   a n d   ca p ac i ty   [ 2 2 ] .   R eso u r ce   u tili za tio n   m ea s u r es  th e  am o u n t  o f   r eso u r c es  n ee d ed .   T h e  tim e  b eh av io r   m ea s u r es  th e  s y s tem   r esp o n s e,   p r o ce s s in g ,   an d   o u tp u t  tim es.  T h e  ca p ac ity   s u b ch ar ac ter   is   u s ed   to   ev alu ate  th e  o p tim u m   l im it  o f   th e  s y s tem .   R eso u r ce   u tili za tio n   a n aly s es  th e  r eq u ir ed   r eso u r ce s ,   in clu d in g   C PUs ,   m em o r y ,   I /O  d e v ices,  s to r ag e,   an d   b an d wid th .   T h e  r ea l  p r o ce s s o r   tim e,   o p er atin g   tim e,   d e v ice   s to r ag e,   an d   d ata  tr an s m is s io n   ca p ac ity   ar e  th e  s u b ch ar ac ter is tics   an d   m etr ics  em p lo y ed   in   th is   s tu d y .   T h e  av er ag e  r eso u r ce   v alu e   was  ca lcu lated   b y   c o n t r a s t i n g   t h e   r e s o u r c e s   a v a i l a b l e   o n   t h e   d e v i c e   w i t h   t h e   r e s o u r c e s   r e q u i r e d   b y   t h e   f r a m e w o r k   i n   e a c h   t r i a l   [ 2 3 ] .  T im e  b eh av i o r   u s es  m etr ics  lik e  m ea n   r esp o n s e  tim e,   tu r n ar o u n d   tim e  co n f o r m an c e,   an d   th r o u g h p u t  co n f o r m an ce   t o   d eter m in e  th e  o u tco m es  o f   c o m p u tatio n s .   T h e  s y s tem ’ s   m ea n   r esp o n s e  tim e  is   u s ef u l  f o r   d eter m in in g   h o w  q u ick ly   it  r e ac ts   to   u s er   in p u t.  I n   ad d itio n ,   th e  o v e r all  tim e  s p en t  in   ea ch   r ea ctio n   to   u s er   in p u t  was  d iv id ed   b y   th e   to tal   n u m b er   o f   tr ials   co n d u cted .   T h e  to tal  co m p letio n   tim e   r eq u ir ed   f o r   th e   s y s tem   to   co m p lete  o n e  test   ca s e  is   th e  to tal  co m p letio n   tim e.   Me an wh ile,   o n e  wa y   to   g au g e  th r o u g h p u t  ap p r o p r iaten ess   is   to   co u n t th e   n u m b e r   o f   task s   th at  ar e   co m p leted   s u cc ess f u lly   in   a  ce r tain   tim e  [ 2 4 ] .     3. 1 . 3 .  Aut o ma t io n  t esting   t o o ls   A  test in g   au to m atio n   f r am ewo r k   is   a  co llectio n   o f   r u les,  g u id elin es,  an d   in teg r ated   m o d u les  an d   lib r ar ies  u s ed   to   cr ea te   an d   r u n   test   s cr ip ts .   Fiv e  f r am ewo r k s   ar e  ev alu ate d   in   t h is   r esear ch .   T h e   Selen iu m   I DE ,   Kata lo n ,   Ma b l,   T est  T eler ik   Stu d io ,   a n d   C y p r ess   f r a m ewo r k s   wer e  u s ed .   Selen iu m   I DE   is   a  b r o wser   au to m atio n   to o l   th at  allo ws  u s er s   to   cr ea te,   r ec o r d ,   an d   p la y b ac k   au to m ate d   test s   f o r   we b   ap p licatio n s   [ 2 5 ] .  K a t a l o n   i s   a n   i n t e g r a t e d   s o f t w a r e   t e s t i n g   p l a t f o r m   t h a t   p r o v i d e s   a   c o m p r e h e n s i v e   s o l u t i o n   t o   t e s t   a u t o m a t i on  [ 2 6 ] .   Ma b l  is   a  test   a u to m atio n   p la tf o r m   t h at  p r o v i d es  a  s im p le,   s cr ip less ,   an d   in tellig en t  a p p r o ac h   to   a u to m ate d   test in g   [ 2 7 ] .   T eler ik   T est  Stu d io   is   a  test   au to m atio n   to o l  d esig n ed   to   s im p lify   User   I n ter f ac e  ( UI )   a n d   p er f o r m an ce   test in g   f o r   web ,   d esk to p ,   an d   m o b ile  ap p licat io n s .   An   o p en - s o u r ce   f r am ew o r k   f o r   en d - to - en d   web   ap p licatio n   test in g   is   ca ll ed   C y p r ess   [ 2 0 ] .   T h en ,   th e  f iv e  f r am ewo r k s   im p lem en t  th e   p r ev io u s ly   d ef i n ed   ca s es,  an d   th e  test   tim e  is   s to r ed   in   ea ch   ca s e.     3 . 2 .     Da t a   c o llect io n   I n   th is   s u b s ec tio n ,   th e  d ata  co llectio n   p r o ce s s   u s ed   in   th is   r esear ch   is   ex p lain ed .   T wo   ty p es  o f   d ata  will  b e  u s ed :   test in g   ex ec u tio n   d ata  f r o m   th e  f r am ewo r k s   an d   e x p er t   im p o r tan ce   weig h t  s ca le  d ata .   T est   ex ec u tio n   d ata  will  b e  co llec ted   b y   r u n n in g   v ar io u s   ty p es   o f   tr an s ac tio n s   u s in g   d if f er e n t  web   au to m atio n   f r am ewo r k s .   Me an wh ile,   im p o r tan ce   weig h t   s ca le  d ata  will   b e   g at h er ed   th r o u g h   q u esti o n n air es  d is tr ib u ted   t o   ex p er ts   in   s o f twar e  d e v elo p m e n t a n d   test in g .       3 . 2 . 1 .   P er f o r m a nce  ef f iciency   s co re s   I n   th is   s tag e,   p er f o r m an ce   ef f i cien cy   s co r es  ar e  o b tain ed   th r o u g h   test in g .   T h e  test s   ar e  co n d u cted   b y   ex ec u tin g   p r ed e f in ed   test   ca s e s   o n   ea ch   test in g   f r am ewo r k .   T h e  in itial  s tep   in v o lv es  co m p ilin g   a  lis t  o f   test   ca s es  f o r   ea ch   tr an s ac tio n   ty p e.   T h ese  test   ca s e s   will   b e  r u n   o n   th e  test in g   f r am ewo r k s ,   an d   th e  p er f o r m a n ce   ef f icien cy   s co r es f o r   ea ch   f r a m ewo r k   an d   tr an s ac tio n   t y p e  will th en   b e  ca lcu lated .       a .   T est  ca s e  des ig n   A  test   ca s e  is   th e  d esig n   o f   an   ac tio n   p e r f o r m ed   b y   a   u s er   o n   t h e  s y s tem .   I n   th is   s tu d y ,   ea ch   tr an s ac tio n   was  r ep r esen ted   b y   a  s in g le  test   ca s e,   wh ich   is   h ap p y   f lo w.   T h e  Hap p y   f lo w  test   co n d itio n   is   p er f o r m ed   b y   p r ed ete r m in ed   s tep s   to   o b tain   th e  r esu lts   as  ex p ec ted   [ 2 8 ] .   T h e  web s ite  test ed   in   th is   s tu d y   was   p ip esales.co m   in   th e  test   en v ir o n m en t .   An   ex am p le  o f   a  test   ca s e  u s ed   in   th is   s tu d y   is   g iv e n   in   T ab le  1 .       T ab le  1 .   T est  ca s e  ex am p le  o f   ch an g in g   u s er   d ata   ID   D e t a i l   t e s t   C a se   P r e c o n d i t i o n   S t e p s   D a t a   Ex p e c t e d   r e su l t   01   U sers c a n   c h a n g e   p e r s o n a l   d a t a   U sers  a l r e a d y   l o g g e d   i n   C l i c k   t h e   a c c o u n t   b u t t o n .   -   D a t a   c h a n g e s a r e   su c c e ssf u l l y   ma d e   a n d   s a v e d   i n   t h e   d a t a b a se .   C l i c k   p r o f i l e   -   C l i c k   t h e   e d i t   b u t t o n .   -   I n p u t   n e w   n a me   D i a s  N e w   C l i c k   t h e   U p d a t e   b u t t o n   -       b .   Cre a t i ng   a  da t a   co llect io n  pro g ra m   I n   co llectin g   p er f o r m a n ce   ef f icien cy   d ata,   n o t  all  o f   t h em   ca n   b e   d o n e  d ir ec tly   o r   n ee d   p r o g r am   ass is tan ce ,   n am ely ,   r eso u r ce   u tili za tio n   d ata.   I n   th is   s tu d y ,   a  p y th o n - b ased   p r o g r am   was  u s ed   b y   u s in g   th e  p s u t i l   a n d     l i b r a r i e s ,   w h i c h   a r e   r u n   i n   r e a l   t i m e .   S c a p y   i s   a   p y t h o n   l i b r a r y   t h a t   m a n i p u l a t e s   n e t w o r k   p a c k e t s   [ 2 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 1 30 - 1 13 9   1134   T h is   lib r ar y   is   u s ed   to   o b tai n   v alu es  f o r   p er f o r m an ce   ef f icien cy   asp ec ts ,   n am el y   b a n d wid th   u tili za tio n .     Ps u til  is   a  Py th o n   lib r ar y   f o r   o b tain i n g   i n f o r m atio n   ab o u t   s y s tem   r eso u r ce s   an d   p r o ce s s es  r u n n in g   o n   th e  o p er atin g   s y s tem .   T h e   lib r ar y   is   u s ed   to   o b tai n   th e  v alu e  o f   th e  p er f o r m an ce   ef f icien cy   asp ec ts   o f   m ea n   p r o ce s s o r   u tili za tio n   an d   s to r a g e  u tili za tio n .   W h ile,   t h e  d ata   r eq u ir e d   f o r   tim e   b eh a v io r   is   o b tain ed   f r o m   th e   test   r esu lt  r ep o r t  p r o v i d ed   b y   th e  test in g   f r am ewo r k .   T h e  r esu lts   ar e  th en   ca lcu lated   b ased   o n   a  p r ev io u s ly   d ef in ed   eq u ati o n .   C ap ac ity   was d ef in ed   as 1   b ec au s e  in   th e  t esti n g   p r o ce s s ,   ea ch   f r am ewo r k   was o n ly   u s ed   b y   1   d ev ice.     c .   T est  ca s e  im plem ent a t io n   T h e  test   ca s e  im p lem en tatio n   d escr ib es  th e  s tep s   in v o lv e d   in   ap p ly i n g   th e   test   ca s es  p r e v io u s ly   cr ea ted   in   th e  test   f r am ewo r k .   T h is   p r o ce s s   b eg in s   b y   u s in g   th e  r ec o r d   f ea tu r e  in   th e  test   f r am ewo r k   to   r ec o r d   ac tio n s   p er f o r m ed   d u r i n g   m a n u al  test in g .   T h is   r ec o r d   f ea t u r e  au to m atica lly   g en e r ates  a  test   s cr ip t  b ased   o n   th ese  ac tio n s ,   in clu d in g   all  test   s tep s ,   in ter ac tio n s   with   p ag e  elem en ts ,   an d   in p u t  d ata.   B ef o r e  r ec o r d in g ,   it  is   n ec ess ar y   to   en ter   th e   b ase  u r l  o f   th e  tar g et  web s ite.     On ce   th e  test   s cr ip t  is   g en er ated ,   th e  n e x t  s tep   is   to   r e - r u n   t h e  s cr ip t  to   en s u r e  th at  all  tes t  s tep s   ar e   r ec o r d e d   co r r ec tly   an d   co u ld   b e  ex ec u te d   with o u t  e r r o r s .   T h is   r e - r u n n in g   p r o c ess   is   im p o r tan t  f o r   id en tify i n g   an d   co r r ec tin g   er r o r s   o r   d is c r ep an cies  in   t h e  s cr ip t.   I f   th er e  ar e  p r o b lem s ,   s u ch   as  s cr ip t  wr itin g   e r r o r s ,   f ailu r es  in   in ter ac tio n   with   p a g e  elem en ts ,   o r   in v alid   in p u t  d ata,   th e  s cr ip t  will  b e  an aly ze d   an d   c o r r ec ted .   T h is   iter ativ e  p r o ce s s   co n tin u e s   u n til all  test   ca s es a r e  s u cc es s f u lly   r u n .       d .   T est  ex ec utio n   At  th is   s tag e,   th e  o r i g in al  test   is   p er f o r m e d   b y   ex ec u tin g   th e   p r ev io u s ly   im p lem e n ted   test   s cr ip t.  T h e  d ata  f r o m   th is   test   wi ll  b e  r ec o r d ed   in   d etail  an d   u s ed   in   th e  n ex t  s tag e.   Alo n g   with   th e  e x ec u tio n   o f   th e  test   s cr ip t,  th e  cr ea ted   d ata  ca p tu r e   p r o g r am   is   also   r u n .   T h is   p r o g r am   co llects  r eso u r ce   u tili za t io n   d ata  d u r i n g   th e   test in g   p r o ce s s .   T h e  co m b in atio n   o f   test   ex ec u tio n   an d   d ata  ca p tu r e  en s u r es  th at  th e  in f o r m atio n   r eq u ir e d   f o r   th e  n ex t  s tag e  is   o b tain ed   s u cc ess f u lly .   At  th is   s tag e,   th e  test   f r am ewo r k   p r o d u ce s   a  test   r ep o r t  th at  ca n   b e   u s ed   to   r etr iev e  t h e  tim e  b e h a v io r   d ata,   n am ely   th e   to t al  test   tim e.     3. 2 . 2 .   Det er m ina t i o n  o f   t he  i m po rt a nce  weig ht  s ca le   I n   th is   s tu d y ,   in   ad d itio n   to   u s in g   th e  p e r f o r m an ce   ef f icien cy   v alu es  o b tain ed   f r o m   th e   t est  r esu lts ,   ex p er t  ju d g m en t  is   also   u s ed .   T h is   ex p er t  ass ess m en t  wil l  b e  ca lcu lated   ac co r d in g   to   th e  weig h t  o f   th e  s ca le  o f   im p o r tan ce   f o r   ea ch   asp ec t   o f   p er f o r m a n ce   ef f icien c y   u s ed   in   th e  co n s tr u ctio n   o f   th e  ass es s m en t  m o d el.   T h e  u s e  o f   im p o r ta n ce   s ca le   weig h ts   is   u s ef u l   f o r   ev alu a tin g   web s ite  test in g   f r am ewo r k s   th at  ca n n o t   b e   p er f o r m ed   s im p ly   b y   c o m p a r i n g   th e  v alu e  o f   o n e  asp ec t  to   an o th er .   T h is   is   b ec au s e  ea ch   asp ec t  h as  its   o wn   im p o r tan ce   in   ea ch   test   ca s e.       a .   Q ues t io n  lis t   des ig n   I n   th is   s tag e,   a  li s t  o f   q u esti o n s   r elate d   to   th e  p er f o r m a n ce   ef f icien cy   m etr ics  b ased   o n   I SO/IE C   2 5 0 1 0   is   d esig n e d .   T h e  im p o r tan ce   weig h t  s ca le  v al u es  wer e  o b tain ed   th r o u g h   q u esti o n n air e  d ata  co llectio n   to   d eter m in e   ap p r o p r iate  attr ib u tes  f o r   m ea s u r em en t.  E ac h   q u esti o n   in   th e  s ev e n   p e r f o r m an ce   e f f icien cy   m etr ics  was  g r o u p ed   ac co r d i n g   to   ea ch   ty p e  o f   tr a n s ac tio n   o r   test   ca s e.   T h e  q u esti o n s   wer e  ar e   p r esen ted   u s i n g   a   5 - p o i n t   L i k e r t   S c a l e   t o   a v o i d   b i a s   i n   t h e   s c o r e s   p r o v i d e d   b y   r e s p o n d e n t s   i f   t h e   i n t e r v a l s   w e r e   t o o   c l o s e   [ 3 0 ] .   T h e  L ik er t  s ca le  was   m ea s u r ed   as  f o llo ws:   a  s co r e  o f   5   f o r   “v er y   im p o r tan t,”   a  s co r e  o f   4   f o r   “im p o r tan t,”   a   s co r e  o f   3   f o r   “n e u tr al, ”  a  s co r e  o f   2   f o r   “n o t  im p o r tan t,”   a n d   a  s co r e  o f   1   f o r   “v er y   u n im p o r tan t.”   E x am p les  o f   th is   q u esti o n   a r e  “Ho w  im p o r tan t is th e  p r o ce s s o r   in   cr u d   tr an s ac tio n s ”.     b .   Q ues t io nn a ire  da t a   co llect io n   T h e  q u esti o n n air e  d at a  c o llectio n   was  co n d u cted   b y   d is tr ib u tin g   th e  q u esti o n n air e   to   5   r esp o n d en ts   with   th e  h elp   o f   Go o g le  Fo r m s .   T h e  tar g eted   r esp o n d e n ts   ar e  in d iv id u als  wh o   ar e  ex p er ts   in   th e  f ield   o f   s o f twar e,   s p ec if ically   d ev el o p er s   an d   test er s   wh o   ar e   ac cu s t o m ed   to   u s in g   test in g   f r am ew o r k s .   Ad d itio n ally ,   r esp o n d en ts   wer e  f am iliar   with   th e  f iv e  ty p es  o f   tr an s ac tio n s   o n   web s ites .   W ith   ev alu atio n s   f r o m   5   ex p er ien ce d   e x p er ts   wh o   k n o w  th e  co r r elatio n   b etwe en   h ar d war e  an d   th e  p er f o r m an ce   o f   test in g   f r am ewo r k s ,   a  b asis   f o r   co n s tr u ctin g   th e  we ig h tin g   m o d el  was e s tab lis h ed .     c .   Da t a   v a lid it y   chec k   T h is   s tag e  was  p er f o r m e d   to   e n s u r e  th at  th e  q u esti o n n air e   u s ed   in   th e  r esear ch   was  ap p r o p r iate.   On e   m eth o d   u s ed   to   c h ec k   th e   v alid ity   o f   th e   q u esti o n n air e  was  to   ca lcu late  th e  s tan d ar d   d ev iatio n   o f   th e   r esp o n s es  r ec eiv ed .   T h e  s tan d ar d   d ev iatio n   is   a  m ea s u r e  t h at  s h o ws  h o w   m u c h   v ar iatio n   o r   d is p er s io n   f r o m   th e  av er ag e  v alu e  ( m ea n ) .   T h e   ca lcu latio n   is   s h o wn   as ( 1 ).   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         A n   ev a lu a tio n   mo d el  o f web s ite  test in g   fr a mewo r k  b a s ed   o n   I S O  2 5 0 1 0   …  ( Dia s   Tr i Ku r n i a s a r i )   1135     =   √ 1   ∑ ( − ) 2 = 1 )   ( 1 )     Fro m   ( 1 ) ,    is   th e   n u m b er   o f   r esp o n d en ts .   W h er e     is   th e  s co r e  o f   ea ch   r esp o n d en t .   An d     is   av er a g e  r esp o n s e’ s   s co r e .   T h e  s tan d ar d   d ev iatio n   is   .   B y   ca lcu latin g   th e  s tan d ar d   d e v iatio n ,   th e  s p r ea d   o f   r esp o n d en ts ’   an s wer s   th at  v ar y   f r o m   th e  av er ag e   ca n   b e   o b s er v e d .   A   lo w  s tan d ar d   d ev iatio n   in d icate s   th at  m o s t  r esp o n d en ts   g av e   s im ilar   an s wer s ,   d em o n s tr atin g   co n s is ten cy   in   th eir   u n d e r s tan d in g   an d   in ter p r etatio n   o f   th e  q u esti o n n air e  q u esti o n s .   C o n v er s ely ,   a   h ig h   s tan d a r d   d ev iatio n   i n d icate s   a  la r g e   v a r iatio n   in   r esp o n d en ts ’   an s wer s ,   w h ich   in d icate s   th at  s o m e  q u esti o n s   m ay   b e  u n clea r   o r   u n d er s to o d   d if f er e n tly   b y   r esp o n d en ts .   Stan d ar d   d ev iatio n   an aly s is   h elp s   ev alu ate  an d   im p r o v e  th e  v alid ity   o f   t h e  q u esti o n n air e.     d .   I m po rt a nce  s ca le  weig ht  c a lcula t io n   Af ter   th e  q u esti o n n air e  d ata  p ass e d   th e  d is tr ib u tio n   ch ec k   in   th e  p r ev io u s   s tag e,   th e  n e x t step   was th e   ca lcu latio n   o f   th e  im p o r ta n ce   weig h t  s ca le.   T h e  f ir s t  s tep   is   to   co n v er t  th e  d ata  f r o m   a  L ik er t  s ca le  in to   an   in ter v al  f o r m .   Data   co n v er s io n   was p er f o r m e d   as   ( 2 )   an d   ( 3 ) .        =   ∑     = 1     ( 2 )      =     ( 3 )     Fro m   ( 2 )   an d   ( 3 ) ,    is   th e  n u m b er   o f   lik e r t  s ca les .   W h er e    is   th e  to tal  n u m b e r   o f   r esp o n d en ts .   An d     is   L ik er t sco r e  n u m b er   c h o ices .   W h ile    is   th e  m ax im u m   v alu e .   Af ter   th is   co n v er s io n ,   th e  n e x t  s tep   is   to   co n v er t  th e  i n ter v al  v alu es  in to   a  p e r ce n tag e  i n d ex .   T h is   s tep   is   p er f o r m ed   b y   s u m m in g   all  co n v er ted   i n ter v al  v alu e s   to   o b tain   th e  to tal  in ter v al  v alu e.   T h en ,   ea ch   in ter v al  v alu e  is   d iv id e d   b y   th e  to tal  v alu e  as  ( 3 ) .   T h e  p e r ce n tag e  in d e x   b ec o m es  th e  r elativ e  im p o r tan ce   weig h t  o f   ea ch   m et r ic.   B y   en s u r in g   th at  th e  t o tal  weig h t  is   1   ( o r   1 0 0 %),   ea ch   m etr ic  is   ass ig n ed   a  weig h t  th a t   r ef lects its   im p o r tan ce   in   th e  c o n tex t o f   th e  test .     3. 3 .  M o del   ev a lua t io n   T h e  ass ess m en t  m o d el  was  b ased   o n   th e  tim e   d ata   o b tain e d   d u r in g   th e   d ata  c o llectio n   s tag e.   T h e   m o d el  was  cr ea ted   u s in g   Py th o n .   T h e  m eth o d   u s ed   in   th is   s co r in g   m o d el  is   clas s if icatio n   with   th r esh o ld in g .   B ef o r e  d eter m i n in g   th e  th r esh o ld ,   th e   s co r e  f o r   ea ch   f r am e wo r k   was  n o r m aliz ed   to   e n s u r e  th at  b o th   d atasets   ( ex p er im e n t  an d   s ca le  weig h t)   wer e  o n   th e  s am e  s ca le   s o   th at  th ey   c o u ld   b e  co m p ar ed   o r   co m b in ed   ac cu r ately .   Af ter   n o r m alizin g   th e  d ata,   t h e  n o r m alize d   p er f o r m an ce   ef f icien c y   v alu e   is   m u ltip lied   b y   th e   im p o r tan ce   weig h t  s ca le,   wh ich   is   alr ea d y   o n   a  0 - 1   s ca le.   T h is   s tep   p r o d u ce s   a  n ew  v al u e  th at  r ef lects  th e   r elativ e  co n tr ib u tio n   o f   p er f o r m an ce   ef f icien c y   b ased   o n   th e   im p o r tan ce   weig h t d eter m i n e d   as   ( 4 ) .       = ( ∑ (     )   = 1 )   ( 4 )     F r o m   ( 4 ) ,    is   th e  web   tr an s ac ti o n   ty p e.   W h er e    is   th e  p er f o r m an ce   ef f icien cy   asp ec t.  An d     is   s ev en   asp ec ts   o f   p er f o r m a n ce   ef f icie n cy .   T h e  p e r f o r m an ce   ef f icien cy   v alu e  o f   th e  test in g   ex p er i m en t is     wh ile    is   th e  weig h t v alu e  o f   th e  e x p er t.   T h e  to tal  v alu e  af ter   weig h tin g   o f   tr a n s ac tio n   ty p e    is   .   Af ter   o b tain in g   th e  s co r e,   wh ich   was  th e  av er ag e  o f   ea ch   asp ec t,  th e  ca lcu latio n   was  co n tin u ed   b y   d eter m in in g   th e  t h r esh o ld   1 / 3   o f   th e  m ax   an d   m in im u m   s co r es  o b tain ed   p r ev i o u s ly .   T h e  t h r esh o ld   is   u s ed   to   b u ild   a n d   ca lcu late  th e   m o d el,   wh ich   is   d iv id e d   in t o   th r ee ,   wh eth er   it   f alls   in to   th e  g o o d   ( 1 ) ,   m ed iu m   ( 2 ) ,   o r   lo w  ( 3 )   ca teg o r y .   T h e  th r es h o ld   is   d eter m in ed   b y   d iv id i n g   th e   v alu e  r an g e   b etwe en   th e  m in im u m   a n d   m ax im u m   v alu es  in t o   th r ee   eq u al  p a r ts .   Usi n g   th is   m et h o d ,   ea c h   class   o b tain s   b alan c ed   an d   m ea s u r ab le   v alu es.  T h is   m ak es it p o s s ib le  to   s et  clea r   b o u n d ar ies b etwe en   ea ch   class   s o   th at  a s s es s m en t c an   b e  p er f o r m ed   o b jectiv ely   an d   s tan d ar d ize d .       4.   RE SU L T S AN D  D I SCU SS I O N     T h is   p ap er   p r o p o s es  an   ev alu atio n   m o d el  to   ass ess   web   a u to m atio n   test in g   f r am ewo r k s   b ased   o n   p er f o r m an ce   ef f icie n cy .   Fiv e   f r am ewo r k s — Selen iu m ,   Ka talo n   Stu d io ,   Ma b l,  T eler i k   T est  Stu d io ,   an d   C y p r ess — wer e  te s ted   an d   ca teg o r ized   in to   g o o d ,   m ed iu m ,   an d   lo w  p er f o r m an ce   class es.  T h e  class if icatio n   was  d eter m in ed   u s in g   d ata  c o llected   u s in g   a  Py th o n - b ased   m o n ito r in g   to o l   th at  tr ac k e d   t h e  ex ec u tio n   o f   test   ca s es  in   ea ch   f r am ewo r k .   E x p er t  weig h tin g ,   wh ich   was  o b tain ed   f r o m   q u esti o n n air es  f illed   o u t  b y   in d u s tr y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 1 30 - 1 13 9   1136   p r o f es s io n als,  was  also   u s ed   to   v alid ate  th e  r esu lts   an d   en s u r e  th e  ac cu r ac y   o f   m ea s u r in g   p er f o r m a n ce   ef f icien cy .   Sev e n   f ac to r s   wer e   u s ed   to   ass ess   p er f o r m an ce ,   a n d   th e  f r am ewo r k s   wer e  ev alu ated   b ased   o n   th eir   ab ilit y   to   h an d le  f iv e   co m m o n   web   tr an s ac tio n s .   T h es e  in clu d e  C R UD  o p er atio n s   as  s ee n   in   T ab le   2 ,   g et  m ass iv e  d ata   as  s ee n   in   T ab le   3 ,   ex ec u tin g   s ea r ch   f u n ctio n s   as  s ee n   in   T ab le  4 ,   f ile  u p l o a d s   as  s ee n   in   T ab le  5 ,   an d   f ile  d o wn l o ad s   as  s ee n   in   T ab le  6 .   T h e  r esu lts   ar e  illu s tr ated   in   Fig u r e  2   f o r   ea ch   tr an s ac tio n   ty p e.   Fig u r e  2 ( a)   illu s tr ates  C R UD,   Fig u r e  2 ( b )   illu s tr ates  g et  m ass iv e  d ata  ( GM D) ,   Fig u r e  2 ( c )   r ep r esen ts   s ea r ch ,   Fig u r e  2 ( d )   r ep r esen ts   f ile  u p l o ad ,   an d   Fig u r e  2 ( e)   r ep r esen t s   f ile  d o wn lo ad .     T h e  ev alu atio n   m o d el  d ev elo p ed   in   th is   s tu d y   s u cc ess f u l ly   class if ied   ea ch   web   au to m ati o n   test in g   f r am ewo r k   b ased   o n   its   p er f o r m an ce   ac r o s s   v ar io u s   tr an s ac tio n   ty p es.  T h e  r esu lts   in d icate   th at  d if f er en t  ty p es  o f   tr a n s ac tio n s   y ield   d is tin ct  f r am ewo r k   r ec o m m en d atio n s   a lth o u g h   ce r tain   tr an s ac tio n s   y i eld   n ea r l y   id e n tical  r ec o m m en d atio n s .   I n   C R UD  o p er atio n s ,   Ma b l  an d   Selen iu m   d em o n s tr ate  s tr o n g   p e r f o r m an ce   b ec a u s e  th e y   ar e  d esig n ed   to   h an d le  DO M  elem en t  in ter ac tio n s   q u ic k ly   an d   ef f ec tiv el y   wh ile  s u p p o r tin g   m u ltip le  p r o g r a m m in g   la n g u a g es  an d   i n teg r atin g   well  with   o th e r   d ev elo p m en t  to o ls   [ 3 1 ] .   Selen iu m   an d   C y p r ess   ex ce l  in   h an d lin g   m ass iv e  d ata   r et r iev al  an d   s ea r ch   tr a n s ac tio n s   d u e  to   t h eir   n o n - b lo ck in g   ar ch itectu r e,   wh ic h   allo ws  th em   to   p r o ce s s   m u ltip le  r eq u ests   s im u ltan eo u s ly   with   lo w  laten cy ,   alig n in g   wi th   Go jar e  e t  a l.   [ 3 2 ] ,  Selen iu m ’ s   h ig h   p e r f o r m an ce   in   m a n ag in g   lar g e  d ata  lo ad s   d u e   to   its   ef f icien t  W eb Dr iv er   im p lem e n tatio n .   Ma b l  is   p ar ticu lar ly   ef f ec tiv e  in   f ile  u p lo ad   tr an s ac tio n s   b ec au s e  o f   its   AI - d r iv en   test in g   an d   s m ar t  wait  f ea tu r es,  wh ich   en a b le  th e   f r a m ewo r k   t o   a d ap tiv ely   ad ju s t  wait  tim es  an d   r ed u ce   f ailu r es   ca u s ed   b y   v ar y i n g   test   en v ir o n m en t  co n d itio n s   [ 2 7 ] .   Fo r   f ile  d o wn lo a d   tr an s a ctio n s ,   Kata lo n ,   T eler ik ,   an d   Ma b l  p er f o r m   well  d u e  to   th eir   b u ilt - in   h a n d lin g   f ea tu r es  th at  f ac ilit ate  s tab le  a n d   ac c u r ate  f ile   d o w n lo ad s .   K atalo n   an d   T eler i k   h av e  m an a g em en t  ca p a b ilit ies,  in clu d in g   au to m ated   er r o r   h an d lin g ,   m ak in g   th em   p ar ti cu lar ly   ef f ec tiv e  in   d o wn lo ad   s ce n a r io s   [ 3 3 ] .   B ased   o n   b o th   th e   ex p e r im en tal  an d   weig h ted   r esu lts ,   th e  r esu lts   in d icate   th at  t h e  r elativ e  class if icatio n   o f   th e  f r am ewo r k s   is   lar g ely   c o n s is ten t  ac r o s s   th e  two   m eth o d s .   Nea r ly   a ll  tr an s ac tio n   ty p es   ex h ib ited   a  1 0 0 %  m atch   wh e n   co m p a r ed ,   with   o n ly   o n e  tr an s ac tio n — f ile  u p lo ad — s h o w in g   an   8 0 %  m atch .   T h is   d is cr ep an cy   is   d u e  t o   th e   weig h ted   d ata  ca lcu latio n ,   w h er e  th e  s co r e  f o r   f ile  u p lo a d   was  s lig h tly   lo wer   th an   th e  th r esh o ld   f o r   b ein g   class if ied   as  h ig h ly   r ec o m m e n d ed .   Ho wev e r ,   th ese  r esu lts   s u g g est  th at  u s in g   eith er   ex p er im e n tal  d ata  alo n e  o r   in co r p o r atin g   weig h tin g   d o es  n o t  s ig n if ican tly   alter   th e  o v er all  o u tco m e,   an d   th e   ef f ec tiv e n ess   alig n s   with   th e  f in d in g s   o f   T h o o r iq o h   et  a l .  [ 1 2 ] ,   wh ich   r an g e d   f r o m   8 7 . 5 %  to   1 0 0 %.  T h e  r esu lts   o f   th is   s tu d y   p r o v id e  a   v alu a b le  r e f er en ce   f o r   d ete r m in in g   s u itab le  s o f t war e  f o r   b o th   th e   f r am ewo r k s   test ed   an d   th o s e  n o t c o n s id er ed   in   th is   s tu d y .         T ab le  2.   Per f o r m an ce   ef f icien cy   o f   C R UD   F r a mew o r k   I S O   2 5 0 1 0   W e i g h t e d   I S O   2 5 0 1 0   S c o r e   C l a s s   S c o r e   C l a s s   K a t a l o n   0 . 3 7 6 9 3   3   0 . 0 5 0 1 6   3   Te l e r i k   0 . 5 7 2 6 7   2   0 . 0 8 0 9 1   2   M a b l   0 . 6 8 3 0 0   1   0 . 1 0 0 6 0   1   S e l e n i u m   0 . 7 8 2 0 4   1   0 . 1 1 4 3 8   1   C y p r e ss   0 . 6 3 2 2 3   2   0 . 0 8 4 9 7   2     T ab le  3.   Per f o r m an ce   ef f icien cy   o f   g et  m ass iv e  d ata   F r a mew o r k   I S O   2 5 0 1 0   W e i g h t e d   I S O   2 5 0 1 0   S c o r e   C l a s s   S c o r e   C l a s s   K a t a l o n   0 . 5 9 2 4 3   3   0 . 0 8 5 0 1   3   Te l e r i k   0 . 5 7 6 5 1   3   0 . 0 8 1 3 3   3   M a b l   0 . 6 6 8 7 7   2   0 . 0 9 7 5 4   2   S e l e n i u m   0 . 8 5 2 7 1   1   0 . 1 1 7 7 3   1   C y p r e ss   0 . 8 0 0 5 2   1   0 . 1 1 0 3 1   1         T ab le  4.   Per f o r m an ce   ef f icien cy   o f   s ea r ch   F r a mew o r k   I S O   2 5 0 1 0   W e i g h t e d   I S O   2 5 0 1 0   S c o r e   C l a s s   S c o r e   C l a s s   K a t a l o n   0 . 5 9 2 4 3   3   0 . 0 8 5 0 1   3   Te l e r i k   0 . 5 7 6 5 1   3   0 . 0 8 1 3 3   3   M a b l   0 . 6 6 8 7 7   2   0 . 0 9 7 5 4   2   S e l e n i u m   0 . 8 5 2 7 1   1   0 . 1 1 7 7 3   1   C y p r e ss   0 . 8 0 0 5 2   1   0 . 1 1 0 3 1   1     T ab le  5.   Per f o r m an ce   ef f icien cy   o f   f ile  u p lo a d s   F r a mew o r k   I S O   2 5 0 1 0   W e i g h t e d   I S O   2 5 0 1 0   S c o r e   C l a s s   S c o r e   C l a s s   K a t a l o n   0 . 6 3 2 6 8   1   0 . 0 9 1 0 0   2   Te l e r i k   0 . 6 0 0 3 9   2   0 . 0 8 6 6 0   2   M a b l   0 . 7 4 9 3 0   1   0 . 1 0 8 7 4   1   S e l e n i u m   0 . 5 7 1 4 3   2   0 . 0 8 0 6 6   2   C y p r e ss   0 . 3 7 4 5 0   3   0 . 0 5 7 1 9   3         T ab le  6.   Per f o r m an ce   ef f icien cy   o f   f ile  d o wn lo a d   F r a mew o r k   I S O   2 5 0 1 0   W e i g h t e d   I S O   2 5 0 1 0   S c o r e   C l a s s   S c o r e   C l a s s   K a t a l o n   0 . 8 3 7 4 2   1   0 . 1 1 9 3 7   1   Te l e r i k   0 . 6 7 7 4 9   1   0 . 0 9 5 2 7   1   M a b l   0 . 7 9 3 4 4   1   0 . 1 1 1 8 4   1   S e l e n i u m   0 . 5 6 9 9 1   2   0 . 0 8 1 7 3   2   C y p r e ss   0 . 2 8 5 5 6   3   0 . 0 3 9 9 6   3     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         A n   ev a lu a tio n   mo d el  o f web s ite  test in g   fr a mewo r k  b a s ed   o n   I S O  2 5 0 1 0   …  ( Dia s   Tr i Ku r n i a s a r i )   1137       ( a)   ( b )         ( c)   ( d )       ( e)     Fig u r e  2 .   Dis to r tio n   o f   ea c h   ty p e  o f   tr a n s ac tio n   r esu lt,  ( a)   C R UD,   ( b )   GM D,   ( c)   s ea r ch ,   ( d )   f ile  u p lo a d ,   an d   ( e)   f ile  d o w n lo ad       5.   CO NCLU SI O N     T esti n g   is   a  cr u cial  asp ec t  o f   s o f twar e  d ev elo p m en t,  an d   w ith   th e  r is e  o f   au to m atio n   test in g ,   it  h as  b ec o m e  ess en tial  to   ac h iev e  m o r e  ef f icien t  an d   ac cu r ate  r esu lts .   Alth o u g h   n u m er o u s   au to m atio n   test in g   f r am ewo r k s   a r e  av ailab le,   s elec tin g   th e  m o s t  s u itab le  o n e   f o r   a  s p ec if ic  test in g   s ce n ar i o   r e m ain s   a  s ig n if ican t   ch allen g e.   T h is   s tu d y   ad d r ess es  th is   is s u e  b y   p r o p o s in g   an   ev alu atio n   m o d el  b ased   o n   s ev en   p er f o r m an ce   ef f icien cy   f ac to r s   to   class if y   web   au to m atio n   test in g   f r am e wo r k s .   T h e  p r o p o s ed   m o d el  s u cc ess f u l ly   class if ied   th e  f r am ewo r k s   ac r o s s   v ar io u s   tr an s ac tio n   ty p es,  r ev ea lin g   th at  d if f er en t  tr an s ac tio n s   o f ten   r eq u ir e  d is tin ct  f r am ewo r k   r ec o m m en d atio n s .   Ma b l  is   ef f ec tiv e  f o r   tr a n s ac tio n s   r eq u ir in g   co m p lex   in t er ac tio n s   an d   tim e   ad ju s tm en ts .   Selen iu m   an d   C y p r ess   ar e  well - s u ited   f o r   t r a n s ac tio n s   in v o lv in g   d ata  r eq u ests   an d   p r o ce s s in g .   Me an wh ile,   Kata lo n   an d   T ele r ik   ex ce l  in   h an d lin g   f ile  d o w n lo ad   tr a n s ac tio n s .   Acr o s s   all  tr an s ac tio n   ty p es,   Selen iu m   co n s is ten tly   p er f o r m s   ex ce llen tly   d u e  to   its   W eb Dr iv er   ar ch itec tu r e ,   wh ich   p r o v id es  ef f icien t  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 1 30 - 1 13 9   1138   p er f o r m an ce   with   m in im al  co m p u tatio n al  o v e r h ea d .   Fu r t h e r m o r e,   th e  s tu d y   d e m o n s tr ate s   th at  ex p er im en tal   an d   weig h ted   r esu lts   lar g ely   alig n   with   8 0 %  -   1 0 0 %  m atch ,   with   n ea r ly   id en tical  r ec o m m en d atio n s   f o r   m o s t  tr an s ac tio n s .   T h e   o u tco m es  o f   th is   s tu d y   s er v e  as  a   v alu a b le  r ef er en ce   f o r   ch o o s in g   s u itab le  s o f twar e  f o r   b o t h   test ed   f r am ewo r k s   a n d   o th er   s o f twar e  ap p licatio n s   in   th e  m ar k et.   Ad d itio n ally ,   th ese  f i n d in g s   ca n   s er v e   as  a  r ef er en ce   f o r   s elec tin g   a p p r o p r iate  s o f twar e  f o r   u n te s ted   t r an s ac tio n   ty p es  b y   alig n in g   th eir   ch ar ac ter is tics   with   th o s e  test ed   in   th is   s tu d y .   Fu r th er m o r e,   f u tu r e  r ec o m m e n d atio n s   s h o u ld   f o cu s   o n   n ar r o win g   th e   s elec tio n   b ased   o n   n o t o n ly   p er f o r m an c e  b u t a ls o   f u n ctio n ality   an d   ea s e  o f   u s e,   esp ec ially   f o r   b eg i n n er s .       ACK NO WL E DG E M E NT S    T h e  au th o r s   wo u ld   lik e  to   th a n k   I n o s o f t  T r a n s   Sis tem   f o r   a llo win g   ac ce s s   an d   u s e  o f   th e   Pip esales   web s ite  as a n   o b ject  an d   f o r   p r o v id in g   ac ce s s   to   th e  o f f icial  s ite .       RE F E R E NC E S   [ 1 ]   A sh i m a ,   G .   S h a h e a m l u n g ,   a n d   K .   R o t e ,   “ A   c o mp r e h e n s i v e   r e v i e w   f o r   t e s t   c a se   p r i o r i t i z a t i o n   i n   so f t w a r e   e n g i n e e r i n g , ”   i n   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n t e l l i g e n t   E n g i n e e ri n g   a n d   M a n a g e m e n t   ( I C I EM ) ,   2 0 2 0 ,   p p .   3 3 1 – 3 3 6 .   d o i :   1 0 . 1 1 0 9 / I C I EM 4 8 7 6 2 . 2 0 2 0 . 9 1 6 0 2 1 7 .   [ 2 ]   M .   A .   A k b a r   e t   a l . ,   “ I mp r o v i n g   t h e   q u a l i t y   o f   so f t w a r e   d e v e l o p m e n t   p r o c e ss  b y   i n t r o d u c i n g   a   n e w   m e t h o d o l o g y – AZ - mo d e l , ”   I EEE  A c c e ss ,   v o l .   6 ,   p p .   4 8 1 1 – 4 8 2 3 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 7 . 2 7 8 7 9 8 1 .   [ 3 ]   A .   S a l a h i r a d ,   G .   G a y ,   a n d   E.   M o h a m mad i ,   “ M a p p i n g   t h e   st r u c t u r e   a n d   e v o l u t i o n   o f   so f t w a r e   t e st i n g   r e sea r c h   o v e r   t h e   p a st   t h r e e   d e c a d e s, ”   J o u r n a l   o f   S y st e m s   a n d   S o f t w a r e ,   v o l .   1 9 5 ,   p .   1 1 1 5 1 8 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j ss . 2 0 2 2 . 1 1 1 5 1 8 .   [ 4 ]   E.   C i b i r   a n d   T.   E.   A y y i l d i z ,   “ A n   e m p i r i c a l   st u d y   o n   s o f t w a r e   t e st   e f f o r t   e st i mat i o n   f o r   d e f e n se  p r o j e c t s ,”  I EE E  A c c e ss ,   v o l .   1 0 ,   p p .   4 8 0 8 2 – 4 8 0 8 7 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 1 7 2 3 2 6 .   [ 5 ]   A .   J.   A b d u l w a r e t h   a n d   A .   A .   A l - S h a r g a b i ,   “ T o w a r d   a   mu l t i - c r i t e r i a   f r a me w o r k   f o r   se l e c t i n g   so f t w a r e   t e st i n g   t o o l s , ”   I EEE   A c c e ss ,  v o l .   9 ,   p p .   1 5 8 8 7 2 – 1 5 8 8 9 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 1 2 8 0 7 1 .   [ 6 ]   K .   T h a n t ,   H .   H .   K .   Ti n ,   a n d   I n d ,   “ T h e   i mp a c t   o f   m a n u a l   a n d   a u t o m a t i c   t e s t i n g   o n   s o f t w a r e   t e st i n g   e f f i c i e n c y   a n d   e f f e c t i v e n e ss , ”   I n d i a n   J o u r n a l   o f   S c i e n c e   a n d   Re s e a r c h ,   p p .   8 8 – 9 3 ,   M a y   2 0 2 3 .   [ 7 ]   M .   A .   U mar  a n d   Z.   C h e n ,   “ A   st u d y   o f   a u t o ma t e d   so f t w a r e   t e st i n g :   a u t o m a t i o n   t o o l s  a n d   f r a mew o r k s , ”   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   S c i e n c e   En g i n e e r i n g   ( I J C S E) ,   v o l .   8 ,   p p .   2 1 7 – 2 2 5 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 5 2 8 1 / z e n o d o . 3 9 2 4 7 9 5 .   [ 8 ]   A .   A l m o g a h e d   e t   a l . ,   “ A   r e f a c t o r i n g   c l a ss i f i c a t i o n   f r a mew o r k   f o r   e f f i c i e n t   s o f t w a r e   ma i n t e n a n c e , ”   I EEE   Ac c e ss ,   v o l .   1 1 ,   p p .   7 8 9 0 4 – 7 8 9 1 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 9 8 6 7 8 .   [ 9 ]   B .   M a j e e d ,   S .   K .   T o o r ,   K .   M a j e e d ,   a n d   M .   N .   A .   C h a u d h a r y ,   “ C o m p a r a t i v e   st u d y   o f   o p e n   so u r c e   a u t o m a t i o n   t e st i n g   t o o l s:   sel e n i u m ,   k a t a l o n   st u d i o   &  t e st   p r o j e c t , ”   i n   2 0 2 1   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n n o v a t i v e   C o m p u t i n g   ( I C I C ) ,   2 0 2 1 ,   p p .   1 – 6 .   d o i :   1 0 . 1 1 0 9 / I C I C 5 3 4 9 0 . 2 0 2 1 . 9 6 9 3 0 6 6 .   [ 1 0 ]   H .   V .   G a mi d o   a n d   M .   V .   G a mi d o ,   “ C o mp a r a t i v e   r e v i e w   o f   t h e   f e a t u r e s   o f   a u t o ma t e d   so f t w a r e   t e st i n g   t o o l s , ”   I n t e rn a t i o n a l   J o u rn a l   o f   El e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g ,   v o l .   9 ,   n o .   5 ,   p p .   4 4 7 3 – 4 4 7 8 ,   O c t .   2 0 1 9 ,   d o i :   1 0 . 1 1 5 9 1 / i j e c e . v 9 i 5 . p p 4 4 7 3 - 4 4 7 8 .   [ 1 1 ]   D .   Y u n i a sr i ,   P .   D a m a y a n t i ,   a n d   S .   R o c h i ma h ,   “ P e r f o r ma n c e   e f f i c i e n c y   e v a l u a t i o n   f r a mew o r k s  b a se d   o n   I S O   2 5 0 1 0 , ”   i n   1 0 t h   El e c t r i c a l   P o w e r,  El e c t r o n i c s,  C o m m u n i c a t i o n s,  C o n t ro l s  a n d   I n f o r m a t i c s  S e m i n a r  ( EEC C I S ) ,   2 0 2 0 ,   p p .   2 5 4 – 2 5 8 .   d o i :   1 0 . 1 1 0 9 / EE C C I S 4 9 4 8 3 . 2 0 2 0 . 9 2 6 3 4 3 2 .   [ 1 2 ]   H .   A .   T h o o r i q o h ,   S .   R o c h i m a h ,   C .   F a t i c h a h ,   a n d   M .   A l f i a n ,   “ A   r e c o mm e n d a t i o n   m o d e l   o f   R EST  A P I   t e st i n g   f r a mew o r k   b a se d   o n   r e so u r c e   u t i l i z a t i o n   o f   I S O / I EC   2 5 0 1 0 , ”   i n   2 0 2 2   5 t h   I n t e rn a t i o n a l   S e m i n a r  o n   Re se a r c h   o f   I n f o rm a t i o n   T e c h n o l o g y   a n d   I n t e l l i g e n t   S y s t e m s (I S RI T I ) ,   2 0 2 2 ,   p p .   3 8 3 – 3 8 9 .   d o i :   1 0 . 1 1 0 9 / I S R I TI 5 6 9 2 7 . 2 0 2 2 . 1 0 0 5 2 9 2 2 .   [ 1 3 ]   K .   N a g e n d r a n ,   A .   A d i t h y a n ,   R .   C h e t h a n a ,   P .   C a mi l l u s,   a n d   K .   B .   B a l a   S r i   V a r s h i n i ,   “ W e b   a p p l i c a t i o n   p e n e t r a t i o n   t e st i n g , ”   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i v e   T e c h n o l o g y   a n d   E x p l o r i n g   En g i n e e r i n g ,   v o l .   8 ,   n o .   1 0 ,   p p .   1 0 2 9 – 1 0 3 5 ,   A u g .   2 0 1 9 ,   d o i :   1 0 . 3 5 9 4 0 / i j i t e e . J9 1 7 3 . 0 8 8 1 0 1 9 .   [ 1 4 ]   G .   D e so l d a ,   R .   L a n z i l o t t i ,   D .   C a i v a n o ,   M .   F .   C o st a b i l e ,   a n d   P .   B u o n o ,   “ A sy n c h r o n o u s  r e m o t e   u sa b i l i t y   t e s t s  u si n g   w e b - b a s e d   t o o l s  v e r su s  l a b o r a t o r y   u sa b i l i t y   t e st s :   a n   e x p e r i m e n t a l   st u d y ,”  I E EE  T r a n s  H u m   M a c h   S y s t ,   v o l .   5 3 ,   n o .   4 ,   p p .   7 3 1 – 7 4 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / TH M S . 2 0 2 3 . 3 2 8 2 2 2 5 .   [ 1 5 ]   S .   M a z h a r ,   S .   R a sh e d ,   a n d   S .   Z u b a i r ,   “ C o m p a r a t i v e   a n a l y si s   o f   s o f t w a r e   p e r f o r m a n c e   o n   w e b   b a se d   a p p l i c a t i o n , ”   i n   I EEE   9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n ,   C o m m u n i c a t i o n   a n d   N e t w o rks   ( I C I C N ) ,   2 0 2 1 ,   p p .   3 4 6 – 3 5 0 .   d o i :   1 0 . 1 1 0 9 / I C I C N 5 2 6 3 6 . 2 0 2 1 . 9 6 7 3 9 3 4 .   [ 1 6 ]   V .   Ti w a r i ,   S .   U p a d h y a y ,   J.   K .   G o sw a mi ,   a n d   S .   A g r a w a l ,   “ A n a l y t i c a l   e v a l u a t i o n   o f   w e b   p e r f o r m a n c e   t e s t i n g   t o o l s :   a p a c h e   j me t e r   a n d   S o a p U I , ”   i n   I EEE   1 2 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m m u n i c a t i o n   S y s t e m s  a n d   N e t w o r k   T e c h n o l o g i e s   ( C S N T ) ,   2 0 2 3 ,   p p .   5 1 9 – 5 2 3 .   d o i :   1 0 . 1 1 0 9 / C S N T 5 7 1 2 6 . 2 0 2 3 . 1 0 1 3 4 6 9 9 .   [ 1 7 ]   P a l a k ,   P .   G u l i a ,   a n d   N .   S .   G i l l ,   “ H y b r i d   sw a r m i n t e l l i g e n c e - b a se d   so f t w a r e   t e st i n g   t e c h n i q u e s   f o r   i m p r o v i n g   q u a l i t y   o f   c o mp o n e n t   b a s e d   s o f t w a r e , ”   I n d o n e si a n   J o u r n a l   o f   E l e c t ri c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e ,   v o l .   2 2 ,   n o .   3 ,   p p .   1 7 1 6 – 1 7 2 2 ,   Ju n .   2 0 2 1 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s . v 2 2 . i 3 . p p 1 7 1 6 - 1 7 2 2 .   [ 1 8 ]   R .   B .   B a h a w e r e s  e t   a l . ,   “ B e h a v i o r - d r i v e n   d e v e l o p m e n t   ( B D D )   c u c u mb e r   k a t a l o n   f o r   a u t o m a t i o n   G U I   t e s t i n g   c a s e   C U R A   a n d   sw a g   l a b s , ”   i n   2 0 2 0   I n t e rn a t i o n a l   C o n f e re n c e   o n   I n f o rm a t i c s,  M u l t i m e d i a ,   C y b e r  a n d   I n f o rm a t i o n   S y st e m   ( I C I MC I S ) ,   2 0 2 0 ,   p p .   87 – 9 2 .   d o i :   1 0 . 1 1 0 9 / I C I M C I S 5 1 5 6 7 . 2 0 2 0 . 9 3 5 4 3 2 5 .   [ 1 9 ]   R .   K .   L e n k a ,   U .   S a t a p a t h y ,   a n d   M .   D e y ,   “ C o mp a r a t i v e   a n a l y si s   o n   a u t o ma t e d   t e st i n g   o f   w e b - b a s e d   a p p l i c a t i o n , ”   i n   I n t e r n a t i o n a l   C o n f e re n c e   o n   A d v a n c e s  i n   C o m p u t i n g ,   C o m m u n i c a t i o n   C o n t r o l   a n d   N e t w o r k i n g   ( I C A C C C N ) ,   2 0 1 8 ,   p p .   4 0 8 – 4 1 3 .   d o i :   1 0 . 1 1 0 9 / I C A C C C N . 2 0 1 8 . 8 7 4 8 3 7 4 .   [ 2 0 ]   A .   C h e v u t u r u ,   D .   M a t h u r ,   B .   J.   K u m a r   R e d d y ,   a n d   D .   R ,   “ A   c o mp a r a t i v e   s u r v e y   o n   s o f t w a r e   t e st i n g   t o o l s , ”   I n t e r n a t i o n a l   J o u r n a l   o f   En g i n e e r i n g   a n d   Ad v a n c e d   T e c h n o l o g y ,   v o l .   1 1 ,   p p .   3 2 – 4 0 ,   A u g .   2 0 2 2 ,   d o i :   1 0 . 3 5 9 4 0 / i j e a t . F 3 6 6 4 . 0 8 1 1 6 2 2 .   [ 2 1 ]   I .   U .   H a q   a n d   T.   A .   K h a n ,   “ P e n e t r a t i o n   f r a mew o r k s  a n d   d e v e l o p m e n t   i ssu e s  i n   se c u r e   m o b i l e   a p p l i c a t i o n   d e v e l o p me n t :   a   sy st e ma t i c   l i t e r a t u r e   r e v i e w ,”  I E EE  A c c e ss ,   v o l .   9 ,   p p .   8 7 8 0 6 – 8 7 8 2 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 0 8 8 2 2 9 .   [ 2 2 ]   J.  M i g u e l ,   D .   M a u r i c i o ,   a n d   G .   R o d r i g u e z ,   “ A   r e v i e w   o f   so f t w a r e   q u a l i t y   m o d e l s  f o r   t h e   e v a l u a t i o n   o f   so f t w a r e   p r o d u c t s ,”  I n t e r n a t i o n a l   j o u r n a l   o f   S o f t w a r e   E n g i n e e ri n g   &   A p p l i c a t i o n s ,   v o l .   5 ,   p p .   3 1 – 5 4 ,   N o v .   2 0 1 4 ,   d o i :   1 0 . 5 1 2 1 / i j se a . 2 0 1 4 . 5 6 0 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         A n   ev a lu a tio n   mo d el  o f web s ite  test in g   fr a mewo r k  b a s ed   o n   I S O  2 5 0 1 0   …  ( Dia s   Tr i Ku r n i a s a r i )   1139   [ 2 3 ]   A .   R a v a n e l l o ,   J. - M .   D e s h a r n a i s ,   A .   A p r i l ,   A .   G h e r b i ,   a n d   L.   B a u t i st a   V i l l a l p a n d o ,   “ A sso c i a t i n g   p e r f o r ma n c e   me a su r e s  w i t h   p e r c e i v e d   e n d   u ser   p e r f o r m a n c e :   I S O   2 5 0 2 3   c o m p l i a n t   l o w   l e v e l   d e r i v e d   mea s u r e s , ”   i n   T h e   S i x t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   C l o u d   C o m p u t i n g ,   G RI D s,   a n d   V i rt u a l i z a t i o n ,   M a r .   2 0 1 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / e s p a c e 2 . e t smt l . c a / i d / e p r i n t / 1 2 2 4 5 /   ( A c c e sse d :   J u n .   0 3 ,   2 0 2 4 )   [ 2 4 ]   S .   K a r n o u s k o s,  R .   S i n h a ,   P .   L e i t ã o ,   L .   R i b e i r o ,   a n d   T.   I .   S t r a sser,   “ T h e   a p p l i c a b i l i t y   o f   I S O / I EC   2 5 0 2 3   me a su r e s t o   t h e   i n t e g r a t i o n   o f   a g e n t s  a n d   a u t o ma t i o n   s y st e ms , ”   i n   4 4 t h   A n n u a l   C o n f e re n c e   o f   t h e   I EE E  I n d u st r i a l   El e c t r o n i c s  S o c i e t y ,   2 0 1 8 ,   p p .   2 9 2 7 – 2 9 3 4 .   d o i :   1 0 . 1 1 0 9 / I EC O N . 2 0 1 8 . 8 5 9 2 7 7 7 .   [ 2 5 ]   V .   V .   K r i s h n a   a n d   G .   G o p i n a t h ,   “ T e st   a u t o m a t i o n   o f   w e b   a p p l i c a t i o n   l o g i n   p a g e   b y   u si n g   s e l e n i u m  i d e   i n   a   w e b   b r o w s e r , ”   We b o l o g y ,   v o l .   1 8 ,   n o .   S p e c i a l   I ssu e ,   p p .   7 1 3 – 7 3 2 ,   2 0 2 1 ,   d o i :   1 0 . 1 4 7 0 4 / W EB / V 1 8 S I 0 4 / W E B 1 8 1 6 0 .   [ 2 6 ]   A .   M .   S i n a g a   a n d   M .   S i t a n g g a n g ,   “ P e r f o r ma n c e   c o m p a r i s o n   o f   k a t a l o n   st u d i o   a n d   a p p i u m  o n   i n v e st r e e   a p p l i c a t i o n   i n   f u n d i n g   mo d u l e , ”   i n   2 0 2 3   I EE E  I n t e r n a t i o n a l   C o n f e re n c e   o n   D a t a   a n d   S o f t w a re  En g i n e e ri n g   ( I C o D S E) ,   2 0 2 3 ,   p p .   1 9 6 – 2 0 1 .   d o i :   1 0 . 1 1 0 9 / I C o D S E5 9 5 3 4 . 2 0 2 3 . 1 0 2 9 1 5 9 0 .   [ 2 7 ]   T.   K a z i mo v ,   T.   B a y r a mo v a ,   a n d   N .   M a l i k o v a ,   “ R e se a r c h   o f   i n t e l l i g e n t   met h o d s  o f   s o f t w a r e   t e s t i n g , ”   S y s t e m   rese a rc h   a n d   i n f o rm a t i o n   t e c h n o l o g i e s ,   p p .   4 2 – 5 2 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 2 0 5 3 5 / S R I T. 2 3 0 8 - 8 8 9 3 . 2 0 2 1 . 4 . 0 3 .   [ 2 8 ]   T.   A t a n a si j e v i c ,   H o w   To   C r e a t e   A   S u c c e ssf u l   U s e r   E x p e r i e n c e   ( U X )   o n   Th e   H a p p y   P a t h   a n d   Th e   U n h a p p y   P a t h ,   C o n f e r e n c e :   H u m a n   C o m p u t e r  I n t e ra c t i o n ,   M a st e r  4 . 0   Pr o g r a m ,   U n i v e rsi t y   o f   K ra g u j e v a c A t :   K ra g u j e v a c ,   S e r b i a ,   2 0 2 0 .   d o i :   1 0 . 1 3 1 4 0 / R G . 2 . 2 . 1 0 3 8 7 . 7 1 2 0 7 .   [ 2 9 ]   M .   A .   S .   A l - N u a i m i   a n d   A .   A .   I b r a h i m,  “ A n a l y z i n g   a n d   d e t e c t i n g   t h e   d e - a u t h e n t i c a t i o n   a t t a c k   b y   c r e a t i n g   a n   a u t o m a t e d   sc a n n e r   u si n g   sc a p y , ”   I n t e rn a t i o n a l   J o u rn a l   o n   R e c e n t   a n d   I n n o v a t i o n   T re n d s  i n   C o m p u t i n g   a n d   C o m m u n i c a t i o n ,   v o l .   1 1 ,   n o .   2 ,   p p .   1 3 1 – 1 3 7 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 7 7 6 2 / i j r i t c c . v 1 1 i 2 . 6 1 3 7 .   [ 3 0 ]   L.   S o u t h ,   D .   S a f f o ,   O .   V i t e k ,   C .   D u n n e ,   a n d   M .   B o r k i n ,   “ Ef f e c t i v e   u se   o f   l i k e r t   sc a l e s   i n   v i su a l i z a t i o n   e v a l u a t i o n s:   a   s y st e ma t i c   r e v i e w , ”   i n   E u r o g ra p h i c s   C o n f e re n c e   o n   Vi s u a l i za t i o n   ( E u r o Vi s) ,   A p r .   2 0 2 2 .   d o i :   h t t p s: / / d o i . o r g / 1 0 . 1 1 1 1 / c g f . 1 4 5 2 1 .   [ 3 1 ]   S .   N y a ma t h u l l a ,   D r .   P .   R a t n a b a b u ,   N .   S u l t a n a   S h a i k ,   a n d   B .   La k s h mi ,   “ A   r e v i e w   o n   s e l e n i u m   w e b   d r i v e r   w i t h   p y t h o n , ”   An n   Ro m   S o c   C e l l   Bi o l ,   p p .   1 6 7 6 0 – 1 6 7 6 8 ,   2 0 2 1 .   [ 3 2 ]   S .   G o j a r e ,   R .   J o sh i ,   a n d   D .   G a i g a w a r e ,   “ A n a l y si s   a n d   d e s i g n   o f   se l e n i u m   w e b d r i v e r   a u t o m a t i o n   t e s t i n g   f r a m e w o r k , ”   Pro c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   5 0 ,   p p .   3 4 1 – 3 4 6 ,   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 1 5 . 0 4 . 0 3 8 .   [ 3 3 ]   R .   S a m l ı   a n d   Z .   O r m a n ,   “ A   c o mp r e h e n si v e   o v e r v i e w   o f   w e b - b a se d   a u t o mat e d   t e st i n g   t o o l s ,”  İ l e r i   M ü h e n d i s l i k   Ç a l ı şm a l a rı   v e   T e k n o l o j i l e r i   D e rg i si ,   v o l .   4 ,   n o .   1 ,   p p .   13 – 2 8 ,   2 0 2 3 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / d e r g i p a r k . o r g . t r / e n / p u b / i m c t d / i ssu e / 7 9 6 8 0 / 1 2 9 9 1 5 5   ( A c c e ss e d :   A u g .   2 5 )       B I O G RAP H I E S O F   AUTH O RS        Dia s  Tr i  K u r n ia s a r i          h a s  su c c e ss fu ll y   e a rn e d   a   b a c h e l o r’s  d e g re e   (S . Ko m . )  i n   in fo rm a ti c s  fro m   th e   I n stit u t  Tek n o l o g i   S e p u lu h   N o p e m b e r  i n   2 0 2 3 .   S h e   is  c u rre n tl y   st u d y in g   fo r  a   m a ste r’s  d e g re e   a t  th e   D e p a rtme n t  o f  In f o rm a ti o n   En g in e e rin g ,   In st it u t  Tek n o lo g i   S e p u l u h   N o p e m b e r.   He r  re se a rc h   in tere sts  in c l u d e   so ftwa re   q u a l it y ,   trac e a b il it y ,   a n d   tes ti n g .   S h e   c a n   b e   c o n tac ted   at   e m a il :  6 0 2 5 2 3 1 0 9 0 @s tu d e n t. it s.a c . id .         S iti   Ro c h i m a h           su c c e ss fu ll y   e a rn e d   a   d o c to ra l  d e g re e   (P h . D . )  i n   so ftwa re   e n g in e e rin g   fr o m   Un i v e rsiti   Te k n o l o g i   M a lay sia   i n   2 0 1 0 .   Cu rre n tl y ,   sh e   is   th e   h e a d   o f  t h e   S o ftwa re   E n g i n e e rin g   lab o ra to r y   a t  th e   De p a rtme n t  o f  I n fo rm a ti c s,   In stit u t   Tek n o l o g i  S e p u l u h   No p e m b e r.   He r  wo rk   in v o l v e s  writi n g   m o re   th a n   1 0 0   a rt icle s  re late d   to   s o ftwa re   e n g i n e e rin g .   He r  re se a r c h   in ter e sts  in c lu d e   so f twa re   q u a li ty ,   trac e a b il it y ,   a n d   te stin g .   S h e   c a n   b e   c o n tac ted   at   e m a il :   siti @its. a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.