I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   5 ,  Octo b e r   2 0 1 7 ,   p p .   2 8 4 7 ~2 854   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 5 . pp 2 8 4 7 - 2 854          2847       J o ur na l ho m ep a g e :  h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   A Sys te m a tic  Ma pping  Review  of Softw a re Q ua lity  M ea sure m e nt:  Re sea rch Trends,  M o del,  a nd Me thod       T enia   Wa hy un i ng ru m 1 ,  K ha bib   M us t o f a 2   1 Dep ar t m en t o f   I n f o r m atic s ,   S T 3   T elk o m ,   P u r w o k er to ,   I n d o n esia   2 Dep ar t m en t o f   C o m p u ter   Sci en ce   &   E lectr o n ics,  U n iv er s ita s   Gad j ah   Ma d a,   Yo g y a k ar ta,   I n d o n esia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J an   12 ,   2 0 1 7   R ev i s ed   Mar   14 ,   2 0 1 7   A cc ep ted   J u n   11 ,   2 0 1 7       S o f tw a r e   q u a li ty   is  a   k e y   f o r  th e   su c c e ss   in   th e   b u sin e ss   o f   in f o r m a ti o n   a n d   tec h n o l o g y .   He n c e ,   b e f o re   b e   m a rk e t e d ,   it   n e e d s  th e   so f tw a r e   q u a li ty   m e a su re m e n t  to   f u lf il l  th e   u se r  re q u irem e n ts.   S o m e   m e th o d s  o f   th e   so f t w a r e   q u a li ty   a n a l y sis  h a v e   b e e n   tes te d   i n   a   d if f e r e n t  p e rsp e c ti v e ,   a n d   w e   h a v e   p re se n ted   th e   so f twa re   m e th o d   in   th e   p o i n t  o f   v ie w   o f   u se rs  a n d   e x p e rts.   T h is  stu d y   a i m s  to   m a p   th e   m e th o d   o f   so f t w a r e   q u a li ty   m e a su re m e n t  in   a n y   m o d e ls  o f   q u a li ty .   Us in g   th e   m e t h o d   o f   S y ste m a ti c   M a p p in g   S tu d y ,   w e   d id   a  se a rc h in g   a n d   f il terin g   o f   p a p e rs   u sin g   th e   in c l u sio n   a n d   e x c lu si o n   c rit e ria.   4 2   re lev a n t  p a p e rs  h a v e   b e e n   o b tai n e d   th e n .   T h e   re su lt   o f   th e   m a p p in g   sh o w e d   th a t  t h o u g h   t h e   m o d e l  o f   IS O  S Qu a RE  h a s  b e e n   w id e ly   u se d   sin c e   th e   las t  f iv e   y e a rs  a n d   e x p e rien c e d   th e   d y n a m ics ,   th e   re s e a rc h e rs i n   In d o n e sia   stil l  u se d   IS O 9 1 2 6   u n ti l   th e   e n d   o f   2 0 1 6 . T h e   m o st co m m o n l y   u se d   m e th o d   o f   th e   so f tw a re   q u a li ty   m e a su re m e n t   M e th o d   is  t h e   e m p iri c a l  m e th o d ,   a n d   so m e   re se a rc h e rs  h a v e   d o n e   a n   A H P   a n d   F u z z y   a p p ro a c h   in   m e a su rin g   th e   so f t w a re   q u a li ty .   K ey w o r d s :   So f t w ar e  q u alit y   m o d el   S y s te m a tic  m ap p i n g   s tu d y   Usab ilit y   e v al u atio n   m et h o d     Co p y rig h t  ©   2 0 1 7   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   T en ia  W ah y u n i n g r u m ,    I n f o r m a tics   Dep ar t m en t ,   ST 3   T elk o m   P u r w o k er to ,   J l D I   P an j aitan   1 2 8   P u r w o k er t o ,   B an y u m as  R eg e n c y ,   I n d o n e s ia.   E m ail: te n ia @ s t3 tel k o m . ac . id       1.   I NT RO D UCT I O N     So f t w ar e  p r o d u ct  q u alit y   i s   a   cr itical  f ac to r   i n   b u s in e s s   [ 1 ] .   I t  is   d eter m i n ed   b y   to   w h at  ex ten t  t h e  p r o d u ct  co u ld   m ee t  th e  u s er   n ee d s ,   an d   d o   its   p er f o r m an c e,   an d   h o w   m a n y   d e f ec ts   i n   th at  s o f t w ar e  [ 2 ] .   Hen ce ,   it   n ee d s   to   d o   th e   q u ali t y   c h ec k in g   b e f o r e  th e   s o f t w ar e  p r o d u cts  is   s e n t  to   th e   m ar k e t  as  t h e  r ep ar atio n   af ter   d eliv er y   is   v ie w ed   v er y   c o s tl y   a n d   ca n   a f f ec t t h e  co m p a n y   cr ed ib ilit y   [ 3 ] .   So m e  r esear ch er s   h av e  s t u d ied   th e  s o f t w ar e  p r o d u ct  q u alit y   i n   a  d if f er en t  p er s p ec tiv e  s u c h   as  B o eh m   m o d el  [ 4 ] ,   Dr o m e y   m o d el  [ 5 ] ,   Mc C all   m o d el   [ 6 ] ,   I SO/IE C   9 1 2 6   [ 7 ]   an d   I S O/I E C   SQ u aRE   [ 8 ] .   B ased   o n   t h e  m o d el  d ef in ed ,   th e   q u ali t y   o f   th e   s o f t w ar e  p r o d u ct  is   m ea s u r ed   r eg ar d in g   it s   ab ilit y   to   f u l f ill   th e  ai m   o f   t h e  d ev elo p er s   an d   th e  n ee d s   o f   t h e   u s er s   [ 9 ] .   Fo r   th is ,   h u m a n   as   th e  u s er   b ec o m es  t h e  f ac to r   th at  n ee d s   to   b e  in v o l v ed   in   th e  m et h o d   o f   th e  s o f t w ar e  q u a lit y   m ea s u r e m e n t .   A d o p tin g   t h e  ter m   o f   Usab il it y   E v al u atio n   Me th o d ,   th e n   t h e  an a l y s is   o f   t h e   s o f t w ar e  is   d iv id ed   in to   t w o :  an al y tical  m et h o d   ( m ea s u r e m en t  b y   t h e  ex p er ts )   an d   e m p ir ical  m et h o d   ( m ea s u r e m e n t   b y   u s er s )   [ 1 0 - 1 2 ] .   T h e  ex p er ts   in cl u d e  t h e  ac ad e m icia n s   a n d   p r ac tit io n er s   i n   s o f t w ar e   en g i n ee r i n g ,   co n te n t  e x p er t,  a n d   tec h n ical   ex p er t.  Me a n w h i le,   th e   u s er s   h er e  i n cl u d e  en d   u s er ,   i n cl u d in g   t h e   m an a g er ,   e m p lo y ee s ,   lectu r er s ,   s tu d en t s   o r   cu s to m er s   u s in g   th e  s o f t w ar e.   T h is   r esear ch   aim s   to   s ee   t h e  tr en d   o f   th e  m o d el  an d   th e  m et h o d   o f   th e  m ea s u r e m e n t  o f   t h e  s o f t w ar e  in   t h e  last   1 0 - y ea r   p er io d .   T h e  p atter n   o f   th e   m o d el  a n d   th e  m et h o d   ar e  u s ed   as  th e  r ef er en ce s   i n   th e  s u b s eq u en t  r esear ch er s .   T h is   r esear ch   u s ed   th e  m et h o d   o f   S y s te m at ic  Ma p p in g   St u d y   b ased   u p o n   t h e  r e s ea r ch   q u es tio n s .   T h is   ap p r o ac h   co u ld   p r o v id e  a   d escr ip tio n   o f   th e  r esear ch   ar ea ,   id en tify   t h e  n u m b er   o f   r esea r ch ,   t y p e  o f   th e  r esear ch   an d   t h e  r esu lt s   av ailab le   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 8 4 7   –   2 8 5 4   2848   [ 1 3 ] .   T h is   p ap er   is   o r g an ized   as  f o llo w s :  C h ap ter   2   d is cu s s es  t h e  m o d el  an d   t h e  m eth o d   o f   m ea s u r in g   t h e   q u alit y   o f   t h e  s o f t w ar e.   C h ap t er   3   p r esen ts   th e  m et h o d   o f   S y s te m atic  Ma p p in g   St u d y .   C h ap ter   4   ex p lain s   t h e   r esu lt s   o f   S y s te m a tic  Ma p p in g   St u d y ,   a n d   C h ap ter   5   p r esen ts   t h e  co n cl u s io n   a n d   th e  s u g g e s tio n   f o r   s o m e   ar ea s   f o r   th e  f u r t h er   r esear ch e s .       2.   SO F T WAR E   Q UA L I T Y   M E ASUR E M E NT   2 . 1 .   So f t wa re   Q ua lity   M o del   Mig u el,   et. al  d iv id ed   So f t w a r e  Qu alit y   Mo d el  i n to   t w o   t y p e s :  t h e  b asic  m o d el  an d   t h e  tailo r ed   m o d el.   I SO  SQ u aREi s   a  co m p lete  m o d el  o f   t h e  b asic  m o d el  an d   f o r   th e  ta ilo r ed   m o d el  it h as so m e  l i m itatio n s   f o r   b ein g   s h ap ed   b y   ce r tain   p er s p ec tiv e  an d   u s ed   f o r   ce r tain   p r o d u cts  [ 1 4 ] .   E ac h   s o f t w ar e  q u alit y   m o d el  h a s   s o m e  ch ar ac ter is t ics  an d   s u b - ch ar ac ter i s tics ;  th u s   f o r m in g   th e  h ier ar ch y   m o d el.   T h e  m o d el  o f   s o f t w ar e   q u alit y   b ased   u p o n   I SO   Sq u a R E   is   d iv id ed   i n to   2 :  p r o d u ct   q u alit y   a n d   q u al it y   i n   u s e.   T h e  p r o d u ct  q u al it y   in cl u d es  f u n ctio n al  s u itab ili t y ,   p er f o r m a n ce   e f f icie n c y ,   co m p atib ilit y ,   u s ab ilit y ,   r eliab ilit y ,   s ec u r i t y ,   m ai n tai n ab ilit y   an d   p o r tab ilit y   [ 8 ] .   B o eh m   m o d el  r ese m b les  Mc C all  m o d el  in   t h e  d escr ip ti o n   o f   t h e  h ier ar c h y   st r u ct u r e  f r o m   th e  c h ar ac ter is tics   in   w h ic h   ea c h   o f   t h e m   c o n tr ib u tes  to   t h e  en tire   q u alit y .   Me an w h ile,   I S O   9 1 2 6   h as  s ix   ch ar ac ter is tics   o f   th e   ev al u atio n   o f   s o f t w ar e;  th o s e  ar e  f u n c tio n ali t y ,   r e liab ilit y ,   u s ab il it y ,   ef f icien c y ,   m ai n tai n ab ilit y   a n d   p o r tab ilit y   [ 1 5 ] .   B ased   o n   th e  d ev elo p m en t   o f   th e   m o d el  o f   s o f t w ar e  q u a lit y ,   th en   it  is   d ee m ed   n ec ess ar y   to   co n d u ct  r e s ea r ch   o n   t h e  tr e n d   d ev elo p ed   in   th e   last   d ec ad e  f o r   a n   i m p r o v e m en t.     2 . 2 .   E m pir ica l M et ho d VS  A na ly t ica l  M et ho d   A d o p tin g   t h e  ter m   o f   U s ab ilit y   E v al u at io n   Me th o d ,   th e   s o f t w ar e  q u alit y   m ea s u r e m e n t   is   d iv id ed   in to   2 : E x p er t E v alu a tio n   ( ca lled   a s   th e  a n al y tical  m et h o d )   an d   U s er   T esti n g   ( ca lled   as  th e  e m p i r ical  m et h o d )   [ 1 0 ] ,   [ 1 1 ] ,   [ 1 6 ] .   T h e  an al y tical  UE Ms  in cl u d es  He u r is tic  E v al u at io n ,   C o g n iti v e  W alk t h r o u g h ,   Gu id eli n es,  GOM S,   an d   s o   o n   [ 1 7 ] .   On   th e  o th er   h an d ,   e m p ir ical  UE Ms  co v er s   an y   m et h o d s   an d   p r o ce d u r es  f r eq u en tl y   ca lled   a s   User   T esti n g   s u c h   a s   User   P er f o r m a n ce   T est,  Usab ilit y   T est  a. k . a  T h in k in g   A lo u d ,   o r   R e m o te  Usab ilit y   T est,   B eta  T est,  Fo r u m   T est ,   C o o p er ativ e  E v al u atio n   a n d   C o a ch in g   Me t h o d .   I n   ad d itio n   to   th e  an al y tica l  an d   e m p ir ical  m et h o d s ,   th er e  i s   a n o th er   m et h o d   f o cu s ed   o n   t h e  test   o f   t h e  u s er   li k es,  u s er   d is lik e,   n ee d s   a n d   s y s te m   co m p r e h e n s io n   b y   a s k in g   t h e  u s er s ,   o b s er v atio n   o r   q u esti o n - a n s w er   i n   s p o k e n   an d   in   w r it ten .   T h o s e  m et h o d s   in cl u d e  User   Sati s f ac tio n   Qu e s tio n n air e,   Field   Ob s e r v atio n ,   Fo cu s   Gr o u p ,   an d   I n te r v ie w   [ 1 8 ] .     3.   RE S E ARCH   M E T H O D   T h is   r esear ch   u s ed   S y s te m at ic  Ma p p in g   S tu d y   to   b u ild   th e  s ch e m e   clas s i f icatio n   to   s h o w   t h e   f r eq u en c y   o f   p u b licatio n ,   to   d eter m i n e  th e  s co p e  in   t h e  ce r t ain   f ield ,   an d   to   co m b i n e  th e  r esu lt s   i n   an s w er i n g   th e  r esear c h   q u e s tio n s   m o r e  s p ec if icall y   to   s tr u ct u r e  t h e  r es ea r ch   t y p e  a n d   t h e  r es u lt s   b y   class i f y in g   t h e  ar ea .   S y s te m a tic  Ma p p in g   St u d y   is   a  m et h o d   th at  in itiall y   h as  b ee n   u s ed   in   m ed icin e  clas s i f icati o n   b u t  r ec en tl y   it  is   also   ap p lied   in   s o f t w ar e  en g i n ee r in g   f ield   [ 1 9 ] .   T h er e  ar e  f iv e  s tep s   in   S y s te m atic  Ma p p i n g   St u d y   i n cl u d in g   d ef in i n g   t h e  r esear c h   q u esti o n ,   s ea r ch i n g   t h e  r ele v an t   p ap er s ,   f ilter in g   th e   p ap er s   b ased   o n   t h e  ab s tr ac t,   an d   m ap p in g   t h e  d ata   ex tr ac tio n .   E ac h   p r o ce s s   h as   a  r es u lt,   an d   ea ch   r e s u l t  o f   d ata  m i n i n g   is   u s ed   to   m a k e  a   m ap   [ 1 3 ] .   Fig u r e  1   s h o w s   th e  s tep s   in   t h e  m eth o d   o f   S y s te m atic  Ma p p in g   St u d y .   As  t h e  f ir s t  p h ase,   t h e  r esear ch er   d ef in e s   R esear ch   Q u est io n   ( R Q)   to   e m p h asize   t h e  p ar ticu lar   ar ea .   T h e  r esu l t  o f   t h e  d eter m in atio n   o f   R   is   t h e   r esear ch   s co p e.   I n   t h e  s ec o n d   s tep ,   th e   r esear ch er s   id en tify ,   cr ea te  an d   te s t  t h e  s tr i n g   o f   th e  s ea r ch i n g   i n   th e   s cien t if ic  d atab ase  to   f i n d   th e  r elev an t  p ap er s .   T h e  s tr in g   o f   s ea r ch in g   i s   f o u n d   f r o m   th e  R esear ch   Q u es tio n .   Su b s eq u e n tl y ,   t h e  r esear ch er s   r ea d   all  titl es,  ab s tr ac ts   an d   p ap er s   ( r ea d in g   in   d etail)   to   d ec id e  th e  ap p r o p r iate  p ap er   b ased   o n   th e  i n clu s io n   an d   ex cl u s io n   ar ea .   T h e  last   s tep   is   d ata  ex tr ac tio n   an d   t h e  m ap p in g   p r o ce s s   r esu lti n g   in   t h e  s y s te m at ic  to   en ab le  th e  r esear c h er s   to   d r a w   t h e  co n cl u s io n   o f   th e  d ata  o b tai n ed .       D e f i n i t i o n   o f   R e s e a r c h   Q u e s t i o n P r o c e s s   S t e p s O u t c o m e s R e v i e w   S c o p e S e a r c h i n g   o f   P a p e r s A l l   P a p e r s S c r e e n i n g   o f   P a p e r s R e l e v a n t   P a p e r s K e y w o r d i n g   o f   a b s t r a c t C l a s s i f i c a t i o n   S c h e m e D a t a   E x t r a c t i o n   a n d   M a p p i n g   P r o c e s s S y s t e m a t i c   M a p     Fig u r e  1 .   T h e  s y s te m atic  m ap p in g   s tu d y   p r o ce s s   [ 1 3 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       A   S ystema tic  Ma p p in g   R ev iew   o f S o ftw a r e  Qu a lity Mea s u r eme n t:   R esea r ch   …  ( Ten ia   W a h yu n in g r u m)   2849   4.   RE SU L T S  A ND  AN AL Y SI S   4 . 1 .   Def ini t io n o f   Resea rc h Q ue s t io n   T h e  f ir s t  p h ase  o f   th i s   r esear c h   w as  to   d ef i n e  t h e  R e s ea r ch   Qu est io n   ( R Q)   to   id en ti f y   t h e   s co p e  o f   r ev ie w .   T h e  q u es tio n   w as  m ad e  b y   f o llo w i n g   t h e  P I C O  s tr u ct u r e  ( P o p u latio n ,   I n ter v e n tio n ,   C o m p ar i s o n ,   R es u lt)  [ 1 9 ] .   T ab el  1   s h o w s   th e  P I C O  s tr u ctu r e  f r o m   t h e  r esear ch   q u est io n s   a n d   T ab le  2   p r esen ts   th e   d escr ip tio n   o f   th e  li ter atu r e.     T ab le  1 .   Su m m ar y   o f   P I C O     T ab le  2 .   R esear ch   Qu es tio n s       4 . 2 .   Sea rc hin g   o f   P a pers   T h e  s ec o n d   p h ase  o f   S y s te m atic  Ma p p in g   P r o ce s s   w a s   t o   s ea r ch   th e  p ap er   co r r elate d   w it h   th e   R esear ch   Qu e s tio n s .   T h e  b est   w a y   w a s   b y   m a k i n g   th e  s ea r ch   s tr i n g   t h at  is   b y   s tr u ct u r in g   t h e  w o r d s   b ased   u p o n   P I C O  as  p r esen ted   in   T ab le  1 . T h e  k e y w o r d s   f o r   th e  s ea r ch   s tr i n g   h a v e  b ee n   ta k e n   f r o m   ea c h   asp ec t  f r o m   t h e  s tr u c tu r e.   T h e  s tr in g   u s ed   to   s ea r ch   t h e  p ap er   is   as f o llo w s :    ( “ s o f t w ar e”   OR   “ w eb s ite”  OR   “ ap p licatio n   s o f t w ar e” )   A N D  ( “so f t w ar e  q u a lit y   m o d el”  O R   “ I SO/IE C   2 5 0 n ”OR  “ I SO/IE C   SQu a R E ”OR  “ I SO /I E C 9 1 2 6 ”   OR   “ B o eh m ”  O R   “ Mc C al l”  OR   “ Dr o m e y ”)     4 . 3 .   Scre ening   o f   P a pers a nd   K ey wo rding   o f   Abs t ra ct   Ke y w o r d   w a s   ap p lied   to   s ea r c h   t h e  p ap er   b ased   o n   th e  t itle,   ab s tr ac t  an d   co n te n t  t h at  co r r esp o n d   to   th e  r esear ch   d atab ase  n a m el y   I E E E x p lo r e  ( ieee x p lo r e. ieee . o r g ) ,   Sco p u s   ( www . s co p u s . co m )   a n d   Scie n ce   Dir ec t  ( www . s cie n ce d ir ec t.c o m ) .   Fro m   t h e  r es u lt   o f   t h e  a u t o m a tic  p ap er   s ea r ch i n g   in   th e   r esear ch   d atab ase,   3 0 8   p ap er s   h av e  b ee n   o b tain ed   w ith   t h e  f o llo w i n g   d etails:   7 7   I E E E x p lo r e ,   2 1 1   Sco p u s ,   an d   2 0   Scien ce   d ir ec t.   On ce   tak i n g   th e  r es u lt s ,   w e  ap p lied   th e  s elec tio n   cr iter ia  to   f ilter   th e  ca n d id ates.  A ll  p ap er s   o b tain ed   f r o m   t h e   r esear ch   d atab ase  w o u ld   b e  s elec ted   b ased   o n   th e  in cl u s io n   an d   ex cl u s io n   cr iter ia  th at  w e r e  u s ed   to   li m it  t h e   s co p e  ar ea   o b tain ed   f r o m   S y s te m atic   Ma p p in g   St u d y .   T h e  eli m i n atio n   p r o ce s s   w a s   co n d u cted   to   r eselect   o r   f o r   th e  ex cl u s io n   o f   co n te n t  i n   th e  i n clu s io n   ar ea .   Af ter   s ea r ch in g   an d   f i lter in g   th e  p ap er ,   4 2   r elev an t  p ap er s   w er e  o b tain ed .   T ab le  3   s h o w s   th e  in c lu s io n   a n d   ex cl u s io n   cr iter ia  u s ed   in   t h i s   r esear ch .     T ab le  3 .   R esear ch   Qu es tio n s   I n c l u si o n   c r i t e r i a   R e se a r c h   F o c u se d   o n   S o f t w a r e   Q u a l i t y   M o d e l   a n d   M e t h o d   ( t i t l e ,   a b s t r a c t ,   k e y w o r d )   I n   i n d u s t r i a l   a n d   a c a d e mi c   r e se a r c h   o n   l a r g e   a n d   sm a l l   sca l e   T h e   p e r f o r man c e   o f   t h e   mo d e l   i n   S o f t w a r e   Q u a l i t y   M o d e l   a n d   M e t h o d   I n t e r n a t i o n a l   P u b l i c a t i o n   ( Jo u r n a l   a n d   P r o c e e d i n g )   P u b l i c a t i o n   b e t w e e n   t h e   y e a r s 2 0 0 6 - 2 0 1 6   Ex c l u si o n   c r i t e r i a   N o t   a sso c i a t e d   w i t h   R e se a r c h   Q u e st i o n   T h e   p a p e r   i s   n o t   a   j o u r n a l   a n d   p r o c e e d i n g s   N o n - En g l i sh   P u b l i c a t i o n           4 . 4 .   Da t a   E x t ra ct io n a nd   M a pp ing   P ro ce s s   RQ   1   Wha t   k in ds   o f   m o de l a re   us ed  m o s t   o f t en  f o r  m ea s ure  t he  So f t wa re   Q ua lity ?     D e scri p t i o n   F o r mu l a   P o p u l a t i o n   T h e   t a r g e t   f o r   t h e   i n v e st i g a t i o n   S o f t w a r e ,   w e b si t e ,   a p p l i c a t i o n   I n t e r v e n t i o n   S p e c i f y i n g   t h e   st u d y   a sp e c t s o r   i ss u e s  o f   i n t e r e st   t o   t h e   r e se a r c h e r s   S o f t w a r e   Q u a l i t y   M o d e l ,   Ev a l u a t i o n   M e t h o d   C o mp a r i so n   A sp e c t   o f   t h e   s u r v e y   w i t h   w h i c h   t h e   i n t e r v e n t i o n   i s   b e i n g   c o mp a r e d   t o   n / a   O u t c o me   T h e   se t t i n g   o f   t h e   i n t e r v e n t i o n   I mp l e me n t a t i o n   S o f t w a r e   Q u a l i t y   Ev a l u a t i o n   M e t h o d   u si n g   S o f t w a r e   Q u a l i t y   M o d e l     R e se a r c h   Q u e st i o n   D e scri p t i o n   R Q   1   W h a t   k i n d   o f   mo d e l   i s  u se d   mo s t   o f t e n   f o r   me a su r e   t h e   S o f t w a r e   Q u a l i t y ?   T o   d e t e r mi n e   t h e   d i s t r i b u t i o n   o f   mo d e l   t o   me a su r e   t h e   S o f t w a r e   Q u a l i t y .   RQ   2   W h a t   k i n d   o f   me t h o d   i s   p e r f o r me d   m o st   o f t e n   f o r   S o f t w a r e   Q u a l i t y ?   T o   d e t e r mi n e   t h e   d i s t r i b u t i o n   o f   me t h o d   t o   me a s u r e   t h e   S o f t w a r e   Q u a l i t y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 8 4 7   –   2 8 5 4   2850   T o   an s w er   t h e  R esear c h   Qu es tio n   1 ,   T ab le  4   w as  m ad e.   T h is   tab le  s h o w s   th e  d is tr ib u tio n   o f   p ap er   d is cu s s i n g   th e  i m p le m e n tatio n   o f   So f t w ar e  Qu a lit y   Mo d el  in   last   d ec ad e.   I n   t h is   tab le,   i t c a n   b e  f o u n d   o u t t h at   th e  m o d el  o f   I S O/I E C   9 1 2 6   an d   I SO/IE C   SQ u a R E   h ad   a  p er ce n tag e   s i m ilar   to   th e   ap p licatio n   o f   th e   So f t w ar e   Qu alit y   ( 4 0 . 5 %).   T e r m i n o lo g y   f o r   th e  ch ar ac ter is tic s   o f   s o f t w ar e  q u alit y   h ad   b ee n   d is cu s s ed   in   t h e  I n ter n atio n al   C o n s en s u s   in   1 9 9 1 .   I n   th e  p er i o d   o f   2 0 0 1 - 2 0 0 4   I SO  is s u ed   th e  s ta n d ar d   s er ies  9 1 2 6   ex ten d ed   in to   f o u r   p ar ts   i n cl u d in g   m o d el  an d   m etr ics   o f   t h e  s o f t w ar e  q u alit y   [ 2 0 ] .   Ho w e v er ,   th e   s t an d ar d   s tar ts   to   b e   w id el y   u s ed   in   th e  m ea s u r e m en t  o f   th e  s o f t w ar e  q u alit y   f o r   s o m e  y ea r s   af ter   th e  ex i s ten c e  o f   its   r ev is io n .   I n   T ab le  4 ,   it  ca n   b e  s ee n   th at  t h e  e m er g e n ce   o f   I SO/IE C   9 1 2 6   is   a  m o d el  th at  h as  m o s tl y   b ee n   d is cu s s ed   b y   t h e   r esear ch er s ;  f o u r   o f   w h ic h   co m e  f r o m   I n d o n es ia  [ 2 1 – 2 4 ] .   T h is   m i g h t b e  lik el y   t h at  in   t h at  y ea r   th e  r esear c h er s   f r o m   I n d o n es ia  h a v e  s tar ted   th e  r esear ch   o n   th e  q u al it y   o f   th e  s o f t w ar e  to   b e  p u b lis h ed   i n   th e  i n ter n atio n al   j o u r n al.   I t  is   p r o v en   t h at  2   o f   th e  r esear ch er s   w er e  th e   s a m e  r esear ch   tea m   th a t  is   [ 2 1 ] ,   [ 2 3 ]   d is cu s s i n g   th e   i m p le m en ta tio n   o f   m o d el  I SO  9 1 2 6   in   th e  s o f t w ar e  o f   in v e n to r y   as s et,   an d   L ea r n i n g   Ma n a g e m e n t  S y s te m .   I f   th e  r ev i s io n   o f   t h e  m o d el  I SO   9 1 2 6 w er e  j u s t  i m p le m e n ted   tw o   y ea r s   a f ter   its   e m er g e n ce ,   th en   t h e  r ev ie w   o f   I SO  SQ u aRE  in   2 0 1 1   w o u ld   h av e   n ee d ed   o n e  y ea r   to   m a k e  th e  r esear c h   f r o m   s ev er al   r esear ch er s   ap p ea r ed .   T h is   th en   s h o w s   th at  t h e  u s e  o f   th e  n e w   s ta n d ar d   h as  s tar ted   to   attr ac t  th e  atten tio n   o f   t h e  r esear ch er s   to   ap p l y   it  to   t h e  m ea s u r e m en t  o f   t h e  s o f t w ar e  q u alit y .   T h r o u g h   th e   u s e  o f   m o d el   I SO  9 1 2 6   an d   I SO  SQ u a R E   h av e   ex p e r ien ce d   a  d y n a m ic s   s i n ce   2 0 1 5   an d   2 0 1 6   th e  u s e  o f   m o d el  I SO 9 1 2 6   is   o n l y   u s ed   b y   t h e  r esear ch er s   f r o m   I n d o n esia [ 2 5 – 2 7 ] .   T h is   s h o ws th at  t h e  m o d el  is   q u ite  p o p u l ar   in   I n d o n esia.    I n   t h e  tr en d   o f   t h e  m o d el  i n   t h e  la s t  d ec ad e,   B o eh m ’ s   Mo d el  an d   Mc C all ’ s   Mo d e l  co m m o n l y   w er e  co m b i n ed   w i th   s o m e  o th er   m o d els  [ 6 ] ,   [ 2 8 – 3 0 ] ,   an d   g r ad u all y   w er e  n o   lo n g er   u s ed   af te r   2 0 1 2 .   Me an w h ile,   Dr o m e y ’ s   Mo d el  is   n o t   f o u n d   in   all  p ap er s   r e g ar d in g   t h e  i m p le m e n tat io n   o f   t h e  s o f t w ar e  q u alit y .   T h is   is   i n   lin e  w it h   t h e  s tate m e n t  o f   Mi g u el  s tat in g   t h at  th er e  i s   n o   d is cu s s io n   o n   h o w   th e  m o d el  is   u s ed   in   p r ac tice  b u t   th e  th eo r etica l  m o d el  is   u s ed   to   b u ild   o th er   m o r e  ac cu r ate  m o d els [ 1 4 ] .     T ab le  4 . Statis ticall y   P ap er   Dis tr ib u tio n   o n   So f t w ar e  Q u alit y   Mo d els in   th e  L as t T en   Yea r s   Y e a r   C o mb i n e   mo d e l   I S O / I EC   9 1 2 6   I S O / I EC S Q u a R E   M c   C a l l s     ( t o t a l   a n d   r e se a r c h e r s re f e r e n c e   n u m b e r )   2 0 0 6   1  [ 3 1 ]         2 0 0 7         1   [ 6 ]   2 0 0 8   2   [ 3 0 ] ,   [ 3 2 ]   1   [ 3 3 ]       2 0 0 9     1   [ 3 4 ]       2 0 1 1   1   [ 2 9 ]   1   [ 3 5 ]       2 0 1 2   2   [ 3 6 ] , [ 2 8 ]   2   [ 3 7 ] , [ 3 8 ]   4   [ 3 9 ] – [ 4 2 ]     2 0 1 3     3   [ 4 3 ] – [ 4 5 ]   1   [ 4 6 ]     2 0 1 4   1   [ 4 7 ]   6   [ 2 1 ] – [ 2 4 ] ,   [ 4 8 ] ,   [ 4 9 ]   3   [ 5 0 ] – [ 5 2 ]     2 0 1 5     2   [ 2 6 ] ,   [ 5 3 ]   5   [ 5 4 ] – [ 5 8 ]     2 0 1 6     1   [ 2 7 ]   4   [ 5 9 ] – [ 6 2 ]     G r a n d   T o t a l   7   17   17   1       RQ   2 :   Wha t   kin d o f   m et ho d  is   perf o r m ed  m o s t   o f t en  f o r  So f t wa re   Q ua lity ?   Fig u r e  2   s h o w s   t h at  t h e  e m p i r ical  m o d el  is   m o s tl y   u s ed   i n   m ea s u r in g   t h e  s o f t w ar e  q u ali t y   ( 6 7 %).   T h e  m et h o d   in cl u d es   s u r v e y   [ 2 6 ] ,   [ 4 8 ] ,   [ 4 9 ] ,   [ 5 9 ] ,   [ 6 3 ] ,   o b s er v atio n   [ 2 1 ] ,   [ 2 7 ] ,   [ 3 1 – 3 3 ] ,   [ 3 5 ] ,   [ 3 7 ] ,   [ 3 9 ] ,   [ 4 2 – 4 4 ] ,   [ 5 2 ] ,   [ 5 3 ] ,   [ 6 4 ]   an d   u s ab ilit y   test i n g   [ 2 3 ] ,   [ 6 5 ]   in v o lv i n g   th e  a s s e s s m e n t  o f   u s er s .   T h is   ac h ie v e m en t   is   f o llo w ed   b y   t h e  a n al y tical  m et h o d   at  1 7 %  ( in cl u d es  h eu r is tic s   e v alu a tio n   [ 3 4 ] ,   [ 4 0 ] ,   ex p lo r ato r y   ca s e   s tu d y [ 5 0 ] ,   an d   ev al u atio n   g r o u p   [ 3 0 ] ,   [ 4 5 ] ) .   So m e  r esear ch er s   m ea s u r in g   t h e  s o f t w ar e  q u alit y   w it h o u t  u s er   j u d g m e n ts ,   th e y   ar e   [ 2 9 ] ,   [ 5 2 ] ,   [ 6 1 - 6 2 ] ,   [ 6 6 ]   class if ied   in t o   o th er   m eth o d .   T h e  e m p ir ic al  m e th o d   i s   m o s tl y   u s ed   f o r   b ein g   c h ea p er ,   clo s e  w it h   th e  e x p er ien ce   o f   th e  u s er s ,   s i m p le,   an d   p r o v id in g   a  n e w   p er s p ec ti v e,   d ir ec t f ee d b ac k   f r o m   u s er s   a n d ,   v er b al  d ata  ea s ily   co llected   an d   p r o ce s s ed .       Fig u r e  2 .   P ap er   d is tr ib u tio n   b ased   o n   s o f t w ar e  q u al it y   m et h o d   17%   67%   7%   10%   0% 20% 40% 60% 80% pe r ce nt age  of  pa p e r s analyti c al m e tho d e m p ir ic al m e tho d e m p ir ic al m e tho d   & analyti c   m e t h o d Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       A   S ystema tic  Ma p p in g   R ev iew   o f S o ftw a r e  Qu a lity Mea s u r eme n t:   R esea r ch   …  ( Ten ia   W a h yu n in g r u m)   2851   T h e  f o r m   o f   t h e  m o d el  o f   th e   s o f t w ar e  q u alit y   m ea s u r e m en t  th at  is   h ier ar ch ical  an d   th e  m et h o d   o f   m ea s u r e m e n t  i n v o l v i n g   t h e  el e m en ts   o f   u s er   an d   ex p er t  j u d g m e n t  h as  en co u r ag ed   th e  r es ea r ch er s   to   u s e  th e   ap p r o ac h   o f   A n al y tica l  Hier ar ch y   P r o ce s s   an d   f u zz y   lo g ic s .   T ab le  5   s h o w s   t h at  t h e  r e s ea r ch   ap p r o ac h   u s ed   A HP   at   th e   m ea s u r e m e n t  o f   t h e  s o f t w ar e  q u alit y   h as  b ee n   c o n d u cted   b y   [ 4 8 ] ,   [ 3 4 ] ,   an d   [ 4 4 ] ,   b u t  th e   r esear ch   s till   u s ed   t h e  cr is p   n u m b er   in   w ei g h ti n g   th e  s co r e  o f   th e  a s s es s m en t  f r o m   th e  u s er s ;  as  a  co n s eq u e n ce ,   it s   w ei g h ti n g   s ee m ed   to   b e  less   r ep r esen tati v e.   T h ey   also   ad d ed   a  n u m b er   o f   s u b - c h ar ac ter is tics   in   th e  m o d el  o f   th e  m ea s u r e m e n t  o f   t h e  s o f t w ar e  q u al it y   s u ch   a s   co m p atib ilit y ,   m o d u lar it y ,   co m p l ex it y ,   r eu s ab il it y ,   av ailab ilit y ,   cu s to m izab il it y ,   o r   tr ac ea b ilit y .     Giv e n   th e  m o r e  co m p le x   is s u es  to   b e  s ettled ,   th e  u s e  o f   f u zz y   lo g ics  co n ce p t  th e n   is   u s ed   to   co p e  w it h   an y   th e   lack   o f   t h e  u s e   o f   cr i s p   n u m b er s .   T h e  ap p r o ac h   o f   F u zz y   M u lti - C r iter ia  w a s   r ev ea led   b y   C h alla,   h e  co n s id er in g   th e  w ei g h t  o f   th e  f u zz y   ca lcu latio n   b ased   u p o n   th r ee   p er s p ec ti v es  o f   t h e  u s er s :  d e v elo p er ,   m an a g er ,   an d   u s er   [ 9 ] .   C h alla   p r o v id ed   a  co n clu s io n   f r o m   t h e  m ea s u r e m e n t  o f   th e   s o f t w a r e  q u alit y   w it h   th e   lab el s   o f   Ver y   Go o d ,   Go o d ,   Av er ag e,   P o o r ,   Ver y   P o o r .   Yu e n   [ 3 8 ]   u s ed   th e  F u zz y   AHP   to   co m p ar e  th e   d if f er e n t  s o f t w ar e  to   s elec t  th e   b est  s o f t w ar e  [ 3 7 ] .   Yan g   [ 4 2 ]   u s ed   t h e  ap p r o ac h   o f   F u zz y   C h o q u et  I n te g r al  to   m ea s u r e  t h e  s o f t w ar e  q u a lit y   b ased   o n   th e   d if f er en t   p e r s p ec tiv e  o f   u s er s   s h o w i n g   t h e  i n f lu en ce   b et w ee n   th e   cr iter ia  r esu lt s .   Yi n g   Xi n g   [ 3 0 ] u s ed   th e   m eth o d   o f   F u zz y   Statis t ic  Me t h o d   to   p r o v id e  a  q u an tita tiv e   m eth o d   f o r   th e  m ea s u r e m e n t  o f   s o f t war e  q u alit y   in   th e  d ig italizatio n   s y s te m   o f   an tiq u e  et h ical  r eso u r ce s .   T h e  m o d el   w a s   s u itab le  f o r   th e  s y s te m   o f   th r ee   la y er s   o f   t h e  s o f t w ar e  q u alit y   o f   W alter s   an d   Mc C all.   C h e n   [ 3 1 ]   p r o p o s ed   a  m o d el  o f   s o f t w ar e  q u alit y   to   m ea s u r e  t h e  q u alit y   o f   t h e   s o f t w ar e  in   t h e  s y s te m   o f   D VR   ( d ig ital  v id eo   r ec o r d er )   d u r in g   t h e  p h a s e  o f   its   d ev elo p m en t  to   m i n i m ize   th e  g ap   in   t h e  a s s e s s m en t  o f   th e  d ev elo p er s   a n d   en d   u s er s   a n d   ev al u ato r s   o f   t h e  t h ir d   p ar t y .   T h e  ch ar ac ter i s tics   o f   t h e  u s er s   g i v i n g   t h e  ass es s m en t   o f   t h e   s o f t w ar e  q u alit y   ar e  v ar io u s .   So m e  p ap er s   d o   n o t  m e n tio n   th e  n u m b er   o f   it s   ev al u ato r ,   b u t  th e  av er ag e   n u m b er   is   n o t  m o r e  t h an   3 0   r e s p o n d en ts .   T h e  lac k   o f   t h e  m e th o d   ap p r o ac h es  ab o v e  is   h o w  to   d o   o p tim izatio n   o f   th e  s co r e  w ei g h ti n g   f r o m   t h e  u s er   p er ce p tio n   to   o b tain   th e  m a x i m u m   r es u lts .   T h is   s co r e  w eig h ti n g   w o u ld   b e  u s ed   f o r   th e   r an k i n g   o f   th e  is s u e  o n   t h e  q u alit y   th a t is  v er y   u r g en t to   b e  i m p r o v ed   in   t h e   d esig n   p h ase.     T ab le  5 .   A p p r o ac h   Me th o d   No   R e se a r c h e r s   Y e a r   M o d e l   M e t h o d   M e t h o d   D e t a i l   U se r   C h a r a c t e r i st i c   M e t h o d   R e se a r c h   1   A l r a w a sh d e h ,   e t . a l   2 0 1 4   I S O   9 1 2 6   a n a l y t i c a l   me t h o d   su r v e y   Tw e n t y   e x p e r t   ( e i g h t   p r o f e ssi o n a l s i n   so f t w a r e   i n d u st r y ,   t w e l v e   a c a d e mi c i a n s)   A H P   2   B e h k a mal ,   e t . a l   2 0 0 9   I S O   9 1 2 6   a n a l y t i c a l   me t h o d   h e u r i s t i c   e v a l u a t i o n   Tw e n t y   u se r s (t e n   I r a n i a n s ,   t e n   p r o f e sso r s  i n   so f t w a r e   e n g i n e e r i n g )   A H P   3   C h a l l a ,   e t . a l   2 0 1 1   I S O   9 1 2 6   e mp i r i c a l   me t h o d   o b se r v a t i o n   D e v e l o p e r ,   p r o j e c t   man a g e r ,   u se r   F u z z y   M u l t i - C r i t e r i a   4   C h e n ,   e t . a l   2 0 0 6   I S O   9 1 2 6 ,   I S O   1 4 5 9 8   e mp i r i c a l   me t h o d   o b se r v a t i o n   T h e   d e v e l o p e r ,   a c q u i r e s,  e v a l u a t o r   o f   t h i r d   p a r t i e s   F u z z z y   G A   5   K u r t e l ,   e t . a l   2 0 1 3   I S O   9 1 2 6   e mp i r i c a l   me t h o d   o b se r v a t i o n   A b c   c o mp a n y   t i me   s p e n t   mai n t e n a n c e   A H P   6   P a sr i j a ,   e t . a l   2 0 1 2   I S O   9 1 2 6   e mp i r i c a l   me t h o d   o b se r v a t i o n   S t u d e n t   A ,   B ,   C   F u z z y   C h o q u e t   I n t e g r a l   8   Y a n g ,   H ,   e t . a l   2 0 1 2   I S O   S Q u a R E   e mp i r i c a l   me t h o d   &   a n a l y t i c a l   me t h o d   o b se r v a t i o n   S t a f f ,   l e a d e r ,   a n d   e x p e r t   F u z z y   C h o q u e t   I n t e g r a l   9   Y i n g - x i n g ,   e t . a l   2 0 0 8   M c   C a l l s,  W a l t e r   a n a l y t i c a l   me t h o d   e v a l u a t i o n   g r o u p   Ei g h t   t o   t e n   e x p e r t   i n   e a c h   g r o u p   ( c o n t e n t   e x p e r t   a n d   t e c h n i c a l   e x p e r t )   F u z z y   S t a t i s t i c   M e t h o d   10   Y u e n ,   K .   K .   F ,   e t . a l   2 0 1 2   I S O   9 1 2 6   e mp i r i c a l   me t h o d   o b se r v a t i o n   N / A   F u z z y   A H P       5.   CO NCLU SI O N   AND  F U T U RE   WO RK   B ased   o n   th e  r e s ea r ch   ab o v e,   it  ca n   b e  co n clu d ed   t h at  t h e  m o d el   o f   I SO   SQ u aRE is   a  m o d el  o f   th e   m ea s u r e m e n t  o f   s o f t w ar e  q u al it y   t h at  i s   m o s tl y   u s ed   in   t h e  l ast  f iv e  y ea r s .   T h e  u s e  o f   I SO   9 1 2 6   m o d el  is   s t il l   ap p lied   in   th e  m ea s u r e m e n t  o f   th e  s o f t w ar e  q u alit y   b y   t h e  r esear ch er s   in   I n d o n e s ia  u n til  t h e  en d   o f   2 0 1 6 .   T h is   in d icate s   t h at  th e  m o d el  is   s t il l  q u ite  r elev an t  to   b e  u s ed .   T h e  m o d el  o f   B o eh m   a n d   Mc C all  g r ad u al l y   s tar ted   to   b e  lef t  b eh i n d ,   an d   t h eir   a p p licatio n   is   m o s tl y   co m b i n e d   w it h   a n o th e r   m o d el  s i n ce   t h e  last   d ec ad e.   T h e   m o s t   w id el y   u s ed   m et h o d   o f   m ea s u r e m en t  o f   t h e  s o f t war e  q u alit y   i s   t h e  e m p ir ical   m et h o d   t h at  i s   a   m ea s u r e m e n t  i n v o lv i n g   t h e  u s er s .   T h e  m e th o d   ap p r o ac h   u s i n g   AHP   an d   Fu zz y   h as  b ee n   w id el y   u s ed   b u t  s till   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 8 4 7   –   2 8 5 4   2852   n ee d s   to   b e  s t u d ied   f u r t h er   in   t h is   ca s e  r e g ar d in g   t h e  o p ti m iz atio n   o f   t h e  w ei g h ti n g   o f   th e   u s er   ass e s s m e n t a n d   th e  r an k i n g   o f   th e  s o f t w ar e  q u alit y   p r o b le m   t h at  m u s t  b e  i m p r o v ed   b y   th e  d ev e lo p er s   b ased   o n   th e  u s er   p er ce p tio n .   T h er ef o r e,   it  n ee d s   to   s u g g e s t  t h e  tax o n o m y   m o d el,   f r a m e w o r k   p r o ce s s ,   d eter m i n atio n   o f   th e   h ig h e s t  w ei g h ti n g   f r o m   t h e   in d icato r   o f   t h e  r a n k i n g   o f   t h e  s o f t w ar e  q u ali t y ,   a n d   to   r ec o m m en d   th e   i m p r o v e m en t o f   th e  d esi g n   b ased   o n   th e  r es u lt o f   t h e  m ea s u r e m en t.       RE F E R E NC E S    [1 ]   E.   K.  El - ra y y e s  d a n   I.   M .   A b u - z a id ,   “ Ne w   M o d e l  to   A c h ie v e   S o f tw a r e   Qu a li ty   A ss u ra n c e   (S QA )  in   W e b   A p p li c a ti o n , ”   v o l.   2 ,   n o .   7 ,   p p .   4 2 3 – 4 2 6 ,   2 0 1 2 .   [2 ]   Y.  S o w u n m i,   “ A n   E m p iri c a l  Ev a lu a ti o n   o f   S o f tw a re   Qu a li t y   A s su ra n c e   P ra c ti c e s  a n d   Ch a ll e n g e s  in   a   De v e lo p in g   Co u n try , ”   p p .   8 6 7 – 8 7 1 ,   2 0 1 5 .   [3 ]   K.  A .   S h a h ,   “ Ho w   to   Im p ro v e   S o f tw a r e   Qu a li ty   A s su ra n c e   in   De v e lo p i n g   Co u n tri e s,” v o l.   3 ,   n o .   2 ,   p p .   1 7 – 2 8 ,   2 0 1 2 .   [4 ]   B.   W .   Bo e h m ,   “ S o f twa re   E n g in e e rin g , ”   v o l.   C,   n o .   1 2 ,   p p .   1 2 2 6 – 1 2 4 1 ,   1 9 7 6 .   [5 ]   R.   G .   Dro m e y ,   “ A   M o d e l  f o r  S o f tw a r e   P ro d u c t  Q u a li ty , ”   v o l.   2 1 ,   n o .   2 ,   1 9 9 5 .   [6 ]   V .   L a k sh m i  N a ra si m h a n   d a n   B.   He n d ra d jay a ,   “ S o m e   T h e o re ti c a l  Co n sid e ra ti o n s  f o r  a   S u i te  o f   M e tri c s  f o r  th e   In teg ra ti o n   o f   S o f twa re   Co m p o n e n ts , ”   In f .   S c i.   (Ny ). ,   v o l.   1 7 7 ,   n o .   3 ,   pp .   8 4 4 – 8 6 4 ,   F e b   2 0 0 6 .   [7 ]   In tern a ti o n a l  Org a n iza ti o n   f o r  S t a n d a rd iza ti o n ,   “ In f o rm a ti o n   T e c h n o lo g y   —   S o f t wa re   P ro d u c t  Qu a li ty , ”   IS O/IEC   F d is  9 1 2 6 - 1 ,   v o l.   2 0 0 0 .   pp.   1 – 2 6 ,   2 0 0 0 .   [8 ]   In tern a ti o n a l  Org a n iza ti o n   f o r  S t a n d a rd iza ti o n ,   “ S y ste m s  a n d   so f tw a r e   e n g in e e rin g   --   S y ste m s  a n d   so f t w a re   Qu a li t y   Re q u irem e n ts  a n d   Ev a lu a ti o n   (S Qu a RE)  --   S y ste m   a n d   so f t w a re   q u a li ty   m o d e ls, ”   IS O/IEC,   v o l.   2 0 1 1 .   pp .   3 4 ,   2 0 1 1 .   [9 ]   J.  S .   C h a ll a ,   A .   P a u l ,   Y.   Da d a ,   d a n   V .   Ne re ll a ,   “ In teg ra ted   S o f t w a r e   Qu a li ty   Ev a lu a ti o n  :  A   F u z z y   M u lt i - Cri teria   A p p ro a c h , ”   v o l.   7 ,   n o .   3 ,   pp .   4 7 3 – 5 1 8 ,   2 0 1 1 .   [1 0 ]   Z.   Ba i  d a n   A .   F .   Blac k we ll ,   “ A n a l y ti c   re v ie w   o f  u sa b il it y   e v a lu a ti o n   i n   IS M A R, ”   In tera c t.   Co m p u t. ,   v o l.   2 4 ,   n o .   6 ,   pp .   4 5 0 – 4 6 0 ,   2 0 1 2 .   [1 1 ]   S .   S .   A p a rn a   d a n   K.  K.  Ba se e r,   “ A   S y st e m a ti c   Re v ie w   o n   M e a su rin g   a n d   Ev a lu a ti n g   W e b   Us a b il it y   in   M o d e l  Driv e n   W e b   De v e lo p m e n t, ”   Nc e tse ,   pp .   1 7 1 – 1 8 0 ,   2 0 1 4 .   [1 2 ]   M .   C.   S .   T o rre n te,  A .   B.   M .   P rieto ,   D.  A .   G u ti é rre z ,   d a n   M .   E.   A .   De   S a g a ste g u i,   “ S iri u s:  A   h e u risti c - b a se d   f ra m e w o rk   f o r  m e a su rin g   w e b   u sa b il it y   a d a p ted   to   t h e   ty p e   o f   we b site,”   J.  S y st.  S o f t w . ,   v o l.   8 6 ,   n o .   3 ,   pp .   6 4 9 – 6 6 3 ,   2 0 1 3 .   [1 3 ]   K.  P e ters e n ,   R.   F e l d t,   S .   M u jt a b a ,   d a n   M .   M a tt ss o n ,   “ S y ste m a ti c   M a p p i n g   S tu d ies   in   S o f tw a re   En g in e e rin g , ”   1 2 T h   In t.   C o n f .   Ev a l.   A ss e s s.  S o f tw .   E n g . ,   v o l.   1 7 ,   pp .   1 0 ,   2 0 0 8 .   [1 4 ]   J.  P .   M ig u e l,   D.  M a u ricio ,   d a n   G .   Ro d r íg u e z ,   “ A   Re v ie w   o f   S o f t wa re   Qu a li ty   M o d e ls  f o r  t h e   Ev a lu a t io n   o f   S o f tw a re   P r o d u c ts, ”   In t .   J.  S o f tw .   En g .   A p p l. ,   v o l.   5 ,   n o .   6 ,   pp .   3 1 – 5 3 ,   2 0 1 4 .   [1 5 ]   I.   S in g h ,   “ Dif fe re n t  S o f tw a r e   Qu a li ty   M o d e l, ”   n o .   M a y ,   2 0 1 3 .   [1 6 ]   M .   C.   S .   T o rre n te,  A .   B.   M .   P rieto ,   D .   A .   G u ti é rre z ,   d a n   M .   E.   A .   d e   S a g a ste g u i,   “ S iri u s:  A   h e u risti c - b a se d   F ra m e w o rk   f o r  M e a su rin g   Web   Us a b il it y   A d a p ted   to   th e   Ty p e   o f  Web site , ”   J.  S y st.  S o f t w . ,   v o l.   8 6 ,   n o .   3 ,   pp .   6 4 9 – 6 6 3 ,   M a r  2 0 1 3 .   [1 7 ]   W .   D.  G ra y   d a n   M .   C.   S a lzm a n ,   “ Da m a g e d   M e rc h a n d ise ?   A   Re v i e w   o f   Ex p e ri m e n ts  T h a t  Co m p a re   Us a b il it y   Ev a lu a ti o n   M e th o d s,” Hu m a n – Co m p u ter In tera c t. ,   v o l.   1 3 ,   n o .   3 ,   pp .   2 0 3 – 2 6 1 ,   1 9 9 8 .   [1 8 ]   N.  E.   Ja c o b se n ,   “ Us a b il it y   Ev a lu a ti o n   M e t h o d s  th e   Re li a b il it y   a n d   Us a g e   o f   Co g n it iv e   Walk th ro u g h   a n d   Us a b il i ty   T e st,” 1 9 9 9 .   [1 9 ]   M .   Orio l ,   J.  M a rc o ,   d a n   X .   F ra n c h ,   “ Qu a li ty   m o d e ls  f o r  w e b   se rv i c e s:  A   s y ste m a ti c   m a p p in g , ”   In f .   S o f tw .   T e c h n o l. ,   v o l.   5 6 ,   n o .   1 0 ,   pp .   1 1 6 7 – 1 1 8 2 ,   Ok t  2 0 1 4 .   [2 0 ]   R.   E.   A l - Qu taish ,   “ A n   In v e stig a ti o n   o f   th e   Wea k n e ss e s  o f   th e   I S O  9 1 2 6   In tern a ti o n a l  S tan d a rd , ”   Co m p u ter  a n d   El e c tri c a l  En g in e e rin g ,   2 0 0 9 .   ICC EE   ’0 9 .   S e c o n d   In tern a t io n a l  Co n f e r e n c e   o n ,   v o l .   1 .   pp .   2 7 5 – 2 7 9 ,   2 0 0 9 .   [2 1 ]   Y.  F it risia  d a n   B.   He n d ra d jay a ,   “ I m p le m e n tat io n   o f   IS O  9 1 2 6 - 1  Qu a li ty   M o d e l   f o r  A ss e t  In v e n to ry   In f o r m a ti o n   S y st e m   b y   Util izin g   Ob jec t  Orie n ted   M e tri c s , ”   i n   El e c tri c a l  En g i n e e rin g   a n d   C o m p u ter  S c ien c e   (ICEE CS ),   2 0 1 4   In tern a ti o n a l  C o n f e re n c e   o n ,   2 0 1 4 ,   pp .   2 2 9 – 2 3 4 .   [2 2 ]   W .   Hilwa   d a n   S a m id i,   “ P ro t o ty p e   M o b i le  Kn o w led g e   M a n a g e m e n t  S y ste m   ( KMS )  f o r  Isla m ic  b a n k in g   w it h   & # x 0 0 2 2 ;T iw a n a & # x 0 0 2 2 ;  f ra m e w o rk   o n   u n iv e rsity :  C a se   stu d y   S T EI  S EBI, ”   in   C y b e r   a n d   IT   S e rv ic e   M a n a g e m e n t  (CIT S M ),   2 0 1 4   I n te rn a ti o n a l  Co n f e re n c e   o n ,   2 0 1 4 ,   pp .   8 3 – 8 8 .   [2 3 ]   I.   L e   sta ri  d a n   B.   He n d ra d ja y a ,   “ T h e   A p p li c a ti o n   M o d e l  o f   L e a rn i n g   M a n a g e m e n t  S y st e m   Qu a li t y   i n   A s y n c h ro n o u s   Blen d e d   L e a rn in g   S y ste m , ”   El e c t rica l  En g in e e rin g   a n d   Co m p u ter S c ien c e   (ICEE CS ),   2 0 1 4   In tern a t io n a l  C o n f e re n c e   o n .   pp .   2 2 3 – 2 2 8 ,   2 0 1 4 .   [2 4 ]   U.  L .   Yu h a n a ,   A .   B.   Ra h a rj o ,   d a n   S .   Ro c h im a h ,   “ Ac a d e m ic  I n f o rm a ti o n   S y ste m   Qu a li t y   M e a su re m e n t  Us in g   Qu a li ty   In stru m e n t:   A  P ro p o se d   M o d e l , ”   Da ta  a n d   S o f tw a re   En g i n e e rin g   (ICOD S E),   2 0 1 4   In tern a t io n a l  Co n f e re n c e   o n .   pp . 1 – 6 ,   2 0 1 4 .   [2 5 ]   S .   Ro c h im a h ,   H.  I.   Ra h m a n i,   d a n   U.  L .   Yu h a n a ,   “ Us a b il it y   Ch a ra c terist ic  Ev a lu a ti o n   o n   A d m in istr a ti o n   M o d u le  o f   A c a d e m ic  In f o r m a ti o n   S y ste m   Us in g   IS O/IEC  9 1 2 6   Qu a li ty   M o d e l , ”   2 0 1 5   I n t.   S e m in .   In tell.   T e c h n o l.   Its  A p p l.   IS IT I A   2 0 1 5   -   P r o c e e d in g ,   pp .   3 6 3 – 3 6 8 ,   2 0 1 5 .   [2 6 ]   D.  D.  J.  S u wa w i,   E.   Da r w i y a n to ,   d a n   M .   Ro c h m a n i,   “ Ev a lu a ti o n   o f  Ac a d e m ic   Web site  Us in g   IS O/IEC  9 1 2 6 , ”   In f o rm a ti o n   a n d   Co m m u n ica ti o n   T e c h n o lo g y   (ICo ICT   ),   2 0 1 5   3 r d   In tern a ti o n a l  C o n f e re n c e   o n .   pp .   2 2 2 – 2 2 7 ,   2 0 1 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       A   S ystema tic  Ma p p in g   R ev iew   o f S o ftw a r e  Qu a lity Mea s u r eme n t:   R esea r ch   …  ( Ten ia   W a h yu n in g r u m)   2853   [2 7 ]   R.   A n d rian ,   B.   He n d ra d jay a ,   d a n   W .   D.  S u n in d y o ,   “ S o f tw a r e   As se ss m e n t  M o d e l  Us i n g   M e tri c s  P r o d u c ts  f o r  E - g o v e rn m e n t  in   th e   G 2 B  m o d e l, ”   2 0 1 6   4 t h   In tern a ti o n a l  Co n f e re n c e   o n   In f o rm a ti o n   a n d   Co m m u n ica ti o n   T e c h n o l o g y   (ICo ICT ).   pp .   1 – 6 ,   2 0 1 6 .   [2 8 ]   ENA S E  2 0 1 2   -   P r o c e e d in g s  o f   th e   7 t h   In ter n a ti o n a l  Co n f e re n c e   o n   Ev a lu a ti o n   o f   No v e l  A p p ro a c h e s  to   S o f tw a r e   En g in e e rin g ,   2 0 1 2 ,   pp .   1 9 9 – 2 0 2 .   [2 9 ]   V .   S h a rm a   d a n   P .   Ba li y a n ,   “ M a i n tain a b i li ty   A n a l y sis   o f   Co m p o n e n t  Ba se d   S y ste m s , ”   In t.   J.  S o f tw .   En g .   it s  A p p l. ,   v o l.   5 ,   n o .   3 ,   pp .   1 0 7 – 1 1 8 ,   2 0 1 1 .   [3 0 ]   L .   Yin g - x in g   d a n   M .   Zh e n g - x in g ,   “ A  F u z z y   Co m p re h e n siv e   Qu a li ty   Ev a lu a ti o n   f o r  th e   Di g it izin g   S o f t w a re   o f  Et h n ic  A n ti q u a rian   Re so u rc e s , ”   in   P ro c e e d in g s - In ter n a ti o n a l  Co n f e re n c e   o n   Co m p u ter  S c ien c e   a n d   S o f tw a r e   En g in e e rin g ,   CS S E  2 0 0 8 ,   2 0 0 8 ,   v o l.   5 ,   pp .   1 2 7 1 – 1 2 7 4 .   [3 1 ]   C. - B.   Ch e n ,   C. - T .   L in ,   C. - H.   W a n g ,   d a n   C . - W .   Ch a n g ,   “ M o d e l  f o r  M e a su rin g   Qu a li ty   o f   S o f t w a re   in   D V RS   Us in g   th e   G a p   Co n c e p t   a n d   F u z z y   S c h e m e s  w it h   GA , ”   In f .   S o f t w .   Tec h n o l. ,   v o l.   4 8 ,   n o .   3 ,   pp .   1 8 7 – 2 0 3 ,   M a r  2 0 0 6 .   [3 2 ]   L .   S .   V   P & # x 0 E9 ;rez ,   A .   F .   G .   To rn & # x 0 E 9 ;s,   d a n   E.   M .   F .   Riv e r& # x 0 F 3 ; n ,   “ M ECRA D:  M o d e l  a n d   T o o l  f o r  th e   T e c h n ica l  Qu a li t y   E v a lu a ti o n   o f   S o f tw a r e   P ro d u c ts  i n   V isu a l  E n v iro n m e n t, ”   Co m p u ti n g   i n   th e   G lo b a l  In f o rm a ti o n   T e c h n o lo g y ,   2 0 0 8 .   ICCG I  ’0 8 .   T h e   T h ird   I n tern a ti o n a l  M u lt i - C o n f e re n c e   o n .   pp .   1 0 7 – 1 1 2 ,   2 0 0 8 .   [3 3 ]   O.  A l f o n z o ,   K.  Do m & # x 0 ED;   n g u e z ,   L .   Riv a s,  M .   P & # x 0 E 9 ;   re z ,   L .   M e n d o z a ,   d a n   M .   Orte g a ,   “ Qu a li t y   M e a su re m e n t  M o d e l  f o r  A n a l y si s  a n d   De sig n   T o o ls  Ba se d   o n   F L OSS , ”   1 9 th   A u stra li a n   Co n f e re n c e   o n   S o f tw a re   En g in e e rin g   (a sw e c   2 0 0 8 ).   pp .   2 5 8 – 2 6 8 ,   2 0 0 8 .   [3 4 ]   B.   Be h k a m a l,   M .   Ka h a n i,   d a n   M .   K.   A k b a ri,   “ Cu sto m izin g   IS O  9 1 2 6   Qu a li ty   M o d e l   fo r  Ev a lu a ti o n   o f   B2 B   A p p li c a ti o n s , ”   In f .   S o f tw .   T e c h n o l. ,   v o l.   5 1 ,   n o .   3 ,   pp .   5 9 9 – 6 0 9 ,   M a r  2 0 0 9 .   [3 5 ]   J.  S .   Ch a ll a ,   A .   P a u l,   Y.  Da d a ,   V .   Ne re ll a ,   d a n   P .   R.   S riv a sta v a ,   “ Qu a n ti f ica ti o n   o f   S o f tw a r e   Qu a li ty   P a ra m e ter s   Us in g   F u z z y   M u lt i  Crit e ria  A p p ro a c h , ”   P r o c e ss   A u to m a ti o n ,   Co n tro l  a n d   C o m p u ti n g   ( P A CC),   2 0 1 1   In ter n a ti o n a l   Co n f e re n c e   o n .   P p .   1 – 6 ,   2 0 1 1 .   [3 6 ]   K.  A tala g ,   H.  Y.  Ya n g ,   d a n   J.   W a rre n ,   “ A ss e ss m e n t  o f   S o f tw a r e   M a in tain a b il it y   o f   o p e n E HR  Ba se d   He a lt h   In f o rm a ti o n   S y ste m s - a   Ca se   S tu d y   in   En d o sc o p y , ”   El e c tro n .   J.  He a l.   In f o rm a ti c s,  v o l.   7 ,   n o .   1 ,   2 0 1 2 .   [3 7 ]   V .   P a sri ja,  S .   Ku m a r,   d a n   P .   R.   S riv a sta v a ,   “ A ss e ss m e n t  o f   S o f t w a re   Qu a li ty :  Ch o q u e t   In teg ra l  A p p ro a c h , ”   P ro c e d ia   T e c h n o l. ,   v o l.   6 ,   pp .   1 5 3 – 1 6 2 ,   2 0 1 2 .   [3 8 ]   K.  K.  F .   Y u e n ,   “ Ev a lu a ti n g   S o f t w a r e   Co m p o n e n t  Qu a li ty   f ro m   V e n d o rs  Us in g   t h e   p rim it iv e   Co g n it iv e   Ne t w o r k   P r o c e ss   w it h   IS O/IEC  9 1 2 6 , ”   Co m p u ti n g ,   Co m m u n ica ti o n s  a n d   A p p li c a ti o n s  Co n f e re n c e   (Co m Co m A p ),   2 0 1 2 .   pp .  288 – 2 9 3 ,   2 0 1 2 .   [3 9 ]   F .   J.  Do m ín g u e z - M a y o ,   M .   J.  Esc a lo n a ,   M .   M e jí a s,  M .   Ro ss ,   d a n   G .   S tap les ,   “ Qu a li t y   Ev a lu a ti o n   fo r  M o d e l - Driv e n   W e b   En g in e e rin g   M e th o d o lo g ies , ”   In f .   S o f tw .   T e c h n o l. ,   v o l .   5 4 ,   n o .   1 1 ,   pp .   1 2 6 5 – 1 2 8 2 ,   N o v   2 0 1 2 .   [4 0 ]   A .   F e rn a n d e z ,   E.   I n sf ra n ,   S .   A b r a h ã o ,   J.  Á .   Ca rsí,   d a n   E.   M o n ter o ,   “ In teg ra ti n g   Us a b il i ty   Ev a lu a t io n   in t o   M o d e l - d riv e n   V id e o   G a m e   D e v e lo p m e n t , ”   L e c t u re   No tes   in   Co m p u ter  S c ien c e   (in c lu d in g   su b se ries   Lec tu re   No tes   in   A rti f icia l  In telli g e n c e   a n d   L e c tu re   No tes   in   B io i n f o rm a ti c s),  v o l.   7 6 2 3   L NCS.   pp .   3 0 7 – 3 1 4 ,   2 0 1 2 .   [4 1 ]   P .   L e w   d a n   L .   Olsin a ,   “ Im p ro v i n g   Qu a li ty   in   Us e   o f   W e b   A p p li c a ti o n s  in   a   S y ste m a ti c   W a y , ”   L e c tu re   No tes   in   Co m p u ter  S c ien c e   (in c lu d i n g   su b se ries   L e c tu re   No tes   in   A rti f icia l  In telli g e n c e   a n d   L e c tu re   No tes   in   Bio in f o rm a ti c s),  v o l.   7 0 5 9   L NCS .   S c h o o l  o f   S o f tw a r e ,   Be ih a n g   Un iv e rsit y ,   Ch in a ,   pp .   3 5 9 – 3 6 0 ,   2 0 1 2 .   [4 2 ]   H.  Ya n g ,   “ M e a su rin g   S o f tw a r e   P ro d u c t  Qu a l it y   w it h   IS O  S tan d a r d s  Ba se   o n   F u z z y   L o g ic  T e c h n iq u e , ”   A d v a n c e s  in   In telli g e n t  a n d   S o f t  Co m p u ti n g ,   v o l.   1 3 7   A IS C.   S c h o o l  o f   In f o rm a ti o n   S c ie n c e   a n d   En g in e e rin g ,   L a n z h o u   Un iv e rsit y   o f   F in a n c e   a n d   Ec o n o m ic s,  L a n z h o u ,   G a n su   P ro v in c e ,   Ch in a ,   pp .   5 9 – 6 7 ,   2 0 1 2 .   [4 3 ]   P .   He g e d u s,  “ Re v e a li n g   th e   Eff e c t  o f  Co d in g   P ra c ti c e s  o n   S o f t w a r e   M a in tain a b il it y , ”   S o f t w a re   M a in ten a n c e   (ICS M ),   2 0 1 3   2 9 th   IE EE   I n tern a t io n a l  C o n f e re n c e   o n .   pp .   5 7 8 – 5 8 1 ,   2 0 1 3 .   [4 4 ]   K.  Ku rtel,   “ M e a su rin g   a n d   M o n it o ri n g   S o f tw a re   M a in ten a n c e   S e rv ice s:  A n   In d u strial   Ex p e rien c e , ”   S o f twa re   M e a su re m e n t  a n d   th e   2 0 1 3   Ei g h t h   In tern a t io n a l  Co n f e re n c e   o n   S o f tw a r e   P ro c e ss   a n d   P ro d u c t  M e a su re m e n t  (IW S M - M ENS URA ),   2 0 1 3   Jo i n t  C o n f e re n c e   o f   th e   2 3 rd   I n tern a ti o n a l  W o r k sh o p   o n .   pp .   2 4 7 – 2 5 2 ,   2 0 1 3 .   [4 5 ]   W .   L e o p a iro te,  A .   S u ra re r k s,  d a n   N.  P ro m p o o n ,   “ Ev a lu a ti n g   S o f twa re   Qu a li t y   in   Us e   U sin g   Us e r   Re v ie w s  M in in g , ”   Co m p u ter  S c ien c e   a n d   S o f t w a re   En g in e e rin g   (JCSS E),   2 0 1 3   1 0 t h   In tern a ti o n a l  Jo in t  Co n f e re n c e   o n .   pp .   2 5 7 – 2 6 2 ,   2 0 1 3 .   [4 6 ]   M .   Ulm a n ,   V .   Vo stro v sk ý ,   d a n   J.  Ty r y c h tr,   “ Ag ricu lt u ra l  e - g o v e rn m e n t:   De sig n   o f   q u a li ty   e v a lu a ti o n   m e th o d   b a se d   o n   is o   sq u a re   q u a li ty   m o d e l, ”   Ag r is  On - li n e   P a p .   Eco n .   In f o rm a ti c s,   v o l.   5 ,   n o .   4 ,   pp .   2 1 1 – 2 2 2 ,   2 0 1 3 .   [4 7 ]   K.  M o u m a n e   d a n   A .   Id ri,   “ Us in g   IS O  9 1 2 6   w it h   Qo S   Dif f S e r v   m o d e l  f o r  e v a lu a ti n g   so f t w a r e   q u a li ty   in   m o b il e   e n v iro n m e n ts, ”   Co m p lex   S y ste m s   (W CCS ),   2 0 1 4   S e c o n d   W o rld   C o n f e re n c e   o n .   pp .   1 3 4 – 1 3 9 ,   2 0 1 4 .   [4 8 ]   T .   A .   A lra wa sh d e h ,   M .   I.   M u h a irat,   d a n   S .   M .   A lq a taw n e h ,   “ A   Qu a n ti tativ e   Ev a lu a ti o n   o f   ER P   S y st e m s  Qu a li t y   M o d e l, ”   in   I n f o rm a ti o n   T e c h n o lo g y :  Ne w   G e n e ra ti o n s  (IT N G ),   2 0 1 4   1 1 t h   I n tern a ti o n a l  C o n f e re n c e   o n ,   2 0 1 4 ,   pp .  46 – 4 9 .   [4 9 ]   S .   Ko la h d o u z - Ra h im i,   K.  L a n o ,   S .   P il lay ,   J.  T ro y a ,   d a n   P .   Va n   G o rp ,   “ Ev a lu a ti o n   o f   m o d e l  tran sf o rm a ti o n   a p p ro a c h e s f o r  m o d e l  re f a c to rin g , ”   S c i.   Co m p u t.   P ro g ra m . ,   v o l.   8 5 ,   P a rt  A ,   pp .   5 – 4 0 ,   Ju n   2 0 1 4 .   [5 0 ]   I.   Bisc o g li o   d a n   E.   M a rc h e tt i,   “ A   C a se   o f  A d o p ti o n   o f   2 5 0 0 0   S ta n d a rd s  F a m il y   Estab li s h in g   Ev a lu a ti o n   Re q u irem e n ts  in   th e   A u d io - v isu a l  P re se rv a ti o n   C o n tex t , ”   S o f twa re   En g in e e rin g   a n d   A p p li c a ti o n s  (ICS OFT - EA ),   2 0 1 4   9 th   In ter n a ti o n a l  Co n f e re n c e   o n .   pp .   2 2 2 – 2 3 3 ,   2 0 1 4 .   [5 1 ]   J.  L e n h a rd ,   “ T o w a rd s  Qu a n ti fy in g   th e   A d a p tab il it y   o f   Ex e c u t a b le  B P M N  P r o c e ss e s , ”   in   CE UR  W o rk sh o p   P r o c e e d in g s,  2 0 1 4 ,   v o l.   1 1 4 0 ,   pp .   3 4 – 4 1 .   [5 2 ]   E.   Zi e m b a ,   T .   P a p a j,   d a n   D.   De sc o u rs,  “ F a c to rs  A ff e c ti n g   S u c c e ss   o f   e ‐ G o v e rn m e n t  P o r tals:  A   P e rsp e c ti v e   o f   S o f t w a r e   Qu a li ty   M o d e l, ”   P r o c .   1 4 th   Eu r.   Co n f .   e G o v e rn m e n t  (ECE G   2 0 1 4 ) ,   n o .   1 ,   pp .   2 5 2 – 2 6 2 ,   2 0 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 8 4 7   –   2 8 5 4   2854   [5 3 ]   S .   Ro c h im a h ,   H.  I.   Ra h m a n i,   d a n   U.  L .   Yu h a n a ,   “ Us a b il it y   Ch a ra c teristic  Ev a lu a ti o n   o n   A d m in istr a ti o n   M o d u le  o f   A c a d e m ic  In f o r m a ti o n   S y ste m   u sin g   IS O/IEC  9 1 2 6   Q u a l it y   M o d e l , ”   In telli g e n t  T e c h n o lo g y   a n d   Its  A p p li c a ti o n s   (IS IT I A ),   2 0 1 5   I n tern a ti o n a l  S e m in a r  o n .   pp .   3 6 3 – 3 6 8 ,   2 0 1 5 .   [5 4 ]   L .   K y p u s,  L .   V o jt e c h ,   d a n   L .   Kv a rd a ,   “ Qu a li tativ e   a n d   s e c u rit y   P a ra m e ters   In sid e   M id d lew a re   Ce n tri c   He tero g e n e o u s   RF ID/Io T   n e tw o rk s,  o n - tag   a p p ro a c h , ”   T e lec o m m u n ica ti o n s   a n d   S ig n a l   P r o c e ss in g   (T S P ),   2 0 1 5   3 8 t h   In tern a ti o n a l  C o n f e re n c e   o n .   pp .   2 1 – 2 5 ,   2 0 1 5 .   [5 5 ]   G .   Lad a n y i,   Z.   T o th ,   R.   F e re n c ,   d a n   T .   Ke re sz tes i,   “ A   S o f t w a re   Qu a li ty   M o d e l  f o r  R P G , ”   in   2 0 1 5   IEE E   2 2 n d   In tern a ti o n a l  Co n f e re n c e   o n   S o f tw a r e   A n a l y sis,  E v o lu ti o n ,   a n d   Re e n g in e e rin g ,   S A NER  2 0 1 5   -   P r o c e e d in g s,  2 0 1 5 ,   pp .   9 1 – 1 0 0 .   [5 6 ]   S .   Ou h b i,   A .   Id ri,   J.  L .   F e rn á n d e z - A le m á n ,   A .   T o v a l,   d a n   H.  B e n jello u n ,   “ A p p ly in g   IS O/IEC  2 5 0 1 0   o n   M o b il e   P e rso n a l  He a lt h   Re c o rd s , ”   in   HE ALT HIN F   2 0 1 5   -   8 t h   In tern a ti o n a l  Co n f e re n c e   o n   He a lt h   In f o r m a t ics ,   P ro c e e d i n g s;  P a rt  o f   8 th   In ter n a ti o n a l  Jo i n t  C o n f e re n c e   o n   Bio m e d ica l  En g in e e rin g   S y ste m s  a n d   T e c h n o lo g ies ,   B IOST EC  2 0 1 5 ,   2 0 1 5 ,   pp .   4 0 5 – 4 1 2 .   [5 7 ]   J.  R.   Ov ied o ,   M .   R o d rig u e z ,   d a n   M .   P iatti n i,   “ Ce rti f ica ti o n   o f   IP a v e m e n t  A p p li c a ti o n s  f o r  S m a r t  Cit ies   a   Ca se   S tu d y , ”   pp .   1 – 6 ,   2 0 1 4 .   [5 8 ]   H. - J.  S o h n ,   M . - G .   L e e ,   B. - M .   S e o n g ,   d a n   J. - B .   Kim ,   “ Qu a li t y   Ev a lu a ti o n   Cri teria   Ba se d   on  Op e n   S o u rc e   M o b il e   HT M L 5   UI  F ra m e w o r k   f o r  De v e lo p m e n t  o f   Cro ss - p latf o rm , ”   In t.   J.  S o f tw .   En g .   it s  A p p l. ,   v o l.   9 ,   n o .   6 ,   pp .   1 – 1 2 ,   2 0 1 5 .   [5 9 ]   J.  M .   A l v e s,  D.   B.   L .   A lb in o ,   M .   C.   Re se n e r,   M .   Zan n in ,   A .   S a v a ris,   C.   G .   V o n   W a n g e n h e i m ,   d a n   A .   V o n   W a n g e n h e i m ,   “ Qu a li t y   Ev a lu a ti o n   o f   P o iso n   C o n tro l  I n f o rm a ti o n   S y ste m s :  A   Ca s e   S tu d y   o f   th e   DA TAT OX   S y st e m , ”   in   P ro c e e d in g s  -   IEE E  S y m p o siu m   o n   Co m p u ter - Ba se d   M e d ica l  S y ste m s,  2 0 1 6 ,   v o l.   2 0 1 6 – A u g u s, pp .   3 0 – 35.   [6 0 ]   J.  M .   A lv e s,  A .   S a v a ris,   C.   G .   v .   W a n g e n h e i m ,   d a n   A .   v .   Wan g e n h e im ,   “ S o f t w a r e   Qu a li ty   Ev a lu a ti o n   o f   th e   L a b o ra to ry   In f o r m a ti o n   S y ste m   Us e d   in   th e   S a n ta  Ca tarin a   S tate   In teg ra ted   T e le m e d icin e   a n d   T e l e h e a lt h   S y ste m , ”   2 0 1 6   IE EE   2 9 t h   In tern a ti o n a l  S y m p o siu m   o n   Co m p u ter - Ba se d   M e d ica l  S y ste m s (CBM S ).   pp .   7 6 – 8 1 ,   2 0 1 6 .   [6 1 ]   S .   M o to g n a ,   A .   V e sc a n ,   C.   S e rb a n ,   d a n   P .   T irb a n ,   “ A n   A p p ro a c h  to   A ss e ss   M a in tain a b il it y   Ch a n g e , ”   2 0 1 6   IE EE   In tern a ti o n a l  C o n f e re n c e   o n   A u to m a ti o n ,   Q u a li ty   a n d   T e stin g ,   Ro b o ti c s (A Q T R).   pp .   1 – 6 ,   2 0 1 6 .   [6 2 ]   C.   S h a rm a   d a n   S .   K.  Du b e y ,   “ R e li a b il it y   Ev a lu a ti o n   o f   S o f twa re   S y ste m   U sin g   A HP   a n d   F u z z y   TO P S IS   A p p ro a c h , ”   A d v a n c e s   in   In telli g e n t  S y ste m s   a n d   Co m p u ti n g ,   v o l.   4 3 7 .   A m it y   S c h o o l  o f   En g in e e rin g   a n d   T e c h n o lo g y ,   Am it y   Un iv e rsit y ,   S e c . - 1 2 5 ,   No i d a ,   U P ,   In d ia,  pp .   8 1 – 9 2 ,   2 0 1 6 .   [6 3 ]   P .   L e w ,   M .   Q.  A b b a si,  I.   Ra f iq u e ,   X .   W a n g ,   d a n   L .   Olsin a ,   “ Us in g   W e b   Qu a li t y   M o d e ls  a n d   Q u e stio n n a ir e s f o r  W e b   A p p li c a ti o n s  Un d e rsta n d in g   a n d   Ev a lu a ti o n , ”   Qu a li ty   o f  In f o r m a ti o n   a n d   Co m m u n ica ti o n s  T e c h n o l o g y   (QU AT IC),   2 0 1 2   E ig h th   In tern a ti o n a l   Co n f e re n c e   o n   t h e .   pp .   2 0 – 2 9 ,   2 0 1 2 .   [6 4 ]   K.  Yu e n   d a n   H.  L a u ,   “ Ev a lu a ti n g   S o f tw a re   Qu a li t y   o f   V e n d o rs  Us i n g   F u z z y   A n a l y ti c   Hie ra rc h y   P ro c e ss , ”   P ro c .   In t .   M u lt iC o n f e re n c e   …,   v o l.   I,   pp .   1 9 – 2 1 ,   2 0 0 8 .   [6 5 ]   J.  R.   Ov ied o ,   M .   Ro d r& # x 0 0 ED; g u e z ,   d a n   M .   P iatti n i,   “ Ce rti f ica ti o n   o f   IP a v e m e n t  A p p li c a ti o n s  f o r  S m a rt  Cit ies   a  Ca se   S tu d y , ”   Ev a lu a ti o n   o f   No v e l  A p p ro a c h e s  to   S o f tw a r e   En g i n e e r in g   (ENA S E),   2 0 1 5   I n tern a ti o n a l  Co n f e re n c e   o n .   pp .   2 4 4 – 2 4 9 ,   2 0 1 5 .   [6 6 ]   M .   K.  Bh u y a n ,   D.  P .   M o h a p a tra,   d a n   S .   S e t h i,   “ S o f tw a re   Re li a b il it y   P re d ictio n   Us i n g   F u z z y   M in - M a x   A lg o rit h m   a n d   Re c u rre n t  Ne u ra l  Ne tw o rk   Ap p r o a c h , ”   In t .   J.  El e c tr.   Co m p u t.   En g . ,   v o l.   6 ,   n o .   4 ,   pp .   1 9 2 9 ,   2 0 1 6 .       B I O G RAP H I E S   O F   AUTH O R         T e n ia  W a h y u n in g ru m ,   S . Ko m . ,   M . T .   Cu rre n tl y   is  p u rsu in g   h e r  d o c to ra l  p ro g ra m   in   Co m p u ter   S c ien c e   a n d   El e c tro n ics   De p a rtme n ts,   F a c u lt y   o f   M a th e m a ti c s  &   Na tu ra l  S c ien c e ,   Un iv e rsitas   G a d jah   M a d a   Yo g y a k a rta,  In d o n e sia .   S h e   t o o k   h e r  u n d e rg ra d u a t e   (S . Ko m )  a t  S T M IK  W id y a   Uta m a   P u rw o k e rto   in   2 0 0 5 ,   a n d   M a ste r  (M . T )  in   El e c tri c a l  En g in e e rin g   De p a rt m e n t  a t  In stit u t   T e k n o lo g i  Ba n d u n g   i n   2 0 1 0 .   He r  re se a rc h   a re a s  o f   in tere st  a re   Hu m a n   Co m p u ter  In tera c ti o n ,   S o f tw a r e   Qu a l it y ,   S o f t  Co m p u ti n g ,   a n d   S o f twa re   En g in e e rin g .     Em a il   :  ten ia@ st3 telk o m . a c . id ,   ten ia.w a h y u n in g ru m @ m a il . u g m . a c . id           In stit u re   f o r  S o f tw a r e   En g in e e r in g   a n d   In tera c ti v e   S y ste m s,  Tec h n isc h e   Un iv e rst  a t  W ien   (V ien n a   Un iv e rsit y   o f   T e c h n o lo g y ),   V ien n a ,   A u stria.  His  r e se a rc h   a re a   o f   in tere st  in c lu d e s   d a tab a se   s y ste m ,   w e b   tec h n o l o g y ,   se m a n ti c   we b ,   so f tw a r e   e n g in e e rin g   a n d   in f o rm a ti o n   m a n a g e m e n t.     Em a il   :  k h a b ib @u g m . a c . id             Evaluation Warning : The document was created with Spire.PDF for Python.