I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   2 ,  A p r il   201 9 ,   p p .   1 2 8 8 ~ 1 2 9 7   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v9 i 2 . pp 1 2 8 8 - 1297          1288       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   M a na g ing  usa bili ty ev a lua tion pra ctice s   in   a g ile dev elo p m en t  env iro n m en ts       Aziz   B in De ra m a n,  F o ua d A bd ula m ee r  Sa l m a n   Sch o o l o f   I n f o r m atic s   an d   A p p lied   Ma th e m at ics ,   Un iv er s iti   Ma la y s ia  T er en g g a n u   ( UM T ) ,  Ma la y s ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   7 ,   2 0 1 8   R ev i s ed   Oct  1 8 ,   2 0 1 8   A cc ep ted   No v   2 ,   2 0 1 8       Us a b il it y   e v a lu a ti o n   is  a   c o re   u sa b il it y   a c ti v it y   th a t  m in i m ize s   risk s  a n d   im p ro v e s  p ro d u c t  q u a li ty .   T h e   re tu rn s  f ro m   u sa b il it y   e v a lu a ti o n   a re   u n d e n iab le.   Ne g lec ti n g   su c h   e v a lu a ti o n   a t  t h e   d e v e lo p m e n t  sta g e   n e g a ti v e l y   a ffe c ts  so f t wa re   u sa b il it y .   In   th is  p a p e r,   th e   a u th o rs  d e v e lo p   a   so f t w a re   m a n a g e m e n t  to o l  u se d   t o   in c o r p o ra te  u sa b il it y   e v a lu a ti o n   a c ti v it ies   in to   th e   a g il e   e n v iro n m e n t.   Us in g   th is  t o o l,   a g il e   d e v e lo p m e n t  tea m s  c a n   m a n a g e   a   c o n ti n u o u s  e v a lu a ti o n   p ro c e ss ,   ti g h tl y   c o u p led   w it h   th e   d e v e lo p m e n t  p r o c e ss ,   a ll o w in g   th e m   to   d e v e lo p   h ig h   q u a li ty   so f t wa re   p ro d u c ts  w it h   a d e q u a te  lev e l  o f   u sa b il it y .   T h e   to o l  w a s  e v a lu a ted   th ro u g h   v e rif ica ti o n ,   f o ll o we d   b y   th e   v a li d a ti o n   o n   sa ti sf a c ti o n .   T h e   e v a lu a ti o n   re su lt s  sh o w   th a t  t h e   to o l   in c re a se d   so f t w a re   d e v e lo p m e n t  p ra c ti ti o n e r  sa ti sf a c ti o n   a n d   is  p ra c ti c a l  f o r  su p p o rt i n g   u sa b il it y   w o rk   in   so f t w a re   p ro jec ts.     K ey w o r d s :   Ag ile  s o f t w ar e  d ev elo p m e n t   Usab ilit y   Usab ilit y   e v al u atio n     Usab ilit y   m a n a g e m e n t   Co p y rig h t  ©   2 0 1 9   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Fo u ad   A b d u la m ee r   Sal m a n ,    Sch o o l o f   I n f o r m atic s   an d   A p p lied   Ma th e m at ics ,   Un i v er s iti Ma la y s ia  T er en g g a n u   ( UM T ) ,   Un i v er s iti   Ma la y s ia,   2 1 0 3 0   Ku ala  T er en g g a n u ,   T er en g g a n u ,   Ma la y s ia .   E m ail:  f o u ad au g @ g m ai l.c o m       1.   I NT RO D UCT I O N     T h e  P o o r   u s ab ilit y   a n d   i n ef f ic ien t  e n d - p r o d u ct  d esi g n   ar e  c o m m o n   is s u e s   [ 1 ] ,   [ 2 ]   o f   f aile d   s o f t w ar e   p r o d u cts.  T h ese  ca u s e s   ca n   b e  av o id ed   b y   in co r p o r atin g   u s ab ilit y   e v alu a tio n   ac ti v itie s   in to   th e  d esig n   an d   d ev elo p m en t  s tag e  o f   s o f t w ar e  s y s te m s   [ 3 ] .   Usi n g   u s ab ilit y   ev alu atio n s   i n   s o f t w ar e  d ev el o p m e n t  allo w s   f o r   h ig h l y   s ig n i f ica n t  f ee d b ac k ,   m ak in g   it   a  cr itical  f ac to r   i n   cr ea tin g   u s ab le  an d   u s e f u l  s o f t w ar e  f o r   tar g et   au d ien ce s   [ 4 ] .   Usab ilit y   ev a lu at io n   i s   ap p li ed   d u r in g   th e   d ev elo p m e n t  p r o ce s s   to   in cr ea s e  p r o d u ct   u s ab ili t y ,   m i n i m ize  t h e  r is k s   o f   f ail u r e,   d ec r ea s e  co s ts ,   an d   i n cr e ase  o v er all  q u alit y   [ 5 ] .   Var io u s   p r io r ities   a n d   ap p r o ac h es  m ak e  t h e  i n co r p o r atio n   f u r th er   co m p l icate d   [ 6 ] .   A lt h o u g h   b o th   f ield s   h a v e  s i m ilar itie s ,   s u ch   as  a   s h ar ed   f o c u s   o n   d eli v er in g   v al u e,   b ein g   iter ati v e  in   n at u r e  an d   in clu d i n g   co n ti n u o u s   te s ti n g ,   th e  d if f er en ce s   i n   h o w   t h e y   ap p r o ac h   th ese  is s u es  lead s   to   p r ac tical  d if f ic u ltie s   [ 7 ] .   A   k e y   d i f f icu lt y   en co u n ter ed   is   th e   in co r p o r atio n   o f   ac tiv ities ,   ar tif ac t s ,   an d   m et h o d s   o f   t h e  ev alu a tio n   o f   ex i s ti n g   o r g an i za tio n al  s tr u ct u r es,  w h ic h   t y p ica ll y   p o s s ess   estab l is h ed   p r o ce s s   m o d els  f o r   p r o d u ct  d ev elo p m en t  a n d   i m p le m e n tatio n   [ 8 ] .   A   lac k   o f   co m p r eh e n s i v e  s tr ate g ic  ap p r o ac h es  to   u s ab ilit y   ev a lu at i o n   in   co n v e n tio n al  a g ile  m et h o d s   an d   in ad eq u ate  tr an s f er   o f   k n o w led g e  b et w ee n   p r ac tice  an d   ac ad em ia  [ 9 ]   m ak e s   it  ch alle n g in g   to   p er f o r m   o n g o in g   ev alu a tio n s .   T h is   s o m e ti m e s   lead s   to   it s   r e m itta n ce   f r o m   s o f t w ar e  d e v elo p m e n t  p r o j ec ts   [ 1 0 ] .   Ho w e v er ,   d esp ite  g r o w i n g   r esear ch   in   b o th   f ield s ,   a g ile   d ev elo p m e n t  tea m s   o f te n   lack   a  p r o p er ly - i n teg r ated   ap p r o ac h   th at  u tili ze s   i n co r p o r atio n   d u r in g   th e  d e v elo p m e n t  p r ac tic es  f r o m   en d - to - e n d .   I n   th i s   p ap er   th e  au t h o r s   d ev elo p ed   a  s o f t w ar e  m a n a g e m e n t  to o l  to   f ill  t h e  g ap   b et w ee n   t h e  u s ab ilit y   e v al u atio n   s id e  an d   th e   d ev elo p m en t  s id e.   Ma n a g i n g   u s ab ilit y   e v al u atio n   ac t iv i ties   w h ile  w o r k in g   ac co r d in g   to   th e  a g ile  s o f t w ar e  d ev elo p m en t   ap p r o ac h   w a s   s u g g es ted   [ 1 1 ] ,   [ 1 2 ] .   T h e  au t h o r s ‟   co n tr ib u tio n   i s   co n n ec t in g   b o th   u s ab ilit y   ev alu a tio n   e n v ir o n m en t  an d   a g ile  e n v ir o n m en t   b y   a  m a n a g e m en t  to o l  d er iv ed   f r o m   a  m o d el   f o r   i n co r p o r ati n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit y  ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men t  en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1289   u s ab ilit y   e v al u atio n   in to   ag il e  en v ir o n m en t   [ 1 3 ] .   T h e  au th o r s   t h in k   t h at   a  m o r e  co m p r eh en s i v e  b asi s   o f   in co r p o r atio n   w o u ld   r e m o v e  p r o ce s s   o r   o r g an izatio n - s p ec if ic  d etail s   t h at  h in d e r   in ter d is cip li n ar y   co llab o r atio n   an d   ad d   m o r e  v a lu e  to   th e  i n co r p o r atio n   p r o ce s s .       2.   E NAB L I N G   AG I L E   US AB I L I T Y   I n   ex i s ti n g   ap p r o ac h es,  m a n y   r esear ch er s   h av e  ad d r ess ed   t h e  is s u e  o f   in teg r ati n g   u s ab ilit y   ev al u atio n   in to   s o f t w ar e  d ev elo p m e n t,  an d   s p ec if icall y   i n to   th e  ag ile  d ev elo p m e n t  ap p r o ac h .   Fo r   ex am p le,   s o m e  ea r lier   s tu d ie s   f o cu s   o n   ap p l y in g   s e v er al  u s ab ilit y   e v al u atio n   tec h n iq u es  to   ag ile  d ev elo p m e n t,  wh ile  o th er s   f o cu s   o n   th e  b en e f its   a  p ar ticu lar   tech n i q u e  ca n   b r in g   to   ag ile  d ev e lo p m en t.  Ma n y   ap p r o ac h es  h a v e  b ee n   d ev elo p ed   to   b r id g e  th is   g ap .   Kan e  s tated   th at  n o n e  o f   th e  m ain   a g il e  d ev elo p m e n t  m et h o d s   ex p licitl y   i n co r p o r ate   in ter ac tio n   d esi g n   p r ac tices,  an d   s u g g e s t s   th at  b y   i n co r p o r a tin g   d is co u n t  u s ab ilit y   e v al u a tio n   tech n iq u e s   as   p ar t o f   ag ile  d ev e lo p m en t,  t h e  u s ab ilit y   o f   t h e  s o f t w ar e  ca n   i m p r o v e  [ 1 4 ] .   He  s tr es s ed   t h at  th er e  ar e  s till   m a n y   is s u es  t h at  m u s t  b e  ad d r ess ed   to   m ak e  th e  co m b in at io n   e f f ec tiv e.   I t  s ee m s   th at   th e s e  li g h t w ei g h t  tec h n iq u es   ca n   b e  a  g o o d   m atch   w it h   a g il e  m et h o d s   as  th e s e  tec h n iq u es   d o   n o t  r eq u ir e  an y   f o r m al   u s ab ilit y   tr ai n i n g   an d   ca n   t h er eb y   ea s i l y   b e  ad ap ted   to   w o r k   in   a n   a g ile  co n tex t.  Ho lzin g er   p r ese n ts   a  d ev elo p m en t  m eth o d   ca lle d   E x tr e m e   Usab ili t y   ( XU )   w h er e  all  t h e  b est   u s ab ilit y   p r ac tic es  ar e  k ep t   in   t h e  p lan n i n g   g a m e  o f   XP ,   in c lu d i n g   a  th i n k - alo u d   m et h o d   o n   p ap e r   m o ck - u p s   [ 1 5 ] .   Me s za r o s   a n d   Ast o n   ar g u e  t h at   s o m e  d esi g n   u p   f r o n t  p r o v id es   b etter   g u id an ce   to   t h e  d e v elo p m e n t   tea m   a n d   p r o v id es  ea r lier   o p p o r tu n ities   f o r   f ee d b ac k   [ 1 6 ] .   P ae lk e  an d   Neb e  p r esen t  u s in g   a n   ap p r o ac h   to   i n te g r ate  a g ile   m e th o d s   w it h   UE   an d   d es ig n   tec h n iq u e s   t h at  o f f er ed   ef f ec tiv e   ex p lo r atio n .   T h ese  te ch n iq u es  ar e  b ased   o n   m ix ed   r ea lit y   o r   t h e  clo s e  co u p li n g   o f   r ea l - w o r ld   o b j ec ts   wi t h   co m p u ter - g e n er ated   i n f o r m atio n   a n d   f u n ctio n a lit y .   T h is   h a s   s tr o n g   p o ten tial  f o r   th e   cr ea tio n   o f   u s ab le   u s er   i n ter f ac e s   [ 1 7 ] .   W o lk er s to r f er   p r esen ts   a n   ap p r o ac h   to   co m b i n e  in ter ac tio n   d esig n   tech n iq u es  ( u s er   s tu d ie s ,   ex tr e m e  p er s o n a s ,   u s ab ilit y   ex p er t  ev al u atio n s ,   u s ab ilit y   test ,   an d   au to m ated   u s ab ilit y   ev al u atio n s )   w it h   XP   to   tak e  ad v an tag e s   o f   b o th   ap p r o ac h es [ 1 8 ] .   T h ey   h av e  co m b i n ed   th e  ad v a n ta g es  o f   XP   m et h o d o lo g y   ( o n - ti m e  d eli v er in g ,   o p ti m ized   r eso u r ce   in v est m e n t,  s h o r t  r elea s e  c y cle s ,   w o r k in g   h i g h - q u a lit y   s o f t w ar e,   ti g h t   cu s to m er   in teg r atio n )   w it h   t h e  ad v a n ta g es  o f   a n   i n ter ac t iv e  d esi g n   p r o ce s s   ( u s ab le,   ac ce s s ib le,   ac ce p ted   p r o d u cts,  en d - u s er   in te g r atio n ) .   Ob en d o r f   p r o p o s ed   an   ap p r o ac h   u s in g   t h e  s ce n ar io   tech n i q u es  in   XP   th a t  p r eser v e  th e   ag ilit y   o f   ag ile  d ev elo p m e n t  m eth o d s   [ 1 9 ] .   He  a d d r ess ed   s ce n ar io s   as  to o ls   f o r   co m b i n in g   XP   an d   u s ab ilit y   e v al u atio n   an d   r ef lects  o n   t h e  ex p er ien ce s   th e y   h a v e  m ad e  ad ap tin g   it  t o   r ea l  p r o j ec ts .   Ho w e v er ,   th e  i n teg r ated   ap p r o ac h   n ee d s   m o r e  r ef lect io n .   L o s ad a  in teg r ated   UE ,   ev al u atio n   tec h n iq u es  i n   I n ter Mo d   an d   p r o v in g   i ts   ad v a n ta g es,   b en ef it s ,   an d   v er if iab le  i m p r o v e m e n t s .   T h is   p r o m o tes  d ev e lo p m e n t  ta ilo r ed   to   u s er   ex p e ctatio n s   s i n ce   en d   u s er s   ar e  i n v o l v ed   i n   t h e  b e g i n n i n g   o f   t h e  p r o j ec t  an d   i n   t h e  co n ti n u o u s   u s ab ilit y   e v alu a t io n   [ 2 0 ] .   Mc Neill  d escr ib ed   tech n iq u e s   o f   s to r y b o ar d in g   as  a n   iter ati v e  ap p r o ac h   an d   a   lo w - r eliab ili t y   p r o t o ty p i n g   i n   a g ile  t h at   ca n   p er k   u p   th e   s o f t w ar e  d es ig n   in s tead   o f   s p en d i n g   ti m e  o n   co d e  m o d u les.  Hen ce ,   e n h an ce d   v er s io n s   o f   th ese  p r o d u cts ca n   d ev elo p   a  c o m p lete  f o c u s   o n   e n d - u s er s   b y   ad d in g   u s ab ilit y   to   ag ile  ap p r o ac h es   [ 2 1 ] .   W h ile  v ar io u s   i n te g r atio n   ap p r o ac h es  ar e  co n tin u all y   b ei n g   p r o p o s ed   an d   d ev elo p ed   u s in g   d if f er en t  m et h o d s   an d   tech n iq u es,  m a n ag e m e n t  o f   s u ch   in te g r atio n   is   ab s e n t  o r   p o o r ly   d o cu m en ted   in   t h e  liter atu r e.   Dete r m i n i n g   h o w   to   r ed u ce   t h is   g ap   w o u ld   i m p r o v e  i n f o r m atio n   ex c h a n g e,   m a k i n g   co llab o r atio n   m o r e  s u cc e s s f u l.  I n   t h e   n ex t  s ec tio n ,   th e  au th o r s   id e n ti f y   ca s e s   in   w h ich   u s ab ilit y   e v al u atio n   ca n   b e  w e ll - m an ag ed   w it h i n   th e   d ev elo p m en t e n v ir o n m en t.         3.   I NCO RP O RA T I O N  O F   US AB I L I T Y  E VAL UAT I O N  C H ARAC T E RI ST I CS   T h e  m ai n   ch ar ac ter i s tics   o f   th e  in co r p o r ated   a p p r o ac h   o f   ag ile  an d   u s ab ili t y   e v alu a tio n   t h at  au th o r s   u s e  ar e  as  f o llo w s :     a.   I ter ativ e  d esi g n   ac ti v itie s   -   I n   m an y   ca s es,  w h e n   u s er - ce n tr ic   tech n iq u e s   ar e  u s ed ,   t h e  d esi g n   o f   t h e  s y s te m   is   r ef in ed   ac co r d in g   to   t h e  u s e r s ‟   e v al u atio n s   a n d   t h is   is   p er f o r m ed   m ai n l y   d u r i n g   t h e  d esi g n   p h ase.   W h e n   in tr o d u ci n g   t h e  ag ile  ap p r o ac h ,   a  d esig n   i s   u p d ated   r eg u lar l y   a s   th e  p r o d u ct  ev o lv e s .   C o m b i n in g   u s ab ilit y   ev alu a tio n   ac t iv i ties   w ith   t h e  ag ile  ap p r o ac h ,   u s er   ev a l u atio n   is   f o s ter ed   b y   p er f o r m i n g   u s ab ilit y   ev alu a tio n   tas k s   in   ea c h   iter a tio n   o f   t w o   to   f o u r   w ee k s .   T h e  d esi g n   i s   t h e n   u p d ated   ac co r d in g   to   t h e   ev alu a tio n   o f   o n - g o in g   o u tco m es t h at  ar e  co n s id er ed   as r ef ac to r in g   tas k s .     b.   R o les   -   Di f f er e n t  r o les  ar e  d e f i n ed   to   s u p p o r t  s o f t w ar e  d ev elo p m e n t  e n v ir o n m en t s .   T h e  ag ile  ap p r o ac h   ad d s   r o les  f o r   b etter   m a n a g e m en t  an d   d ev elo p m en t  o f   th e  p r o j ec t.  C o m b i n in g   a g il e  an d   u s ab ili t y   ev alu a tio n   ad d s   u s ab ilit y   e v al u atio n   r o les,  s u c h   as th e  u s er   i n ter f ac e   ( U I)   ex p er t r o le.   c.   Me asu r es  -   T ak in g   m ea s u r e m en ts   is   a  b asic  ac ti v it y   i n   s o f t w ar e  d ev elo p m e n t  p r o ce s s es.  T h e  ag ile   ap p r o ac h   em p h a s izes  t h i s   an d   en co u r ag e s   th e  tr ac k er   r o le.   W h en   co m b i n i n g   a g ile  an d   u s ab ilit y   ev a l u atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 ,  A p r il 2 0 1 9   :   1 2 8 8   -   1297   1290   ap p r o ac h ,   a  s et  o f   ev al u atio n   to o ls   m a y   b e  b u ilt   an d   r e f i n ed   d u r in g   t h e  p r o ce s s   a n d   u s ed   iter ativ el y   to   co m p le m e n t t h e  p r o ce s s   an d   p r o d u ct  m ea s u r es.   d.   I ter ativ e  d esi g n   ac ti v itie s   -   I n   m an y   ca s es,  w h e n   u s er - ce n tr ic   tech n iq u e s   ar e  u s ed ,   t h e  d esi g n   o f   t h e  s y s te m   is   r ef in ed   ac co r d in g   to   t h e  u s e r s ‟   e v al u atio n s   a n d   t h is   is   p er f o r m ed   m ai n l y   d u r i n g   t h e  d esi g n   p h ase.   W h e n   in tr o d u ci n g   t h e  ag ile  ap p r o ac h ,   a  d esig n   i s   u p d ated   r eg u lar l y   a s   th e  p r o d u ct  ev o lv e s .   C o m b in in g   u s ab ilit y   ev alu a tio n   ac t iv i ties   w ith   t h e  ag il e  ap p r o ac h ,   u s er   ev a l u atio n   is   f o s ter ed   b y   p er f o r m i n g   u s ab ilit y   ev alu a tio n   tas k s   in   ea c h   iter a tio n   o f   t w o   to   f o u r   w ee k s .   T h e  d esi g n   i s   t h e n   u p d ated   ac co r d in g   to   t h e   ev alu a tio n   o f   o n - g o in g   o u tco m es t h at  ar e  co n s id er ed   as r ef ac to r in g   tas k s .     e.   S tak e h o ld er s   ( Us er s ,   C u s to m e r s )   -   B o th   u s ab ilit y   an d   ag ile  ap p r o ac h es  ar e  „ h u m a n - ce n ter ed ‟ ,   in   th at  t h e y   v alu e  c lo s e  co llab o r atio n   w it h   s ta k e h o ld er s .   I n   u s ab ilit y ,   u s er s   ar e  p eo p le  th at  ac tu all y   u s e  t h e  s o f t w ar e   an d   t h at  p ar ticip ate  i n   r eq u ir em en ts   g at h er ed   t h r o u g h   in ter v ie w s   a n d   f ield   s tu d ie s .   Ag ile  d ev elo p m e n t a l s o   v alu e s   co llab o r atio n   w i th   u s er s   an d   co n s id er s   s tak e h o ld er   p ar ticip atio n   i n   t h e  d ev elo p m e n t  p r o ce s s   to   b e   th e  m o s t  ef f ec ti v e  m ea n s   o f   co m m u n icati n g   n ee d s   to   th e  d ev elo p er s .   C o m b in i n g   ag i le  an d   u s ab ili t y   ev alu a t io n   allo w s   s ta k eh o ld er s   to   ev alu ate  s o f t w ar e  u n d er   r ea l c o n d itio n s .         4.   I NCO RP O RA T I O N  US AB I L I T Y  E V AL U AT I O N  M O D E L      T h e  m o d el   o f   in co r p o r atio n   u s ab ilit y   e v alu a tio n   in to   ag ile  en v ir o n m e n t   [ 1 3 ]   h as  b ee n   ch o s en   as  a   b asis   f o r   th e  p r o p o s ed   m an a g e m e n t  to o l  w h ich   s u p p o r ts   s o f t w ar e  tea m   m e m b er s   to   n o m in ate  ap p r o p r iate  d ev elo p m en t  ac ti v itie s ;  to   d o c u m e n t  an d   co m m u n ica te  th eir   r esu lts ;  to   d ef in e  f ield s   o f   co m p e ten cie s   f o r   th e   r o les  in   s o f t w ar e  d ev elo p m en t   p r o j ec ts   to   ac h iev e  q u alit y   o f   u s e.   Ho w ev er ,   th e  s elec ted   m o d el   co n tain s   a  lis t   o f   ac ti v itie s   a n d   ar ti f ac ts   co n s t r u cted   f r o m   ca r e f u ll y   s elec ted   an d   an a l y ze d   I S O  s tan d ar d s .   T h e  s tan d ar d s   f o r m   th e  b asis   o f   u s ab ilit y   ev a lu at io n   an d   s o f t w ar e  d ev elo p m en t  p r o ce s s es,  w h ic h   th e  m o d el  aim s   to   o p er atio n alize   an d   th u s   s i m p li f y   t h eir   i m p le m en tatio n   as  s h o w n   in   Fig u r e  1 .   T h e  in co r p o r atio n   in cl u d es  t h r ee   asp ec ts   a s   f o llo w s .   Firstl y ,   p o ten tial  in c o r p o r ati o n   p o in ts   ar e  m ap p ed   b ased   o n   th eir   en d   ef f ec t s   a n d   o v er lap   b et w ee n   ac tiv itie s   i n   u s ab il it y   ev a lu at i o n   an d   s o f t w ar e  d ev elo p m e n t.   Seco n d l y ,   t h e  d ep en d en cie s   o f   t h e  ac ti v itie s   a n d   ar tif ac ts   ar e  ex a m in ed   to   s h o w   i n f o r m atio n   f lo w   w it h i n   ea ch   p r o ce s s .   T h ir d ly ,   t h e  co n v er g en ce   ar tif ac t s   o f   b o th   p r o ce s s es a r e  id e n ti f ied .   I n   t h e  n ex t sect io n ,   t h e  p r o p o s ed   to o l is estab li s h ed   a s   a  co m p lete  s y s te m   w it h i n   its   d ef i n ed   s co p e.             Fig u r e  1 .   T h e  g en er al  in co r p o r atio n   m o d els       5.   T H E   SO F T WAR E   M ANAG E M E NT   T O O L     B ased   o n   th e  m o d el,   a  co m p lete  m an a g e m e n t  s y s te m   s h o u l d   b e  d esig n ed   to   f u l f il l  a  cr itical  n ee d   o f   u s ab ilit y   e v al u atio n   ac ti v ities ,   alo n g s id e  th e   p r o ce s s   o f   s o f t war e  d ev elo p m en t,  e s p ec ial l y   i n   ter m s   o f   t h e  a g ile   en v ir o n m e n t.  T h is   s y s te m   att e m p ts   to   m a n a g e,   m o n ito r ,   a n d   s teer   t h e  u s ab il it y   ac ti v iti es  w h ich   h a v e  lo n g   b ee n   tr ea ted   as  o n e  o f   t h e  co r e  is s u es  i n   t h e  s o f t w ar e  d ev el o p m e n t  p r o ce s s .   Ho w ev er ,   t h e   d ep lo y m en t  o f   t h is   s y s te m   i s   n o t  m ea n t  to   p r o v id e  a  to tal  s o lu tio n   to   in co r p o r at e  u s ab ilit y   i s s u es  w it h i n   th e  d ev elo p m e n t  p r o ce s s .   I t  is   s i m p l y   i n ten d ed   to   s u p p o r t  m an a g e m en t   ac ti v ities   in   ad d itio n   to   th e  e x is tin g   i n co r p o r atio n   ap p r o ac h es  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit y  ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men t  en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1291   an d   tech n iq u e s .   B ef o r e  p r o ce ed in g   to   s y s te m   i m p le m e n ta tio n ,   w e  m u s t  f ir s t  u n d er s tan d   th e  s y s te m   ar ch itect u r e  an d   en v ir o n m en t.    T h e  m a n ag e m e n t  s y s te m   i s   d ev elo p ed   as  a  s o f t w ar e  p r o to t y p e  s y s te m   to   i m p le m en t   in   a  r ea l  en v ir o n m e n t.  I t  is   co n n ec ted   to   o th er   to o ls   s u c h   as  t h e  I n teg r ated   De v elo p m e n t  E n v ir o n m e n t  ( I D E )   an d   u s ab ilit y   to o ls   u s in g   p lu g - in   te ch n o lo g y .   E s s e n tial l y ,   it  s er v e s   as  a  s ca f f o ld   to   b r in g   to g et h er   th e  u s ab ilit y   a n d   d ev elo p m en t e n v ir o n m en ts .     T h is   s y s te m   w a s   d ev elo p ed   in   a  J av aScr ip t  s er v er ( J SP ) .   T h e  ap p licatio n   o f   in ter n et  W E B   an d   u s i n g   M y SQ L   to   d atab ase  m a n a g e m en t  also   d e v elo p   th e  d atab a s e  th r o u g h   t h e  u s e  o f   t h e  o p en   s o u r ce   p r o g r a m .   I t  w a s   d esig n ed   to   co v er   f o u r   m ai n   f u n ctio n a liti es :  ar tif ac t  r ep o s ito r y ,   m o n i to r   d ev elo p m e n t  ac ti v itie s   o f   b o th   f ield s   ( u s ab ilit y   a n d   s o f t w ar e  d ev elo p m e n t) ,   th e  e v al u ati o n   o f   th e  u s ab ilit y   ev al u atio n   m et h o d s   an d   th e   p r o d u ctio n   o f   p lan s .   I t  i s   ass u m ed   th at  a ll  t h e  s o f t w ar e  d ev elo p m e n t  k n o w led g e  m an a g e d   b y   t h e  d ev elo p ed   s y s te m   h as  b ee n   e x tr ac ted   f r o m   t h e  ar t if ac t   r ep o s ito r y   w h ic h   i s   cr ea ted   b y   o th er   to o ls .   Fi g u r e  2   co n ta i n s   a n   o v er v ie w   o f   t h e   m an a g e m en t s y s te m   ar ch i tectu r e.           Fig u r e  2 .   A   v ie w   o f   s o f t w ar e  m an a g e m e n t s y s te m   ar ch itect u r e       a.   Mo n ito r   an d   co n tr o l ( ac tiv itie s   an d   ar tif ac ts )   T h e  o b j ec tiv e  o f   m o n ito r in g   a n d   co n tr o llin g   f r o m   t h is   r esear ch   p er s p ec tiv e  i s   to   en s u r e   a  c o n tin u o u s   ev alu a tio n   p r o ce s s   ti g h tl y   co u p led   w i th   t h e  d ev elo p m e n t  p r o ce s s ,   th u s   r ec eiv i n g   o n - g o in g   u s er   f ee d b ac k   w h ile   co n ti n u in g   th e   d ev elo p m en t.  P r o v id in g   d as h b o ar d   f o r   d is p la y i n g   s tr ea m   o f   t h e  ac tiv ities   a n d   ar ti f ac ts   o f   b o th   f ield s   s tr ik e   t h e  b alan ce   o f   t h e s e  tr ac k s   a lo n g s id e  t h e   d ev elo p m e n t  p r o ce s s .   I n   th i s   w a y ,   th e   s o f t w ar e   tea m   ca n   id e n ti f y   t h e  p r o g r ess   o f   ta s k s ,   ac ti v itie s ,   p r o j ec ts ,   an d   o th er   a s s o ciate d   i n f o r m atio n   ( e. g .   T ask   Na m e,   Star t D ate,   E n d   Date ,   P er ce n t Co m p lete)   v ia  t h i s   d ash b o ar d .   b.   Man ag e  t h e  ac ti v itie s   an d   ar ti f ac ts   in   t h e  p lan   T h is   en co m p as s es  i n ter f ac e s   th at  co v er   all  p h ase s   o f   d ev elo p m e n t  p r o ce s s   ac ti v itie s   ( r eq u ir e m en ts ,   d esig n ,   i m p le m en ta tio n ,   an d   test in g )   to   en ab le  th e  s o f t w ar e  d ev elo p m en t  tea m   to   s et,   p r io r itize,   an d   ev alu ate   us ab ilit y   asp ec ts   s m o o th l y   d u r in g   t h eir   p r o j ec ts .   T h e  lis t s   o f   t h ese   ac ti v ities   s h o w   f u n d a m en tal  UE   a n d   SE   ac tiv itie s   an d   ar ti f ac ts   r ele v a n t  to   th e  u s ab ili t y   e v al u atio n   an d   s o f t w ar e  d ev elo p m e n t   p r o ce s s ,   w it h   th e   p o ten tial in co r p o r atio n   p o in ts   b ein g   h ig h li g h t ed .   c.   Ma n ag e  t h e  m et h o d s   o f   u s ab ilit y   ev a lu at io n   i n   th e  p la n s   T h e  n ex t  o n e  is   t h e  p r ev io u s   f u n ct io n alit y   t h at  p r o v id es  th e  in ter f ac e  d i s p la y   o f   all  ac ti v it i es  o f   b o th   f ield s   i n cl u d in g   ( r eq u ir e m e n ts ,   d esig n ,   i m p le m en ta tio n ,   an d   test i n g )   to   en ab le  t h e  s o f t w ar e   d ev elo p m e n t  tea m   to   s elec t,  s u g g e s t,  an d   s et  p r o p er   u s ab ilit y   ev al u atio n   m et h o d s   b ased   o n   ce r tain   cr iter ia  e. g .   E f f ec ti v e n ess ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 ,  A p r il 2 0 1 9   :   1 2 8 8   -   1297   1292   D y n a m ic it y ,   T i m e - co s t,  E f f o r t - co s t,  L ea r n ab ilit y ,   Un d er s t an d ab ilit y ,   R e s u lts   A cc u r ac y ,   C o v er ag e  A r ea ,   A tt itu d e,   an d   Sat is f ac tio n .   d.   Ma n ag e  ar ti f ac t s   r ep o s ito r y   An   ar ti f ac t s   r ep o s ito r y   r ep r esen t s   a  co llec tio n   o f   ar ti f a cts  a n d   li n k s   ca p t u r ed   f r o m   av ailab l e   r eso u r ce s   in cl u d i n g   d o cu m en t atio n ,   co d e  an d   o th er   r elate d   i n f o r m atio n .   T h is   i n f o r m atio n   n ee d s   to   b e  s to r ed   in to   a  d atab ase  o f   ar ti f ac t  r elatio n s h ip   tab les  to   m a k e  t h e m   r ea d il y   a v ailab le  f o r   m an ag e m e n t  s y s te m   i m p le m en ta tio n .   e.   P r o d u ce   p lan s     T h is   ca n   b e  d iv id ed   in to   t w o   m ai n   tas k s ,   n a m el y   s u g g es tin g   ac ti v itie s   f o r   b o th   u s ab ilit y   ev alu a tio n   an d   d ev elo p m en t  p r o ce s s ,   an d   s u g g e s ti n g   m et h o d s   o f   u s ab il it y   ev a lu at io n .   T h is   m a y   t h en   b e  u s ed   to   p r o d u ce   p lan   r ep o r ts   co n s is tin g   o f   ac ti v itie s ,   m et h o d s   an d   ex p ec ted   a r tif ac ts .   T h e  au th o r s   s u g g e s t  th at  th e  co m b i n atio n   o f   th e  u s ab ilit y   e v al u atio n   a n d   ag ile  ap p r o ac h es  s h o u ld   b e  s u p p o r ted   b y   an   e x ten s io n   t o   a  co n te m p o r ar y   d ev elo p m en t e n v ir o n m en t in   o r d er   to   b e  u s ed   in   a  n at u r al  m a n n er .   T h is   is   elab o r ated   in   t h e  n ex t   s ec tio n .           6.   T H E   P RO J E C T   W ith   s u p p o r t  f r o m   an   i n d u s tr y   d ev elo p er ,   o n e  o f   th e  a u th o r s   d ev elo p ed   th e  m an a g e m en t  to o l  d escr ib ed   in   th is   p ap er .   T h e   p r o j ec t  to o k   th r ee   m o n t h s   a n d   w a s   co m p o s ed   o f   4   iter atio n s ,   th r ee   o f   3   w ee k s   ea ch   an d   o n e  o f   4   w ee k s .   T ab l e  1   s h o w s   th e  d u r atio n   an d   t h e   m ain   t h e m es o f   ea ch   iter atio n .           T ab le   1 .   T h e  I ter atio n s - d u r atio n   an d   T h e m es     I t e r .   T h e me s   D u r a t i o n   ( w e e k s)   1   Ex p e r i me n t s  a n d   R o l e s   a.   En d - to - e n d   p l a n s:   d e f i n i n g   t h e   a c t i v i t i e s,  me t h o d s ,   e x p e c t e d   a r t i f a c t s,  a n d   r e su l t s v i e w   b.   D e v e l o p e r   r o l e - p e r sp e c t i v e   c.   U sab i l i t y   e n g i n e e r   r o l e - p e r sp e c t i v e   d.   O t h e r   t e a m ro l e - p e r sp e c t i v e   e.   W o r k   i t e ms c a n   b e   c r e a t e d ,   a ss i g n e d   f.   T h e   s y st e m h a s o n e   d a t a   r e p o si t o r y   3               2   U se r s‟   i n t e r f a c e     a.   U se r s‟   man a g e me n t   a n d   p e r mi ssi o n s   b.   A   u se r   i n t e r f a c e   t o   p r o d u c e   t h e   p l a n s   c.   C l i e n t   /   S e r v e r   a r c h i t e c t u r e   f o r   man a g i n g   t h e   a c t i v i t i e s a n d   me t h o d s   d.   S u p p o r t i n g   se l e c t i o n   me t h o d   f o r   u se r   e v a l u a t i o n   t h a t   a r e   d e r i v e d   f r o m   c e r t a i n   c r i t e r i a   e.   O n   l i n e   h e l p   4           3   S t a b i l i t y   a.   T e st i n g   a n d   R e f a c t o r i n g   b.   D e v e l o p me n t   r e f i n e me n t   3     4   O b se r v e   a n d   U se r   P r o f i l i n g   a.   S u p p o r t i n g   mo n i t o r   a n d   c o n t r o l   ( a c t i v i t i e s  a n d   a r t i f a c t s)   b.   S u p p o r t i n g   u se r   p r o f i l i n g   c.   S c a l e   u sa b i l i t y   e v a l u a t i o n   me t h o d s   3           6 . 1 .   Usi ng   t he  m a na g e m ent   s y s t e m     T h e  m ain   f ea t u r e  o f   th e  m a n ag e m e n t  s y s te m   is   its   ab ili t y   to   i n co r p o r ate  an d   m an a g e   u s ab ili t y   ev alu a tio n   w i th i n   t h e  co n te x t   o f   an   a g ile  e n v ir o n m e n t.  Fo cu s i n g   o n   a  s p ec i f ic  s o f t w ar e   p r o j ec t  th at  ca n   b e   d ef in ed   b y   d i f f er e n t  k in d s   o f   r eq u ir ed   ac tiv ities ,   t h e n   d ef i n e  s u itab le  m et h o d s   to   ap p ly   t h ese  ac ti v itie s .   T h at  is ,   th e  d ev elo p m en t  tea m   c h o o s es  th e  s et  o f   ac ti v itie s   ac co r d in g   to   th e  n at u r e  o f   s o f t w ar e  p r o j ec t  an d   th e n   s elec ts   ap p r o p r iate  m et h o d s   b ased   o n   s elec tio n   cr iter ia  ( t h e  s elec tio n   w ill  b e  f r o m   a g ile  p er s p ec tiv e)   to   p er f o r m   t h ese  ac t iv i ties   a n d   task s   as s h o w n   in   F ig u r e  3   an d   F ig u r e  4 .       6 . 2 .   Rela t ed  env iro n m ent     Du e  to   th e  p r o p o s ed   m a n a g e m en t  to o l  in te n d ed   to   b u ild   a  b r id g e  b et w ee n   u s ab ili t y   e v a lu atio n   a n d   d ev elo p m en t  e n v ir o n m en t;  it   h as  to   d ea l  w ith   s ev er al  t y p es  o f   d ev elo p m e n t  an d   ev a lu atio n   to o ls .   Fo r   ex a m p le,   o n e  t y p e  o f   th o s e  to o ls   is   I DE .   I t   is   a  s o f t w ar e  d ev elo p m e n t  p latf o r m   t h at  p r o v id es  co m p r eh e n s i v e   f ac ilit ies  to   co m p u ter   p r o g r a m m er s   f o r   s o f t w ar e  d ev el o p m e n t.  T h e  b o u n d ar y   b et w ee n   an   i n te g r ated   d ev elo p m en t   en v ir o n m e n t  a n d   o th er   p ar ts   o f   th e   b r o ad er   s o f t w ar e  d e v elo p m e n t  e n v ir o n m e n t   is   n o t  w ell - d ef in ed .   So m eti m e s   a  v er s io n   co n tr o l  s y s te m ,   o r   v ar io u s   to o ls   to   s i m p li f y   t h e  co n s tr u ctio n   o f   a  g r ap h ical  u s er   in ter f ac e   ( GUI ) ,   ar e  i n teg r at ed .   Ou r   m an a g e m en t  to o l  i s   o n e  o f   t h o s e  ap p licatio n s   in te g r ated   to   t h i s   en v ir o n m e n t.    A  n u m b er   o f   U E   to o ls   h a v e  b ee n   d e v elo p ed   to   f ac ilit ate   u s ab ilit y   p r ac titi o n er s '   ta s k s   s u c h   as:   a)   Usab ilit y   d ata  C ap tu r e:  co llectin g   u s ab ili t y   d ata,   s u c h   as  task   co m p letio n   ti m e,   er r o r s ,   g u id elin e  v io latio n s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit y  ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men t  en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1293   an d   s u b j ec tiv e  r ati n g s ;   b )   Usab ilit y   p r o b le m s   an a l y s is :  i n ter p r etin g   u s ab ilit y   d ata  to   id en ti f y   p r o b le m s   i n   t h e   in ter f ac e ; a n d   c)   C r itiq u e  ( r ep o r t) : su g g esti n g   s o l u tio n s   o r   im p r o v e m e n t s   to   m iti g ate  p r o b le m s .   Si m i lar l y ,   t h e  m a n ag e m e n t  to o l  is   co n n ec ted   w it h   t h o s e  to o ls .   B r in g in g   to g eth er   t h ese  t w o   en v ir o n m e n t s   u s in g   th e  m a n ag e m en t  to o l  co u ld   w ell  i m p r o v e  th e  co m m u n icatio n   b et w ee n   u s ab ilit y   en g i n ee r s   an d   s o f t w ar e  d ev elo p er s .   T h is   co m m u n ica tio n   li n k   i s   ess e n ti al  to   th e  d ev elo p m e n t  o f   a  s y s t e m   as  it  is   d ee m e d   ef f icien t,  also   th at  it  is   p leasi n g   a n d   u s e f u l  to   th e  en d   u s er .   I n   ad d itio n ,   ef f ec ti v e  co m m u n icatio n   s a v e s   ti m e   b y   r ed u cin g   t h e  i n co n s is te n ci es  in   u n d er s ta n d in g   t h er eb y   r ed u cin g   t h e  n u m b er   o f   ar ea s   f o r   d eb ate.   B y   u s in g   th e  p lu g - in   f ea t u r e,   th e  m an ag e m e n t  to o l  w ill  co n s o lid at e  b o th   f ield s   a n d   p r o m o te  t h e  p r ec is io n   an d   co m p lete n e s s   as a   r es u lt o f   t h e   d ev elo p m e n t p r o ce s s .             Fig u r e  3 .   E x ce r p t o f   th e  p r o g r ess   o f   t h e  d ev elo p m e n t p r o ce s s   p ag e           Fig u r e  4 .  E x ce r p t o f   th e  p lan n i n g   p a g e   f o r   s u g g est in g   m eth o d s   o f   u s ab ili t y   e v al u atio n       7.   E VA L UA T I N G   T H E   M ANAG E M E NT   T O O L     T h e  p r o ce s s   o f   ev alu ati n g   t h e   m an a g e m e n t  to o l  w a s   ca r r ied   o u t  b y   p er f o r m in g   t h e  v er i f i ca tio n   an d   v alid atio n   s ta g es.   T h e  v er i f ic atio n   s ta g e   w as   p er f o r m ed   b y   e x p er ts   f r o m   th e   i n d u s tr y   f ield ,   w h o   ar e  t h e   d o m ai n   ex p er ts .   Valid atio n   was  ca r r ied   o u t  b y   th e  s o f t w ar e   d ev elo p m e n t  p r ac titi o n er s   th r o u g h   a  ca s e  s tu d y .   T h ese  s tag es a r e  d is c u s s ed   f u r th er   in   t h e  n e x t s u b - s ec tio n s .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 ,  A p r il 2 0 1 9   :   1 2 8 8   -   1297   1294   7 . 1 .   Ver if ica t io n t hro ug h  e x pert   r ev iew s     E x p er t  r ev ie w s   ar e  ac ce p ted   as  a  w a y   to   d etec t  an d   r e m o v e  d ef ec ts   [ 2 2 ] ,   [ 2 3 ] .   T h er ef o r e,   th is   s t u d y   ad ap ted   th is   tec h n iq u e  f o r   th e   v er i f icatio n   p r o ce s s .   Ver if icatio n   is   in ten d ed   to   e n s u r e  th a t   th e  d e v elo p ed   to o l  co n f o r m s   to   its   s p ec i f icatio n   [ 2 4 ]   an d   th at  all  r eq u ir ed   co m p o n en t s   ar e  p r esen t in   t h e  r ig h t  q u an tit y   [ 2 5 ] .     T h e  t w o   m ai n   is s u es  t h at  n ee d   to   b e  v er if ied   i n   t h i s   s y s te m   ar e  l is t s   o f   ac tiv ities ,   ar tif ac t s ,   d ep en d en cies  a n d   r elatio n s h ip s ;  a n d   th e   s elec t io n   u s ab ili t y   m et h o d s   cr it er ia.   T h er ef o r e,   t h e  p o ten tia l  e x p er ts   w h o   h ad   k n o w led g e  an d   ex p e r ien ce   in   s o f t w ar e  q u alit y   f o c u s   o n   u s ab ilit y ,   a n d   th o s e  in   S E ,   p ay s   a tten tio n   to   th e  a g ile  p r o ce s s e s   id en ti f ied .   T h ey   w er e  c h o s en   b y   f o llo w i n g   t h e  c h ar ac te r is tic s   o f   e x p er ts   as   s u g g e s ted   b y   [ 2 6 ] ,   [ 2 7 ] .       7 . 2 .     Def ine t he  e x pert s     Ver if icatio n   w a s   p r o v id ed   b y   t w el v e  e x p er ts   af ter   th e y   w er e  co n tacte d   t h r o u g h   e - m ail s .   F iv e  o f   t h e m   w er e  w i lli n g   to   v er i f y   t h e  u s ab ilit y   asp ec t a n d   t h r ee   o f   t h e m   w er e  w i lli n g   to   v er i f y   t h e  i n co r p o r atio n   ap p r o ac h   f r o m   t h e  SE  p er s p ec tiv e,   w h i ch   is   co n s id er ed   s u f f icien t  [ 2 8 ] ,   [ 2 9 ] .   C o n s eq u en tl y ,   ap p o in t m en t s   w er e  m ad e   an d   f ac e  to   f ac e  m ee ti n g s   w e r e  h eld .   B asicall y ,   t h e  f o llo win g   ac tiv ities   w er e  co n d u cted   d u r in g   th e  r e v ie w  s ess io n s :     a.   Au t h o r s   p r esen ted   t h e  o v er v i e w   o f   t h e  s tu d y   a n d   th e  s te p s   f o r   i n co r p o r atin g   t h e  u s a b ilit y   e v al u atio n   ac tiv itie s   i n   th e  a g ile  en v ir o n m en t to   th e  ex p er ts .   b.   T h e  ex p er ts   w o u ld   th e n   f o cu s   o n   r ev ie w i n g   th e  u s ab ilit y   an d   s o f t w ar e  d ev elo p m en t  ac tiv iti es  an d   ar ti f ac ts   p lu s   s elec t io n   u s ab ilit y   m eth o d s   cr iter ia  o f   th e  m a n a g e m en t  to o l.   c.   T h e  ex p er ts   r ev ie w ed   t h e  s te p s   o f   i m p le m en t in g   th e  m a n a g e m e n t  to o l.  T h ey   h ad   th e  o p p o r tu n it y   to   as k   q u esti o n s   o f   t h e  au t h o r s   f o r   f u r th er   clar if icatio n .   d.   T h e  ex p er ts   g av e  f ee d b ac k   b y   co m p let in g   a  v er i f icatio n   f o r m .   e.   R esear ch er   t h en   u p d ated   th e  m an a g e m e n t to o l a s   s u g g ested   b y   t h e  ex p er ts .       7 . 3 .     Resul t s   o f   v er if ic a t io n     L is ts   o f   t h e  ac tiv i ties ,   ar ti f ac t s ,   an d   d ep en d en cies  an d   r elat io n s h ip s ,   in cl u d in g   t h e  to o l  its elf ,   w er e  v er if ied   b ased   o n   th eir   co m p r eh en s i v e n es s ,   u n d er s ta n d ab il it y ,   s u f f ic ien t,  ac cu r ate n es s ,   an d   o r g an izatio n .   T h ese  cr iter ia  ar e  ad ap ted   f r o m   p r ev io u s   s t u d ies  [ 3 0 ] ,   [ 3 1 ] .   T h e  d escr ip tio n s   o f   th e s e  cr it er ia  ar e  as  lis ted   in   T ab le  2 .   T h e  ex p er ts   p r o v id ed   th eir   f ee d b ac k   b y   co m p leti n g   a  ch ec k li s t  f o r m .         T ab le   2 .   Descr ip tio n s   o f   Ver if icatio n   C r iter ia     C r i t e r i a     D e scri p t i o n s   C o mp r e h e n si v e n e ss     T h i s c r i t e r i o n   s h o w s t h a t   t h e   r e q u i r e d   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e s  a n d   r e l a t i o n s h i p s ,   a n d   t h e   se l e c t i o n   u sa b i l i t y   me t h o d s  c r i t e r i a   a r e   i n c l u d e d   i n   t h e   t o o l .   U n d e r st a n d a b i l i t y   T h e   c r i t e r i o n   s u g g e st s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e s  a n d   r e l a t i o n sh i p s,  a n d   t h e   se l e c t i o n   u sa b i l i t y   me t h o d s  c r i t e r i a   a r e   d e c o m p o se d   c l e a r l y   a n d   u n a m b i g u o u sl y .   S u f f i c i e n t   T h e   c r i t e r i o n   i n d i c a t e s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e s  a n d   r e l a t i o n sh i p s,  a n d   t h e   se l e c t i o n   u sa b i l i t y   me t h o d s  c r i t e r i a   a r e   d e c o m p o se d   t o   a c h i e v e   su f f i c i e n t   i n c o r p o r a t i o n .   A c c u r a t e n e ss   T h e   c r i t e r i o n   i n d i c a t e s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e s  a n d   r e l a t i o n sh i p s,  a n d   t h e   s e l e c t i o n   u sa b i l i t y   me t h o d s  c r i t e r i a   a r e   a d e q u a t e l y   d e c o mp o se d   t o   a c h i e v e   a c c u r a t e   i n c o r p o r a t i o n .     O r g a n i z a t i o n   T h e   c r i t e r i o n   d e n o t e s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s,   t h e   d e p e n d e n c i e s a n d   r e l a t i o n s h i p s,  a n d   t h e   se l e c t i o n   u s a b i l i t y   me t h o d s  c r i t e r i a   a r e   o r g a n i z e d   w e l l .       Mo s t  ex p er ts   ag r ee d   th a t  th e  ac tiv itie s ,   ar tif ac t s ,   th e  d e p en d en cies  a n d   r elatio n s h ip s ,   an d   th e   s elec tio n   u s ab ilit y   m et h o d s   cr iter ia  o f   th e   to o l  ar e  co m p r eh en s i v e,   u n d er s ta n d ab le,   s u f f ic ien t,  ac c u r ate,   a n d   o r g an ized   w ell.   Ho w e v er ,   t h e y   h ad   s o m e   co m m e n ts   o n   th e  u n d er s tan d ab ilit y   a n d   o r g an izatio n   o f   th e   ac tiv itie s ,   ar ti f ac ts   an d   th eir   r elatio n s h ip .   Fo r   ex a m p le,   E x p er ts   A ,   B ,   a n d   D  s u g g este d   th at  th e   lis t s   o f   ac tiv itie s   an d   ar tif ac ts   s h o u ld   b e  s u p p o r ted   w it h   s o u r ce   r ef er en ce .   Me an w h ile,   E x p er ts   C ,   E ,   an d   H  f o u n d   t h at   th er e  w er e  s o m e  ac ti v it y   an d   ar tif ac t  d escr ip tio n s   th at  w er e   n o t  v er y   clea r .   E x p er t  F  co n clu d ed   th at  ce r tai n   tex ts   f o r   th e  ac tiv it ies  an d   a r tif ac ts   w er e  m i s r ep r esen ted ,   s u ch   as  u s ab ilit y   ev al u atio n   ac tiv it y   n u m b er   3   “f ee d b ac k ”.   E x p er ts   D  an d   E   s u g g e s ted   th at  t h e  s elec tio n   cr iter ia  s h o u ld   b e  o r g an ized   b ased   o n   th r ee   s ca les  r ath er   t h an   f iv e.   Ho w ev er ,   al l   s u g g est io n s   o f   t h e  e x p er t  w e r e  tak e n   i n to   co n s id er atio n .   H en ce ,   t h e  ac ti v it ies,  ar tif ac ts ,   t h e  d ep en d en c ies,  an d   th e  s elec tio n   u s ab ilit y   m et h o d s   cr iter ia  w er e  u p d at ed   ac co r d in g l y   a s   s u g g e s ted .   B ased   o n   th e  co m m en ts   f r o m   t h e  ex p er ts ,   t h e  s y s te m   w a s   r eo r g an ized   an d   u p d ated .             Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit y  ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men t  en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1295   8.   VALI DAT I O N  B Y  A  CAS E   ST UDY     W e  p r esen t  a   ca s e  s t u d y   in   wh ich   d ev elo p m en t   tea m s   in   a ca d em ia  w o r k ed   w it h   a g il e  a p p r o ac h   in   d ev elo p in g   th eir   s o f t w ar e  p r o j ec ts   w h ile  ap p l y i n g   o u r   m an ag e m e n t  to o l.  3 6   p ar ticip an ts   w er e  as k ed   to   i m p le m en t  t h e  to o l  b y   ap p l y i n g   it  w i th i n   t h eir   f i n al  p r o j ec t s   th at  t h e y   h av e  b ee n   w o r k i n g   o n .   B ased   o n   th e   s u p p o r tin g   m an a g e m en t   to o l,  th e y   s elec ted   ap p r o p r iate  u s ab ilit y   e v al u atio n   ac tiv ities   a n d   m e th o d s   w i th i n   th eir   p r o j ec t  p lan s .   An   as s es s m en t  f o r m   [3 2 ] ,   [ 3 3 ]   w as  p r o v id ed   f o r   t h e m   to   a s s i g n   t h e  s co r e  f o r   ea ch   ite m   af ter   u s in g   t h e  to o l.  I n   th e  f in al  p r o j ec t,  team   m e m b er s   w er e  as k ed   to   g r ad e  t h eir   s a tis f ac tio n   f o r   ea ch :   p er ce iv ed   u s ef u l n es s ,   p er ce iv ed   ea s e  o f   u s e,   b alan ce   th e  co m p eti n g   ac tiv i ties ,   ef f ec ti v e  o f   m o n ito r   an d   co n tr o l,  an d   ab ilit y   to   p r o d u c e  u s ab le   r esu lts ,   b et w ee n   1   to   5 ,   as  w ell   as  o p en - e n d ed   q u e s tio n s   s ee k i n g   t h eir   o p in io n s .   T h e  p ar ticip an ts ‟   f ee d b ac k   ar e  s h o w n   b elo w :   P er ce iv ed   u s e f u l n e s s :  T h e  p a r ticip an ts   p o i n ted   o u t  t h at  th e  m a n ag e m e n t  to o l  i s   u s e f u l   f o r   th e ir   w o r k i n g   e n v ir o n m en t.   T h is   to o l  allo w s   t h e m   to   k n o w   th e  ap p r o p r iate  u s ab ilit y   ev alu atio n   ac ti v itie s .   I n   ad d itio n ,   it h elp s   t h e m   to   co n d u ct  e n o u g h   u s ab ili t y   ac ti v iti es th u s   lead i n g   to   p r o d u ce   u s a b le  s o f t w ar e.   P er ce iv ed   ea s e  o f   u s e:  A cc o r d in g   to   t h e  r esp o n s e s   o f   t h e  p ar ticip an ts ,   th e  m a n a g e m e n t   to o l  w a s   p er ce iv ed   as  ea s y   to   b e  u s ed   b ec au s e  it  h as  a  s er ies  o f   well - d ef in ed   ac ti v itie s ,   ar tif ac ts ,   s elec tio n   m et h o d s   attr ib u tes,  an d   d ep en d en cies   an d   r elatio n s h ip s .   T h e  p ar ticip an ts   f o u n d   o u t  th at  th e   to o l  is   in ter n all y   co n s is ten t,  m ain l y   b ec au s e  th e  co m p o n e n ts   co m p le m e n t  ea ch   o th er .   I n   p ar ticu lar ,   it  s tar ts   w ith   ad d in g   th e   ac tiv itie s ,   t h e n   ad d in g   th e   m e t h o d s   i n   t h e  p r o p o s ed   p lan .   T h e  p r o ce s s   is   t h en   co n t in u ed   p r o p er ly .   I n   ad d itio n ,   th e  p r o p o s ed   p lan   is   p r ep ar ed   b y   a  g r o u p   ( i n clu d i n g   th e  d e v elo p m e n t  a n d   u s ab ilit y   asp ec t s )   f o r   o b tain i n g   t h e   co n s en s u s   a m o n g   th e  tea m   m e m b er s   o n   t h e  n u m b er   an d   t y p e   ac tiv itie s   an d   m e th o d s   o f   u s a b ilit y .   B alan ce   th e  co m p eti n g   ac tiv i t ies:   T h e  p ar ticip an ts   ag r ee d   th at  th e  to o l  is   ap p r o p r iate  f o r   en ab lin g   b alan ce d   d ev elo p m e n t  d ec is i o n s   th at  i n co r p o r ate  th e  o f ten ti m es  co n f lict in g   n ee d s   o f   t h e  d ev elo p er s   an d   u s ab ili t y   e n g i n ee r s .   T h e  p ar ticip an ts   ad d ed   th a t  co n f lict s   c an   b e  r eso l v ed   b y   r ea c h in g   t h e  co n s en s u s   w h e n   d ec id in g   o n   t h e  cr iter ia  a n d   b ases   i n   a   tea m .   D u r in g   t h e  p l an n i n g ,   t h e  d ev e lo p m en t  tea m   w i ll  h av e   to   m ak e   d ec is io n s   ab o u t  c h an g e s   to   t h e  d esi g n   p r o p o s ed   b y   t h e  u s ab ilit y   en g i n ee r s   b ased   o n   u s ab ilit y   e v al u atio n   r esu lt s .   A   u s ab ili t y   e n g i n ee r   w il l  s u m m ar ize  r es u lts   f r o m   u s ab ilit y   e v al u atio n s   a n d   p r es en t  c h an g e s   to   t h e  d esig n ,   w ith   ea c h   ch a n g e  b ein g   ass ig n ed   a  r elativ e  p r io r it y   l ev el.   E f f ec tiv e  m o n ito r i n g   a n d   co n t r o l:  T h e  p ar ticip an ts   w er e  s a tis f ied   w it h   th e  ab ilit y   to   m o n ito r   an d   co n tr o l  th e  u s ab ili t y   e v al u atio n   ac ti v itie s   w it h i n   t h e  d ev elo p m e n t  e n v ir o n m e n t  o f   th e  p r o j ec t.  Fu r th er m o r e,   p ar ticip an ts   h i g h lig h ted   t h at   th e   to o l  h e lp s   to   s teer   a   co n ti n u o u s   p r o ce s s ,   ti g h tl y   co u p led   w it h   t h e   d ev elo p m en t  p r o ce s s ,   t h u s   r e ce iv i n g   o n - g o in g   u s er   f ee d b ac k   w h ile  co n ti n u in g   t h e  d ev elo p m e n t.  T h u s ,   it  s u p p o r ts   an   a g ile  e n v ir o n m e n t  b ec au s e  it  allo w s   th e  in ter ac tio n   an d   ac ti v e  tea m ,   w h ich   i s   th e  co r e  v al u e  o f   ag ile.   Ot h er   t h an   t h at,   t h e y   a d d ed   th at  it  also   e n ab les  t h e  d er iv atio n   o f   r ele v a n t  d ev elo p m e n t  tas k s   f o r   th e   f o r th co m in g   iter atio n s   f o r   f u r t h er   i m p r o v e m en ts   i n   th e  d e v el o p in g   p r o d u ct.   A b ilit y   to   p r o d u ce   u s ab le  r esu lts :  P ar ticip an ts   p o in ted   o u t  th at  b y   h a v i n g   th e  m an a g e m e n t  to o l,  th e   tea m   co u ld   u n d er s tan d   a n d   p er f o r m   t h e  b est  u s ab ilit y   p r ac ti ce s   in   t h e  a g ile  s o f t w ar e  p r o ce s s .   F u r th er m o r e,   th e   to o l  is   ab le  to   p r o d u ce   u s ab le  r esu lt s .   Fro m   th e  lis t  o f   ac tiv it ies  an d   th eir   r elatio n s h ip s   as  w ell  as  attr ib u tes  f o r   s elec tio n   m et h o d s ,   th e  p ar ticip an ts   w er e  ab le  to   id en ti f y   w h i ch   ac ti v ities   o r   m e th o d s   w o u l d   b e  b etter   s u ited   in   th e  r ig h t p lace   an d   r ig h t ti m e.     Fu r t h er m o r e,   d escr ip tiv e  s tati s tics   w er e  tak e n   to   m ea s u r e  t h e  lev el  o f   ea ch   ite m .   A   5 - p o in t  L i k er t   s ca le  w a s   u s ed ,   w it h   5   f o r   “ V er y   ag r ee ”   an d   1   f o r   “ Ver y   d is ag r ee ”.   A n y   an s w er   w it h   an   a v er ag e  o f   ab o v e   3 . 0   w a s   co n s id er ed   to   b e  g o o d   as  t h is   in d icate d   t h e  lev el   o f   th e  r esp o n d e n ts ‟   a g r ee m en t   t o   th o s e  s tate m en ts   r ep r esen tin g   t h e  test ed   ite m s .   R es u lts   f r o m   t h e  d esc r ip tiv e  a n al y s i s   a s   s h o w n   in   T ab le  3 .           T ab le   3 .   Descr ip tiv e  Statis tic s :   Me an   Sco r e  o f   Satis f ac tio n   C r iter ia   S a t i sf a c t i o n   C r i t e r i a   M e a n   P e r c e i v e d   u se f u l n e ss   3 . 7 2   P e r c e i v e d   e a se   o f   u se   3 . 4 2   B a l a n c e   t h e   c o mp e t i n g   a c t i v i t i e s   3 . 6 3   Ef f e c t i v e   o f   mo n i t o r   a n d   c o n t r o l   3 . 8 9   A b i l i t y   t o   p r o d u c e   u s a b l e   r e su l t s   3 . 4 4       Fro m   th e  d escr ip ti v e  s tati s tic s   f o r   th e  ite m   in   t h e  T ab le  3 ,   t h e  ite m   w it h   th e  h i g h e s t  m ea n   ( 3 . 8 9 )   is   “A b ilit y   to   p r o d u ce   u s ab le  r esu lt s ”,   an d   th e  ite m   w it h   t h e   lo w est  m ea n   ( 3 . 4 2 )   is   “ P er ce iv ed   u s e f u l n ess ”.   Ho w e v er ,   all  o f   t h ese   ite m s   h av e  a  m ea n   o f   ab o v e  3 . 0   a n d   th u s   b elo n g   o n   t h e  s a m e  le v el .   E s s e n tiall y ,   b ased   o n   th e   f ee d b ac k   f r o m   t h e  p a r ticip an ts ,   t h e  m a n ag e m e n t  t o o l  g ain ed   s atis f ac tio n   f r o m   th e m   a n d   d ee m ed   p r ac tical  to   b e  im p le m e n ted   i n   th e  s o f t w ar e  p r o j ec ts .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 ,  A p r il 2 0 1 9   :   1 2 8 8   -   1297   1296   9.   CO NCLU SI ON     T h is   p ap er   d escr ib es  a  s o f t w ar e  m a n ag e m e n t  to o l  s p ec if icall y   d ev elo p ed   to   s u p p o r t  th e   in co r p o r atio n   u s ab ilit y   e v alu a tio n   ac ti v ities   w it h in   th e  s o f t w ar e  d ev elo p m en t  p r o ce s s .   T h is   to o l  s er v es  a s   s ca f f o ld in g   t h at  h elp s   t h e  u s ab ilit y   a n d   ag ile  p r ac titi o n er s   to   clo s el y   co llab o r ate  an d   u n d er s tan d   ea ch   o t h er .   I t  co n tr ib u tes   to   ac ti v itie s   m a n ag e m e n t,  allo w i n g   o n g o i n g   u s er   a n d   u s ab ilit y   e x p er t  f ee d b ac k   d u r in g   d ev elo p m en t.  Ver i f icatio n   an d   v alid atio n   o f   t h e  to o l  ar e  co n d u cted   in   th is   p ap er   a)   th e  v er i f icatio n   o f   t h e  to o l  th r o u g h   e x p er t  r ev ie w s   f o llo w ed   b y   th e   v al id atio n   o n   s ati s f ac tio n .   T h e  r esu lts   o f   e v al u atio n s   s h o w   th at   th e   to o l  s atis f ied   d ev elo p m e n t  tea m s   w as  p r ac tical  f o r   u s e  i n   t h e  s o f t w ar e  p r o j ec ts .   Fu t u r e  wo r k   s h o u ld   n o te  th at   alth o u g h   th e  m an a g e m en t  to o l  tar g ets  to w ar d   ag ile  b ased   d ev elo p m e n t  ap p r o ac h es,  th e y   ar e  also   ap p licab le   f o r   o th er   d e v elo p m e n t  ap p r o ac h es   th at   co m e   u n d er   t h e  u m b r ella  o f   iter ati v e  a n d   i n cr e m en tal  d e v elo p m e n t  m et h o d o lo g y .   T h er ef o r e,   ap p ly in g   th i s   ap p r o ac h   to   o t h er   d ev elo p m e n t  e n v ir o n m e n t s   w i l l  b e  an   in ter e s tin g   r esear ch   o p p o r tu n it y .         RE F E R E NC E S   [1 ]   S a lm a n   F A . ,   De ra m a n   A . ,   Ja li l  M A . ,   F a h m y   S . ,   “ On   Im p le m e n ti n g   Us a b il it y   Ev a lu a ti o n   A c ti v it ies   w it h in   A g il e   En v iro n m e n t:   A   P la n   Ba se d - P r o c e ss , ”   J o u rn a l   o f   T e lec o mm u n ica ti o n ,   E lec tro n ic  a n d   Co m p u t e r  En g i n e e rin g   ( J T EC) ,   v o l.   9 (3 - 3 ),   p p .   9 5 - 9 ,   Oc t   2 0 1 7 .   [2 ]   Bo rn o e   N . ,   S tag e   J. ,   “ Us a b il it y   E n g in e e rin g   in   t h e   W il d :  Ho w   Do   P ra c ti ti o n e rs  In teg ra te  Us a b il it y   En g in e e rin g   i n   S o f tw a r e   De v e lo p m e n t? ,”   In   In ter n a ti o n a l   Co n fer e n c e   o n   Hu m a n - Ce n tre d   S o ft w a re   En g in e e rin g ,   p p .   1 9 9 - 2 1 6 .   S p rin g e r,   Be rli n ,   He id e l b e rg ,  S e p   2 0 1 4 .   [3 ]   d a   S il v a   T S ,   S il v e ira  M S ,   M a u re r  F . ,   “ Us a b il it y   Ev a lu a ti o n   P r a c ti c e s  W it h in   Ag il e   De v e lo p m e n t , ”   In S y ste m   S c ien c e s ( HICS S ),   2 0 1 5   4 8 th   Ha wa ii   I n ter n a t io n a l  C o n fer e n c e ,   IEE E ,   p p .   5 1 3 3 - 5 1 4 2 ,   Ja n   2 0 1 5 .   [4 ]   L a ru sd o tt ir  M . ,   Bjarn a d o tt ir  E . ,   G u ll ik se n   J. ,   “ T h e   F o c u s  On   Us a b il it y   In   T e stin g   P ra c ti c e s  In   In d u stry , ”   Hu ma n - Co mp u ter   I n ter a c ti o n ,   p p .   98 - 1 0 9 ,  2 0 1 0 .   [5 ]   Be v a n   N. ,   “ Ex ten d in g   Qu a li ty   In   Us e   T o   P r o v id e   A   F ra m e w o rk   F o r  Us a b il i ty   M e a su re m e n t , ”   Hu ma n   Ce n ter e d   De sig n ,   p p .   13 - 22 ,  2 0 0 9 .   [6 ]   M c In e rn e y   P . ,   M a u re r  F . ,   “ UCD   in   A g il e   P ro jec ts:  Dre a m   T e a m   Or   Od d   Co u p le ? ,”   I n ter a c ti o n s ,   v o l .   1 2 (6 ) ,   p p .   19 - 23 ,   N o v   2 0 0 5 .     [7 ]   Ba k   JO . ,   Ng u y e n   K . ,   Risg a a rd   P . ,   S tag e   J. ,   “ O b sta c les   to   Us a b il i ty   Ev a lu a ti o n   in   P ra c ti c e :  a  S u rv e y   o f   S o f t w a re   De v e lo p m e n t  Org a n iza ti o n s , ”   In   Pro c e e d in g s  o f  t h e   5 th   N o rd ic   Co n fer e n c e   o n  Hu ma n - Co m p u t e r  In ter a c ti o n :   Bu il d in g   Bri d g e s ,   ACM ,   p p .   2 3 - 32 ,   Oc t  2 0 0 8 .   [8 ]   Bo rn o e   N . ,   S tag e   J. ,   “ Us a b il it y   E n g in e e rin g   in   t h e   W il d :  Ho w   Do   P ra c ti ti o n e rs  In teg ra te  Us a b il it y   En g in e e rin g   i n   S o f tw a r e   De v e lo p m e n t? , ”   In   In ter n a ti o n a l   Co n fer e n c e   o n   Hu m a n - Ce n tre d   S o ft w a re   En g in e e rin g ,   p p .   1 9 9 - 2 1 6 ,   S p rin g e r,   Be rli n ,   He id e l b e rg ,   S e p   2 0 1 4 .   [9 ]   A rd it o   C . ,   B u o n o   P . ,   Ca iv a n o   D . ,   Co sta b il e   M F . ,   L a n z il o t ti   R. ,   “ In v e stig a ti n g   A n d   P ro m o ti n g   UX   P ra c ti c e   I n   In d u stry :  A n   Ex p e rime n tal  S tu d y , ”   In ter n a t io n a l  J o u rn a l  o f  Hu m a n - Co mp u ter   S t u d ies ,   v o l.   7 2 (6 ) ,   p p .   5 4 2 - 51 ,  Ju n   2 0 1 4 .   [1 0 ]   S a lm a n   FA . ,  D e ra m a n   AB . ,  J a l il   MB . ,   “ T h e   V a lu e   Of   T - G IU ES E - S u p p o rti n g   Us a b il it y   Ev a lu a ti o n   P ra c ti c e s   Du rin g   De v e lo p m e n t   P ro d u c t:   A   Co n tro ll e d   Ex p e rim e n t , ”   J o u rn a l   o f  T h e o re ti c a l   &   Ap p li e d   In f o rm a t i o n   T e c h n o l o g y ,   v o l.   9 5 ( 8 ) ,   A p r  2 0 1 7 .   [1 1 ]   L e e   JC . ,   Ju d g e   T K . ,   M c Crick a rd   DS. ,   “ Ev a lu a ti n g   Ex trem e   S c e n a r io - Ba se d   De sig n   In   A   Distrib u ted   Ag il e   Tea m ,”   In   CHI ' 1 1   Exte n d e d   A b stra c ts  o n   Hu ma n   Fa c to rs   i n   C o mp u ti n g   S y ste ms ,   ACM ,   p p .   8 6 3 - 8 7 7 ,   M a y   2 0 1 1 .   [1 2 ]   Hu m a y o u n   S R. ,   “ In c o r p o ra ti n g   Us a b il it y   Ev a lu a ti o n   In   S o f tw a r e   De v e lo p m e n t  En v iro n m e n ts , ”   KI - Kü n stli c h e   In telli g e n z ,   v o l.   2 6 (2 ) ,   p p .   1 9 7 - 200 ,  M a y   2 0 1 2 .   [1 3 ]   S a lm a n   F A . ,   De ra m a n   A B . ,   Ja li l  M B. ,   “ A  G u id e li n e   T o o l   f o r  On g o in g   P r o d u c t  Ev a lu a ti o n   in   S m a ll   a n d   M e d i u m - S ize d   En ter p rise s , ”   In ter n a ti o n a l   J o u rn a l  o f  El e c trica l   a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l. 7 ( 6 ) ,   p p . 3 6 3 2 - 42 ,  De c   2017 .   [1 4 ]   Ka n e   D. ,   “ F in d i n g   A   P lac e   F o r   Disc o u n t  Us a b il it y   En g in e e rin g   In   A g il e   De v e lo p m e n t:   T h ro w in g   Do w n   T h e   G a u n tl e t , ”   In   Ag il e   De v e lo p me n t   Co n fer e n c e ,   ADC  2 0 0 3 .   Pr o c e e d in g s  o f  t h e   2 0 0 3   J u n   2 5 .   IEE E ,     (p p .   4 0 - 4 6 ) ,   2 0 0 3 .   [1 5 ]   Ho lzin g e r  A . ,   “ Us a b il it y   En g in e e rin g   M e th o d s  F o r  S o f tw a re   De v e l o p e rs , ”   Co mm u n ic a ti o n s  o f  t h e   ACM ,   v o l. 4 8 (1 ) ,  p p .   71 - 4 ,  Ja n   2 0 0 5 .     [1 6 ]   M e sz a ro s  G . ,   A sto n   J. ,   “ A d d in g   Us a b il it y   T e stin g   T o   A n   Ag i le  P ro jec t , ”   In   Ag il e   Co n fer e n c e ,   2 0 0 6 ,   IEE E ,    p p .   6 - pp ,   Ju l  2 0 0 6 .   [1 7 ]   P a e lk e   V . ,   Ne b e   K. ,   “ I n teg ra ti n g   Ag il e   M e th o d s  F o r  M ix e d   Re a li t y   D e sig n   S p a c e   Ex p lo ra ti o n , ”   In   Pro c e e d in g s  o f   th e   7 t h   ACM   C o n fer e n c e   o n   De sig n i n g   in ter a c ti v e   sy ste ms ,   ACM ,   p p .   2 4 0 - 249 ,   F e b   2 0 0 8 .    [1 8 ]   W o lk e rsto rfe r  P . ,   T sc h e li g i  M . ,   S e fe li n   R . ,   M il c h ra h m   H . ,   Hu ss a in   Z . ,   L e c h n e r  M . ,   S h a h z a d   S . ,   “ P r o b i n g   A n   Ag il e   Us a b il it y   P ro c e ss , ”   In   CHI'0 8   Exte n d e d   A b stra c ts  o n   Hu ma n   F a c to rs   in   Co mp u ti n g   S y ste ms ,   A CM ,  p p .   2 1 5 1 - 2 1 5 8 ,   A p r  2 0 0 8 .     [1 9 ]   Ob e n d o rf   H . ,   F in c k   M . ,   “ S c e n a r io - Ba se d   Us a b il it y   En g in e e rin g   T e c h n iq u e s  In   A g il e   De v e lo p m e n t  P r o c e ss e s , ”   In CHI'0 8   Exte n d e d   Ab str a c ts  o n   Hu ma n   Fa c to rs   i n   C o mp u ti n g   S y ste ms ,    ACM ,   p p .   2 1 5 9 - 21 66 ,   A p r  2 0 0 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit y  ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men t  en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1297   [2 0 ]   L o sa d a   B . ,   Urre tav iz c a y a   M . ,   L ó p e z - G il   JM . ,   F e rn á n d e z - Ca stro   I. ,   “ Co m b in in g   In term o d   A g il e   M e t h o d o l o g y   W it h   Us a b il it y   En g in e e rin g   In   A   M o b il e   A p p l ica ti o n   De v e lo p m e n t , ”   In   Pro c e e d in g s  o f  t h e   1 3 th   In ter n a ti o n a l   Co n fer e n c e   o n   In ter a c c i ó n   Per so n a - Or d e n a d o r ,   A CM ,   (p .   3 9 ) ,   Oc t  2 0 1 2 .   [2 1 ]   M c Ne il l  M . ,   Us e r ce n ter e d   d e sig n   in   a g il e   a p p li c a ti o n   d e v e lo p me n t ,   T h o u g h tW o rk s L td . ,   2 0 0 0 .     [2 2 ]   Ho d g e s  NJ . ,   Hu y s  R . ,   S tark e s  J L . ,   “ M e th o d o l o g ica l  Re v ie w   A n d   E v a lu a ti o n   Of   Re se a rc h   In   Ex p e rt  P e rf o rm a n c e   In   S p o rt , ”   Ha n d b o o k   o f  S p o rt P sy c h o lo g y ,   T h ird   Ed it io n ,  1 5 9 - 83 ,  2 0 0 7 .   [2 3 ]   Ba k e r  S E . ,  Ed w a rd s  R . ,   D o id g e   M . ,   “ Ho w   M a n y   Qu a li tativ e   In terv ie w s  Is  En o u g h ? , ”   Ex p e rt  v o ice s  a n d   e a rly   c a re e r re fl e c ti o n s o n   s a mp li n g   a n d   c a se s in   q u a li t a ti v e   re se a rc h .     [2 4 ]   M a rti n   D . ,   Ro o k sb y   J . ,  Ro u n c e f ield   M . ,   S o m m e r v il le  I. ,   “ ' G o o d '   Org a n isa ti o n a l  Re a so n s  F o r' b a d ' so f twa re   T e stin g :  A n   Et h n o g ra p h ic  S tu d y   O f   T e st in g   In   A   S m a ll   S o f t w a r e   Co m p a n y , ”   In   Pro c e e d in g s  o f  T h e   2 9 t h   In ter n a ti o n a l   Co n fer e n c e   o n  S o ft w a re   En g in e e rin g ,  IEE E  C o mp u ter   S o c iety ,  p p .   602 - 6 1 1 ,  M a y   2007 .   [2 5 ]   Ch e m u tu ri  M . ,   “ M a ste rin g   S o f t w a r e   Qu a li t y   A ss u ra n c e :  B e st  P ra c ti c e s,  T o o ls  A n d   T e c h n iq u e s  F o r  S o f twa re   De v e lo p e rs , ”   J .   Ro ss   Pu b li sh i n g ,   S e p   2 0 1 0 .   [2 6 ]   Ha ll o w e ll   M R . ,   G a m b a tes e   J A . ,   “ P o p u latio n   A n d   In it ial  V a li d a ti o n   Of   A   F o r m a l  M o d e l  F o r  Co n stru c ti o n   S a f e t y   Risk   M a n a g e m e n t ,”   J o u rn a l  o f  C o n stru c ti o n   En g in e e rin g   a n d   M a n a g e me n t ,   v o l. 1 3 6 ( 9 ) ,   p p .   9 8 1 - 90 ,  F e b   2 0 1 0 .   [2 7 ]   M u ru g e sa n   S . ,   G a n g a d h a ra n   G R. ,   “ Ha rn e ss in g   g re e n   IT :  P rin c ip les   a n d   p ra c ti c e s , ”   W il e y   Pu b l ish i n g ,   Oc t  2 0 1 2 .   [2 8 ]   S h n e i d e rm a n   B . ,   P laisa n t   C . ,   Co h e n   M S . ,   Ja c o b s  S . ,   El m q v ist  N . ,   Dia k o p o u l o s  N. ,   “ De sig n in g   T h e   Us e r  In terfa c e :   S trate g ies   F o r  Ef fe c ti v e   Hu m a n - Co m p u ter In tera c ti o n , ”   Pea rs o n ,   2 0 1 6 .     [2 9 ]   Nie lse n   J . ,   M o li c h   R . ,   “ He u risti c   Ev a lu a ti o n   o f   Us e r  In terf a c e s , ”   In Pro c e e d in g s  o f  t h e   S IGCH I  c o n fer e n c e   o n   Hu ma n   fa c to rs   i n   c o m p u t in g   sy ste ms ,   ACM ,   p p .   2 4 9 - 2 5 6 ,   M a r  1 9 9 0 .   [3 0 ]   Al - T a ra w n e h   F H. ,   “ A  F ra m e w o rk   F o r  Co ts  S o f tw a re   Ev a lu a ti o n   A n d   S e lec ti o n   F o r  COT S   M ism a tch e s  Ha n d li n g   A n d   No n - F u n c ti o n a l  Re q u irem e n ts , ”   Do c to ra l  d isse rtatio n ,   Un iv e rsiti   Uta ra   M a lay si a .   [3 1 ]   Ku n d a   D. ,   “ S T ACE:  S o c ial  Tec h n ica l  A p p ro a c h   T o   CO T S   S o f t w a r e   Ev a lu a ti o n , ”   Co mp o n e n t - B a se d   S o ft w a re   Qu a li ty ,   p p .   64 - 84 ,  2 0 0 3 .   [3 2 ]   S u re n d ro   K . ,   Oliv ia  O. ,   “ A c a d e m ic   Clo u d   ER P   Qu a li ty   As se ss m e n t  M o d e l , ”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l   a n d   Co m p u ter   E n g i n e e rin g ,   v o l.   6 (3 ) ,   p p .   1 0 3 8 ,  Ju n   2 0 1 6 .   [3 3 ]   Ro y   S . ,   P a tt n a ik   P K . ,   M a ll   R. ,   “ A  Co g n it iv e   A p p ro a c h   F o r  Ev a lu a ti n g   T h e   Us a b il it y   O f   S to ra g e   A s   A   S e r v ice   In   Clo u d   Co m p u ti n g   En v iro n m e n t ,”   In ter n a t io n a l  J o u rn a l  o f  El e c trica l  a n d   Co m p u ter   En g in e e rin g ,   v o l.   6 (2 ) ,   p p .   7 5 9 ,   A p r  2 0 1 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.