I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   2 A p r il   201 9 ,   p p .   1 2 8 8 ~ 1 2 9 7   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v9 i 2 . pp 1 2 8 8 - 1297          1288       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   M a na g ing  usa bili ty ev a lua tion pra ctice s   in   a g ile dev elo p m en env iro n m en ts       Aziz   B in De ra m a n,  F o ua d A bd ula m ee Sa l m a n   Sch o o l o f   I n f o r m atic s   an d   A p p lied   Ma th e m at ics ,   Un iv er s iti   Ma la y s ia  T er en g g a n u   ( UM T ) Ma la y s ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   7 ,   2 0 1 8   R ev i s ed   Oct  1 8 ,   2 0 1 8   A cc ep ted   No v   2 ,   2 0 1 8       Us a b il it y   e v a lu a ti o n   is  a   c o re   u sa b il it y   a c ti v it y   th a m in i m ize s   risk a n d   im p ro v e p ro d u c q u a li ty .   T h e   re tu rn f ro m   u sa b il it y   e v a lu a ti o n   a re   u n d e n iab le.   Ne g lec ti n g   su c h   e v a lu a ti o n   a t h e   d e v e lo p m e n sta g e   n e g a ti v e l y   a ffe c ts  so f t wa re   u sa b il it y .   In   th is  p a p e r,   th e   a u th o rs  d e v e lo p   a   so f t w a re   m a n a g e m e n to o u se d   t o   in c o r p o ra te  u sa b il it y   e v a lu a ti o n   a c ti v it ies   in to   th e   a g il e   e n v iro n m e n t.   Us in g   th is  t o o l,   a g il e   d e v e lo p m e n tea m c a n   m a n a g e   a   c o n ti n u o u e v a lu a ti o n   p ro c e ss ,   ti g h tl y   c o u p led   w it h   th e   d e v e lo p m e n p r o c e ss ,   a ll o w in g   th e m   to   d e v e lo p   h ig h   q u a li ty   so f t wa re   p ro d u c ts  w it h   a d e q u a te  lev e o f   u sa b il it y .   T h e   to o w a e v a lu a ted   th ro u g h   v e rif ica ti o n ,   f o ll o we d   b y   th e   v a li d a ti o n   o n   sa ti sf a c ti o n .   T h e   e v a lu a ti o n   re su lt sh o w   th a t h e   to o l   in c re a se d   so f t w a re   d e v e lo p m e n p ra c ti ti o n e sa ti sf a c ti o n   a n d   is  p ra c ti c a f o su p p o rt i n g   u sa b il it y   w o rk   in   so f t w a re   p ro jec ts.     K ey w o r d s :   Ag ile  s o f t w ar d ev elo p m e n t   Usab ilit y   Usab ilit y   e v al u atio n     Usab ilit y   m a n a g e m e n t   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Fo u ad   A b d u la m ee r   Sal m a n   Sch o o l o f   I n f o r m atic s   an d   A p p lied   Ma th e m at ics ,   Un i v er s iti Ma la y s ia  T er en g g a n u   ( UM T ) ,   Un i v er s iti   Ma la y s ia,   2 1 0 3 0   Ku ala  T er en g g a n u ,   T er en g g a n u ,   Ma la y s ia .   E m ail:  f o u ad au g @ g m ai l.c o m       1.   I NT RO D UCT I O N     T h P o o r   u s ab ilit y   a n d   i n ef f ic ien e n d - p r o d u ct  d esi g n   ar c o m m o n   is s u e s   [ 1 ] ,   [ 2 ]   o f   f aile d   s o f t w ar e   p r o d u cts.  T h ese  ca u s e s   ca n   b av o id ed   b y   in co r p o r atin g   u s ab ilit y   e v alu a tio n   ac ti v itie s   in to   th d esig n   an d   d ev elo p m en s tag o f   s o f t w ar s y s te m s   [ 3 ] .   Usi n g   u s ab ilit y   ev alu atio n s   i n   s o f t w ar d ev el o p m e n allo w s   f o r   h ig h l y   s ig n i f ica n f ee d b ac k ,   m ak in g   it   cr itical  f ac to r   i n   cr ea tin g   u s ab le  an d   u s e f u s o f t w ar f o r   tar g et   au d ien ce s   [ 4 ] .   Usab ilit y   ev a lu at io n   i s   ap p li ed   d u r in g   th e   d ev elo p m e n p r o ce s s   to   in cr ea s p r o d u ct   u s ab ili t y ,   m i n i m ize  t h r is k s   o f   f ail u r e,   d ec r ea s co s ts ,   an d   i n cr e ase  o v er all  q u alit y   [ 5 ] .   Var io u s   p r io r ities   a n d   ap p r o ac h es  m ak t h i n co r p o r atio n   f u r th er   co m p l icate d   [ 6 ] .   A lt h o u g h   b o th   f ield s   h a v s i m ilar itie s ,   s u ch   as  a   s h ar ed   f o c u s   o n   d eli v er in g   v al u e,   b ein g   iter ati v in   n at u r an d   in clu d i n g   co n ti n u o u s   te s ti n g ,   th d if f er en ce s   i n   h o w   t h e y   ap p r o ac h   th ese  is s u es  lead s   to   p r ac tical  d if f ic u ltie s   [ 7 ] .   A   k e y   d i f f icu lt y   en co u n ter ed   is   th e   in co r p o r atio n   o f   ac tiv ities ,   ar tif ac t s ,   an d   m et h o d s   o f   t h ev alu a tio n   o f   ex i s ti n g   o r g an i za tio n al  s tr u ct u r es,  w h ic h   t y p ica ll y   p o s s ess   estab l is h ed   p r o ce s s   m o d els  f o r   p r o d u ct  d ev elo p m en a n d   i m p le m e n tatio n   [ 8 ] .   A   lac k   o f   co m p r eh e n s i v s tr ate g ic  ap p r o ac h es  to   u s ab ilit y   ev a lu at i o n   in   co n v e n tio n al  a g ile  m et h o d s   an d   in ad eq u ate  tr an s f er   o f   k n o w led g b et w ee n   p r ac tice  an d   ac ad em ia  [ 9 ]   m ak e s   it  ch alle n g in g   to   p er f o r m   o n g o in g   ev alu a tio n s .   T h is   s o m e ti m e s   lead s   to   it s   r e m itta n ce   f r o m   s o f t w ar d e v elo p m e n p r o j ec ts   [ 1 0 ] .   Ho w e v er ,   d esp ite  g r o w i n g   r esear ch   in   b o th   f ield s ,   a g ile   d ev elo p m e n tea m s   o f te n   lack   p r o p er ly - i n teg r ated   ap p r o ac h   th at  u tili ze s   i n co r p o r atio n   d u r in g   th d e v elo p m e n p r ac tic es  f r o m   en d - to - e n d .   I n   th i s   p ap er   th au t h o r s   d ev elo p ed   s o f t w ar m a n a g e m e n to o to   f ill  t h g ap   b et w ee n   t h u s ab ilit y   e v al u atio n   s id an d   th e   d ev elo p m en s id e.   Ma n a g i n g   u s ab ilit y   e v al u atio n   ac t iv i ties   w h ile  w o r k in g   ac co r d in g   to   th a g ile  s o f t w ar d ev elo p m en t   ap p r o ac h   w a s   s u g g es ted   [ 1 1 ] ,   [ 1 2 ] .   T h au t h o r s   co n tr ib u tio n   i s   co n n ec t in g   b o th   u s ab ilit y   ev alu a tio n   e n v ir o n m en an d   a g ile  e n v ir o n m en t   b y   m a n a g e m en to o d er iv ed   f r o m   m o d el   f o r   i n co r p o r ati n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1289   u s ab ilit y   e v al u atio n   in to   ag il en v ir o n m en t   [ 1 3 ] .   T h au th o r s   t h in k   t h at   m o r co m p r eh en s i v b asi s   o f   in co r p o r atio n   w o u ld   r e m o v p r o ce s s   o r   o r g an izatio n - s p ec if ic  d etail s   t h at  h in d e r   in ter d is cip li n ar y   co llab o r atio n   an d   ad d   m o r v a lu to   th i n co r p o r atio n   p r o ce s s .       2.   E NAB L I N G   AG I L E   US AB I L I T Y   I n   ex i s ti n g   ap p r o ac h es,  m a n y   r esear ch er s   h av ad d r ess ed   t h is s u o f   in teg r ati n g   u s ab ilit y   ev al u atio n   in to   s o f t w ar d ev elo p m e n t,  an d   s p ec if icall y   i n to   th ag ile  d ev elo p m e n ap p r o ac h .   Fo r   ex am p le,   s o m ea r lier   s tu d ie s   f o cu s   o n   ap p l y in g   s e v er al  u s ab ilit y   e v al u atio n   tec h n iq u es  to   ag ile  d ev elo p m e n t,  wh ile  o th er s   f o cu s   o n   th b en e f its   p ar ticu lar   tech n i q u ca n   b r in g   to   ag ile  d ev e lo p m en t.  Ma n y   ap p r o ac h es  h a v b ee n   d ev elo p ed   to   b r id g th is   g ap .   Kan s tated   th at  n o n o f   th m ain   a g il d ev elo p m e n m et h o d s   ex p licitl y   i n co r p o r ate   in ter ac tio n   d esi g n   p r ac tices,  an d   s u g g e s t s   th at  b y   i n co r p o r a tin g   d is co u n u s ab ilit y   e v al u a tio n   tech n iq u e s   as   p ar t o f   ag ile  d ev e lo p m en t,  t h u s ab ilit y   o f   t h s o f t w ar ca n   i m p r o v [ 1 4 ] .   He  s tr es s ed   t h at  th er ar s till   m a n y   is s u es  t h at  m u s b ad d r ess ed   to   m ak th co m b in at io n   e f f ec tiv e.   I s ee m s   th at   th e s li g h t w ei g h tec h n iq u es   ca n   b g o o d   m atch   w it h   a g il m et h o d s   as  th e s tec h n iq u es   d o   n o r eq u ir an y   f o r m al   u s ab ilit y   tr ai n i n g   an d   ca n   t h er eb y   ea s i l y   b ad ap ted   to   w o r k   in   a n   a g ile  co n tex t.  Ho lzin g er   p r ese n ts   d ev elo p m en m eth o d   ca lle d   E x tr e m e   Usab ili t y   ( XU )   w h er all  t h b est   u s ab ilit y   p r ac tic es  ar k ep t   in   t h p lan n i n g   g a m o f   XP ,   in c lu d i n g   th i n k - alo u d   m et h o d   o n   p ap e r   m o ck - u p s   [ 1 5 ] .   Me s za r o s   a n d   Ast o n   ar g u t h at   s o m d esi g n   u p   f r o n p r o v id es   b etter   g u id an ce   to   t h d e v elo p m e n t   tea m   a n d   p r o v id es  ea r lier   o p p o r tu n ities   f o r   f ee d b ac k   [ 1 6 ] .   P ae lk an d   Neb p r esen u s in g   a n   ap p r o ac h   to   i n te g r ate  a g ile   m e th o d s   w it h   UE   an d   d es ig n   tec h n iq u e s   t h at  o f f er ed   ef f ec tiv e   ex p lo r atio n .   T h ese  te ch n iq u es  ar b ased   o n   m ix ed   r ea lit y   o r   t h clo s co u p li n g   o f   r ea l - w o r ld   o b j ec ts   wi t h   co m p u ter - g e n er ated   i n f o r m atio n   a n d   f u n ctio n a lit y .   T h is   h a s   s tr o n g   p o ten tial  f o r   th e   cr ea tio n   o f   u s ab le   u s er   i n ter f ac e s   [ 1 7 ] .   W o lk er s to r f er   p r esen ts   a n   ap p r o ac h   to   co m b i n in ter ac tio n   d esig n   tech n iq u es  ( u s er   s tu d ie s ,   ex tr e m p er s o n a s ,   u s ab ilit y   ex p er ev al u atio n s ,   u s ab ilit y   test ,   an d   au to m ated   u s ab ilit y   ev al u atio n s )   w it h   XP   to   tak ad v an tag e s   o f   b o th   ap p r o ac h es [ 1 8 ] .   T h ey   h av co m b i n ed   th ad v a n ta g es  o f   XP   m et h o d o lo g y   ( o n - ti m d eli v er in g ,   o p ti m ized   r eso u r ce   in v est m e n t,  s h o r r elea s c y cle s ,   w o r k in g   h i g h - q u a lit y   s o f t w ar e,   ti g h t   cu s to m er   in teg r atio n )   w it h   t h ad v a n ta g es  o f   a n   i n ter ac t iv d esi g n   p r o ce s s   ( u s ab le,   ac ce s s ib le,   ac ce p ted   p r o d u cts,  en d - u s er   in te g r atio n ) .   Ob en d o r f   p r o p o s ed   an   ap p r o ac h   u s in g   t h s ce n ar io   tech n i q u es  in   XP   th a p r eser v th e   ag ilit y   o f   ag ile  d ev elo p m e n m eth o d s   [ 1 9 ] .   He  a d d r ess ed   s ce n ar io s   as  to o ls   f o r   co m b i n in g   XP   an d   u s ab ilit y   e v al u atio n   an d   r ef lects  o n   t h ex p er ien ce s   th e y   h a v m ad ad ap tin g   it  t o   r ea p r o j ec ts .   Ho w e v er ,   th i n teg r ated   ap p r o ac h   n ee d s   m o r r ef lect io n .   L o s ad in teg r ated   UE ,   ev al u atio n   tec h n iq u es  i n   I n ter Mo d   an d   p r o v in g   i ts   ad v a n ta g es,   b en ef it s ,   an d   v er if iab le  i m p r o v e m e n t s .   T h is   p r o m o tes  d ev e lo p m e n ta ilo r ed   to   u s er   ex p e ctatio n s   s i n ce   en d   u s er s   ar i n v o l v ed   i n   t h b e g i n n i n g   o f   t h p r o j ec an d   i n   t h co n ti n u o u s   u s ab ilit y   e v alu a t io n   [ 2 0 ] .   Mc Neill  d escr ib ed   tech n iq u e s   o f   s to r y b o ar d in g   as  a n   iter ati v ap p r o ac h   an d   a   lo w - r eliab ili t y   p r o t o ty p i n g   i n   a g ile  t h at   ca n   p er k   u p   th e   s o f t w ar d es ig n   in s tead   o f   s p en d i n g   ti m o n   co d m o d u les.  Hen ce ,   e n h an ce d   v er s io n s   o f   th ese  p r o d u cts ca n   d ev elo p   c o m p lete  f o c u s   o n   e n d - u s er s   b y   ad d in g   u s ab ilit y   to   ag ile  ap p r o ac h es   [ 2 1 ] .   W h ile  v ar io u s   i n te g r atio n   ap p r o ac h es  ar co n tin u all y   b ei n g   p r o p o s ed   an d   d ev elo p ed   u s in g   d if f er en m et h o d s   an d   tech n iq u es,  m a n ag e m e n o f   s u ch   in te g r atio n   is   ab s e n o r   p o o r ly   d o cu m en ted   in   t h liter atu r e.   Dete r m i n i n g   h o w   to   r ed u ce   t h is   g ap   w o u ld   i m p r o v i n f o r m atio n   ex c h a n g e,   m a k i n g   co llab o r atio n   m o r s u cc e s s f u l.  I n   t h e   n ex s ec tio n ,   th au th o r s   id e n ti f y   ca s e s   in   w h ich   u s ab ilit y   e v al u atio n   ca n   b w e ll - m an ag ed   w it h i n   th e   d ev elo p m en t e n v ir o n m en t.         3.   I NCO RP O RA T I O O F   US AB I L I T E VAL UAT I O C H ARAC T E RI ST I CS   T h m ai n   ch ar ac ter i s tics   o f   th in co r p o r ated   a p p r o ac h   o f   ag ile  an d   u s ab ili t y   e v alu a tio n   t h at  au th o r s   u s ar as  f o llo w s :     a.   I ter ativ d esi g n   ac ti v itie s   -   I n   m an y   ca s es,  w h e n   u s er - ce n tr ic   tech n iq u e s   ar u s ed ,   t h d esi g n   o f   t h s y s te m   is   r ef in ed   ac co r d in g   to   t h u s e r s   e v al u atio n s   a n d   t h is   is   p er f o r m ed   m ai n l y   d u r i n g   t h d esi g n   p h ase.   W h e n   in tr o d u ci n g   t h ag ile  ap p r o ac h ,   d esig n   i s   u p d ated   r eg u lar l y   a s   th p r o d u ct  ev o lv e s .   C o m b i n in g   u s ab ilit y   ev alu a tio n   ac t iv i ties   w ith   t h ag ile  ap p r o ac h ,   u s er   ev a l u atio n   is   f o s ter ed   b y   p er f o r m i n g   u s ab ilit y   ev alu a tio n   tas k s   in   ea c h   iter a tio n   o f   t w o   to   f o u r   w ee k s .   T h d esi g n   i s   t h e n   u p d ated   ac co r d in g   to   t h e   ev alu a tio n   o f   o n - g o in g   o u tco m es t h at  ar co n s id er ed   as r ef ac to r in g   tas k s .     b.   R o les   -   Di f f er e n r o les  ar d e f i n ed   to   s u p p o r s o f t w ar d ev elo p m e n e n v ir o n m en t s .   T h ag ile  ap p r o ac h   ad d s   r o les  f o r   b etter   m a n a g e m en an d   d ev elo p m en o f   th p r o j ec t.  C o m b i n in g   a g il an d   u s ab ili t y   ev alu a tio n   ad d s   u s ab ilit y   e v al u atio n   r o les,  s u c h   as th u s er   i n ter f ac e   ( U I)   ex p er t r o le.   c.   Me asu r es  -   T ak in g   m ea s u r e m en ts   is   b asic  ac ti v it y   i n   s o f t w ar d ev elo p m e n p r o ce s s es.  T h ag ile   ap p r o ac h   em p h a s izes  t h i s   an d   en co u r ag e s   th tr ac k er   r o le.   W h en   co m b i n i n g   a g ile  an d   u s ab ilit y   ev a l u atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il 2 0 1 9   :   1 2 8 8   -   1297   1290   ap p r o ac h ,   s et  o f   ev al u atio n   to o ls   m a y   b b u ilt   an d   r e f i n ed   d u r in g   t h p r o ce s s   a n d   u s ed   iter ativ el y   to   co m p le m e n t t h p r o ce s s   an d   p r o d u ct  m ea s u r es.   d.   I ter ativ d esi g n   ac ti v itie s   -   I n   m an y   ca s es,  w h e n   u s er - ce n tr ic   tech n iq u e s   ar u s ed ,   t h d esi g n   o f   t h s y s te m   is   r ef in ed   ac co r d in g   to   t h u s e r s   e v al u atio n s   a n d   t h is   is   p er f o r m ed   m ai n l y   d u r i n g   t h d esi g n   p h ase.   W h e n   in tr o d u ci n g   t h ag ile  ap p r o ac h ,   d esig n   i s   u p d ated   r eg u lar l y   a s   th p r o d u ct  ev o lv e s .   C o m b in in g   u s ab ilit y   ev alu a tio n   ac t iv i ties   w ith   t h ag il ap p r o ac h ,   u s er   ev a l u atio n   is   f o s ter ed   b y   p er f o r m i n g   u s ab ilit y   ev alu a tio n   tas k s   in   ea c h   iter a tio n   o f   t w o   to   f o u r   w ee k s .   T h d esi g n   i s   t h e n   u p d ated   ac co r d in g   to   t h e   ev alu a tio n   o f   o n - g o in g   o u tco m es t h at  ar co n s id er ed   as r ef ac to r in g   tas k s .     e.   S tak e h o ld er s   ( Us er s ,   C u s to m e r s )   -   B o th   u s ab ilit y   an d   ag ile  ap p r o ac h es  ar h u m a n - ce n ter ed ,   in   th at  t h e y   v alu c lo s co llab o r atio n   w it h   s ta k e h o ld er s .   I n   u s ab ilit y ,   u s er s   ar p eo p le  th at  ac tu all y   u s t h s o f t w ar e   an d   t h at  p ar ticip ate  i n   r eq u ir em en ts   g at h er ed   t h r o u g h   in ter v ie w s   a n d   f ield   s tu d ie s .   Ag ile  d ev elo p m e n t a l s o   v alu e s   co llab o r atio n   w i th   u s er s   an d   co n s id er s   s tak e h o ld er   p ar ticip atio n   i n   t h d ev elo p m e n p r o ce s s   to   b e   th m o s ef f ec ti v m ea n s   o f   co m m u n icati n g   n ee d s   to   th d ev elo p er s .   C o m b in i n g   ag i le  an d   u s ab ili t y   ev alu a t io n   allo w s   s ta k eh o ld er s   to   ev alu ate  s o f t w ar u n d er   r ea l c o n d itio n s .         4.   I NCO RP O RA T I O US AB I L I T E V AL U AT I O M O D E L      T h m o d el   o f   in co r p o r atio n   u s ab ilit y   e v alu a tio n   in to   ag ile  en v ir o n m e n t   [ 1 3 ]   h as  b ee n   ch o s en   as  a   b asis   f o r   th p r o p o s ed   m an a g e m e n to o w h ich   s u p p o r ts   s o f t w ar tea m   m e m b er s   to   n o m in ate  ap p r o p r iate  d ev elo p m en ac ti v itie s to   d o c u m e n an d   co m m u n ica te  th eir   r esu lts to   d ef in f ield s   o f   co m p e ten cie s   f o r   th e   r o les  in   s o f t w ar d ev elo p m en t   p r o j ec ts   to   ac h iev q u alit y   o f   u s e.   Ho w ev er ,   th s elec ted   m o d el   co n tain s   lis t   o f   ac ti v itie s   a n d   ar ti f ac ts   co n s t r u cted   f r o m   ca r e f u ll y   s elec ted   an d   an a l y ze d   I S s tan d ar d s .   T h s tan d ar d s   f o r m   th b asis   o f   u s ab ilit y   ev a lu at io n   an d   s o f t w ar d ev elo p m en p r o ce s s es,  w h ic h   th m o d el  aim s   to   o p er atio n alize   an d   th u s   s i m p li f y   t h eir   i m p le m en tatio n   as  s h o w n   in   Fig u r 1 .   T h in co r p o r atio n   in cl u d es  t h r ee   asp ec ts   a s   f o llo w s .   Firstl y ,   p o ten tial  in c o r p o r ati o n   p o in ts   ar m ap p ed   b ased   o n   th eir   en d   ef f ec t s   a n d   o v er lap   b et w ee n   ac tiv itie s   i n   u s ab il it y   ev a lu at i o n   an d   s o f t w ar d ev elo p m e n t.   Seco n d l y ,   t h d ep en d en cie s   o f   t h ac ti v itie s   a n d   ar tif ac ts   ar ex a m in ed   to   s h o w   i n f o r m atio n   f lo w   w it h i n   ea ch   p r o ce s s .   T h ir d ly ,   t h co n v er g en ce   ar tif ac t s   o f   b o th   p r o ce s s es a r id e n ti f ied .   I n   t h n ex t sect io n ,   t h p r o p o s ed   to o l is estab li s h ed   a s   co m p lete  s y s te m   w it h i n   its   d ef i n ed   s co p e.             Fig u r 1 .   T h g en er al  in co r p o r atio n   m o d els       5.   T H E   SO F T WAR E   M ANAG E M E NT   T O O L     B ased   o n   th m o d el,   co m p lete  m an a g e m e n s y s te m   s h o u l d   b d esig n ed   to   f u l f il cr itical  n ee d   o f   u s ab ilit y   e v al u atio n   ac ti v ities ,   alo n g s id th e   p r o ce s s   o f   s o f t war d ev elo p m en t,  e s p ec ial l y   i n   ter m s   o f   t h a g ile   en v ir o n m e n t.  T h is   s y s te m   att e m p ts   to   m a n a g e,   m o n ito r ,   a n d   s teer   t h u s ab il it y   ac ti v iti es  w h ich   h a v lo n g   b ee n   tr ea ted   as  o n o f   t h co r is s u es  i n   t h s o f t w ar d ev el o p m e n p r o ce s s .   Ho w ev er ,   t h e   d ep lo y m en o f   t h is   s y s te m   i s   n o m ea n to   p r o v id to tal  s o lu tio n   to   in co r p o r at u s ab ilit y   i s s u es  w it h i n   th d ev elo p m e n p r o ce s s .   I is   s i m p l y   i n ten d ed   to   s u p p o r m an a g e m en t   ac ti v ities   in   ad d itio n   to   th e x is tin g   i n co r p o r atio n   ap p r o ac h es  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1291   an d   tech n iq u e s .   B ef o r p r o ce ed in g   to   s y s te m   i m p le m e n ta tio n ,   w m u s f ir s u n d er s tan d   th s y s te m   ar ch itect u r an d   en v ir o n m en t.    T h m a n ag e m e n s y s te m   i s   d ev elo p ed   as  s o f t w ar p r o to t y p s y s te m   to   i m p le m en t   in   r ea en v ir o n m e n t.  I is   co n n ec ted   to   o th er   to o ls   s u c h   as  t h I n teg r ated   De v elo p m e n E n v ir o n m e n ( I D E )   an d   u s ab ilit y   to o ls   u s in g   p lu g - in   te ch n o lo g y .   E s s e n tial l y ,   it  s er v e s   as  s ca f f o ld   to   b r in g   to g et h er   th u s ab ilit y   a n d   d ev elo p m en t e n v ir o n m en ts .     T h is   s y s te m   w a s   d ev elo p ed   in   J av aScr ip s er v er ( J SP ) .   T h ap p licatio n   o f   in ter n et  W E B   an d   u s i n g   M y SQ L   to   d atab ase  m a n a g e m en also   d e v elo p   th d atab a s th r o u g h   t h u s o f   t h o p en   s o u r ce   p r o g r a m .   I w a s   d esig n ed   to   co v er   f o u r   m ai n   f u n ctio n a liti es ar tif ac r ep o s ito r y ,   m o n i to r   d ev elo p m e n ac ti v itie s   o f   b o th   f ield s   ( u s ab ilit y   a n d   s o f t w ar d ev elo p m e n t) ,   th e v al u ati o n   o f   th u s ab ilit y   ev al u atio n   m et h o d s   an d   th e   p r o d u ctio n   o f   p lan s .   I i s   ass u m ed   th at  a ll  t h s o f t w ar d ev elo p m e n k n o w led g m an a g e d   b y   t h d ev elo p ed   s y s te m   h as  b ee n   e x tr ac ted   f r o m   t h ar t if ac t   r ep o s ito r y   w h ic h   i s   cr ea ted   b y   o th er   to o ls .   Fi g u r 2   co n ta i n s   a n   o v er v ie w   o f   t h e   m an a g e m en t s y s te m   ar ch i tectu r e.           Fig u r 2 .   A   v ie w   o f   s o f t w ar m an a g e m e n t s y s te m   ar ch itect u r e       a.   Mo n ito r   an d   co n tr o l ( ac tiv itie s   an d   ar tif ac ts )   T h o b j ec tiv o f   m o n ito r in g   a n d   co n tr o llin g   f r o m   t h is   r esear ch   p er s p ec tiv i s   to   en s u r e   c o n tin u o u s   ev alu a tio n   p r o ce s s   ti g h tl y   co u p led   w i th   t h d ev elo p m e n p r o ce s s ,   th u s   r ec eiv i n g   o n - g o in g   u s er   f ee d b ac k   w h ile   co n ti n u in g   th e   d ev elo p m en t.  P r o v id in g   d as h b o ar d   f o r   d is p la y i n g   s tr ea m   o f   t h ac tiv ities   a n d   ar ti f ac ts   o f   b o th   f ield s   s tr ik e   t h b alan ce   o f   t h e s tr ac k s   a lo n g s id t h e   d ev elo p m e n p r o ce s s .   I n   th i s   w a y ,   th e   s o f t w ar e   tea m   ca n   id e n ti f y   t h p r o g r ess   o f   ta s k s ,   ac ti v itie s ,   p r o j ec ts ,   an d   o th er   a s s o ciate d   i n f o r m atio n   ( e. g .   T ask   Na m e,   Star t D ate,   E n d   Date ,   P er ce n t Co m p lete)   v ia  t h i s   d ash b o ar d .   b.   Man ag t h ac ti v itie s   an d   ar ti f ac ts   in   t h p lan   T h is   en co m p as s es  i n ter f ac e s   th at  co v er   all  p h ase s   o f   d ev elo p m e n p r o ce s s   ac ti v itie s   ( r eq u ir e m en ts ,   d esig n ,   i m p le m en ta tio n ,   an d   test in g )   to   en ab le  th s o f t w ar d ev elo p m en tea m   to   s et,   p r io r itize,   an d   ev alu ate   us ab ilit y   asp ec ts   s m o o th l y   d u r in g   t h eir   p r o j ec ts .   T h lis t s   o f   t h ese   ac ti v ities   s h o w   f u n d a m en tal  UE   a n d   SE   ac tiv itie s   an d   ar ti f ac ts   r ele v a n to   th u s ab ili t y   e v al u atio n   an d   s o f t w ar d ev elo p m e n t   p r o ce s s ,   w it h   th e   p o ten tial in co r p o r atio n   p o in ts   b ein g   h ig h li g h t ed .   c.   Ma n ag t h m et h o d s   o f   u s ab ilit y   ev a lu at io n   i n   th p la n s   T h n ex o n is   t h p r ev io u s   f u n ct io n alit y   t h at  p r o v id es  th in ter f ac d i s p la y   o f   all  ac ti v it i es  o f   b o th   f ield s   i n cl u d in g   ( r eq u ir e m e n ts ,   d esig n ,   i m p le m en ta tio n ,   an d   test i n g )   to   en ab le  t h s o f t w ar e   d ev elo p m e n tea m   to   s elec t,  s u g g e s t,  an d   s et  p r o p er   u s ab ilit y   ev al u atio n   m et h o d s   b ased   o n   ce r tain   cr iter ia  e. g .   E f f ec ti v e n ess ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il 2 0 1 9   :   1 2 8 8   -   1297   1292   D y n a m ic it y ,   T i m e - co s t,  E f f o r t - co s t,  L ea r n ab ilit y ,   Un d er s t an d ab ilit y ,   R e s u lts   A cc u r ac y ,   C o v er ag A r ea ,   A tt itu d e,   an d   Sat is f ac tio n .   d.   Ma n ag ar ti f ac t s   r ep o s ito r y   An   ar ti f ac t s   r ep o s ito r y   r ep r esen t s   co llec tio n   o f   ar ti f a cts  a n d   li n k s   ca p t u r ed   f r o m   av ailab l e   r eso u r ce s   in cl u d i n g   d o cu m en t atio n ,   co d an d   o th er   r elate d   i n f o r m atio n .   T h is   i n f o r m atio n   n ee d s   to   b s to r ed   in to   d atab ase  o f   ar ti f ac r elatio n s h ip   tab les  to   m a k t h e m   r ea d il y   a v ailab le  f o r   m an ag e m e n s y s te m   i m p le m en ta tio n .   e.   P r o d u ce   p lan s     T h is   ca n   b d iv id ed   in to   t w o   m ai n   tas k s ,   n a m el y   s u g g es tin g   ac ti v itie s   f o r   b o th   u s ab ilit y   ev alu a tio n   an d   d ev elo p m en p r o ce s s ,   an d   s u g g e s ti n g   m et h o d s   o f   u s ab il it y   ev a lu at io n .   T h is   m a y   t h en   b u s ed   to   p r o d u ce   p lan   r ep o r ts   co n s is tin g   o f   ac ti v itie s ,   m et h o d s   an d   ex p ec ted   a r tif ac ts .   T h au th o r s   s u g g e s th at  th co m b i n atio n   o f   th u s ab ilit y   e v al u atio n   a n d   ag ile  ap p r o ac h es  s h o u ld   b s u p p o r ted   b y   an   e x ten s io n   t o   co n te m p o r ar y   d ev elo p m en t e n v ir o n m en t in   o r d er   to   b u s ed   in   n at u r al  m a n n er .   T h is   is   elab o r ated   in   t h n ex t   s ec tio n .           6.   T H E   P RO J E C T   W ith   s u p p o r f r o m   an   i n d u s tr y   d ev elo p er ,   o n o f   th a u th o r s   d ev elo p ed   th m an a g e m en to o d escr ib ed   in   th is   p ap er .   T h e   p r o j ec to o k   th r ee   m o n t h s   a n d   w a s   co m p o s ed   o f   4   iter atio n s ,   th r ee   o f   3   w ee k s   ea ch   an d   o n o f   4   w ee k s .   T ab l 1   s h o w s   th d u r atio n   an d   t h e   m ain   t h e m es o f   ea ch   iter atio n .           T ab le   1 .   T h I ter atio n s - d u r atio n   an d   T h e m es     I t e r .   T h e me s   D u r a t i o n   ( w e e k s)   1   Ex p e r i me n t a n d   R o l e s   a.   En d - to - e n d   p l a n s:   d e f i n i n g   t h e   a c t i v i t i e s,  me t h o d s ,   e x p e c t e d   a r t i f a c t s,  a n d   r e su l t s v i e w   b.   D e v e l o p e r   r o l e - p e r sp e c t i v e   c.   U sab i l i t y   e n g i n e e r   r o l e - p e r sp e c t i v e   d.   O t h e r   t e a m ro l e - p e r sp e c t i v e   e.   W o r k   i t e ms c a n   b e   c r e a t e d ,   a ss i g n e d   f.   T h e   s y st e m h a s o n e   d a t a   r e p o si t o r y   3               2   U se r s‟   i n t e r f a c e     a.   U se r s‟   man a g e me n t   a n d   p e r mi ssi o n s   b.   A   u se r   i n t e r f a c e   t o   p r o d u c e   t h e   p l a n s   c.   C l i e n t   /   S e r v e r   a r c h i t e c t u r e   f o r   man a g i n g   t h e   a c t i v i t i e s a n d   me t h o d s   d.   S u p p o r t i n g   se l e c t i o n   me t h o d   f o r   u se r   e v a l u a t i o n   t h a t   a r e   d e r i v e d   f r o m   c e r t a i n   c r i t e r i a   e.   O n   l i n e   h e l p   4           3   S t a b i l i t y   a.   T e st i n g   a n d   R e f a c t o r i n g   b.   D e v e l o p me n t   r e f i n e me n t   3     4   O b se r v e   a n d   U se r   P r o f i l i n g   a.   S u p p o r t i n g   mo n i t o r   a n d   c o n t r o l   ( a c t i v i t i e a n d   a r t i f a c t s)   b.   S u p p o r t i n g   u se r   p r o f i l i n g   c.   S c a l e   u sa b i l i t y   e v a l u a t i o n   me t h o d s   3           6 . 1 .   Usi ng   t he  m a na g e m ent   s y s t e m     T h m ain   f ea t u r o f   th m a n ag e m e n s y s te m   is   its   ab ili t y   to   i n co r p o r ate  an d   m an a g e   u s ab ili t y   ev alu a tio n   w i th i n   t h co n te x t   o f   an   a g ile  e n v ir o n m e n t.  Fo cu s i n g   o n   s p ec i f ic  s o f t w ar e   p r o j ec th at  ca n   b e   d ef in ed   b y   d i f f er e n k in d s   o f   r eq u ir ed   ac tiv ities ,   t h e n   d ef i n s u itab le  m et h o d s   to   ap p ly   t h ese  ac ti v itie s .   T h at  is ,   th d ev elo p m en tea m   c h o o s es  th s et  o f   ac ti v itie s   ac co r d in g   to   th n at u r o f   s o f t w ar p r o j ec an d   th e n   s elec ts   ap p r o p r iate  m et h o d s   b ased   o n   s elec tio n   cr iter ia  ( t h s elec tio n   w ill  b f r o m   a g ile  p er s p ec tiv e)   to   p er f o r m   t h ese  ac t iv i ties   a n d   task s   as s h o w n   in   F ig u r 3   an d   F ig u r 4 .       6 . 2 .   Rela t ed  env iro n m ent     Du to   th p r o p o s ed   m a n a g e m en to o in te n d ed   to   b u ild   b r id g b et w ee n   u s ab ili t y   e v a lu atio n   a n d   d ev elo p m en e n v ir o n m en t;  it   h as  to   d ea w ith   s ev er al  t y p es  o f   d ev elo p m e n an d   ev a lu atio n   to o ls .   Fo r   ex a m p le,   o n t y p o f   th o s to o ls   is   I DE .   I t   is   s o f t w ar d ev elo p m e n p latf o r m   t h at  p r o v id es  co m p r eh e n s i v e   f ac ilit ies  to   co m p u ter   p r o g r a m m er s   f o r   s o f t w ar d ev el o p m e n t.  T h b o u n d ar y   b et w ee n   an   i n te g r ated   d ev elo p m en t   en v ir o n m e n a n d   o th er   p ar ts   o f   th e   b r o ad er   s o f t w ar d e v elo p m e n e n v ir o n m e n t   is   n o w ell - d ef in ed .   So m eti m e s   v er s io n   co n tr o s y s te m ,   o r   v ar io u s   to o ls   to   s i m p li f y   t h co n s tr u ctio n   o f   g r ap h ical  u s er   in ter f ac e   ( GUI ) ,   ar i n teg r at ed .   Ou r   m an a g e m en to o i s   o n o f   t h o s ap p licatio n s   in te g r ated   to   t h i s   en v ir o n m e n t.    n u m b er   o f   U E   to o ls   h a v b ee n   d e v elo p ed   to   f ac ilit ate   u s ab ilit y   p r ac titi o n er s '   ta s k s   s u c h   as:   a)   Usab ilit y   d ata  C ap tu r e:  co llectin g   u s ab ili t y   d ata,   s u c h   as  task   co m p letio n   ti m e,   er r o r s ,   g u id elin v io latio n s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1293   an d   s u b j ec tiv r ati n g s ;   b )   Usab ilit y   p r o b le m s   an a l y s is i n ter p r etin g   u s ab ilit y   d ata  to   id en ti f y   p r o b le m s   i n   t h e   in ter f ac e ; a n d   c)   C r itiq u ( r ep o r t) : su g g esti n g   s o l u tio n s   o r   im p r o v e m e n t s   to   m iti g ate  p r o b le m s .   Si m i lar l y ,   t h m a n ag e m e n to o is   co n n ec ted   w it h   t h o s to o ls .   B r in g in g   to g eth er   t h ese  t w o   en v ir o n m e n t s   u s in g   th m a n ag e m en to o co u ld   w ell  i m p r o v th co m m u n icatio n   b et w ee n   u s ab ilit y   en g i n ee r s   an d   s o f t w ar d ev elo p er s .   T h is   co m m u n ica tio n   li n k   i s   ess e n ti al  to   th d ev elo p m e n o f   s y s t e m   as  it  is   d ee m e d   ef f icien t,  also   th at  it  is   p leasi n g   a n d   u s e f u to   th en d   u s er .   I n   ad d itio n ,   ef f ec ti v co m m u n icatio n   s a v e s   ti m e   b y   r ed u cin g   t h i n co n s is te n ci es  in   u n d er s ta n d in g   t h er eb y   r ed u cin g   t h n u m b er   o f   ar ea s   f o r   d eb ate.   B y   u s in g   th p lu g - in   f ea t u r e,   th m an ag e m e n to o w ill  co n s o lid at b o th   f ield s   a n d   p r o m o te  t h p r ec is io n   an d   co m p lete n e s s   as a   r es u lt o f   t h e   d ev elo p m e n t p r o ce s s .             Fig u r 3 .   E x ce r p t o f   th p r o g r ess   o f   t h d ev elo p m e n t p r o ce s s   p ag e           Fig u r 4 E x ce r p t o f   th p lan n i n g   p a g e   f o r   s u g g est in g   m eth o d s   o f   u s ab ili t y   e v al u atio n       7.   E VA L UA T I N G   T H E   M ANAG E M E NT   T O O L     T h p r o ce s s   o f   ev alu ati n g   t h e   m an a g e m e n to o w a s   ca r r ied   o u b y   p er f o r m in g   t h v er i f i ca tio n   an d   v alid atio n   s ta g es.   T h v er i f ic atio n   s ta g e   w as   p er f o r m ed   b y   e x p er ts   f r o m   th e   i n d u s tr y   f ield ,   w h o   ar t h e   d o m ai n   ex p er ts .   Valid atio n   was  ca r r ied   o u b y   th s o f t w ar e   d ev elo p m e n p r ac titi o n er s   th r o u g h   ca s s tu d y .   T h ese  s tag es a r d is c u s s ed   f u r th er   in   t h n e x t s u b - s ec tio n s .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il 2 0 1 9   :   1 2 8 8   -   1297   1294   7 . 1 .   Ver if ica t io n t hro ug e x pert   r ev iew s     E x p er r ev ie w s   ar ac ce p ted   as  w a y   to   d etec an d   r e m o v d ef ec ts   [ 2 2 ] ,   [ 2 3 ] .   T h er ef o r e,   th is   s t u d y   ad ap ted   th is   tec h n iq u f o r   th e   v er i f icatio n   p r o ce s s .   Ver if icatio n   is   in ten d ed   to   e n s u r th a t   th d e v elo p ed   to o co n f o r m s   to   its   s p ec i f icatio n   [ 2 4 ]   an d   th at  all  r eq u ir ed   co m p o n en t s   ar p r esen t in   t h r ig h q u an tit y   [ 2 5 ] .     T h t w o   m ai n   is s u es  t h at  n ee d   to   b v er if ied   i n   t h i s   s y s te m   ar l is t s   o f   ac tiv ities ,   ar tif ac t s ,   d ep en d en cies  a n d   r elatio n s h ip s a n d   th e   s elec t io n   u s ab ili t y   m et h o d s   cr it er ia.   T h er ef o r e,   t h p o ten tia e x p er ts   w h o   h ad   k n o w led g an d   ex p e r ien ce   in   s o f t w ar q u alit y   f o c u s   o n   u s ab ilit y ,   a n d   th o s in   S E ,   p ay s   a tten tio n   to   th a g ile  p r o ce s s e s   id en ti f ied .   T h ey   w er c h o s en   b y   f o llo w i n g   t h c h ar ac te r is tic s   o f   e x p er ts   as   s u g g e s ted   b y   [ 2 6 ] ,   [ 2 7 ] .       7 . 2 .     Def ine t he  e x pert s     Ver if icatio n   w a s   p r o v id ed   b y   t w el v e x p er ts   af ter   th e y   w er co n tacte d   t h r o u g h   e - m ail s .   F iv o f   t h e m   w er w i lli n g   to   v er i f y   t h u s ab ilit y   asp ec t a n d   t h r ee   o f   t h e m   w er w i lli n g   to   v er i f y   t h i n co r p o r atio n   ap p r o ac h   f r o m   t h SE  p er s p ec tiv e,   w h i ch   is   co n s id er ed   s u f f icien [ 2 8 ] ,   [ 2 9 ] .   C o n s eq u en tl y ,   ap p o in t m en t s   w er m ad e   an d   f ac to   f ac m ee ti n g s   w e r h eld .   B asicall y ,   t h f o llo win g   ac tiv ities   w er co n d u cted   d u r in g   th r e v ie s ess io n s :     a.   Au t h o r s   p r esen ted   t h o v er v i e w   o f   t h s tu d y   a n d   th s te p s   f o r   i n co r p o r atin g   t h u s a b ilit y   e v al u atio n   ac tiv itie s   i n   th a g ile  en v ir o n m en t to   th ex p er ts .   b.   T h ex p er ts   w o u ld   th e n   f o cu s   o n   r ev ie w i n g   th u s ab ilit y   an d   s o f t w ar d ev elo p m en ac tiv iti es  an d   ar ti f ac ts   p lu s   s elec t io n   u s ab ilit y   m eth o d s   cr iter ia  o f   th m a n a g e m en to o l.   c.   T h ex p er ts   r ev ie w ed   t h s te p s   o f   i m p le m en t in g   th m a n a g e m e n to o l.  T h ey   h ad   th o p p o r tu n it y   to   as k   q u esti o n s   o f   t h au t h o r s   f o r   f u r th er   clar if icatio n .   d.   T h ex p er ts   g av f ee d b ac k   b y   co m p let in g   v er i f icatio n   f o r m .   e.   R esear ch er   t h en   u p d ated   th m an a g e m e n t to o l a s   s u g g ested   b y   t h ex p er ts .       7 . 3 .     Resul t s   o f   v er if ic a t io n     L is ts   o f   t h ac tiv i ties ,   ar ti f ac t s ,   an d   d ep en d en cies  an d   r elat io n s h ip s ,   in cl u d in g   t h to o its elf ,   w er v er if ied   b ased   o n   th eir   co m p r eh en s i v e n es s ,   u n d er s ta n d ab il it y ,   s u f f ic ien t,  ac cu r ate n es s ,   an d   o r g an izatio n .   T h ese  cr iter ia  ar ad ap ted   f r o m   p r ev io u s   s t u d ies  [ 3 0 ] ,   [ 3 1 ] .   T h d escr ip tio n s   o f   th e s cr it er ia  ar as  lis ted   in   T ab le  2 .   T h ex p er ts   p r o v id ed   th eir   f ee d b ac k   b y   co m p leti n g   ch ec k li s f o r m .         T ab le   2 .   Descr ip tio n s   o f   Ver if icatio n   C r iter ia     C r i t e r i a     D e scri p t i o n s   C o mp r e h e n si v e n e ss     T h i s c r i t e r i o n   s h o w s t h a t   t h e   r e q u i r e d   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e a n d   r e l a t i o n s h i p s ,   a n d   t h e   se l e c t i o n   u sa b i l i t y   me t h o d c r i t e r i a   a r e   i n c l u d e d   i n   t h e   t o o l .   U n d e r st a n d a b i l i t y   T h e   c r i t e r i o n   s u g g e st s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e a n d   r e l a t i o n sh i p s,  a n d   t h e   se l e c t i o n   u sa b i l i t y   me t h o d c r i t e r i a   a r e   d e c o m p o se d   c l e a r l y   a n d   u n a m b i g u o u sl y .   S u f f i c i e n t   T h e   c r i t e r i o n   i n d i c a t e s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e a n d   r e l a t i o n sh i p s,  a n d   t h e   se l e c t i o n   u sa b i l i t y   me t h o d c r i t e r i a   a r e   d e c o m p o se d   t o   a c h i e v e   su f f i c i e n t   i n c o r p o r a t i o n .   A c c u r a t e n e ss   T h e   c r i t e r i o n   i n d i c a t e s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s ,   t h e   d e p e n d e n c i e a n d   r e l a t i o n sh i p s,  a n d   t h e   s e l e c t i o n   u sa b i l i t y   me t h o d c r i t e r i a   a r e   a d e q u a t e l y   d e c o mp o se d   t o   a c h i e v e   a c c u r a t e   i n c o r p o r a t i o n .     O r g a n i z a t i o n   T h e   c r i t e r i o n   d e n o t e s t h a t   t h e   a c t i v i t i e s,  a r t i f a c t s,   t h e   d e p e n d e n c i e s a n d   r e l a t i o n s h i p s,  a n d   t h e   se l e c t i o n   u s a b i l i t y   me t h o d c r i t e r i a   a r e   o r g a n i z e d   w e l l .       Mo s ex p er ts   ag r ee d   th a th ac tiv itie s ,   ar tif ac t s ,   th d e p en d en cies  a n d   r elatio n s h ip s ,   an d   th e   s elec tio n   u s ab ilit y   m et h o d s   cr iter ia  o f   th e   to o ar co m p r eh en s i v e,   u n d er s ta n d ab le,   s u f f ic ien t,  ac c u r ate,   a n d   o r g an ized   w ell.   Ho w e v er ,   t h e y   h ad   s o m e   co m m e n ts   o n   th u n d er s tan d ab ilit y   a n d   o r g an izatio n   o f   th e   ac tiv itie s ,   ar ti f ac ts   an d   th eir   r elatio n s h ip .   Fo r   ex a m p le,   E x p er ts   A ,   B ,   a n d   s u g g este d   th at  th e   lis t s   o f   ac tiv itie s   an d   ar tif ac ts   s h o u ld   b s u p p o r ted   w it h   s o u r ce   r ef er en ce .   Me an w h ile,   E x p er ts   C ,   E ,   an d   f o u n d   t h at   th er w er s o m ac ti v it y   an d   ar tif ac d escr ip tio n s   th at  w er e   n o v er y   clea r .   E x p er co n clu d ed   th at  ce r tai n   tex ts   f o r   th ac tiv it ies  an d   a r tif ac ts   w er m i s r ep r esen ted ,   s u ch   as  u s ab ilit y   ev al u atio n   ac tiv it y   n u m b er   3   “f ee d b ac k ”.   E x p er ts   an d   E   s u g g e s ted   th at  t h s elec tio n   cr iter ia  s h o u ld   b o r g an ized   b ased   o n   th r ee   s ca les  r ath er   t h an   f iv e.   Ho w ev er ,   al l   s u g g est io n s   o f   t h e x p er w e r tak e n   i n to   co n s id er atio n .   H en ce ,   t h ac ti v it ies,  ar tif ac ts ,   t h d ep en d en c ies,  an d   th s elec tio n   u s ab ilit y   m et h o d s   cr iter ia  w er u p d at ed   ac co r d in g l y   a s   s u g g e s ted .   B ased   o n   th co m m en ts   f r o m   t h ex p er ts ,   t h s y s te m   w a s   r eo r g an ized   an d   u p d ated .             Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1295   8.   VALI DAT I O B CAS E   ST UDY     W p r esen a   ca s s t u d y   in   wh ich   d ev elo p m en t   tea m s   in   a ca d em ia  w o r k ed   w it h   a g il a p p r o ac h   in   d ev elo p in g   th eir   s o f t w ar p r o j ec ts   w h ile  ap p l y i n g   o u r   m an ag e m e n to o l.  3 6   p ar ticip an ts   w er as k ed   to   i m p le m en t h to o b y   ap p l y i n g   it  w i th i n   t h eir   f i n al  p r o j ec t s   th at  t h e y   h av b ee n   w o r k i n g   o n .   B ased   o n   th e   s u p p o r tin g   m an a g e m en t   to o l,  th e y   s elec ted   ap p r o p r iate  u s ab ilit y   e v al u atio n   ac tiv ities   a n d   m e th o d s   w i th i n   th eir   p r o j ec p lan s .   An   as s es s m en f o r m   [3 2 ] ,   [ 3 3 ]   w as  p r o v id ed   f o r   t h e m   to   a s s i g n   t h s co r f o r   ea ch   ite m   af ter   u s in g   t h to o l.  I n   th f in al  p r o j ec t,  team   m e m b er s   w er as k ed   to   g r ad t h eir   s a tis f ac tio n   f o r   ea ch :   p er ce iv ed   u s ef u l n es s ,   p er ce iv ed   ea s o f   u s e,   b alan ce   th co m p eti n g   ac tiv i ties ,   ef f ec ti v o f   m o n ito r   an d   co n tr o l,  an d   ab ilit y   to   p r o d u c u s ab le   r esu lts ,   b et w ee n   1   to   5 ,   as  w ell   as  o p en - e n d ed   q u e s tio n s   s ee k i n g   t h eir   o p in io n s .   T h p ar ticip an ts   f ee d b ac k   ar s h o w n   b elo w :   P er ce iv ed   u s e f u l n e s s T h p a r ticip an ts   p o i n ted   o u t h at  th m a n ag e m e n to o i s   u s e f u l   f o r   th e ir   w o r k i n g   e n v ir o n m en t.   T h is   to o allo w s   t h e m   to   k n o w   th ap p r o p r iate  u s ab ilit y   ev alu atio n   ac ti v itie s .   I n   ad d itio n ,   it h elp s   t h e m   to   co n d u ct  e n o u g h   u s ab ili t y   ac ti v iti es th u s   lead i n g   to   p r o d u ce   u s a b le  s o f t w ar e.   P er ce iv ed   ea s o f   u s e:  A cc o r d in g   to   t h r esp o n s e s   o f   t h p ar ticip an ts ,   th m a n a g e m e n t   to o w a s   p er ce iv ed   as  ea s y   to   b u s ed   b ec au s it  h as  s er ies  o f   well - d ef in ed   ac ti v itie s ,   ar tif ac ts ,   s elec tio n   m et h o d s   attr ib u tes,  an d   d ep en d en cies   an d   r elatio n s h ip s .   T h p ar ticip an ts   f o u n d   o u th at  th e   to o is   in ter n all y   co n s is ten t,  m ain l y   b ec au s th co m p o n e n ts   co m p le m e n ea ch   o th er .   I n   p ar ticu lar ,   it  s tar ts   w ith   ad d in g   th e   ac tiv itie s ,   t h e n   ad d in g   th e   m e t h o d s   i n   t h p r o p o s ed   p lan .   T h p r o ce s s   is   t h en   co n t in u ed   p r o p er ly .   I n   ad d itio n ,   th p r o p o s ed   p lan   is   p r ep ar ed   b y   g r o u p   ( i n clu d i n g   th d e v elo p m e n a n d   u s ab ilit y   asp ec t s )   f o r   o b tain i n g   t h e   co n s en s u s   a m o n g   th tea m   m e m b er s   o n   t h n u m b er   an d   t y p e   ac tiv itie s   an d   m e th o d s   o f   u s a b ilit y .   B alan ce   th co m p eti n g   ac tiv i t ies:   T h p ar ticip an ts   ag r ee d   th at  th to o is   ap p r o p r iate  f o r   en ab lin g   b alan ce d   d ev elo p m e n d ec is i o n s   th at  i n co r p o r ate  th o f ten ti m es  co n f lict in g   n ee d s   o f   t h d ev elo p er s   an d   u s ab ili t y   e n g i n ee r s .   T h p ar ticip an ts   ad d ed   th a co n f lict s   c an   b r eso l v ed   b y   r ea c h in g   t h co n s en s u s   w h e n   d ec id in g   o n   t h cr iter ia  a n d   b ases   i n   a   tea m .   D u r in g   t h p l an n i n g ,   t h d ev e lo p m en tea m   w i ll  h av e   to   m ak e   d ec is io n s   ab o u c h an g e s   to   t h d esi g n   p r o p o s ed   b y   t h u s ab ilit y   en g i n ee r s   b ased   o n   u s ab ilit y   e v al u atio n   r esu lt s .   A   u s ab ili t y   e n g i n ee r   w il s u m m ar ize  r es u lts   f r o m   u s ab ilit y   e v al u atio n s   a n d   p r es en c h an g e s   to   t h d esig n ,   w ith   ea c h   ch a n g b ein g   ass ig n ed   r elativ p r io r it y   l ev el.   E f f ec tiv m o n ito r i n g   a n d   co n t r o l:  T h p ar ticip an ts   w er s a tis f ied   w it h   th ab ilit y   to   m o n ito r   an d   co n tr o th u s ab ili t y   e v al u atio n   ac ti v itie s   w it h i n   t h d ev elo p m e n e n v ir o n m e n o f   th p r o j ec t.  Fu r th er m o r e,   p ar ticip an ts   h i g h lig h ted   t h at   th e   to o h e lp s   to   s teer   a   co n ti n u o u s   p r o ce s s ,   ti g h tl y   co u p led   w it h   t h e   d ev elo p m en p r o ce s s ,   t h u s   r e ce iv i n g   o n - g o in g   u s er   f ee d b ac k   w h ile  co n ti n u in g   t h d ev elo p m e n t.  T h u s ,   it  s u p p o r ts   an   a g ile  e n v ir o n m e n b ec au s it  allo w s   th in ter ac tio n   an d   ac ti v tea m ,   w h ich   i s   th co r v al u o f   ag ile.   Ot h er   t h an   t h at,   t h e y   a d d ed   th at  it  also   e n ab les  t h d er iv atio n   o f   r ele v a n d ev elo p m e n tas k s   f o r   th e   f o r th co m in g   iter atio n s   f o r   f u r t h er   i m p r o v e m en ts   i n   th d e v el o p in g   p r o d u ct.   A b ilit y   to   p r o d u ce   u s ab le  r esu lts P ar ticip an ts   p o in ted   o u th at  b y   h a v i n g   th m an a g e m e n to o l,  th e   tea m   co u ld   u n d er s tan d   a n d   p er f o r m   t h b est  u s ab ilit y   p r ac ti ce s   in   t h a g ile  s o f t w ar p r o ce s s .   F u r th er m o r e,   th e   to o is   ab le  to   p r o d u ce   u s ab le  r esu lt s .   Fro m   th lis o f   ac tiv it ies  an d   th eir   r elatio n s h ip s   as  w ell  as  attr ib u tes  f o r   s elec tio n   m et h o d s ,   th p ar ticip an ts   w er ab le  to   id en ti f y   w h i ch   ac ti v ities   o r   m e th o d s   w o u l d   b b etter   s u ited   in   th r ig h t p lace   an d   r ig h t ti m e.     Fu r t h er m o r e,   d escr ip tiv s tati s tics   w er tak e n   to   m ea s u r t h lev el  o f   ea ch   ite m .   A   5 - p o in L i k er t   s ca le  w a s   u s ed ,   w it h   5   f o r   V er y   ag r ee   an d   1   f o r   Ver y   d is ag r ee ”.   A n y   an s w er   w it h   an   a v er ag o f   ab o v e   3 . 0   w a s   co n s id er ed   to   b g o o d   as  t h is   in d icate d   t h lev el   o f   th r esp o n d e n ts   a g r ee m en t   t o   th o s s tate m en ts   r ep r esen tin g   t h test ed   ite m s .   R es u lts   f r o m   t h d esc r ip tiv a n al y s i s   a s   s h o w n   in   T ab le  3 .           T ab le   3 .   Descr ip tiv Statis tic s :   Me an   Sco r o f   Satis f ac tio n   C r iter ia   S a t i sf a c t i o n   C r i t e r i a   M e a n   P e r c e i v e d   u se f u l n e ss   3 . 7 2   P e r c e i v e d   e a se   o f   u se   3 . 4 2   B a l a n c e   t h e   c o mp e t i n g   a c t i v i t i e s   3 . 6 3   Ef f e c t i v e   o f   mo n i t o r   a n d   c o n t r o l   3 . 8 9   A b i l i t y   t o   p r o d u c e   u s a b l e   r e su l t s   3 . 4 4       Fro m   th d escr ip ti v s tati s tic s   f o r   th ite m   in   t h T ab le  3 ,   t h ite m   w it h   th h i g h e s m ea n   ( 3 . 8 9 )   is   “A b ilit y   to   p r o d u ce   u s ab le  r esu lt s ”,   an d   th ite m   w it h   t h e   lo w est  m ea n   ( 3 . 4 2 )   is   P er ce iv ed   u s e f u l n ess ”.   Ho w e v er ,   all  o f   t h ese   ite m s   h av m ea n   o f   ab o v 3 . 0   a n d   th u s   b elo n g   o n   t h s a m le v el .   E s s e n tiall y ,   b ased   o n   th e   f ee d b ac k   f r o m   t h p a r ticip an ts ,   t h m a n ag e m e n t o o g ain ed   s atis f ac tio n   f r o m   th e m   a n d   d ee m ed   p r ac tical  to   b im p le m e n ted   i n   th s o f t w ar p r o j ec ts .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   2 A p r il 2 0 1 9   :   1 2 8 8   -   1297   1296   9.   CO NCLU SI ON     T h is   p ap er   d escr ib es  s o f t w ar m a n ag e m e n to o s p ec if icall y   d ev elo p ed   to   s u p p o r th e   in co r p o r atio n   u s ab ilit y   e v alu a tio n   ac ti v ities   w it h in   th s o f t w ar d ev elo p m en p r o ce s s .   T h is   to o s er v es  a s   s ca f f o ld in g   t h at  h elp s   t h u s ab ilit y   a n d   ag ile  p r ac titi o n er s   to   clo s el y   co llab o r ate  an d   u n d er s tan d   ea ch   o t h er .   I co n tr ib u tes   to   ac ti v itie s   m a n ag e m e n t,  allo w i n g   o n g o i n g   u s er   a n d   u s ab ilit y   e x p er f ee d b ac k   d u r in g   d ev elo p m en t.  Ver i f icatio n   an d   v alid atio n   o f   t h to o ar co n d u cted   in   th is   p ap er   a)   th v er i f icatio n   o f   t h to o th r o u g h   e x p er r ev ie w s   f o llo w ed   b y   th e   v al id atio n   o n   s ati s f ac tio n .   T h r esu lts   o f   e v al u atio n s   s h o w   th at   th e   to o s atis f ied   d ev elo p m e n tea m s   w as  p r ac tical  f o r   u s i n   t h s o f t w ar p r o j ec ts .   Fu t u r wo r k   s h o u ld   n o te  th at   alth o u g h   th m an a g e m en to o tar g ets  to w ar d   ag ile  b ased   d ev elo p m e n ap p r o ac h es,  th e y   ar also   ap p licab le   f o r   o th er   d e v elo p m e n ap p r o ac h es   th at   co m e   u n d er   t h u m b r ella  o f   iter ati v a n d   i n cr e m en tal  d e v elo p m e n m et h o d o lo g y .   T h er ef o r e,   ap p ly in g   th i s   ap p r o ac h   to   o t h er   d ev elo p m e n e n v ir o n m e n t s   w i l b an   in ter e s tin g   r esear ch   o p p o r tu n it y .         RE F E R E NC E S   [1 ]   S a lm a n   F A . ,   De ra m a n   A . ,   Ja li M A . ,   F a h m y   S . ,   On   Im p le m e n ti n g   Us a b il it y   Ev a lu a ti o n   A c ti v it ies   w it h in   A g il e   En v iro n m e n t:   A   P la n   Ba se d - P r o c e ss ,   J o u rn a l   o f   T e lec o mm u n ica ti o n ,   E lec tro n ic  a n d   Co m p u t e En g i n e e rin g   ( J T EC) ,   v o l.   9 (3 - 3 ),   p p .   9 5 - 9 ,   Oc t   2 0 1 7 .   [2 ]   Bo rn o e   N . ,   S tag e   J. ,   Us a b il it y   E n g in e e rin g   in   t h e   W il d Ho w   Do   P ra c ti ti o n e rs  In teg ra te  Us a b il it y   En g in e e rin g   i n   S o f tw a r e   De v e lo p m e n t? ,”   In   In ter n a ti o n a l   Co n fer e n c e   o n   Hu m a n - Ce n tre d   S o ft w a re   En g in e e rin g ,   p p .   1 9 9 - 2 1 6 .   S p rin g e r,   Be rli n ,   He id e l b e rg S e p   2 0 1 4 .   [3 ]   d a   S il v a   T S ,   S il v e ira  M S ,   M a u re F . ,   Us a b il it y   Ev a lu a ti o n   P r a c ti c e W it h in   Ag il e   De v e lo p m e n t ,   In S y ste m   S c ien c e s ( HICS S ),   2 0 1 5   4 8 th   Ha wa ii   I n ter n a t io n a C o n fer e n c e ,   IEE E ,   p p .   5 1 3 3 - 5 1 4 2 ,   Ja n   2 0 1 5 .   [4 ]   L a ru sd o tt ir  M . ,   Bjarn a d o tt ir  E . ,   G u ll ik se n   J. ,   T h e   F o c u On   Us a b il it y   In   T e stin g   P ra c ti c e In   In d u stry ,   Hu ma n - Co mp u ter   I n ter a c ti o n ,   p p .   98 - 1 0 9 2 0 1 0 .   [5 ]   Be v a n   N. ,   Ex ten d in g   Qu a li ty   In   Us e   T o   P r o v id e   A   F ra m e w o rk   F o Us a b il i ty   M e a su re m e n t ,   Hu ma n   Ce n ter e d   De sig n ,   p p .   13 - 22 2 0 0 9 .   [6 ]   M c In e rn e y   P . ,   M a u re F . ,   UCD   in   A g il e   P ro jec ts:  Dre a m   T e a m   Or   Od d   Co u p le ? ,”   I n ter a c ti o n s ,   v o l .   1 2 (6 ) ,   p p .   19 - 23 ,   N o v   2 0 0 5 .     [7 ]   Ba k   JO . ,   Ng u y e n   K . ,   Risg a a rd   P . ,   S tag e   J. ,   O b sta c les   to   Us a b il i ty   Ev a lu a ti o n   in   P ra c ti c e S u rv e y   o f   S o f t w a re   De v e lo p m e n Org a n iza ti o n s ,   In   Pro c e e d in g o t h e   5 th   N o rd ic   Co n fer e n c e   o Hu ma n - Co m p u t e In ter a c ti o n :   Bu il d in g   Bri d g e s ,   ACM ,   p p .   2 3 - 32 ,   Oc 2 0 0 8 .   [8 ]   Bo rn o e   N . ,   S tag e   J. ,   Us a b il it y   E n g in e e rin g   in   t h e   W il d Ho w   Do   P ra c ti ti o n e rs  In teg ra te  Us a b il it y   En g in e e rin g   i n   S o f tw a r e   De v e lo p m e n t? ,   In   In ter n a ti o n a l   Co n fer e n c e   o n   Hu m a n - Ce n tre d   S o ft w a re   En g in e e rin g ,   p p .   1 9 9 - 2 1 6 ,   S p rin g e r,   Be rli n ,   He id e l b e rg ,   S e p   2 0 1 4 .   [9 ]   A rd it o   C . ,   B u o n o   P . ,   Ca iv a n o   D . ,   Co sta b il e   M F . ,   L a n z il o t ti   R. ,   In v e stig a ti n g   A n d   P ro m o ti n g   UX   P ra c ti c e   I n   In d u stry A n   Ex p e rime n tal  S tu d y ,   In ter n a t io n a J o u rn a o Hu m a n - Co mp u ter   S t u d ies ,   v o l.   7 2 (6 ) ,   p p .   5 4 2 - 51 Ju n   2 0 1 4 .   [1 0 ]   S a lm a n   FA . D e ra m a n   AB . J a l il   MB . ,   T h e   V a lu e   Of   T - G IU ES E - S u p p o rti n g   Us a b il it y   Ev a lu a ti o n   P ra c ti c e s   Du rin g   De v e lo p m e n t   P ro d u c t:   A   Co n tro ll e d   Ex p e rim e n t ,   J o u rn a l   o T h e o re ti c a l   &   Ap p li e d   In f o rm a t i o n   T e c h n o l o g y ,   v o l.   9 5 ( 8 ) ,   A p 2 0 1 7 .   [1 1 ]   L e e   JC . ,   Ju d g e   T K . ,   M c Crick a rd   DS. ,   Ev a lu a ti n g   Ex trem e   S c e n a r io - Ba se d   De sig n   In   A   Distrib u ted   Ag il e   Tea m ,”   In   CHI ' 1 1   Exte n d e d   A b stra c ts  o n   Hu ma n   Fa c to rs   i n   C o mp u ti n g   S y ste ms ,   ACM ,   p p .   8 6 3 - 8 7 7 ,   M a y   2 0 1 1 .   [1 2 ]   Hu m a y o u n   S R. ,   In c o r p o ra ti n g   Us a b il it y   Ev a lu a ti o n   In   S o f tw a r e   De v e lo p m e n En v iro n m e n ts ,   KI - n stli c h e   In telli g e n z ,   v o l.   2 6 (2 ) ,   p p .   1 9 7 - 200 M a y   2 0 1 2 .   [1 3 ]   S a lm a n   F A . ,   De ra m a n   A B . ,   Ja li M B. ,   G u id e li n e   T o o l   f o On g o in g   P r o d u c Ev a lu a ti o n   in   S m a ll   a n d   M e d i u m - S ize d   En ter p rise s ,   In ter n a ti o n a l   J o u rn a o El e c trica l   a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l. 7 ( 6 ) ,   p p . 3 6 3 2 - 42 De c   2017 .   [1 4 ]   Ka n e   D. ,   F in d i n g   A   P lac e   F o r   Disc o u n Us a b il it y   En g in e e rin g   In   A g il e   De v e lo p m e n t:   T h ro w in g   Do w n   T h e   G a u n tl e t ,   In   Ag il e   De v e lo p me n t   Co n fer e n c e ,   ADC  2 0 0 3 .   Pr o c e e d in g o t h e   2 0 0 3   J u n   2 5 .   IEE E ,     (p p .   4 0 - 4 6 ) ,   2 0 0 3 .   [1 5 ]   Ho lzin g e A . ,   Us a b il it y   En g in e e rin g   M e th o d F o S o f tw a re   De v e l o p e rs ,   Co mm u n ic a ti o n o t h e   ACM ,   v o l. 4 8 (1 ) p p .   71 - 4 Ja n   2 0 0 5 .     [1 6 ]   M e sz a ro G . ,   A sto n   J. ,   A d d in g   Us a b il it y   T e stin g   T o   A n   Ag i le  P ro jec t ,   In   Ag il e   Co n fer e n c e ,   2 0 0 6 ,   IEE E   p p .   6 - pp ,   Ju 2 0 0 6 .   [1 7 ]   P a e lk e   V . ,   Ne b e   K. ,   I n teg ra ti n g   Ag il e   M e th o d F o M ix e d   Re a li t y   D e sig n   S p a c e   Ex p lo ra ti o n ,   In   Pro c e e d in g o f   th e   7 t h   ACM   C o n fer e n c e   o n   De sig n i n g   in ter a c ti v e   sy ste ms ,   ACM ,   p p .   2 4 0 - 249 ,   F e b   2 0 0 8   [1 8 ]   W o lk e rsto rfe P . ,   T sc h e li g M . ,   S e fe li n   R . ,   M il c h ra h m   H . ,   Hu ss a in   Z . ,   L e c h n e M . ,   S h a h z a d   S . ,   P r o b i n g   A n   Ag il e   Us a b il it y   P ro c e ss ,   In   CHI'0 8   Exte n d e d   A b stra c ts  o n   Hu ma n   F a c to rs   in   Co mp u ti n g   S y ste ms ,   A CM p p .   2 1 5 1 - 2 1 5 8 ,   A p 2 0 0 8 .     [1 9 ]   Ob e n d o rf   H . ,   F in c k   M . ,   S c e n a r io - Ba se d   Us a b il it y   En g in e e rin g   T e c h n iq u e In   A g il e   De v e lo p m e n P r o c e ss e s ,   In CHI'0 8   Exte n d e d   Ab str a c ts  o n   Hu ma n   Fa c to rs   i n   C o mp u ti n g   S y ste ms   ACM ,   p p .   2 1 5 9 - 21 66 ,   A p 2 0 0 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ma n a g in g   u s a b ilit ev a lu a tio n   p r a ctice s   in   a g ile  d ev elo p men en viro n men ts   ( F o u a d   A b d u la mee r   S a lma n )   1297   [2 0 ]   L o sa d a   B . ,   Urre tav iz c a y a   M . ,   L ó p e z - G il   JM . ,   F e rn á n d e z - Ca stro   I. ,   Co m b in in g   In term o d   A g il e   M e t h o d o l o g y   W it h   Us a b il it y   En g in e e rin g   In   A   M o b il e   A p p l ica ti o n   De v e lo p m e n t ,   In   Pro c e e d in g o t h e   1 3 th   In ter n a ti o n a l   Co n fer e n c e   o n   In ter a c c i ó n   Per so n a - Or d e n a d o r ,   A CM ,   (p .   3 9 ) ,   Oc 2 0 1 2 .   [2 1 ]   M c Ne il M . ,   Us e r ce n ter e d   d e sig n   in   a g il e   a p p li c a ti o n   d e v e lo p me n t ,   T h o u g h tW o rk s L td . ,   2 0 0 0 .     [2 2 ]   Ho d g e NJ . ,   Hu y R . ,   S tark e J L . ,   M e th o d o l o g ica Re v ie w   A n d   E v a lu a ti o n   Of   Re se a rc h   In   Ex p e rt  P e rf o rm a n c e   In   S p o rt ,   Ha n d b o o k   o S p o rt P sy c h o lo g y ,   T h ird   Ed it io n 1 5 9 - 83 2 0 0 7 .   [2 3 ]   Ba k e S E . Ed w a rd R . ,   D o id g e   M . ,   Ho w   M a n y   Qu a li tativ e   In terv ie w Is  En o u g h ? ,   Ex p e rt  v o ice a n d   e a rly   c a re e r re fl e c ti o n s o n   s a mp li n g   a n d   c a se s in   q u a li t a ti v e   re se a rc h .     [2 4 ]   M a rti n   D . ,   Ro o k sb y   J . Ro u n c e f ield   M . ,   S o m m e r v il le  I. ,   ' G o o d '   Org a n isa ti o n a Re a so n F o r' b a d ' so f twa re   T e stin g A n   Et h n o g ra p h ic  S tu d y   O f   T e st in g   In   A   S m a ll   S o f t w a r e   Co m p a n y ,   In   Pro c e e d in g o T h e   2 9 t h   In ter n a ti o n a l   Co n fer e n c e   o S o ft w a re   En g in e e rin g IEE C o mp u ter   S o c iety p p .   602 - 6 1 1 M a y   2007 .   [2 5 ]   Ch e m u tu ri  M . ,   M a ste rin g   S o f t w a r e   Qu a li t y   A ss u ra n c e B e st  P ra c ti c e s,  T o o ls  A n d   T e c h n iq u e F o S o f twa re   De v e lo p e rs ,   J .   Ro ss   Pu b li sh i n g ,   S e p   2 0 1 0 .   [2 6 ]   Ha ll o w e ll   M R . ,   G a m b a tes e   J A . ,   P o p u latio n   A n d   In it ial  V a li d a ti o n   Of   A   F o r m a M o d e F o Co n stru c ti o n   S a f e t y   Risk   M a n a g e m e n t ,”   J o u rn a o C o n stru c ti o n   En g in e e rin g   a n d   M a n a g e me n t ,   v o l. 1 3 6 ( 9 ) ,   p p .   9 8 1 - 90 F e b   2 0 1 0 .   [2 7 ]   M u ru g e sa n   S . ,   G a n g a d h a ra n   G R. ,   Ha rn e ss in g   g re e n   IT P rin c ip les   a n d   p ra c ti c e s ,   W il e y   Pu b l ish i n g ,   Oc 2 0 1 2 .   [2 8 ]   S h n e i d e rm a n   B . ,   P laisa n t   C . ,   Co h e n   M S . ,   Ja c o b S . ,   El m q v ist  N . ,   Dia k o p o u l o N. ,   De sig n in g   T h e   Us e In terfa c e :   S trate g ies   F o Ef fe c ti v e   Hu m a n - Co m p u ter In tera c ti o n ,   Pea rs o n ,   2 0 1 6 .     [2 9 ]   Nie lse n   J . ,   M o li c h   R . ,   He u risti c   Ev a lu a ti o n   o f   Us e In terf a c e s ,   In Pro c e e d in g o t h e   S IGCH c o n fer e n c e   o n   Hu ma n   fa c to rs   i n   c o m p u t in g   sy ste ms ,   ACM ,   p p .   2 4 9 - 2 5 6 ,   M a 1 9 9 0 .   [3 0 ]   Al - T a ra w n e h   F H. ,   F ra m e w o rk   F o Co ts  S o f tw a re   Ev a lu a ti o n   A n d   S e lec ti o n   F o COT S   M ism a tch e Ha n d li n g   A n d   No n - F u n c ti o n a Re q u irem e n ts ,   Do c to ra d isse rtatio n ,   Un iv e rsiti   Uta ra   M a lay si a .   [3 1 ]   Ku n d a   D. ,   S T ACE:  S o c ial  Tec h n ica A p p ro a c h   T o   CO T S   S o f t w a r e   Ev a lu a ti o n ,   Co mp o n e n t - B a se d   S o ft w a re   Qu a li ty ,   p p .   64 - 84 2 0 0 3 .   [3 2 ]   S u re n d ro   K . ,   Oliv ia  O. ,   A c a d e m ic   Clo u d   ER P   Qu a li ty   As se ss m e n M o d e l ,   In ter n a ti o n a J o u rn a o El e c trica l   a n d   Co m p u ter   E n g i n e e rin g ,   v o l.   6 (3 ) ,   p p .   1 0 3 8 Ju n   2 0 1 6 .   [3 3 ]   Ro y   S . ,   P a tt n a ik   P K . ,   M a ll   R. ,   Co g n it iv e   A p p ro a c h   F o Ev a lu a ti n g   T h e   Us a b il it y   O f   S to ra g e   A s   A   S e r v ice   In   Clo u d   Co m p u ti n g   En v iro n m e n t ,”   In ter n a t io n a J o u rn a o El e c trica a n d   Co m p u ter   En g in e e rin g ,   v o l.   6 (2 ) ,   p p .   7 5 9 ,   A p 2 0 1 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.