I nte rna t io na l J o urna l o f   E lect rica a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   6 Dec em b er   201 7 ,   p p .   3 6 3 2 ~ 3 6 4 2   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 6 . pp 3 6 3 2 - 3642     3632       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   A Guidelin e  To o l f o r O ng o ing  P ro d uct  Ev a lua tion in  S m a ll and   M ediu m - Si z e d E nterprises         F o ua d Abdu la m ee Sa l m a n,  Aziz   B in De ra m a n,  M a s it a   B inti  Abdu l J a lil   S c h o o o f   In f o rm a ti c s an d   A p p li e d   M a th e m a ti c s   Un iv e rsiti   M a lay sia   Tere n g g a n u   ( UMT )       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   7 ,   2 0 1 7   R ev i s ed   J u n   2 0 ,   2 0 1 7   A cc ep ted   J u l 1 0 ,   2 0 1 7       A s   c o n su m e r   d e m a n d   f o u se f rien d ly   so f t wa re   in c re a se s,   u sa b il it y   e v a lu a ti o n   is  c ru c ial  t o   d e v e lo p   s o f twa re   s y ste m w h ich   a re   e a s y   to   lea rn   a n d   u se .   Ho w e v e r,   i m p le m e n tatio n   o f   u sa b il it y   e v a lu a ti o n   is  c h a ll e n g in g   f o r   s m a ll   a n d   m e d iu m - siz e d   e n terp rise (S M Es)  d u e   to   f a c to rs  su c h   a lac k   o tec h n ica e x p e rti se ,   k n o w l e d g e   a n d   e x p e rien c e   o m e th o d a n d   sta n d a rd s.  T h is  re su lt in   n e g lec t,   o p o o r ly   e x e c u ted   e v a lu a ti o n o f   p ro jec ts,   re su lt in g   in   so f tw a re   th a d isa p p o in ts  a n d   f ru stra tes   c li e n ts.   T o   o v e rc o m e   t h is  l o ss   o f   c o m p e ti ti v e n e ss ,   we   p ro p o se   h e r e   a   v isu a in c o rp o ra ti o n   to o d e r iv e d   f ro m   IS sta n d a rd th a w o u ld   a ss ist  so f t w a r e   d e v e lo p m e n tea m in   S M Es  in   u n d e rsta n d i n g   a n d   im p le m e n ti n g   u sa b il it y   e v a lu a ti o n s.  It  sh o w f u n d a m e n tal   Us a b il it y   En g in e e rin g   (UE)  a n d   S o f tw a r e   En g in e e rin g   (S E)  a c ti v it ies   a n d   a rti f a c ts  re lev a n to   th e   u sa b il i ty   e v a lu a ti o n   a n d   so f tw a r e   d e v e lo p m e n t   p ro c e ss ,   w it h   p o ten ti a in c o r p o ra t io n   p o in ts  b e in g   h ig h li g h ted .   De p e n d e n c ies   a n d   re latio n s h ip a re   sh o w n   b y   li n k b e t w e e n   a c ti v it ies   a n d   a rti f a c ts.   A d d it io n a ll y ,   c o n v e rg e n a rti f a c t o f   b o t h   d isc ip li n e w e re   id e n ti f ied   a n d   sh o w n .   E v a lu a ti o n   o f   th e   p ro p o se d   to o w a b a se d   o n   t h e   q u e stio n n a ire   re su lt s o f   so f twa re   d e v e lo p m e n p ra c ti ti o n e rs f ro m   S M Es.   K ey w o r d :   Usab ilit y   Usab ilit y   e v al u atio n     So f t w ar d ev elo p m en t   p r o ce s s   I SO  s tan d ar d s     SME   Co p y rig h ©   2 0 1 7 I n stit u te o f   Ad v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   A ziz  B i n   Der a m a n ,     Sch o o l o f   I n f o r m atic s   an d   A p p lied   Ma th e m at ics,   Un i v er s iti Ma la y s ia  T er en g g a n u   ( UM T ) ,   2 1 0 3 0   K.   T er en g g an u ,   T er en g g an u   Ma la y s ia.   E m ail: a . d @ u m t.e d u . m y       1.   I NT RO D UCT I O     T h m ar k etab ilit y   o f   p r o d u ct  in   co m p etiti v b u s in e s s   en v ir o n m e n r elie s   h ea v il y   o n   cu s to m er   ac ce p tan ce   an d   s at is f ac tio n .   F o r   in s ta n ce ,   th p u r ch ase   d ec is io n s   o f   c lien t c o m p an ies ar i n f l u en ce d   at  lea s t i n   p ar b y   p r o d u ct’ s   ea s e   o f   u s e,   w h ic h   i s   ter m e d   u s ab ilit y   [ 1 ] .   A   f u n ct io n al  s o f t w ar is   le s s   co m p e titi v i f   i h as   p o o r   u s ab ilit y   [ 2 ] ,   [ 3 ] .   T h u s ,   th e   u s ab ilit y   co n ce p is   g ai n in g   atte n tio n   i n   t h w o r k   p r o ce s s es   an d   b u s i n e s s   cu lt u r o f   t h tec h n o lo g y   s ec t o r .   Ho w e v er ,   t h i m p le m e n tat io n   o f   t h u s ab ili t y   e v al u atio n   p r esen ts   c h alle n g es   d u to   t h v ar iatio n   i n   s o f t war co m p an ie s   f r o m   s ize,   m a r k et  s ec to r ,   ti m e   i n   b u s i n es s ,   m a n a g e m e n t   s t y le ,   lo ca tio n ,   to   th t y p o f   s er v ice s   an d   p r o d u cts p r o v id ed   [ 4 ] .   T h ch allen g f o r   th SME s   o f   s o f t w ar d ev elo p m e n s te m s   f r o m   th lack   o f   tech n ical  e x p er tis o r   th r eq u ir ed   r eso u r ce s   ( e. g .   s u f f icie n n u m b er   o f   e m p lo y ee s ,   f in a n cial  r eso u r ce s ,   a n d   d ea d lin es  s et  b y   cu s to m er s )   to   i m p le m e n u s a b ilit y   e v al u atio n   [ 5 ] ,   [ 6 ] .   C u r r en s t u d ies  s h o w   a   r elativ e l y   li m i ted   ad o p tio n   o f   u s ab ilit y   e v al u atio n   m et h o d s   i n   SME s   [ 7 ] ,   [ 8 ] ,   [ 9 ] ,   [ 1 0 ] ,   [ 1 1 ] .   T h is   is   v icio u s   c y cle  a s   t h lack   o f   k n o w led g e   an d   ex p er ie n ce   to w ar d s   u s ab i lit y   ev al u atio n   m et h o d s   an d   s tan d ar d s   co m p r o m i s es  th e   u s ab ilit y   o f   p r o d u ce d   s o f t w ar an d   th u s   r ed u ce s   co m p e titi v en e s s .   F u r th er m o r e,   s y s te m atic  ap p r o ac h es  f o r   in te g r atin g   u s ab ilit y   ar e   u n co m m o n   co m p ar ed   to   t h e   s tan d ar d s - b ased   ap p r o ac h es.  No n et h eles s ,   s ta n d ar d s   d ef i n p r ed ictab le  an d   r ep ea tab le  p r o ce s s es a n d   f o r m   co m m o n   k n o w led g e   b ase  wh ich   g r ea tl y   h elp s   co m p a n ies   t o   id en t i f y   an d   p la n   ti m el y ,   e f f ec tiv e   u s ab ilit y   ac ti v itie s   i n   s y n c   w it h   o n g o in g   s o f t w ar d esi g n   p r o ce s s es.  U n f o r tu n ate l y ,   s o f t w ar e   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E   I SS N:  2 0 8 8 - 8708       A   Gu id elin To o l fo r   On g o in g   P r o d u ct  E va lu a tio n   in   S ma ll  a n d   S MEs   ( A z iz   B in   Dera ma n )   3633   d ev elo p m en t   tea m s   i n   S ME s   ten d   to   p er ce iv t h i n ter n at i o n al  s ta n d ar d s   n e g ati v el y ,   i.e   th at  s tan d ar d s   ar b iased   to   lar g co m p a n ies,   a n d   lo s all  th m e n tio n ed   b en ef its   b y   o p p o s in g   to   t h eir   u s [ 5 ] .   I n   th i s   p ap er ,   w p r o p o s a   to o d e r iv ed   f r o m   in ter n ati o n al  s tan d ar d s   as  g u id f o r   p o ten tial  in co r p o r atio n   p o in ts   ( ac tiv itie s ,   an d   ar tif ac ts )   b et w ee n   t h e   u s ab ilit y   e v al u atio n   a n d   s o f t w ar e   d ev elo p m e n t   p r o ce s s   ( T - GI UE SE) .   T h in te g r atio n   ap p r o ac h   w a s   c h o s e n   t o   g i v eq u al   co n s id er atio n   to   b o th   d is cip li n es  b y   w a y   o f   id en ti f y in g   t h s tan d ar d s   th at  f r o m   t h b asis   f o r   in te g r atio n .   T - GI UE SE  r esu lt s   f r o m   id en ti f icatio n   o f   co m m o n   ac tiv i ties   a n d   esta b lis h m e n o f   w h er ea s   co m m o n   ar tif ac ts   an d   d ep en d en cie s .   T h r o u g h   t h is   to o l,   s o f t w ar d ev elo p m e n tea m s   w il b ab le  to   s et,   p r io r itize,   an d   ev alu a te  u s ab il it y   a s p ec ts   s m o o t h l y   d u r in g   th eir   p r o j ec ts   as  w ell  as lea r n   t o   u s an d   u n d er s ta n d   th s ta n d ar d s -   an d   m e th o d s - b ased   u s ab ilit y   e v al u atio n .       2.   I SO   ST ANDA RD S IN U E   A ND  SE       T h is   s ec tio n   p r o v id es  th b ac k g r o u n d   k n o w led g o n   th I S in ter n atio n al  s ta n d ar d s   r elate d   to   UE   an d   SE,   to   s h o w   th b asi s   o f   s elec tin g   ap p r o p r iate  s tan d ar d s   f o r   th p r o p o s ed   to o l.  T h f o llo w in g   s ec tio n s   d is cu s s   ea ch   s tan d ar d   in   d etail .     2 . 1 .   Sta nd a rds   in  So f t wa re   E ng ineering   So f t w ar E n g in ee r i n g   ( SE)   s t an d ar d s   d ef i n th e   r u le s ,   g u id elin es   a n d   p r o p er ties   o f   p r o ce s s   ele m e n t s   th at  ar r ec o m m en d ed   f o r   s o f t w ar d ev elo p m en t.  As  s u ch ,   SE  s tan d ar d s   d ef i n f r a m e wo r k   f o r   SE  m o d el s   o n   h ig h er   le v el  o f   ab s tr ac tio n .     T h is   u lti m atel y   s u p p o r ts   t h co n s i s ten c y ,   co m p atib il it y   a n d   ex c h a n g ea b ilit y   o f   in f o r m atio n ,   lead in g   to   i m p r o v ed   co m m u n ica tio n   a n d   p r o d u ct  q u alit y .   T o   r ea ch   th d esire d   o u tco m es  ab o v e,   SE  m o d els   s h o u ld   co m p l y   w i th   t h co n d itio n s   d ef i n ed   b y   s tan d ar d s .   Ho w e v er ,   b o th   s ta n d ar d s   an d   SE  Mo d els  ca n n o b ap p lied   d ir ec tly   an d   n ee d   to   b e   ad ap ted   to   co r r esp o n d in g   o r g an izat io n al   co n d itio n s .   An   SE  m o d el  ca n   o n l y   b co n s id er ed   s o f t w ar d ev elo p m e n t   p r o ce s s   af ter   b ei n g   f it ted   to   o r g an izat io n al  a s p ec ts ,   a n d   th er af ter   p u to   p r ac tice.   T h u s ,   o p er atio n   p r o ce s s es   r esu lt  f r o m   b o th   an   u n d er l y i n g   SE  m o d el  an d   th o r g a n i za tio n al  i m p le m e n tatio n   o f   a ctiv itie s .   T h er ar e   m u ltip le  in ter n atio n a s ta n d ar d s   f o r   SE,   b u o n l y   th o s co n ce r n in g   d ev elo p m e n p r o ce s s e s   w i ll  b d is cu s s ed .   T ab le  1   b elo w   lis t s   an d   d escr i b es th in ter n atio n al  s ta n d ar d s   an d   tech n ical  r ep o r ts   f o r   SE.     2 . 2 .   Sta nd a rds   in  Usa bil it y   E ng ineering   Usab ilit y   E n g in ee r i n g   ( UE )   h as  s tan d ar d s   s i m ilar   to   So f t war e   E n g i n ee r in g   ( SE) ,   w h ich   also   s er v e s   as  f r a m e w o r k   to   en s u r co n s i s te n c y ,   co m p atib ilit y ,   e x ch an g ea b ili t y ,   an d   q u alit y   co n s i s ten t   w it h   d e f i n ed   s tan d ar d s .   Ho w e v er ,   UE   s tan d ar d s   ar e   u s er   ce n tr ic  an d   f o cu s ed   o n   th co n s tr u ctio n   o f   u s ab le  s o l u tio n s .   A cc o r d in g   to   N ig el   B ev a n   [ 1 5 ] ,   th er ar 4   cla s s es   o f   u s ab il it y   r elate d   s ta n d ar d s ,   d ea lin g   w it h :   1 .   T h u s o f   th p r o d u ct,   2 .   u s er   i n ter f ac an d   in ter ac tio n ,   3 .   t h p r o d u ct   d ev elo p m e n p r o ce s s ,   a n d   4 .   th ca p ab ilit y   o f   an   o r g an izatio n   to   ap p ly   u s er - c en tr ic  d esig n s .   Am o n g   t h ese   class es,  o u r   co n ce r n   i s   m ai n l y   o n   th p r o d u ct   d ev elo p m en p r o ce s s ,   s p ec i f i ca ll y ,   th p la n n in g   o f   u s a b ilit y   p r o ce s s   an d   th i n co r p o r atio n   o f   u s ab ilit y   ac tiv itie s   i n   t h d e v elo p m e n t   o f   i n ter ac ti v s y s te m s .   T ab le  2   b elo w   li s ts   an d   d escr ib e s   th e   i n ter n atio n al  s tan d ar d s   an d   tec h n ica l r ep o r t s   r elate d   to   u s ab ilit y   e v al u atio n   ( UE ) .       T ab le  1 .   I n ter n atio n al  s ta n d ar d s   o f   SE   S o f t w a r e   e n g i n e e r i n g   Std   Y e a r   D e scr i p t i o n   IS O/ IE C   1 5 2 8 8   [ 1 2 ]   2 0 1 5   T h i st a n d a r d   e st a b l i s h e a   c o mm o n   f r a me w o r k   f o r   d e scri b i n g   t h e   l i f e   c y c l e   o f   h u ma n   c r e a t e d   sy st e ms.   I t   c o v e r 2 5   p r o c e sse w i t h   n u me r o u a c t i v i t i e a n d   a r t i f a c t t o   b e   a p p l i e d   w h i l e   a c q u i r i n g   a   so f t w a r e   p r o d u c t / se r v i c e ,   a n d   t h e   d e v e l o p me n t   o r   o t h e r   si mi l a r   p r o c e sse s o f   sy st e ms  p r o d u c t s .   IS O/ IE C   1 2 2 0 7   [ 1 3 ]   2 0 0 2   T h i st a n d a r d   e st a b l i s h e a   c o mm o n   f r a mew o r k   f o r   d e scri b i n g   t h e   l i f e   c y c l e   o f   so f t w a r e .   I t   c o n t a i n s   p r o c e sse s,  a c t i v i t i e s,  a n d   a r t i f a c t t o   b e   a p p l i e d   w h i l e   a c q u i r i n g   a   so f t w a r e   p r o d u c t / se r v i c e ,   a n d   t h e   d e v e l o p me n t   o r   o t h e r   si mi l a r   p r o c e sse s o f   so f t w a r e   p r o d u c t s .   IS O/ IE C   1 5 5 0 4   [ 1 4 ]   2 0 0 3 - 2 0 0 6   T h i st a n d a r d   i k n o w n   a S P I C ( S o f t w a r e   P r o c e ss  I mp r o v e me n t   a n d   C a p a b i l i t y   D e t e r mi n a t i o n ) .   I t   c o v e r s h o w   t o   e v a l u a t e   t h e   mat u r i t y   o f   a   so f t w a r e   d e v e l o p me n t   p r o c e ss  i n   a n   o r g a n i z a t i o n   a n d   p r o v i d e s c o m p r e h e n si v e   i n f o r mat i o n   o n   t h e   c o n c e p t s   o f   p r o c e ss a sse ssm e n t .                     Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N : 2088 - 8708   I J E C E   Vo l.  7 ,   No .   6 Dec em b er   2 0 1 7   :   3 6 3 2 3 6 4 2     3634   T ab le  2 .   I n ter n atio n al  s ta n d ar d s   o f   UE   U sa b i l i t y   S t d   Y e a r   D e scr i p t i o n   IS O 9 2 4 1 - 2 1 0     [ 1 6 ]   2 0 1 0   T h i st a n d a r d   c o v e r u sab i l i t y   e v a l u a t i o n   p r i n c i p l e s,  a c t i v i t i e s,  a n d   a r t i f a c t t h r o u g h o u t   t h e   l i f e   c y c l e   o f   i n t e r a c t i v e   s y st e ms.  I t   serv e a a n   i d e a l   t o   a l l e v i a t e   u sa b i l i t y   p r o b l e ms  f r o a   u se r   c e n t r i c   p e r sp e c t i v e ,   h e l p i n g   t o   ma k e   sy st e ms  u sab l e   a n d   u se f u l   b y   f o c u si n g   o n   u se r n e e d a n d   r e q u i r e me n t s.     IS O T R   1 6 9 8 2   [ 1 7 ]   2 0 0 2   T h i t e c h n i c a l   r e p o r t   c o v e r s   i n f o r mat i o n   o n   u s a b i l i t y   e v a l u a t i o n   me t h o d s .   I t   e x p l a i n t h e   i mp a c t   o f   l i f e   c y c l e   st a g e   a n d   i n d i v i d u a l   p r o j e c t   c h a r a c t e r i st i c o n   t h e   se l e c t i o n   o f   e v a l u a t i o n   me t h o d s   w i t h   e x a mp l e s o f   u se   i n   c o n t e x t .   IS O/ IE C   1 4 5 9 8   [ 1 8 ]   2 0 0 1   T h i st a n d a r d   sp e c i f i e t h e   p r o c e ss  u s e d   f o r   so f t w a r e   p r o d u c t   e v o l u t i o n .   I t   f o c u se o n   me t r i c s   a n d   a sso c i a t e d   me t h o d s   o f   u s i n g   me a su r e me n t   r e su l t s fo r   s p e c i f i c   so f t w a r e   p r o d u c t   e v a l u a t i o n s.       Fro m   th s ta n d ar d s   in   T ab les  1   an d   2 ,   w ca n   i n f er   th at  UE   an d   SE  ar v er y   s i m ilar ,   th u s   it  s ee m s   p o s s ib le  to   in co r p o r ate  th u s ab ilit y   e v alu a tio n   i n to   th e   s o f t w ar d ev elo p m e n p r o ce s s .   T h I SO  9 2 4 1   s tan d ar d   s ee m s   to   s er v as   s u itab le  b asi s   to   s u p p o r u s ab ilit y   e v al u atio n   t h r o u g h o u t h s o f t w ar e   d ev elo p m en t   p r o ce s s ,   as   it  co n tai n s   g u id eli n es  f o r   p lan n i n g   an d   m an a g i n g   p r o j ec ts   th at  d esig n   a n d   d ev elo p   th i n ter ac ti v s y s te m s .   Si m i lar l y   f o r   s o f t w ar d ev e lo p m e n t,  t h I S O/I E C   1 5 2 8 8   s tan d ar d   s ee m s   to   b a   p r o p er   b asis   as  i co n tai n s   g u i d elin es  f o r   t h d ef i n itio n ,   co n tr o an d   i m p r o v e m e n o f   t h l if c y cle  p r o ce s s e s   u s ed   w it h i n   a n   o r g an iza tio n   o r   p r o j ec t.   A s   s h o w n   i n   F ig u r 1 ,   t h I SO/IE C 1 5 2 8 8   an d   I SO  I SO  9 2 4 1   s tan d ar d s   h a v b ee n   ch o s e n   to   co n s tr u ct  s o lid   b asis   f o r   in te g r atio n .   T h ac tiv itie s   an d   ar ticles  o f   th ese   s tan d ar d s   u s ed   to   co n s tr u ct  t h e   co m p r eh e n s iv m o d el  ar d is cu s s ed   in   d etail  in   t h f o llo w i n g   s ec tio n .           Fig u r 1 .   T h g en er al  in co r p o r atio n   m o d el       3.   M O DE L   O F   USAB I L I T E VALUA T I O I NCO RP O R AT I O N   T h is   s ec tio n   d is c u s s es  th e   p r o p o s ed   m o d el  f o r   i n co r p o r atin g   th u s ab ilit y   ev a lu at io n   i n   th s o f t w ar e   d ev elo p m en t p r o ce s s .   T h b as is   o f   t h i n co r p o r atio n   m o d el  is   lis t o f   ac ti v itie s   an d   ar ti f ac ts   co n s tr u cted   f r o m   ca r ef u ll y   s elec ted   a n d   a n al y ze d   I SO  s ta n d ar d s   f r o m   t h e   u s ab il it y   ev a lu at io n   a n d   s o f t w ar d e v elo p m e n t   p r o ce s s es,  u lti m atel y   ai m i n g   t o   o p er atio n alize   th ese  s ta n d ar d s   an d   th u s   s i m p li f y in g   it s   i m p le m en ta tio n .   T h e   in co r p o r atio n   w as  i m p le m e n t ed   th r o u g h   th r ee   m ai n   s ta g es   i.e   1 .   Ma p p in g   p o te n tial  i n c o r p o r ati o n   p o in ts   2 .   L i n k in g   d ep en d en cie s   o f   ac ti v ities   an d   ar ti f ac ts   a n d   3 .   Dis p la y in g   co n v er g e n t a r ti f ac t s ,   w h ich   ar d is cu s s ed   i n   d etail  b elo w .   Firstl y ,   b ased   o n   th o v er lap   b et w ee n   th u s ab ili t y   e v al u ati o n   an d   s o f t w ar d ev elo p m e n t   ac tiv itie s   ( s ee   Fi g u r e   1   ab o v e) ,   th e   p o ten tial  i n co r p o r atio n   p o in ts   w er m ap p ed .   Seco n d l y ,   t h d ep en d en cies   o f   ac tiv itie s   a n d   ar ti f ac ts   f r o m   b o th   f ield s   ar lin k ed .   I n t er l in k in g   th e   u s ab ilit y   a n d   s o f t w ar d e v elo p m e n t   ac tiv itie s   is   i n s u f f ic ien d u e   to   n ec ess ar y   co n s id er atio n s   f o r   r eq u ir ed   in f o r m atio n   f l o w s   a n d   ar tif ac ts .   T h er ef o r e,   co n cr ete  b asi s   o f   ar ti f ac t s   w a s   e x tr ac ted   f r o m   t h e   ch o s e n   s ta n d ar d s   f o r   f u r th er   in v es tig a tio n .   E x a m in i n g   t h d ep en d en cie s   o f   t h o s ac ti v itie s   a n d   ar ti f ac ts   s h o w s   t h i n f o r m atio n   f lo w   b et w ee n   t h ac tiv itie s   f o r   ea ch   p r o ce s s .   I n p u an d   o u tp u ar ti f ac t s   ar d ef i n ed   f o r   ea ch   p r o ce s s   to   ex p licitl y   s h o w   w h at  is   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E   I SS N:  2 0 8 8 - 8708       A   Gu id elin To o l fo r   On g o in g   P r o d u ct  E va lu a tio n   in   S ma ll  a n d   S MEs   ( A z iz   B in   Dera ma n )   3635   u s ed   a n d   p r o d u ce d   f o r   ea ch   a ctiv it y .   F i g u r 2   s h o w s   a n   ex ce r p o f   th r ep r esen ted   an d   d is tr ib u ted   ar tif ac ts   w it h i n   ac t iv i ties   o f   ea c h   p r o ce s s ,   n u m b er ed   ac co r d in g   t o   th eir   p o s itio n   i n   t h o r ig i n   li s a n d   lab eled   ac co r d in g l y   as  eit h er   t h i n p u o r   o u tp u ( I ,   O) .   T h ir d ly ,   th co n v er g e n ar ti f ac t s   f o r   b o th   p r o ce s s es  w er e   id en ti f ied   an d   d is p la y ed   to   h i n at  t h p r o s p ec tiv i n co r p o r atio n   p o in ts .   T h ar tif ac ts   co n v er g i n g   o n   t h s a m e   ac tiv itie s   i n   t h s o f t w ar d ev elo p m e n p r o ce s s   w er li s ted   b ased   o n   t h p r ev io u s l y   d ete r m in ed   in ter li n k i n g   b et w ee n   u s ab i lit y   an d   d ev elo p   ac tiv ities .   T h ar ti f ac ts   li n k ed   w it h   t h s o f t w ar d ev elo p m en ac ti v ities   ar e   lab eled   in p u ( I )   an d /o r   o u tp u t   ( O)   as  s o m ar ap p licab le  to   m o r th a n   o n ac ti v it y .   Fo r   i n s ta n ce ,   r es u lts   o f   th e v al u atio n   is   f r eq u en tl y   l ab eled   as  o u tp u a n d   i n p u t   i n   d if f er e n p h ase s .   T h ac ti v itie s   w er n u m b er ed   b y   th eir   p o s itio n   i n   th o r ig i n   li s t,  in d icati n g   to   w h ic h   p h ase   o f   th d ev elo p m e n p r o ce s s   th e y   b elo n g .   T h ar tif ac ts   ar p r esen ted   as o u tp u t a n d   i n p u t ( I , O)   alo n g s id th eir   n u m b er s .           Fig u r 2 .   E x ce r p t o f   in f o r m ati o n   ex ch a n g o f   ar ti f ac ts   w i th i n   ac tiv ities         4.   T - G I UE SE   T h is   s ec tio n   v i s u al izes  t h p r o p o s ed   in co r p o r ati o n   to o l,  T - GI UE SE,   w h ic h   co n ta in s   3   p h ase s   i.e :   p o ten tial  i n co r p o r atio n   p o in ts ,   d ep en d en cies  o f   ac ti v itie s   an d   ar tif ac ts ,   a n d   co n v er g e n ce   p o in ts   o f   ar ti f ac ts   f o r   b o th   UE   an d   SE  d is c ip lin e s .   T h ese  ar p r esen ted   as  li s ts   with   co n n ec ti n g   ar r o w s ,   w h er f o r   clar it y ,   d i f f er e n t   asp ec ts   w er p r esen ted   s ep ar atel y ,   i.e   r eq u ir e m e n t s ,   d esig n ,   i m p le m e n tatio n ,   an d   test i n g   ( s o f t w ar e   d ev elo p m en t   ac tiv ities ) .   Dir ec ted   ar r o w s   w er u s ed   to   h i g h li g h t   in co r p o r atio n   p o in ts ,   w h er ea s   co lo r ed   ar r o w s   co n n ec co r r esp o n d in g   ar tif ac t s   b et w ee n   t h ac tiv ities .   Fo r   i n s ta n ce ,   th i n f o r m atio n   ex c h an g o f   ar tif ac t s   ar p r esen ted   as: b lack   o u tp u t,  b lu i n p u t,   a n d   b r o w n   i n p u t /o u tp u t,  to   s i m p li f y   th v i s u al  m o d el.   An   e x ce r p o f   th v is u alize d   m o d el  is   s h o w n   i n   Fi g u r es 3 ,   4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N : 2088 - 8708   I J E C E   Vo l.  7 ,   No .   6 Dec em b er   2 0 1 7   :   3 6 3 2 3 6 4 2     3636       Fig u r 3 .   E x ch a n g o f   in f o r m atio n   b et w ee n   ar ti f ac ts   a n d   ac tiv itie s           Fig u r 4 .   I n co r p o r atin g   u s ab ili t y   ev al u atio n   in to   r eq u ir e m e n t s   ac tiv i ties       Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E   I SS N:  2 0 8 8 - 8708       A   Gu id elin To o l fo r   On g o in g   P r o d u ct  E va lu a tio n   in   S ma ll  a n d   S MEs   ( A z iz   B in   Dera ma n )   3637   C o n s eq u en tl y ,   t h T - GI UE SE  m o d el  h elp s   o r g a n izatio n s   to   ea s il y   co m p ar an d   d is cu s s   th e ir   p r o ce s s es.  T h u s ,   it  s i m p li f ies   th id e n ti f icatio n   o f   i n co r p o r atio n   asp ec ts   b et w ee n   u s ab il it y   e v al u atio n   a n d   s o f t w ar d ev elo p m e n p r o ce s s ,   w it h   th b e n ef it   o f   co m p lia n ce   to   I SO  s tan d ar d s   an d   n e w ,   ea s i l y   f o llo w ed   s ch e m e.       5.   T H E   K E CO N T R I B UT I O NS O F   T - G I UE SE       T ab le  3 .   Giv es a   co m p ar is o n   o f   th p r o p o s ed   to o l a n d   in ter n a tio n al  s ta n d ar d s   N o .   T - GIU E S E   S t a n d a r d       1.   S h o r t   a n d   c o n c i se     L a r g e   a n d   d e t a i l e d   2.   S p e c i f i c a l l y   i d e n t i f i e i n t e g r a t i o n   a c t i v i t i e s a n d   a r t i f a c t s .   D e t e r mi n e s i n t e g r a t i o n   a c t i v i t i e a n d   a r t i f a c t s   i n   g e n e r a l .   3.   I t   i s c o l l e c t i o n   o f   f i g u r e d i s p l a y i n g   a   map   o f   p o t e n t i a l   i n t e g r a t i o n   p o i n t s.   I t   i a   d o c u me n t   w h i c h   p r o v i d e g u i d e l i n e o v e r   a   c o l l e c t i o n   o f   c l a u se s.   4.   T h e   r e l e v a n t   p a r t i n   t h e   st a n d a r d s I S O / I EC 1 5 2 8 8   a n d   I S O   9 2 4 1   a r e   b o t h   r e p r e se n t e d   i n   t h i t o o l .   T h e   st a n d a r d s I S O / I EC 1 5 2 8 8   a n d   I S O   9 2 4 1   a r e   t w o   se p a r a t e   d o c u me n t s.   5.   F r e e .   P r o p r i e t a r y .       T - GI UE SE  is   b en ef ic ial  f r o m   th f o llo w i n g   asp ec ts   ( s ee   T ab le  3 ) :     T o   s u p p o r u s ab ilit y   p r ac titi o n er s   in   t h n o m i n atio n   o f   ap p r o p r iate  ac tiv ities as  w ell  a s   d o cu m e n tatio n   an d   co m m u n icatio n   o f   r es u lts .       T o   d ef in f ie ld s   o f   co m p ete n ci es f o r   r o les in   s o f t w ar d ev elo p m e n t p r o j ec ts   to   ac h i ev t h q u alit y   o f   u s e.     T o   b o o s t th ac ce p tan ce   an d   u n d er s tan d i n g   o f   s ta n d ar d s   r elate d   u s ab ilit y   ev al u atio n .       T o   en ab le  o r g an izatio n s   to   h a v clea r   d is cu s s io n s   an d   co m p ar is o n   o f   t h eir   p r o ce s s es  alo n g s id th m o d el,   an d   u lti m atel y   id en tify   s u itab l in co r p o r atio n   asp ec ts .       T o   en h an ce   o r   ev al u ate  t h ex i s tin g   p r o ce s s   m o d els.   T h p r o p o s ed   to o s u m m ar ize s   t h asp ec ts   in   t h s elec ted   s t an d ar d s   r elev a n to   t h i n co r p o r atio n   o f   u s ab ilit y   ev a lu atio n ,   m a k i n g   it  ea s ier   f o r   co m p an ie s   to   ad o p th s tan d ar d s - b ased   u s ab ilit y   e v alu a tio n .   Stan d ar d s   ar r eliab le  as  th e y   ar co n s e n s u s   b ased   an d   ac co u n ts   f o r   m o s c u r r en n ee d s   o f   i n d u s tr ial   s tak e h o ld er s .   T h u s ,   t h s tan d a r d s   ad d   v al u to   th e   i n co r p o r a tio n   o f   u s ab ilit y   asp ec ts   i n   S ME s   as   t h e y   en ab l e   s af et y ,   r eliab ilit y ,   r ep ea tab ilit y   o f   p r o ce s s es,  th i n d ep en d en ce   o f   o r g an iza tio n s ,   g o o d   q u alit y ,   an d   b asis   f o r   co m m u n icatio n .       6.   E VA L UA T I O O F   T - G I U E SE   T h is   s ec tio n   d i s cu s s e s   t h ev a lu atio n   o f   t h p r o p o s ed   to o l.  T h s tu d y   d es ig n   i n   s h o w n   is   s ec tio n   6 . 1   w h er ea s   t h r esu l ts   ar p r esen t ed   in   s ec tio n   6 . 2 .     6 . 1 .   Study   Desig n   T - GI UE SE  w a s   e v al u ated   b y   co n d u cti n g   q u e s tio n n air s u r v e y ,   in   li n w it h   p r ev io u s   s u r v e y   s tu d ie s   o f   ev al u atio n   p r ac tice s   [ 1 9 ] ,   [ 2 0 ] ,   [ 2 1 ] .   T h r esp o n d en ts   t o   th is   q u e s tio n n air s u r v e y   w er f r o m   d if f er e n t   s p ec ia lizatio n s .   T h r esear ch er   b r ief ed   th r esp o n d en ts   o n   th o b j ec tiv es  o f   th i s   s t u d y   an d   p r o v id ed   th e   p r o p o s ed   to o l b ef o r s tar tin g   th q u est io n n air s u r v e y .     6 . 1 . 1 .   Co ns t ruct s   a nd   I t e m s   Used   T h q u esti o n n a ir h as  b ee n   c o n s tr u cted   b y   r ev ie w i n g   p r ev i o u s   s t u d ie s   o n   t h ev al u atio n   o f   to o ls .   I co m p r is e s   o f   f o u r   s ec tio n s   a s   f o llo w s .   Firs tl y ,   w h a v t h e   d e m o g r ap h ic   i n f o r m atio n   s u ch   as   s e x ,   a g e,   j o b   titl e,   an d   ex p er ien ce   i n   ar ea .   T h s ec o n d   s ec tio n   ev al u ate s   th ac ce p tan ce   o f   T - GI U E SE  w h ic h   in v o l v es   p er ce iv ed   u s ef u l n es s   an d   ea s o f   u s e.   T h th ir d   s ec tio n   ev alu a tes  t h s atis f ac tio n   to w a r d s   th T - GI U E SE  d is p la y .   T h last   s ec tio n   e v al u ates  t h q u ali t y   f o r   ea ch   p o ten tial  i n co r p o r atio n   p o in t,  b a s is   o f   ar ti f ac ts ,   a n d   co n v er g e n ce   ar tif ac ts   f o r   b o th   u s ab il it y   e v alu a tio n   an d   s o f t w ar d ev elo p m en t.  A ll  ite m s   u s ed   in   th o s e   s ec tio n s   w er s co r ed   o n   s ev en - p o i n L i k er s ca le  ( 7   =   s tr o n g l y   a g r ee 6   v er y   a g r ee 5   ag r ee 4   n eu tr al ;   3   d is ag r ee ; 2   v er y   d is a g r e e;  1   s tr o n g l y   d i s ag r ee ) .       6 . 1 . 2 .   Da t a   Co llect ing   T h r esear ch er   co n tacte d   p o ten tial  r e s p o n d en t s   b y   tele p h o n a n d   as k ed   t h eir   w ill in g n e s s   to   p ar ticip ate  in   th s u r v e y   f o r   to tal  o f   1 0 8   r esp o n d en ts .   A p p o in t m e n t s   w er m ad to   co n d u ct  t h f ac e - to - f ac e   d ata  co llectio n .   T h is   ap p r o ac h   w as  u s ed   to   en s u r clea r   u n d er s ta n d in g   o f   ea c h   q u e s tio n   an d   g o o d   q u alit y   an s w er s   f r o m   r esp o n d e n ts   as t h r esear ch er   is   p r ese n t to   g i v clar if icatio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N : 2088 - 8708   I J E C E   Vo l.  7 ,   No .   6 Dec em b er   2 0 1 7   :   3 6 3 2 3 6 4 2     3638     6 . 1 . 3 .   Relia bil it y   T h cr o n b ac h s   alp h a   ( a)   an d   t h E x p lo r ato r y   Facto r   An al y s i s   ( E F A )   w er e   ap p lied   to   th i s   r esear ch   to   en s u r th v alid it y   a n d   r eliab ilit y   o f   t h i n s tr u m e n t.  Fo r   r eliab ilit y ,   t h in ter n al  co n s is te n c y   a m o n g   ite m s   i n   th s a m e   co n s tr u ct  w as  te s ted   u s in g   t h cr o n b ac h s   alp h c o ef f icie n t   ( a) ,   w h ic h   s h o u ld   b g r ea ter   t h an   0 . 7   to   b ac ce p tab le  as  s u g g ested   b y   [ 2 2 ] .   T h cr o n b ac h s   alp h a   v alu f o r   t h is   s t u d y   w a s   g r ea ter   th a n   0 . 7   a s   s h o wn   in   T ab le  4 ,   in d icatin g   g o o d   in t er n al  co n s i s te n c y   a n d   s atis f ac t o r y   r eliab ilit y   f o r   all  co n s tr u ct s .   T h u n d er l y i n g   s tr u ct u r o f   ea ch   co n s tr u ct  w as  d eter m i n ed   b y   th p r in cip al  co m p o n e n an al y s is   u s i n g   Var i m a x   r o tatio n   [ 2 3 ] .   T h p r in cip al  co m p o n en t   a n al y s i s   d ep en d s   o n   th e   v alu e s   o f   f ac to r   lo ad in g s ,   w h ic h   m u s t b g r ea ter   t h a n   0 . 7   f o r   ea ch   ite m   to   b i n clu d ed   in   t h s tr u ct u r o f   t h co n s tr u c t a cc o r d in g   to   [ 2 3 ] .   T h r esu lt s   i n   T ab le  4   s h o w e d   th at  a ll  ite m s   w er lo a d ed   o n   t h ap p r o p r iate  f ac to r   w it h   v al u es  ab o v e   0 . 7 .   T h en ,   th co r r elatio n   b et w ee n   ite m s   o n   i n d iv id u al  s ca les  was  m ea s u r ed   b y   co n v er g en t   v alid it y   tes t,  w h ic h   ca n   b ev alu ated   b ased   o n   th f ac to r   lo ad in g s   g r ea ter   th an   0 . 7   as  r ec o m m e n d ed   b y   [ 2 4 ] .   A s   p r esen ted   i n   T ab le   4 ,   th r esu lts   i n d icate d   th at  th ite m s   lo ad in g s   w er a b o v 0 . 7 th u s   s h o w i n g   g o o d   co n v er g e n v alid it y   f o r   th e   co n s tr u ct s .   I n   co n cl u s io n ,   t h r es u lts   s u p p o r th r eliab ilit y   a n d   v alid it y   o f   t h q u esti o n n air e   co n s tr u ct s .     T ab le  4 .   R eliab ilit y   a n al y s is   S e c t i o n s   V a r i a b l e s   It e m s   Fa c t o r   L o a d i n g s   a l p h a   ( a   7 0 )   C r o n b a c h a l p h a   ( a   >=   7 0 )           A c c e p t a n c e   o f   T - GIU E S E   T o o l     P e r c e i v e d     U se f u l n e ss   P U 1   P U 2   P U 3   P U 4   P U 5   . 7 2 6   . 9 7 7   . 7 3 8   . 9 4 3   . 8 7 0     . 8 6 4     Ea se   o f   U se   EU 1   EU 2   EU 3   EU 4   EU 5   . 7 5 1   . 9 5 7   . 7 4 3   . 8 4 7   . 7 5 6       . 8 6 1           D i sp l a y   a n d   S a t i s f a c t i o n             F i g u r e s   F I 1   F I 2   F I 3   F I 4   F I 5   . 7 8 9   . 8 8 1   . 6 9 9   . 7 0 3   . 7 5 9   . 8 8 3       S a t i sf a c t i o n   S A 1   S A 2   S A 3   S A 4   S A 5   . 8 1 9   . 9 0 8   . 9 1 4   . 7 5 8   . 9 4 1       . 7 9 0                 Qu a l i t y   o f   T - GIU E SE           T h e   i n c o r p o r a t i o n   p o i n t b e t w e e n   a c t i v i t i e s   I A 1   I A 2   I A 3   I A 4   I A 5   I A 6   I A 7   . 7 0 3   . 8 4 4   . 8 5 7   . 7 6 3   . 8 8 4   . 8 6 6   . 8 3 0         . 9 2 3       T h e   b a si s   o f   a r t i f a c t s   B A 1   B A 2   B A 3   B A 4   B A 5   B A 6   B A 7   . 8 8 8   . 8 8 3   . 8 5 4   . 8 0 4   . 9 2 5   . 7 7 4   . 7 9 4         . 8 0 8         T h e   c o n v e r g e n c e   a r t i f a c t s   C A 1   C A 2   C A 3   C A 4   C A 5   C A 6   C A 7   . 8 3 5   . 9 1 7   . 8 5 9   . 9 0 3   . 7 7 9   . 9 2 5   . 8 8 2         . 8 9 2       6 . 2 .   Resul t s   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E   I SS N:  2 0 8 8 - 8708       A   Gu id elin To o l fo r   On g o in g   P r o d u ct  E va lu a tio n   in   S ma ll  a n d   S MEs   ( A z iz   B in   Dera ma n )   3639   T h r esu lts   w er p r esen ted   i n   t h o r d er   o f   th q u esti o n n air s ec tio n s .     6 . 2 . 1 .   De m o g ra ph ic  Da t a   T h is   s ec tio n   d i s cu s s e s   th e   r es p o n d en ts   d e m o g r ap h ic  d ata  a n d   th eir   e x p er ien ce   a n d   p r ac tices  r elate d   to   s o f t w ar d ev elo p m en t.  Mo s o f   th r esp o n d en t s   w er d ev elo p er s   ( 3 6 %),   u s ab ilit y   en g in ee r s   ( 2 8 %),   an d   test er s   ( 1 7 %),   w h ile  o n l y   ( 8 %)  w er p r o j ec m an a g er s   a n d   ( 1 1 %)  w o r k ed   in   o th er   a r ea s .   ( 6 4 %)  o f   th r esp o n d en ts   w er m ale  an d   ( 3 6 %)  w er f e m ale.   T h m aj o r it y   o f   r esp o n d en ts   w er les s   t h an   3 5   y ea r s   o ld   ( 5 2 %)  w h ile  ( 3 9 %)  w er b et wee n   3 5 - 4 5   y ea r s   o ld .   On l y   ( 9 % )   w er m o r th a n   4 5   y ea r s   o ld   ( s ee   Fig u r 5 ) .         F ig u r 5 .   R esp o n d en t s   p r o f ile               Fig u r 6 .   E x p er ien ce   o f   ar ea   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N : 2088 - 8708   I J E C E   Vo l.  7 ,   No .   6 Dec em b er   2 0 1 7   :   3 6 3 2 3 6 4 2     3640     I n   ter m s   o f   e x p er ien ce   i n   s o f t w ar d ev elo p m e n t,  ( 4 8 %)  o f   th r esp o n d en t s   h a v b ee n   in v o lv e d   b et w ee n   4   a n d   1 0   y ea r s ,   w h er ea s   ( 3 2 %)  h ad   le s s   t h a n   3   y e ar s   o f   e x p er ien ce .   ( 1 2 %)  h av e   b ee n   i n v o l v ed   f o r   m o r e   t h an   1 0   y ea r s ,   b u t   ( 8 %)  o f   t h r esp o n d e n ts   r ep o r ted   less   th a n   1   y ea r s   o f   i n v o l v e m en t.  Fo r   t h d u r atio n   o f   e m p lo y m e n t   at  t h eir   p r ese n co m p a n y ,   o n l y   ( 6 %)   o f   t h e   r esp o n d en ts   h av b ee n   r ep o r ted   to   h av w o r k ed   f o r   m o r th an   1 0   y ea r s .   Mo s o f   th r esp o n d en ts   w er e m p lo y ed   b et w ee n   4   an d   1 0   y e ar s   ( 4 1 %),   w h er ea s   ( 3 9 %)  r e p o r ted 1   to   3   y ea r s .   On l y   ( 1 4 %)  o f   r esp o n d en t s   w er em p lo y e d   f o r   less   th a n   y ea r   at  th eir   p r esen t   co m p a n ies.   Fi n all y ,   m o s r e s p o n d en ts   w o r k ed   eit h er   i n   s m a l o r   m ed i u m   en ter p r is es,  o f   wh ich   ( 1 8 %)  w o r k ed   in   co m p a n ies   w it h   les s   t h an   5   e m p lo y ee s ,   a n d   ( 4 4 %)  in   c o m p a n ies   w it h   5   to   2 0   e m p lo y ee s .   ( 3 8 %)  o f   t h e   r esp o n d en t s   w o r k   i n   m ed iu m   s ized   co m p an ie s ,   d ef i n ed   as   o r g an iza tio n s   w it h   m o r th a n   2 1   e m p lo y ee s .   Fi g u r e   6   d ep icts   th p er ce n tag b r ea k d o w n .       T ab le  5 .   P er ce n tag o f   ac ce p tan ce   an d   s ati s f ac tio n   v ar iab les     S t r o n g l y   d i sa g r e e   V e r y   d i sa g r e e   D i sa g r e e   N e u t r a l   A g r e e   V e r y   a g r e e   S t r o n g l y   a g r e e   Pe r c e i v e d   U sef u l n e ss   2 . 2   4 . 6   6 . 5   1 4 . 1   1 6 . 9   2 6 . 0   2 9 . 7   E a s e   o f   U se   1 . 7   6 . 9   6 . 7   9 . 5   2 8 . 6   2 1 . 9   2 4 . 7   Fi g u r e s   2 . 6   8 . 3   1 3 . 0   9 . 5   1 9 . 7   2 2 . 1   2 4 . 8   S a t i s f a c t i o n   3 . 7   5 . 1   6 . 1   1 1 . 6   1 7 . 8   2 6 . 7   2 9 . 0       6 . 2 . 2 .   Acc ept a nce  o f   T - G I U E SE   Sectio n s   B   an d   C   o f   t h q u e s tio n n air ev a lu ate s   t h r esp o n d en t s   le v el  o f   ag r ee m en w i th   ce r tai n   f ea t u r es  o f   T - GI U E SE,   s u c h   as  p er ce iv ed   u s ef u l n es s ,   ea s o f   u s e,   f i g u r es,  a n d   s atis f ac tio n   to w ar d s   t h e   v is u aliza t io n .   T h p ar ticip an ts   h ad   to   an s w er   s tr u ctu r ed   q u e s tio n s   an d   r es p o n d   b ased   o n   s ev en   p o in L i k er Scale  as  w ell  a s   o p en   e n d ed   q u esti o n s   a s   to   g at h er   t h eir   o p in io n s   a n d   s u g g e s tio n s .   T h p ar ticip an ts   r esp o n s e s   ar ex p lain ed   b elo w ;   T h r esu lts   i n d icate   v er y   s tr o n g   lev el  o f   ag r ee m e n as   in f er r ed   f r o m   t h lar g p er ce n ta g o f   s tr o n g l y   a g r ee ”  an d   “v er y   ag r ee ”  r esp o n s es  to   t h s tat e m en o f   f o cu s ed   is s u es  as  s h o w n   in   T ab le  5 .   T h er ef o r w ca n   co n cl u d t h at  t h r esp o n d en t s   h ad   v er y   h ig h   ac ce p tan ce   to   t h f o llo w i n g   asp ec ts   o f   th e   p r o p o s ed   to o i.e   p er ce iv ed   u s ef u ln e s s ,   ea s o f   u s e,   d is p la y   an d   s atis f ac tio n .   Descr ip ti v s tatis tic s   w er tak e n   to   m ea s u r t h e   lev e l o f   ea ch   it e m .   7   p o in t   L ik er t   s ca le   w a s   u s ed   f o r   th is   s ec tio n ,   w it h   7   f o r   s tr o n g l y   a g r ee   an d   1   f o r   s tr o n g l y   d is a g r ee ”.   An y   av er a g o f   ab o v 4 . 0   w a s   co n s id er ed   to   b e   g o o d   as  t h is   in d icate d   th e   le v el  o f   t h r esp o n d en ts   a g r ee m e n t   to   th o s e   s ta te m e n t s   r ep r esen t i n g   t h tes ted   ite m s .   R es u lt s   f r o m   t h d escr ip ti v an al y s is   ar s h o w n   b elo w :   Fr o m   t h d escr ip tiv e   s tati s tic s   f o r   th ite m   i n   T ab le  6 ,   it  ca n   b s ee n   t h at  th ite m   w it h   t h h i g h e s m ea n   ( 5 . 3 5 )   is   “u s ef u l n es s ”,   an d   t h o n w i th   t h lo w est  m ea n   ( 5 . 2 0 )   is   “f i g u r es”.   Ho w e v er ,   all  o f   th e s ite m s   h av m ea n   o f   ab o v 4 . 0   an d   th u s   t h e y   b el o n g   at  t h s a m lev e l.       T ab le  6 .   Descr ip tiv s tatis tic s :   m ea n   s co r o f   ac ce p tan ce   an d   s atis f ac tio n   v ar iab les   S e c t i o n   M e a n   S t d .   D e v i a t i o n   Pe r c e i v e d   U se f u l n e ss   5 . 3 5   1 . 5 8   E a s e   o f   U se   5 . 2 1   1 . 5 5   Fi g u r e s   5 . 2 0   1 . 5 9   S a t i s f a c t i o n   5 . 2 2   1 . 7 0       T ab le  7 .   P er ce n tag o f   q u alit y   v ar iab les        S t r o n g l y      d i s a g r e e   V e r y   d i sa g r e e   D i sa g r e e   N e u t r a l   A g r e e   V e r y   a g r e e   S t r o n g l y   a g r e e   T h e   i n c o r p o r a t i o n   a c t i v i t i e s   4 . 2   5 . 9   8 . 9   1 3 . 0   2 0 . 1   2 5 . 3             2 2 . 6   T h e   b a si s   o f   a r t i f a c t s   1 . 5   3 . 4   3 . 3   1 6 . 9   1 8 . 5   2 9 . 2   2 7 . 2   T h e   c o n v e r g e n c e   a r t i f a c t s   3 . 9   5 . 2   5 . 3   1 4 . 2   1 4 . 7   2 2 . 0   3 4 . 7     9   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E   I SS N:  2 0 8 8 - 8708       A   Gu id elin To o l fo r   On g o in g   P r o d u ct  E va lu a tio n   in   S ma ll  a n d   S MEs   ( A z iz   B in   Dera ma n )   3641       T ab le  8 .   Descr ip tiv s tatis tic s :   m ea n   s co r o f   q u alit y   v ar iab l es   S e c t i o n   M e a n   S t d .   D e v i a t i o n   T h e   i n c o r p o r a t i o n   a c t i v i t i e s   5 . 0 5     1 . 6 8   T h e   b a si s   o f   a r t i f a c t s   5 . 1 5   1 . 7 0   T h e   c o n v e r g e n c e   a r t i f a c t s   5 . 2 7   1 . 7 8       6 . 2 . 3 .   Q ua lity   o f   T - G I U E SE   T h q u alit y   o f   T - GI U E SE   w a s   ev a lu ated   b y   t h s ca les  o f   ac cu r ac y ,   co m p leten e s s ,   u n d er s t an d ab ilit y ,   s u f f icie n ce ,   an d   r elev a n ce .   T h r esu lts   i n d icate   v er y   s tr o n g   le v el  o f   a g r ee m e n i n f er r ed   f r o m   t h lar g e   p er ce n tag o f   r esp o n s es   w it h   s tr o n g l y   ag r ee ”  a n d   “v er y   ag r ee ”  to   th e   s tate m e n t   o f   th e   is s u e   in   f o cu s   as   s e e n   in   T ab le  7 .   I ca n   b in f er r ed   t h at  t h r esp o n d e n ts   e v al u ated   th q u al it y   as  s o lid   an d   r eliab l e,   w i th   ea c h   o f   t h asp ec ts   co v er in g   p o ten tial  in c o r p o r ati o n   p o in ts ,   b asis   o f   ar tif ac ts ,   an d   co n v er g e n ce   ar ti f ac t s   f o r m i n g   t h b asi s   o f   th p r o p o s ed   to o l.   Fro m   T ab le  8 ,   it  ca n   also   b e   s ee n   t h at  th ite m   w it h   th h i g h e s m ea n   ( 5 . 2 7 )   is   T h co n v er g en ce   ar tif ac ts ”,   an d   t h o n w it h   t h lo w es m ea n   ( 5 . 0 5 )   is   T h i n co r p o r atio n   ac tiv i ties ”.   Ho w e v er ,   all  o f   t h e   ite m s   h a v m ea n   ab o v 4 . 0   an d   th u s ,   th e y   s ta y   o n   t h s a m lev el.   W ca n   co n cl u d f r o m   t h r es u lt s   t h at  t h e   r esp o n d en ts   r eg ar d   th s u r v e y ed   co m p o n e n t s   o f   th p r o p o s ed   t o o as  im p o r tan with i n   th s o f t w ar d ev elo p m en t   p r o ce s s ,   an d   v ia b le  as  s u p p o r tin g   to o to   en s u r ef f ec ti v a n d   e f f ic ien t   i m p le m en ta tio n   o f   t h u s ab ilit y   e v alu a tio n   ac ti v itie s .       7.   CO NCLU SI O N   T h p r o p o s ed   to o l,  T - GI UE SE  m ak e s   it   ea s ier   to   ap p l y   in ter n atio n a s tan d ar d s   b ase d   u s ab ilit y   ev alu a tio n   w i th i n   S ME s .   T h s tan d ar d s   ( I SO/IE C /I E E   1 5 2 8 8 ,   I SO  9 2 4 1 )   w er r ep r esen te d   in   th to o l,  w h ich   s u m m ar izes   th e   f u n d a m e n tal   ac tiv itie s   a n d   r esp ec ti v ar ti f ac ts   r elate d   to   t h e   u s ab ilit y   e v alu a tio n   f r o m   k e y   p ar ts   o f   UE ,   an d   r elate d   to   th s o f t w ar d ev elo p m e n t   p r o ce s s   f r o m   k e y   p ar ts   o f   SE.   F u r th er m o r e,   t h to o l   h ig h li g h ts   p o ten tial  i n co r p o r atio n   p o in t s   an d   li n k s ,   ac ti v ities   w i th   ar ti f ac t s   to   s h o d ep en d en cies  a n d   r elatio n s h ip s ,   ev e n t u all y   id en t if y in g   a n d   s h o w in g   t h co n v e r g en ce   ar ti f ac ts   o f   b o th   d is cip lin es.  Fin a ll y ,   t h i s   to o w a s   ev al u ated   f a v o u r ab l y   an d   it  h ad   h ig h   ac ce p tan ce   b a s ed   o n   th q u esti o n n air s u r v e y   r es u lt s   in v o lv in g   s o f t w ar d ev elo p m e n t p r ac titi o n er s   f r o m   SME s .       ACK NO WL E D G E M E NT     T h is     r esear ch     w a s     f u n d ed     b y     t h   Min is tr y     o f     E d u ca t io n   u n d er     th   Fu n d a m e n tal    R esear ch     Gr an t Sc h e m ( F R GS 2 0 1 3 - 2 ) ,   Un iv er s iti Ma la y s ia  T er en g g an u .       RE F E R E NC E S   [1 ]   Ay k in   N,  e d it o r.   Us a b il it y   a n d   in t e rn a ti o n a li z a ti o n   o f   in f o rm a ti o n   tec h n o l o g y .   CRC P re ss 2 0 1 6   A p 1 9 .   [2 ]   F e rn a n d e z   A ,   In sf ra n   E,   A b ra h ã o   S .   Us a b i li ty   e v a lu a ti o n   m e th o d f o th e   w e b A   s y ste m a ti c   m a p p in g   stu d y .   In f o rm a ti o n   a n d   S o f twa re   Tec h n o lo g y .   2 0 1 1   A u g   3 1 ;   5 3 (8 ) :   7 8 9 - 8 1 7 .   [3 ]   M a rti n e z   HS,   Ro d rig u e z   M D,  Do m in g u e z   EL .   T ú u m T e st  M o d e f o Na ti v e   M o b il e   A p p li c a ti o n s.  IEE L a ti n   Am e rica   T ra n sa c ti o n s.  2 0 1 7 ;   1 5 ( 5 ):   9 9 4 - 1 0 0 0 .   [4 ]   M a c ias z e k   LA ,   F il ip e   J,  e d it o rs.  Ev a lu a ti o n   o f   n o v e a p p ro a c h e to   so f t wa re   e n g in e e rin g 1 0 t h   In tern a ti o n a l   Co n f e re n c e ,   ENA S 2 0 1 5 ,   Ba rc e lo n a ,   S p a i n ,   A p ril   2 9 - 3 0 ,   2 0 1 5 ,   R e v ise d   se lec ted   p a p e rs.  S p ri n g e r;  2 0 1 6   F e b   1 3 .   [5 ]   F isc h e H.  In teg ra ti n g   u sa b il it y   e n g in e e rin g   in   th e   s o f twa re   d e v e lo p m e n li f e c y c le  b a se d   o n   i n tern a t io n a sta n d a rd s .   In P ro c e e d i n g o f   th e   4 t h   A CM   S IG CHI  s y m p o siu m   o n   En g i n e e rin g   In tera c ti v e   Co m p u ti n g   S y ste m 2 0 1 2   Ju n   2 5   (p p .   3 2 1 - 3 2 4 ).   A CM .   [6 ]   P a k istan   G ,   M a so o d   T ,   A z h a F ,   Ra m z a n   M ,   M a li k   S ,   P a k istan   W .   Us a b il it y   P ra c ti c e in   S o f twa re   De v e lo p m e n L i f e   C y c l e A   Re v ie w .   In P r o c e e d in g s o f   2 n d   In tern a t io n a l   M u lt i - Di sc ip li n a ry   Co n f e re n c e   1 9 - 2 0   De c e m b e 2 0 1 6 .       [7 ]   V il a   N,  Ku ste I.   T h e   ro le  o f   u sa b il it y   o n   stim u latin g   S M E’s  o n   l in e   b u y in g   in ten ti o n a n   e x p e rime n b a se d   o n   a   f icticiu w e b   site d e sig n .   Qu a li ty   &   Qu a n ti ty .   2 0 1 2   Ja n   1 ;   4 6 ( 1 ):   1 1 7 - 3 6 .   [8 ]   G in ig e   A ,   P a o li n o   L ,   Ro m a n o   M ,   T o rto ra   G ,   V it iello   G .   IC f o s m a ll   to   m e d iu m   e n terp rise s:  f o c u s o n   u sa b il it y   f o a   w e b - b a se d   sp re a d sh e e m e d iate d   c o ll a b o ra ti o n   e n v iro n m e n t.   In   In f o rm a ti o n   sy ste m s:  c ro ss ro a d fo o rg a n iza ti o n ,   m a n a g e m e n t,   a c c o u n ti n g   a n d   e n g in e e rin g   2 0 1 2   (p p .   1 8 1 - 1 8 8 ) .   P h y sic a - V e rlag   HD .   [9 ]   He rin g   D,  S c h w a rt z   T ,   Bo d e n   A ,   W u lf   V .   In teg ra ti n g   u sa b il it y - e n g in e e rin g   in to   th e   so f tw a re   d e v e l o p i n g   p ro c e ss e o f   S M E:   a   c a se   stu d y   o f   so f t w a r e   d e v e lo p in g   S M in   G e r m a n y .   In P ro c e e d in g o f   th e   Ei g h th   In tern a t i o n a l   W o rk sh o p   o n   Co o p e ra ti v e   a n d   Hu m a n   A sp e c ts  o f   S o f t w a r e   En g in e e rin g   2 0 1 5   M a y   1 6   ( p p .   1 2 1 - 1 2 2 ).   IEE P re ss .   Evaluation Warning : The document was created with Spire.PDF for Python.