T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   18 ,   No .   5 Octo b er   2 0 2 0 ,   p p .   2 7 8 7 ~ 2 7 9 9   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 8 i5 . 1 6 0 6 1       2787       J o ur na ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   A rigo ro us user n eeds e x perie nce e v a lua tion metho d bas ed on  so ft wa re quali ty sta nda rds       M o ha m m a d Z a ro ur   Co ll e g e   o f   Co m p u ter an d   In f o rm a ti o n   S c ien c e s P ri n c e   S u lt a n   Un i v e rsity ,   Kin g d o m   o f   S a u d Ara b ia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma r   1 3 2 0 2 0   R ev is ed   Ap r   8 2 0 2 0   Acc ep ted   Ma y   1 2 0 2 0       Ou li v e s,  n o wa d a y s,   a re   d ig it a l.   We,  a h u m a n s,   a re   u si n g   so ftwa re   a p p li c a ti o n i n   a ll   o u li fe   a sp e c ts  to   m e e o u d a il y   o b jec ti v e a n d   fu lfi ll   o u r   n e e d s.  S o ftwa re   so lu ti o n s   t h a c o m p rise   m o b i le  a p p a re   wi d e ly   sp re a d ,   u se rs   c a n   se lec fro m   h u n d re d o a v a i lab le  so ftwa re   s o lu t io n t h a fi t h e ir  n e e d s.   Ac c o rd in g ly ,   u se r   n e e d s   a re   b e c o m in g   in tri c a te  a n d   th e   so ftwa re   o r g a n iza ti o n a re   c o m p e ti n g   h i g h   t o   sa ti sfy   u s e re q u irem e n ts  a n d   th e   d e sire fo b e tt e r   q u a li t y .   T h is  c o m p e ti ti o n   is  n o a b o u sa ti sfy i n g   th e   f u n c ti o n a l   re q u irem e n ts  b u a lso   sa ti sfy   u se e x p e rien c e   a we ll .   Ac c o rd in g ly ,   stu d y i n g ,   m e a su rin g ,   a n d   imp ro v i n g   u se e x p e rien c e   is  c r u c ial  fo r   th e   su c c e ss   o f   a n y   so ftwa re   p ro d u c t .   Th is r e se a rc h   f o c u se o n   e v a lu a ti n g   u se r   e x p e rien c e   n e e d b y   d e v e lo p i n g   u se e x p e rien c e   n e e d e v a l u a ti o n   m e th o d   b a se d   o n   th re e   m a in   d isc ip l in e th e   u se e x p e rien c e   fra m e wo rk ,   th e   e v a lu a ti o n   t h e o ry   c o n c e p t,   a n d   th e   IS Os o ftwa re   q u a li t y   sta n d a r d IS O/IEC  2 5 0 2 2   a n d   IS O/IEC  2 5 0 2 3 .   Alt h o u g h   th e se   d isc ip li n e a re   a v a il a b le  in   th e   li te ra tu re ,   t h e y   a re   n o li n k e d   t o g e th e r   to   c o m p lete   th e   m o sa ic  p ictu re   o d e v e lo p i n g   a   UX   e v a lu a ti o n   m e th o d .   Li n k in g   th e re   th re e   d isc ip li n e led   to   s y st e m a ti c a ll y   id e n ti f y   t h e   n e c e ss a ry   e v a lu a ti o n   c rit e ria t o   e v a lu a te  u se n e e d s e x p e rien c e .   K ey w o r d s :   E v alu at io n   th e o r y   SQu aRE  s tan d ar d s   User   ex p er ien ce   f r am ewo r k   User   n ee d s   ex p er ien ce   UX  ev alu atio n   m eth o d   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h am m ad   Z ar o u r ,   C o lleg o f   C o m p u ter   an d   I n f o r m atio n   Scien ce s   ( C C I S),   Prin ce   Su ltan   Un iv er s ity ,     R iy ad h ,   Kin g d o m   o f   Sau d i A r ab ia .   E m ail:  m za r o u r @ p s u . ed u . s a       1.   I NT RO D UCT I O N   Ou r   liv es,  n o wad ay s ,   ar to tally   d ig ital W e,   as  h u m an s ,   ar u s in g   s o f twar ap p licatio n s   in   all  o u r   life   asp ec ts   to   m ee o u r   d aily   o b je ctiv es  an d   f u lf ill  o u r   n ee d s So f twar s o lu tio n s   th at  co m p r i s m o b ile  ap p s   ar e   wid ely   s p r ea d ,   u s er s   ca n   s elec t   f r o m   h u n d r e d s   o f   a v ailab le   s o f twar s o lu tio n s   th at  f it   th eir   n ee d s Acc o r d in g ly ,   u s er   n ee d s   ar e   b ec o m i n g   in tr icate   an d   th e   s o f twar o r g an izatio n s   ar e   co m p etin g   h i g h   to   s atis f y   u s er   r eq u ir em e n ts   an d   th d esire s   f o r   b etter   q u ality T h is   co m p etitio n   is   n o ab o u s atis f y in g   th f u n ctio n al  r eq u ir em e n ts   b u t   also   s atis f y   u s er   ex p er ien ce   as we ll   [ 1 ] .   R ec en tly ,   th d o m ain   o f   u s er   ex p er ien ce   ( UX)   g ai n ed   m y   f o cu s   f r o m   b o th   ac a d em ia  an d   in d u s tr y   wh er ac ad em ic  e n v ir o n m en t s   ar tr y in g   to   b etter   co m p r e h en d ,   d ef in e,   a n d   f o r m u late  th co n ce p o f   u s er   ex p er ien ce .   T h is   ef f o r h as  s h ap ed   v ar io u s   d ef i n itio n s   of   u s er   ex p er ien ce   [ 2 ] .   I n   co n cl u s io n ,   co n s en s u s   in     th v ar io u s   r esear ch es  an d   p r a ctitio n er s   co m m u n ities   in   th at  UX  “is  m o r th an   ju s a   p r o d u ct's  u s ef u ln ess   an d   u s ab ilit y ”  [ 3 ] UX   is   th r esu l o f   in ter ac tio n   with   s o f twar e ,   s y s tem   o r   s er v ice,   af f ec ted   b y   s et  o f   asp ec ts   in     “d y n am ic,   c o n tex t - d ep en d e n t,  an d   s u b jectiv e”   m an n er   [ 2 ] T h u s er   ex p er ien ce   “a t tem p ts   to   in clu d s u b jectiv attr ib u tes  lik e,   f o r   in s tan ce ,   ae s th eti cs,  em o tio n al,   an d   s o cial  asp ec in   d esig n   s p ac wh ich   h as  Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :   2 7 8 7   -   2799   2788   p r ev io u s ly   co n ce r n ed   with   ea s o f   u s e”   [ 4 ] .   So ,   f o r   s o f twar ap p licat io n s   to   r e m ain   co m p et itiv an d   attr ac tiv e   f o r   u s er s ,   th eir   UX  s h o u ld   b ev alu ated   h ig h   co m p ar ed   t o   o t h er   co m p etito r s   in   th m ar k et.   B u th q u esti o n   is   h o to   ev al u ate  UX?     T h liter atu r e   d o c u m en ts   s o m e   r esear ch es  to   ev alu ate   U X ,   s ee   f o r   ex am p le  [ 5 ,   6 ] .   U n f o r tu n ately ,     th m ain   f law  in   s u ch   r esear ch   wo r k   is   th at  it   is   co n s tr u cted   with o u t c o n s id er in g   th e v alu atio n   p r i n cip les i.e . n o n o f   th cu r r en r esear ch   h as  u s ed   th ev alu atio n   th e o r y   as  b ases   to   d ev elo p   th ev alu a tio n   m eth o d .   Su ch   p r ac tice   will  p r o v id m o r r ig o r   an d   f o r m al  ev alu atio n   m eth o d .   Fro m   th is   p er s p ec tiv e ,   th is   p ap er   ev alu ates   u s er   n ee d s   ex p er ien ce   v ia   co n s tr u ctin g   an   ev alu atio n   m eth o d   u s in g   th r ee   m ain   d is cip lin es  th UX  f r am ewo r k ,     th ev alu atio n   th e o r y   p r in cip l es,  an d   th S o f twar Qu ality   R eq u ir em en d E ter m in atio n   ( SQu aRE )   s tan d ar d   d o cu m e n ted   in   I SO/IE C   2 5 0 2 2   an d   I SO/I E C   2 5 0 2 3 .     T h ey   r em ain   p ar t   o f   th is   p ap er   is   o r g an ized   as  f o llo ws.  S ec tio n   2   d is cu s s es  th e   a d o p te d   r esear ch   m eth o d   Sectio n   3 ,   d is cu s s es  th d ev el o p m en t   o f   t h ev alu atio n   m eth o d   th at   in clu d es  p r esen tin g   th e   m ap p i n g   p r o ce s s   b etwe en   u s er   ex p er ien ce   asp ec ts   o f   UX   f r am ewo r k   a n d   q u ality   attr i b u tes  o f   I SO  2 5 0 0 0   s er ies  SQu aRE   s tan d ar d s   as we ll a s   th ap p licatio n   o f   th k ey   c o n ce p ts   o f   e v alu atio n   to   d esig n   an d   d ev elo p   th p r o p o s ed   u s er   ex p er ien ce   ev al u atio n   m eth o d s .   Sectio n   4 ,   d is cu s s es  th q u ality   o f   th d e v elo p e d   UX  ev alu atio n   m eth o d .   Sectio n   5 ,   p r esen ts   ca s s tu d y   th at  a p p lies   th d ev elo p e d   e v alu atio n   m eth o d   t o   ev al u ate  u s er   n ee d s   e x p er ien c o f   m o b ile  ap p licatio n   o wn e d   b y   o n o f   th e   m ain   telec o m m u n icatio n   c o m p a n ies  in   th Kin g d o m .   Sectio n   6 p r esen ts   th co n clu s io n   o f   o u r   s tu d y   an d   f u tu r e   wo r k s .       2.   RE S E ARCH   M E T H O D   T h is   r esear ch   p ap er   f o c u s s es  o n   d ev elo p i n g   u s er   ex p e r ien ce   ev alu atio n   m eth o d .   T h e   f o l lo win g   ar e   u s ed   as  in p u to   d e v elo p   s u ch   a n   ev alu atio n   m eth o d :   t h e   UX   f r am ewo r k   d ev el o p ed   in   [7 ] ,   th ev alu atio n   th e o r y   co n ce p [8 9] an d   th I SO/IE C   2 5 0 2 2   a n d   I SO/IE C   2 5 0 2 3   [ 1 0 ,   1 1 ]       2 . 1   UX  f r a m ewo r k     T h e   UX  f r am ewo r k ,   p r o p o s ed   in   [ 7 ] ,   h as  s p ec if ied   f o u r   UX  d im en s io n s ,   n am ely ,   Valu e,   te ch n o lo g y   ex p er ien ce   ( T X) ,   b r an d   ex p e r ien ce   ( B X) ,   an d   u s er   n ee d s   ex p er ien ce   ( NX)   d im e n s io n s .   T h e s d im en s io n s   f o r m   th ce n tr al  p ar t o f   th e   f r am ew o r k   as illu s tr ated   i n   Fig u r e   1 .   T h f r a m ewo r k   illu s tr ates,  as we ll,  th r e latio n s h ip   b etwe en   th UX   d im en s io n s   an d   th u s er   ex p er ien ce   asp ec ts   th at  h av d ir ec o r   in d ir ec im p ac o n   th u s er   ex p er ien ce .   T h is   f r am ewo r k   h as  d ef in ed   s ev en   ca te g o r ies  o f   UX  asp ec ts   an d   s ev er al   g e n er ic  m eth o d s   t h at  ca n   b u s ed   to   m ea s u r u s er   ex p er i en ce   asp ec ts   [ 7 ] .   Ou r   r esear c h   wo r k   f o cu s es  o n   o n d im e n s io n ,   th u s er   n ee d s   ex p er ien ce   d im en s io n ,   t o   d ev e lo p   u s er   ex p er ien ce   n ee d s   ev al u atio n   m eth o d .             Fig u r 1 .   User   ex p er ien ce   f r a m ewo r k   [ 7 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   r ig o r o u s   u s er n ee d s   ex p erien ce   ev a lu a tio n   meth o d   b a s ed   o n … ( Mo h a mma d   Za r o u r )   2789   2 . 2   I SO   2 5 0 0 0   s er ies s t a nd a rd  ( SQ ua RE )   “T h q u ality   o f   s y s tem   is   th d eg r ee   to   wh ich   th s y s tem   s a tis f ies  th s tated   an d   im p lied   n ee d s   o f   its   v ar io u s   s tak eh o ld er s ,   th ese  s tated   an d   im p lie d   n ee d s   ar e   r e p r esen ted   in   Sy s tem   an d   So f twa r p r o d u ct   Qu ality   R eq u ir em en ts   an d   E v al u atio n   ( SQu aRE)   s er ies   o f   s tan d ar d s   b y   q u ality   m o d els  th at  ca teg o r ize  s y s tem   q u ality   in to   ch ar ac ter is tics ,   wh ich   in   s o m ca s es  ar f u r th er   s u b d iv id ed   in to   s u b - ch a r ac ter is tics .   I is   im p o r tan th at    th q u ality   c h ar ac ter is tics   ar s p ec if ied ,   m ea s u r ed ,   an d   ev al u ated   wh en e v er   p o s s ib le  u s in g   v alid ated   o r   wid ely   ac ce p ted   m ea s u r es a n d   m ea s u r em en t m eth o d s ”  [ 1 2 ]   T h SQu aRE  s tan d ar d   co n s is t s   o f   a   s er ies  o f   in ter n atio n al  s tan d ar d s   o r g a n ized   i n   d i v is io n s   u n d er     th g en er al   titl So f twar Pro d u ct  Qu ality   R eq u ir em e n ts   an d   E v alu a tio n .   Fig u r e   2   illu s tr a tes  th o r g an izatio n   o f   th SQu aRE  s er ie s   r ep r esen tin g   f am ilies   o f   s tan d ar d s ,   f u r th er   ca lled   Div is io n s .   I SO/IE C   2 5 0 0 0   s er ies  is   u s ed   in   th is   p ap er   t o   d e v elo p   e v a lu atio n   cr iter ia  f o r   th e   p r o p o s ed   u s er   n ee d s   ex p er ien ce   e v alu atio n   m eth o ds     as f o llo ws :     I SO/IE C   2 5 0 1 0     s y s tem   an d   s o f twar q u ality   m o d els   T h is   d iv is io n   d ef in es  b o th   q u ality   in   u s m o d el  ( d ef in es   ef f ec tiv en ess ,   ef f icien cy ,   s a tis f ac tio n ,   f r ee d o m   f r o m   r is k   a n d   c o n te x co v er a g q u ality   ch a r ac ter i s tics ) ,   an d   p r o d u ct  q u ality   m o d e th at  d ef in es  f u n ctio n al  s u itab ilit y ,   p er f o r m an ce   ef f icien cy ,   co m p atib ilit y ,   u s ab ilit y ,   r eliab ilit y ,   s ec u r ity ,   m ain tain ab ilit y ,   an d   p o r tab ilit y   q u ality   ch ar ac ter is t ics.      I SO/IE C   2 5 0 2 2     th m ea s u r e m en t o f   q u ality   in   u s e   T h is   d iv is io n   p r o v id es a   s et  o f   q u a lity   m ea s u r es f o r   m ea s u r i n g   an d   ev alu atin g   q u ality   i n   u s [ 1 0 ] .     I SO/IE C   2 5 0 2 3     th m ea s u r e m en t o f   s y s tem   an d   s o f twar p r o d u ct  q u ality   T h is   d iv is io n   p r o v id es  s et  o f   q u ality   m ea s u r es  f o r   s p ec if y in g   r eq u ir em en ts ,   m ea s u r in g ,   an d   ev alu atin g   th s y s tem /s o f twar p r o d u ct  q u ality   [ 1 1 ]           Fig u r 2 .   SQu aRE  in ter n atio n al  s tan d ar d s   s er ies   [ 1 2 ]       2 . 3   E v a lua t i o n t heo ry   c o ncept   Sh ad is h C o o k ,   an d   L ev ito n   [ 8 ]   h av r ev iewe d   th d o cu m en t ed   ev alu atio n   th eo r ie s   p r esen ted   b y   s ev en   well - k n o wn   th e o r is ts   an d   s tated   th at  “Scr iv en s   th eo r y   ca n   b ass u m ed   to   b e   at  th h i g h est  lev el  o f   ab s tr ac tio n   as  h d escr ib ed   p r in cip les,  c o n ce p ts ,   an d   m eth o d s   f o r   an y   s ce n ar io   o f   k n o wled g e   co n s tr u ctio n   in   ev al u atio n ”.   Scr iv en s   th eo r y   o f   ev al u atio n   “a ttem p ts   to   clar if y   th lo g ic  b eh in d   ev alu atio n s ”  [ 9 ] .   Fig u r 3   illu s tr ates  Scr iv en s   s ix   ev alu atio n   c o m p o n en ts   wh ich   ar e   d is cu s s ed   in   d etail  as we ll in   [ 1 3 ,   1 4 ] .           Fig u r 3 .   C o m p o n en ts   o f   an   e v alu atio n   [ 9 ]     Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :   2 7 8 7   -   2799   2790     T h o b ject  o f   th e v alu atio n   is   k n o wn   as T a r g et .     T h ch ar ac ter is tics   o f   th tar g et  ar th cr iter ia.     Ass es s m en tech n iq u es  ar e   th e   y ar d s tick   w h ich   is   th e   s tan d ar d   o r   y ar d s tick   ag ain s wh ic h   a   r ea tar g et  is   to   b m atch e d .     Data - g ath er in g   tech n iq u es,  th ese  tech n iq u es  s h o u ld   b d ef in ed   an d   allo ca ted   to   th co r r esp o n d in g   ev alu atio n   cr iter io n .     Sy n th esis   tech n iq u es,  ar u s ed   to   ju d g e   th tar g et  a n d   o b tain i n g   th r esu lts   o f   t h ev alu atio n .       T h ev alu atio n   p r o ce s s ,   ar th ac tiv ities   th at  s h o u ld   b ex ec u ted   to   p e r f o r m   an   e v alu atio n .         3.   DE V E L O P I NG   UX   E VA L U AT I O M E T H O   At   th is   p o in t,  an d   af ter   ex p lain in g   th d if f er en d is cip lin es  u s ed   to   d ev elo p   th UX  ev alu atio n   m eth o d ,   we  n ee d   to   d ef i n th e   ev alu ati o n   cr iter ia   tr ee   to   ev alu ate  t h u s er   n ee d s   e x p er ien ce   o f   th p r o p o s ed   ev alu atio n   m eth o d .   T h ev alu atio n   c r iter ia  ar d ef in e d   b y   m ap p i n g   th e   q u ality   f ac to r s   d ef in e d   as  p ar o f   th u s er   n ee d s   ex p er ien ce   asp ec ts   p r esen ted   in   [ 7 ]   to   th s o f twar q u ality   a ttrib u tes  o f   I SO  2 5 0 0 0   ( SQu a R E )   s tan d ar d   [ 1 2 ] Fig u r 4   d em o n s tr ates  th m ap p in g   o f   u s er   ex p er ien ce   asp ec ts   with   I SO  2 5 0 0 0   ch ar ac ter is tics   an d     s ub - ch ar ac ter is tics .     T h e   ev alu atio n   th e o r y   c o m p o n en ts   ap p ly   to   an y   ev alu atio n   [ 1 3 ] .   T h ese  co m p o n en ts   ar u s ed   in   th is   r esear ch   wo r k   to   d e v elo p   UX  n ee d s   ev alu atio n   m eth o d .   I n ter esti n g ly ,   th m a p p in g   r esu lts   d ep icted   in   Fig u r 4   will  b u s ed   as  th ce n tr al  ev alu atio n   cr iter ia.   T h p r o ce d u r to   d e v elo p   th p r o p o s ed   U n ee d s   ev alu atio n   m eth o d   is   b r ief e d   in   Fig u r e   5 .   I n   th is   co n tex t ,   th "c o n tr o l - o r ien ted   m eth o d o f   Ho u s cl ass if icatio n   [ 1 5 ]   is   u s ed   to   en s u r th at  th tar g et  is   co n tr o lled   b y   th e   y ar d s tick   s p ec if ied   [ 1 6 ] T h ev al u ato r s   ca n   d ev elo p   u s er   n ee d s   ex p er ie n ce   ev alu atio n   m eth o d   b y   in s tan tiatin g   th e   ev alu atio n   f r am ew o r k   d ep icted   i n   Fi g u r 3 .             Fig u r 4 .   User   ex p er ein ce   asp ec t a n d   I SO 2 5 0 0 0   s tan d ar d   m ap p in g s       3 .1   T a rg e t   “T o   b e   ab le  to   id en tif y   th e   cr ite r ia  ev alu atio n   co m p o n e n t,  it  is   n ec ess ar y   to   s tu d y   an d   d elim it  th o b ject   u n d er   ev alu atio n ,   wh ich   m ea n s   id en tify in g   th f ac to r s   to   b co n s id er ed ”  [ 1 4 ] .   I n   o u r   c ase,   th u s er   n ee d s   ex p er ien ce   is   th e   tar g et.   T h u s er   n ee d s   ex p er ien ce   f o cu s e s   o n   b o t h   p r ag m atic  an d   h e d o n ic  n ee d s   [ 1 7 - 19]     th at  ar th k ey   to   p r o v id in g   g o o d   s y s tem s   th at  m ee cu s to m er s   n ee d s   an d   th er eb y   co n tr ib u te  to   th b u s in ess   s u cc ess   [ 1 7 ] .   Fig u r 6   s h o ws th co m p o n en ts   o f   th tar g et  e v alu atio n   cr iter ia.     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   r ig o r o u s   u s er n ee d s   ex p erien ce   ev a lu a tio n   meth o d   b a s ed   o n … ( Mo h a mma d   Za r o u r )   2791       Fig u r 5 .   Dev el o p   u s er   e x p er i en ce   ev alu atio n   m eth o d           Fig u r 6 .   C o m p o n en ts   o f   tar g e t e v alu atio n   cr iter ia       3 .2   Crit er ia   Af ter   d ef in in g   th tar g et,   we  n ee d   to   s p ec if y   wh at  ar th t ar g et’ s   ch ar ac ter is tics   th at  ar e   o f   in ter est  f o r   th e v alu atio n   p u r p o s es.  Su ch   ch ar ac ter is tics   r ep r esen th ev alu atio n   c r iter ia.   T h tech n iq u u s ed   f o r   cr iter ia  elicitatio n   is   b ased   o n   th n ee d s   ass ess m en ts   elicitat io n   m et h o d   [ 1 4 ] .   I n   th is   a p p r o ac h ,   th e   n ee d s   ar e   an aly ze d   a n d   r ep r esen ted   b y   s et  o f   u s er   n ee d s   asp ec ts   ( p r a g m atic  asp ec ts ,   h ed o n ic   asp ec t s )   d ef in e d   in   th u s er   ex p er ien ce   f r am ewo r k   [ 7 ] .   T o   co n s tr u ct  u s er s   n ee d   ex p er ien ce   cr iter ia  tr ee ,   we  ad o p ted   th e   r esu lt o f   m a p p in g   u s er   ex p er ien ce   asp ec ts   with   I SO2 5 0 0 0   s tan d a r d s   ch a r ac ter is tics .     In   th e   en d ,   th e   m a p p in g   p r o ce s s   d ir ec ted   th e   co n s tr u ctio n   o f   th p r ag m atic   asp ec ev al u atio n   cr iter ia   tr ee   as sh o wn   in   Fig u r e   7 ,   an d   h ed o n ic   asp e ct  ev al u atio n   cr it er ia  tr ee   as   s h o wn   in   Fig u r 8 .   T h is   cr iter ia   tr ee   is   th b asis   f o r   d ev elo p in g   th ev alu atio n   y ar d s tick .     a.   Pra g m atic  asp ec t.   Pra g m atic  asp ec r ef e r s   to   “th s y s tem ' s   p er ce iv ed   ab ilit y   t o   s u p p o r t h ac h ie v em en t   o f   task s   an d   f o cu s es  o n   th s y s tem s   ac tu al  u s ab ilit y   in   co m p letin g   task s ,   t h at  ar th d o - g o als’  o f   th u s er ”  [ 2 0 ,   2 1 ] .   T h ese  asp ec ts   ca n   b m ea s u r ed   u s in g   tech n ical  c h ar ac ter is tics   o f   th d e v elo p ed   s o f twar wh i ch   ca n   b e   f o u n d   i n     th tech n ical   r ep o r ts .   Usi n g   I SO  2 5 0 0 0   ter m in o lo g y ,   th ese  cr iter ia  a r m ain l y   e v alu atin g   s o f twar e   p r o d u ct   q u ality   r elate d   to   u s er   ex p er ie n ce   in ter n al  an d   ex ter n al  q u al ity .   T h ev alu atio n   p ar th at  c o r r esp o n d s   to   th ese   cr iter ia  r eq u ir es  tech n ical  d o cu m en r ev iew.   T h u s er   n ee d s   ex p er ien ce   p r ag m atic  asp ec ts   ar d iv id ed   in to   th r ee   g en er al  e v alu atio n   cr iter ia   ea ch   o f   wh ich   ar e   d iv i d ed   in to   s et  o f   s p ec if ic  e v alu atio n   c r iter ia  as  s h o wn   in     Fi g u r 7 .   Gen er al  ev alu atio n   cr iter ia  r ef er   to   “c h ar ac ter is tics   t h at  ca n n o b ass ig n ed   v alu d ir ec tly   an d   r eq u ir e   f u r th er   d ec o m p o s itio n   to   wh i ch   th s et  o f   q u esti o n s   will  b ap p lied   s u cc ess iv ely   u n til  s p ec if ic  cr iter ia  ar e   o b tain ed   [ 1 4 ] .   Sp ec if ic  ev alu a tio n   cr iter ia  r ef er   to   “c h ar ac te r is tics   th at  ca n   b ass ig n ed   v al u d ir ec tly   u s in g     p ar ticu lar   d ata - g ath er in g   tec h n iq u e”   [ 1 4 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :   2 7 8 7   -   2799   2792   T ab le  1   illu s tr ates  th s p ec if ic  d ef in itio n   o f   th ev alu atio n   cr iter ia.   T h cr iter ia  tr ee   an d   th ese   d ef in itio n s   aid   in   th ac cu r ate  u n d er s tan d i n g   o f   th y ar d s tick   an d   th is   wo u l d   h elp   th ev alu ato r   k n o ex ac tly   wh at  ch ar ac ter is tics   ar to   b an aly ze d .   T h d escr ip tio n   o f   th d ev elo p ed   p r a g m atic  cr iter ia  is   g iv en   in     T ab le  2 .   T h ese  cr iter ia  ar e   ex t r ac ted   f r o m   I SO2 5 0 2 2   an d   I S 2 5 0 2 3   [ 1 0 ,   1 1 ]   wh ich   r ef er   to   th m ea s u r e m en o f   q u ality   i n   u s e,   an d   s y s tem   a n d   s o f twar p r o d u ct  q u al ity   r e s p ec tiv ely .           Fig u r 7 .   Pra g m atic  asp ec t e v alu atio n   cr iter ia  tr ee           Fig u r 8 Hed o n ic  asp ec t e v al u atio n   cr iter ia  tr ee       T ab le  1 .   Gen e r al  an d   s p ec if ic  ev alu atio n   cr iter ia  d escr ip tio n   o f   p r a g m atic  asp ec [ 1 2 ]   G e n e r a l   e v a l u a t i o n   c r i t e r i a   S p e c i f i c   e v a l u a t i o n   c r i t e r i a   D e scri p t i o n   F u n c t i o n a l   su i t a b i l i t y   F u n c t i o n a l   s u i t a b i l i t y   i s   t h e   d e g r e e   t o   w h i c h   a   p r o d u c t   o r   s y st e p r o v i d e s   f u n c t i o n t h a t   me e t   st a t e d   a n d   i mp l i e d   n e e d s w h e n   u se d   u n d e r   sp e c i f i e d   c o n d i t i o n s” .   F u n c t i o n a l   c o m p l e t e n e ss   Th e   d e g r e e   t o   w h i c h   t h e   set   o f   f u n c t i o n s   c o v e r s a l l   t h e   sp e c i f i e d   t a s k a n d   u ser  o b j e c t i v e s”.   F u n c t i o n a l   c o r r e c t n e ss   Th e   d e g r e e   t o   w h i c h   a   p r o d u c t   o r   s y s t e p r o v i d e t h e   c o r r e c t   r e su l t s   w i t h   t h e   n e e d e d   d e g r e e   o f   p r e c i s i o n .   F u n c t i o n a l   a p p r o p r i a t e n e ss   Th e   d e g r e e   t o   w h i c h   t h e   f u n c t i o n s   f a c i l i t a t e   t h e   a c c o m p l i sh m e n t   o f   s p e c i f i e d   t a s k a n d   o b j e c t i v e s”.   U sab i l i t y   U sab i l i t y   i s   t h e   e x t e n t   t o   w h i c h   a   p r o d u c t   o r   s y s t e c a n   b e   u s e d   b y   sp e c i f i e d   u s e r s t o   a c h i e v e   s p e c i f i e d   g o a l w i t h   e f f e c t i v e n e ss,  e f f i c i e n c y ,   a n d   sa t i sf a c t i o n   i n   a   sp e c i f i e d   c o n t e x t   o f   u se .   A p p r o p r i a t e n e ss  r e c o g n i z a b i l i t y   Th e   d e g r e e   t o   w h i c h   u s e r s c a n   r e c o g n i z e   w h e t h e r   a   p r o d u c t   o r   s y st e i s a p p r o p r i a t e   f o r   t h e i r   n e e d s .   Le a r n a b i l i t y   Th e   d e g r e e   t o   w h i c h   a   p r o d u c t   o r   s y s t e c a n   b e   u s e d   b y   s p e c i f i e d   u sers  t o   a c h i e v e   sp e c i f i e d   g o a l o f   l e a r n i n g   t o   u s e   t h e   p r o d u c t   o r   sy s t e m   w i t h   e f f e c t i v e n e ss ,   e f f i c i e n c y f r e e d o m fr o m ris k   a n d   s a t i sf a c t i o n   i n   a   sp e c i f i e d   c o n t e x t   o f   u se .   O p e r a b i l i t y   Th e   d e g r e e   t o   w h i c h   a   p r o d u c t   o r   s y s t e h a s   a t t r i b u t e t h a t   ma k e   i t   e a sy   t o   o p e r a t e   a n d   c o n t r o l .   U ser e r r o r   p r o t e c t i o n   Th e   d e g r e e   t o   w h i c h   t h e   sy s t e m   p r o t e c t s   u s e r s a g a i n st   ma k i n g   e r r o r s .   A c c e ss i b i l i t y   T h e   d e g r e e   t o   w h i c h   p r o d u c t s   a n d   s y s t e m s   c a n   b e   u s e d   b y   p e o p l e   w i t h   t h e   w i d e s t   r a n g e   o f   c h a r a c t e r i s t i c s   a n d   c a p a b i l i t i e s   t o   a c h i e v e   a   s p e c i f i e d   g o a l   i n   a   s p e c i f i e d   c o n t e x t   o f   u s e .   S a t i sf a c t i o n   Th e   d e g r e e   t o   w h i c h   u s e r   n e e d a r e   s a t i sf i e d   w h e n   a   p r o d u c t   o r   s y st e i u sed   i n   a   sp e c i f i e d   c o n t e x t   o f   u se .   U sefu l n e ss   S a t i sf a c t i o n   i t h e   d e g r e e   t o   w h i c h   a   u ser  i s s a t i sf i e d   w i t h   t h e i r   p e r c e i v e d   a c h i e v e m e n t   o f   p r a g m a t i c   g o a l s,  i n c l u d i n g   t h e   r e s u l t o f   u s e   a n d   t h e   c o n s e q u e n c e o f   u se .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   r ig o r o u s   u s er n ee d s   ex p erien ce   ev a lu a tio n   meth o d   b a s ed   o n … ( Mo h a mma d   Za r o u r )   2793   T ab le  2 .   Descr ip tio n   o f   p r ag m atic  asp ec t e v alu atio n   cr iter ia  [ 1 0 ,   1 1 ]   ID   Y a r d st i c k   D e scri p t i o n   1   F u n c t i o n a l   c o v e r a g e   Th e   p r o p o r t i o n   o f   t h e   s p e c i f i e d   f u n c t i o n s   h a b e e n   i m p l e me n t e d   2   F u n c t i o n a l   c o r r e c t n e ss   Th e   p r o p o r t i o n   o f   f u n c t i o n s   p r o v i d e t h e   c o r r e c t   r e s u l t s   3   F u n c t i o n a l   a p p r o p r i a t e n e ss  o f   u sa g e   o b j e c t i v e   Th e   p r o p o r t i o n   o f   t h e   f u n c t i o n r e q u i r e d   b y   t h e   u ser  p r o v i d e a n   a p p r o p r i a t e   o u t c o me   t o   a c h i e v e   a   sp e c i f i c   u s a g e   o b j e c t i v e   4   F u n c t i o n a l   a p p r o p r i a t e n e ss  o f   t h e   a p p l i c a t i o n   Th e   p r o p o r t i o n   o f   t h e   f u n c t i o n s   r e q u i r e d   b y   t h e   u s e r s t o   a c h i e v e   t h e i r   o b j e c t i v e p r o v i d e s   a p p r o p r i a t e   o u t c o me   5   D e scri p t i o n   c o m p l e t e n e ss   Th e   p r o p o r t i o n   o f   u sa g e   s c e n a r i o s   i s   d e s c r i b e d   i n   t h e   a p p l i c a t i o n   d e scr i p t i o n   o r   u ser  d o c u me n t s   6   D e mo n st r a t i o n   c o v e r a g e   Th e   p r o p o r t i o n   o f   t a s k s   h a d e mo n st r a t i o n   f e a t u r e f o r   u sers   t o   r e c o g n i z e     t h e   a p p r o p r i a t e n e ss   7   En t r y   p o i n t   sel f - d e s c r i p t i v e n e ss   Th e   p r o p o r t i o n   o f   t h e   c o m mo n l y   u s e d   l a n d i n g   p a g e s   o n   a   w e b si t e   t h a t   e x p l a i n   t h e   p u r p o s e   o f   t h e   w e b si t e   8   U ser g u i d a n c e   c o m p l e t e n e ss   Th e   p r o p o r t i o n   o f   f u n c t i o n e x p l a i n e d   i n   s u f f i c i e n t   d e t a i l   i n   u s e r   d o c u me n t a t i o n   a n d / o r   h e l p   f a c i l i t y   t h a t   e n a b l e u sers  t o   a p p l y   t h e   f u n c t i o n s   9   En t r y   f i e l d d e f a u l t s   Th e   p r o p o r t i o n   o f   e n t r y   f i e l d t h a t   c o u l d   h a v e   d e f a u l t   v a l u e s   a r e   a u t o ma t i c a l l y   f i l l e d   w i t h   d e f a u l t   v a l u e s   10   Er r o r   mess a g e u n d e r st a n d a b i l i t y   Th e   p r o p o r t i o n   o f   e r r o r   mess a g e t h a t   st a t e   t h e   r e a s o n   w h y   t h e   e r r o r   o c c u r r e d   a n d   h o w   t o   r e s o l v e   i t   11   S e l f - e x p l a n a t o r y   u ser  i n t e r f a c e   Th e   p r o p o r t i o n   o f   i n f o r ma t i o n   e l e m e n t s   a n d   st e p s   p r e s e n t e d   t o   t h e   u s e r   e n a b l e   c o mm o n   t a s k t o   b e   c o mp l e t e d   b y   a   f i r st - t i m e   u ser  w i t h o u t   p r i o r   s t u d y   o r   t r a i n i n g   o r   se e k i n g   e x t e r n a l   a ssi s t a n c e   12   O p e r a t i o n a l   c o n s i st e n c y   Th e   e x t e n t   t o   w h i c h   t h e   i n t e r a c t i v e   t a sk h a v e   b e h a v i o r   a n d   a p p e a r a n c e   t h a t   i s   c o n si s t e n t   b o t h   w i t h i n   t h e   t a s k   a n d   a c r o ss s i mi l a r   t a s k s   13   M e ss a g e   c l a r i t y   Th e   p r o p o r t i o n   o f   m e ssa g e f r o a   sy st e t h a t   c o n v e y   t h e   r i g h t   o u t c o m e   o r   i n s t r u c t i o n t o   t h e   u s e r   14   F u n c t i o n a l   c u s t o mi z a b i l i t y   Th e   p r o p o r t i o n   o f   f u n c t i o n a n d   o p e r a t i o n a l   p r o c e d u r e t h a t   a   u ser  c a n   c u s t o mi z e   f o r   h i s/ h e r   c o n v e n i e n c e   15   U ser I n t e r f a c e   c u s t o m i z a b i l i t y   Th e   p r o p o r t i o n   o f   u ser   i n t e r f a c e   e l e m e n t s t h a t   c a n   b e   c u st o mi z e d   i n   a p p e a r a n c e   16   M o n i t o r i n g   c a p a b i l i t y   Th e   p r o p o r t i o n   o f   f u n c t i o n   st a t e s   t h a t   c a n   b e   m o n i t o r e d   d u r i n g   o p e r a t i o n   17   U n d o   c a p a b i l i t y   Th e   p r o p o r t i o n   o f   t a s k t h a t   h a s   a   s i g n i f i c a n t   c o n se q u e n c e   p r o v i d e a n   o p t i o n   f o r   re - c o n f i r ma t i o n   o r   u n d o   c a p a b i l i t y   18   U n d e r st a n d a b l e   c a t e g o r i z a t i o n   o f   i n f o r mat i o n   Th e   p r o p o r t i o n   o f   s o f t w a r e   i n f o r mat i o n   t h a t   i o r g a n i z e d   i n   c a t e g o r i e s   t h a t   a r e   f a mi l i a r   t o   t h e   i n t e n d e d   u s e r s a n d   c o n v e n i e n t   f o r   t h e i r   t a sk s   19   A p p e a r a n c e   c o n si s t e n c y   Th e   p r o p o r t i o n   o f   u s e r   i n t e r f a c e s   w i t h   si mi l a r   i t e ms  t h a t   h a v e   a   s i mi l a r   a p p e a r a n c e   20   I n p u t   d e v i c e   s u p p o r t   Th e   e x t e n t   t o   w h i c h   t h e   t a s k s   c a n   b e   i n i t i a t e d   b y   a l l   a p p r o p r i a t e   i n p u t   m o d a l i t i e s   ( su c h   a s   k e y b o a r d ,   m o u se   o r   v o i c e )   21   A v o i d a n c e   o f   u ser   o p e r a t i o n   e r r o r   Th e   p o r t i o n   o f   u ser  a c t i o n a n d   i n p u t t h a t   a r e   p r o t e c t e d   a g a i n s t   c a u si n g   a n y   sy st e m a l f u n c t i o n   22   U ser e n t r y   e r r o r   c o r r e c t i o n   Th e   e x t e n t   t o   w h i c h   t h e   s y s t e p r o v i d e s s u g g e st e d   c o r r e c t i o n s f o r   d e t e c t e d   u se r   e n t r y   e r r o r s w i t h   a n   i d e n t i f i a b l e   c a u se   23   U ser e r r o r   r e c o v e r a b i l i t y   Th e   p r o p o r t i o n   o f   u ser   e r r o r t h a t   c a n   b e   c o r r e c t e d   o r   r e c o v e r e d   b y   t h e   sy s t e m   24   A c c e ss i b i l i t y   f o r   u sers w i t h   d i s a b i l i t i e s   Th e   e x t e n t   t o   w h i c h   t h e   p o t e n t i a l   u ser w i t h   s p e c i f i c   d i sa b i l i t i e s   s u c c e ssf u l l y   u se   t h e   s y st e m (w i t h   a ss i st i v e   t e c h n o l o g y   i f   a p p r o p r i a t e )   25   S u p p o r t e d   l a n g u a g e s a d e q u a c y   Th e   p r o p o r t i o n   o f   s u p p o r t e d   l a n g u a g e s   26   S a t i sf a c t i o n   w i t h   f e a t u r e s   U ser sa t i sf a c t i o n   o f   u si n g   s p e c i f i c   s y s t e m f e a t u r e s   27   D i scret i o n a r y   u s a g e   Th e   p r o p o r t i o n   o f   p o t e n t i a l   u s e r s u s i n g   a   sy st e o r   f u n c t i o n   30   F e a t u r e   u t i l i z a t i o n   Th e   p r o p o r t i o n   o f   u sers   u s i n g   a   p a r t i c u l a r   f e a t u r e   31   Th e   p r o p o r t i o n   o f   u sers   c o m p l a i n i n g   Th e   p r o p o r t i o n   o f   u sers   ma k i n g   c o m p l a i n t s   32   Th e   p r o p o r t i o n   o f   u ser   c o mp l a i n t a b o u t   a   p a r t i c u l a r   f e a t u r e   Th e   p r o p o r t i o n   o f   u ser’ c o mp l a i n t a b o u t   a   p a r t i c u l a r   f e a t u r e       b.   Hed o n ic  asp ec t   T h h ed o n ic  asp ec r e f er s   to   “th s y s tem 's  p er ce iv ed   ab ilit y   to   s u p p o r th e   u s er s   ac h ie v em en o f     b e - g o als’ [ 2 0 ,   2 1 ] ,   s u ch   as   b ein g   h a p p y ,   o r   s atis f ied   with   f o c u s   o n   th e   s elf ”.   T h u s er   n ee d s   ex p e r i en ce   h ed o n ic  asp ec is   d iv i d ed   in t o   two   g en er al  e v alu atio n   c r iter i ea ch   o f   wh ich   is   d iv id e d   in t o   s et  o f   s p ec if ic  ev alu atio n   cr iter ia  as  s h o wn   in   Fig u r 8 .   T h ev alu atio n   p ar th at  co r r esp o n d s   to   th ese  cr iter ia  r eq u ir es  co llectin g   u s er s   s atis f ac tio n   u s i n g   th q u esti o n n air as  d ata - g ath er in g   to o l.  Usi n g   I SO  2 5 0 0 0   ter m i n o lo g y ,   th ese  cr iter ia  ar m ain ly   ev alu atin g   q u ality   in   u s e.   T ab le   3   illu s tr ates  th s p ec if ic  d ef in itio n s   o f   th ev alu atio n   cr iter ia.   T h cr iter ia  tr ee   an d   t h ese  d ef in itio n s   wo u ld   h elp   i n   th u n d er s tan d in g   o f   th h e d o n ic  y ar d s tick   an d   th is   wo u ld   h elp   th e   ev alu ato r s   k n o ex ac tly   wh at  ch ar ac ter is tics   ar to   b an aly ze d .     3 . 3   Ya rds t ick   T h e   y a r d s tick   is   “th e   d escr ip ti o n   o f   t h tar g et  an d   th e   cr iter ia   tr ee   d ev elo p e d   in   th e   p r e v io u s   two   s tep s   a r th b asis   f o r   d ev elo p in g   th y ar d s tick .   All  y ar d s tick s   m u s co n tain   th s p ec if icatio n s ,   r eq u ir em e n ts ,   d escr ip tio n s ,   o r   v alu es  f o r   ea c h   cr iter io n   co n s id er ed ”  [ 1 4 ] .   B o th   th p r ag m atic  asp ec t   ev a lu atio n   cr iter ia   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :   2 7 8 7   -   2799   2794   h ed o n ic  asp ec e v alu atio n   cr it er ia,   d ev elo p ed   in   s ec tio n   3 . 2 ,   ar u s ed   to   d e v elo p   t h ev alu atio n   m eth o d   in   th is   p ap er .   T h d escr ip tio n   o f   t h d ev elo p ed   h ed o n ic  ev alu atio n   c r iter ia  is   g iv en   in   T a b le  4 .   So ,   th s y n th esis   tech n iq u will  b u s ed   to   v er if y   cr iter io n - by - cr iter io n   th at  ea ch   cr iter io n   h as  b ee n   co n s id er ed   i n   th e   ev alu atio n .   Fu r th er m o r e ,   f o r   th e   p r a g m ati cr iter ia,   q u an titativ v alu h as b ee n   ass ig n ed   to   ea ch   ev alu atio n   cr iter i o n   b ased   o n   m ea s u r em e n t f u n ctio n   g i v en   in   SQu aRE  s tan d ar d s ,   s p e cif ically   in   I SO/IE C   2 5 0 2 2   an d   I SO/IE C   2 5 0 2 3   [ 1 0 ,   1 1 ] .   W h ich   a r u s ed   t o   m e asu r th ass ig n ed   y ar d s tick   f o r   ea ch   ev alu atio n   cr iter ia?  T h ass ig n ed   q u a n titativ v alu r an g i n g   f r o m   0 . 0   to   1 . 0 ,   t h clo s er   t o   1 . 0   is   b etter .   s am p le  o f     th q u an titativ v al u ass ig n ed   f o r   t h ev alu atio n   cr iter ia  is   p r esen ted   in   T a b le  5 .   On th o th er   h an d ,   t h h ed o n ic  cr iter ia  ar ev alu ated   v ia  q u esti o n n air e.   T h q u esti o n n air co n s is ts   o f   f o u r   s ec tio n s u s ef u ln ess ,   p leasu r e,   u s er   in ter f ac ae s th etics,  an d   tr u s t.  E ac h   s ec tio n   co n s is ts   o f   s et  o f   p o s itiv an d   n e g ativ s tatem en ts   d esig n ed   to   ev alu ate  u s er   s atis f ac tio n .   T h an s wer s   ar b as ed   o n   L ik er s ca le  an d   weig h h as  b ee n   ass ig n ed   as  f o llo ws:   1   f o r   s tr o n g l y   d is ag r ee ,   2   f o r   d is ag r ee ,   3   f o r   n eith er   ag r ee   n o r   d is ag r ee ,   4   f o r   ag r ee   an d   5   f o r   s tr o n g ly   ag r ee .   T h is   p r o p o s ed   ev alu atio n   m et h o d   is   alig n ed   with   th ev alu atio n   f r am ewo r k   d is cu s s ed   in   [ 2 2 ]   in   th s en s th at  we  d ef in ed   th u s er   ex p e r ien ce   ev al u atio n   cr iter ia  r elate d   to     th p r o d u ct  q u ality   a n d   q u ality   in   u s b ased   o n   th co r r esp o n d i n g   d ef in e d   m ea s u r es  o f   t h I SO2 5 0 0 0   s er ies  s tan d ar d .   T h f u ll  v e r s io n   o f   th ev alu atio n   to o l   is   av ailab le  at   h ttp s ://www. s u r v ey m o n k ey . c o m /r /C HM PTHM .         T ab le  3 .   Gen e r al  an d   s p ec if ic  ev alu atio n   cr iter ia   d escr ip tio n   o f   Hed o n ic  asp ec [ 1 2 ]   G e n e r a l   e v a l u a t i o n   c r i t e r i a   S p e c i f i c   e v a l u a t i o n   c r i t e r i a   D e scri p t i o n   U sab i l i t y   U sab i l i t y   i s   t h e   E x t e n t   t o   w h i c h   a   p r o d u c t   o r   s y st e c a n   b e   u se d   b y   s p e c i f i e d   u sers  t o   a c h i e v e   s p e c i f i e d   g o a l s   w i t h   e f f e c t i v e n e ss ,   e f f i c i e n c y ,   a n d   sa t i sf a c t i o n   i n   a   sp e c i f i e d   c o n t e x t   o f   u se .   U ser i n t e r f a c e   a e s t h e t i c s   D e g r e e   t o   w h i c h   t h e   u s e r   i n t e r f a c e   e n a b l e p l e a s i n g   a n d   s a t i sf y i n g   i n t e r a c t i o n   f o r   t h e   u s e r .   S a t i sf a c t i o n   S a t i sf a c t i o n   i t h e   D e g r e e   t o   w h i c h   u s e r   n e e d a r e   sa t i sf i e d   w h e n   a   p r o d u c t   o r   sy st e i u se d   i n   a   s p e c i f i e d   c o n t e x t   o f   u se” .   Tr u st   D e g r e e   t o   w h i c h   a   u ser   o r   o t h e r   st a k e h o l d e r   h a s   c o n f i d e n c e   t h a t   a   p r o d u c t   o r   sy st e m w i l l   b e h a v e   a i n t e n d e d .   P l e a s u r e   D e g r e e   t o   w h i c h   a   u ser   o b t a i n s   p l e a s u r e   f r o m   f u l f i l l i n g   t h e i r   p e r so n a l   n e e d s .       T ab le  4 .   Descr ip tio n   o f   h ed o n ic  asp ec t e v alu atio n   cr iter ia  [ 1 0 ,   1 1 ]   ID   Y a r d st i c k   D e scri p t i o n   1   A p p e a r a n c e   a e st h e t i c o f   u ser  i n t e r f a c e s   Th e   e x t e n t   t o   w h i c h   t h e   u ser  i n t e r f a c e s a n d   t h e   o v e r a l l   d e si g n   a e st h e t i c a l l y   p l e a si n g   i n   a p p e a r a n c e   2   U ser t r u s t   Th e   e x t e n t   t o   w h i c h   t h e   u ser  t r u s t s t h e   sy s t e m   3   U ser p l e a s u r e   Th e   e x t e n t   t o   w h i c h   t h e   u ser  o b t a i n p l e a s u r e   c o mp a r e d   t o   t h e   a v e r a g e   f o r   t h i s t y p e   o f   sy st e m       3 . 4   Da t a   g a t hering   t ec hn iqu es   Data   g ath er in g   tech n iq u es  ar u s ed   to   o b tain   t h n ec ess ar y   i n f o r m atio n   to   ju d g th ta r g et.   T h m ain   d ata - g ath er in g   tech n iq u es  u s e d   in   m o s ev alu atio n s   in   th e   s o f twar en g in ee r in g   f ield   ca n   b class ed   in   th r ee   g r o u p s   [ 1 4 ] th m ea s u r em en t   tech n iq u es,  th ass ig n atio n   tech n iq u es,  an d   Op in i o n   tech n i q u es.  I n   th is   p ap er ,   th m ea s u r em en an d   ass ig n atio n   tech n iq u es  ar u s ed .   Fo r   e ac h   cr iter io n ,   we  ass ig n ed   m e asu r em en f u n ctio n   as  m ea s u r em en d ata - g ath e r in g   tech n iq u e ,   th m ea s u r e m en f u n ctio n   u s ed   to   co m b in t h q u ality   m ea s u r e   elem en ts   f o r   ea ch   cr iter io n   to   p r o d u ce   th q u ality   m ea s u r e   ( y ar d s tick ) .   C o n s eq u en tly ,   th ass ig n atio n   d ata  g ath er in g   tech n iq u is   ass ig n ed   to   o b tain   d ata,   wh ich   is   u s ed   to   g en e r ate  th n u m er ica v alu es  o f   q u ality   m ea s u r elem en ts ,   to   ju d g th u s er   n ee d s   ex p e r ien ce   ( tar g e t)   with   th n ex co m p o n en ( s y n th esis   tech n iq u es).     3 . 5   Sy nthesis   t ec hn iqu e s   Sy n th esis   tech n iq u es  ar u s ed   to   s y n t h esize  all  th d ata  a n d   in f o r m atio n   o b tain ed   a f ter   ap p ly in g     th d ata - g ath e r in g   tech n iq u es  an d   f o r   co m p ar is o n   ag ain s th e   y ar d s tick   to   ju d g e   t h tar g et  a n d   o b tain   th r esu lts   o f   th e v alu atio n   [ 1 4 ] .   Usu ally ,   two   ty p es  o f   s y n t h esis   tech n iq u es  a r u s ed ,   s in g le   v alu tech n iq u es,    an d   m u ltip le  v al u es  tech n iq u es  [ 1 4 ] .   T h e   s elec tio n   o f   th e   s y n th esis   tech n iq u es  d ep en d s   o n   th p r ec e d in g   co m p o n en ts .   I n   th is   r esear ch   co n tex t,   th e   m u ltip le   v alu e   tech n iq u e   is   u s ed   w h er c r iter ia  g r o u p in g   a n d     d atu m - by - d atu m   co m p ar is o n   with   th y ar d s tick   is   ap p lied .   C o n s eq u en tly ,   s et  o f   r ec o m m en d atio n s     o b tain   b ased   o n   e v alu atio n   r e s u lts   h elp s   to   d ev elo p   th ev alu atio n   tar g et,   h e n ce   th u s er   n ee d s   ex p er ien ce   ev alu atio n   m eth o d s .       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   r ig o r o u s   u s er n ee d s   ex p erien ce   ev a lu a tio n   meth o d   b a s ed   o n … ( Mo h a mma d   Za r o u r )   2795   T ab le  5 .   Qu a n titativ v alu es o f   th p r a g m atic  asp ec ev alu ati o n   cr iter ia   G e n e r a l   C r i t e r i a   S p e c i f i c   C r i t e r i a   Y a r d st i c k   Y a r d st i c k   V a l u e s   D a t a   g a t h e r i n g   T e c h n i q u e s (D G T)   F u n c t i o n a l   su i t a b i l i t y   F u n c t i o n a l   c o m p l e t e n e ss   F u n c t i o n a l   c o v e r a g e   0   < =   X   < =   1     Th e   c l o s e r   t o   1 . 0   i b e t t e r .   Th e   f u n c t i o n a l   c o v e r a g e   f u n c t i o n   X   i s :   X   =   1     A   /   B   A   =   N u mb e r   o f   f u n c t i o n s   mi ss e d   B   =   N u m b e r   o f   f u n c t i o n sp e c i f i e d   D a t a   c a n   b e   c o l l e c t e d   f r o m:     R e q u i r e me n t   s p e c i f i c a t i o n   d o c u m e n t     D e si g n   sp e c i f i c a t i o n   d o c u me n t     U ser ma n u a l   d o c u me n t     Te st   r e p o r t   F u n c t i o n a l   c o r r e c t n e ss   F u n c t i o n a l   c o r r e c t n e ss   0   < =   X   < =   1       Th e   c l o s e r   t o   1 . 0   i b e t t e r .   Th e   f u n c t i o n a l   c o r r e c t n e ss f u n c t i o n   X   i s:   X   =   1     A   /   B   A   =   N u mb e r   o f   i n c o r r e c t   f u n c t i o n s   B   =   N u m b e r   o f   f u n c t i o n c o n s i d e r e d   D a t a   c a n   b e   c o l l e c t e d   f r o m:     R e q u i r e me n t   s p e c i f i c a t i o n   d o c u m e n t .     D e si g n   sp e c i f i c a t i o n   d o c u me n t     U ser ma n u a l   d o c u me n t       Te st   r e p o r t   U sab i l i t y   A p p r o p r i a t e n e ss  r e c o g n i z a b i l i t y   D e scri p t i o n   c o m p l e t e n e ss   0   < =   X   < =   1       Th e   c l o s e r   t o   1 . 0   i s t h e   b e t t e r .   Th e   d e scri p t i o n   c o m p l e t e n e ss  o f   sy s t e f u n c t i o n   X   i s:   X   =   A   /   B   A =   N u m b e r   o f   u sa g e   sc e n a r i o d e s c r i b e d   i n   t h e   a p p l i c a t i o n   d e s c r i p t i o n   o r   u ser  d o c u m e n t s   B =   N u m b e r   o f   u sa g e   s c e n a r i o s   o f   t h e   p r o d u c t .   D a t a   c a n   b e   c o l l e c t e d   f r o m:     U ser ma n u a l   d o c u me n t     a p p l i c a t i o n   d e s c r i p t i o n       O p e r a t i o n   ( t e s t )   r e p o r t       3 . 6   E v a lua t i o n pro ce s s   T h ev alu atio n   p r o ce s s   is   s e r ies  o f   ac tiv ities   an d   task s   th a ar ex ec u ted   to   p er f o r m   an   e v alu atio n .   All  th p r ev io u s   co m p o n en ts   ar n ec ess ar y   to   d escr ib a n d   d e s ig n   an   ev alu atio n   m eth o d ,   b u it  is   th ev alu atio n   p r o ce s s   th at  d escr ib es  th lis o f   ac tiv i ties   to   p er f o r m   a n d   wh en   to   u s th p r ev io u s   elem en ts   in   p r ac tice.     T h ev alu atio n   p r o ce s s   d escr ib es  th r ee   m ain   p h ases ,   th p lan n in g   o r   p r e p ar atio n   p h ase,   ex am in atio n   p h ase,   an d   d ec is io n - m ak in g   p h ase [ 1 4 ] ,   t h ese  p h ases   m atch   t h th r ee   m ajo r   p o in ts   th r o u g h   wh ich   a n   ev alu atio n   p ass es.    I n   th is   r esear ch   c o n tex t,   th ac tiv i ties   ass o ciate d   with   ea ch   p h ase  ar s h o wn   i n   Fig u r e   9 .   I n   th p lan n in g   p h ase,   th tar g et  s h o u ld   b an aly ze d   f ir s t.  T h is   an aly s is   is   n ee d ed   to   g et  m o r in f o r m atio n   ab o u th tar g et  to   d esig n   th co m p o n e n ts   in   th n ex s t ep s .   I n   th last   s tag e,   all  th ac tiv ities   an d   r eso u r ce s   r eq u ir ed   f o r   co n d u ctin g     th ev alu atio n   s h o u ld   b p r ep ar ed .   I n   th e x am in atio n   p h as e,   th ev alu at o r   s h o u ld   ap p ly   th d ata  g ath e r in g   tech n iq u es  to   co llect  th d ata  an d   v e r if y   t h co m p leten ess   o f   co llected   d ata.   Fin ally ,   i n   th d ec is io n - m ak i n g   p h ase,   th e v alu ato r   s h o u ld   a p p ly   th e   s y n th esis   tech n iq u e   t o   co m p ar th e   d ata  co llected   f r o m   th p r ec e d in g   p h ase  with   th y ar d s tick .   T h is   co m p ar is o n   wo u ld   s h o th wea k   p o in ts   in   th ev alu ated   t ar g et  an d   b a b le  to   s u g g est  im p r o v em en ts   i n   th e   f in al   e v alu atio n   r e p o r t.   T h e   ev alu atio n   p r o ce s s   s h o u l d   b d o c u m en ted ,   th is   d o cu m e n tatio n   wo u ld   b u s ef u f o r   co m p ar is o n s   with   th r esu lts   o b tain in g   in   f u tu r ev al u atio n s   o f   th s am o r   s im ilar   tar g ets”  [ 2 0 ] .           Fig u r 9 .   Ma in   s u b - p r o ce s s es   o f   th p r o p o s ed   ev alu atio n   p r o ce s s   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :   2 7 8 7   -   2799   2796   4.   Q UALI T Y   O F   T H E   D E V E L O P E UX  E VA L UA T I O N   M E T H O D   Me asu r in g   UX  n ee d s   u s in g   th d ev elo p ed   ev al u atio n   m eth o d   is   way   to   q u an tify   th p h e n o m en o n   u n d er   s tu d y   wh ich   is   th U in   o u r   ca s e.   Su ch   a   p h e n o m en o n   is   an   a b s tr ac co n ce p t   u s u ally   k n o w n   as    th eo r etica l c o n s tr u ct  th at  is   a v ailab le  in   v a r io u s   d o m ain s   th at  in clu d h ea lth   an d   s o cial  s cien ce s   [ 2 3 ] .   “Usin g   test s   o r   in s tr u m en ts   th at  ar v alid   an d   r eliab le  t o   m ea s u r e   s u ch   co n s tr u cts  is   cr u cial  co m p o n e n o f   r esear ch   q u ality ”  [ 2 3 ] .   I n   th is   r esear ch   c o n tex t,  we   u s ed   two   v er if icatio n   ap p r o ac h es  to   v alid ate  th e   d e v elo p ed   ev alu atio n   m eth o d   as f o llo ws:     4 . 1   Co nte nt  v a lid it y   C o n ten v alid ity   is   c o n ce r n e d   with   d eter m in in g   h o well  th item s   d ev elo p e d   to   m ea s u r e   co n ce p t   o f   in ter est  ar e   ad e q u ate  a n d   r ep r esen tativ o f   all  th e   item s   th at  m ig h m ea s u r th at   co n ce p t.  Dete r m in i n g   wh eth er   a   m ea s u r e   o r   to o ad e q u ately   c o v er s   a   co n ten a r ea   o r   ad e q u ately   r ep r esen ts   a   co n c ep is   d if f icu lt  to   b e   q u an tifie d   u s in g   s tatis tical  te s ts .   Hen ce ,   co n te n v alid ity   u s u ally   d e p en d s   o n   th j u d g m en o f   e x p er ts   i n     th co n ce p d o m ain .   Acc o r d in g ly ,   two   u s er   ex p er ie n ce   ex p er ts   h av b ee n   ask ed   to   r ev iew  an d   r ate  th d ev elo p ed   ev alu atio n   to o an d   a n s wer   s h o r s u r v ey   o f   1 7   q u esti o n s   ab o u t h clar ity   an d   s u itab ilit y   o f   th ev alu atio n   t o o l.     T h an s wer s   to   th q u esti o n s   ar b ased   o n   L ik er s ca le  o f   th r ee   s ca les  ( ag r ee ,   p a r tially   ag r ee ,   an d   d is ag r ee ) .   T o   m ea s u r th d eg r ee   o f   co n c o r d an ce   b etwe en   th two   r ate r s ,   th in ter - r ater   r eliab ilit y   test   is   ca lcu lated   u s in g   C o h en s   k ap p a   [ 2 4 ] .   T h ca lc u lated   C o h en s   k a p p is   g iv e n   in   T ab le  6 .   I t c a n   b s ee n   th at  th ag r ee m e n t le v el  b etwe en   th two   r ater s   ( th k ap p co ef f icien k )   is   7 3 %.  Acc o r d in g   to   th k ap p d i v is io n s   d ef in ed   in   [ 2 5 ]   th ag r ee m en lev el  r an g es  b e twee n   0 . 6 1 - . 8 0   is   co n s id er ed   as  h av in g   s u b s tan tial  lev el  o f   ag r ee m en t.  T h is   m ea n s   th at  th e   two   r ater s   a g r e to   an   ac ce p tab le   lev el  o n   th e   s u itab ilit y   o f   t h d e v elo p e d   UX  ev alu atio n   t o o l.   m o r ac cu r ate  v is io n   o f   t h s u itab ilit y   o f   th e   d ev elo p ed   to o l   ca n   b ac h iev ed   if   m o r e x p er ts   r ate     th ev alu atio n   to o l,  b u u n f o r t u n ately ,   n o   o th er   ex p er ts   ar f o u n d   to   a g r ee   o n   r atin g   th e v alu atio n   to o l.  Ma y b m o r ex p er ts   s h o u ld   b co n tacte d   in   th f u tu r f o r   f u r th er   im p r o v em e n ts .       T ab le  6 .   C o h e n s   Kap p ca lcu latio n s           Ex p e r t - 2             A n sw e r s           %   Ex p e r - 1   1           5 0 %   2           4 3 %   3           7%     To t a l               %             P r o b a b i l i t y   O f   a g r e e me n t :   P ( a )   8 6 %   P r o b a b i l i t y   o f   a g r e e me n t   b y   C h a n c e :   P ( e )   4 6 %   C o h e n K a p p a   ( k )   7 3 %       4 . 2   E v a lua t i o n m et ho d a na l y s is   T h ev alu atio n   m eth o d s   r el iab ilit y   an d   v alid ity   ar a n a ly ze d   b y   ev alu atin g   th m ai n   in ter n al   d is cip lin es,  th at  u s ed   to   d ev el o p   th it.  T h r ee   d is cip lin es  ar e   u s ed   to   d ev el o p   th p r o p o s ed   ev alu atio n   m eth o d ,   n am ely ,   th u s er   ex p e r ien ce   f r am ewo r k   as  d escr ib ed   in   [ 7 ] ,   th e v alu atio n   t h eo r y   co n ce p ts   [ 8 ,   26]   a n d     th I SO2 5 0 0 0   s er ies  s tan d ar d   [ 1 0 ,   1 1 ] ,   T h c r ea ted   ev alu at io n   m eth o d   h as  m ad e   u s o f   th ese  d is cip lin es  as  s o lid   b ases   f o r   its   d ev elo p m en t.  Su ch   s o lid   b ases   lead   t o   d ev elo p i n g   r eliab le  an d   v a lid   u s er   ex p er ien ce   ev alu atio n   m eth o d .   T h s o lid   n atu r o f   th ese  d is cip lin es is   ac cr ed ited   to   th f o llo win g   m o t iv es:   a.   T h UX  f r am ewo r k   is   g r o u n d ed   o n   s y s tem atic  liter atu r r ev iew  an d   an aly s is   o f   ex tr ac ted   d ata  f r o m   p r im ar y   s tu d ies.  Fu r th er m o r e,   th f r am ew o r k   ca n   b e   u s ed   a s   s tr ateg ic  g u id elin es  f o r   an y o n in ter ested   in   u s in g   th u s er   ex p er ien ce   ac t iv ities   in   th o r g an izatio n .   No te  th at  s o m n ew  UX  a s p e cts  ar r ec en tly   d o cu m e n ted   in   th e   liter atu r a n d   ap p ly   t o   ce r tain   d o m ain s   o r   ex p lo r in g   s o m n ew   co n ce p ts   th at  ar e   b ey o n d   th UX  d o m ain ,   f o r   i n s tan ce ,   Sh in   et  al.   d is cu s s ed   alg o r ith m ic   ex p er ien ce   t h at  co m es  b ey o n d   UX  [ 2 7 ] ,   Sh in ,   as  well,   d is cu s s ed   th co n ce p t o f   im m er s io n   i n   au g m en ted   r e ality   g am es  an d   d ev elo p e d   m o d el  to   p r ed ict   UX  o f   au g m en ted   r ea lity   g a m es  [ 2 8 ] .   Su ch   d o m ain - s p ec i f ic  asp ec ts   ar ex cl u d ed   f r o m   th is   g en er al   UX  ev alu atio n   m eth o d .     b.   T h ev al u atio n   t h eo r y   h as   b ee n   ad o p ted   an d   ap p lied   in   v ar i o u s   ar en as   in clu d in g   th e   s o f t war en g in ee r in g   f ield .   Ma n y   r esear ch e r s   in   t h s o f twar en g in ee r in g   f ield   u s ed   th e v alu atio n   th eo r y   c o n ce p as  b ases     to   d ev elo p   a n d   e v alu ate  d if f er en f r am ewo r k s ,   m eth o d s ,   an d   m o d els,  s ee   f o r   in s tan c [ 1 3 ,   1 6 ,   2 9 ] .   Fu r th er m o r e ,   th ev al u atio n   th eo r y   ca n   b ap p lied   to   all  k in d s   o f   ev alu atio n   wo r k .     Evaluation Warning : The document was created with Spire.PDF for Python.