T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   5 Octo b er   2 0 2 1 ,   p p .   1 573 ~ 1 5 80   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 9 i5 . 2 0 4 0 8     1573       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Q ua nti tativ e ana ly sis  in  a  heuristi ev a lua tion o w eb - ba sed  ency clo pedia  f o children         G it a   I nd a M a rt ha s a ri Nur  H a y a t in   Un iv e rsi tas   M u h a m m a d i y a h   M a l a n g ,   M a lan g ,   In d o n e sia       Art icle   I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u l 2 1 2020   R ev i s ed   J u l 1 4 2 0 2 1   A cc ep ted   J u l 2 2 2 0 2 1       A n a p e d ia   is  a   w e b - b a se d   e n c y c lo p e d ia  d e sig n e d   sp e c if ica ll y   f o c h il d re n .   T h e   w e b   w a b u il t   b e c a u se   th e re   a re   stil v e ry   fe w   In d o n e sia n - lan g u a g e   e n c y c lo p e d ias   f o c h il d re n .   T h is  p a p e p re se n ts  a n   e v a lu a ti o n   o f   t h e   u sa b il it y   o f   th e   A n a p e d ia   w e b site  d e v e l o p e d   f o c h i ld re n   i n   In d o n e sia   to   re tri e v e   in f o rm a ti o n   a v a il a b le  in   a   w id e   ra n g e   o f   a r e a s.  In   th e   c o n tex o f   u sa b il it y   e v a lu a ti o n   o f   c h il d re n   e n c y c lo p e d ia,  th is  is t h e   f irst  stu d y   to   a n a ly z e   u sa b il it y   p ro b lem id e n ti f ied   b y   e x p e rts  d u rin g   th e   h e u r isti c   in s p e c ti o n   o n   t h e ir  o v e ra ll   e v a lu a ti o n   sc o re .   T h is  e v a lu a ti o n ,   p e rf o rm e d   b y   se v e n   u sa b il it y   e x p e rts,   in v o lv e d   t h e   id e n ti f ica ti o n   a n d   a n a ly sis  o f   u sa b il it y   p ro b lem in   th e   se lec ted   w e b site.  T h e   a ss e ss m e n p ro c e ss   w a m a in ly   b a se d   o n   t h e   S iri u s   f ra m e w o rk   e v a lu a ti o n   m e c h a n i s m .   T h e   we b   c o n sid e re d   a h a v in g   h ig h   u sa b il it y   lev e l,   b u t h e y   id e n ti f ied   m a n y   u sa b il it y   p ro b lem f o f u rth e im p ro v e m e n o f   th e   site.  T h e   m o st  v io late d   h e u risti c   it e m   wa f o u n d   t o   b e   h e l p   wh e re a th e   lea st v io late d   h e u risti c   it e m   w a s “ lab e ll in g   a sp e c t .   K ey w o r d s :   C h i ld r en   en c y clo p ed ia   Heu r is tic  e v al u atio n   Siriu s   f r a m e w o r k   W eb   u s ab ilit y   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Gita   I n d ah   Ma r t h asar i   Un i v er s ita s   Mu h a m m ad i y a h   Ma lan g   B en d u n g a n   Su ta m St.  No . 1 8 8 ,   Su m b er s ar i,  L o w o k w ar u ,   Ma lan g ,   E as t J av a   6 5 1 4 5 ,   I n d o n esia    E m ail:  g ita @ u m m . ac . id       1.   I NT RO D UCT I O N     Usab ilit y   is   o n o f   t h k e y   s u c ce s s   f ac to r s   o f   w eb s ite  t h at  d eter m in e s   th ea s o r   d if f icu l t y   o f   u s er s   o p er atin g   w eb s ite   [ 1 ] - [ 3 ] B esid es   th e   p er f o r m an ce   a n d   r eliab ilit y   f ac to r s ,   u s ab ilit y   is   in c lu d ed   as  a n   i m p o r tan at tr ib u te  o f   s o f t w ar q u alit y   [ 2 ] .   A cc o r d in g   to   I n t er n atio n al  Or g a n izatio n   f o r   St an d ar d izatio n   ( I SO )   9241 - 1 1 ,   u s ab ilit y   i s   d e f in ed   as  t h e x ten to   w h ic h   s y s t e m ,   p r o d u ct  o r   s er v ice  ca n   b e   u s ed   b y   s p ec if ied   u s er s   to   ac h ie v s p ec if ied   g o als  w it h   ef f ec ti v e n es s ,   ef f ic ien c y   a n d   s atis f ac tio n   in   s p ec if ied   co n tex o f     u s e   [ 4 ] [ 5 ] Usab ilit y   is   r elat ed   to   u s er   e x p er ien ce   w h e n   i n ter ac tin g   w it h   t h s y s te m   i n cl u d in g   t h a s p ec o f   lear n ab ilit y ,   u n d er s ta n d ab ilit y ,   an d   o p er ab ilit y   [ 6 ] ,   [ 7 ] .   T h u s ab ili t y   lev el   o f   t h s o f t w ar ca n   b m ea s u r ed   u s i n g   an   a u to m ated   o r   m an u al  ap p r o ac h   u s in g   to o ls   o r   ev alu a tio n s   f r o m   en d   u s er s   o r   ex p er ts .   T h ese   ap p r o ac h es  ca n   id en ti f y   u s ab ilit y   is s u es   in   ter m s   o f   e f f ic ien c y ,   e f f ec ti v en e s s ,   a n d   u s e r   s atis f ac tio n .   T h ch o ice  o f   ev alu atio n   m et h o d   g r ea tl y   i n f lu e n ce s   t h ac cu r ac y   o f   th r esu lt s   w h ic h   w ill  in f o r m   th q u alit y   o f   th m ea s u r ed   s o f t w ar e.   Usab i lit y   e v al u atio n   is   n o o n l y   n ee d ed   as  r ef er en ce   f o r   th e   q u a lit y   o f   t h w eb s ite   ( th lo w er   v al u w ill  a f f ec th ef f icien c y   o f   u s a n d   u s er   s a tis f ac tio n ) ,   b u al s o   co n tr ib u te   f o r   d ec r ea s in g   t h e   r is k   o f   t h r es u lt  [ 8 ] .   T h ap p licatio n s   i n ter f ac is   u s u all y   d esi g n ed   b ased   o n   t h p er s p ec tiv o f   t h d ev elo p er ,   s o   it  is   o f ten   n o ac co r d in g   to   u s er   n ee d s   [ 9 ] T h er ef o r e,   an   ev alu atio n   o f   th u s er   i n ter f ac n e ed s   to   b d o n to   en s u r th a t h i n ter f ac i s   i n   ac co r d an ce   w it h   u s er   r eq u ir e m en ts .   B ased   o n   t h a s s e s s m e n m ec h a n i s m ,   th er e   ar th r ee   ca teg o r ies  o f   u s ab ili t y   e v al u atio n ,   n a m e l y 1 )   U s er - b ased   m et h o d ,   w h er e   th s y s te m   u s er   is   in v o lv ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   5 Octo b e r   2 0 2 1 :    1 57 3   -   1 5 80   1574   in   t h p r o ce s s   o f   id en ti f y i n g   u s ab ilit y   is s u e s .   T h p u r p o s o f   t h is   m et h o d   is   to   m ea s u r e   t h e   u s er   p er f o r m an ce   o r   s atis f ac tio n   w h e n   i n ter ac ti n g   w it h   th s y s te m   [ 1 0 ] 2 )   E v alu ato r   b ased   m eth o d ,   w h er u s ab ilit y   is s u es  ar id en ti f ied   b y   g r o u p   o f   ev al u ato r s .   On is   h eu r is t ic  ev al u atio n   th at  i n v o l v es  g r o u p   o f   ex p er ts   to   ass ess   t h e   u s er   i n ter f ac e;  a n d   3 )   D ev ice - b ased   m e th o d ,   w h er id en ti f ic atio n   o f   p r o b lem s   r elate d   to   th u s er   in ter f ac i s   d o n u s in g   s o f t w ar e   [ 6 ] T h w a y   th i s   d ev ice  w o r k s   is   to   en s u r th at  t h s y s te m   m ee t s   th e   s p ec if ied   u s ab ilit y   s tan d ar d s .   Heu r is tic   ev al u atio n   is   th m o s p o p u lar   m et h o d   u s ed   in   s o f t w ar u s ab ili t y   m ea s u r e m en b ec au s it   is   f ast  a n d   i n ex p en s i v e.   T h m et h o d   p r o p o s ed   b y   Nielse n   an d   Mo lich   in v o lv e s   g r o u p   o f   ev alu ato r s   ( g en er all y   n u m b er i n g   3   to   5   p eo p le)   w h o   u n d er s ta n d   s o m o f   th p r in cip les  o f   u s ab ilit y   ( k n o w n   as   'h eu r i s tics ' )   o r   w h o   ar u s ab il it y   e x p er ts   [ 1 1 ] T h ese  ten   p r in cip les  ar s t ill  r elev a n a n d   ar w id el y   u s ed   i n   ev alu a tin g   s o f t w ar in ter f ac es.  Heu r is tic  e v al u atio n   g iv es  ef f ec ti v r esu lt s   w h e n   a p p lie d   to   s o f t w ar d ev elo p m en iter ati v el y   e v e n   th o u g h   it  d o es  n o in v o l v m a n y   e v al u ato r s ,   it  is   ab le  to   d etec p r o b lem s   r elate d   to   u s ab ili t y   a t h s o f t w ar i n ter f ac e   [ 1 1 ] ,   [ 1 2 ] .   Heu r is tic  e v alu a tio n   m et h o d s   ca n   b ap p lied   to   w eb - b ased   s o f t w ar [ 1 3 ] [ 1 4 ]   an d   m o b ile  [ 1 5 ]   b o th   ap p ly i n g   q u alitativ a n d   q u a n titati v ap p r o ac h es.  W eb s ite  ev alu a tio n   u s i n g   h e u r is tic  e v al u atio n   h as b ee n   ca r r ied   o u t b y   R an g r az ,   et   al .   [ 1 6 ]   w h er h e u r is tic  ev al u atio n   is   ap p lied   to   ev alu ate  th n atio n al  h ea lt h   in f o r m a tio n   s y s te m   w it h   th n u m b er   o f   ev a lu a to r s   as  m a n y   a s   f i v e   ex p er ts   w h o   j u d g b ased   o n   th te n   p r in cip les   o f   Nie ls e n 's  u s ab ilit y I n al  [ 1 4 ]   u s ed   h eu r i s tic  m et h o d   to   in s p ec th n atio n a lib r ar y   web s ite  w h er th ev al u ato r s   in v o lv ed   w er 5 7   s tu d en ts   th e n   co m b i n ed   w ith   t h e   S y s te m   U s ab ilit y   S ca le  ( S US)   an d   N et  P r o m o ter   S co r ( NP S)  m et h o d s .   T h h eu r is tic  ev a lu atio n   u s ed   is   ab le  to   d etec m o s o f   t h cr u c ial  u s ab ilit y   is s u es  in   t h s y s te m .   Ho w e v er ,   th er ar n o m an y   s tu d ie s   th at  d i s cu s s   th ap p licatio n   o f   h eu r i s tic  ev alu atio n   o n   ch ild r e n ' s   en c y clo p ed ia  w eb .   On o f   th h e u r is t ic  ev al u ati o n   m eth o d s   t h at  is   co m p r eh e n s i v e,   e m p ir ical,   an d   ca n   b ap p lied   to   w eb s i tes  w it h   v ar io u s   t y p es  i s   th Siriu s   f r a m e w o r k   [ 1 7 ] .   T h is   f r a m e w o r k   co v er s   ten   asp ec ts   o f   ass e s s m en w h ic h   in c lu d e s   g e n er al  asp ec ts ,   w eb s ite  id en t it y   a n d   in f o r m atio n ,   ac co m p lis h m en o f   u s er   in ter f ac e,   an d   s ea r ch   f ea tu r e s .   F u r th er m o r e,   a ll  asp ec ts   ar t h en   b r ea k   d o w n   i n to   8 3   cr iter ia  [ 1 3 ] [ 1 7 ] .   C o m p ar ed   w it h   o th er   q u an tita tiv h e u r is tic  ev al u ati o n   m eth o d s   [ 1 8 ] - [ 2 0 ] th is   f r am e w o r k   ca n   b u s ed   in   ev alu a tin g   s ev er al  t y p es  o f   w eb s i tes  i n clu d i n g   ed u ca tio n a w eb s ite s ,   e - co m m er ce ,   e - lear n in g ,   i n s tit u tio n s ,   g o v er n m e n t ,   an d   s o cial  m ed ia.   I n   ad d itio n ,   th cr iter ia  ar m o r co m p r e h en s i v ( r ep r esen ti n g   al th p r i n cip les  o f   Nielse n ' s   h eu r i s tic   ev alu a tio n )   an d   t h r es u lt s   o f   th ev a lu at io n   ar q u a n titati v v alu e s   t h at  s ta te  th le v el  o f   w eb s ite  u s ab il it y .   Sev er al  s t u d ies  h av u s ed   th is   f r a m e w o r k   f o r   ev al u ati n g   u s ab ilit y   i n clu d i n g   A p ar n an d   B aseer   [ 7 ]   an d   R o d r íg u ez   et   al .   [ 2 1 ] .   An ap ed ia  is   w eb   e n c y c lo p ed ia  d esig n ed   s p ec if ica ll y   f o r   c h ild r en   [ 2 2 ] .   T h ap p   w a s   b u i lt  b ec au s e   th er ar s till   v er y   f e w   I n d o n esian - la n g u a g en c y c lo p ed ias  f o r   ch ild r en .   Giv en   th lar g e   n u m b er   o f   s ch o o l - ag c h ild r en   i n   I n d o n esia,   th i s   w eb s ite  w i ll b ab le  to   s u p p o r t th e   lear n i n g   p r o ce s s   o f   ch ild r en .   An ap ed ia  W eb   h as  b ee n   test ed   u s i n g   b lack - b o x   test in g   to   m ea s u r th p er f o r m a n ce   asp ec ts   o f   th ap p licatio n .   B ased   o n   th e   p r ev io u s   r esear ch ,   u s er s   s ti ll  d o   n o f ee co m f o r tab le  w h e n   ad o p tin g   An ap ed ia  b ec au s o f   th u s er   in ter f ac e.   E v en   t h o u g h ,   u s ab ilit y   asp ec ts   h av a   s tr o n g   co n n ec tio n   w it h   u s er   r ea d in es s   [ 2 3 ] .   T h er ef o r e,   in   th i s   s t u d y ,   w e   an al y ze   th u s er   i n ter f ac o f   An ap ed ia  f r o m   p er s p ec t iv o f   a n   ed u ca tio n   w eb s ite   u s i n g   th Siriu s   f r a m e w o r k .   T h r esear ch   q u e s tio n s   i n   t h is   s t u d y   ar e:  1 )   W h at  is   th e   u s ab ilit y   le v el  o f   An ap ed ia ' s   w eb s ite   ac co r d in g   to   Siriu s   f r a m e w o r k   ev alu at io n ; a n d   2 )   W h at  ar t h u s ab ilit y   p r o b le m s   o f   A n ap ed ia .       2.   RE S E ARCH   M E T H O D     T h is   s ec tio n   ex p lai n s   r esear ch   m et h o d o lo g y   to   an s w er   r es ea r ch   q u esti o n s .   T h o v er all  p r o ce s s   is   s h o w n   i n   F ig u r 1 .   T h m e th o d o lo g y   is   d iv id ed   i n to   t h r ee   p h ase s .   Firs s ta g e,   a   liter at u r r ev ie w   p r o ce s s   w a s   ca r r ied   o u to   o b tain   an   o v er v ie w   o f   u s ab ilit y   e v al u atio n   b o th   m an u all y   a n d   au to m a tic al l y   in   t h u s ab ili t y   ev alu a tio n   o f   t h ch ild r en ' s   e n c y clo p ed ia  w eb s ite.   Siri u s   h as   1 0   ass ess m e n a s p ec ts   ( as  s h o w n   in   T ab le  1 )   an d   ea ch   asp ec t   h a s   s u b - cr i ter ia  s o   th at  t h to tal  cr iter ia  ar 8 3   ite m s   [ 1 3 ] F r a m e w o r k   o n   Fig u r 2   i s   ab le  to   p r o d u ce   g lo b al  u s ab ilit y   v al u e s   b ased   o n   ex p er j u d g m e n wh ile  p r o v id in g   in f o r m atio n   ab o u u s ab ilit y   er r o r s   f r o m   w eb s ites   b a s ed   o n   t h ei r   t y p e.   T h is   i n f o r m atio n   is   u s ef u f o r   th e   w eb s ite  d e v elo p er   to   i m p r o v th e   in ter f ac e.     T h ev alu ato r s   p r o v id an   a s s ess m en o f   all  cr iter ia  co v er i n g   1 0   asp ec ts   as  s h o w n   in   T ab le  1 .   T h er ar 2   r atin g   s ca les ,   i.e 1 )   u s i n g   t h n u m b er s   0   to   1 0   w h er v alu o f   1 0   is   g iv e n   i f   th cr iter io n   is   f u ll y   ac h iev ed   a n d   v al u o f   0   if   it  is   n o m et  o r   v a lu b et w ee n   0   an d   1 0   ac co r d in g   to   th le v e l o f   ac h iev e m e n t o f   th w eb s ite;  2 )   u s i n g   lab elli n g   as  s h o w n   i n   T ab le  2 ,   w h er th v al u o f   YE if   cr iter io n   is   ac h iev ed   b y   th e   w eb   o r   n o co n f o r m   in   t h w h o le  s ite  ( NW S )   if   th w eb   d o es  n o m ee th cr iter ia  o r   v al u es  o th er   th a n   b o th ,   n a m e l y   n o co n f o r m   in   t h m a in   lin k s   ( NM L ) n o s u s ta in ed   in   th h o m p ag ( NHP ) ,   an d   n o co n f o r m   i n   o n e   o r   m o r s u b p ag e s   ( NSP ) No ap p licab le  cr iter ia  ( NA )   i f   t h e v alu a to r   d ec id es  th a an   ass es s m en t   cr iter ia  ca n n o b ap p lied   to   th w eb .   E ac h   cr iter io n   is   g iv e n   a   w eig h ( cr itical/ m aj o r / m o d er ate / m i n o r )   w h er t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Qu a n tita tive  a n a lysi s   in   a   h eu r is tic  ev a lu a tio n     ( Gita   Ma r t h a s a r i )   1575   w ei g h t o f   ea ch   cr iter io n   i s   d et er m in ed   b y   t h t y p e   o f   w eb s it to   b ev al u ated .   B ased   o n   t h v al u g iv e n   b y   t h ev alu a to r ,   g lo b al  u s ab il it y   ca n   b ca lcu lated   u s i n g   ( 1 ) ,   w h er PU :   u s ab il it y   p r o ce n ta g ( %),   n ec :   n u m b er   o f   cr iter ia  ev alu a ted   ( m ax i m u m   n u m b er   is   8 3 ,   b u t n o t a l l o f   t h e m   ar u s ed   d ep en d in g   o n   t h t y p o f   w eb s ite) ,   sv :   Siriu s   v alu ( v a lu o f   ev al u at o r ) ,   wc :   w ei g h tin g   co ef f icie n t   ( w e ig h ti n g   f o r   cr iter ia  ca lcu lated   u s in g   ( 2 ) .   Fo r   ( 2 ) rv   is   th w eig h v al u o f   e ac h   cr iter io n .   I f   t h ev al u ato r   i s   m o r t h an   o n p er s o n ,   t h e n   t h g lo b al  u s ab ili t y   v alu i s   o b tain ed   f r o m   th a v e r ag ca lcu latio n .      =   ( ) = 1 , ( 10 ) = 1 ,   100   ( 1 )     =   ( ) = 1 ,   ( 2 )     I n   th s ec o n d   s tag e,   t h u s ab il it y   e v al u atio n   p r o ce s s   u s e s   t wo   ap p r o a ch es  t h at  b eg i n   w it h   d ev elo p in g   an   ev al u atio n   s ce n ar io .   Fo r   au to m at ic  ass e s s m e n t,  it  i s   d o n b y   en ter i n g   th A n ap ed ia  w eb   U R L   ( h ttp ://a n ap ed ia. o r g )   in to   th e   Go o g le  P ag eSp ee d   w eb   [2 4 ] T h m an u al  a s s es s m en t   b eg i n s   b y   d eter m in i n g   t h e   ev alu a to r   w h o   w i ll  p r o v id a n   as s es s m e n t   b ased   o n   t h cr i ter ia  in   th Siri u s   f r a m e w o r k .   B ased   o n   r esear ch   f r o m   [ 1 1 ] [ 1 3 ] th n u m b er   o f   ex p er ev al u ato r s   i n v o l v ed   in   h e u r is tic  a s s es s m en is   as  m an y   a s   f i v p eo p le.   Ho w e v er ,   th ev al u atio n   i n   th is   s t u d y   w il b ca r r ied   o u b y   s e v e n   ex p er ts   as  ev al u ato r s .   Fu r th er m o r e,   th e   m an u al  e v al u atio n   u s e s   th f o l lo w i n g   s ce n ar io   [ 1 2 ] :     R ev ie w E v al u ato r s   ar g i v e n   ti m to   u s t h A n ap ed ia  web s ite  at  h ttp :/ /an ap ed ia. o r g /.   Fo r   th s ea r ch   f ea t u r e,   th ev a lu ato r   in c lu d e s   s ev er al  k e y w o r d s   n a m el y   " p h o to s y n th e s is ”,   " p lan ts " ,   " s n ak e" ,   " s u n " ,   an d   " r ain b o w "   in   th te x f ield   p r o v id ed .     E v alu a tio n E v alu a to r   o b s er v es  s ea r ch   r es u lt s .   T h ev alu ato r   ev alu ate s   t h o v er all  w eb s ite  in ter f ac b ased   o n   1 0   asp ec ts   in   th Siriu s   f r a m e w o r k .     R ate  s e v er it y :   E v al u ato r s   g i v r atin g s   f o r   ea ch   cr iter io n   u s in g   r atin g   s ca le  o f   0   . . .   1 0   o r   N W S . . .   YE S.   T h A n ap ed ia  w eb   p ag is   s h o w n   in   Fi g u r 3 .   T h ev alu ato r   w ill  en ter   th r eq u e s ted   k e y w o r d   in   th e   co lu m n   p r o v id ed   an d   p r ess   t h " Sear ch   o n   An ap ed ia"   b u tto n .   T h ev al u ato r   r e p ea ts   th s ea r ch   p r o ce s s   o n   An ap ed ia  w it h   d if f er en k e y w o r d s .   T h ev alu ato r   th en   p r o v id es  an   ass es s m e n b ased   o n   h is   ex p er ien ce   in ter ac ti n g   w i th   t h An ap ed ia  w eb s i te  f o r   n u m b er   o f   8 3   Siriu s   f r a m e w o r k   cr iter ia.           Fig u r 1 .   T h Me asu r e m e n m o d el  f o r   ev a lu ati n g   An ap ed ia  w eb s i te       T ab le  1 .   A s p ec t s   u s ed   in   t h S ir iu s   f r a m e w o r k   ev al u atio n   A sp e c t   D e scri p t i o n   G e n e r a l   A sp e c t s (G A )   C o mp o n e n t s re l a t e d   t o   t h e   si t e   t a r g e t ,   l o o k   &   f e e l ,   c o h e r e n c e ,   a n d   i n t e n s i t y   o f   c o n t e n t   r e v i si n g .   I n d e n t i t y   d a n   I n f o r mat i o n   ( I I )   C o mp o n e n t s re l a t e d   t o   t h e   su f f i c i e n c y   o f   t h e   i n f o r mat i o n   a r c h i t e c t u r e   a n d   s i t e   n a v i g a t i o n .   S t r u c t u r e   d a n   N a v i g a t i o n   ( S N )   C o mp o n e n t s re l a t e d   t o   t h e   si t e   n a v i g a t i o n   a n d   su f f i c i e n c y   o f   t h e   i n f o r mat i o n   a r c h i t e c t u r e     L a b e l l i n g   ( L B )   C o mp o n e n t s re l a t e d   t o   t h e   a c q u a i n t a n c e   o f   c o n t e n t   l a b e l l i n g ,   i m p o r t a n c e   a n d   a c c u r a c y   L a y o u t   o f   t h e   P a g e   ( L Y )   C o mp o n e n t s re l a t e d   t o   t h e   v i e w   a n d   l o c a t i o n   o f   n a v i g a t i o n   a n d   i n f o r mat i o n   c o mp o n e n t i n   t h e   i n t e r f a c e .   C o mp r e h e n si b i l i t y   d a n     Ea se   o f   I n t e r a c t i o n   ( C I )   C o mp o n e n t s re l a t e d   t o   t h e   q u a l i t y   a n d   a d e q u a c y   o f   i c o n s,   c o n t r o l s,  a n d   t e x t   c o n t e n t s o f   t h e   i n t e r f a c e .   C o n t r o l   d a n   F e e d b a c k   ( C F )   C o mp o n e n t s re l a t e d   t o   t h e   n a v i g a t i o n   f r e e d o m,  a n d   i n f o r mat i o n   p r e se n t e d   t o   t h e   u se r   i n   t h e   i n t e r a c t i o n   me c h a n i s m w i t h   t h e   si t e .   M u l t i me d i a   El e me n t s (M E)   C o mp o n e n t s re l a t e d   t o   t h e   mu l t i me d i a   c o n t e n t t o   t h e   si t e .   S e a r c h   ( S E)   C o mp o n e n t s re l a t e d   t o   t h e   se a r c h   f a c i l i t y   a p p l i e d   i n   t h e   si t e .   H e l p   ( H E)   C o mp o n e n t s re l a t e d   t o   t h e   h e l p   f e a t u r e   p r e p a r e d   t o   t h e   u se r   w h i l e   u si n g   t h e   si t e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   5 Octo b e r   2 0 2 1 :    1 57 3   -   1 5 80   1576       Fig u r 2 Usab ilit y   le v el  m ea s u r e m e n t p r o ce s s   u s i n g   S ir iu s   f r a m e w o r k   [ 1 3 ]       T ab le  2 A s s es s m en v al u o f   w eb   u s ab ilit y   V a l u e   D e f i n i t i o n   N u me r i c   V a l u e   0 . . 1 0   0 :   n o t   c o n f o r m a t   a l l ,   1 0   :   f u l l y   c o n f o r m   0 ,   1 ,   2 ,   ,   9 ,   1 0   N W S   N o t   c o n f o r m i n   t h e   w h o l e   si t e   0   N M L   N o t   c o n f o r m i n   t h e   m a i n   l i n k s   2 . 5   NHP   N o t   su s t a i n e d   i n   t h e   h o me   p a g e   5   N S P   N o t   c o n f o r m i n   o n e   o r   mo r e   su b p a g e s   7 . 5   Y ES   F u l l y   c o n f o r m   10   NA   N o t   a p p l i c a b l e   c r i t e r i a   -           Fig u r 3 An ap ed ia  h o m ep ag e       3.   RE SU L T A ND  AN AL Y SI S     3 . 1 .     Ca lcula t ing   g lo ba l us a bil it y   I n   t h t h ir d   p h ase ,   ca lc u latio n   is   p er f o r m ed   to   d eter m i n t h g lo b al  u s ab ili t y   v al u o f   t h An ap ed ia  w eb .   B ased   o n   th co n ten an d   o b j ec tiv es,  th An ap ed ia  w e b s ite  is   in cl u d ed   in   th ed u ca t io n   w eb .   E x a m p le s   o f   g lo b al  u s ab ilit y   ca lc u latio n s   f r o m   o n ev a lu ato r   f o r   GA   an d   I I   asp ec ts   ca n   b s ee n   in   T a b le  3   ( s ee   in   A p p en d i x ) .   T h ev   is   th ev al u atio n   v alu g iv e n   b y   th ev a l u ato r s sv   is   th co n v er s io n   o f   th ev al u ato r   v alu e,   rv   is   th r elev a n cr iter io n   v alu f o r   th ed u ca tio n al  w eb   t y p e,   an d   wc   is   th w ei g h co ef f icie n o f   ea c Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Qu a n tita tive  a n a lysi s   in   a   h eu r is tic  ev a lu a tio n     ( Gita   Ma r t h a s a r i )   1 577   cr iter io n .   T h en   t h f in a v a lu e   f o r   ea ch   cr iter io n   i s   ca lc u lat ed ,   th ese  v al u es   ar t h e n   ad d ed   to   th fa v   v al u e.   B ased   o n   th tab le,   th g lo b al  u s ab ilit y   v alu o f   ev a lu ato r   o n is   9 4 . 6 6 ( s h o w n   in   T ab le  3   in   th e u s ab ilit y   co lu m n ) .   T h s am s tep s   ar ap p l ied   f o r   th o th er   s ix   ev al u a to r s .   B ased   o n   th r esu lts   o f   th ev alu atio n s   o f   all   ev alu a to r s ,   an   av er a g g lo b al  u s ab ilit y   v al u o f   8 1 . 4 w a s   o b tain ed   w h ic h   m ea n s   t h at  t h u s ab ilit y   o f   An ap ed ia's  w eb s ite  is   i n cl u d e d   in   th h i g h   ca teg o r y   [ 2 1 ] Au to m a tic  ev al u atio n s   f o r   th e   An ap ed ia  w eb   ar e   co n d u cted   u s i n g   Go o g le  P ag e Sp ee d .   Go o g le  P ag eSp ee d   ca n   b e   u s ed   to   m ea s u r th p er f o r m an ce   a n d   lo ad in g   p ac o f   th w eb   [ 1 7 ] ,   [2 5 ] .   B ased   o n   an   an al y s i s   u s in g   Go o g le  P ag eSp ee d ,   A n ap ed ia's  w eb   lo ad in g   s p ee d   is     8 0 w h ich   i s   in cl u d ed   in   t h HI GH  ca teg o r y   [2 6 ] .     3 . 2 .     Ana ly s is   A   co m p ar i s o n   o f   t h u s ab ilit y   lev el  o f   all  a s p ec ts   i s   s h o w n   i n   Fig u r 4 .   T h r esu lts   s h o w   th at  th b est   u s ab ilit y   co m p o n e n o n   th An ap ed ia  w eb s i te  is   t h lab elli n g   ( L B )   asp ec o f   8 4 w h er a ll  th cr iter ia  i n   th i s   asp ec ar co n s id er ed   GOOD .   L ab elli n g   asp ec ts   in cl u d e v alu ati n g   lab els  o n   th e   w eb ,   p ag titl e,   a n d   p ag e   u n i f o r m   r eso u r ce   lo ca to r   ( UR L ) .   C o n v er s el y ,   th h e lp   ( HE )   asp ec t   p e r f o r m   p o o r ly   w it h   v alu o f   1 7 %.  T h is   r esu lt  i s   r elate d   to   t h ab s e n c o f   t h Help   f ea tu r o n   t h An ap ed ia  w eb .   I n   ad d itio n   to   t h t w o   co m p o n en ts ,   t h u s a b il i ty   c r i te r i a   th a t   h as   n o t   b ee n   m e b y   th e   A n a p e d i w e b s i t an d   th e i r   w ei g h t s   a r s h o w n   i n   T a b l e   4 T a b l e   5   p r e s e n ts   a   c o m p a r is o n   o f   as p e c ts   o f   t h e   S i r iu s   f r am e w o r k   w it h   s ev e r al   q u an t i t at iv e   ev a lu at i o n   m e th o d s .       T ab le  4 C o m p ar is o n   o f   Siriu s   f r a m e w o r k   to   e x is ti n g   m e th o d s   A sp e c t   C r i t e r i a   P r i o r i t y   G e n e r a l   A sp e c t s   A G 1 :   S i t e   g o a l s a r e   c o n c r e t e   a n d   w e l l   d e f i n e d   M A JO R     AG 2:   O f f e r e d   c o n t e n t   a n d   se r v i c e s a r e   p r e c i se   a n d   c o mp l e t e   C R I TI C A L     AG 3:   G e n e r a l   si t e   st r u c t u r e   i u se r - o r i e n t e d   M A JO R     AG 4:   G e n e r a l   L o o k   &   F e e l   mat c h e t h e   si t e   g o a l s,    c h a r a c t e r i st i c s,  c o n t e n t   a n d   se r v i c e s   M O D ER A T E     AG 5:   R e c o g n i z a b l e   si t e   v i su a l   d e si g n   M O D ER A T E     AG 6:   S i t e 's g e n e r a l   d e si g n   i c o h e r e n t   M A JO R     AG 8:   O t h e r   l a n g u a g e s a r e   su p p o r t e d   M O D ER A T E     AG 9:   S i t e 's t r a n sl a t i o n   c o r r e c t s   a n d   c o mp l e t e   M O D ER A T E   I d e n t i t y   a n d   I n f o r mat i o n   II 1:   I d e n t i t y   o r   l o g o t y p e   i s si g n i f i c a n t ,   i d e n t i f i a b l e     a n d   s u f f i c i e n t l y   v i si b l e   M I N O R     II 5:   M e a n s o f   c o n t a c t   a v a i l a b l e   M O D ER A T E     II 6:   D a t a   P r o t e c t i o n   i n f o r mat i o n   i a v a i l a b l e   f o r   b o t h     p e r so n a l   i n f o r mat i o n   a n d   s i t e   c o n t e n t   c o p y r i g h t   M O D ER A T E   S t r u c t u r e   a n d   N a v i g a t i o n   SN 3:   El e me n t   o r g a n i z a t i o n   i c o n s i st e n t   w i t h   i n d u st r y   st a n d a r d s .   M O D ER A T E     SN 11:   O n   i m a g e - b a se d   l i n k s,  t h e r e   i i n d i c a t i o n   o f     t h e   c o n t e n t   t o   b e   a c c e sse d .   M O D ER A T E     SN 13:   El e me n t t h a t   i n f o r m t h e   u se r   o f   w h e r e   t h e y     a r e   a n d   h o w   t o   n a v i g a t e   b a c k   a r e   p r e se n t   ( e . g   b r e a d c r u m b s)   M A JO R   P a g e   a n d   L a y o u t   PL 5:   V i su a l   s p a c e   o n   t h e   p a g e   i u se d   c o r r e c t l y .   M O D ER A T E   M u l t i me d i a   El e me n t   ME 6:   S o me   a d d e d   v a l u e   i p r o v i d e d   b y   u si n g   so u n d .   M I N O R   S e a r c h   SE 6:   A d v a n c e d   se a r c h   i s   p r o v i d e d .   M O D ER A T E   H e l p   HE 1:   H e l p   l i n k   i s   l o c a t e d   i n   a   v i s i b l e   a n d   e x p e c t e d   l o c a t i o n .   M O D ER A T E   G e n e r a l   A sp e c t s   HE 2:   Ea sy   a c c e ss t o   a n d   r e t u r n   f r o m t h e   h e l p   sy st e m.   M O D ER A T E     H E3 :   C o n t e x t u a l   h e l p   i s   o f f e r e d   f o r   c o mp l e x   t a sk s.   M O D ER A T E     H E4 :   F A Q   c o n t a i n   c o r r e c t   a n d   r e l e v a n t   q u e st i o n s.   M O D ER A T E     H E5 :   F A Q   c o n t a i n   c o r r e c t   a n d   r e l e v a n t   a n sw e r s.   M O D ER A T E     A G 1 :   S i t e   g o a l s a r e   c o n c r e t e   a n d   w e l l   d e f i n e d   M A JO R           Fig u r 4 A c h iev e m e n t le v el  o f   A n ap ed ia s   u s ab ilit y   asp ec     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   5 Octo b e r   2 0 2 1 :    1 57 3   -   1 5 80   1578   T ab le  5 I d en tif ied   u s ab ilit y   p r o b lem s   El e me n   Ev a l u a si   H e u r i st i k   H a san   et   al .   [ 2 0 ]   O mar  et   al .   [2 7 ]   N a z i r   et   al .   [ 18 ]   T o r r e n t e   et   al .   [ 1 3 ]   N u mb e r   o f   a s p e c t / c a t e g o r y   5   5   3   10   N u mb e r   o f   c r i t e r i a / me t r i c   25   37   10   83   C r i t e r i a   w e i g h t i n g   y e s   y e s   no   y e s   A sp e c t / c a t e g o r y   w e i g h t i n g   y e s   y e s   y e s   y e s   Ev a l u a t e d   w e b   t y p e   sp e c i f i c   sp e c i f i c   a n y   a n y   G l o b a l   u sa b i l i t y   c a l c u l a t i o n   y e s   y e s   y e s   y e s   U se d   b y   e x p e r t   no   y e s   no   y e s   Q u a n t i f y   n o n - c o mp l i a n c e   k r i t e r i a   no   no   y e s   y e s   Q u a n t i f y   sev e r i t y   l e v e l   y e s   y e s   no   no   V a l i d a t i o n   o f   t h e   me t h o d   no   no   no   y e s       4.   CO NCLU SI O N     T h is   r esear ch   p r o v id es  in f o r m atio n   to   th d ev elo p er   tea m   r eg ar d in g   w eb   q u alit y   i n   th e   co n tex o f   u s ab ilit y   f o r   th i m p r o v e m e n t   o f   d esig n   b o th   in   ter m s   o f   i n t er f ac an d   co n ten t.  E v al u atio n   b y   ex p er ts   i s   o n w a y   to   m ea s u r w eb s ite  u s ab ilit y .   I n   th i s   s t u d y   w ev al u a ted   An ap ed ia  W eb ,   th f ir s o p en   w eb - b a s ed   en c y clo p ed ia  f o r   ch ild r en   b u i lt  in   B ah asa,   th at   is   s til co n s id er ed   lo w   i n   ter m s   o f   co m f o r t.  T h is   asp ec is   r elate d   to   th u s ab ilit y   o f   th w eb s ite.   T h au to m a ted   an d   m a n u al  to o ls   w er co n d u ct ed   to   m ea s u r th e   u s ab ilit y   asp ec o f   th ap p .   Go o g le  P ag eSp ee d   ap p   w er u s e d   f o r   th au to m atic  e v alu at io n   an d   h eu r i s tic  ( w it h   th i n v o l v e m e n o f   g r o u p   o f   ev al u ato r s )   f o r   m ea s u r i n g   t h u s ab ilit y   le v el  m a n u all y .   B ased   o n   th e   ev alu a tio n s   o f   all  ev al u ato r s ,   th av er ag v a lu o f   g lo b al  u s ab ilit y   is   co n s id er ed   h ig h .   T o   f in d   o u w h ic h   asp ec ts   h a v t h h ig h e s an d   l o w est  v al u es,  m ea s u r e m en ts   a r m ad b ased   o n   ev al u ato r   e v alu a tio n s   an d   t h e   b est  an d   w o r s asp ec t s   o f   th r esu lts   ar r elate d   to   la b elin g   a n d   ass is ta n ce .   T o   b e   m o r th o r o u g h ,   it  is   n ec es s ar y   to   d o   an   ass es s m en t   b y   t h u s er   u s in g   ex is ti n g   m et h o d s .       AP P E NDI X     T ab le  3 C alcu latin g   t h G A   d an   I I   asp ec t s   o f   A n ap ed ia  f o r   o n ev al u ato r   A sp e c t   C r i t e r i a   Ev a l u a t i o n   V a l u e   ( e v )   S i r i u s   V a l u e   ( sv )   R e l e v a n c e   V a l u e   ( r v )   W e i g h t i n g   C o e f f i c i e n t   ( w c )   F i n a l   C r i t e r i a   V a l u e     ( sv   x   w c )   F i n a l   A sp e c t   ( f a v )   U sa b i l i t y   ( Σ  f a v   x   1 0 )   G e n e r a l   a sp e c t   S i t e   g o a l s a r e   c o n c r e t e   a n d   w e l l   d e f i n e d   8   8   4   0. 0 1 9 4 1 7 4 7 6   0. 1 5 5 3 3 9 8 0 6   1, 4 8 5   94 . 66     O f f e r e d   c o n t e n t   a n d   se r v i c e s a r e   p r e c i se   a n d   c o mp l e t e   9   9   8   0. 0 3 8 8 3 4 9 5 1   0. 3 4 9 5 1 4 5 6 3         G e n e r a l   si t e   st r u c t u r e   i u se r - o r i e n t e d   8   8   4   0. 0 1 9 4 1 7 4 7 6   0. 1 5 5 3 3 9 8 0 6         G e n e r a l   L o o k   &   F e e l   mat c h e s t h e   si t e   g o a l s,  c h a r a c t e r i st i c s,  c o n t e n t   a n d   se r v i c e s   9   9   2   0. 0 0 9 7 0 8 7 3 8   0. 0 8 7 3 7 8 6 4 1         R e c o g n i z a b l e   si t e   v i su a l   d e si g n   8   8   2   0. 0 0 9 7 0 8 7 3 8   0. 0 7 7 6 6 9 9 0 3         S i t e 's g e n e r a l   d e si g n   i c o h e r e n t   9   9   4   0. 0 1 9 4 1 7 4 7 6   0. 1 7 4 7 5 7 2 8 2         U se r   l a n g u a g e   i u se d   t h r o u g h o u t   S   10   4   0. 0 1 9 4 1 7 4 7 6   0. 1 9 4 1 7 4 7 5 7         O t h e r   l a n g u a g e a r e   su p p o r t e d   S   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9         S i t e 's t r a n sl a t i o n   c o r r e c t   a n d   c o mp l e t e   S   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9         R e g u l a r l y   u p d a t e d   si t e   S   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9               Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Qu a n tita tive  a n a lysi s   in   a   h eu r is tic  ev a lu a tio n     ( Gita   Ma r t h a s a r i )   1579   T ab le  3 C alcu latin g   t h G A   d an   I I   asp ec t s   o f   A n ap ed ia  f o r   o n ev al u ato r   ( co n tin u e)   A sp e c t   C r i t e r i a   Ev a l u a t i o n   V a l u e   ( e v )   S i r i u s   V a l u e   ( sv )   R e l e v a n c e   V a l u e   ( r v )   W e i g h t i n g   C o e f f i c i e n t   ( w c )   F i n a l   C r i t e r i a   V a l u e   ( sv   x   w c )   F i n a l   A sp e c t   ( f a v )   U sa b i l i t y   ( Σ  f a v   x   1 0 )   I d e n t i t y   a n d   I n f o r mat i o n   I d e n t i t y   o r   l o g o t y p e   i si g n i f i c a n t ,   i d e n t i f i a b l e   a n d   su f f i c i e n t l y   v i si b l e   10   10   1   0. 0 0 4 8 5 4 3 6 9   0 . 0 4 8 5 4 3 6 8 9   0 . 7 2 8 1 5 5 3 4       S i t e   i d e n t i t y   o n   a l l   p a g e s   S   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9         S l o g a n   o r   t a g l i n e   i s a p p r o p r i a t e   f o r   t h e   si t e   g o a l s.   10   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9         I n f o r mat i o n   a b o u t   t h e   si t e   a n d   c o mp a n y   i a v a i l a b l e   S   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9         M e a n s   o f   c o n t a c t   a v a i l a b l e   S   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9         D a t a   P r o t e c t i o n   i n f o r mat i o n   i a v a i l a b l e   f o r   b o t h   p e r so n a l   i n f o r mat i o n   a n d   si t e   c o n t e n t   c o p y r i g h t   S   10   2   0. 0 0 9 7 0 8 7 3 8   0. 0 9 7 0 8 7 3 7 9         I n f o r mat i o n   a v a i l a b l e   a b o u t   t h e   a u t h o r ,   so u r c e s,  a n d   c o n t e n t   p u b l i s h i n g   a n d   u p d a t e   d a t e s.   S   10   4   0. 0 1 9 4 1 7 4 7 6   0. 1 9 4 1 7 4 7 5 7           RE F E R E NC E   [1 ]   K.  Be n m o u ss a ,   M .   L a a z iri ,   S .   K h o u lj i ,   M .   L .   Ke rk e b ,   a n d   A .   El   Ya m a m i,   Ev a lu a ti n g   th e   th e   Us a b i l it y   Us a b il it y   o M o ro c c a n   Un iv e rsity   M a n a g e m e n W e b   P latf o rm ,   Pro c e d ia   M a n u f. ,   v o l .   3 2 ,   p p .   1 0 0 8 - 1 0 1 6 ,   2 0 1 9 ,     d o i:   1 0 . 1 0 1 6 /j . p ro m f g . 2 0 1 9 . 0 2 . 3 1 5 .   [2 ]   A .   A n a n d   a n d   G .   Ba n sa l,   In terp r e ti v e   stru c tu ra m o d e ll i n g   f o a tt ri b u tes   o f   so f tw a r e   q u a li ty ,   J .   A d v .   M a n a g .   Res . v o l.   1 4 ,   n o .   3 ,   p p .   2 5 6 - 2 6 9 ,   2 0 1 7 ,   d o i:   1 0 . 1 1 0 8 /JA M R - 11 - 2 0 1 6 - 0 0 9 7 .   [3 ]   I.   Dia n a t,   P .   A d e li ,   M .   A sg a ri   Ja f a ra b a d i,   a n d   M .   A .   Ka rim i,   Us e r - c e n tred   w e b   d e sig n ,   u sa b il it y   a n d   u se r   sa ti sfa c ti o n T h e   c a se   o f   o n li n e   b a n k in g   w e b sites   in   Ira n ,   Ap p l .   Erg o n . ,   v o l .   8 1 ,   2 0 1 9 ,     d o i:   1 0 . 1 0 1 6 /j . a p e rg o . 2 0 1 9 . 1 0 2 8 9 2 .   [4 ]   S .   Ka u r,   K.  Ka u r,   E.   T .   Ca m p u s,  a n d   P .   Ka u r,   A n a ly sis  o f   W e b s it e   Us a b il it y   Ev a lu a ti o n   M e t h o d s,”   in   2 0 1 6   3 r d   In ter n a t io n a l   Co n fer e n c e   o n   C o mp u ti n g   fo S u st a in a b le  Glo b a l   De v e lo p me n ( INDIACo m) ,   2 0 1 6 ,   n o .   De c e m b e r,   p p .   1 0 4 3 - 1 0 4 6 .   [5 ]   N.  Be v a n ,   J.  Ca rter,  a n d   S .   Ha rk e r,   IS 9 2 4 1 - 1 1   Re v ise d  :  W h a Ha v e   W e   L e a rn A b o u Us a b il it y   S in c e   1 9 9 8  ? ,   Hu ma n - C o mp u ter   In ter a c t. ,   v o l.   1 ,   p p .   1 4 3 - 1 5 1 ,   2 0 1 5 ,   d o i:   1 0 . 1 0 0 7 /9 7 8 - 3 - 3 1 9 - 2 0 9 0 1 - 2.   [6 ]   A .   A lsh e h ri,   M .   Ru t ter,  a n d   S .   S m it h ,   A ss e ss in g   th e   re lativ e   i m p o rtan c e   o f   a n   e - lea rn in g   sy ste m ’s   u s a b il it y   d e sig n   c h a ra c teristics   b a se d   o n   stu d e n ts’  p re f e re n c e s,”   Eu r.  J .   Ed u c .   Res . ,   v o l.   8 ,   n o .   3 ,   p p .   8 3 9 - 8 5 5 ,   2 0 1 9 ,     d o i:   1 0 . 1 2 9 7 3 /e u - jer.8 . 3 . 8 3 9 .   [7 ]   S .   S .   A p a r n a   a n d   K .   K .   B a s e e r ,   S I R I U S - W U E P :   A   H e u r i s t i c - B a s e d   F r a m e w o r k   f o r   M e a s u r i n g   a n d   E v a l u a t i n g   W e b   U s a b i l i t y   i n   M o d e l - D r i v e n   W e b   D e v e l o p m e n t ,   i n   E m e r g i n g   I C T   f o r   B r i d g i n g   t h e   F u t u r e - P r o c e e d i n g s   o f   t h e   4 9 t h   A n n u a l   C o n v e n t i o n   o f   t h e   C o m p u t e r   S o c i e t y   o f   I n d i a   ( C S I ) ,   2 0 1 5 ,   v o l .   1 ,   p p .   3 0 3 - 3 1 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 319 - 1 3 7 2 8 - 5.   [8 ]   A .   Bin   De ra m a n   a n d   F .   A .   S a lm a n ,   M a n a g in g   u sa b il it y   e v a lu a ti o n   p ra c ti c e in   a g il e   d e v e lo p m e n e n v iro n m e n ts,”   In t.   J .   El e c tr.  Co mp u t.   En g . ,   v o l.   9 ,   n o .   2 ,   p p .   1 2 8 8 - 1 2 9 7 ,   2 0 1 9 ,   d o i 1 0 . 1 1 5 9 1 /i jec e . v 9 i2 . p p 1 2 8 8 - 1 2 9 7 .   [9 ]   H.  M .   A z - z a h ra ,   W .   P a rwa n in g su c i,   a n d   M .   C.   S a p u tra,  Us a b il i ty   Ev a lu a ti o n   o f   Us e In terfa c e   in   Ba d a n   Na rk o ti k a   Na sio n a Eas Ja v a   P r o v in c e   W e b site,”   2 0 1 8   In t .   Co n f.   S u s ta in .   In f .   E n g .   T e c h n o l. ,   p p .   2 6 2 - 2 6 5 ,   2 0 1 8 ,     d o i:   h tt p s:// d o i . o rg /1 0 . 1 1 0 9 /S I ET . 2 0 1 8 . 8 6 9 3 1 4 4 .   [1 0 ]   K.  Be n m o u ss a ,   M .   L a a z iri ,   S .   Kh o u l ji ,   M .   L .   Ke rk e b ,   a n d   A .   El   Ya m a m i,   En h a n c e d   m o d e f o e rg o n o m ic   e v a lu a ti o n   o f   in f o rm a ti o n   s y ste m s :  a p p li c a ti o n   to   sc ien ti f ic  re se a r c h   in f o rm a ti o n   s y ste m ,   In t.   J .   E lec tr.  Co mp u t .   En g . ,   v o l.   9 ,   n o .   1 ,   p p .   6 8 3 - 6 9 4 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 5 9 1 / ij e c e . v 9 i1 . p p 6 8 3 - 6 9 4 .   [1 1 ]   J.  Nie lse n ,   F i n d i n g   Us a b il it y   P r o b lem th ro u g h   He u risti c   Ev a lu a ti o n ,   in   Pro c e e d in g o t h e   S IG CHI  c o n fer e n c e   o n   h u m a n   f a c to rs   i n   c o m p u ti n g   sy ste ms ,   1 9 9 2 ,   p p .   3 7 3 - 3 8 0 ,   d o i h tt p s:// d o i. o rg /1 0 . 1 1 4 5 /1 4 2 7 5 0 . 1 4 2 8 3 4 .   [1 2 ]   M .   G o n z á lez ,   L .   M a sip ,   A .   G ra n o ll e rs,  a n d   M .   Oliv a ,   Qu a n ti tati v e   a n a l y sis  in   a   h e u risti c   e v a lu a ti o n   e x p e rim e n t,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   5 Octo b e r   2 0 2 1 :    1 57 3   -   1 5 80   1580   Ad v .   E n g .   S o ft w. ,   v o l.   4 0 ,   n o .   1 2 ,   p p .   1 2 7 1 - 1 2 7 8 ,   2 0 0 9 ,   d o i:   1 0 . 1 0 1 6 /j . a d v e n g so f t. 2 0 0 9 . 0 1 . 0 2 7 .   [1 3 ]   M .   C.   S .   T o rre n te,   A .   B.   M .   P r ieto ,   D.   A .   G u ti é rre z ,   a n d   M .   E .   A .   De   S a g a ste g u i,   S iri u s:   A   h e u risti c - b a se d   f ra m e w o rk   f o m e a su rin g   w e b   u s a b il it y   a d a p ted   to   th e   ty p e   o f   w e b site,”   J .   S y st.  S o ft w . ,   v o l.   8 6 ,   n o .   3 ,   p p .   6 4 9 - 6 6 3 ,   2 0 1 3 ,   d o i:   1 0 . 1 0 1 6 / j. jss.2 0 1 2 . 1 0 . 0 4 9 .   [1 4 ]   Y.  In a l,   Un iv e rsity   stu d e n ts’  h e u risti c   u sa b il it y   ın sp e c ti o n   o f   th e   n a ti o n a li b ra ry   o f   T u rk e y   we b site,”   Asli b   J .   In f .   M a n a g . ,   v o l .   7 0 ,   n o .   1 ,   p p .   6 6 - 7 7 ,   2 0 1 8 ,   d o i:   h tt p s:// d o i. o rg /1 0 . 1 1 0 8 /A JIM - 09 - 2 0 1 7 - 0 2 1 6 .   [1 5 ]   R.   Ho i,   Y.  F u n g ,   D.  K.   W .   Ch iu ,   E.   H.   T .   Ko ,   K.  K.   W .   Ho ,   a n d   P .   L o ,   He u risti c   Us a b il i ty   Ev a lu a ti o n   o f   Un iv e r sit y   o f   Ho n g   Ko n g   L ib ra r ies   ’  M o b il e   W e b site,”   J .   Aca d .   L ib ra ri a n s h . ,   v o l.   4 2 ,   n o .   5 ,   p p .   5 8 1 - 5 9 4 ,   2 0 1 6 ,   d o i:   1 0 . 1 0 1 6 /j . a c a li b . 2 0 1 6 . 0 6 . 0 0 4 .   [1 6 ]   F .   Ra n g ra z ,   E.   Na b o v a ti ,   R.   Big h a m ,   a n d   R.   F a rra h i,   In f o rm a ti c in   M e d icin e   Un l o c k e d   Us a b il it y   e v a lu a ti o n   o f   a   c o m p re h e n siv e   n a ti o n a h e a lt h   in f o r m a ti o n   sy ste m  :  A   h e u risti c   e v a lu a ti o n ,   I n f o rm a ti c M e d .   U n l o c k e d ,   v o l.   1 9 ,     p .   1 0 0 3 3 2 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 1 6 /j . i m u . 2 0 2 0 . 1 0 0 3 3 2 .   [1 7 ]   K .   S a g a r ,   A   s y s t e m a t i c   r e v i e w   o f   s o f t w a r e   u s a b i l i t y   s t u d i e s ,   I n t .   J .   I n f .   T e c h n o l . ,   2 0 1 7 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 8 7 0 - 017 - 0048 - 1.   [1 8 ]   A .   K.  Na z ir,   I.   Zaf a r,   A .   S h a h e e n ,   a n d   B.   M a q b o o l,   G G S E - W e b site  Us a b il it y   Ev a lu a ti o n   F ra m e w o rk ,   in   In telli g e n C o mp u ti n g :   Pro c e e d in g o th e   2 0 1 8   C o mp u ti n g   C o n fer e n c e ,   2 0 1 8 ,   v o l.   2 ,   n o .   Ja n u a ry ,     d o i:   1 0 . 1 0 0 7 /9 7 8 - 3 - 0 3 0 - 0 1 1 7 7 - 2.   [ 19 ]   H.  M o h a m m e d ,   R.   Yu so f f ,   a n d   A.  Ja a fa r,   Qu a n ti ti v e   a n a l y sis  in   a   h e u risti c   e v a lu a ti o n   f o Us a b il it y   o f   Ed u c a ti o n a l   Co m p u ter  G a m e   (Us a EC G ),   in   2 0 1 2   In ter n a ti o n a Co n fer e n c e   o n   In fo rm a t io n   Retrie v a l   &   Kn o wled g e   M a n a g e me n t ,   2 0 1 2 ,   p p .   1 8 7 - 1 9 2 ,   d o i:   1 0 . 1 1 0 9 /In f RKM. 2 0 1 2 . 6 2 0 5 0 3 3 .   [2 0 ]   L .   Ha s a n ,   Ev a lu a ti n g   th e   Us a b il it y   o Ed u c a ti o n a W e b sites   Ba se d   o n   S tu d e n ts’  P re f e re n c e o De si g n   Ch a ra c teristics ,   In t.   Ara b   J .   e - T e c h n o l o g y ,   v o l.   3 ,   n o .   Ja n u a ry   2 0 1 4 ,   p p .   1 7 9 - 1 9 3 ,   2 0 1 6 .   [2 1 ]   G .   R o d r í g u e z ,   J .   P é r e z ,   S .   C u e v a ,   a n d   R .   T o r r e s ,   A   f r a m e w o r k   f o r   i m p r o v i n g   w e b   a c c e s s i b i l i t y   a n d   u s a b i l i t y   o f   O p e n   C o u r s e   W a r e ,   C o m p u t .   E d u c . v o l .   1 0 9 ,   n o .   F e b r u a r y ,   p p .   1 9 7 - 2 1 5 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 1 7 . 0 2 . 0 1 3 .   [2 2 ]   N.  Ha y a ti n   e a l. ,   A n a p e d ia - A n   Op e n   W e b - b a se d   En c y c lo p e d ia  f o In d o n e sia n   C h il d re n ,   J .   In f .   S y st.  E n g .   Bu s .   In tell. ,   v o l.   5 ,   n o .   1 ,   p .   4 8 ,   2 0 1 9 ,   d o i:   1 0 . 2 0 4 7 3 /j ise b i . 5 . 1 . 4 8 - 56.   [2 3 ]   D.  Yu n iarto ,   A .   S u b iy a k to ,   a n d   A .   A .   Ra h m a n ,   T e c h n o lo g y   re a d in e ss   a n d   u sa b il it y   o f   o f f i c e   a u to m a ti o n   sy ste m   in   su b u r b a n   a re a s,”   T EL KOM NIKA  T e lec o mm u n ica ti o n ,   C o mp u ti n g ,   El e c tro n ics   a n d   C o n tro l ,   v o l.   1 8 ,   n o .   2 ,     p p .   6 7 6 - 6 8 4 ,   2 0 2 0 ,   d o i:   1 0 . 1 2 9 2 8 /T EL K OMNIK A . v 1 8 i2 .   [2 4 ]   J.  P e re z ,   S .   C u e v a ,   a n d   R.   T o rre s,  Da ta  in   Brief   A c c e ss ib il it y   a n d   u sa b i li ty   OCW   d a ta :  T h e   U T P L   OCW ,   Da ta   Br. ,   v o l.   1 3 ,   p p .   5 8 2 - 5 8 6 ,   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 / j. d ib . 2 0 1 7 . 0 6 . 0 0 7 .   [2 5 ]   E.   Bu d im a n ,   N.  P u s p it a sa ri,   M .   W a ti ,   a n d   J.   A .   W id ian s,  W e b   P e rf o rm a n c e   Op ti m iza ti o n   T e c h n iq u e f o r   Bio d iv e rsity   Re so u rc e   P o rtal  W e b   P e rf o rm a n c e   Op ti m iza ti o n   T e c h n iq u e f o Bio d iv e rsity   Re so u rc e   P o rtal ,   J .   Ph y s.  Co n f.   S e r. ,   v o l.   1 2 3 0 ,   n o .   1 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 8 8 /1 7 4 2 - 6 5 9 6 /1 2 3 0 /1 / 0 1 2 0 1 1 .   [2 6 ]   S .   G o p in a t h ,   V .   S e n th o o ra n ,   a n d   N.  L o jen a a ,   Us a b il i ty   a n d   A c c e ss ib il it y   A n a l y sis  o f   S e lec t e d   G o v e rn m e n W e b sites   in   S ri  L a n k a ,   in   2 0 1 6   IEE E   Reg i o n   1 0   S y mp o siu ( T ENS Y M P) ,   2 0 1 6 ,   n o .   M a y ,   p p .   3 9 4 - 3 9 8 ,     d o i:   1 0 . 1 1 0 9 /T ENCON S p rin g . 2 0 1 6 . 7 5 1 9 4 3 9 .   [2 7 ]   H.  Om a M o h a m e d ,   R.   Y u so f f ,   a n d   A .   Ja a f a r,   Qu a n ti ti v e   a n a ly sis  in   a   h e u risti c   e v a lu a ti o n   f o u sa b il it y   o f   e d u c a ti o n a l   c o m p u ter  g a m e   (Us a ECG ),   Pro c .   -   2 0 1 2   In t.   C o n f .   I n f.   Retr.   Kn o wl.   M a n a g .   C AM P’1 2 ,   p p .   1 8 7 1 9 2 ,   2 0 1 2 ,   d o i:   1 0 . 1 1 0 9 /I n f RKM. 2 0 1 2 . 6 2 0 5 0 3 3 .         Evaluation Warning : The document was created with Spire.PDF for Python.