I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   24 ,   No .   2 N o v em b e r   2 0 2 1 ,   p p .   1 1 8 3 ~ 1 1 9 4   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 24 .i 2 . p p 1 1 8 3 - 1 1 9 4          1183       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   IM UW - A PP :  An   instrumen for  m ea suring  t he  usa bility o we a pplica tions       Ay a d H a m ee d M o us a 1 ,   M o wa f a k   K .   M o hs en 2 ,   Ali M.  Aln a s ra wi 3 ,   I nte dh a Sh a k ir  Na s ir 4   1 , 2, 3 Co ll e g e   o f   Co m p u ter S c ien c e   a n d   In f o rm a ti o n   Tec h n o l o g y , U n i v e rsity   o Ke rb a la,  Ka rb a la,  Ira q   4 Co ll e g e   o f   M e d ici n e   Ka rb a la,  U n iv e rsit y   o f   Ke rb a la,  Ka rb a la Ira q       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   May   6 2 0 2 1   R ev is ed   Au g   31 2 0 2 1   Acc ep ted   Sep   9 2 0 2 1       Co n v e n ti o n a u sa b il it y   m e a su re m e n m e th o d f o m e a su rin g   we b   a p p li c a ti o n a re   c o stl y ,   s o m e ti m e ti m e - c o n su m in g ,   a n d   m a y   re q u ire   p ro fe ss io n a ls.  T h e   fra m e wo rk s,   m e th o d s,   a p p r o a c h e s,  a n d   to o ls   in   wh ich   we b   a p p li c a ti o n a re   d e sig n e d   c a n   f u ll y   su p p o rt  th e se   li m it a ti o n s.  Th e   m a in   issu e   is  to   sp e e d   u p   th e   e v a lu a ti o n   p r o c e s o we b sites   in   a n   e ffo rtl e ss   m a n n e r.   T o   o v e rc o m e   th is  li m it a ti o n ,   t h is  p a p e p r o p o se a n   in str u m e n t h a c a n   u se   f o r   m e a su rin g   t h e   u sa b i li ty   o f   we b   a p p li c a ti o n (I M UW - APP ).   sy ste m a ti c   li tera tu re   re v iew   wa u ti li z e d   to   d e term in e   th e   i n stru m e n t   d ime n sio n s   a n d   th e ir  it e m s.  Th e   v a li d it y   a n d   re li a b il it y   tes we re   c o n d u c ted   v ia   fa c e   a n d   c o n ten v a li d it y ,   g o o d n e ss   tes ti n g ,   a n d   p il o stu d y .   Cro n b a c h ' Alp h a ,   fa c to lo a d i n g ,   Ka ise r - M e y e r - Olk in ,   a n d   Ba rlett' tes we re   + c a lcu late d   to   e n su re   th e   v a l id it y   a n d   re li a b il it y   o f   t h e   p ro p o se d   i n stru m e n t.   I n   t h e   l i g h t   o f   o u a n a ly se s,  th e   o b tai n e d   fin d in g in d ica te  th a th e   p ro p o se d   in stru m e n t   (IM UWAPP is  wo r k a b le  a n d   c a n   a d a p t.   Be sid e s,  a   c a se   stu d y   is  u se d   to   v e rify   t h e   p ro p o se d   i n stru m e n t   to   e v a lu a te  a   u n iv e rsity   we b si te.  Th e   c o ll e c ti n g   d a ta   h a v e   b e e n   a n a ly z e d   a n d   v isu a li z e d .   Ulti m a tely ,   th e   o v e ra ll   fin d i n g h a v e   h ig h li g h ted .     K ey w o r d s :   I n s tr u m en t d e v elo p m e n t   S o f twar u s ab ilit y   S y s tem atic  liter atu r r ev iew   Usab ilit y   test in g   W eb   ap p licatio n   ev alu atio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ay ad   Ham ee d   Mo u s a   C o lleg o f   C o m p u ter   Scien ce   an d   I n f o r m atio n   T ec h n o lo g y   Un iv er s ity   o f   Ker b ala   Fre ah a,   Un iv er s ity   o f   Ker b ala,   P.O.   B o x   1 1 2 5 ,   Kar b ala  5 1 0 1 3 ,   I r aq   E m ail:  ay ad . h @ u o k e r b ala. ed u . iq       1.   I NT RO D UCT I O N   T h o n lin p r esen ce   h as a   p o s itiv im p ac t o n   m ak in g   m o r r ev en u [ 1 ] [ 2 ] .   T h er e f o r e,   th e   q u ality   o f   th o r g an izatio n ' s   web s ite  in f l u en ce s   r esu lts .    T h e r is   o n e   way   to   d is tin g u is h   b etwe en   t h wo r k   o f   co m p an y   an d   th wo r k   o f   o th er   co m p an ies  is   to   h av d is tin ctiv we b s ite  f o llo win g   th s tan d ar d s   ad o p ted   in   b u ild in g   web s ites   [ 3 ] [ 4 ] .   T h m ain   is s u is   th m ea s u r in g   a n d   e v alu atio n   o f   web s ites   h av to   b s p ee d y   as p o s s ib le.     W eb   ap p licatio n s   h av b ec o m co m p lex   in   ter m s   o f   h o w   th ey   wo r k   an d   h o th ey   u s e.   Fo llo win g   f u n ctio n al   r eq u i r em en ts   in   w eb s ite  d esig n   g iv es  m o r b e n ef its   to   b e   g ain ed   u s in g   web s ites .   T o   g ain   t h e   b en ef its   o f   th e   web   ap p licatio n   f ea tu r es,  web   d ev el o p er s   h a v to   f o llo w   th e   r eq u ir em en ts   an d   lim itatio n s   o f   u s in g   th is   ap p licatio n   [ 4 ] - [ 6 ] .   B esid es,    h u m an - co m p u ter   in ter ac tio n   an d   u s ab ilit y   en g in ee r in g   b ec o m e   ess en tial  in   web   ap p licatio n   d ev elo p m e n t.  Ov er all,   s tak eh o ld er s   p r ef er   t o   h av web   a p p licatio n s   with   h ig h   u s ab ilit y   as we ll a s   wh en   th er ar m an y   s im ilar   ap p licatio n s   is   ex is [ 7 ] [ 8 ] .   Usab ilit y   d ef in es  as   an   ev alu atio n   p r o ce s s   f o r   s er v ice  o r   p r o d u ct  b y   e x p er im e n tin g   with   s u ch   p r o d u ct  with   th s elec ted   u s er s .   I n   o th er   wo r d s ,   th u s ab ilit y   o f   web   ap p licatio n   is   ap p li ca tio n   ca p ab ilit y   in   ter m s   o f   u n d e r s tan d in g ,   lear n i n g ,   a n d   attr ac tiv en ess   to   u s er s .   Acc o r d i n g   t o   [ 9 ] - [ 11 ] ,   u s ab il ity   is   ess en tial  as  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 1 8 3   -   1 1 9 4   1184   u tili ty ,   an d   c o m b in in g   th e m   ( u s ab ilit y +u tili ty )   will  id en tify   th u s ef u ln ess   o f   s o f twar p r o d u ct.   R ef er e n cin g   th d ef in itio n   in   th p r ev io u s   s ec tio n ,   u s ab ilit y   h as  g ain ed   atten tio n   in   web   ap p licatio n s ,   s in ce   th is   s tu d y   c o n ce r n s   with   web - a p p licatio n s   u s ab ilit y   test in g ,   th e   s y s tem atic  liter atu r r ev iew   ( SLR )   u s ed   to   id en tify   t h p r o p o s ed   in s tr u m en d im en s io n s ,   co n s eq u e n tly ,   th p r o p o s ed   in s tr u m en s h o u ld   test   th web - ap p licatio n   u s ab ilit y   b ased   o n   t h ese  d im en s io n s .   I n   th r est  o f   th is   p ap er ,   s e ctio n   2   h as  f o cu s ed   o n   th r esear ch   m eth o d o lo g y   u s ed ,   s ec tio n   h ig h lig h ted   th o b tain ed   r esu lt,  s ec tio n   4   h as  o u tlin ed   th e   d ev elo p m e n s id o f   th p r o p o s ed   in s tr u m e n t.  S e c t i o n   5   d e m o n s t r a t es   a n   e v al u a t i o n   o f   t h e   s e l ec t e d   we b   a p p l i c a t i o n   u s i n g   t h e   p r o p o s e d   i n s t r u m e n t .   S e c ti o n   6   d is p lay s   o v er all  f in d in g s .   W h ile  s ec tio n   7   o u tlin es th s tu d y   co n clu s io n .       2.   RE S E ARCH   M E T H O   2 . 1 .       Ar t icles select io n a nd   q ua lity   a s s ess m ent   T h r ee   au th o r s   ev alu ated   all  t h ar ticles  id en tifie d   in   th is   s tu d y   in d e p en d e n tly .   Af ter   r ev iewin g   th e   ar ticle's  titl es,  ab s tr ac ts ,   an d   f u ll  tex ts ,   th e   ir r elev a n ar tic les  h av b ee n   d is ca r d ed .   T h e   r est  ar ticles  h av e   in v esti g ated   u s in g   th q u ality   ass es s m en ch ec k lis ts   as  s u p p o r ted   b y   [ 12 ] - [ 15 ] .   T h im p licatio n   s tan d ar d s   in   th is   s tu d y   wer th s tu d ies,  wh ich   f o cu s   o n   m ea s u r in g   u s ab ili ty   in   th s o f twar e n g in ee r i n g   f ield .     2 . 2 .       T he  da t a ba s s ea rc h   T h d atab ases ,   in clu d in g   E B SC O,   Scien ce   Dir ec t,  Pu b Me d ,   W eb   o f   Scien ce ,   Sco p u s ,   as  well  a s   Go o g le  Sch o lar .   B esid es,  th ar ticles  s ea r ch ed   ar e   am o n g   2 0 0 5   to   2 0 2 1   b elo n g   th u s ab ilit y   in   web   ap p licatio n s   as we ll a s   d ev elo p in g   u s ab ilit y   in s tr u m e n ts   as su p p o r ted   b y   [ 16 ] - [ 18 ] .       3.   RE SU L T   I n   to tal,   5 3   m o s r ele v an p ap er s   f r o m   2 0 0 5   to   2 0 2 1   wer e   in clu d ed   in   th e   p r esen s y s tem atic  r ev iew.   As  m en tio n ed   ea r lier ,   s y s tem atic  liter atu r r e v iew  o f   th e   r elev an t   s tu d ies  h as  co n d u ct ed   to   id en tify   th e   in s tr u m en d im en s io n s   an d   item s .   SLR  was  s elec f o r   th b o d y   o f   liter atu r to   a g g r e g ate,   r ev iew,   an d   ass ess   b ased   o n   d e v elo p e d   SLR  p r o t o co l.  B esid es,  th p r o ce s s   o f   p er f o r m in g   SLR  co n s is ts   o f   s ev er al  s tep s   as  s h o wn   in   Fig u r 1 .   B ased   o n   th SLR  f in d in g ,   th e   p r o p o s ed   in s tr u m en to   m ea s u r th e   u s ab ilit y   o f   th e   web   ap p licatio n s   s h o u l d   h av e   s ev en   d im e n s io n s ,   wh ich   ar e   v is ib ilit y ,   lear n ab ilit y ,   s im p licity ,   f lex ib ilit y ,   d ec is io n - m ak in g   s u p p o r t,  u s ef u ln ess ,   a n d   er r o r   h an d lin g   an d   to ler a n ce .   B esid es,  th SLR  f in d i n g s   p o r tr ay   th at   ea ch   d im en s io n   o f   th p r o p o s ed   in s tr u m en t h as its   item s .           Fig u r 1 .   T h SLR  p r o to c o l       4.   I NS T RU M E N T   D E VE L O P M E N T   T h d ev el o p m e n p r o ce d u r e   o f   t h p r o p o s ed   in s tr u m en s tar ts   with   id en tify in g   th e   u s ab ilit y   d im en s io n s   with   ass o ciate d   it em s ,   f o llo wed   b y   d esig n in g   t h f ir s d r af o f   th in s tr u m e n t.  Su b s eq u en tly ,   p ilo test   was  co n d u cted   wh i ch   will  b r esu ltin g   in   t h f in al  in s tr u m en t.  Fig u r 2   d e p icts   th d ev elo p m e n t   ap p r o ac h   o f   an   in s tr u m e n t.     4 . 1     T he  f irst  dra f t   ins t rument    B ased   o n   th e   d e v elo p m e n ap p r o ac h ,   th e   f ir s ed itio n   o f   th e   p r o p o s ed   in s tr u m e n h as   b ee n   ass em b led   an d   is s u ed .   As  m en tio n ed   ea r l ier ,   th e   p r o p o s ed   in s tr u m e n h as  s ev en   d i m en s io n s   an d   e ac h   d im en s io n   h as   its   item s .   Acc o r d in g ly ,   th f ir s d r af in s tr u m en c o n s is ts   o f   s ev en   d im en s io n s   an d   6 9   item s   s p r ea d   o v er   th ese   d im en s io n s ,   s o m e   o f   th e   s elec ted   item s   h av e   b ee n   a d ap ted   f r o m   e x is tin g   s tu d ies  wh ile   th e   au th o r s   p r o p o s ed   th r est.  T ab le   1   lis ts   th f ir s d r af o f   th e   p r o p o s ed   in s tr u m e n t.   I n   lin with   th a b o v e   s itu atio n ,   th e   p r o p o s e d   in s t r u m en co n s is ts   o f   two   m ain   p ar ts ,   t h f i r s o n e   f o c u s es  o n   d em o g r ap h ic   d ata   o f   t h s elec ted   s am p le;  Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       I MUW - A P P :   A n   in s tr u men t fo r   mea s u r in g   th u s a b ilit o f web   a p p lic a tio n s   ( A ya d   Ha mee d   Mo u s a )   1185   wh ile  th s ec o n d   p ar is ,   th 6 9   item s   u s ed   to   m ea s u r th u s ab ilit y   o f   web   ap p licatio n   as  s h o wn   in   T ab le  1 .   Hen ce ,   9 - p o in t   lik e   rt - t y p s ca le  s tar ts   w ith   “v er y   s tr o n g ly   d is ag r ee ”  en d s   with   “v er y   s tr o n g ly   ag r ee ”  u s ed   in   th s tu d y .           Fig u r 2 .   T h d e v elo p m e n t a p p r o ac h   o f   in s tr u m en t       T ab le  1 .   T h f ir s t d r af o f   th e   p r o p o s ed   in s tr u m en t   D i me n si o n s   I t e ms   Th e   R e l e v a n t   R e f e r e n c e s   V i si b i l i t y   ( 8 )   I t e ms   [ 19 ] - [ 25 ]   Le a r n a b i l i t y   ( 9 )   I t e ms   [ 26 ] - [ 32 ]   S i mp l i c i t y   ( 1 0 )   I t e ms   [ 33 ] - [ 36 ]   F l e x i b i l i t y   ( 9 )   I t e ms   [ 37 ] - [ 41 ]   D e c i s i o n - M a k i n g   S u p p o r t   ( 1 0 )   I t e ms   [ 42 ] - [ 49 ]   U sefu l n e ss   ( 8 )   I t e ms   [ 50 ] - [ 57 ]   Er r o r   H a n d l i n g   a n d   T o l e r a n c e   ( 9 )   I t e ms   [ 58 ] - [ 61 ]   To t a l   6 9   I t e ms         4 . 2 .       I ns t rum ent   g o o dn ess   t esting :   pil o t   s t ud y   R ev iewin g   r elev an liter atu r ex ten s iv ely   in d icate s   th at  c o n d u ctin g   p ilo s tu d y   ca n   h elp   to ;     i)   m ea s u r in g   th in s tr u m en d im en s io n s   an d   th eir   item s   an d   ii)  to   co n f ir m   th in s tr u m en t   is   r ea d y   to   u s b y   ac tu al  u s er s .   T h u s ,   th v alid ity ,   co n s is ten cy ,   test s ,   an d   th eir   r elev an t f in d in g s   h av d etailed   in   th f o llo win g .     4 . 2 . 1 .   Va lid it y   T h in itial  v er s io n   o f   th in s tr u m en n ee d s   t o   b v alid ated   b y   th v alid ity   a n d   c o n s is ten cy ,   wh ich   is   d iv id ed   in t o   two   p ar ts   f ac v al id ity   an d   c o n ten v alid ity .   T h e   m ain   aim   o f   th v alid ity   test   i s   to   ch ec k   wh eth er   th is   in s tr u m en h as  th m ea s u r ab ilit y   o f   th p u r p o s e,   f o r   wh ich   it  h as  b ee n   d esig n ed .   C o n s eq u en tly ,   f ac e   v alid ity   m ea s u r es  th f lo o f   th co n ten w h ile  co n ten v a lid ity   m ea s u r es  th r elev an c y   o f   th in s tr u m en elem en ts .   As  r esp o n s to   th at,   f iv ex p er ts   wer en g a g ed   to   r ev iew  th p r o p o s ed   in s tr u m en t.  Desp ite  s o m e   ex p er co m m e n ts ,   th m aj o r ity   o f   th p r o p o s ed   in s tr u m e n t' s   item s   ar g o o d .   T h u s ,   ap p ly in g   f o r   th ex p er t' s   r ev iew  m ak es  an   ess en tial  ad ju s tm en t.  Ov er all  v alid ity   t est  is   b ased   o n   r elev an cy   a n d   u n d er s tan d in g .     T h o b tain e d   f in d in g   o f   th e   v alid ity   test   is   d ep icted   in   Fig u r 3 .   W h ile  T ab le  2   p r esen ts   t h r ee   d em o g r a p h ics  o f   ex p e r ts   th at  p ar ticip ated   in   th is   s tu d y   r ev iew  s ess io n .   T h ese  n u m b er s   ar s u f f icien f o r   t h ex p er r e v iew  o f   th is   s tu d y ,   as su p p o r te d   b y   [ 6 2 ] .           Fig u r 3 .   T h v alid ity   f in d in g s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 1 8 3   -   1 1 9 4   1186   T ab le  2 .   Dem o g r ap h ic  p r o f iles   o f   ex p er ts   N o .   o f   E x p e r t s   F i e l d   o f   E x p e r t i se   Ex p e r i e n c e   ( Y e a r )   Lo c a t i o n   2   A c a d e mi c i a n   20   I r a q   2   D e v e l o p e r   15   M a l a y si a   1   D e v e l o p e r   16   I r a q       4 . 2 . 2 .   M ea s uring   t he  re lia bil i t y     Me asu r in g   r eliab ilit y   f o cu s es  o n   ch ec k in g   th in s tr u m en t' s   item s   wh eth er   th ey   ar b ein g   f itted   an d   co m p lem en tar y   to   ea ch   o th er .   E ac h   o f   t h item s   h as  n u m er ic  r ep r esen tatio n .   T h is   s tu d y   was  r an d o m ly   s elec ted   4 5   p ar ticip an ts   am o n g   web   ap p licatio n s '   ac tu al  u s er s   an d   d ev elo p er s .   T h c o llected   d ata  will  b e   in teg r ated   in to   s tatis tical  p r o ce d u r e,   C r o n b ac h s   alp h s tatis tics   h av b ee n   co n d u cted ,   to   o b tain   th ev i d en ce   th at  th in s tr u m en h as b ee n   v alid ated .   T h r eliab ilit y   f in d in g s   h av s h o wn   i n   T ab le  3 .         T ab le  3 .   R eliab ilit y   test   an d   f i n d in g s   D i me n si o n s   S a mp l e   S e l e c t e d   CA   N o .   o f   I t e ms   V i si b i l i t y   (V)   45   0 . 9 2 3   8   Le a r n a b i l i t y   ( L)   45   0 . 9 7 7   9   S i mp l i c i t y   ( S )   45   0 . 9 4 2   10   F l e x i b i l i t y   ( F )   45   0 . 8 8 1   9   D e c i s i o n - M a k i n g   S u p p o r t   ( D M S )   45   0 . 8 7 6   10   U sefu l n e ss   ( U )   45   0 . 9 1 5   8   Er r o r   H a n d l i n g   a n d   T o l e r a n c e   ( EH T)   45   0 . 8 9 6   9   N o t e :   C A   me a n s C r o n b a c h s Al p h a       4 . 2 . 3 .   Co ns t ruct   v a lid it y   A c c o r d i n g   t o   [ 63 ] ,   t es t i n g   t h e   v a l i d i t y   o f   t h e   i n s t r u m e n t   d i m en s i o n s   u s e d   a   s a m p le   s i z e   g r e at e r   t h a n   o r   e q u a l   t o   1 0 0   p a r t i c i p a n t s   t o   o b t a i n   t h e   r e l i a b l e   es s e n t i a l   o u t co m e .   T h e   t o t a l   n u m b e r   o f   p a r t i c i p a n ts   u s e d   i n   t h is   s t u d y   is   1 5 3   r e s p o n d e n ts .   T h e n   v a l i d i t y   w as   as s u r e d   a n d   t h e   f a c t o r   a n a l y s is   is   u s e d   f o r   d e c i d i n g   i t e m s   t o   d el e t es  o r   u s e d .   T h e   a i m   o f   i d e n t i f y i n g   f a c t o r   a n a l y s is   i s   t o   v e r i f y   t h e   l e v e l   o f   t o   w h a t   e x t e n d   t h e   s i g n i f i c a n c e   o f   e a c h   i n s t r u m e n t' s   i t e m   a n d   s u i ta b i l ity   t o   e a c h   d i m e n s i o n   [ 6 4 ] .   C o n s e q u e n t l y ,   t h e   t es t   h a s   r u n   a n d   d i r e c t e d   t o   a c c e p t   t h e   r e l e v a n t   i t e m s   b y   u t i l i z i n g   K M O   ( K a is e r - M e y e r - O l k i n )   an d   B a r t l e tt s   t es t   o f   s p h e r i c it y ,   a n d   F a c t o r   l o a d i n g .   T h e   t e s t   s h o u l d   b b a s e d   o n   t h e   f o l l o w i n g   r u le s .   C o n s e q u e n t l y ,   t h e   r es u l ts   h a v e   t a b u l a te d   i n   T a b l e   4   ( s ee   A p p e n d i x )     KM v alu   o f   0 . 5 0   is   ac ce p tab le.     B ar tlett’s v alu o f   p     0 . 0 5   is   ac ce p tab le.     Facto r   lo ad in g   v alu ac ce p tab l s h o u ld   b e   ± 0 . 3 0   to   ± 0 . 4 0 .   As  is   c lear ly   ev id en f r o m   T a b le  5 ,   th n u m b er   o f   elem e n ts   in   th p r o p o s ed   in s tr u m en v a r ies  d u to   th ef f ec o f   f ac to r   lo a d in g   f o r   all  d im e n s io n s   o f   th p r o p o s ed   in s tr u m en t.  Fo r   ex a m p le,   th v is ib ilit y   d im en s io n   h as 8   item s   b e f o r ap p ly in g   f ac to r   l o ad in g ,   wh ile   it h as 6   item s   af ter   ap p l y in g   f ac to r   lo ad in g .   As  in d icate d   in   T ab le  3 ,   all   th I n s tr u m e n t' s   item s   ar co n f ir m ed   v alid   an d   ca n   b e   u tili ze d   ex ce p f o r   item s   m ar k ed   with   ( * )   wh ich   illu s tr ate  lo ad in g   v alu es  0 . 5 0 .   C o n s eq u en tly ,   th f in al  d r a f o f   th p r o p o s ed   in s tr u m en t n o t in clu d ed   th ite m s   m ar k ed   with   ( * ) .   T h u s ,   th e   to tal  n u m b er   o f   item s   af ter   th co n s tr u ct  v alid ity   test   i s   4 0   item s .   T o   m ea s u r th ex ten t to   wh ich   th elem en ts   ar r elate d   to   th eir   d im en s io n ,   th f ac to r   lo ad in g   tech n iq u was a ls o   u tili ze d .   T h f in al  d r af t o f   th p r o p o s ed   in s tr u m en t is illu s tr ated   in   T ab l 5 .       T ab le  5 .   T h p r o p o s ed   i n s tr u m en t ( f in al  d r af t )   D i me n si o n s   I t e ms   B e f o r e   F a c t o r   L o a d i n g   I t e ms A f t e r   F a c t o r   L o a d i n g   V   V - I t e m 1 …  V - I t e 8   V - I t e m 1 …  V - I t e 6   L   L - I t e m 1   L - I t e m 9   L - I t e m 1   L - I t e m 6   S   S - I t e m 1 …  S - I t e 1 0   S - I t e m 1 …  S - I t e 6   F   F - I t e m 1 …  F - I t e 9   F - I t e m 1 …  F - I t e 5   D M S   D M S - I t e m 1 .   D M S - I t e 1 0   D M S - I t e m 1   D M S - I t e 6   U   U - I t e m 1 …  U - I t e 8   U - I t e m 1 …  U - I t e 5   EH T   EH T - I t e m 1   EH T - I t e 9   EH T - I t e m 1   EH T - I t e 6           Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       I MUW - A P P :   A n   in s tr u men t fo r   mea s u r in g   th u s a b ilit o f web   a p p lic a tio n s   ( A ya d   Ha mee d   Mo u s a )   1187   5.   USE   T H E   P RO P O SE I NS T RU M E N T   I T E ST   WE B - AP P L I CA T I O N   As  m en tio n ed   ea r lier ,   ch ec k in g   u s ab ilit y   is   a n   ess en tial  p ar t   o f   web   a p p licatio n   d ev elo p m en t.  Mo s t   o r g an izatio n s   s tr iv e   f o r   th eir   web   ap p licatio n s   to   b e asy   t o   u s as  well  as  th o th er   b a s ic  s er v ices.  I n   th e   co n tex o f   th is   s tu d y ,   a   web   a p p licatio n   b elo n g   t o   well - k n o wn   ed u ca tio n al  I n s itu te  was  s elec ted   to   test   th u s ab ilit y   u s in g   th p r o p o s ed   in s tr u m en t.    T h e   p r o p o s e d   i n s t r u m e n t   h a s   r a n d o m l y   d i s t r i b u t e d   t o   a   s a m p l e   t h a t   i n c l u d e s   f o u r   c a t e g o r i e s   f r o m   t h i s   i n t e n d e d   i n s t i t u t i o n   ( a c a d e m i c s   s t a f f ,   a d m i n i s t r a t i v e   s t a f f ,   s t u d e n t s ,   a n d   t e c h n i c a l   s t a f f ) .   B a s e d   o n   i n d i v i d u a l   r e s p o n s e s   t o w a r d s   t h e   u s a b i l i t y   o f   t h e   i n t e n d e d   w e b s i t e ,   6 5 %   o f   t h e   p a r t i c i p a n t s   v e r y   s t r o n g l y   a g r e e   w i t h   t h e   v i s i b i l i t y   o f   t h e   i n t e n d e d   w e b s i t e ,   w h i l e   1 0 %   o f   t h e   p a r t i c i p a n t s   s t r o n g l y   a g r e e   w i t h   t h e   s a m e   d i m e n s i o n ,   a n d   6 %   o f   t h e m   a r e   a g r e e i n g   w i t h   i t .   T h e   v i s i b i l i t y   f i n d i n g s   h a v e   s h o w n   i n   F i g u r e   4 .   M o r e o v e r ,   5 0 %   o f   t h e   p a r t i c i p a n t s   v e r y   s t r o n g l y   a g r e e   w i t h   t h e   l e a r n a b i l i t y   o f   t h e   i n t e n d e d   w e b s i t e ,   w h i l e   1 5 %   o f   t h e   p a r t i c i p a n t s   s t r o n g l y   a g r e e   w i t h   t h e   s a m e   d i m e n s i o n ,   a n d   2 0 %   o f   t h e m   a r e   a g r e e i n g   w i t h   i t .   T h e   l e a r n a b i l i t y   f i n d i n g s   h a v e   s h o w n   i n   F i g u r e   5 .           Fig u r 4 .   Vis ib ilit y   f in d in g s           Fig u r 5 .   L ea r n ab ilit y   f i n d in g s       Fu r th er m o r e ,   6 5 % o f   th p ar ti cip an ts   v er y   s tr o n g ly   ag r ee   with   th s im p l icity   o f   th in ten d e d   web s ite,   wh ile  2 0 o f   th p a r ticip an ts   s tr o n g ly   ag r ee   with   th e   s am d im en s io n ,   a n d   1 4 o f   th em   ar ag r ee in g   with   it.   T h s im p licity   f i n d in g s   h av e   s h o wn   in   Fig u r e   6 .   I n   th e   s am asp ec t,  7 8 o f   th e   p a r ticip an ts   v er y   s tr o n g ly   ag r ee   with   th f lex ib ilit y   o f   th in ten d ed   we b s ite,   wh ile  9 o f   th p ar ticip an ts   s tr o n g ly   a g r ee   with   th s am e   d im en s io n ,   an d   1 0 %   o f   th em   ar ag r ee i n g   with   it.  T h f lex i b ilit y   f in d i n g s   h a v s h o w n   in   Fig u r 7 .   B esid es,   8 0 o f   th p ar ticip an ts   v er y   s tr o n g ly   a g r ee   with   t h d ec is io n - m ak in g   s u p p o r o f   t h in ten d ed   web s ite,   wh ile   1 1 o f   th p ar ticip a n ts   s tr o n g ly   ag r ee   with   th s am d im e n s io n ,   an d   3 o f   t h em   ar ag r ee in g   with   it.  T h e   d ec is io n - m ak in g   s u p p o r t f in d in g s   h av s h o w n   in   Fig u r 8 .   Mo r eo v er ,   th m ajo r ity   ( 7 0 % )   o f   th p a r ticip an ts   v er y   s tr o n g ly   a g r ee   with   th u s ef u ln ess   o f   th in ten d ed   web s ite ,   wh ile  1 1 o f   th p ar ticip an ts   s tr o n g ly   a g r ee   with   th s am d im en s io n ,   an d   1 0 o f   th e m   ar ag r ee in g   with   it.  T h u s e f u ln ess   f in d in g s   h av s h o wn   in   Fig u r 9 .   Ultim ately ,   6 5 %   o f   th e   p ar ticip an ts   v er y   s tr o n g ly   ag r ee   with   th er r o r   h a n d lin g   a n d   to ler a n ce   o f   th in ten d e d   web s ite,   wh ile  1 5 o f   th e   p ar ticip an ts   s tr o n g ly   ag r ee   w ith   th s am d im en s io n ,   an d   1 0 o f   th em   ar ag r e ein g   with   it.  T h er r o r   h an d lin g   an d   t o ler an ce   f i n d in g s   h av s h o w n   in   Fig u r 1 0 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 1 8 3   -   1 1 9 4   1188       Fig u r 6 .   Simp licity   f i n d in g s           Fig u r 7 .   Flex ib ilit y   f i n d in g s           Fig u r 8 .   Dec is io n - m a k in g   f in d in g s           Fig u r 9 .   Usef u ln ess   f in d i n g s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       I MUW - A P P :   A n   in s tr u men t fo r   mea s u r in g   th u s a b ilit o f web   a p p lic a tio n s   ( A ya d   Ha mee d   Mo u s a )   1189       Fig u r 1 0 .   E r r o r   h a n d lin g   f in d in g s       6.   O VE RA L L   U SAB I L I T T E S T   As  in d icate d   in   Fig u r e   1 1 ,   th f in d in g s   s h o wed   th at  th e   s elec ted   web s ite  is   u s ab le.   B y   s u m m atio n   u p   th p er ce n tag e   o f   th e   “v er y   s tr o n g ly   ag r ee ,   s tr o n g ly   ag r ee ,   a n d   a g r ee "   o f   ea ch   d im en s io n   o f   th e   p r o p o s ed   to o l,   th f in d i n g s   ar e:  9 1 f o r   v is ib ilit y ,   lear n ab ilit y   was  8 5 %,  s im p licity   was  9 6 %,  f le x ib ilit y   was  9 7 %,  d ec is io n - m ak in g   s u p p o r was  9 4 %,  u s ef u ln ess   was  9 1 %,  an d   u ltima tely ,   er r o r   h an d lin g   an d   t o ler an ce   was  9 1 %.  C o n s eq u en tly ,   t h o v er all  r esu lt  in d icate s   th e   in ten d e d   we b s ite  is   u s ab le.   Fig u r e   1 1   ill u s tr ated   th o v er all   u s ab ilit y   test .           Fig u r 1 1 .   Ov er all  u s ab ilit y   te s t       7.   CO NCLU SI O   T h r esear ch   h as  s y s tem atica l ly   id en tifie d   th u s ab ilit y   in s tr u m en an d   its   d im en s io n s   as  well  as  th r elev an item s   to   th o s e   d im e n s io n s .   T h e   m ain   aim   o f   t h e   p r o p o s ed   in s tr u m en t   ( I MU W - APP)  is   to   h elp   r esear ch er s   an d   s o f twar co m p an ies  to   test   th u s ab ilit y   o f   th eir   we b   ap p licatio n s .   Sev en   d im en s io n s   wer e   in clu d ed   in   I MU W - APP:   v is i b ilit y ,   lear n ab ilit y ,   s im p licity ,   f lex ib ilit y ,   d ec is io n - m ak in g   s u p p o r t,  u s ef u ln ess ,   an d   e r r o r   h a n d lin g   an d   to ler a n ce .   B esid es,  s y s tem atic  lit er atu r r ev iew  h as  b ee n   co n d u cted   to   ex tr ac t   th e   I MU W - APP d im en s io n s .   T h v alid ity   test   was  co n d u ct ed   to   test   th r elev an ce   an d   u n d er s tan d in g   o f   th e   p r o p o s ed   in s tr u m en t.   Me asu r in g   th e   g o o d n ess   o f   t h p r o p o s ed   in s tr u m e n was  also   co n d u cted   a n d   th s tatis tical  p r o ce d u r e   was  ca lcu lated .   T h o v er all  f in d i n g s   in d icate   th p r o p o s ed   in s tr u m en is   wo r k ab le  in   ter m s   o f   web - ap p licatio n   u s ab ilit y   m ea s u r in g   as  well  as  p r o v i d in g   th e o r etica an d   p r a ctica g u id elin es  f o r   we b   d ev e lo p er s   to   d e v elo p   a   wo r k ab le  u s ab ilit y - test in g   in s tr u m en t.  An   ed u ca tio n al  o f f ic ial  web s ite  w as  u s ed   as  ca s s tu d y   to   m ea s u r e   u s ab ilit y .   T h f in d in g s   o f   th u s ab ilit y   test   wer h ig h lig h ted .   T h f in d in g   o b tain e d   s h o w n   th at  th p r o p o s ed   in s tr u m en is   wo r k ab le  in   p r a ctice   in   m ea s u r in g   th u s ab ilit y   in   web   ap p licatio n .   B esid es,  th s tep   b y   s tep   th at  is   u s ed   in   d ev elo p in g   s u c h   an   in s tr u m e n as  well  as  ca n   b p r o d u ctiv f o r   o th er   r esear ch er s   in   th is   f ield   eith er   to   ad o p t it  o r   u s it a s   g u id elin to   d ev elo p   th eir   o wn   in s tr u m en ts .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 1 8 3   -   1 1 9 4   1190   A P P E NDI X       T ab le  4 .   Ov e r all  f in d in g   o f   d i m en s io n s   v alid ity   D i me n si o n s   I t e ms   K M O   B a r t l e t t Te st   F a c t o r   L o a d i n g   V i si b i l i t y   ( V )   V - I t e m 1   0 . 6 4 4   0 . 0 0 0   0 . 5 9 3   V - I t e m 2   0 . 6 3 7   0 . 0 0 0   0 . 6 3 1   V - I t e m 3   0 . 6 2 6   0 . 0 0 0   0 . 6 1 4   V - I t e m 4   0 . 6 1 1   0 . 0 0 0   0 . 5 9 3   V - I t e m 5   0 . 6 9 7   0 . 0 0 0   0 . 6 4 1   V - I t e m 6   0 . 6 9 5   0 . 0 0 0   0 . 6 8 4   V - I t e m 7   0 . 6 4 8   0 . 0 0 0   0 . 3 2 3 *   V - I t e m 8   0 . 6 1 3   0 . 0 0 0   0 . 4 2 1 *   Le a r n a b i l i t y   ( L)   L - I t e m 1   0 . 6 4 7   0 . 0 0 0   0 . 5 2 3   L - I t e m 2   0 . 6 4 3   0 . 0 0 0   0 . 6 8 1   L - I t e m 3   0 . 6 1 9   0 . 0 0 0   0 . 6 7 4   L - I t e m 4   0 . 6 2 1   0 . 0 0 0   0 . 3 7 3 *   L - I t e m 5   0 . 6 3 5   0 . 0 0 0   0 . 6 5 1   L - I t e m 6   0 . 6 4 8   0 . 0 0 0   0 . 4 1 4 *   L - I t e m 7   0 . 6 4 6   0 . 0 0 0   0 . 5 1 3   L - I t e m 8   0 . 6 4 3   0 . 0 0 0   0 . 3 3 3 *   L - I t e m 9   0 . 6 4 8   0 . 0 0 0   0 . 6 8 2   S i mp l i c i t y   ( S )   S - I t e m 1   0 . 6 2 9   0 . 0 0 0   0 . 3 9 3 *   S - I t e m 2   0 . 6 9 3   0 . 0 0 0   0 . 6 3 3   S - I t e m 3   0 . 6 1 9   0 . 0 0 0   0 . 4 8 1 *   S - I t e m 4   0 . 6 2 8   0 . 0 0 0   0 . 5 9 7   S - I t e m 5   0 . 6 3 7   0 . 0 0 0   0 . 3 3 6   *   S - I t e m 6   0 . 6 4 6   0 . 0 0 0   0 . 6 9 2   S - I t e m 7   0 . 6 3 7   0 . 0 0 0   0 . 5 4 3   S - I t e m 8   0 . 6 4 8   0 . 0 0 0   0 . 6 8 8   S - I t e m 9   0 . 6 4 9   0 . 0 0 0   0 . 5 4 7   S - I t e m 1 0   0 . 6 4 1   0 . 0 0 0   0 . 3 9 9 *   F l e x i b i l i t y   ( F )   F - I t e m 1   0 . 6 4 3   0 . 0 0 0   0 . 3 8 2 *   F - I t e m 2   0 . 6 4 9   0 . 0 0 0   0 . 6 8 1   F - I t e m 3   0 . 6 4 4   0 . 0 0 0   0 . 3 4 2 *   F - I t e m 4   0 . 6 4 8   0 . 0 0 0   0 . 5 5 5   F - I t e m 5   0 . 6 4 5   0 . 0 0 0   0 . 6 3 1   F - I t e m 6   0 . 6 4 9   0 . 0 0 0   0 . 4 4 2 *   F - I t e m 7   0 . 6 4 1   0 . 0 0 0   0 . 3 8 7 *   F - I t e m 8   0 . 6 4 2   0 . 0 0 0   0 . 6 3 5   F - I t e m 9   0 . 6 4 5   0 . 0 0 0   0 . 6 7 1   D e c i s i o n - M a k i n g   S u p p o r t   ( D M S )   D M S - I t e m 1   0 . 6 1 2   0 . 0 0 0   0 . 5 7 7   D M S - I t e m 2   0 . 6 2 4   0 . 0 0 0   0 . 3 9 1 *   D M S - I t e m 3   0 . 6 3 4   0 . 0 0 0   0 . 6 4 5   D M S - I t e m 4   0 . 6 5 3   0 . 0 0 0   0 . 3 9 3 *   D M S - I t e m 5   0 . 6 7 3   0 . 0 0 0   0 . 4 2 1 *   D M S - I t e m 6   0 . 6 8 6   0 . 0 0 0   0 . 4 3 4 *   D M S - I t e m 7   0 . 6 7 7   0 . 0 0 0   0 . 5 1 3   D M S - I t e m 8   0 . 6 8 9   0 . 0 0 0   0 . 6 1 1   D M S - I t e m 9   0 . 6 0 8   0 . 0 0 0   0 . 6 3 4   D M S - I t e m 1 0   0 . 6 1 7   0 . 0 0 0   0 . 5 9 4   U sefu l n e ss   ( U )   U - I t e m 1   0 . 6 7 1   0 . 0 0 0   0 . 5 9 3   U - I t e m 2   0 . 6 4 1   0 . 0 0 0   0 . 3 1 2 *   U - I t e m 3   0 . 6 4 7   0 . 0 0 0   0 . 4 9 2 *   U - I t e m 4   0 . 6 4 3   0 . 0 0 0   0 . 3 7 5 *   U - I t e m 5   0 . 6 4 8   0 . 0 0 0   0 . 6 3 1   U - I t e m 6   0 . 6 4 9   0 . 0 0 0   0 . 6 9 9   U - I t e m 7   0 . 6 4 3   0 . 0 0 0   0 . 5 7 2   U - I t e m 8   0 . 6 4 8   0 . 0 0 0   0 . 6 4 4   Er r o r   H a n d l i n g   a n d   To l e r a n c e   ( EH T)   EH T - I t e m 1   0 . 6 4 7   0 . 0 0 0   0 . 5 7 2   EH T - I t e m 2   0 . 6 4 3   0 . 0 0 0   0 . 6 9 1   EH T - I t e m 3   0 . 6 2 1   0 . 0 0 0   0 . 6 6 2   EH T - I t e m 4   0 . 6 5 4   0 . 0 0 0   0 . 5 9 9   EH T - I t e m 5   0 . 6 8 4   0 . 0 0 0   0 . 6 3 8   EH T - I t e m 6   0 . 6 4 9   0 . 0 0 0   0 . 6 6 1   EH T - I t e m 7   0 . 6 3 4   0 . 0 0 0   0 . 4 8 8 *   EH T - I t e m 8   0 . 6 4 9   0 . 0 0 0   0 . 3 3 1 *   EH T - I t e m 9   0 . 6 2 1   0 . 0 0 0   0 . 4 4 2 *         Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       I MUW - A P P :   A n   in s tr u men t fo r   mea s u r in g   th u s a b ilit o f web   a p p lic a tio n s   ( A ya d   Ha mee d   Mo u s a )   1191   R E FE R E N C E   [1 ]   T.   S .   Teo   a n d   Y.  P ian ,   " c o n t i n g e n c y   p e rsp e c ti v e   o n   I n tern e a d o p ti o n   a n d   c o m p e ti ti v e   a d v a n tag e , "   E u ro p e a n   J o u rn a o In fo rm a ti o n   S y ste ms ,   v o l.   1 2 ,   n o .   2 ,   p p .   7 8 - 9 2 ,   2 0 0 3 ,   d o i :   1 0 . 1 0 5 7 p a lg ra v e . e ji s. 3 0 0 0 4 4 8   [2 ]   K.  P a u we ls  a n d   S .   A.  Ne sli n ,   " Bu il d in g   with   b r ick a n d   m o rtar:  T h e   re v e n u e   imp a c o o p e n in g   p h y sic a sto re i n   a   m u lt ich a n n e e n v ir o n m e n t, "   J o u rn a o Ret a il in g ,   v o l.   9 1 ,   n o .   2 ,   p p .   1 8 2 - 1 9 7 ,   2 0 1 5 ,     doi 1 0 . 1 0 1 6 /j . jreta i. 2 0 1 5 . 0 2 . 0 0 1 .     [3 ]   A.  G a rrid o ,   G .   Ro ss i ,   a n d   D .   Dis tan te,  " Re fa c to ri n g   fo r   u sa b il it y   i n   we b   a p p li c a ti o n s, "   IEE so f twa re ,   v o l .   2 8 ,   n o .   3 ,   p p .   6 0 - 6 7 ,   2 0 1 0 ,   d o i :   1 0 . 1 1 0 9 / M S . 2 0 1 0 . 1 1 4 .   [4 ]   Y.  S .   Ry u   a n d   T.   L.   S m it h - Ja c k so n ,   " Re li a b il it y   a n d   v a li d it y   o th e   m o b il e   p h o n e   u sa b il i ty   q u e sti o n n a ire  (M P UQ ), "   J o u rn a o Us a b il it y   S tu d ies ,   v o l.   2 ,   n o .   1 ,   p p .   3 9 - 5 3 ,   2 0 0 6 .     [5 ]   U.  Ne u m a n n ,   N.   G e n z e ,   a n d   D.   He id e r,   " E F S :   a n   e n se m b le  fe a tu re   se lec ti o n   to o l   imp lem e n ted   a R - p a c k a g e   a n d   we b - a p p li c a ti o n , "   Bi o Da t a   M i n i n g ,   v o l.   1 0 ,   n o .   1 ,   p p .   1 - 9 ,   2 0 1 7 ,   d o i 1 0 . 1 1 8 6 /s1 3 0 4 0 - 0 1 7 - 0 1 4 2 - 8.     [6 ]   J.  D.  Walk e a n d   S .   C .   Ch a p ra ,   " c li e n t - sid e   we b   a p p li c a ti o n   fo in tera c ti v e   e n v i ro n m e n tal  sim u lat io n   m o d e li n g , "   En v iro n me n ta M o d e ll i n g   &   S o f t wa re ,   v o l.   5 5 ,   p p .   4 9 - 6 0 ,   2 0 1 4 ,   d o i 1 0 . 1 0 1 6 /j . e n v so f t. 2 0 1 4 . 0 1 . 0 2 3 .     [7 ]   A.  H.   M o u sa ,   S .   H.  M o u sa ,   M .   Aljsh a m e e ,   a n d   I.   S .   Na sir,   " De term in a n ts  o c u sto m e a c c e p tan c e   o e - b a n k i n g   i n   Ira q   u sin g   tec h n o l o g y   a c c e p tan c e   m o d e l, "   T EL KOM NIKA   ( T e l e c o mm u n ica ti o n ,   Co m p u ti n g ,   El e c tro n ics   a n d   Co n tro l ) ,   v o l .   1 9 ,   n o .   2 ,   p p .   4 2 1 - 4 3 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 2 9 2 8 / TE LKO M NIK A.v 1 9 i2 . 1 6 0 6 8   [8 ]   P .   Zah a rias   a n d   A.  P o y ly m e n a k o u ,   " De v e l o p i n g   a   u sa b il it y   e v a lu a ti o n   m e th o d   f o r   e - lea rn i n g   a p p li c a ti o n s:  Be y o n d   fu n c ti o n a u sa b il it y , "   I n tl .   J o u r n a o Hu ma n C o mp u ter   In ter a c ti o n ,   v o l.   2 5 ,   n o .   1 ,   p p .   7 5 - 9 8 ,   2 0 0 9 ,   d o i 1 0 . 1 0 8 0 / 1 0 4 4 7 3 1 0 8 0 2 5 4 6 7 1 6 .     [9 ]   J.   Nie lse n ,   " Us a b il i ty 1 0 1 :In tr o d u c ti o n   t o   u sa b il it y   ( 2 0 1 2 ), "   h tt p : // ww w.u se it . c o m /ale rtb o x /2 0 0 3 0 8 2 5 . h tml   [1 0 ]   P .   K o rtu m   a n d   M .   S o r b e r,   " M e a su rin g   t h e   u sa b il it y   o f   m o b il e   a p p li c a ti o n f o p h o n e s   a n d   tab lets, "   I n ter n a t io n a l   J o u rn a o Hu ma n - Co m p u ter   I n te ra c ti o n ,   v o l.   3 1 ,   n o .   8 ,   p p .   5 1 8 - 5 2 9 ,   2 0 1 5 ,   d o i 1 0 . 1 0 8 0 / 1 0 4 4 7 3 1 8 . 2 0 1 5 . 1 0 6 4 6 5 8 .     [1 1 ]   D.  G re e n   a n d   J.  M .   P e a rso n ,   " De v e lo p m e n o a   we b   site  u sa b il it y   in stru m e n b a se d   o n   IS 9 2 4 1 - 1 1 , "   J o u rn a o f   Co mp u ter   I n fo rm a ti o n   S y ste ms ,   v o l.   4 7 ,   n o .   1 ,   p p .   6 6 - 7 2 ,   2 0 0 6 .     [1 2 ]   K.  P e su d o v s,  J .   M .   Bu rr,   C.   Ha rley   a n d   D.   B.   El l io tt ,   " Th e   d e v e lo p m e n t,   a ss e ss m e n t,   a n d   se lec ti o n   o q u e stio n n a ires , "   Op t o me try   a n d   Vi si o n   S c ien c e ,   v o l.   8 4 ,   n o ,   8 ,   p p .   6 6 3 - 6 7 4 ,   2 0 0 7 ,   d o i :   1 0 . 1 0 9 7 /O P X.0 b 0 1 3 e 3 1 8 1 4 1 fe 7 5 .     [1 3 ]   K.  S c h lee we is   e a l . ,   " S e lec ti o n   a n d   q u a li ty   a ss e ss m e n o Lan d sa d a ta  fo th e   No rt h   Am e rica n   fo re st  d y n a m ics   fo re st  h ist o ry   m a p o t h e   US, "   In ter n a ti o n a l   J o u r n a l   o f   Dig it a Ea rt h ,   v o l.   9 ,   n o .   9 ,   p p .   9 6 3 - 9 8 0 ,   2 0 1 6 ,   d o i 1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 6 . 1 1 5 8 8 7 6 .     [1 4 ]   I.   S .   Na sir,   A.   M o u sa   a n d   I .   L .   H.  Alsa m m a k ,   " S M UPI - BIS :   a   sy n t h e sis  m o d e f o u se r“   p e rc e iv e d   imp a c t   o f   b u sin e ss   in telli g e n c e   sy ste m s,"   In d o n e si a n   J o u rn a o El e c trica E n g in e e rin g   a n d   C o mp u ter   S c ien c e   (IJ EE CS ) ,   v o l.   2 1 ,   n o .   3 ,   M a rc h   2 0 2 1 ,   p p .   1 8 5 6 - 1 8 6 7 ,   2 0 2 1 ,   d o i 1 0 . 1 1 5 9 1 / ij e e c s.v 2 1 . i3 . p p 1 8 5 6 - 1 8 6 7 .     [1 5 ]   R.   Ba k ri,   B.   S a rt o n o ,   H.  A.   Zai n u d d in   a n d   L .   A.   S a b il ,   " S WANS TAT:   A   u se r - frien d ly   we b   a p p l i c a ti o n   f o r   d a ta  a n a ly sis  u sin g   s h in y d a sh b o a rd   p a c k a g e   in   R, "   T EL KOM NIK T e lec o mm u n ica ti o n ,   C o mp u ti n g ,   El e c tro n ics   a n d   Co n tro l v o l.   1 8 ,   n o .   4 ,   Au g u st  2 0 2 0 ,   p p .   1 8 6 6 - 1 8 7 3 ,   2 0 2 0 ,   d o i :   1 0 . 1 2 9 2 8 /T EL KO M NIK A.v 1 8 i4 . 1 4 1 8 2 .     [1 6 ]   E.   M o u o ,   J.   F .   P ime n tel ,   L .   M u rta,  M .   Ka li n o ws k i ,   E .   M e n d e a n d   C.   W o h l in ,   " O n   t h e   P e rf o rm a n c e   o H y b ri d   S e a rc h   S trate g ies   fo r   S y ste m a ti c   Li tera tu re   Re v iew i n   S o ft wa re   En g i n e e rin g , "   In f o rm a ti o n   a n d   S o ft w a re   T e c h n o l o g y ,   v o l.   1 2 3 ,   p .   1 0 6 2 9 4 ,   2 0 2 0 ,   d o i 1 0 . 1 0 1 6 / j. i n fso f. 2 0 2 0 . 1 0 6 2 9 4 .     [1 7 ]   C.   W o h li n ,   E.   M e n d e s,  K.   R.   F e li z a rd o   a n d   M .   Ka li n o ws k i,   " G u id e li n e fo t h e   se a rc h   stra teg y   to   u p d a te  sy ste m a ti c   li tera tu re   re v iew in   so ftwa re   e n g in e e rin g , "   In f o rm a ti o n   a n d   S o ft w a re   T e c h n o l o g y ,   v o l .   1 2 7 ,   p .   1 0 6 3 6 6 ,   2 0 2 0 ,   d o i 1 0 . 1 0 1 6 / j. in fs o f. 2 0 2 0 . 1 0 6 3 6 6 .     [1 8 ]   D.  Zh a n g   a n d   B .   Ad ip a t,   " C h a ll e n g e s,  m e th o d o lo g ies ,   a n d   issu e s   in   th e   u sa b il it y   tes ti n g   o f   m o b il e   a p p li c a ti o n s,"   In ter n a t io n a l   J o u r n a l   o H u ma n - Co m p u ter   I n ter a c ti o n ,   v o l.   1 8 ,   n o ,   3 ,   p p .   2 9 3 - 3 0 8 ,   2 0 0 5 ,   d o i 1 0 . 1 2 0 7 /s 1 5 3 2 7 5 9 0 i jh c 1 8 0 3 _ 3 .     [1 9 ]   H.  Ko r v in g ,   M .   He rn á n d e z   a n d   E.   De   G ro o t,   " Lo o k   a m e   a n d   p a y   a tt e n ti o n A   stu d y   o n   th e   re latio n   b e twe e n   v isib il it y   a n d   a tt e n ti o n   in   w e b lec tu re s,"   C o mp u ter &   E d u c a ti o n ,   v o l.   9 4 ,   p p .   1 5 1 - 1 6 1 ,   2 0 1 6 ,   d o i 1 0 . 1 0 1 6 / j. c o m p e d u . 2 0 1 5 . 1 1 . 0 1 1 .     [2 0 ]   R.   Ch a m b e rs,  " Ap p li c a ti o n   o b e s p ra c ti c e   to wa rd imp ro v in g   Web   site  v isib i li ty   t o   se a rc h   e n g i n e s:  p il o stu d y , "   S o u th   Af ric a n   J o u r n a l   o In f o rm a ti o n   M a n a g e me n t ,   v o l.   7 ,   n o .   4 ,   p p .   1 - 1 ,   2 0 0 5 ,   d o i:   1 0 . 4 1 0 2 /sa ji m . v 7 i4 . 2 8 8 .     [2 1 ]   E.   Kic ima n   a n d   B.   Li v sh it s ,   " Aj a x S c o p e a   p latf o rm   fo re m o tely   m o n it o r i n g   th e   c li e n t - si d e   b e h a v io o We b   2 . 0   a p p li c a ti o n s,"   AC M   S IGO PS   Op e ra ti n g   S y ste ms   Rev iew ,   v o l.   4 1 ,   n o .   6 ,   p p .   1 7 - 3 0 ,   2 0 0 7 ,   d o i 1 0 . 1 1 4 5 / 1 3 2 3 2 9 3 . 1 2 9 4 2 6 4 .     [2 2 ]   M .   Z.   M a c k i n lay ,   " P h a se o a c c u ra c y   d iag n o sis:(i n v isib il it y   o sy ste m   sta tu s   in   th e   F it b it , "   In ter se c t:  T h e   S ta n fo r d   J o u rn a o f   S c ien c e ,   T e c h n o l o g y ,   a n d   S o c iety ,   v o l.   6 ,   n o .   2 ,   2 0 1 3 .     [2 3 ]   J.  Esp a d a s,  C.   Ca lero   a n d   M .   P iatti n i ,   " Web   site  v isi b il it y   e v a lu a ti o n , "   J o u rn a o th e   Ame ri c a n   S o c iety   fo r   In fo rm a t io n   S c ien c e   a n d   T e c h n o l o g y ,   v o l .   5 9 ,   n o .   1 1 ,   p p .   1 7 2 7 - 1 7 4 2 ,   2 0 0 8 ,   d o i 1 0 . 1 0 0 2 /as i. 2 0 8 6 5 .     [2 4 ]   M .   Ka y a k u ş  a n d   I.   S .   Ün c ü ,   " T h e   De v e lo p m e n o f   Artifi c ial  In tell i g e n c e - Ba se d   Web   Ap p li c a ti o n   t o   De term in e   th e   Visib il it y   Lev e l   o th e   Ob jec ts  o n   th e   R o a d , "   in   T h e   In ter n a ti o n a Co n fer e n c e   o n   Arti f icia I n telli g e n c e   a n d   A p p l ied   M a t h e ma ti c s in   En g i n e e rin g ,   2 0 1 9 ,   p p .   5 0 2 - 5 0 8 ,   d o i 1 0 . 1 0 0 7 /9 7 8 - 3 - 0 3 0 - 3 6 1 7 8 - 5 _ 3 9 .     [2 5 ]   D.  Zh a o ,   " C h a ll e n g e o sc h o larl y   p u b li c a ti o n o n   th e   Web   t o   th e   e v a lu a ti o n   o sc ien c e - c o m p a riso n   o a u th o r   v isib il it y   o n   th e   We b   a n d   in   p ri n t   jo u r n a ls,"   I n f o rm a t io n   Pr o c e ss in g   &   M a n a g e me n t ,   v o l.   4 1 ,   n o .   6 ,   p p .   1 4 0 3 - 1 4 1 8 ,   2 0 0 5 ,   d o i 1 0 . 1 0 1 6 / j. i p m . 2 0 0 5 . 0 3 . 0 1 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 1 8 3   -   1 1 9 4   1192   [2 6 ]   I.   Ra fiq u e ,   J.  Wen g ,   Y .   Wan g ,   M .   Q.  A b b a si,   P .   Lew   a n d   X.  Wan g ,   " E v a lu a ti n g   so ftwa re   lea rn a b il it y A   lea rn a b il it y   a t tri b u tes   m o d e l, "   in   2 0 1 2   I n ter n a t io n a C o n fer e n c e   o n   S y ste ms   a n d   I n fo rm a ti c (ICS AI2 0 1 2 ) ,   2 0 1 2 ,   p p .   2 4 4 3 - 2 4 4 7 ,   d o i 1 0 . 1 1 0 9 /ICS AI.2 0 1 2 . 6 2 2 3 5 4 8 .     [2 7 ]   J.  Zb ick ,   I.   Na k e ,   M .   M il ra d   a n d   M .   Ja n se n ,   " we b - b a se d   fra m e wo rk   to   d e sig n   a n d   d e p lo y   m o b il e   lea rn in g   a c ti v it ies E v a lu a ti n g   it u sa b il it y ,   lea rn a b il it y   a n d   a c c e p tan c e , "   i n   2 0 1 5   I EE 1 5 th   In ter n a ti o n a Co n fer e n c e   o n   Ad v a n c e d   L e a rn in g   T e c h n o l o g ies ,   2 0 1 5 ,   p p .   8 8 - 9 2 ,   d o i 1 0 . 1 1 0 9 /I CALT. 2 0 1 5 . 9 7 .     [2 8 ]   N.  Ng a d ima n ,   S .   S u laim a n   a n d   W.   M .   N.   W.   Ka d ir,   " sy st e m a ti c   li tera tu re   re v iew   o n   a tt r a c ti v e n e ss   a n d   lea rn a b il it y   fa c to rs  in   we b   a p p li c a ti o n s,"   i n   2 0 1 5   IEE E   Co n fer e n c e   o n   Op e n   S y ste ms   (ICOS ) ,   2 0 1 5 ,   p p .   2 2 - 2 7 ,   d o i 1 0 . 1 1 0 9 /ICO S . 2 0 1 5 . 7 3 7 7 2 7 2 .     [2 9 ]   N.  Ng a d ima n   a n d   S .   S u laim a n ,   " Attrac ti v e n e ss   a n d   Lea rn a b i li ty   to   S u p p o rt  O p e ra b il it y   i n   We b   Ap p l ica ti o n s, "   J o u rn a o T e lec o mm u n ica ti o n ,   E lec tro n ic  a n d   C o mp u ter   En g in e e rin g   (J T EC) ,   v o l.   9 ,   n o .   3 - 5 ,   p p .   1 7 9 - 1 8 9 ,   2 0 1 7 ,   p p .   1 7 9 - 1 8 9 ,   Re tri e v e d   fro m   h tt p s :/ /j tec . u tem . e d u . m y /j tec /article /v i e w/2 9 8 9   [3 0 ]   L.   W o z n e y   e a l . ,   " Us a b i li ty ,   le a rn a b il it y   a n d   p e rfo rm a n c e   e v a l u a ti o n   o I n telli g e n t   Re se a rc h   a n d   In ter v e n ti o n   S o ftwa re A   d e li v e ry   p latf o rm   fo e He a lt h   i n terv e n ti o n s,"   He a lt h   I n fo rm a t ics   J o u r nal ,   v o l.   2 2 ,   n o .   3 ,   p p .   7 3 0 - 7 4 3 ,   2 0 1 6 ,   d o i 1 0 . 1 1 7 7 / 1 4 6 0 4 5 8 2 1 5 5 8 6 8 0 3 .     [3 1 ]   R.   Leu n g ,   L.   F i n d late r,   J.  M c G re n e re ,   P .   G ra a n d   J.   Ya n g ,   " M u lt i - lay e re d   in terfa c e to   imp r o v e   o l d e a d u lt s’   in i ti a l   lea rn a b il it y   o m o b il e   a p p li c a ti o n s,"   ACM   T r a n sa c ti o n o n   Acc e ss ib le  Co mp u ti n g   (T ACCE S S ) ,   v o l.   3 ,   n o .   1 ,   p p .   1 - 3 0 ,   2 0 1 0 ,   d o i 1 0 . 1 1 4 5 /1 8 3 8 5 6 2 . 1 8 3 8 5 6 3 .     [3 2 ]   J.  S ty lo a n d   B.   A.  M y e rs,  " Th e   i m p li c a ti o n o m e th o d   p lac e m e n o n   API  lea rn a b il it y , "   in   Pro c e e d i n g o t h e   1 6 t h   ACM   S IGS OFT   In ter n a ti o n a S y mp o siu o n   Fo u n d a ti o n s   o f   S o ft wa re   E n g i n e e rin g ,   2 0 0 8 ,   p p .   1 0 5 - 1 1 2 ,   d o i 1 0 . 1 1 4 5 / 1 4 5 3 1 0 1 . 1 4 5 3 1 1 7 .     [3 3 ]   L.   D.  P a u ls o n ,   " Bu il d i n g   ric h   we b   a p p li c a ti o n with   Aja x , "   C o mp u ter ,   v o l .   3 8 ,   n o .   1 0 ,   p p .   1 4 - 1 7 ,   2 0 0 5 ,   d o i:   1 0 . 1 1 0 9 / M C. 2 0 0 5 . 3 3 0 .     [3 4 ]   M a rio   Vill a m iza r,   Os c a G a rc é s,  Ha ro ld   Ca stro ,   M a u ricio   Ve ra n o ,   Lo re n a   S a lam a n c a ,   Ru b b y   Ca sa ll a s a n d   S a n ti a g o   G il ,   " Ev a lu a ti n g   th e   m o n o li t h ic  a n d   th e   m icro se rv ice   a rc h it e c tu re   p a tt e rn   to   d e p lo y   we b   a p p li c a ti o n in   th e   c lo u d , "   2 0 1 5   1 0 th   Co mp u ti n g   Co l o mb i a n   Co n fer e n c e   (1 0 CCC) ,   2 0 1 5 ,   p p .   5 8 3 - 5 9 0 ,   d o i:   1 0 . 1 1 0 9 /C o l u m b ian CC. 2 0 1 5 . 7 3 3 3 4 7 6 .     [3 5 ]   Y.  Zh e n g ,   Y .   Ch e n ,   Q.   Li ,   X.  Xie   a n d   W. - Y.  M a ,   " U n d e rsta n d in g   t ra n sp o rtati o n   m o d e b a se d   o n   G P S   d a ta  f o we b   a p p li c a ti o n s,"   ACM   T ra n s a c ti o n o n   t h e   W e b   (T W EB ) ,   v o l.   4 ,   n o .   1 ,   p p .   1 - 3 6 ,   2 0 1 0 ,   d o i 1 0 . 1 1 4 5 / 1 6 5 8 3 7 3 . 1 6 5 8 3 7 4   [3 6 ]   A.  M e sb a h ,   A.   Va n   De u rse n   a n d   S .   Le n se li n k ,   " Cra wlin g   Aja x - b a s e d   we b   a p p l ica ti o n s   t h ro u g h   d y n a m ic  a n a ly sis o f   u se in terfa c e   sta te  c h a n g e s,"   ACM   T ra n sa c ti o n o n   th e   W e b   (T W EB ) ,   v o l.   6 ,   n o .   1 ,   p p .   1 - 3 0 ,   2 0 1 2 ,   d o i 1 0 . 1 1 4 5 / 2 1 0 9 2 0 5 . 2 1 0 9 2 0 8 .     [3 7 ]   M .   F .   Ka a sh o e k   e a l. ,   " A p p l ica ti o n   p e rfo rm a n c e   a n d   f le x ib i li ty   o n   e x o k e rn e s y ste m s,"   i n   Pro c e e d in g s   o f   t h e   S ixte e n th   ACM   S y mp o si u m o n   Op e ra ti n g   S y ste ms   Prin c ip les ,   1 9 9 7 ,   p p .   5 2 - 6 5 ,   doi 1 0 . 1 1 4 5 / 2 6 8 9 9 8 . 2 6 6 6 4 4 .     [3 8 ]   D.  E.   T.   Terry   A n th o n y   B y rd ,   " M e a su rin g   th e   flex ib il it y   o i n fo rm a ti o n   tec h n o l o g y   i n fra stru c tu r e Ex p l o ra to r y   a n a ly sis  o f   a   c o n str u c t, "   J o u r n a o f   M a n a g e me n I n fo rm a t io n   S y ste ms ,   v o l.   1 7 ,   n o .   1 ,   p p .   1 6 7 - 2 0 8 ,   2 0 0 0 ,   d o i 1 0 . 1 0 8 0 / 0 7 4 2 1 2 2 2 . 2 0 0 0 . 1 1 0 4 5 6 3 2 .     [3 9 ]   M .   F re e m a n ,   " F lex i b il i ty   i n   a c c e ss ,   in tera c ti o n   a n d   a ss e ss m e n t:   Th e   c a se   fo we b - b a se d   tea c h in g   p r o g ra m s,"   Au stra l a sia n   J o u rn a o f   Ed u c a ti o n a T e c h n o lo g y ,   v o l.   1 3 ,   n o .   1 ,   1 9 9 7 ,   d o i 1 0 . 1 4 7 4 2 /aje t. 1 9 1 7 .     [4 0 ]   M .   Re ich e rt  a n d   B.   We b e r,   " En a b li n g   flex ib il it y   in   p r o c e ss - a wa re   in fo rm a ti o n   sy ste m s ,"   C h a ll e n g e s ,   M e th o d s ,   T e c h n o l o g ies ,   S p rin g e S c ien c e   Bu sin e ss   M e d ia ,   2 0 1 2 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 0 4 0 9 - 5.     [4 1 ]   L.   F in k   a n d   S .   Ne u m a n n ,   " E x p lo rin g   th e   p e rc e iv e d   b u sin e ss   v a lu e   o f   t h e   flex i b il i ty   e n a b led   b y   in f o rm a ti o n   tec h n o l o g y   in fra stru c t u re , "   In fo rm a ti o n   &   M a n a g e me n t ,   v o l.   4 6 ,   n o .   2 ,   p p .   9 0 - 9 9 ,   2 0 0 9 ,   d o i 1 0 . 1 0 1 6 / j. im.2 0 0 8 . 1 1 . 0 0 7 .     [4 2 ]   P .   E.   De e g a n ,   " We b   a p p li c a t io n   to   s u p p o rt  re c o v e ry   a n d   s h a re d   d e c isio n   m a k in g   i n   p s y c h iat ric  m e d ica ti o n   c li n ics , "   Psy c h i a tric R e h a b il it a t io n   J o u r n a l ,   v o l.   3 4 ,   n o .   1 ,   p .   2 3 ,   2 0 1 0 ,   d o i 1 0 . 2 9 7 5 / 3 4 . 1 . 2 0 1 0 . 2 3 . 2 8 .     [4 3 ]   E.   R.   M e l n ick   e a l .,   " P a ti e n t - c e n tere d   d e c isio n   su p p o r t:   fo rm a ti v e   u sa b i li ty   e v a lu a ti o n   o i n teg ra ted   c li n ica l   d e c isio n   su p p o rt   wit h   a   p a ti e n t   d e c isio n   a id   f o m i n o r   h e a d   in j u ry   in   th e   e m e rg e n c y   d e p a rtme n t, "   J o u r n a l   o f   me d ica In ter n e re se a rc h ,   v o l.   1 9 ,   n o .   5 ,   p .   e 1 7 4 ,   2 0 1 7 ,   d o i:   1 0 . 2 1 9 6 /j m ir. 7 8 4 6 .     [4 4 ]   L.   v a n   d e Krie k e ,   A.  C.   Eme re n c ia,  M .   Aie ll o   a n d   S .   S y tem a ,   " Us a b il it y   e v a lu a ti o n   o a   we b - b a se d   su p p o rt  sy ste m   fo p e o p le  with   a   sc h izo p h re n ia  d iag n o sis, "   J o u r n a o M e d ic a In t e rn e Res e a rc h ,   v o l.   1 4 ,   n o .   1 ,   p .   e 2 4 ,   2 0 1 2 ,   d o i :   1 0 . 2 1 9 6 / jmir.1 9 2 1 .     [4 5 ]   P .   Lew ,   L.   Olsin a   a n d   L.   Zh a n g ,   " Qu a li ty ,   q u a li t y   in   u se ,   a c tu a u sa b il it y   a n d   u se e x p e rien c e   a s k e y   d riv e rs fo we b   a p p li c a ti o n   e v a lu a ti o n , "   in   In ter n a ti o n a l   C o n fer e n c e   o n   W e b   En g i n e e rin g ,   2 0 1 0 ,   p p .   2 1 8 - 2 3 2 ,   d o i 1 0 . 1 0 0 7 / 9 7 8 - 3 - 642 - 1 3 9 1 1 - 6 _ 1 5 .     [4 6 ]   K.  G rim,  D .   R o se n b e rg ,   P .   S v e d b e rg   a n d   U. - K.   S c h ö n ,   " De v e lo p m e n a n d   u sa b il i ty   tes ti n g   o f   a   we b - b a se d   d e c isio n   su p p o rt   fo r   u se rs  a n d   h e a lt h   p r o f e ss io n a ls  in   p sy c h iatric   se rv ice s,"   Psy c h ia tric   Reh a b il it a t io n   J o u rn a l ,   v o l.   4 0 ,   n o .   3 ,   p .   2 9 3 ,   2 0 1 7 ,   d o i 1 0 . 1 0 3 7 / p rj 0 0 0 0 2 7 8 .     [4 7 ]   F .   P a z   a n d   J.  A .   P o w - S a n g ,   " sy ste m a ti c   m a p p in g   re v iew   o u sa b il it y   e v a lu a ti o n   m e th o d s   fo so ftwa re   d e v e lo p m e n p ro c e ss , "   I n ter n a ti o n a l   J o u r n a l   o f   S o ft w a re   En g i n e e rin g   a n d   It A p p l ica ti o n s ,   v o l.   1 0 ,   n o .   1 ,   p p .   1 6 5 - 1 7 8 ,   2 0 1 6 ,   d o i 1 0 . 1 4 2 5 7 /i jse ia.2 0 1 6 . 1 0 . 1 . 1 6 .     [4 8 ]   A.  Oz tek in ,   " A d e c isio n   su p p o rt  sy ste m   fo u sa b il it y   e v a lu a ti o n   o we b - b a se d   in fo rm a ti o n   sy ste m s,"   Exp e rt S y ste ms   wit h   A p p l ica ti o n s ,   v o l.   3 8 ,   n o .   3 ,   p p .   2 1 1 0 - 2 1 1 8 ,   2 0 1 1 ,   d o i 1 0 . 1 0 1 6 /j . e sw a . 2 0 1 0 . 0 7 . 1 5 1 .     [4 9 ]   A.  H.  M o u sa ,   " Da ta   v irt u a li z a ti o n   d e sig n   m o d e l   fo r   n e a re a ti m e   d e c isio n   m a k in g   in   b u sin e ss   in t e ll i g e n c e   e n v iro n m e n t, "   P h D T h e sis,  C o ll e g e   o Art  a n d   S c ien c e ,   Un i v e rsiti   Uta ra   M a lay sia ,   M a ly a sia ,   2 0 1 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.