I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 7 ,   N o .   1 J a n u a r y   20 20 ,   pp .   3 98 ~ 40 3   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 7 .i 1 . pp 398 - 403             398       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   W e b   u sa b i l i t y   t e st   i n   6 0   se c o n d s:   a   t h e o r e t i c a l   f o u n d a t i o n   a n d   e m p i r i c a l   t e st       I m r an   M ah m u d 1 ,   F ar z an a   S ad i a 2 ,   M o s tafi ju r   R ah m an 3 ,   S h ar m i n   A h m e d 4 ,   D i d ar u l   I s l am 5   1 G r a dua t e   S c ho o l   o f   B us i ne s s , U n i v e r s i t i S a i n s   M a l a y s i a , P e n a ng   ,   M a l a y s i a   1 , 2 , 3 , 5 D e pa r t m e nt   o f   S o f t w a r e   E ng i ne e r i ng , D a f f o di l   I nt e r na t i o na l   U n i v r s i t y ,   B a ng l a d e s h   4 D e pa r t m e n t   o f   E l e c t r i c a l   a nd   E l e c t r o ni c   E ng i ne e r i ng ,   D a f f o di l   I nt e r na t i o na l   U ni v e r s i t y ,   D ha ka ,   B a ng l a de s h       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e D e c   20 ,   2018   R e v i s e M a r   17 ,   20 19   A c c e pt e A p r   11 ,   201 9       T he   a i m   o f   t hi s   r e s e a r c i s   t o   e xpl o r e   t h e   po s s i bi l i t y   of   w e us a b i l i t y   t e s t   i n   60  s e c o nds   r a t h e r   t h a un l i m i t e t i m e   by   c us t o m e r s .   U s a bi l i t y   w a s   t e s t e by   t w o   m a j o r   t e s t i ng   m e t ho ds :   s y s t e m   us a b i l i t y   s c a l e   ( S U S )   a nd  N e t Q u@ l . 60   c us t o m e r s   a s   t w o   g r o ups   w e r e   i nv o l v e i t h e   e x pe r i m e nt a l   d e s i g pr o c e dur e .   T h e   a s s e s s m e n t   i nc l ud e a o nl i ne   s ho ppi ng   w e bs i t e   w he r e   o ne   g r o up  t e s t e d   i n   60  s e c o nds   a n o t he r   g r o up  ha da y s   t o   t e s t .   R e s ul t   s ho w s   t ha t   t he r e   a r e   s i g ni f i c a nc e   d i f f e r e nc e s   i S U S   ba s e d   t e s t i ng   a n no   s i g n i f i c a nt   di f f e r e nc e s   i N e t Q u@ l   ba s e t e s t i ng .   A l t o g e t he r ,   t h e s e   r e s ul t s   pr o v i de   f ur t he r   s uppo r t   t ha t   S U S   ba s e d   us a bi l i t y   t e s t i ng   c a be   i m pl e m e nt e d   i 60   s e c o nds   t i m e   f r a m e   w i t ho u t   i m po s i ng   a dd i t i o na l   c o g ni t i v e   l o a o c us t o m e r s .   Ke y w or ds :   60  s e c o n t e s t   E xpe r i m e nt a l   de s i g n   N e t qu@   S y s t e m   us a b i l i t y   s c a l e   W e b   b a s e s h o ppi n s i t e   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   Im r a M a h m ud,     G ra dua t e   S c h o o l   o f   B us i n e s s ,     U n i v e r s i t i S a i n s   M a l a y s i a ,     P e n a n g   ,   M a l a y s i a .     E m a i l :   i m r a nm a hm u d @ us m . m y       1.   I N TR O D U C TI O N   T h e r e   a r e   s e ve r a l   r e s e a r c h e s   h a v e   be e n   c o n duc t e o n   w e b   b a s e d   s e r v i c e s   w i t h i n   l a s t   de c a de s .   R e s e a r c h e r s   i nduc e s e ve r a l   us a b i l i t y   t e c h ni que s   l i ke   S y s t e m   us a b i l i t y   s c a l e   (S U S [1],   S o f t w a r e   us a b i l i t y   m e a s u r e m e nt   i n v e n t o r y   (S U M I)   [2],   Q ue s t i o nn a i r e   f o r   us e r   i n t e r f a c e   s a t i s f a c t i o n (Q U IS )   [3]  t o   e v a l ua t e   w e bs i t e s .   Cus t o m e r   a c c e pt a n c e   t e s t i n i s   v e r y   c r uc i a l   fo r   vo l unt a r y   t e c h n o l o g i e s   l i ke   w e b a s e m a r ke t   p l a c e ,   o n l i n e   s h o ppi n g ,   w e b   b a s e ga m e s   a n d   s e r v i c e s .   T h e   b ud ge t   a n d   t i m e   a s s o c i a t e w i t h   w e b   b a s e s y s t e m   t e s t i n a r e   o f t e n   m o r e   c o s t l y   t h a n   o v e r a l l   s y s t e m   de ve l o pm e nt .   A s   t h e   e c o n o m y   b a s e o n   di g i t a l   t e c hn o l o gi e s   a r e   gr o w i n r a p i d l y ,   IT   c o m pa n i e s   a n p r o f e s s i o n a l s   a r e   pa y i n l o t s   o a t t e nt i o n   o n   s y s t e m   t e s t i n a n us e a c c e pt a n c e   t e s t i n g   t o   c r e a t e   m o r e   po s i t i v e   i n f l ue n c e   o n   t h e i r   b us i n e s s .   U s e r   a c c e pt a n c e   t e s t i n g   i s   o f t e n   c a l l e d   t h e   l a s t   p h a s e   o t e s t i n a n i t   i s   v e r y   i m po r t a nt   b e c a us e   i t   i s   n o t   t h e   t e s t e r   b ut   t h e   us e r s   w i l l   us e   i t   i n   d a i l y   b a s i s .   H ow e ve r ,   us e r s   m i g ht   t a ke   l o n ge t i m e   f o r   t e s t i n g   b e c a us e   of   n o n - IT   e xpe ri e n c e .     F o r   t h i s   p u r po s e ,   [4 de v e l o pe a   f i ve   s e c o n t e s t i ng  (5S T m e t h o f o r   us e r s   b a s e o n   t h e i r   f i r s t   i m p r e s s i o n   o f   t h e   w e bs i t e   t o   s a ve   t i m e   a nd  c o s t .   A ut h o r   a l s o   s ugge s t e t h a t   5S T   c a pt u r e s   v e r y   f i r s t   m o m e n t   of   w e b s i t e   us e r s   b ut   hi s   i n v e s t i g a t i o n   r e s ul t   s ug ge s t e t h a t   i t   m i g h t   n o t   b e   v e r y   goo i de a   t o   t e s t     w e b   us a b i l i t y .     T o   s o l ve   t h i s   p r o b l e m ,   b a s e o n   t h e   f o un da t i o n   o f   [ 4 r e s e a r c h   i n   t hi s   pa pe r   w e   c o n duc t e a n   e xpe r i m e nt .   O u e xpe r i m e n t a l   de s i g n   m a de   t w o   gr o ups   of   o n l i n e   c us t o m e r   t o   c o n duc t   w e b   us a b i l i t y   t e s t   i n   60   s e c o n ds   a nd  u nl i m i t e t i m e   (3  da y s ).   T h e   r e a s o n s   t o   c h o o s e   60  s e c o n a r e   gi v e b e l ow   a)   A c c o r di n t o   [5 ],   t o   e v a l ua t e   i n t u i t i v e   s pe e a n v i s i o - s pa t i a l   c o gni t i v e   pr o c e s s i n g ,   60  s e c o n ds   i s   s ui t a b l e .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       W e us abi l i t y   t e s t   i n   60  s e c o nds a   t he or e t i c a l   f ounda t i o a n e m p i r i c al   t e s t   ( Im r an  Mahm ud )   399   b)   R e fe r e n c e   [6 ]   us e 60   s e c o n ds   t o   t e s t   c o gn i t i v e   a b i l i t y   o f   pe opl e   i U K .   c)   In   U S A ,   f o r   c o gn i t i v e   l o a ds   t e s t i ng,   ps y c h o l o gi s t s   gi v e   60  s e c o n ds   f o r   t h e   pa t i e n t s   t o   l i s t   s o m e   i n f o r m a t i o [7 ].   If   t h e   us a b i l i t y   t e s t   r e s ul t s   v a r y   b e t w e e n   t w o   gr o ups ,   I T   c o m pa ni e s   m i g h t   c h o o s e   o n e   m e t h o o ve r   a n o t h e r   t o   t e s t   t h e   w e b .   If   t h e   t w o   e xa m i na t i o n s   p r o duc e   s a m e   r e s ul t ,   t h e n   s t a ke h o l de r s   c a n   c h o s e   60  s e c o n t e s t   o ve r   l o n pe ri o t e s t i n g   w h i c h   w i l l   s a v e   m o r e   m o n e y   a n d   t i m e .   W e   i n duc e s y s t e m   us a b i l i t y   s c a l e   a nd  N e t Q u@ l   t o   t e s t   t h e   us a b i l i t y   of   a o n l i n e   s h o ppi n g   w e b s i t e .   P r e v i o us   r e s e a r c h e s   o us a b i l i t y   t e s t i n g   w e r e   di f fe r e nt .   R e s e a r c h e r s   us e c h a t t i n w i n do w ,   l a y o ut ,   n a v i ga t i o n ,   s h o r t c ut   ke y s ,   ha n c o n t r o l   a n b a t t l e   s c r e e n   b ut t o n s   a s   ke y   f a c t o r s   f o r   us a b i l i t y   [ 8 ].   R e f .   [9 c o n duc t e o b s e r v a t i o na l   s t udy   t o   m e a s ur e   us a b i l i t y   fo r   a ugm e nt e r e a l i t y   f o r   t o ur i s m   o b j e c t .   P e r c e i ve us e f ul n e s s ,   e a s e   o f   us e ,   c o m pa t i a b i l i t y ,   s e l f - e ff i c a c y   a n d   i n t e n t i o n   t o   us e   f r o m   [10 ]   w e r e   us e a s   t h e   ke y   c o n s t r uc t s   fo r   m e a s u r e   us a b i l i t y   f o r   l i n u s   s t ude nt s   i n   t h e   r e s e a r c o f   [11 ].   S U S   w a s   a l s o   us e i n   b o t i ndus t ri a l   [1 2]  a n d   h e a l t s e t t i ngs   [13 ].     T h e   r e s t   o f   t h i s   pa pe r   i s   o r ga ni z e a s   fo l l ow s :   a t   f i r s t ,   w e   r e v i e w   s o m e   l i t e r a t u r e   r e l a t e t o   us a b i l i t y   t e s t i n m e t h o d.   A f t e r   t ha t   p r e v i o us   s t udi e s   o n   e xpe r i m e nt a l   de s i gn   w e r e   di s c us s e d.   N e xt   w e   di s c us s e o ur   r e s e a r c h   m e t h o do l o g y   w h i c h   i n c l ude s   pa rt i c i p a n t s   p r o f i l e ,   s t udy   de s i gn ,   s c a l e ,   a n s u r v e y   que s t i o n na i r e   a nd  da t a   a n a l y s i s   t e c h ni que s .   D a t a   a na l y s i s   r e s ul t ,   di s c us s i o n   a n d   c o n c l us i o w e r e   f o l l ow e a f t e r   t h a t .         2.   R ES EA R C H   M ET H O D   2. 1 .      P ar ti c i p an ts   T h e   pr e s e n t   s t u dy   w a s   c o n duc t e a m o n 60  o n l i n e   c us t o m e r s   o di ffe r e n t   o nl i n e   s h o ppi ng  pa ge   of  F a c e boo k.   T h e r e   w e r e   11   f e m a l e   (1 8. 33 %)  a n d   49   m a l e   (8 1 . 66%)   s o f t w a r e   t e s t e r s .   A m o ng  t h e   pa rt i c i p a nt s ,   78%  h a 1 -   y e a r s   of   e xpe r i e n c e   of   o n l i n e   s h o ppi n g .   W e   m e s s a ge   t h e m   v i a   F a c e boo a n t h e y   vo l un t a r i l y   pa r t i c i pa t e d.   P a rt i c i p a nt s   w e r e   r a ndo m l y   a s s i gn e f o r   t e s t   (U n l i m i t e t e s t a nd  t e s t   ( 60  s e c o n t e s t ).   P a rt i c i p a nt s   p r o f i l e   i s   s h o w n   i T a b l e   1 .       T a b l e   1 .   P a rt i c i pa nt s ’  P r o f i l e   Ca t e g o ry   F re q u e n c y   P e r c e n t a g e   G e n d e r   M a l e     49     8 1 . 6 6 %   F e m a l e   O n l i n e   s h o p p i n g   e x p e ri e n c e   1 - 3   Y e a rs   4 -   6   Y e a rs   M o r e   t h a n   6   y e a r s   11     47   11   2   1 8 . 3 3 %     7 8 . 3 3 %   2 1 . 3 3 %   1%       2. 2 .       S tu d D e s i gn   S of t w a r e   t e s t e r s   pa r t i c i p a t e i n   t h i s   p r e s e n t   s t udy .   T w o   gr o ups   w e r e   fo r m e by   a   r a n do m   a l l o c a t i o n.   T h e   60S E C   g r o up  c o m pri s e s   30  pa rt i c i p a nt s   a n d   t h e   u nl i m i t e t e s t   g r o up  c o m pri s e s   30  pa rt i c i pa nt s .   A e - c o m m e r c e   s i t e   w a s   pr o v i de t o   t h e m   f o r   t e s t i ng.   T h e   t i m e   du ra t i o n   w a s   t hr e e   w o r ki n d a y s .   A f t e r   t hr e e   da y s ,   t h e y   e v a l ua t e t h e   w e b s i t e   b a s e o n   s y s t e m   us a b i l i t y   s c a l e   a nd  N e t Q u@ l .     T w o   e xpe r i m e nt a l   c o n di t i o n s   w e r e   p r o v i de fo r   t hi s   r e s e a rc h .   60S E C   c o n di t i o n:   f o r   t hi s   s i t ua t i o n,   t h e   i n de x   pa ge   o f   t h e   w e b s i t e   w i l l   b e   di s p l a y e d.     a)   T e s t e r s   c a n   m o ve   a r o un t h e   pa ge ,   c l i c k ,   o r   dow n l o a a n y t hi n w i t hi n   60  s e c o n ds .   A f t e r   60  s e c o n ds ,   t h e   w e b s i t e   w i l l   r e di r e c t   t h e   t e s t e r   t o   t h e   s u r v e y   que s t i o nn a i re   pa ge .   b)   U T   c o n di t i o n :   f o r   t h i s   c o n d i t i o n,   t e s t e r   c a b r o w s e   a n t e s t   t h e   w e bs i t e   f o r   w o r ki n d a y s .   T e s t e r s   f r o m   U T   c o n di t i o n   c a c l i c k   t h e   que s t i o nna i r e   b ut t o a n y   t i m e   w he n   t h e y   f i n i s h e t e s t i n g .   T w o   pa r t i c i pa nt   g r o ups   w e r e   off e r e bo t h   e xpe r i m e nt a l   c on d i t i o n s .   M o r e o ve r ,   t o   e a c h   c o n di t i o n,   pa r t i c i pa nt s   w e r e   a s s i g n e ra n do m l y .   T a b l e   s h o w s   t h e   i n s t ruc t i o n s   p r o v i de f o r   e a c g r o up       T a b l e   2 .   I n s t r uc t i o n s   G ro u p   In s t ru c t i o n s   6 0 S E g ro u p       P l e a s e   v i s i t   t h e   w e b s i t e ,   h t t p : / / i m s t ri k e r . c o m / ri o M a rk e t / i n d e x . h t m l     Cl i c k   o n   6 0   S e c o n d s   b u t t o n .     E x p l o r e   t h e   w e b s i t e   w i t h i n   6 0   s e c o n d s .     A f t e r   6 0   s e c o n d s ,   y o u   w i l l   b e   r e d i r e c t e d   t o   t h e   q u e s t i o n n a i re   p a g e   a v a i l a b l e   i n   g o o g l e   fo r m s .     P l e a s e   e v a l u a t e   t h e   w e b s i t e   b a s e d   o n   t h e   q u e s t i o n n a i re .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 7 ,   N o .   1 J a n u a r y   20 20  :     398 - 403   400   G ro u p   In s t ru c t i o n s   U T   g r o u p     P l e a s e   v i s i t   t h e   w e b s i t e ,   h t t p : / / i m s t ri k e r . c o m / ri o M a rk e t / i n d e x . h t m l     Cl i c k   o n   u n l i m i t e d   t i m e   b u t t o n .     P l e a s e   c h e c k   t h i s   w e b s i t e   w i t h i n   3   w o rk i n g   d a y s .     If  y o u   f i n i s h e d   e a r l y ,   y o u   c a n   c l i c k   o n   t h e   re s p o n d   t o   t h e   s u rv e y   b u t t o n   a v a i l a b l e   o n   t h e   m e n u   b a r .     P l e a s e   a s s e s s   t h e   w e b s i t e   b a s e d   o n   t h e   q u e s t i o n n a i re   a v a i l a b l e   o n   t h e   g o o g l e   fo r m .       2. 3 .      S c al e s   an d   Q u e s t i o n n ai r e   W e   us e bo t h   s y s t e m   us a b i l i t y   s c a l e   (S U S a n n e t qu @ l   t o   a s s e s s   t h e   w e bs i t e   fo r   bo t h   e xpe r i m e nt a l   gr o up.   B o t h   i n s t rum e n t a l   a n n o n - i n s t r u m e n t a l   f e a t ur e s   o a   w e bs i t e   c a n   b e   e v a l ua t e by   S U S   a n N e t Q u@ l .   S e e   t h e   T a b l e   3   f o r   c l a s s i f i c a t i o n .       T a b l e   3 .   C l a s s i f i c a t i o o f   S U S   a n d   N e t Q u @ l   S c a l e   N o n - In s t ru m e n t a l   In s t ru m e n t a l   S U S     x   N e t q u @ l   In fo r m a t i o n   q u a l i t y   D e s i g n   E a s e   o f   u s e       x   x     x       S U S   i n qui r e s   us e r s   t o   e v a l ua t e   t h e i r   l e v e l   of   a gr e e m e n t   o r   di s a g r e e m e n t   t o   t h e   10  s t a t e m e nt s .     F o r   r e po rt i ng  r e s ul t s ,   w e   us e a   s c o r i n g   t e m p l a t e .   T h i s   t e m pl a t e   t u rns   t h e   i n di v i du a l   s u r v e y   r a t i n gs   i n t o   a   s i ngl e   S U S   s c o r e   b a s e r a t i n a c c o r di n t o   B r o o ke ’s   s t a n da rd  s c o r i n m e t h o (s t a t e m e nt   r a t i n gs   a r e   m a ni pul a t e t o   ge t   a   c o m m o n   0 - ra t i ng  a n t h e n   m ul t i p l y i n g   t h e   s u m   by   2. t o   ge t   a   s c o r e .   T h e   s c o r e   c a ra n ge   f r o m   0 - 10 0).   T h e   que s t i o nn a i r e   o f   S U S   w a s   a da pt e f r o m   t h e   r e s e a r c h   [1 1 14 15] .   Q ue s t i o nna i r e   c o n t a i n e d   10   i t e m s .   T h e   i t e m s   a r e   gi v e n   i T a b l e   4       T a b l e   4 .   I t e m s   o f   S U S   G ro u p   In s t ru c t i o n s   Q1   t h i n k   t h a t   w o u l d   l i k e   t o   u s e   t h i s   s y s t e m   fre q u e n t l y   Q2   f o u n d   t h e   s y s t e m   u n n e c e s s a ri l y   c o m p l e x   Q3   t h o u g h t   t h e   s y s t e m   w a s   e a s y   t o   u s e .   Q4   t h i n k   t h a t   w o u l d   n e e d   t h e   s u p p o rt   o f   a   t e c h n i c a l   p e r s o n   t o   b e   a b l e   t o   u s e   t h i s   s y s t e m .   Q5   f o u n d   t h e   v a ri o u s   f u n c t i o n s   i n   t h i s   s y s t e m   w e r e   w e l l   i n t e g ra t e d .   Q6   t h o u g h t   t h e r e   w a s   t o o   m u c h   i n c o n s i s t e n c y   i n   t h i s   s y s t e m .   Q7   w o u l d   i m a g i n e   t h a t   m o s t   p e o p l e   w o u l d   l e a r n   t o   u s e   t h i s   s y s t e m   v e r y   q u i c k l y .   Q8   f o u n d   t h e   s y s t e m   v e r y   c u m b e r s o m e   t o   u s e .   Q9   f e l t   v e ry   c o n f i d e n t   u s i n g   t h e   s y s t e m   Q 1 0   n e e d e d   t o   l e a r n   a   l o t   o f   t h i n g s   b e fo r e   I   c o u l d   g e t   g o i n g   w i t h   t h i s   s y s t e m .       N e t Q u@ l   s c a l e   c o n s i s t s   o f   15  i t e m s .   T h e   i t e m s   a r e   c a t e go ri z e by   de s i gn   ( i t e m s ),   i n f o r m a t i o qua l i t y   (6  i t e m s a n e a s e   of   us e   (6  i t e m s of   t h e   s y s t e m .   W e   c a l c ul a t e t h e   v a l ue s   of   n e t Q u@ l   by   t a ki n a a v e r a ge   o f   a l l   t h e   r e s po n s e s   gi v e n   i n   T a b l e   5 .         T a b l e   5 .   I t e m s   o f   N e t Q u@ l   Ca t e g o ry   D i m e n s i o n   E a s e   o f   u s e   T h i s   s i t e   i s   e a s y   t o   u s e     It   i s   e a s y   t o   m o v e   a b o u t   a n d   t o   f i n d   o u t   w h a t   a re   l o o k i n g   fo o n   t h i s   s i t e     T h e   l a y o u t   o t h i s   s i t e   i s   c l e a r   a n d   s i m p l e     It   i s   e a s y   t o   f i n d   i n fo r m a t i o n     T h e   o r g a n i z a t i o n   a n d   l a y o u t   o f   t h i s   s i t e   m a k e   i t   e a s i e r   t o   f i n d   i n fo r m a t i o n     T h i s   s i t e   h a s   i n t e ra c t i v e   fe a t u re s   In fo r m a t i o n   q u a l i t y   T h i s   s i t e   p r o v i d e s   a   d e t a i l e d   i n fo r m a t i o n   a b o u t   t h e   p r o d u c t s   o r   s e r v i c e s   s o l d     O n   t h i s   s i t e ,   c a n   f i n d   u n i q u e   o r   d i ffe re n t   p r o d u c t s   o s e rv i c e s     T h i s   s i t e   o ffe r s   g o o d   i l l u s t ra t i o n s   o f   p ro d u c t s   o s e r v i c e   s o l d   o u t     T h i s   s i t e   o ffe r s   a   w i d e   v a ri e t y   o f   p r o d u c t s   a n d   s e r v i c e   D e s i g n   T h i s   s i t e   i s   p re t t y     T h i s   s i t e   i s   v i s u a l l y   a t t ra c t i v e     T h i s   s i t e   i s   c re a t i v e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       W e us abi l i t y   t e s t   i n   60  s e c o nds a   t he or e t i c a l   f ounda t i o a n e m p i r i c al   t e s t   ( Im r an  Mahm ud )   401   T h e   r e s po n s e   s c a l e   fo r   a l l   i t e m s   i s   a   po s i t i v e   po i n t   L i ke r t   s c a l e   [16]  w h e r e   =   s t r o n gl y   di s a gr e e ,   2=   D i s a g r e e ,   3=   s l i g ht l y   a g r e e ,   4 =   A g r e e ,   5 =   S t r o n gl y   A gr e e .       2. 3 .     D ata  A n a l ys i s   S t r at e gy   W e   c o n duc t e i n de pe n de nt   s a m pl e   t - t e s t   b e t w e e n   da t a   o f   t h e   U T   a n 6 0S E g r o up.     T h i s   c o m pa ri s o n   a c t u a l l y   m a de   b e t w e e n   S U S   s c o r e   a n d   N e t qu@ l   s c o r e   f o r   b o t h   g r o up.   S P S S   v e r s i o n   21   w a s   us e t o   t e s t   t h e   d a t a   f o l l ow i n g   t h e   r e s e a r c h   o f   [11 1 4 ]       3.   R ES U LTS   A N D   A N A L Y S I S   3. 1 .      R e l i ab i l i ty   A n al ys i s   A t   f i r s t   w e   t e s t e t h e   r e l i a b i l i t y   f o r   bo t h   S U S   a n d   N e t Q u@ l .   B a s e o n   t h e   r e s po n s e s ,   w e   fo un t h e   r e l i a b i l i t y   Cr o n b a c h ’s   A l p ha   o f   o ur   i t e m s   a r e   0 . 81  a n 0. 89   re s pe c t i v e l y   fo r   S U S   a n d   N e t Q u@ l .   A c c o r di ng  t o   [17 r e l i a b i l i t y   of   s ur v e y   que s t i o n na i r e   m us t   b e   m o r e   t h a 0. 7 .   A s   a   r e s ul t ,   w e   c a n   c o n c l ude   t ha t   o ur   b o t h   s e t   of   que s t i o nn a i r e   w a s   u n de r s t a n d a b l e   t o   o ur   t e s t e r s   a n d   s a t i s f i e t h e   r e l i a b i l i t y   be n c hm a rk.     3. 2 .      C o m p ar i s o n   o S c o r e s   W e   c o n duc t e i nde pe n de n t   s a m p l e   t - t e s t   b e t w e e n   t h e   S U S   s c o r e s   of   U T   a n 60S E g r o up.     R e s ul t s   a r e   gi v e i t h e   T a b l e   b e l ow .       T a b l e   6 .   R e s ul t   o f   S U S   G ro u p   M e a n   SD   S t d .   E rro r   V a l u e   UT   6 2 . 3 9   1 6 . 3 3 9   3 . 4 8 3   t   v a l u e =   - 0 . 4 6 8   6 0 S E C   6 4 . 6 6   1 5 . 8 7 3   3 . 3 8 4   p   v a l u e =   0 . 6 4 2       R e s ul t   i n di c a t e s   t h e   m e a n   S U S   s c o r e   a r e   62. 3 a n 64 . 66  fo r   U T   a n 60S E g r o up  r e s pe c t i v e l y .   A f t e r   i n de pe n de nt   s a m p l e   t   t e s t   r e s ul t   (t   =   - 0. 468 ,   =   0. 64 2),   w e   c a c o n c l ude   t ha t   t h e r e   a r e   n o   s i g ni f i c a n t   di f fe r e n c e s   o n   s y s t e m   us a b i l i t y   o f   t h i s   w e b   b e t w e e n   U T   a n 60S E g r o ups . A f t e r   c o m pa r i ng  S U S   s c o r e s   b e t w e e n   t w o   e xpe r i m e nt a l   g r o ups ,   w e   c o m pa r e t h e   r e s ul t   o f   N e t Q u@ l .   R e s ul t s   a r e   s h o w n   i n   t h e     T a b l e   7   b e l ow .       T a b l e   7 .   R e s ul t   o f   N e t Q u@ l   G ro u p   M e a n   SD   S t d .   E rro r   V a l u e   UT   3 . 2 6 6   0 . 6 9 9   0 . 1 4 9   t   v a l u e =   - 0 . 2 3 9   6 0 S E C   3 . 7 8   0 . 7 3 4   0 . 1 5 6   p   v a l u e =   0 . 0 2 1       Co m pa r i s o r e s ul t   o f   N e t Q u@ l   i n d i c a t e s   t h e r e   a r e   s i g ni f i c a nt   d i f fe r e n c e   (t =   - 0 . 239 ,   p   =   0. 0 21)  b e t w e e n   t h e   s c o r e   of   U T   a n 6 0S E g r o up  a s   v a l ue   i s   l e s s   t ha n   0 . 05 .   T o   ge t   m o r e   a c c u r a c y ,   w e   a l s c o m pa r e   t h e   r e s ul t   b y   c a t e go r y   of   N e t Q u@ l .   R e s ul t s   a r e   s h o w n   i t h e   T a b l e   8.       T a b l e   8 .   C a t e go ri z e r e s ul t   o f   N e t Q u@ l   N e t Q u @ l   Ca t e g o ry   UT   6 0 S E C   M e a n   d i ffe r e n c e   p   v a l u e   Re m a rk     E a s e   o f   u s e   3 . 4 3   4 . 0 0   0 . 5 7   0 . 0 1 4   S i g n i fi c a n t     In fo r m a t i o n   Q u a l i t y   3 . 1 5   3 . 5 6   0 . 4 1   0 . 1 2 3   N o t   S i g n i f i c a n t     D e s i g n   3 . 1 5   3 . 7 8   0 . 6 3   0 . 0 2 2   S i g n i fi c a n t       R e s ul t   s h o w s   t h a t ,   de s pi t e   t h e r e   a r e   n o   s i g n i f i c a nt   di f f e r e nc e   o n   t h e   s c o r e   o f   i n f o r m a t i o qua l i t y ,   h o w e ve r ,   i n   c a s e   o e a s e   of   us e   a n de s i g n ,   t h e r e   a r e   di f fe r e nt   o pi ni o n s   o f   t h e   t e s t e r s .   T h e r e f o r e ,   w e   c a i m p l y   t h a t   N e t Q u @ l   r e s ul t   w i l l   b e   di f fe r e n t   i f   m a na ge r   p r o v i de   t h e   t e s t e r s   d i f fe r e nt   t i m e   f r a m e   s pe c i f i c a l l y   fo r   e a s e   o f   us e   a n de s i g n.   A s s e s s m e n t   r e s ul t   m i g h t   b e   s i m i l a i c a s e   o f   t e s t i ng  i n f o r m a t i o qu a l i t y .           Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 7 ,   N o .   1 J a n u a r y   20 20  :     398 - 403   402   4.   C O N C LU S I O N   A   us e r ’s   i ni t i a l   i m p r e s s i o n   o f   a   w e b s i t e   i s   fo r m e qui c ke r   t h a t h e   a b i l i t y   t o   di s c e r n   h o w   t ha t   w e bs i t e   i s   us e f ul   t o   t h e m .   L i ndga a r e t   a l .   (2006)   [18]   s h o w e t ha t   us e r s   c o ul f o r m   a i ni t i a l   i m p r e s s i o n   o f   a   w e bs i t e   i n   o n l y   50  m i l l i s e c o n ds ,   i n   t h e   s a m e   w a y   a s   i t h e   s i t e   w e r e   pr e s e nt e t o   t h e m   f o r   500  m s .     A l s o ,   D a h a l   (2011 )   [19]   di s c o ve r e t h a t   i f   a   w e b pa ge   r e qui re 2. 66  s e c o n ds   t o   a t t ra c t   t h e   a t t e nt i o o f   us e r s ,   t h e i r   f i r s t   i m p r e s s i o n   ha d   a l r e a dy   b e e n   de v e l o p e a f t e j us t   1 80  m s .   T h i s   r e s e a r c h   e xpl o r e d   t h e   po t e nt i a l   di f f e r e n c e s   b e t w e e n   t e s t i n m o de s   of   60S E t e s t   a n u n l i m i t e t e s t   b a s e d   o n   t h e   r e s e a r c h   o f   [4 ].   T h e   di f f e r e n c e s   b e t w e e n   t he   s c o r e s   of  bo t h   e xpe r i m e nt   s ugge s t s   t ha t   i n   c a s e   of   S U S ,   b o t h   e xpe r i m e nt a l   g r o ups   go t   s i m i l a r   r e s ul t .   I n   c a s e   of   N e t Q u@ l ,   b o t h   e xpe r i m e n t a l   g r o ups   a c h i e v e d   di f fe r e nt   s c o r e s .   T h i s   s t udy   s ugge s t s   us   n o t   t o   t e s t   de s i g a n d   e a s e   o f   us e   i 60   s e c o n ds .   R e ga r di n g   t h e   f o r m i n f i r s t   i m p r e s s i o n ,   t hi s   r e s e a r c s h o w e t h a t   60S E t e s t   i s   n o t   e n o ug h   t m e a s u r e   a l l   t h e   qu a l i t i e s   o f   a   w e b s i t e .   In  ge n e ra l ,   t h e   r e s ul t   o f   t h e   s t udy   s h o w e t h a t ,   f o r   n o n - i n s t r u m e n t a l   qua l i t y   (de s i gn a n d   i n s t rum e n t a l   qu a l i t y   (e a s e   of   us e ),   o ur   r e s ul t s   i s   di f f e r e n t   b e t w e e n   t w o   gr o ups .   R e ga r di ng  60S E t e s t ,   t e s t e r s   fo c us e o n l y   t h e   l i n ks   a nd  dow n l o a o pt i o n s .   H ow e ve r ,   t hi s   e xpe r i m e nt   i m pl i e s   t h a t   t t e s t   s y s t e m   qua l i t y   a n i n f o r m a t i o n   qu a l i t y ,   s of t w a r e   c o m pa ni e s   do   n o t   n e e t o   s pe n m uc h   t i m e   o n   t e s t i n g   a s   o ur   t w o   e xpe r i m e nt s   r e s ul t s   a r e   n o t   t o o   di f f e r e n t .   A ddi t i o n a l l y ,   t h i s   s t udy   i n v e s t i ga t e t ha t   i w h a t   w a y   t h e   60 S E m e t h o c a n   b e   a ppl i e a nd  t hr o ugh  w h a t   us e r s   c o n s t r uc t   t h e i f i r s t   i m p r e s s i o n   us i n g   t hi s   t i m e - s pe c i f i c   m e t h o d.   S o m e   s c i e n t i f i c   v a l i da t i o n s   o 60S E C   m e t h o w e r e   e s t a b l i s h e b y   us ,   w h i c n e e ds   f ur t h e r   i n v e s t i ga t i o n.   L i ke   s o m e   o t h e r   s t udi e s ,   t hi s   r e s e a r c h   i s   a l s o   go t   l i m i t a t i o n   b e c a us e   of   s m a l l   s a m pl e   s i z e .   I n   f ut u r e ,   e xpe r i m e n t   s h o ul b e   de s i gn e w i t h   b i gge r   s a m p l e   s i z e .   A ddi t i o n a l l y ,   a s   E n g l i s h   i s   n o t   a   na t i v e   l a n gu a ge   i n   B a n gl a de s h ,   s o m e   pa rt i c i p a n t s   f a c e d   di f f i c ul t i e s   t o   t e s t   t hi s   E n g l i s l a n gu a ge   b a s e w e b s i t e   i n   60   s e c o n ds   [20 ].   T h i s   r e s e a r c h   w e   o n l y   c o n duc t e e xpe r i m e n t   b a s e o n   s y s t e m   us a b i l i t y   s c a l e   a n N e t Q u @ l .     In   f ut u r e   r e s e a r c h,   r e s e a r c h e r s   c a n   us e   o t h e r   us a b i l i t y   s c a l e   fo l l ow i n t h e   r e s e a r c h   o f   [21 2 2 ]   r e po t e l i ke   U s e r   e xpe r i e n c e   que s t i o nna i r e   (U E Q )   [23 ] ,   Co m put e r   S y s t e m   U s a b i l i t y   Q u e s t i o nn a i r e   (CS U Q )   [24 ] U s a b i l i t y   M e t r i c   f o r   U s e r   E xpe r i e n c e   (U M U X )   [25 ] .   T h e   c urr e n t   r e s e a r c h   i s   a n o t h e r   b ri c i w h a t   w e   b e l i e v e ,   i s   a   p r o m i s i ng  w a l l   o f   s t udy   i t h e   a r e a   o f   us a b i l i t y   t e s t i n g   m o de .       R EF ER EN C ES   [ 1]   J .   B r o o ke ,   S U S :   a   " qui c a nd  d i r t y "   us a bi l i t y   s c a l e .   I P .   W .   J o r da n,   B .   T ho m a s ,   B .   A .   W e e r dm e e s t e r ,   &   A .   L .   M c C l e l l a nd   ( E d s . ) ,   U s ab i l i t y   E v a l ua t i on   i n   I ndu s t r y   ( p p.   18 9 - 1 94) .   L o ndo n :   T a y l o r   a nd   F r a nc i s ,   199 6.   [ 2]   J .   K i r a ko w s k i ,   &   M .   C o r be t t ,   S U M I :   T he   s of t w a r e   us a bi l i t y   m e a s ur e m e n t   i nv e n t o r y B r i t i s j our n al   o f   e duc at i ona l   t e c hn ol ogy v o l .   24   no .   3 p p.   21 0 - 212 ,   1 993 .   [ 3]   B . D .   H a r pe r ,   &   K . L . N o r m a n ,   I m pr ov i ng   us e r   s a t i s f a c t i o n:   T he   Q ue s t i o nna i r e   f o r   U s e r   I nt e r a c t i o S a t i s f a c t i o n P r o c e e di ng s   o f   t he   1 s t   A nnua l   M i d - A t l a nt i c   H um a F a c t o r s   C o nf e r e nc e   ( pp .   2 25 - 233 ) ,   S a n t a   M o ni c a ,   C A .   H um a F a c t o r s   a nd   E r g o no m i c s   S o c i e t y ,   1993 .   [ 4]   G .   G r o ni e r ,   " ,   M e a s u r i ng   t he   f i r s t   i m pr e s s i o n:   t e s t i ng   t h e   v a l i d i t y   o f   t he   s e c o nd  t e s t ,   J ou r na l   of   U s ab i l i t y   St ud i e s v o l .   12  no . 1 ,   p p.   8 - 25 ,   2016 .   [ 5]   E .   F e r r e i r a D .   F e r r e i r a S .   K i m P .   S i i r t o l a J .   R ön i ng J . F .   F o r l i z z i   & A .   K .   D e y ,   "   A s s e s s i ng   r e a l - t i m e   c o g ni t i v e   l o a ba s e o ps y c ho - ph y s i o l o g i c a l   m e a s u r e s   f o r   y o ung e r   a nd   o l de r   a d ul t s , "   I C o m put a t i o na l   I nt e l l i g e nc e ,   C og ni t i v e   A l g o r i t hm s ,   M i nd ,   a nd   B r a i n   ( C C M B ) ,   I E E E   S y m p o s i um   o ( p p.   39 - 48 ) .   I E E E ,   2 014 .   [ 6]   S .   M c F a l l ,   " U nde r s t a n di ng   S o c i e t y - U K   H o us e ho l L o ng i t udi n a l   S t udy :   C og ni t i v e   A bi l i t y   M e a s u r e s .   U nde r s t a n di ng   S o c i e t y   U s e r   M a n ua l , "   2013   [ 7]   G .   B r e s s o l l e s , , "   L a   qu a l i t é   d e   s e r v i c e   é l e c t r o ni qu e :   N e t Q u@  l   P r o po s i t i o d' une é c he l l e   d e   m e s ur e a p pl i qu é e   a ux   s i t e s   m a r c ha n ds   e t   e f f e t s m o r a t e ur s . ,   "   R e c he r c he   e t   A p pl i c a t i on s   e M a r k e t i ng  ( F r e nc E d i t i on ) ,   v o l .   21  no . 3   pp.   19 - 45 ,   200 6 .   [ 8]   I .   T a h y udi n D .   I nt a n S .   S a p ut r a ,   H a v i l ud di n . , "   A I nt e r a c t i v e   M o bi l e   A ug m e nt e d   R e a l i t y   f o r   T o ur i s m O bj e c t s   a t   P ur b a l i ng g a   D i s t r i c t ,   "   I ndone s i an  J ou r na l   o f   E l e c t r i c a l   E ng i ne e r i n and  C om put e r   S c i e nc e   ( I J E E C S ) ,   v o l .   no . 2 ,   pp.   37 5 - 380  , 2 016 .   [ 9]   F .   D   D a v i s . , R . P .   B a g o z z i ,   &   P . R .   W a r s ha w ,   "   U s e r   a c c e pt a nc e   o f   c o m put e r   t e c hno l o gy :   a   c o m pa r i s o o f   t w t he o r e t i c a l   m o de l s ,   "M anage m e nt   s c i e nc e v o l .   35   no .   8 p p.   98 2 - 10 03,   19 89 .   [ 10]   K .   A w a ng . K ,   . S . N . W S h a m s ud di n,   I .   I s m a i l N . A .   R a w i M . M .   A m i n ,   " T he   u s a b i l i t y   a na l y s i s   o f   us i ng   a ug m e nt e d   r e a l i t y   f o r   l i nu s   s t ud e nt s ,   " I ndo ne s i an  J ou r na l   o f   E l e c t r i c a l   E n gi ne e r i ng  an C om pu t e r   Sc i e nc e   ( I J E E C S) v o l .   13   no . 1 pp .   . 58 - 64 ,   20 19 .   [ 11]   W .   P .   W o ng ,   V .   V e n e z i a no   I .   M a hm ud ,   " U s a bi l i t y   of   E nt e r pr i s e   R e s o ur c e   P l a nn i ng   s o f t w a r e   s y s t e m s :   a e v a l ua t i v e   a n a l y s i s   o f   t he   us e   o f   S A P   i t he   t e x t i l e   i ndu s t r y   i B a ng l a de s h I nf or m a t i on, "D e v e l opm e nt ,   v o l .   32   no . 4 pp .   1027 - 10 41 ,   2 016   [ 12]   B . S c ho l t z I .   M a hm ud ,   &   T . R a m a y a h   ( 201 6) .   D o e s   u s a b i l i t y   m a t t e r ?   A a n a l y s i s   o f   t h e   I m pa c t   o f   U s a bi l i t y   o n   T e c hno l o gy   A c c e pt a nc e   i E R P   S e t t i ng s I nt e r d i s c i pl i na r y   J our n al   o f   I n f or m at i on ,   K now l e dge ,   and   M an age m e nt , v o l     11 pp .   309 - 3 30,   2 016   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       W e us abi l i t y   t e s t   i n   60  s e c o nds a   t he or e t i c a l   f ounda t i o a n e m p i r i c al   t e s t   ( Im r an  Mahm ud )   403   [ 13]   T .   B h ui y a n I .   M a hm ud   B .   A l a m   U s a b i l i t y   a na l y s i s   o f   S M S   a l e r t   s y s t e m   f o r   i m m u ni z a t i o i t he   c o nt e xt   o f   B a ng l a de s h .   I n t   J   R e s   E n T e c h ,   v o l .   2   no . 11 pp .   300 - 5 ,   2 013   [ 14]   V .   V e ne z i a no I .   M a hm ud A .   K ha t u W . W .   P e ng , U s abi l i t y   an al y s i s   of   E R P   s o f t w ar e :   E duc a t i on   and   e x pe r i e nc e   of   us e r s '   as   m o de r at o r s .   I T he   8t h   I nt e r n a t i o na l   C o nf e r e nc e   o S o f t w a r e ,   K no w l e dg e ,   I nf o r m a t i o M a n a g e m e nt   a nd  A ppl i c a t i o ns   ( S K I M A   2014)   ( pp .   1 - 7 ) .   I E E E ,   20 1 4.     [ 15]   S .   M c L e l l a n A .   M ud di m e r   S . C .   P e r e s   ( 2012 ) .   T he   e f f e c t   o f   e xpe r i e nc e   o S y s t e m   U s a bi l i t y   S c a l e   r a t i ng s J our nal   o f   us a bi l i t y   s t ud i e s v o l .   no .   2 pp .   56 - 67.   2 012 .     [ 16]   T .   L a m   &   A . J .   K l o c ka r s , " A nc ho r   po i nt   e f f e c t s   o t he   e qui v a l e nc e   o f   que s t i o nna i r e   i t e m s ,   J ou r na l   of   E d uc a t i ona l   M e as ur e m e nt v o l .   19   no .   4 , pp.     317 - 32 2 ,   19 82   [ 17]   J .   N unn a l l y ,   ,   " P s y c ho m e t r i c   m e t ho ds ,   N e w y o r k :   M c G r a w H i l l . , 197 8   [ 18]   G .   L i ndg a a r d G .   F e r na nd e s C .   D ude k,   J .   B r o w n.   A t t e n t i o w e de s i g ne r s :   Y o u   ha v e   50  m i l l i s e c o nds   t o   m a ke   a   g oo f i r s t   i m pr e s s i o n !   B e hav i our   &   I n f or m at i on   T e c hno l o gy ,   v o l .   2 no .   2 p p.   11 5 12 6,   20 06 .   [ 19]   S .   D a ha l E y e s   do n’ t   l i e :   U nde r s t a n di ng   u s e r s '   f i r s t   i m p r e s s i o ns   o w e b s i t e   de s i g u s i ng   e y e   t r a c ki ng .   M a s t e r s   T he s i s ,   I n f or m at i on   Sc i e nc e   a nd  T e c hno l ogy ,   M i s s o ur i   U n i v e r s i t y   o f   S c i e nc e   a nd   T e c hno l o gy .   2011.   [ 20]   I .   M a hm ud . ,   T . R a m a y a &   S .   K ur ni a ,   "   T o   us e   o r   no t   t o   us e :   M ode l l i ng   e nd   us e r   g r um bl i ng   a s   u s e r   r e s i s t a nc e   i n   pr e - i m p l e m e nt a t i o s t a g e   o f   e nt e r p r i s e   r e s o ur c e   pl a nn i ng   s y s t e m ,   I nf or m at i on   S y s t e m s v o l .   69 ,   pp .   164 - 179 ,   201 7 .   [ 21]   A .   H i nde r k s M .   S c hr e pp F .   J .   D .   M a y o M . J .   E s c a l o na   J .   T ho m a s c he w s k i D e v e l o pi ng   a   U X   K P I   ba s e o n   t he   us e r   e xpe r i e nc e   que s t i o nna i r e C om p ut e r   S t and ar d s   &   I n t e r f ac e s v o l .   65,   p p.   38 - 44 ,   201 9.   [ 22]   J . R .   L e w i s M e a s u r i ng   pe r c e i v e us a bi l i t y :   T he   C S U Q ,   S U S ,   a nd  U M U X I nt e r n at i on al   J ou r na l   o f   H um an C om put e r   I n t e r ac t i on v o l .   34   no .   12 pp.   1 148 - 115 6. 2 018 .     [ 23]   J . R .   L e w i s ,   P s y c h o m e t r i c   e v a l ua t i o o f   t he   P S S U Q   us i ng   da t a   f r o m   f i v e   y e a r s   of   us a bi l i t y   s t udi e s I nt e r n at i on al   J our nal   o f   H um anC om p ut e r   I n t e r ac t i on v o l .   14 ,   pp .   4 63 4 88 .   2 00 2   [ 24]   K .   F i n s t a d,   T he   us a b i l i t y   m e t r i c   f o r   u s e r   e xpe r i e nc e I n t e r ac t i ng  w i t C om p ut e r s v o l .   2 2,   pp .   323 327 ,   201 0   [ 25]   K .   F i ns t a d,   R e s po ns e   t o   c o m m e nt a r i e s   o T h e   u s a b i l i t y   m e t r i c   f o r   u s e r   e x pe r i e nc e .   I nt e r a c t i ng   w i t C om pu t e r s 25,   32 7 33 0,   20 13.     Evaluation Warning : The document was created with Spire.PDF for Python.