I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9 ,   pp .   1138 ~ 1143   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 5 .i 3 . pp 113 8 - 1143             1138       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   A n   e x p l o r a t o r y   st u d y   o f   u se r s’   e x p e r i e n c e s  w i t h   e - p a r t i c i p a t i o n :  a   c a s e   st u d y   o f   M a l a y s i a         N as r ah   H as s an   B as r i 1 ,  Wan   A d i l ah   Wan   A d n an 2 ,  H an i f   B ah a r i n 3     1 D e pa r t m e n t   o f   M u l t i m e di a ,   K o l e j   P o l y - T e c h  M A R A   I po h,   M a l a y s i a   2 F a c ul t y   of   C o m put e r   a n d  M a t he m a t i c a l   S c i e nc e s ,   U n i v e r s i t i   T e kno l o g i   M A R A   S ha h  A l a m ,   M a l a y s i a   3 I ns t i t ut e   o f   V i s ua l   I nf o r m a t i c s ,   U n i v e r s i t i   K e ba ng s a a n   M a l a y s i a   B a ng i ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   M a r   1 ,   20 1 9   R e v i s e d  J un   10 ,   201 9   A c c e pt e d  J ul   2 2 ,   201 9       T he   ne e d  t o   e nc o ur a g e   c i t i z e n s ’   a do pt i o n  o f   e - pa r t i c i pa t i o n  s e r v i c e s   ha s   pr o m pt e d   a n  e xp a nd i ng   e n t hu s i a s m   f o r   t h e   e v a l ua t i o n  o f   e - pa r t i c i pa t i o n   w e bs i t e s .   T he   a c h i e v e m e n t   o f   e - pa r t i c i pa t i o n  w e bs i t e s   de pe nds   i n t e ns e l y   o n   ho w   w e l l   i t   i s   pe r c e i v e d  by   t he   us e r s .   E - pa r t i c i p a t i o n  i s   a   r e l a t i v e l y   ne w   a ppr o a c h,   s o   i t   i s   i m po r t a n t   t o   e v a l ua t e   i t   de l i be r a t e l y ,   i n   o r de r   t o   c om pr e he n d  i t   be t t e r ,   o bt a i n  m o r e   kno w l e dg e   a bo ut   i t   a nd  d i s t i n g ui s h  t he   pr e f e r e nc e s   a nd  a dv a nt a g e s   i t   o f f e r s ,   a nd  no t   t o   ov e r l o o k  i t s   d i s a dv a nt a g e s   s o   t ha t   w e   c a n  i m pr o v e   i t .   C o nc e r n i ng   e v a l u a t i o n,   m a ny   r e s e a r c he r s   ha v e   c o n c e nt r a t e d  o n  i nf r a s t r uc t u r e   a nd  t e c hni c a l   i s s ue s   w i t ho ut   g i v i ng   m o r e   a t t e n t i o n  t o   us e r   e xpe r i e nc e   a s   o ne   o f   t he   c o r e   e l e m e n t s   i m p a c t i ng   t he   s uc c e s s   o r   f a i l u r e   o f   e - pa r t i c i p a t i o n  w e bs i t e s .   T h i s   pa p e r   e v a l ua t e d     e - pa r t i c i p a t i o n  m o dul e   t ha t   l o c a t e d  i n  M a l a y s i a   e - g ov e r nm e nt   w e bs i t e   b y  ut i l i z i ng   t h i nk - a l o ud  m e t ho d.   T h i nk - a l o ud  w a s   be i ng   ut i l i z e d  t o   g a ug e   t he   pe r c e p t i o ns   o f   c i t i z e n s   i n   t he i r   us e   o f   e - pa r t i c i pa t i o n.   Ke y w or d s :   e - pa rt i c i p a t i o n   E v a l ua t i o n   P ub l i c   pa r t i c i pa t i o n   T h i n k   a l o ud   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   N a s ra h  H a s s a n  B a s r i ,     D e pa rt m e n t   o f   M ul t i m e di a ,   K o l e j   P o l y - T e c h   M A R A   Ipo h ,   N o .   154295 ,   W i s m a   S S I,   J a l a n  S ul t a n  A b dul   J a l i l ,   G r e e nt o w n ,   30 450   Ipo h  P e ra k,   M a l a y s i a .   E m a i l :   n a s ra h @ ga pps . kp t m . e du. m y       1.   I N TR O D U C TI O N     O v e r   t h e   y e a r s ,   t h e   r a pi d  de v e l o pm e n t s   i n   i n f o r m a t i o n   a nd  c o m m u n i c a t i o n   t e c hn o l o gi e s   (ICT s )  ha v e   e s s e n t i a l l y   i n f l ue n c e d  a l m o s t   a l l   a s pe c t s   of   h um a n ’ s   d a i l y   l i f e .   T h e   o ve r w h e l m i n g  a dv a n c e m e n t s   o f   ICT s   ha v e   c r e a t e d  t h e   s o   c a l l e d  “ e l e c t r o n i c ”   di m e n s i o n ,   r e s ul t i ng  i n  pa ra di gm   s hi f t s   r e l a t e d  t o   b us i n e s s ,   go ve r na n c e   a n d  e duc a t i o n.   T h i s   di gi t a l   m e a n s   of   c o m m uni c a t i o n   a l s o   i m pa c t e d  o n   h o w   g ov e r n m e nt   de l i v e r s   i n f o r m a t i o n   a n d  s e r v i c e s   t o  t h e   c i t i z e n s   by   h a v i n g  e - go v e r nm e nt .   O n e   o f  t h e   c o m po n e n t s   i n   e - go ve rn m e n t   i s   e - pa rt i c i p a t i o n   t h a t   a l l o w s   a c t i v e   pa r t i c i pa t i o n   b e t w e e n   c i t i z e n s   a n d  t h e   go v e r n m e nt .   S e v e r a l   s t ud i e s   ha d  b e e n   c o n duc t e d  t o   e v a l ua t e   t h e   a c c e s s i b i l i t y   a n d  us a b i l i t y   of   e - gov e r nm e nt   i n   ge n e ra l   [1 - 4]   b ut   n o t   t h e   e - pa r t i c i pa t i o n.     In  [5] ,   de f i n e s   c i t i z e n  pa rt i c i p a t i o n  a s   “ t h e   p r o c e s s   t hr o ug h  w h i c h   s t a ke h o l de r   i n f l ue n c e   a nd  s ha r e   c o n t r o l   o v e r   p r i o ri t y   s e t t i ng,   po l i c y m a ki n g ,   r e s o ur c e   a l l o c a t i o n s   a n d  a c c e s s   t o   pu b l i c   go o d s   a nd  s e r v i c e s ” .     A s   i n di c a t e d  by   [6] , e - p a r t i c i pa t i o n  r e f e r s   t o   t h e   us e   o f   ICT s   t o   s uppo r t   i n f o r m a t i o n  p r o v i s i o n   a n d  “ t o p - do w n ”   e n ga ge m e nt   o r  “ gr o u n d - u p”   e f fo r t s   t o   e m po w e r   c i t i z e n s ,   c i v i l   s o c i e t y   o r ga n i z a t i o n s   a n d  o t h e r   de m o c ra t i c a l l y   c o n s t i t u t e d  gr o ups   t o   ga i n   t h e   s uppo rt   o f   t h e i r   e l e c t e d  r e p r e s e n t a t i v e s .   I n   [7],   s t a t e s   t ha t   w i t h   t h e   a s s i s t a n c e   of  l a t e s t   t e c hn o l o g y   de v e l o pm e n t s ,   e - pa rt i c i p a t i o n  a i m s   t o   s uppo r t   a c t i v e   c i t i z e n s h i p,   i n c r e a s i n g   a c c e s s   t o   a n d   a v a i l a b i l i t y   of   pa r t i c i pa t i o n   i n   o r de r  t o   p r o m o t e   f a i r  a nd  e f f i c i e nt   s o c i e t y   a nd  go v e r nm e n t .   E - pa rt i c i p a t i o n   i s   t h o ught   t o   b e   a   f un da m e n t a l   c o m po n e nt   m a k i n g  a   go o d  e - de m oc r a c y   by   h e l pi n g  pe o pl e   ge t t i n g   i n v o l v e d  i n   po l i t i c s   a n d   po l i c y - m a ki n g   [8] .   T h e s e   c i t i z e n - go v e r nm e n t   i n t e ra c t i o n s   l i ke w i s e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A n  e x p l or at or y   s t ud y   o f   us e r s ’  e x p e r i e nc e s   w i t h  e - par t i c i pat i on…   ( Nas r ah  H as s an  B a sri )   1139   e m pow e r   n e w   fo r m s   o f  c o l l a b o r a t i o n   w h e r e   go ve r nm e n t s   o ut l i n e   a g g r e ga t e   a c t i v i t y   a r o und  pa r t i c ul a r   i s s ue s   a n d  c i t i z e n s   w i l l   t h e n   i n i t i a t e   t h e i r  o w n   a c t i o n s   t o w a r ds   t h o s e   i s s ue s   [9 ,   10 ] .    D e s pi t e   t h e   i ni t i a t i v e s   of   m a n y   c o un t ri e s   i n   a do pt i ng  e - pa rt i c i pa t i o n,   t h e r e   do   n o t   pa y   c o r r e s po n di ng  a c t i o n  i n  e v a l ua t i n g  t h e s e   e ffo r t s   [11] .   S i m i l a rl y ,   [12]  a r gu e   t ha t   t h e   e v a l u a t i o n   o f   bo t h   o ff l i n e   a n d   o n l i n e   pa r t i c i pa t i o n   i s   s t i l l   n e w   a n d  n e e ds   s i gni f i c a nt l y   f ur t h e r   r e s e a r c h.   I n   [13] ,   p r e s um e s   t ha t   f r o m   t h e i r   e xt e n s i v e   l i t e r a t u r e   o n   e - p a r t i c i pa t i o n,   t h e r e   i s   a   l a c k  o n   b o t h   e v a l ua t i o n  s t ud i e s   a n d  e s t a b l i s h e d  e v a l ua t i o n  m e t h o do l o gi e s .   In   [1 4],   l i ke w i s e   c o n c ur   t ha t   t h e   c i t i z e n   o n l i ne   pa r t i c i pa t i o n  i s   t h e   l e s s   e v a l ua t e d  c o n c e pt   o f   e - go ve r nm e n t   w e b s i t e s .   In  [15]   a l s o   a g r e e d  t h a t   e v a l ua t i o n  i s   r e qui r e d   t o   de t e rm i n e   w h e t h e r  a nd  t o   w h a t   e xt e n t   a n   e - p a r t i c i pa t i o n  do e s   c o n t r i b ut e   t o   e nh a n c i ng  de m o c r a c y .   T h i s   s t u dy   di s c us s e s   a bo ut   t h e   i n t e r a c t i o n   e xpe r i e n c e   of   M a l a y s i a   e - pa rt i c i p a t i o n   m o dul e   r e s i de s   i n  e - gov e r nm e nt   w e b s i t e .   T h i s   pa pe r   c o m m e n c e s   w i t h  t h e   a ppl i c a t i o n   o f   t h e   da t a   c o l l e c t i o n   m e t h o d  a nd  c o n c l ude s   w i t h  a   di s c us s i o n  o n  f i n d i n gs ,   l i m i t a t i o n s   a n d   f urt h e r   r e s e a r c h .       2.   R ES EA R C H   M ET H O D     In   t hi s   s t udy ,   a   c o n c urr e n t   t hi n k - a l o ud  m e t h o d  w a s   us e d  i n   o r de r   t o   ga i n   i n s i g h t s   o f   us e r s ’  t h o ug h t   duri n g  t h e   i nt e ra c t i o n   w i t h   t h e   e - pa rt i c i p a t i o n   w e b s i t e .   Con c u rr e n t   t hi n k - a l o ud  m e t h o d  i s   o n e   of   t h e   m o s t   c o m m o n   t h i nk - a l o ud  p r o t o c o l s   us e d  i n   i de n t i fy i n g  us a b i l i t y   pr o b l e m s   [16] .   B o t h   [ 17 ,  18]   a ppl a ud  t hi n k i n g   a l o ud  m e t h o d  a s   t h e   m o s t   v a l ua b l e   u s a b i l i t y   e v a l ua t i o n   m e t ho d.   T h i s   m e t h o d  pe rm i t s   t h e   e nd  us e r   t o   t hi n ki ng  o ut   l o ud  w h i l e   us i ng  s y s t e m   [19] .   By   v e r b a l i z i ng  t h e i r   t h o ug h t s ,   i t   e n a b l e s   t h e   r e s e a r c h e r s   t o   c a pt u r e   a n d   unde r s t a n d  h o w   us e r s   v i e w   a n d  i n t e r p r e t   t h e   s y s t e m   [20,   21] .   A   s t ud y   c o n duc t e d  by   [22]  a l s o  pr o v e s   t h a t   by   t h i n k i n g  a l o ud,   t h e   pa rt i c i p a n t s   c a n   d i r e c t l y   a n d  e ff i c i e n t l y   v e r b a l i z e   a n y   pr ob l e m s   e n c o un t e r e d  f r o m   t h e   i n t e r f a c e   de s i gn  i t s e l f .   A   c o n c urr e n t   t hi n k - a l o ud  m e t h o d  a d a pt e d  f r o m   [19]   w a s   us e d  i n  t hi s   s t udy   a s   i t   ke e p  t h e   i n t e r a c t i o n s   b e t w e e n   r e s e a r c h e r   a n d  p a r t i c i pa nt s   t o   a   m i n i m u m   a s   n o t   t o   i n t e r f e r e   t h e i r   f e e d b a c k  dur i ng  t h e   s e s s i o n .     T h e   o n l y   i n t e r v e n t i o n   o c c urr e d  du ri n g  t h e   s e s s i o n   w a s   t h e   p hra s e   “ ke e p - t a l ki ng”   w h e n  r e s e a r c h e r   n o t i c e d  t ha t   pa r t i c i pa nt   w a s   ke p t   s i l e n c e d  f o r   q ui t e   s o m e   t i m e .   T h e   t hi n k - a l o ud  p r o t o c o l   us e d  i n   t h e   s t udy   w a s   pi l o t e d   w i t h  t w o   un de r g ra dua t e   c o l l e ge   s t ude nt s   w h o   ha d   n o   e xpe r i e n c e   w i t h   t h i s   m e t h o d  b e fo r e .   T h e   c o n c urr e nt   t h i nk - a l o ud  s e s s i o n   w a s   c a rr i e d  o ut   i ndi v i dua l l y   i n   a   l a b o r a t o r y   s e t t i n g  a t   K o l e j   P o l y - T e c h   M A R A   Ipo h .   T e n   p a r t i c i pa nt s   w e r e   s e l e c t e d  o n   a   v o l unt a r y   b a s i s   a m o n g  a c a de m i c   a n d  n o n - a c a de m i c   s t a f f s   a n d  a   r e m u n e r a t i o n  t o ke n s   w e r e   g i v e n   t o   t h e m   a f t e r   t h e y   f i n i s h e d  t h e i r   s e s s i o n .   T o   b e gi n  w i t h ,     e a c h   pa rt i c i p a n t   r e a d  t h e   i n f o r m a t i o n   s h e e t   gi v e n   t o   t h e m   a n d  g a v e   t h e i r   w r i t t e n   c o n s e n t   i n   pa rt i c i p a t i n g  i n  t h e   s t udy .   T h e y   a l s o   c o m pl e t e d  a   b r i e f   que s t i o nn a i r e   o n   t h e i r  de m o gr a p hi c s   de t a i l s .   F o l l ow i n g  t hi s ,   t h e   t h i nk - a l o ud  i n s t r uc t i o n s   w e r e   r e a d  o ut   l o ud  by   t h e   r e s e a r c h e r   i n   o r de r   t o   c o n f i rm   t h e i r   u n de r s t a ndi n g .   A f t e r   t h a t ,     a   b r i e f   de m o n s t r a t i o n   o n   t h e   t hi n k - a l o ud  m e t h o d  w a s   pr e s e nt e d  t o   t h e m   by   t h e   r e s e a r c h e r.   T hi s   w a s   do n e   a s   a   w a r m - u p  e xe r c i s e   s o  t h a t   t h e   pa rt i c i p a n t   w i l l   b e   m o r e   c o m fo r t a b l e   e s pe c i a l l y   i n   t h e   p r e s e n c e   of  o t h e r s   [23] .  O n c e   do n e ,   t h e   pa rt i c i p a n t   s t a rt e d  t o   b r ow s e   fr e e l y   t h e   M a l a y s i a   e - gove rn m e n t   po r t a l   ( ht t ps : / / w w w . m a l a y s i a . go v . m y ).   N o   pa r t i c ul a r   t a s ks   w e r e   gi v e n   t o   t h e   pa rt i c i p a n t   b ut   t h e y   n e e d  t o   a l s o  b r ow s e   t h e   e - pa r t i c i pa t i o n   m o dul e   c o n t a i n s   i n   t h e   w e bs i t e .   T h e   s e s s i o n   l a s t e d  f o r   a b o ut   15  m i n u t e s   fo r   e ve r y   i n di v i du a l   a n d  e a c h   v e r b a l   ut t e ra n c e   w e r e   r e c o r de d  i n  by   us i n g  a udi o   r e c o r di n g  de v i c e .   F i g u r e   1  u nde rn e a t h  i l l us t r a t e d  t h e   b a s i c   t hi n k - a l o ud  p r o t o c o l   t h a t   w e r e   us e d  i n  t he   s t udy .           F i gu r e   1 .   F l o w   c h a rt   o f   t h e   t hi n k - a l o ud  p r o t o c o l   c o n duc t e d  i n  t h e   s t udy   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :     11 38   -   11 43   1140   3.   R ES U LTS   A N D   A N A L Y S I S     3. 1 .       D e m o gr ap h y   D e m o gr a p hi c s   da t a   w e r e   c o l l e c t e d  t o   pr o v i de   a   ge n e ra l   de s c r i pt i o n   o f   t h e   pa rt i c i p a n t s   w h i l e   que s t i o nna i r e   o n   I nt e rn e t - us e   b e h a v i o r   w a s   us e d  t o   ga i n   i n s i ght   o n   t h e i r   I nt e rn e t   us e ,   k n o w l e dge   a n d  h a b i t s .   A   s um m a r y   of   t h e   de m o gra p hi c s   da t a   i s   p r e s e n t e d  i n  T a b l e   1 .   T a b l e   1  de pi c t s   t h e   de m o gr a p hi c s   pr o f i l e s   of  t h e   pa r t i c i pa nt s   i n v o l ve d  i n   t hi s   s t udy .   A l t o ge t h e r   t e n   pe o pl e   pa r t i c i pa t e d  i n   t h e   t hi n k - a l o ud  s e s s i o n   (5  m a l e   a n d  5  f e m a l e )  w i t h   a n   a v e r a ge   a ge   o f   33  y e a r s   o l d  ( ST D E V   =   4. 8 5).   A s   s t a t e d  b y   [24]  i t   i s   po s s i b l e   t o   f i n d  a b o u t   75 %  o f   t h e   us a b i l i t y   pr o b l e m s   by   r u nn i ng  o n l y   w i t h   s m a l l   n u m b e r   o f  pa r t i c i pa nt s .   H a l f   of  t h e   pa r t i c i pa nt s   he l d  a   m a s t e r   de gr e e   (50%)  w h i l e   o n e   pa r t i c i pa nt   w a s   a   b a c h e l o r’s   de g r e e   h o l de r.       T a b l e   1 .   D e m o g r a p hi c s   P r o f i l e s   of   t h e   P a r t i c i pa nt s   A g e   M e a n   M i n i m u m   M a x i m u m   S T D E V   T o t a l   33   27   40   4 . 8 5   10   G e n d e r   M a l e   5   (5 0 % )     F e m a l e   5   (5 0 % )   H i g h e s t   L e v e l   o f   E d u c a t i o n   T o t a l   D i p l o m a   4   (4 0 % )   Ba c h e l o r   1   (1 0 % )   M a s t e r   5   (5 0 % )       3. 2 .       I n t e r n e t - u s e   B e h av i o r   T h e   fo l l ow i n g  T a b l e   2  s h ow s   t h e   de s c r i pt i v e   s t a t i s t i c s   o f  I nt e rn e t - us e   be h a v i o r   o f  t h e   pa r t i c i pa nt s   i n v o l ve d  i n  t hi s   s t udy .         T a b l e   2 .   D e s c r i pt i v e   S t a t i s t i c s   o f   In t e rn e t - us e   B e ha v i o r   Y e a r s   o f   In t e r n e t   u s e   M o r e   t h a n   5   y e a r s   (1 0 0 % )   In t e r n e t   c o n n e c t i o n   a t   h o m e   Y e s     No   9   (9 0 % )     1   (1 0 % )   A c c e s s   t o   In t e r n e t *   T o t a l   H o m e   9   (9 0 % )   W o rk   1 0   (1 0 0 % )   L i b ra r y   7   (7 0 % )   Ca fé   6   (6 0 % )   O t h e r   2   (2 0 % )   D e v i c e s   u s e d *   T o t a l   D e s k t o p   8   (8 0 % )   L a p t o p   7   (7 0 % )   P D A   -   M o b i l e   p h o n e   1 0   (1 0 0 % )   O t h e r   1   (1 0 % )   In t e r n e t   u s e   f r e q u e n c y   T o t a l   W e e k l y   -   2  –   3   t i m e s   a   w e e k   -   4  - 6   t i m e s   a   w e e k   -   D a i l y   5   (5 0 % )   2  –   3   t i m e s   a   d a y   -   M o r e   t h a n   3   t i m e s   a   d a y   5   (5 0 % )   In t e r n e t   u s e   d u r a t i o n   T o t a l   L e s s   t h a n   5   m i n u t e s   -   6  - 1 5   m i n u t e s   1   (1 0 % )   A b o u t   3 0   m i n u t e s   2   (2 0 % )   Ab o u t   1   h o u r   2   (2 0 % )   S e v e ra l   h o u rs   5   (5 0 % )   P u r p o s e   o f   u s i n g   In t e r n e t *   T o t a l   E m a i l   1 0   (1 0 0 % )   Re a d i n g   n e w s   8   (8 0 % )   O n l i n e   s h o p p i n g   9   (9 0 % )   S o c i a l   n e t w o rk i n g   1 0   (1 0 0 % )   S e a r c h i n g   f o r   s t u d y - r e l a t e d   o r  w o rk - re l a t e d   i n f o r m a t i o n   9   (9 0 % )   S u rfi n g   t h e   w e b   9   (9 0 %)   D o w n l o a d i n g   o r  f i l e   s h a ri n g   9   (9 0 % )                                                                     *   P a r t i c i p a n t s   w e re   a l l o w e d   t o   c h o o s e   m o r e   t h a n   o n e   o p t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A n  e x p l or at or y   s t ud y   o f   us e r s ’  e x p e r i e nc e s   w i t h  e - par t i c i pat i on…   ( Nas r ah  H as s an  B a sri )   1141   F r o m   t h e   T a b l e   2 ,   a l l   o f   t h e   p a r t i c i pa nt s   (10 0%)  ha v e   b e e n   us i n g  t h e   I n t e rn e t   f o r   m o r e   t ha n   f i v e   y e a r s   a n d  ni n e   o f   t h e m   (9 0 %)  do   a c t u a l l y   h a v e   In t e rn e t   c o nn e c t i o n   a t   h o m e .   A s   a l l   o f   t h e m   a r e   w o r ki n g ,     t h e i r   a c c e s s   t o   t h e   I nt e rn e t   i s   100%  a t   w o r k  a n d   a l l   a g r e e d  t ha t   m o b i l e   ph o n e   i s   t h e i r  c h o s e n   de v i c e   t o   a c c e s s   t h e   I n t e rn e t .   I t   i s   w o r t h   m e n t i o n i n g   t ha t   i n   s o m e   of   t h e   que s t i o n s ,   t h e   pa rt i c i p a nt s   h a d  t h e   l i b e rt y   t o   c h o os e   m o r e   t ha n  o n e   o pt i o n   a s   s t a t e d   i n  t h e   que s t i o nna i r e .     3. 3 .      E - go v e r n m e n t - w e b s i te - u s e   Be h av i o r   T h e   e - go ve r nm e n t - w e b s i t e   us e   b e h a v i o r   o f   pa r t i c i pa nt s   w a s   a l s o   a c c e s s e d  i n   o r de r  t o   ga i n   i n s i g ht   t o   t h e i r   ha b i t s   w h e n   i t   c o m e s   t o   i n t e r a c t i o n   w i t h   e - go v e r nm e n t   w e bs i t e .   A   s um m a r y   of   t h e   a na l y s i s   i s   pr e s e nt e d  i n   T a b l e   3 .       T a b l e   3 .   D e s c r i pt i v e   S t a t i s t i c s   o f   E - go ve rn m e n t - w e b s i t e   us e   B e h a v i o r   E v e r   v i s i t e d   e - g o v e r n m e n t   w e b s i t e   b e f o r e ?   Y e s   9   (9 0 % )   No   1   (1 0 % )   E - g o v e r n m e n t   w e b s i t e   v i s i t s   f r e q u e n c y   T o t a l   W e e k l y   9   (9 0 % )   2  –   3   t i m e s   a   w e e k   -   4  - 6   t i m e s   a   w e e k   -   D a i l y   -   2  –   3   t i m e s   a   d a y   -   M o r e   t h a n   3   t i m e s   a   d a y   -   E - g o v e r n m e n t   w e b s i t e   u s e   d u r a t i o n   T o t a l   L e s s   t h a n   5   m i n u t e s   2   (2 0 % )   6  - 1 5   m i n u t e s   6   (6 0 % )   A b o u t   3 0   m i n u t e s   1   (1 0 % )   A b o u t   1   h o u r   -   S e v e ra l   h o u rs   -   P a r t i c i p a t i o n   i n   a n y   f o r u m / p o l l / p o l i c y   m a k i n g   i n   t h e   e - g o v e r n m e n t   w e b   s i t e   Y e s   1   (1 0 % )   No   9   (9 0 % )           N i n e   pa r t i c i pa nt s   (90%)  ha v e   v i s i t e d  e - gov e r n m e nt   w e b s i t e   b e fo r e   b ut   o n l y   o n e   (10%)  pa r t i c i pa t e d  i n   a n y   f o r um / po l l / po l i c y   m a ki n g  i n   t h e   w e b s i t e .   N i n e   pa r t i c i pa nt s   (90%)  r e po rt e d  o f   b r ow s i n g  t h e     e - gov e r nm e nt   w e bs i t e   o n   w e e kl y   b a s i s   a n d   m a j o r i t y   of   t h e m   (6 0%)  s pe n d   a b o ut   6  t o   15  m i n u t e s   o n     e - gov e r nm e nt   w e b s i t e .     3. 4 .      A n a l ys i s   o f  th e   Th i n k - al o u d   D ata   T h e   t h i nk - a l o ud  da t a   w e r e   a na l y z e d  t h e m a t i c a l l y   t o   l oo k   fo r   u ni t s   o f   t h o ug h t .   T h i s   w a s   do n e   m a n u a l l y   i n   a n   i t e r a t i v e   m a nn e r   t o   l o o k  fo r   c o n s i s t e n c y   of   t h e   c o d e .   A s   a   r e s ul t ,   6 1  u n i t s   o f   t h o ught   w e r e   i de nt i f i e d  a n d  c l a s s i f i e d  i n t o   m a i n   t h e m e s   a nd  s ub   t h e m e s .   T h e r e   a r e   t hr e e   m a i n   t h e m e s ;   c o n t e n t ,   de s i g n   a nd  i n f o r m a t i o n  a r c hi t e c t u r e   a nd  s u m m a ri z e d  a s   i n   T a b l e   4 .       T a b l e   4 .   C a t e go ri e s   o f   M a i n  T h e m e s   a nd  S ub   T h e m e s   #   M a i n   t h e m e   S u b   t h e m e s   1.   Co n t e n t   In fo r m a t i o n   c o n t e n t   L a n g u a g e   Re l e v a n c y   U p d a t e d   i n fo r m a t i o n   2.   D e s i g n   L a y o u t   S e l e c t i o n   o f   fo n t ,   i m a g e s   Ba c k g r o u n d / F o r e g r o u n d   3.   In fo r m a t i o n   A rc h i t e c t u re   N a v i g a t i o n   S c h e m e   L i n k   b u t t o n / t e x t         O ut   o f  t h e   t hr e e   m a i n   t h e m e s ,   59%  (36  u ni t s )  w e r e   r e f e r r e d  t o   c o n t e n t   w h i l e   16. 4 %  (10  u n i t s )  r e f e rr e d  t o   i n f o r m a t i o n   a r c hi t e c t u r e .   T h e s e   f i n di n gs   a r e   i n   l i n e   w i t h   t h e   p r e v i o us   s t ud y   c o n duc t e d  by   [25]   w h i c h  s a w   t ha t   i n f o r m a t i o n  o r   c o nt e nt   i s   o n e   o f   t h e   c r uc i a l   f a c t o r   i n  de s i g ni n g   e - go ve rn m e n t   w e b s i t e .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :     11 38   -   11 43   1142   4.   C O N C LU S I O N     T h i s   s t udy   pr o v i de s   i n s i g ht s   i nt o   us e r s ’  e xpe r i e n c e s   w i t h  M a l a y s i a   e - gov e r nm e n t   ge n e ra l l y   a n d    e - pa rt i c i p a t i o n   m o dul e   i n  p a r t i c ul a r.   D ue   t o   t h e   pl a nni n g   o f   n o t   s e t t i n g   i ni t i a l   t a s ks   t o   t h e   p a rt i c i p a n t s ,     t h e y   f i gur e d  o ut   h o w   t o   b r o w s e   t h e   w e b s i t e   f r e e l y   a n d   r e po r t e d  ge n u i n e l y   ve r b a l   c o m m e n t s .     D e m o gr a p hi c   r e s ul t s   s h o w e d  t ha t   a l l   pa rt i c i p a n t s   w e r e   e xpe r i e n c e d  us e r s   o f   t h e   Int e rn e t   a n d   t h us   ha v i ng  n o   pr o b l e m   i n   pa rt i c i p a t i n g  i n   t h i s   s t udy .   T hi n k - a l o ud  m e t h o d  pr o v e d  t o   b e   o n e   o f   t h e   pow e r f ul   t o o l s   t o   ga i n   i n s i g ht s   i nt o   us e r s ’  e xpe r i e n c e   i n   i nt e ra c t i o n   w i t h   a   w e b s i t e .   F i n d i n gs   o f   t h i s   s t udy   s ugge s t   t h a t   t h e   c o n t e n t   o f   a   w e b s i t e   pl a y s   a n   i m po rt a nt   r o l e   i n   e n g a gi ng  t h e   us e r   e s pe c i a l l y   w h e n   i t   c o m e s   t o   e - pa rt i c i p a t i o n   a s   t h e   c o n t e n t   s h o ul d  b e   r e gu l a rl y   upda t e d.   T h e   num b e r   o f  pr o b l e m s   e n c o un t e r e d  i n  t hi s   s m a l l   s c a l e   s t udy   a l s o   s h o w   t h a t   p e o pl e   a r e   s t i l l   e xpe r i e n c i n g   p r o b l e m s   w h e n  u s i ng  w e b s i t e .     A   l i m i t a t i o n   o f   t h i s   s t udy   i s   t h a t   i t   t h e   s a m pl e   s i z e   us e d  i n   t hi s   s t udy   w a s   s u ff i c i e n t   f o r   t h e   pu r po s e s   of   t h i s   s t udy   a n d  a l l o w e d  r e a s o n a b l e   c o n c l us i o n s   t o   b e   dr a w n   b ut   i t   c a nn o t   b e   c o n s i de r e d  r e p r e s e nt a t i v e   of   a l l   e - pa rt i c i p a t i o n   us e r s   i n   M a l a y s i a .   M o r e   r e p r e s e n t a t i v e   s a m pl e s   w i t h i n   M a l a y s i a   c a n   b e   c o n s i de r e d  fo r   t h e   n e xt   s t u dy   t o   s t r e n gt h e n   t h e   c u rr e nt   f i ndi n gs .   F ut u r e   r e s e a r c h   m a y   a l s o   e xt e n d  i n t o   o t h e r   a ge n c i e s   t ha t   o ff e r     e - pa rt i c i p a t i o n  t o   c o ve r   a   w i de r  e v a l ua t i o n.       A C K N O WL ED G E M EN TS     T h e   a ut h o r s   w o ul d  l i ke   t o   r e c o r d  o ur   s i n c e r e   t ha n ks   t o   U n i v e r s i t i   T e kn o l o gi   M A R A   fo r   t h e   fi n a n c i a l   s uppo r t .   T h e   a u t h o r s   a r e   a l s o   t h a nkf ul   t o   K o l e j   P o l y - T e c h   M A R A   Ipo h   f o r   pr o v i di ng  a t   n o   c h a rge   t h e   l a b o r a t o r y   f a c i l i t i e s   t ha t   w e r e   us e d  i n  t hi s   r e s e a r c h.       RE F ER EN C ES     [ 1]   I s a ,   W .   A .   R .   W .   M . ,   S uh a m i ,   M .   R . ,   &   S a f i e ,   N .   I .   ( 2010 ) .   E v a l ua t i ng   t h e   A c c e s s i b i l i t y   o f   M a l a y s i a   E - G ov e r nm e n t   W e b s i t e .   [ 2]   I s a ,   W .   A .   R .   W .   M . ,   S uha m i ,   M .   R . ,   S a f i e ,   N .   I . ,   &   S e m s ud i n,   S .   S .   ( 2011 ) .   A s s e s s i ng   t he   U s a b i l i t y   a nd   A c c e s s i bi l i t y   o f   M a l a y s i a   E - G ov e r nm e nt   W e bs i t e .   A m e r i c an  J our nal   o f   E c o nom i c s   a nd  B us i ne s s   A dm i ni s t r at i on ,  3 ( 1 ) ,   40 – 46 .   [ 3]   L a t i f ,   M .   H .   A . ,   &   M o ha m a d  N o o r m a n  M a s r e k.   ( 20 10) .   A c c e s s i bi l i t y   E v a l ua t i o n  o n  M a l a y s i a n  E - G o v e r nm e nt   W e bs i t e s .   J o ur n al   o f   E - G ov e r nm e n t   S t u di e s   and   B e s t   P r ac t i c e s ,  20 10 .   [ 4]   H ua ng ,   Z . ,   &   B e ny o uc e f ,   M .   ( 201 4) .   U s a b i l i t y   a nd  c r e di bi l i t y   of   e - g ov e r nm e nt   w e bs i t e s .   G o v e r nm e nt   I nf or m a t i on   Q uar t e r l y .    [ 5]   W o r l d  B a n k,   ( 2001 ) .   P o v e r t y   R e duc t i o n  S o ur c e   B o o k,   V o l .   1,   W o r l d  B a n k.   [6 ]   M a c i n t o s h,   A . ,   &   W hy t e ,   A .   ( 2008 ) .   T o w a r ds   a n  e v a l u a t i o n  f r a m e w o r k  f o r   e P a r t i c i pa t i o n.   T r a ns f or m i ng   G ov e r nm e nt :   P e opl e ,   P r oc e s s   &   P ol i c y ,  2   ( 1) ,   16 – 3 0.   [7 ]   S æ bø,   Ø . ,   R o s e ,   J . ,   &   S k i f t e ne s ,   L .   ( 2 008 ) .   T he   s ha p e   o f   e P a r t i c i p a t i o n  :   C ha r a c t e r i z i ng   a n  e m e r g i ng   r e s e a r c h  a r e a .   G ov e r nm e nt   I n f or m a t i on   Q ua r t e r l y ,  25 ,   40 0 – 42 8.     [8 ]   V r a b i e ,   C .   I . ,   &   T i r z i u,   A . - M .   ( 2016 ) .   E - pa r t i c i p a t i o n  -   a   K e y   F a c t o r   i n   D e v e l o pi ng   S m a r t   C i t i e s .   [9 ]   P a na g i o t o po ul o s ,   P . ,   Z i a e e ,   A . ,   &   S a m s ,   S .   ( 201 4) .   C i t i z e n  –   g o v e r nm e nt   c o l l a bo r a t i o n  o n  s o c i a l   m e di a   :   T he   c a s e   o f   T w i t t e r   i n   t he   20 11   r i o t s   i n   E ng l a nd .   G o v e r nm e nt   I n f o r m at i on   Q uar t e r l y ,  31 ( 3) ,   349 – 357 .     [ 10 ]   W a r r e n,   A .   M . ,   S ul a i m a n,   A . ,   &   J a a f a r ,   N .   I .   ( 2014 ) .   S o c i a l   m e d i a   e f f e c t s   o n   f o s t e r i ng   o nl i ne   c i v i c   e ng a g e m e nt   a nd  bui l d i ng   c i t i z e n  t r us t   a nd   t r u s t   i n  i ns t i t u t i o ns .   G ov e r nm e nt   I nf or m a t i on  Q u ar t e r l y .    [ 11 ]   E . L o uki s ,   &   C ha r a l a b i d i s ,   Y .   ( 2010 ) .   A n  e v a l ua t i o n  f r a m e w o r k  f o r   e - pa r t i c i pa t i o n  i n  pa r l i a m e n t s .   I nt e r na t i ona l   J our nal   o f   E l e c t r on i c   G ov e r n anc e · .   [ 12 ]   M a c i n t o s h,   A . ,   &   W hy t e ,   A .   ( 2 006 ) .   E v a l ua t i ng   ho w   e P a r t i c i pa t i o n  c ha ng e s   l o c a l   de m o c r a c y .   [ 13 ]   R o s e ,   J . ,   &   S a nf o r d,   C .   ( 20 07) .   M a pp i ng   e P a r t i c i pa t i o n  R e s e a r c h  :   F o ur   C e nt r a l   C ha l l e ng e s .   C om m un i c a t i ons   o f   t he   A s s oc i a t i on  f o r   I n f or m at i on   Sy s t e m s ,  20 ( A r t i c l e   55 ) .   [ 14 ]   P a no po ul o u,   E . ,   T a m bo ur i s ,   E . ,   &   T a r a ba n i s ,   K .   ( 20 08) .   A   f r a m e w o r k  f o r   e v a l u a t i ng   w e b   s i t e s   o f   p ub l i c   a ut ho r i t i e s .   A s l i b   P r oc e e di ngs .   [ 15]   A i c hho l z e r ,   G . ,   &   W e s t ho l m ,   H .   ( 20 09) .   E v a l ua t i ng   e P a r t i c i pa t i o n  P r o j e c t s   :   P r a c t i c a l   E xa m p l e s   a nd   O ut l i ne   o f   a n  E v a l ua t i o n  F r a m e w o r k .   E ur ope an  J ou r na l   of   E P r ac t i c e .   [ 16 ]   O l m s t e d - H a w a l a ,   E .   L . ,   M ur p hy ,   E .   D . ,   H a w a l a ,   S . ,   &   A s he nf e l t e r ,   K .   T .   ( 20 10) .   T hi nk - A l o ud  P r o t o c o l s   :     A  C o m pa r i s o n  o f   T hr e e   T hi nk - A l o ud  P r o t o c o l s   f o r   us e   i n  T e s t i ng   D a t a - D i s s e m i n a t i o n  W e b   S i t e s   f o r   U s a b i l i t y .     [ 17]   H v a nnbe r g ,   E .   T . ,   L a w ,   E .   L . ,   &   L a r us do t t i r ,   M .   K .   ( 20 07) .   H e ur i s t i c   e v a l u a t i o n  :   C o m pa r i ng   w a y s   o f   f i ndi ng   a nd   r e po r t i ng   u s a b i l i t y   pr o bl e m s .   I n t e r ac t i ng  w i t h  C om pu t e r s ,  19 ,   22 5 – 240.     [ 18]   N i e l s e n ,   J . ,   C l e m m e ns e n ,   T . ,   &   Y s s i ng ,   C .   ( 2 002 ) .   G e t t i ng   a c c e s s   t o   w ha t   g o e s   o n  i n  pe o pl e ’ s   he a ds ?   R e f l e c t i o ns   o n  t he   t hi nk - a l o ud   t e c hni q ue .   [ 19 ]   Er i c s s o n ,   K .   A . ,   &   S i m o n,   H .   A .   ( 19 80) .   V e r ba l   r e po r t s   a s   d a t a .   P s y c hol og i c a l   R e v i e w ,  87 ( 3) ,   215 – 251 .   [2 0 ]   S o m e r e n,   M .   W .   v a n ,   B a r n a r d ,   Y .   F . ,   &   S a n dbe r g ,   J .   A .   C .   ( 1994 ) .   T H E   T H I N K   A L O U D   M E T H O D   A   pr a c t i c al   gui de   t o   m ode l l i ng  c og ni t i v e   pr oc e s s e s .   [ 21 ]   H a a k ,   M .   v a n  de n ,   J o ng ,   M .   D e ,   &   S c he l l e ns ,   P .   J .   ( 200 3) .   R e t r o s pe c t i v e   v s .   c o nc ur r e n t   t hi n k - a l o ud  p r o t o c o l s   :   T e s t i ng   t he   u s a b i l i t y   of   a n  o nl i ne   l i b r a r y   c a t a l o g ue .   B e ha v i o ur   &   I n f or m at i o n  T e c h nol ogy ,  22 ( 5) ,   339 – 351 .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A n  e x p l or at or y   s t ud y   o f   us e r s ’  e x p e r i e nc e s   w i t h  e - par t i c i pat i on…   ( Nas r ah  H as s an  B a sri )   1143     [ 22 ]   M a j i d ,   R .   A . ,   H a s h i m ,   M . ,   &   J a a ba r ,   N .   A .   A .   ( 2014 ) .   A n  e v a l u a t i o n  o n  t he   U s a bi l i t y   o f   E - C o m m e r c e   W e bs i t e   us i ng   t h i nk   a l o ud  m e t ho d.   [2 3 ]   D a v i d  W .   E c c l e s   &   G ül e r   A r s a l   ( 2 017 ) .   T he   t h i n k  a l o ud  m e t ho d:   w ha t   i s   i t   a nd  ho w   do   I   us e   i t ?   Q ua l i t a t i v e   R e s e a r c h  i n   S po r t ,   E xe r c i s e   a nd   H e a l t h,   9: 4,   514 - 53 1.   [ 2 4]   N i e l s e n ,   J .   ( 1994 ) .   E s t i m a t i ng   t he   n um be r   o f   s ub j e c t s   ne e de d   f o r   a   t hi n ki ng   a l o ud  t e s t .   I nt e r n at i on al   J ou r na l   o f   H um an - C om put e r   S t ud i e s ,  41 ,   385 – 397 .   [ 25 ]    B a s r i ,   N .   H . ,   A dna n ,   W .   A .   W . ,   &   B a ha r i n,   H .   ( 2 018 ) .   A   C o m pa r a t i v e   S t udy   o n  E - G ov e r nm e nt   W e b s i t e   D e s i g n  be t w e e n   M a l a y s i a   a nd  U ni t e d   K i ng do m .         B I O G R A P H I ES   O F   A U T H O R S           N a s r a h  H a s s a n  B a s r i .   S e ni o r   l e c t u r e r   a t   D e pa r t m e nt   o f   M u l t i m e di a ,   K o l e j   P o l y - T e c h  M A R A   I p o h,   M a l a y s i a .   C ur r e n t l y ,   a   P hD   c a ndi da t e   a t   U ni v e r s i t i   T e k no l o g i   M A R A ,   S ha h  A l a m ,   M a l a y s i a .           A s s oc   P r o f .   D r .   W a n   A di l a h  W a n  A dna n .   S e ni o r   l e c t ur e r   a t   F a c ul t y   of   C o m put e r   a nd   M a t he m a t i c a l   S c i e nc e s ,   U ni v e r s i t i   T e kno l o g i   M A R A ,   S ha h  A l a m ,   M a l a y s i a .   H e r   r e s e a r c h   i nt e r e s t   i s   H um a n  C o m put e r   I nt e r a c t i o n  r e l a t e d  r e s e a r c h  w i t h  pa r t i c ul a r   i n t e r e s t   i n  i nf o r m a t i o n   v i s ua l i z a t i o n  a n d  p e r s o na l i z a t i o n.   T h e   f o c us   i s   o n  t he   us e r - c e nt e r e d  d e s i g n  a nd   e v a l ua t i o n  o f   a r t i f a c t s   t ha t   c o nc e r ns   w i t h   us e r s ’   pe r c e pt ua l   a nd   c o g ni t i v e   a b i l i t i e s   a nd  l i m i t a t i o ns .           D r .   H a n i f   B a ha r i n .   R e s e a r c h  f e l l o w   a t   t he   I ns t i t u t e   o f   V i s u a l   I nf o r m a t i c s ,   U ni v e r s i t i   K e ba ng s a a n   M a l a y s i a   ( U K M )   ( a l s o   k no w n  a s   N a t i o na l   U ni v e r s i t y   o f   M a l a y s i a ) .   H i s   r e s e a r c h  i n t e r e s t   l i e s   i n   I nt e r ne t   o f   T hi ng s   ( I o T )   a nd   t he   e x pl o r a t i o n   o f   di g i t a l   t e c hno l o gy   i n  a r t .       Evaluation Warning : The document was created with Spire.PDF for Python.