I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   1 2 ,   No .   1 ,  Octo b er   201 8 ,   p p .   3 7 8 ~ 3 8 5   I SS N:  2502 - 4752 ,   DOI : 1 0 . 1 1 5 9 1 / i j ee cs . v 1 2 .i 1 . p p 378 - 3 8 5           378       J o ur na l  ho m ep a g e :  h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   Ass ess m en t  o f  Cr o w dso urcing  Ta s k  M ultidi m e nsio na l  Rela tions hip Mo d el t hro ug h  Applic a tion Proto type       Nurha y a t i  Z a k a ria 1 ,   Siti  Sa l w a   Sa lleh 2 ,   No rj a ns a lik a   J a n o m 3 ,   Sy a ripa h Ruza i ni   Sy ed  Aris 4   1 , 3 , 4 F a c u lt y   o f   Co m p u ter an d   M a t h e m a ti c a l  S c ien c e s,   Un iv e rsiti   T e k n o lo g i  M A RA   (Ui T M )  S h a h   A la m ,   S e lan g o r,   M a lay sia   2 F a c u lt y   o f   Co m p u ter an d   M a t h e m a ti c a l  S c ien c e s,   Un iv e rsiti   T e k n o lo g i  M A RA   (Ui T M )  S a ra wa k ,     Ko ta S a m a ra h a n ,   M a la y sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   1 ,   2 0 1 8   R ev i s ed   J u l 1 0 ,   2 0 1 8   A cc ep ted   Ju l 2 5 ,   2 0 1 8       Cro w d so u rc in g   is  a   p ro c e ss   w h e re   a   c o m p a n y   o u tso u rc e s  a   tas k   to   a   larg e   g ro u p   o f   th e   d ig it a l  w o rk e r  th r o u g h   a n   o n li n e   p latf o rm .   In   M a la y sia ,   th e   c ro w d so u rc in g   e c o s y ste m   c o m p ri se s  o f   th re e   k e y   ro le  p la y e rs   w h ich   a re   jo b   p ro v id e rs,  p latf o rm s  a n d   d ig it a l  w o rk e r s.  T h e   c y c le  sta rts  w h e n   a   jo b   issu e d   b y   th e   jo b   p ro v id e rs.  T h e n   th e   p latf o r m   a d v e rti se s  it   to   th e   d ig it a l  w o rk e rs   w h o   re g istere d   th e m se lv e s  in   th e   s y ste m .   T h e   d ig it a l  w o rk e r  is  a n   in d iv id u a l  h a v in g   d iff e re n t  s k il ls,   k n o w led g e ,   e x p e rien c e s  a n d   e d u c a ti o n   lev e l.   T h o se   w h o   a re   in tere ste d   a n d   h a s  th e   c a p a b il it ies   to   c o m p lete   it   w il l  p u ll   th e   jo b   b a se d   o n   th e   f irst  c o m e   f irst   se r v e   b a sis.  Ba sic a ll y ,   th e   a i m   o f  th e   p latf o rm   is  to   e n s u re   th a t   th e   tas k s  a re   tak e n   imm e d iate l y   a n d   c o m p lete d   w it h in   a   g iv e n   ti m e   b y   t h e   rig h t  sk il l  o f   th e   d ig i tal  w o rk e r.   Ho we v e r,   th e   p latf o rm   d o e s  n o t   h a v e   a   stru c tu re d   m e c h a n is m   to   c las si fy   th e   t y p e   o f   tas k   th a t  w o u ld   c o n f irm  th e   tas k   m a tch   to   th e   d ig it a l  w o rk e r.   T a sk s  a re   g iv e n   b a se d   o n   d ig it a l  w o rk e r   sk il ls  a n d   k n o w led g e .   A  c o m p re h e n siv e   m e c h a n is m   to   d e f in e   a n d   d e sc rib e   th e   tas k   p ro p e rti e s  is  im p o rtan t.   A p a rt  f ro m   e n a b li n g   th e   d e term in a ti o n   o f   th e   re m u n e ra ti o n   v a lu e ,   it   w il l  a lso   sp e c ify   sk il l  re q u ired   a n d   th e i r  lev e l  o f  c o m p e ten c y .   T o   so lv e   th a t  issu e s,  th is  p a p e r  p re se n t  th e   f lo w  a n d   p r o c e ss   d e v e lo p m e n t  a n d   m e a su re d   th e   r e latio n sh i p s  b e tw e e n   th e   t y p e s  o f  tas k s   a n d   th e   d ig it a l  w o rk e rs  in   a ll u v ial  c h a rt  a p p s  p ro t o ty p e .   7 6 %   o f   re sp o n d e n ts  a g re e d   th a t  th e   a ll u v ial  c h a rt  s h o w s  a   c o m p re h e n siv e   re latio n sh ip .   A s  a   c o n c lu si o n ,   th is  stu d y   d e f i n e d   th e   c o m p re h e n siv e   re latio n sh ip s  a m o n g   th e   v a riab les   w il l  f a c il it a te  a   p latf o r m   to   m a tch   b e tw e e n   d ig it a l  w o r k e rs  to   th e   tas k s.   K ey w o r d s :   C r o w d s o u r cin g   Dig ital  w o r k er   T ask s   P latf o r m   Ass es s m en ts   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Sit i Sal w a  Salleh   Facu lt y   o f   C o m p u ter   an d   Ma t h e m a tical  Scie n ce s ,   Un i v er s iti T ek n o lo g i M A R A   ( UiT M)   Sar aw a k ,   Ko ta  Sa m ar ah a n ,   Ma la y s ia.   E m ail: s s al w a @ t m s k . u it m . ed u . m y       1.   I NT RO D UCT I O N   P eo p le  ar o u n d   th e  w o r ld   h ad   b ee n   ex p o s ed   to   th e   c y b er   w o r ld   w h er e  t h e y   ar e  c u r r en tl y   c o n n ec ted   to   th e  I n ter n et.   Ali g n ed   w i th   t h e   I n ter n et   ev o l u tio n ,   cr o w d s o u r cin g   h a s   b ee n   in tr o d u ce d   b y   J ef f   Ho w e   ( 2 0 0 6 ) .   C r o w d s o u r cin g   is   a  m et h o d   w h er e  th e  j o b   p r o v id er   o f f er s   th e  v o lu n tar y   ta s k   to   t h e  d ig ital  w o r k er   w it h   h a v i n g   d if f er e n t  s k il ls ,   k n o w led g e,   ex p er ien ce s   a n d   ed u ca tio n   le v el  to   s o lv e  a  p r o b le m   a n d   g i v e  t h e  id ea   v ia  a   f le x ib le  o p en   ca ll.   Ma n y   j o b   p r o v id er s   in   t h e   wo r ld   s tar t  to   ap p l y   th e   cr o w d s o u r cin g   as   a  n e w   b u s in e s s   m o d el  w h er e  o r g an izatio n   d ep en d   o n   t h e  p o w er   o f   t h e  d i g ital  w o r k er   to   o b tain   j o b   to   b e  c o m p leted   [ 2 ] .   Ma la y s ia  h as   als o   i m p le m en ted   t h i s   b u s in e s s   m o d el  s in ce   th e  p as t  f e w   y ea r s .   L o ca ll y ,   th er e  ar e  t h r ee   m ai n   co m p o n en ts   t h at  p la y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       A s s es s men t o f Cr o w d s o u r cin g   Ta s k  Mu ltid imen s io n a l R ela tio n s h ip   Mo d el  th r o u g h …   ( N u r h a ya ti Za ka r ia )     379   m aj o r   r o les.  T h ey   ar e  j o b   p r o v id er s ,   p latf o r m s   a n d   d ig ital  w o r k er s .   T h e  j o b   p r o v id er s   ar e  th e  co m p a n ies  o r   in d iv id u al  th at   o u t s o u r ce   t h ei r   task s   to   th e   cr o w d s o u r cin g   p latf o r m .   Me a n w h ile,   p lat f o r m   i s   a   s y s te m   th a t  ad v er tis e  t h e  o u t s o u r ce d   tas k s   to   th e  d i g ital  w o r k er .   T h e  p latf o r m s   ac t  as  a  m o d er ato r   b et w ee n   t h e  j o b   p r o v id er   an d   d ig ital  w o r k er .   Fin all y ,   th e  d i g ital  w o r k er   is   an y o n e  w i th   a n y   k in d   o f   s k ills   w h o   i n ten d   to   p er f o r m   o r   co m p lete  t h e  tas k   [3 - 4 ] .     A cc o r d in g   to   A r o las,  &   G u ev ar a  ( 2 0 1 2 )   an d   A r o las  et  al.   ( 2 0 1 5 ) ,   cr o w d s o u r ci n g   d ef i n iti o n   ca n   b e   d iv id ed   in to   eig h t  ele m e n t s   [ 5 - 6 ] .   Fro m   t h e  eig h t  ele m e n ts ,   th is   s tu d y   f o c u s es  o n   t h e  d ig it al  w o r k er   o r   cr o w d   w h ic h   class if icatio n   co n s is t s   o f   th r ee   ele m en ts :  ( i)   w h o   f o r m s   th e  d ig i tal  w o r k er ,   ( ii)  w h at  th e  d ig ita l  w o r k er   h as  to   d o   an d   ( iii)  w h at  th e   j o b   p r o v id er   g et  in   r etu r n .   T h e  f ir s t  ele m en t  i s   w h o   f o r m s   th e  d i g ital  w o r k er   m ea n s   t h at  t h e  d ig ital  w o r k er   m u s t  h av e   s k ill  a n d   ab ilit y   to   p er f o r m   th e  ta s k .   T h e  s k i ll  an d   ab ilit y   ar e  u s ed   to   d ef in e  t h e  co m p ete n c y   le v el  o f   d ig ita l  w o r k er .   T h e  s ec o n d   ele m e n t is  w h at  t h e  cr o w d   h a s   t o   d o   m ea n s   th a t th e   d ig ital  h as   to   s o l v e  t h e   p r o b le m   b ased   o n   t h e  t y p e  o f   ta s k s .   T h e  t y p e  o f   tas k s   r ef er s   to   a  s i m p le  a n d   co m p le x   task .   T h e  th ir d   ele m en t i s   w h a t th e  j o b   p r o v id er   g ets in   r et u r n   m ea n s   t h at  t h e  j o b   p r o v id er   w il l o b t ain   o u tco m e   v ar iatio n   f r o m   th e  cr o w d   b ase d   o n   th e  t y p e  o f   tas k s .   B ased   o n   th e  ex p la n atio n   ab o v e,   it  ca n   b e  co n clu d ed   th at   th e  co m p ete n c y   le v el  o f   d i g it al  w o r k er s ,   t h e  t y p e  o f   tas k s   an d   th e   o u tco m e  v ar iatio n   ar e  th e  m o s t  i m p o r tan t   p ar t th at  w ill b e  u s ed   i n   th i s   s t u d y   as t h e  d i m e n s io n s .   T h e  r elatio n s h ip   w it h in   ea c h   d i m e n s io n   r ep r ese n tatio n   o f   m u lt i - d i m e n s io n al  s tr u ct u r es.  Mu lti - d i m en s io n al   d escr ib es  d i f f er en t  d i m en s io n s   co n s is t  o f   d i f f er en t  p ar ts   o r   d if f er e n t  p r o ce s s   [ 7 ]   an d   [ 8 ] .   A cc o r d in g   to   S u e  ( 2 0 0 1 ) ,   m u lt id i m e n s io n al  m u s t  h a v e  at   l ea s t  t h r ee   d i m e n s io n s   an d   ea ch   d i m en s io n   h a v e   m an y   ca te g o r ies  th at  ar e  r elate d   to   ea ch   o th er .   T h r o u g h   o u r   th eo r etica l  s tu d y ,   t h i s   d i m e n s io n   also   co m p r is es   o f   m u ltid i m e n s io n al  c h ar ac te r is tic.   I t  co n s is t s   o f   t h r ee   d i m en s io n s ’   ch ar a cter   i n   t h e  t y p e  o f   tas k s   ( s i m p le,   co m p le x ) ,   o u tco m e  v ar iet y   ( h ig h ,   lo w )   a n d   co m p eten c y   le v el  o f   d ig ital  w o r k er   ( k n o w led g e,   co m p r eh e n s io n ,   ap p licatio n ,   an al y s is ,   s y n t h esi s ,   ev al u atio n ) .     B asicall y ,   t h e  ai m   o f   t h e  p lat f o r m   i s   to   en s u r e  t h at  t h e  ta s k s   ar e  ta k e n   i m m ed iatel y   a n d   co m p leted   w it h i n   a  g i v en   ti m e  b y   t h e  r ig h t  s k ill  o f   t h e  d ig ital  w o r k er .   Ho w e v er ,   th e  p latf o r m   d o es  n o t  h av e  a  s tr u ct u r ed   m ec h a n i s m   to   class if y   t h e  t y p e  o f   tas k   t h at  w o u ld   co n f ir m   t h e  tas k   m atc h   to   th e  d i g ital  wo r k er .   T ask   is   g i v e n   b ased   o n   d ig ital   w o r k er   s k il ls   an d   k n o w led g e.   T o   s o lv e  th at  i s s u es,  t h is   s t u d y   d ev elo p   an d   test   th e   r elatio n s h ip s   b et w ee n   th e  t y p es  o f   task s ,   o u tco m e  v ar iatio n   an d   th e  d ig ital  w o r k er s   i n   allu v ial  ch ar t  ap p s   p r o to ty p e.   A n   all u v ial  c h ar t  a p p   h as  b ee n   d ev elo p ed   an d   t ested   to   v is u alize   ea c h   r ela tio n s h ip   b et w ee n   t h e   th r ee   d i m e n s io n s .   B ased   o n   t h e  u n d er s ta n d in g   r elatio n s h ip   o f   ea ch   d i m e n s io n   an d   it  i s   s i g n i f ican t  ev e n t u all y   m i n i m ize  is s u es  r elate d   to   s elec t  th e  d ig ital  w o r k er   to   co m p lete  th e  tas k .   T h is   m a k es  th e  p r o ce s s   o f   th e   p latf o r m   to   s elec t t h e  d ig ita l  wo r k er   w it h   s u itab le  tas k   b ased   o n   co m p eten c y   lev e l b ec o m e  ea s ier .       2.   RE S E ARCH   M E T H O D   T h is   s ec tio n   h ig h li g h ts   f e w  m eth o d s   o f   p r o ce s s   ap p s   p r o to ty p e  an d   ass e s s m e n t  th e  lev el  o f   r esp o n d en t’ s   s ati s f ac tio n   to war d   th e  ap p s   p r o t o ty p e  d ep en d s   o n   h o w   w ell  t h e  v i s u a lizat io n ,   th e  i n ter ac tio n   b et w ee n   t h e  ap p s   an d   t h e  i n f o r m atio n   p r o v id ed   to   p r esen t  th e  r elatio n s h ip s   b et w ee n   t h e  t y p e s   o f   tas k s ,   o u tco m e  v ar ia tio n   a n d   th e  d ig i tal  w o r k er s .       2 . 1 .   F lo w   Appl ica t io n P ro t o t y pe   T h e  ap p s   s tar t   w it h   s p ec if ic   to   cu s to m ize  th e  v i s u aliza ti o n   d iag r a m   b o x .   Sp ec if icati o n s   allo w   r esp o n d en ts   to   s et  w id t h ,   h eig h t  an d   co lo r   o f   th e  u s er   p r ef er r ed .   A f ter   i n s er ti n g   t h e  d ata  s to r e,   th e  co m p u tatio n s   b eg i n .   I t  s tar ts   w it h   t h e  ca lcu la tio n   o f   t h e  n o d e  p ad d in g .   T h is   n o d e  p ad d in g   is   ca lc u lated   b ased   o n   d ata  s to r ed .   T h e  d ata  ar e  t h e  t y p e  o f   tas k s ,   o u tco m e  v ar i atio n ,   co m p ete n c y   le v el  a n d   s ca le  o f   co m p eten c y   lev el.   No d e  p ad d in g   i s   u s ed   t o   d ev elo p   s p ac e  o r   ar ea   ar o u n d   th e  n o d e.   T h e  n o d e  p ad d in g   is   u s ed   to   co n tr o l  an d   s e t  th e  n o d es  at  th e  to p ,   b o tto m ,   le f t  a n d   r ig h t  n o d es.  T h e  p ad d in g   n o d e  h as  t w o   v alu es  o f   p x   an d   %.  T h e   p x   v al u e  d eter m i n ed   th e  le n g t h ,   w h i le  th e  v alu e  o f   % d eter m i n es b y   t h e  w id t h .   T w o   p r o ce s s es   i n v o l v ed   i n   ca lcu lati n g   t h e  n o d e  p ad d in g   w h ic h   it   co m p u tes  th e   n o d e  n ested   p r o p er ties   an d   p o p u late  s o u r ce   an d   tar g et  lin k   f o r   ea ch   n o d e.   T h e  n ested   n o d e  w as  ca lcu lated   to   o b tain   th e  b lo ck   o f   th e  n o d e.   T h e  s ec o n d   p r o ce s s   is   p o p u latin g   s o u r ce   an d   tar g et  lin k   f o r   ea ch   n o d e.   T h e  lin k   is   co n n ec tio n s   b et w ee n   t w o   n o d es  t h at  ar e  co n n ec ted   to   ea ch   o th er .   T h e  s ize  o f   ea ch   li n k   was  m ea s u r ed   b y   t h e   v alu e.   T h e  h e ig h t  o f   th e  li n k   r ep r esen ts   th e  s ize  o f   t h e  d i m en s io n s   th a t  ar e  co n tai n ed   in   th e  t w o   n o d es   co n n ec ted   w i th   t h e  li n k .   Fo r   e ac h   li n k   co n tai n s   tar g et   an d   s o u r ce .   T h e  d ep th s   o f   ea ch   li n k   r ef er   to   t h e  a m o u n t   o f   f lo w   f r o m   s o u r ce   to   tar g et.   T h er e  h av e  th r ee   s tep s   to   m e asu r e  t h e  s ize  o f   ea c h   l in k   f o r   ea ch   n o d e.   T h er e  w er e  co m p u ted   b y   s u m m i n g   t h e  ass o ciatio n   lin k s ,   iter ativ el y   a s s i g n ed   th e  b r ea d th   f o r   ea ch   n o d e  an d   p u s h   an y   o v er la p p i n g   n o d es.  T h e  s ize  o f   ea ch   n o d e   w as  ca lc u lated   ac co r d in g   to   th e  to tal  in co m i n g   lin k ,   n o   in c o m in g   li n k   an d   n o   o u tg o i n g   li n k .   T o   g et  th e  s ize  o f   n o d es,  th e  iter atio n   s tep   w a s   ex ec u ted   to   ass ig n   th e  b r ea d th   f o r   ea ch   n o d e  s o   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l .  1 2 ,   No .   1 ,  Octo b er   201 8   :    3 7 8   –   3 85   380   n o   f u r t h er   d ata  is   co m in g .   No d es   w er e  ass i g n ed   w it h   th e  m ax i m u m   b r ea d th   o f   in co m in g   n eig h b o r s   p lu s   o n e,   n o d es  w it h   n o   i n co m i n g   l in k s   ar e  ass i g n ed   b r ea d th   ze r o ,   wh ile  n o d es  w i th   n o   o u t g o in g   l in k s   w er e   ass ig n ed   th e  m a x i m u m   b r ea d th .   L ast l y ,   p u s h   n o d es  w er e  ex ec u ted   an y   o v er lap p in g   n o d es to   av o id   th e  co llis io n .   Af ter   o b tain i n g   t h e  to tal  s ize  o f   ea ch   lin k   f o r   ea ch   n o d e,   th e  n o d es  r eso r ted   an d   li n k s   i n   ascen d i n g   o r d er   w er e  ar r an g ed .   Fin a ll y ,   th e  allu v ial  c h ar t  to   v is u ali ze   th e  r elatio n s h ip   a m o n g   o f   d im e n s io n s   w er e   d is p la y ed .   R esp o n d en ts   ca n   c h o o s e  o r   ch an g e  th e  o t h er   d i m e n s io n ,   as th e y   li k e  to   v ie w   t h e  clea r er   ch ar t.      2 . 2 .   P ro ce s s   Appl ica t io n P ro t o t y pe   T h e  p r o ce s s   o f   ap p s   p r o to ty p e  s tar t  w h e n   r esp o n d e n t  s elec t  d ata  f r o m   p r o v id ed   d ata  s et  b y   u s in g   a   tex t  b o x   co n tr o l.  T h e  d ata  ca n   b e  en ter ed   m an u all y   b y   co p y   an d   p aste  in   th e   tex t  b o x   p r o v id ed .   R esp o n d e n t   ca n   s p ec if y   th e  p r esen tatio n   o f   ch ar ts   f o r   ch ar t  cu s to m izatio n .   T h e  p u r p o s e  o f   d ata  en tr y   i s   to   s to r e  s elec ted   d ata  th at  w ill  b e  u s ed   to   g e n er ate  th e  al lu v ial  g r ap h .   Af ter   th at,   r esp o n d en t  w i ll  b e  ab le   to   s elec t  th e   d i m en s io n s   t h at   ar e  r elate d   to   th e  o t h er   d i m en s io n s   t h at  h e   o r   s h e   i n ter ested   i n to .   F in al l y ,   t h e  all u v ial  c h ar t  is   g en er ated   a n d   v is u alize d .   All u v ia l  c h ar t  e n ab le  to   p r ese n t   th e   f lo w s   in   o r d er   to   f i n d   o u t  t h e   r elatio n s h ip   b et w ee n   d if f er en t d i m e n s io n s .   I t v is u all y   co n n ec t to   t h e  n u m b er   o f   co m p o n e n t s   th a t a r e  r elate d   in   g r o u p s .   I t is   u s e f u l to   s ee   th e  n u m b er   o f   s c ale  b elo n g i n g   to   t h e  p ar a m eter s   in   ea c h   b lo ck .     2 . 3 .   Str uct ure  f o r  M ea s uring   t he  Q ua lity   o f   Apps   P ro t o t y pe   T h er e  ar e  th r ee   p r o ce s s   ass es s m en ts   i n v o l v ed   d u r in g   t h e  q u alit y   o f   ap p s   p r o to t y p e.   T h is   ass es s m en t   is   co n d u cted   to   m ea s u r e  t h e  q u alit y   o f   u s i n g   ap p   p r o to ty p e  i n   o r d er   to   ass ess   th e  r esp o n d e n t sati s f ac tio n .         Fig u r e  1 .   Stru ct u r e  f o r   Me asu r in g   t h e  Q u alit y   o f   A p p s   P r o to ty p e       B ased   o n   Fig u r e  1 ,   r esp o n d e n ts   u s e  e x is t in g   k n o w led g e  to   m ea s u r e  th e  q u al it y   o f   ap p s   p r o to ty p e.   T h is   r esear ch   w ill  co n ce r n   all  r elate d   asp ec ts   o f   th e  ap p s   p r o to ty p e:  ( i)   v is u aliza tio n ,   ( ii)  i n ter ac tio n   w it h   th e   ap p s   p r o to ty p e,   an d   ( iii)  in f o r m atio n   g i v e n .   R esp o n d e n ts   u s ed   ap p s   p r o to ty p e  to   v i s u aliz e  th e  v is u aliza tio n .   T h e  r esp o n d en ts   ac ce s s   th e  d ata  th r o u g h   th e  d ata  s to r e  co n tain ed   in   th e  ap p   p r o to ty p e.   T h en   ap p s   p r o to ty p e   w il l  d is p la y   th e  v is u aliza t io n   in   th e  f o r m   o f   all u v ial  ch ar t s .   T h e  r esp o n d en ts   n ee d   to   s tu d y   v is u aliza tio n ,   in ter ac t  w it h   th e  ap p s ,   an d   f in all y   g et  s o m e  in f o r m at io n   b as ed   o n   th eir   k n o w led g e.   T h er ef o r e,   th e  s u cc ess   an d   s atis f ac tio n   o f   r esp o n d en ts   u s in g   th i s   ap p s   p r o to ty p e  d ep en d s   o n   h o w   w ell  t h e  v is u aliza t io n ,   th e  i n ter ac tio n   b et w ee n   th e  ap p s   an d   t h e  in f o r m atio n   p r o v id ed .     2 . 4 .   Rela t io ns hip   bet w ee n At t rib ute s   T h e  r elatio n s h ip s   b et w ee n   t h e  attr ib u tes  co r r esp o n d in g   to   th e  th r ee   lev els  o f   as s es s m e n t  ar e   d escr ib ed   in   Fi g u r e  2 .   T h er e  ar e  th r ee   ass e s s m e n ts   t h at  n ee d   r esp o n d en t s   to   a n s w er   ar e:  ( i)   q u alit y   o f   v is u aliza t io n ,   ( ii)  q u alit y   o f   i n t er ac tio n   w ith   t h e  ap p s   p r o to ty p e,   an d   ( iii)  q u alit y   o f   i n f o r m a tio n .   1)   Qu alit y   o f   v is u aliza t io n     Qu alit y   o f   v i s u a lizatio n   is   as s ess ed   to   id en tify   t h e  ca p ab ilit y   o f   th e  v i s u a lizatio n   ap p s   to   tr an s f o r m   th e  in p u t  d ata  an d   m ak e  t h e m   ac ce s s ib le  to   th e  r esp o n d en t.  T h e  is s u es  to   b e  m ea s u r ed   ar e  in itial  s etti n g s ,   d ata  d is p la y   an d   r ep o r tin g   f u n ctio n .     a.   I n itia l  s ettin g   r ef er s   to   th e  r eq u ir e m e n t o f   i n p u t d ata  f o r m at  an d   p ar am e ter   s etti n g   f o r   v is u aliza tio n .   b.   Da ta   d is p la y   r ef er s   to   v is u ali zin g   d ata  s tr u ct u r es,  d ata  v ar iatio n s ,   d ata  co n te n ts ,   d ata  r el atio n s h ip s ,   d ata   d escr ip tio n s ,   d ata  tab u latio n s   an d   d ata  d ec o r atio n .   c.   R ep o r tin g   fu n ctio n a lity   r ep r es en ts   a n   ap p s   p r o to t y p e  f u n cti o n   th at   allo w s   r esp o n d e n ts   to   ass es s   w h eth e r   th e  r esp o n d en t i s   s ati s f ied   w i t h   th e  b en e f i ts   d er iv ed   f r o m   th e  v is u aliza tio n .   2)   Qu alit y   o f   i n ter ac tio n   w i th   ap p s   p r o to ty p e   Qu alit y   o f   i n ter ac tio n   is   a s s es s ed   to   id en tify   w h et h er   th e  u s er   co n s id er s   t h is   ap p   to   b e  ea s y   to   u s e   an d   lear n i n g ,   ac cu r ate,   e f f ec ti v e  an d   e f f icie n t.  T h is   r esear c h   class i f ie s   t h e  attr ib u te   o f   t h e  i n ter ac tio n   in to   f o u r   ca teg o r ies.  T h er e  is   ea s e  o f   u s e,   lear n ab i lit y ,   e f f ic ien c y   an d   ac cu r ac y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       A s s es s men t o f Cr o w d s o u r cin g   Ta s k  Mu ltid imen s io n a l R ela tio n s h ip   Mo d el  th r o u g h …   ( N u r h a ya ti Za ka r ia )     381   a.   E a s e  o f u s e   m ea n s   ap p s   p r o to ty p e  i s   ea s y   to   co n tr o l b y   r esp o n d en t s .   b.   Lea r n in g   a b ilit y   af f ec t s   h o w   r esp o n d en ts   m a s ter   th e  ap p ' s   p r o to ty p e  ea s il y   a n d   q u ic k l y   in   p er f o r m in g   t h e  d esire d   task s .   c.   E fficien cy   m ea s u r es  t h e  ex t en t  to   w h ic h   r esp o n d en ts   f ee l  th at  ap p s   p r o to ty p e  ca n   ass is t  th e m   i n   p er f o r m in g   w o r k   s u c h   as i m p r o v in g   w o r k   p er f o r m a n ce   an d   s h o r t ti m e  n ee d ed   to   g et  a  g r ap h .   d.   A cc u r a cy   in d icate s   th at  t h e s e  ap p s   ar e  f r ee   f r o m   m i s ta k es o r   f ail u r e  o f   ap p s   p r o t o ty p e  w o r k in g .   3)   Qu alit y   o f   i n f o r m atio n   Qu alit y   o f   in f o r m a tio n   i s   as s ess ed   to   id en tify   w h et h er   t h e  u s er s   ar e  s at is f ied   w it h   t h e  o u tp u t   in f o r m atio n   p r o v id ed   b y   t h e   ap p ' s   p r o to ty p e.   T h er e  a r e  th r ee   attr ib u tes  t h at  th e  u s er   n ee d s   to   ev alu ate  in f o r m atio n .   Am o n g   t h ese  attr ib u tes ar e  r ich n es s ,   ac cu r ac y   a n d   clar it y .   a.   R ich n ess   o f   in f o r m a tio n   m ea n s   t h at  t h e   o u tp u t  i n f o r m atio n   p r o v id ed   b y   th e   ap p 's  p r o to t y p e  is   co m p le te,   in ter esti n g ,   n ee d ed   an d   u s e f u l  to   t h e  r esp o n d e n t.  I t  a ls o   m u s t   co r r esp o n d   to   r esp o n d en t s '   r eq u ir e m e n t s   an d   ex p ec tatio n s .   b.   A cc u r a cy   o f   th e  o u tp u t  i n f o r m atio n   p r o v id ed   b y   t h e  ap p s   p r o to ty p e  m u s t  b e  ac cu r a te,   co r r ec t  an d   co n s is ten t  w i th   r esp o n d e n t k n o w led g e.   c.   C la r ity   o f   i n f o r m atio n   m ea n s   th at  t h e  i n f o r m atio n   is   p r esen ted   clea r l y ,   ea s il y   u n d er s to o d   an d   ca n   b e   s h o w   t h e  r elatio n s h ip   b y   t h e  r esp o n d en t.         Fig u r e  3 .   R elatio n s h ip   b et w ee n   A ttrib u te s       3.   RE SU L T S AN D  AN AL Y SI S   I n   o r d er   to   test   th e  s atis f ac ti o n   lev el  o f   r esp o n d en ts   o n   t h e  q u alit y   o f   p r o to t y p e  ap p licatio n s ,   th is   s tu d y   r elies  o n   t h r ee   as s ess m en ts ,   n a m el y   v is u aliza t io n ,   in ter ac tio n   b et w ee n   ap p licat io n   an d   i n f o r m atio n   p r o v id ed .   Fo r   th is   s tu d y ,   t h e  te s t  w as c o n d u cted   b y   1 2   r esp o n d en ts .     3 . 1 .   Q ua lity   o f   Vis ua liza t io n   T o   i d en tify   th e  q u alit y   o f   v is u aliza tio n ,   1 4   q u esti o n s   u n d er   th is   a s p e ct  w er e  ask ed .   T h e  q u esti o n   i s   u tili zi n g   5   L i k er t  s ca le  ( s tr o n g l y   a g r ee ,   ag r ee ,   n eu tr al,   d is ag r ee   an d   s tr o n g l y   d is a g r ee ) .   T h e  d etails  o f   t h e   r esu lt  f r o m   t h e  tes tin g   w er e   r ec o g n ized   ac co r d in g   to   t h e  p er ce n tag e  v al u e  f o r   ea ch   attr ib u te.   F ig u r e  4   illu s tr ates  t h e  id ea   o f   v i s u al iza tio n   q u alit y .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l .  1 2 ,   No .   1 ,  Octo b er   201 8   :    3 7 8   –   3 85   382       Fig u r e  4 .   Qu alit y   o f   Vi s u al izat io n       B ased   o n   Fig u r e  4 ,   th is   s t u d y   f o u n d   th at  7 5 %  o f   r esp o n d en t s   ag r ee d   w it h   th e  w a y   t h e  all u v ial  c h ar t   d is p la y s   i n p u t  d ata  m ee t s   th e  r eq u ir e m en ts   o f   in p u t  d ata  f o r m at.   W h ile  9 2 %  a n d   8 4 %  o f   r esp o n d en ts   a g r ee   w it h   t h e  w a y   s etti n g   th e  p ar am eter s   ( n o d es,  n o d e  s ize,   lab el)   in   th e  allu v ial  ch ar t  ea s y   t o   u s e  an d   ea s y   th e   r esp o n d en t  to   u n d er s tan d .   T h er ef o r e,   th e  in itial  s e tti n g   d o es  n o t  r ev ea l  a n y   p r o b lem s .   O n   th e  d ata  d i s p la y   f ea t u r e,   it  i s   f o u n d   t h at   m o r e  t h an   5 0 %  o f   t h e  r esp o n d e n ts   s t ated   th at   th e   d ata  d is p la y   h as   a  g o o d   d escr ip tio n ,   lab els  an d   d esi g n .   Mo r e  t h an   5 8 %  o f   th e  r esp o n d e n t  ag r ee   t h at  t h e  d ata  o n   d is p la y   h ad   a  r elatio n s h ip   b et w ee n   d i m en s io n s .   8 0 %  o f   t h e  r es p o n d en ts   s u p p o r t  t h at  t h e  s i ze   allu v ial   ch ar t   u s ed   is   s u i tab le.   On   r ep o r tin g   f u n ctio n alit y ,   m o s t  r esp o n d e n ts   ag r ee   a n d   s ati s f ied   w it h   t h e   d ata  d is p la y   a n d   p ar a m eter s   u s ed   i n   t h e  all u v ial  ch ar t.   T o   k n o w   th e  e x te n t  o f   t h e  d e s ig n   f ea t u r es  p r ese n ted   i n   t h e   allu v ial   ch ar t,  t h i s   s tu d y   p r es en ts   s o m e   q u esti o n s   ab o u t  t h e  p r o p er ties   o f   t h e  all u v ial  c h ar t.  T h er e  ar e  t w o   as s es s m en t s   r elate d   to   allu v ia l  ch ar t   p r o p er ties : ( i)   h elp f u l a n d   ( ii)  ad eq u ate.   T h e  an s w er s   ar e  s tat ed   in   T ab le  1   an d   T ab le  2 .       T ab le  1 .   A s s es s m en t o f   th e  Al lu v ial  C h ar t P r o p er ties   ( Help f u l)     H e l p f u l   ( %)   S t r o n g l y   A g r e e   A g r e e   N e u t r a l   D i sag r e e   S t r o n g l y   A g r e e     C o l o r s   0   66   34   0   0   N o d e s   24   76   0   0   0   L i n k   0   74   26   0   0   N o d e   S i z e   34   58   8   0   0   D a t a   L a b e l s   42   58   0   0   0       B ased   o n   T ab le  1 ,   d ata  lab els  h av e   t h e  h ig h es t  r ea d in g s   w it h   4 2 %  o f   t h e  r esp o n d e n t  s tr o n g l y   a g r ee d   an d   5 8 %  r esp o n d en t  ag r ee .   D ata  lab el  w il l  p r o v id e  f ac ilit ie s   an d   h elp   t h e  r esp o n d en t  to   r ea d   th e  d ata.   Oth er   th an   t h at,   t h e  n o d e  s ize   h a s   t h e  s ec o n d   h ig h es t  a f ter   t h e  d ata  lab el.   T h e  n o d e  s ize  ca n   m ak e   ea s ier   f o r   t h e   r esp o n d en t  to   k n o w   t h e  a m o u n t  o f   d ata.   T h is   is   f o llo w ed   b y   th e  n o d e  an d   lin k s .   W h ile  t h e  co lo r   s h o w s   th e   lo w es t r ea d in g s   a m o n g   t h e  f iv e  asp ec ts .                             Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       A s s es s men t o f Cr o w d s o u r cin g   Ta s k  Mu ltid imen s io n a l R ela tio n s h ip   Mo d el  th r o u g h …   ( N u r h a ya ti Za ka r ia )     383   T ab le  2 .   A s s es s m en t o f   th e  Al lu v ial  C h ar t P r o p er ties   ( A d eq u ate)     A d e q u a t e   ( %)   S t r o n g l y   A g r e e   A g r e e   N e u t r a l   D i sag r e e   S t r o n g l y   A g r e e     C o l o r s   0   76   24   0   0   N o d e s   8   84   8   0   0   L i n k   16   50   34   0   0   N o d e   S i z e   24   68   8   0   0   D a t a   L a b e l s   34   66   0   0   0       B ased   o n   T a b le  2 ,   th e  d ata  lab els  h av e  th e  h i g h e s t  r ea d in g   w it h   3 4 %  o f   t h e  r esp o n d en t  s tr o n g l y   ag r ee d   an d   5 8 %  r esp o n d en t  ag r ee   ab o u t  d ata  lab el.   R esp o n d en ts   s ati s f ied   w it h   d ata  lab els  b ec au s e  th e  lab els   to   in d icate   th e   d ata  is   s u f f icie n t.  T h ir d   h i g h est   is   n o d e  a n d   is   f o llo w ed   b y   a   li n k .   W h ile   t h e  co lo r   s h o w s   th e   lo w es t r ea d in g s   a m o n g   t h e  f iv e  asp ec ts   o f   th is .     3 . 2 .   Q ua lity   o f   I nt er a ct io n w it h t he  Apps   P ro t o t y pe   T o   m ea s u r e  th e  q u alit y   o f   t h e  i n ter ac tio n ,   ei g h t  q u e s tio n s   w er e  a s k ed   to   t h e  r esp o n d en ts .   T h e  an s w er s   f r o m   r esp o n d e n ts   h av e  b ee n   d is p la y ed   in   Fi g u r e  5 .           Fig u r e  5 .   Qu alit y   o f   I n ter ac tio n       Fig u r e  5   p r esen t s   r esp o n d en ts '   o p in io n s   an d   atti tu d es   ab o u t   q u alit y   o f   in ter ac t io n .   Mo s t  r esp o n d en t   ea s il y   u s in g   t h ese  ap p s   an d   q u ick l y   lear n   h o w   to   u s e  t h e  a p p s .   5 0 %  r esp o n d en ts   ar e  s ati s f ied   w it h   t h e  ti m e  r eq u ir ed   to   o b tain   th e  allu v ia l   ch ar t.  W h ile  4 2 %  o f   r esp o n d en ts   ar e  s tr o n g l y   ag r ee   th a t  to   d is p lay   an   all u v ial  ch ar t  in   a n   ap p licatio n   p r o to t y p e  h as  m i n i m al  s tep s .   Mo s t  r esp o n d en ts   ag r ee   t h at  t h e  ap p s   p r o t o ty p e  i s   ac cu r ate.   R esp o n d en t s   ar e  s ati s f ied   w it h   th e  o v er all  q u al it y   o f   in ter ac tio n   a g ai n s t  t h e  ap p 's  p r o to ty p e  b ec au s e  ev er y   ti m e   a  r esp o n d e n t  i n ter ac ts   w it h   th e  ap p ’ s   p r o to t y p e,   th e  u s er   w an ts   t h e  p r o ce s s   to   b e  ea s y ,   ac cu r ate ,   ef f ec tiv e  a n d   ef f icie n t.     3 . 3 .   Q ua lity   o f   I nfo r m a t io n   T o   m ea s u r e  th e  q u alit y   o f   t h e  i n ter ac tio n ,   ei g h t  q u e s tio n s   w er e  a s k ed   to   t h e  r esp o n d en ts .   T h e  an s w er s   f r o m   r esp o n d e n ts   h av e  b ee n   d is p la y ed   in   Fi g u r e  5 .             Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l .  1 2 ,   No .   1 ,  Octo b er   201 8   :    3 7 8   –   3 85   384       Fig u r e  6 .   Qu alit y   o f   I n f o r m at i o n       Fig u r e  5   s h o w s   t h at   in f o r m a t io n   o b tain ed   f r o m   ap p s   p r o to t y p e  i s   v er y   h elp f u l  a n d   u s e f u l  i n   d ata  an al y s is .   T h e  o u tp u t  in f o r m a tio n   r ec eiv ed   b y   t h e  r esp o n d en t  m u s t  b e  co m p lete   a n d   in ter esti n g   s o   th a t   r esp o n d en ts   ca n   u n d er s tan d   t h e  o u tp u t  g i v en .   B ased   o n   th is   s tate m e n t,  r esp o n d en ts   a g r ee d   w it h   th e  o u tp u t   in f o r m atio n   p r o v id ed   b y   ap p s   p r o to ty p e  ar e  co m p lete   ( 7 6 %),   u s e f u l   ( 5 8 %)  an d   i n ter esti n g   ( 6 6 %).   Ho w e v er ,   r esp o n d en ts   ar e  n o t  q u ite  s u r e  ab o u t  th e  ac cu r ac y   o f   th e  o u tp u t  in f o r m a tio n   ( 4 2 %)  w e r e  p r o v id ed   b y   th e   p r o to ty p e  o f   th is   ap p licatio n .   7 6 %  o f   r esp o n d en ts   ag r ee d   th at  th e  allu v ial  c h ar t  s h o ws  a  co m p r eh e n s i v e   r elatio n s h ip .   T h e  q u alit y   in f o r m atio n   d eliv er s   o v er all   s ati s f a ctio n   to   t h e  r e s p o n d en t  in   d eter m in in g   t h e  o u tp u t   in f o r m atio n   p r o v id ed .       4.   CO NCLU SI O N   T h e  p u r p o s e  o f   th is   p ap er   is   to   d ev elo p ,   test   an d   m ea s u r e  t h e   r elatio n s h ip s   b et w ee n   t h e  t y p es o f   tas k s   an d   th e  d i g ital  w o r k er s   i n   all u v ia l  ch ar t  ap p s   p r o to t y p e.   B ased   o n   th e  c u r r en t   liter at u r e,   th is   s t u d y   id en ti f ied   th r ee   d i m en s io n s   th at  ar e  r elate d   to   ea ch   o th er ’ s .   T h e  d im en s io n s   co n s i s t  o f   t y p e  o f   task s   ( s i m p le  an d   co m p le x ) ,   o u tco m e  v ar iatio n   ( h i g h   a n d   lo w ) ,   an d   co m p e ten c y   lev e l  o f   d ig ital  w o r k er   ( k n o w led g e,   co m p r e h en s io n ,   ap p licat io n ,   an al y s is ,   s y n th e s is   an d   e v al u atio n ) .   T h e  m ea s u r e m e n t  co n s is t s   o f   t h r ee   m ain   asp ec ts   w h ich   ar e  v i s u al izatio n ,   in ter ac tio n   w i th   th e  ap p ' s   p r o to ty p e  a n d   in f o r m a tio n .   B ase d   o n   th e  r es u lt  a n d   f i n d in g ,   t h is   s t u d y   f o u n d   t h a t  7 6 %  o f   r esp o n d e n ts   ag r ee d   th at   th e   all u v ia l  c h ar t  s h o ws  a  co m p r e h en s i v e  r elatio n s h ip   b et w ee n   th e  t y p e s   o f   task s   an d   th e  d ig ita l  w o r k er s .   Ma j o r ity   o f   th e  r esp o n d en t  is   s atis f ac tio n   to w ar d   th e  ap p   p r o to ty p e  in   t er m   o f   th r ee   asp ec ts .   A s   a  co n clu s io n ,   th i s   s t u d y   d ef i n ed   th e  co m p r eh e n s i v e   r ela tio n s h ip s   a m o n g   t h e  d i m e n s io n s .   T h ese  w i ll  f ac ili tate  a  p latf o r m   to   m atc h   b et w ee n   d ig ital  w o r k er s   to   th e   task s   a n d   th e   u n d er s ta n d in g   o n   r elatio n s h ip s   o f   ea ch   d i m en s io n   a n d   its   s i g n if ican ce   e v en t u all y   m i n i m iz e   p r o ce s s   r elate d   to   th e  s elec tio n   th r o u g h   c h ar ac ter is tic  a n d   s k i lls   o f   t h e  d ig ital  w o r k er s .       ACK NO WL E D G E M E NT   T h e  au th o r s   w o u ld   li k e  to   th an k   to   R e s ea r ch   Ma n ag e m e n t   I n s tit u te,   Un iv er s iti  T ek n o lo g i  M AR A ,   Ma la y s ia  f o r   th e  r esear c h   f u n d in g   s u p p o r t  u n d er   L E ST A R I   Gr an t  w it h   r ef er en ce   n u m b er   6 0 0 - I R MI /DAN A  5 /3 /L E ST A R I   ( 0 1 3 6 /2 0 1 6 ) .               Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       A s s es s men t o f Cr o w d s o u r cin g   Ta s k  Mu ltid imen s io n a l R ela tio n s h ip   Mo d el  th r o u g h …   ( N u r h a ya ti Za ka r ia )     385   RE F E R E NC E S   [1 ]   Ho w e   J.  T h e   rise   o f   c ro w d so u rc in g ,   in   wire d   m a g a zin e ,  D o rs e y   Pre ss .   2 0 0 6 .   1 4 (6 ):   1 - 4.   [2 ]   Zak a riah   Z,   Ja n o m   N,  A rsh a d   N.  “ Cro w d so u rc in g   t o   Up l if t  th e   L if e st y l e   o f   L o w   In c o m e   Co m m u n it y ” .   Ad v a n c e d   S c ien c e   L e tt e rs .   2 0 1 6 .   2 2 (5 - 6 ):  1 6 5 8 - 1 6 6 1 .   [3 ]   S a ll e h   S   S ,   A rsh a d   N  H,  M a stu k i  N,  A ris,   S   R   S ,   &   Ja n o m   N.  “ F o rm u latin g   c o h e siv e   d ig it a l  e c o s y ste m   o f   m i c ro   so u rc in g   b u sin e ss   p ro c e ss   in   M a la y sia ” .   In   S c ien c e   a n d   In fo rm a ti o n   Co n fer e n c e   ( S AI) ,   2 0 1 3 .   3 2 1 - 3 2 7 .   [4 ]   Zak a riah   Z,   Ja n o m   N,  &   A rsh a d   N  H.  (2 0 1 5 ,   A u g u st).   “ Bu si n e ss   m o d e l  o f   c ro w d so u rc in g ” .   In   IEE E  6 th   C o n tro l  a n d   S y ste m Gra d u a te R e se a rc h   Co ll o q u i u m ( ICS GRC) .   2 0 1 5 .   6 6 - 6 9 .   [5 ]   Estellés - A ro las ,   E. ,   &   G o n z á lez - L a d ró n - De - G u e v a ra ,   F .   “ T o w a rd s  a n   in teg ra ted   c ro w d so u rc in g   d e f in it io n ” .  J o u rn a l   o f  In fo rm a t io n   S c ien c e .   2 0 1 2 .   3 8 ( 2 ):  1 8 9 - 2 0 0 .   [6 ]   Estellés - A ro las   E,   N a v a rro - G in e r   R,   &   G o n z á lez - L a d ró n - de - G u e v a ra .   “ Cro w d so u rc in g   f u n d a m e n tals:  d e f in it io n   a n d   ty p o lo g y ” .  In   Ad v a n c e s in   c ro w d so u rc in g .   2 0 1 5 .   3 3 - 4 8 .   [7 ]   He y li g h e n   F .   “ W h a t  is  c o m p lex it y ?   P rin c i p ia Cy b e rn e ti c a   W e b ” .   1 9 9 6 ,   h tt p : // p e sp m c 1 . v u b . a c . b e /co m p lex i. h t m l.   [8 ]   A h m a d   A . ,   Yu so f .   R.   a n d   M it su k u ra .   Y.  (2 0 1 5 ) .   “ P h e ro m o n e - Ba se d   Ko h o n e n   S e lf - Org a n izin g   M a p   (P KSOM )  i n   Clu ste rin g   o f   T ro p ica l  W o o d   S p e c ies :  P e rf o rm a n c e   a n d   S c a lab il it y ” .  Pro c e e d in g s  o f  t h e   1 0 t h   Asia n   Co n tro l   Co n fer e n c e   2 0 1 5   ( AS CC 2 0 1 5 ) .   [9 ]   Ko ta Kin a b a l u ,   3 1 st  M a y   -   3 rd   Ju n e   2 0 1 5 .   [1 0 ]   S u e   D W .   “ M u lt id im e n sio n a l  f a c e ts  o f   c u lt u ra l  c o m p e ten c e ” .  T h e   C o u n se li n g   Psy c h o l o g ist ,   2 0 0 1 .   2 9 ( 6 ):  7 9 0 - 8 2 1 .   [1 1 ]   “ S tatisti c ian :  jo b   d e sc rip t io n ” .   Re tri e v e d   f ro m   h tt p s:// targ e tj o b s.co . u k /ca re e rs - a d v ice /j o b - d e sc rip ti o n s/2 7 9 1 0 7 - sta ti sticia n - jo b - d e sc rip ti o n   [1 2 ]   Kru e g e r  R  A .   “ F o c u s g ro u p s: A   p ra c ti c a l  g u id e   f o r  a p p li e d   re se a rc h   5 th   Ed i ti o n ” .  S a g e   p u b li c a ti o n s .   ( 2 0 1 4 ).   3 1 - 3 2 .   [1 3 ]   S tew a rt  D  W ,   &   S h a m d a sa n i  P   N.  “ F o c u s  g ro u p s:  T h e o ry   a n d   p r a c ti c e   3 rd   Ed it io n ” .   ( V o l.   2 0 ).   S a g e   p u b li c a ti o n s .  2 0 1 4 .   6 4 .   [1 4 ]   Ka m a ru d d in ,   Ka m a li a   A z m a   a n d   M d N o o r,   No rL a il a ,   " Cit ize n - c e n tri c   De m a n d   M o d e l  f o r  T ra n s f o r m a ti o n a l  G o v e rn m e n t  S y ste m s"   (2 0 1 7 ).   P A CIS   2 0 1 7   P ro c e e d i n g s.  1 3 9 .   [1 5 ]   Du d o v sk iy   J.  “ A p p le Co rp o ra te   S o c ial  Re sp o n si b il i ty   (CS R) ” ,  Res e a rc h   M e th o d o l o g y .   2 0 1 5   [1 6 ]   Ko k e m u ll e r  Ne il .   “ T h e   F o c u s  G ro u p   Re se a rc h   M e th o d .   2 0 1 8 ” .  S ma ll   Bu si n e ss   -   Ch ro n . c o m .   Re tri e v e d   f ro m   h tt p : // sm a ll b u sin e ss . c h ro n . c o m /f o c u s - g ro u p - re se a rc h - m e th o d - 1 7 4 6 4 . h tm l   [1 7 ]   T h e n   K  L ,   Ra n k in   J  A   &   A li   E.  “ F o c u s  g ro u p   re se a rc h :  W h a t  is  i t  a n d   h o w   c a n   it   b e   u se d ? ”.   Ca n a d i a n   J o u r n a l   o f   Ca rd io v a sc u la r N u rs in g .   2 0 1 4 .   2 4 (1 ).   1 6 - 2 2 .   [1 8 ]   Cro ss m a n   &   As h le y .   “ Ho w  to   Us e   F o c u s  G ro u p s  i n   M a rk e ti n g   Re se a r c h ? ” .   2 0 1 8 .   Re tri e v e d   f ro m   h tt p s:/ /www . th o u g h tco . c o m /u se - fo c u s - g ro u p s - in - re se a rc h - 3 0 2 6 5 3 3   [1 9 ]   G re g   G u e st,  Em il y   Na m e y ,   a n d   Ke v in   M c Ke n n a .   “ Ho w   M a n y   F o c u s  G ro u p s   A re   En o u g h ?   Bu il d in g   a n   Ev i d e n c e   Ba se   f o r  No n p ro b a b il it y   S a m p le  S ize s ” .  S a g e   p u b li c a ti o n s .   2 0 1 6 .   2 9 ( 1 ):  3   –   22   Evaluation Warning : The document was created with Spire.PDF for Python.