I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   19 ,   N o .   1 J ul y   20 20 ,   pp .   4 35 ~ 44 1   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 9 .i 1 . pp 4 35 - 44 1             435       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   M u l t i - p e r sp e c t i v e s c r o w d s o u r c i n g   e c o s y st e m   i n   M a l a y s i a       N o r jan s al i k Jan o m 1 ,   R a ja  N u r u l   A z h an i 2 ,   S yar i p ah   R u z ai n i   S y e d   A r i s 3   N o r   S h ah n i z K am al   B as h ah 4 ,   N o o r   H ab i b ah   A r s h ad 5 M u h amm ad   H ak i m   N ad i r 6   1 , 2 , 3 , 4 , 5 F a c ul t y   of   C o m put e r   a n M a t he m a t i c a l   S c i e nc e s ,   U n i v e r s i t i   T e kno l o g i   M a r a ,   M a l a y s i a   6 J o us ka   E n t e r p r i s e ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e N ov   22,   201 9   R e v i s e J a n   17,   202 0   A c c e pt e F e b   4,   2020       C r o w ds o ur c i ng   ha s   be e k no w a s   de v e l o pi ng   i nd us t r y   t ha t   a bl e   t o   be   us e d   a s   a   pl a t f o r m   t o   g e t   m o r e   i nc o m e   a nd  p r o v i de   o ppo r t un i t y   f o r   bu s i n e s e s   t c o nduc t   t he i r   o pe r a t i o i m o r e   i nno v a t i v e   w a y s .   C r o w ds o ur c i ng   h a s   b e c o m e   a e f f e c t i v e   w a y   f o r   t he   c o m pa ni e s   t o   o f f e r   w o r o ppo r t uni t y   f o r   c r o w d   o ut s i d e   o r g a ni z a t i o t o   a p pl y   t he i r   a bi l i t i e s   a nd   s k i l l s ,   a nd  r e c e i v e   m o r e   m o ne y .   U nde r   t he   M a l a y s i a g ov e r nm e nt   i ni t i a t i v e s   c a l l e D i g i t a l   e c o n o m y ,   v a r i o us   c r o w ds o ur c i ng   e f f o r t s   a nd  pr o g r a m s   ha v e   be e i n t r o duc e t o   c a t c up   w i t h   t h e   g l o ba l   de v e l o pm e nt .   T h e   e c o s y s t e m   o f   c r ow ds o ur c i ng   w hi c c o ns i s t s   o f   j o pr ov i de r ,   p l a t f o r m ,   m i c r o   w o r ke r   a nd  i n dus t r y   i s   c o ns i de r e d   s t i l l   i a   f o r m a t i v e   s t a g e .   T hus ,   t he   i nt e g r a t i o o f   a l l   t h e s e   c o m po n e nt s   i s   no t   f ul l y   di s c ov e r e a nd  und e r s t o o y e t   w hi c h,   c a c a us e   c o nf us i o a m o ng  t he   cr o w ds o ur c i ng   i ndus t r y   pl a y e r s .   I o r de r   t o   und e r s t a nd  t he   c o m pl e i nt e g r a t i o o f   m ul t i   pe r s pe c t i v e   m i c r o   s o ur c i ng   e c o s y s t e m ,   t h e   c om po ne nt s   a nd  i t s   s i g ni f i c a nc e   pr i o r i t y   l e v e l   ne e t o   be   i de nt i f i e d.   I t hi s   s t u dy ,     t he   c o m po ne nt s   t h a t   i nv o l v e i c r o w ds o ur c i ng   e c o s y s t e m   w e r e   i de n t i f i e d   a nd  r a nk e u s i ng   a na l y t i c a l   hi e r a r c hy   pr oc e s s   ( A H P )   m e t ho d.   T he   r e s u l t s   c a be   l a t e r   us e by   c r o w ds o ur c i ng   i ndu s t r y   pl a y e r s   t o   pl a n   m o r e   pr o pe r   c r o w s o ur c i ng   s t r a t e g i c   d e v e l o pm e n t   i n   M a l a y s i a   Ke y w or ds :   A na l y t i c a l   hi e ra r c h y   pr o c e s s   Cr o w ds o ur c i n g   E c o s y s t e m   M ul t i - pe r s pe c t i v e s   W e i gh t a ge   C opy r i gh t   ©   20 20   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   N o r j a n s a l i ka   J a n o m ,   F a c ul t y   of   Co m put e r   a n d   M a t h e m a t i c a l   S c i e n c e s ,   U n i v e r s i t i   T e kn o l o gi   M A R A ,     S ha h   A l a m ,   S e l a n go r ,   M a l a y s i a .   E m a i l :   n o r j a n@ f s km . e du. m y       1.   I N TR O D U C TI O N     Cr o w ds o ur c i n ha s   b e e n   kn o w n   a s   n e w   w a y   fo r   t h e   c o m pa n i e s   t o   pr o v i de   o pp o r t u n i t y   fo r   pe o pl e   o ut s i de   t h e   o r g a n i z a t i o n   t o   a ppl y   t h e i r   e xpe rt i s e   a n us e   t h e i r   t i m e   w i s e l y   by   e a rn   m o r e   i n c o m e   t hr o ug h   c r o w ds o ur c i n p l a t f o r m   [1] .   C r o w ds o ur c i ng  t a ke s   pl a c e s   f r o m   t h e   b u y e r   of  s m a l l   s o ur c e   pr o j e c t   o r   pa r t i a l   t a s f r o m   a   s p r e a a n s pl i t   g l o b a l   w o r kf o r c e   o f   s m a l l   p r o v i de r .   U s ua l l y ,   c r o w ds o ur c i ng  i n v o l v e   b i t a s w h i c i s   b r o ke n   do w n   i nt o   m i c r o   t a s ks   [ 1,   2].   T hr o ugh  c row ds o ur c i n p l a t f o r m   a n d   i t s   i nt e l l i ge nt   e n g i n e ,     t h e   t a s w i l l   b e   di s t ri b ut e t o   t h e   r e gi s t e r e c r o w w o r ke rs   fo r   t h e m   t o   c o m pl e t e   t h e   t a s ks   t hr o ug h   t h e i pr o b l e m   s o l v i n s k i l l s ,   e xpe r t i s e   o r   i nn o v a t e   i de a s .   T h e   a dv a nt a ge   o f   c r o w s o ur c i n i s   us a b l e   f o r   t h e   pe r s o n s   o n   t h e   i nt e rn e t   t hr o ug o pe c a l l   w hi c a n y bo d y   i n   t h e   n e t w o r c a j o i n.     Int e rna t i o na l l y ,   c r ow ds o ur c i n g   i n dus t r y   r e c o r de ra pi d   e c o n o m i c   gr o w t h   i n   t h e   r e c e n t   y e a r s .   A c c o r di n t o   [3]  i n   201 1,   t h e   i ndus t r y   h a v e   gr ow n   e xpo n e nt i a l l y   t o   291. m i l l i o n   c o m pa r e t o   o n l y   400, 000  i n   2008 .   I n   2010 ,   t h e   t o t a l   r e v e n ue   of   c r ow ds o ur c i ng  i n d us t r y ’s   a l s o   h a s   a pp r o xi m a t e l y   gr e w   t 52. 6%.     T h e   gr e w   c o n t i n ua l l y   a c c e l e r a t e f urt h e r   by   7%  i n   2011  [ 3].   T h e   i n t e rn a t i o n a l   m a n a ge m e nt   t e a m   h a s   de c a de s   of   e xpe r i e n c e   i n   t h e   c r o w s o ur c i ng.   F u rt h e r m o r e ,   N o r t A m e ri c a   a nd  E u r o pe   w e r e   kn o w n   a s   t h e   l a r ge s t   j ob  pr o v i de r s   i n   t h e   g l o b a l   c r o w ds o ur c i n g   i n d us t r y   w h i c h   c o l l e c t i v e l y   o ffe r e 90%   o f   c r ow ds o ur c i n g   j ob   [3].     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     4 3 5   -   44 1   436   In   M a l a y s i a ,   c r o w ds o ur c i n h a s   b e e n   r e c o gn i z e a s   n e w   i ndus t r y   t h a t   a b l e   t o   upl i f t   t h e   a nd  b r i ng  s i g n i f i c a n t   b e n e f i t s   t b us i n e s s   a n pe o pl e   i n   ge n e ra l .   E v e n t h o ug h   t h e   c r o w ds o ur c i n p h e n o m e n o n   i s   c o n s i de r e a s   f a i l y   n e w   a n s t i l l   a t   i n f a n c y   s t a ge ,   t h e r e   i s   po s i t i v e   pr e di c t i o n s   a n i n d i c a t i o n s   o f   i t s   de ve l o pm e n t .   U n de r   i n i t i v e s   by   g o ve r nm e n t   l i n c o m pa n y ,   M a l a y s i a   D i gi t a l   E o c o m y   C o r po r a t i o n   (M D E C ),   v a r i o us   c r o w ds o ur c i n e f fo r t s   a nd  pr o g r a m s   h a v e   b e e n   pl a nn e a n i m pl e m e n t e d .   e Re z e ki ,   w a s   o n e   o   t h e   pr o gra m s   w h i c h   i nt e n de de t o   pr o v i de   a l t e rna t i v e   o n l i n e   c h a nn e l   f o r   pe o pl e   t o   g e n e ra t e   i n c o m e   b y   w o r ki n a s   c r o w w o r ke r   [3] .   T h e   p r o j e c t   t a r ge t e a l l   l e v e l s   of   s o c i e t y   e s pe c i a l l y   t h e   po o r   o r   u n de r   p ri v i l l ge d   c o m m uni t y .   T h e   e R E Z E K pl a t f o r m   ha s   b e e n   l a u n c h e by   t he   M a l a y s i a go v e r nm e n t   t ha t   e na b l e s   t h e   c r o w ds   i n   M a l a y s i a   t o   i n v o l ve   i n   c r o w ds o ur c i ng.   W i t h   t h e   l a u n c h i ng  o f   e R E Z E K i t   w a s   b e l i e v e t h a t   t h e   p r o j e c t   be   a b l e   t o   e n c o ura ge   m o r e   M a l a y s i a n s   t o   pa rt i c i pa t e   i c r o w ds our c i ng.   H ow e ve r ,   i o r de r   t o   s uc c e s s ,   c r o w ds o ur c i ng  i ni t i a t i v e s   n e e t o   c a r e f ul l y   pl a n.   C r o w ds o ur c i n g   e c o s y s t e m   i n v o l v e s   h i g h   de g r e e s   o f   di ff i c ul t y   a n c o m pl e xi t y   of   m ul t i pl e   r e l a t i o n s h i ps   a n d   i nt e ra c t i o n s   b e t w e e n   o r ga ni z a t i o n s ,   pl a t f o r m   p r o v i de r s ,   c r o w w o r ke r s   a n go v e r nm e n t   [2 ,   4] .   T h e s e   c o m po n e nt s   h a v e   t h e i r   o w n   r o l e s ,   p r i n c i p l e s ,   c o n c e pt s ,   v a l ue s   a nd  p ra c t i c e s .   T h us ,   e xt e n s i v e   s t udi e s   of   m ul t i - pe r s pe c t i v e s   of  c r o w ds o ur c i n g   e c o s y s t e m   c o m po n e nt s   a r e   c ri t i c a l l y   n e e de d.   T h e   i de n t i f i c a t i o o f   m ul t i   pe r s pe c t i v e s   c r o w ds o ur c i n g   e c o s y s t e m ,   t h e   c o m po n e n t s   a n d   i t s   s i gni f i c a n c e   pri o r i t y   l e v e l   t hr o ug h   A na l y t i c a l   H i e r a r a c h i c a l   P r o c e s s i n (A H P m e t h o c a n   h e l t o   de ve l o f ur t h e r   u n de r s t a n d i n o n   h o w   c r ow ds o ur c i ng  r e a l l y   w o r k,   h o w   i t   c r e a t e   v a l ue   a n d   h o w   t o   pr i o r i t i z e .         2.   R ES EA R C H   B A C K G R O U N D   Cr o w ds o ur c i n ha s   b e c o m e   a   n e w   s o c i e t y   pa ra di g m   t h a t   m i ght   c h a n ge   t h e   o ut s o ur c i n l a n ds c a pe   i t h e   f ut ur e   [2] .   C r o w ds o ur c i n ha s   b e e n   a r gue a s   t h e   b i gge s t   pa r a d i gm   s hi f t   i n   i nn o v a t i o n   s i n c e   t h e   In d us t r i a l   R e vo l ut i o n   [4] .   A c c o r di n g   t o   A r s h a d   e t   a l   [ 5],   i o r de r   t o   e n s u r e   t h e   e f f e c t i v e n e s s   o f   t h e   m i c r o   s o ur c i ng  p r o j e c t s   i n   M a l a y s i a ,   i t   i s   r e qui r e a   c o m pl e t e   e c o s ys t e m   t ha t   w i l l   a l l o w   t h e   c o m po n e n t s   t o   l i n w i t o n e   a n o t h e r.   I c r o w ds o ur c i n g ,   t h e r e   a r e   c urr e nt l y   t hr e e   m a i n   c o m po n e nt s   o f   e c o s y s t e m   w h i c h   a r e   j o pr o v i de r ,   pl a t f o r m   a nd  c r o w w o r ke r .   B a s e o n   H a s s a n   e t   a l   [6] ,   j o b   pr ov i de r   w i l l   o ut s o ur c e   t h e   t a s ks   t o   m i c r o   s o ur c i n p l a t f o r m .   J o b   pr o v i de r   i s   t h e   pe r s o t ha t   r e s po n s i b l e   t o   pr o v i de   t h e   t a s ks .   T h e   e xa m pl e s   o f   j ob  pr o v i de r   a r e   t h e   o r ga n i z a t i o n   f r o m   pub l i c   s e c t o r ,   S m a l l   M e di um   E nt e r p ri s e   (S M E ),   I n t e rn a t i o n a l   a n t h e   l i s t e c o m pa n y .   T h e y   w i l l   b e   o r de r e t o   do  t h e   t a s ks   a nd  s e nd  t o   t h e   pl a t f o r m   t o   do   t h e   n e xt   s t e f o r   t h e   t a s k .   P l a t f o r m   i s   a   v e r y   i m p o r t a nt   c o m po n e nt   i n   m i c r o   s o ur c i n g   e c o s y s t e m   t o   m a ke   a   c o n n e c t i o n   b e t w e e n   j ob  pr o v i de r   a n m i c r o   w o r ke r   [4] .   C r o w ds o ur c i ng  pr o v i de s   a   pl a t f o r m   f o r   n e w   e l e m e n t   t o   fo r m   pe r f e c t   c o n n e c t i o n s   (e xe r c i s i ng  a u t o n o m y   a n c r e a t i v i t y ).   O v e r   t h e   p a s t   de c a de ,   m a n y   pl a t f o r m s   ha v e   be e n   de ve l o pe d   by   m a n y   c o m pa n i e s .   I n   M a l a y s i a ,   c urr e n t l y   t h e r e   a r e   o n l y   fo ur   c r o w ds o ur c i n pl a t f o r m s   o pe r a t e d   by   fo ur   di f f e r e n t   c o m pa ni e s   w h i c h   a r e   H um a n   Ca p i t a l   Co nn e c t i o n   S d n.   B h d,   M ul t i m e di a   S y n e r gy   Co r po r a t i o n   S d n .   B hd,   Ik ra r   P o t e n s i   S d n.   B h a nd  a l s o   P e r n e c   Co r po r a t i o n   B e r ha d .   E v e n   t h o ug h   M a l a y s i a   ha s   i t s   o w n   pl a t f o r m   b ut   t h e   f un c t i o n s   a r e   v e r y   l i m i t e [4] .   M o s t   of   t h e   c r o w ds o ur c i ng  p l a t f o r m s   i M a l a y s i a   a c t s   a s   t h e   j ob   m a t c hi n b e t w e e n   m i c r o   w o r ke r   a nd  t a s ks .   O n l y   r e c e n t l y ,   t h e   l a u n c h i ng  o f   n e w   pl a t f o r m   c a l l e e R E Z E K ha s   a   s i m i l a f u n c t i o na l i t i e s   w i t t h e   e xi s t e nc e   i nt e rna t i o na l   c r o w ds o ur c i n g   pl a t f o r m s .     M ul t i   pe r s pe c t i v e s   c r o w ds o ur c i n dy n a m i c   e c o s y s t e m   m o de l   de a l s   w i t h   t h e   p r o c e s s   o unde r s t a n d i n t h e   r e l e v a nt   b us i n e s s   do m a i n   (us ua l l y   r e l a t i v e l y   s t a b l e ),   b us i n e s s   pr o c e s s e s   (us ua l l y   m o r e   vo l a t i l e ),   a nd  i n f o rm a t i o n   t e c hn o l o g y   a n s t a ke h o l de rs   i n t e r a c t i o n   [5] .   M i c r o   w o r ke r   i s   a n o t h e c r o w ds o ur c i n g   e c o s y s t e m   w h o   a r e   r e s po n s i b l e   t o   c o m pl e t e   t h e   t a s f r o m   t h e   pl a t f o r m .   T h e   t a s i s   o pe n   m a r ke t   a n c a n   b e   d o n e   by   a n y o n e .   M i c r o   w o r ke r   w i l l   ge t   a   di f f e r e n t   i n c o m e   de pe n ds   o n   t h e   t y pe   of   t a s k,   n u m b e r   o f   h o ur s   a nd  pe r f o r m a n c e   o f   t h e   t a s k .   M i c r o   w o r ke r s   c a n   c o m pl e t e   t h e i r   t a s ks   by   do i n t hr o ug o n l i n e   o r   o ff l i n e .   I n   c o m pl e t i n t h e   t a s ks ,   m i c r o   w o r ke r s   h a v e   be e n   gi v e n   m o r e   f l e xi b i l i t y   i n   c h o o s i n t h e i ow n   w o r ki n g   t i m e ,   l o c a t i o n s   a nd  d u r a t i o b a s e o t h e   na t u re   of   t a s p r o v i de i n   t h e   pl a t f o r m .   H ow e ve r ,   t o   m a na ge   a e f fe c t i ve   c r ow ds o ur c i n e c o s y s t e m ,   i t   do   n o t   n o t   o nl y   i n v o l ve s   J o P r o v i de r s ,   C r o w W o r ke r s   a n d   P l a t f o r m s   b ut   a l s o   t h e   e n a b l e r s   [6 - 9] .   T h e   po l i c i e s ,   i n c e nt i v e s ,   v i s i o n   a n d   s t ra t e gy ,   gov e r n a n c e ,   b us i n e s s   pr o c e s s   m a na ge m e n t ,   i n f ra s t r uc t u r e ,   h u m a c a pi t a l ,   e duc a t i o n   a n e xt e rn a l   e n v i r o n m e n t   a r e   a m o n g   t h e   s i g ni f i c a n c e   e n a b l e r s   t ha t   m i g h t   i n f l ue n c e   t h e   c r o w ds o ur c i n e c o s y s t e m s .     T h us ,   t h e   w i de l y   us e of   c r ow ds o ur c i n ha s   c h a n ge t h e   l a n ds c a pe   o f   l oc a l   a n g l o b a l   b us i n e s s   e c o s y s t e m   m o de l   t hr o ug h   v a r i o us   i nt e g r a t i o n s   o f   go a l s   o f   b us i n e s s e s   o r   o r g a n i z a t i o n s ,   s t ruc t u r e ,   p r o c e s s e s ,   a c t i v i t i e s ,   r e s o ur c e s ,   i n f o r m a t i o n ,   pe o pl e   a n d   b e h a v i o ur.   R e s pe c t i v e l y ,   t h e   c r o w ds o ur c i n g   e c o s y s t e m   m o de l   m us t   b e   a b l e   t o   r e pr e s e nt   t h e   e ff e c t i v e   a n e ff i c i e n t   i nt e g r a t i o n   o f   t he s e   v a r i o us   c o m po n e n t s .   T h e r e f o r e   t h i s   r e s e a r c v i e w s   t h e   e m e r ge n c e   of   c r ow ds o ur c i ng  e c o s y s t e m   a s   a   pa ra di gm   s hi f t   t ha t   w i l l   f u n d a m e n t a l l y   g o   b e y o n t h e   e c o n o m i c a l ,   s o c i a l ,   e c o l o gi c a l ,   t e c hn o l o gi c a l   de v e l o pm e n t s   a n b us i n e s s   o pe r a t i o n .   T he   i n t e g ra t i o a nd   re l a t i o ns hi p   i nt e ra c t i o ns   b e t w e e c ro w ds o u rc i ng   c o m po ne nt s   o f   m i c ro   w o rk e rs ,   o rg a ni z a t i o o j o b   p ro v i de rs ,   p l a t f o rm s   a nd   v a r i o u s   e x t e rna l   f a c t o rs   a re   c ru c i a l   i d e t e rm i ni ng   t he   s u c c e s s   o f   c ro w d s o u rc i ng   p ro j e c t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i -   pe r s pe c t i v e s   c r ow ds our c i ng  e c os y s t e m   i n   Ma l ay s i a   ( N or j ans al i k a   J a n )   437   3.   M ET H O D O L O G Y     A s   b e e n   m e n t i o n e e a rl i e r ,   e a c c o m po n e nt   m i g ht   ha v e   di ff e r e n t   s i g n i f i c a n c e   l e v e l s   w h i c h   r e qui r e   c r o w ds o ur c i n p l a y e r s   t o   foc us   a n p r i o r i t i z e   t h e   m o s t   c r i t i c a l   a n t h e   l e a s t   c r i t i c a l   c o m po n e nt s .   T hus ,     t o   e ff e c t i v e l y   i de n t i fy   t h e   w e i gh t a ge   o e a c h   c o m po n e nt ,   A na l y t i c a l   H i e r a r a c h i c a l   P r o c e s s i n (A H P m e t h o w a s   us e d.   T h e   s c o r i n a n d   t h e   w e i ght a ge   t e c hn i que s   o f   A H P   c a n   h e l t o   c h o o s e   t h e   c ri t i c a l   c r i t e ri a   t ha t   n e e t o   be   pr i o ri t i z e i s e t t i ng  up  t h e   c r o w ds o ur c i n e c o s y s t e m .   T h e r e   a r e   m a n y   s i m i l a r   e xi s t i n r e s e a r c h e s   t h a t   us e   s c o r i n s y s t e m   t o   a s s i t s   de c i s i o n   m a k i n [9 - 11 ].   T h e   A H P   a ppl i e s   t h e   qua n t i t a t i v e   a n qua l i t a t i v e   m e t h o ds   t h r o ug h   i nt e r v i e w   s e s s i o n s   w i t h   s ub j e c t   m a t t e r   e xpe r t s .   E xpe r t   e v a l ua t i o n s   w e r e   us e t o   e n s ur e     t h e   c o m pl e t e n e s s ,   t h e   v a l i di t y   a n t h e   w e i gh t a ge   of  t h e   c r o w ds o ur c i n m ul t i   pe r s pe c t i v e s   c o m po n e n t s .     T h e   s ubj e c t   m a t t e r   e xpe rt s   pr o v i de fe e d b a c i n   r e l e v a n c e   t o   t h e   s i gni f i c a n c e   a n w e i gh t a ge   of   e a c h   s ub  c r i t e ri a   u n de r   c r o w ds o ur c i n e c o s y s t e m .   T h e   s e l e c t i o n   of   t h e   e xpe r t s   w a s   b a s e o n   t hr e e   c r i t e r i a   s uc h   a s :     (1)  h a v e   b e e n   i n v o l v e i n   t h e   p l a nni n g ,   i m p l e m e nt a t i o a n d   de ve l o pm e n t   o f   pl a t f o r m   a n t h e   c r o w ds o ur c i n pr o j e c t   a s   a   w h o l e .   (2)  kn o w l e dge a b l e   a n h a v e   e xpe r i e n c e   re l a t e t o   c r o w ds o ur c i n i n dus t r y   i n   M a l a y s i a   (3)   w i l l i n g n e s s   t o   i n v o l v e   i t h e   r e s e a r c h .   B a s e o n   t h e s e   c r i t e r i a ,   f i v e   m a na ge m e n t   e xe c ut i v e s   f r o m   f i v e   di ffe r e nt   o r g a n i z a t i o n s   w e r e   s e l e c t e d   a n i n t e r v i e w e d.   T h e   m a na ge m e n t   e xe c ut i v e s   i n c l ude CE O ,   P r o j e c t   D i r e c t o r s   a nd  s e n i o m a na ge m e n t .   a)   E xpe r t   1   w a s   t h e   D i r e c t o r   o f   t h e   C r o w B us i n e s s   I nn o v a t i o Ce nt r e ,   U i T M .   T h e   o b j e c t i v e   of   t h e   c e nt r e   i s   t o   s e r v e   a s   a   c e n t r e   f o r   r e s e a r c h,   c o n s ul t a t i o n ,   t ra i ni n a n d   a s   o n e   s t o i n f o r m a t i o n   c e nt e r.   T h e   c e n t r e   fo c us e s   o n   t h e   i nn o v a t i o n   i n   t h e   p r o duc t i o n   o f   h i g h - i m pa c t   i de a s   r e l a t e t o   c r o w ds o ur c i n g .   I t   a l s o   fo c us e s   o n   h um a n   de v e l o pm e n t   a nd  t r a i n i ng  f o r   e a c h   c o m p o n e n t   i n v o l v e i c r o w ds o ur c i n g   i n d us t r y .   S h e   w a s   r e s po n s i b l e   t o   l e a t h e   pl a nni n g ,   de v e l o pm e n t   a n d   m a i n t e n a n c e   o f   t h e   c e n t r e .   b)   E xpe r t   w a s   s e n i o r   c o n s ul t a n t   f r o m   t h e   C r o w B us i n e s s   Inn o v a t i o n   Ce nt r e ,   U i T M .   T h e   e xpe rt   h a s   m o r e   t h a y e a r s   e xpe ri e n c e   w o r ki n i n   c r o w ds o ur c i n pr o j e c t .   O n e   o f   t h e   pr o j e c t s   i n v o l v e t h e   c o l l a bo r a t i o n   w i t h   M a l a y s i a   D e v e l o pm e n t   E c o n o m y   Cor po r a t i o n   (M D E C)  t o   de ve l o N a t i o n a l   M i c r o s o u r c i n S t ra t e gi c s   f o r   M a l a y s i a .   H e   h a s   b e e n   r e s po n s i b l e   t o   l e a t h e   pl a nni n g ,   i m pl e m e nt a t i o n,   m a na ge m e n t ,   m o ni t o ri n g   a nd  m a i n t e na n c e   o f   t h e   p r o j e c t   s i n c e   t h e   e a r l y   i n i t i a t i v e s   i 2012 .   c)   E xpe r t   w a s   t h e   S e n i o r   M a na ge r   o f   M D E C.   H e   w a s   o n e   of   t h e   l e a pe r s o n s   t ha t   c ha m pi o   t h e   i m pl e m e n t a t i o o f   gove rn m e n t   c r o w ds o ur c i n g   i ni t i a v e s   e E R e z e ki   pr o g r a m   i n   M a l a y s i a .     T h e   e Re z e ki   pr o g r a m   e na b l e s   c i t i z e n s ,   e s pe c i a l l y   l ow - i n c o m e   gr o ups ,   ge n e ra t e   a d di t i o na l   i n c o m e   b y   do i n g   di g i t a l   a s s i g n m e n t s   v i a   o n l i n e   c r o w ds o ur c i n g   pl a t f o r m .     d)   E xpe r t   w a s   t h e   C h i e f   E xe c ut i v e   O f f i c e r   of   t h e   S m a r t J o b s   &   S e r v i c e s   S dn   B h d .   T h e   e xpe r t   w a s   r e s po n s i b l e   t o   t ra i f r e s g ra dua t e s   a n d   a n y bo d y   t h a t   i nt e r e s t e t o   do   m i c r o s o ur c i ng  f r e e l a n c e   j ob s .   H e   ha s   w i de   e xpe r i e n c e   r e l a t e t o   t h e   us a ge   a n a ppl i c a t i o n   o v a r i o us   n a t i o n a l   a n i n t e rna t i o n a l   c r o w ds o ur c i n g   f r e e l a n c e   p l a t f o r m s .     e)   E xpe r t   5   w a s   t h e   M a na gi ng  D i r e c t o o f   H um a C a pi t a l   Co nn e c t i o n   S d n   B h d.   T h e   c o m pa n y   ha s   b e e n   i n v o l ve a s   o n e   of   t h e   i n d us t r y   pl a y e r s   t o   d e v e l o c r ow ds o ur c i n pl a t f o r m   f o r   M a l a y s i a   m a r ke t .     T h e   c o m pa n y   w a s   o n e   of   t h e   m a i n   de v e l o pe r   n m a i n   s u ppl i e r s   f o r   c r ow ds o ur c i n t a s t hr o ug h   E - R e z e ki   pl a t f o r m .   T h e   e xpe rt   a l s o   ha s   b e e n   c o n t i n uo us l y   pl a y s   a   ke y   r o l e   i n   p r o m o t i n a n m o t i v a t i n g   t h e   m i c r o   w o r ke r s   t o   ge t   i n v o l ve   a n pa rt i c i p a t e   i n   o n l i n e   c r o w ds o ur c i ng  p l a t f o r m .     T h e   s e l e c t i o n   o f   e xpe r t s   f r o m   s pe c i f i c   b a c kgr o un ds   a s   m e n t i o n e a b o ve   i s   c a t e go r i z e u n de r   f o c us   gr o up  a pp r o a c h.   A c c o r d i n t o   t h e   f o c us   gr o up  r e s e a r c h   a pp r o a c h,   t h e   t o t a l   r e s po n de nt s   pa rt i c i p a t i n i t hi s   t y p e   o f   r e s e a r c h   a r e   ge n e r a l l y   s m a l l .   B r o w n   [12]  a n Z a k a r i a   a n J a n o m   [4 ],   s a i t ha t   t h e   g r o up  s h o ul c o n s i s t   o f   4 - 12  i f   t h e   g r o up  i s   h o m o ge n e o us   a n 6 - 12  i f   h e t e ro ge n e o us .   T hus ,   s i n c e   t h e   r e s e a r c h   i s   f o c us e o n   c r o w ds o ur c i n i n   I CT   r e l a t e i n dus t r y ,   t h e   f i v e   e xpe r t s   e m pl oy e i n   t h i s   r e s e a r c h   i s   w i t h i n   t h e   a c c e pt a b l e   ra n ge   of   fo c us   gr o up  s t a n da rd.   T hi s   r e s e a r c h   a pp r o a c i s   c a t e go r i z e unde r   de s c r i p t i v e   qua n t i t a t i v e   t e c hn i q ue s   s i n c e   i t   c a nn o t   p r o v i de   a   r ob us t   m e a s ur e   of   r e l i a b i l i t y   pa r t i c ul a rl y   i n   t h e   i n v e s t i ga t i o n   o f   s m a l l   po pul a t i o n s   o f   e xpe r t   o pi n i o n s .   N e xt   s e c t i o n   d i s c us s e s   a bo u t   t h e   A H P   m e t h o t ha t   b e e n   us e t o   i de n t i fy   t h e   pri o r i t y   a n d   s i g ni f i c a n c e   w e i gh t a ge   f o r   e a c f a c t o u n de r   e a c e c o s y s t e m   c o m po n e nt .       4.   F O R M U LA TI N G   P R I O R I T Y   A N D   WEI G TA G E   U S I N G   A H P   A s   m e nt i o n e i n   p r e v i o us   s e c t i o n ,   t h e   A H P   w a s   us e t o   i de n t i fy   s p e c i f i c   w e i gh t   f o r   e a c h   c ri t e r i a .     A H P   i s   a   s ui t a b l e   m e t h o t o   s e t   pr i o r i t i e s   a n w e i gh t s   w h i c i n v o l v e   qua l i t a t i v e   a n qua nt i t a t i v e   a s pe c t s   of  a   de c i s i o n .   A H P   i s   a n o t h e r   m e t h o us e i n   de t e rm i ni n w e i ght a ge   o ve r   m ul t i p l e   s e l e c t i o n   o gi v e n   a l t e rna t i v e s   a n p ri o ri t i s i n g .   A H P   w a s   o r i gi n a l l y   de ve l o p e d   by   S a a t y   i n   1 980  a nd  ha s   b e e n   us e w i de l y   a s   de c i s i o n   a i d i n t e c hn i q ue s .   T h e   m e t h o o ut w e i gh s   o t h e r   m e t h o ds   e s pe c i a l l y   t o   m a ke   de c i s i o m a ki ng  c h o i c e s   e a s i e r   r e l a t e t o   s c a r c e   r e s o ur c e s   a l l o c a t i o n   a n o t h e r s   [13,   14] .   A H P   m e t h o c a n   b e   a n   e xc e l l e n t   po i n t   f o r   r e s e a r c h e r   t o   do  pri o r i t i z a t i o n   b e t w e e n   f e w   a l t e rna t i v e   of   c h o i c e s .   D ue   t o   i t s   s t r uc t u r e m e t h o t e c hni que ,   A H P   h a s   b e e n   us e d   e ffe c t i ve l y   t o   e l i c i t   b i a s e o pi ni o n s   o f   d e c i s i o n   m a ke r s   i n   w e i ght i n a n p ri o r i t i z a t i o n .   T h e   m e t h o ds   a l s o   a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     4 3 5   -   44 1   438   r e l i a b l e ,   r e pe a t a b l e   a nd  c a n   e a s i l y   be   i n c o r po r a t e i nt o   m ul t i pl e ,   ob j e c t i v e   pr o gr a m m i n f o r m ul a t i o n s   [15] .   T h i s   m a ke s   i t   a pp l i c a b l e   t o   a i t h e   de c i s i o n   m a ki n g   p r o c e s s   f r o m   s i m pl e   pe r s o na l   de c i s i o n s   t o   t h e   c o m pl e de c i s i o n s   i n   v a r i o us   f i e l ds   of   s po r t s ,   po l i t i c s ,   f i na n c e ,   e c o n om i c s ,   m a na ge m e n t   s c i e n c e ,   s c i e n c e   a n po l i t i c s .   m a na ge m e n t   s c i e n c e ,   e c o n o m i c s ,   f i na n c e ,   po l i t i c s ,   a n s po rt s   [16].   M o s t   i n   t h e   r e s e a r c h e s ,   i t   s h o w s   h ow   A H P   h a s   b e e n   us e w i de l y   us e t a s s i s t   de c i s i o n   m a k i n p r o c e s s   i n   de t e rm i ni n t h e   b e s t   s e l e c t i o n   a l t e rna t i v e s   i n   v a ri o us   r e s e a r c h e s   f o r   e xa m pl e   t h e   i de nt i f i c a t i o n   o f   c r i t i c a l   f a c t o r s   i n   ri s m a n a ge m e nt   [17] ,   de ve l o pm e n t   o f   r o a s a f e t y   i n de [13] ,   i de nt i f i c a t i o n   o f   h e a l t h c a r e   c o m pa t i b i l i t y   [18],   de t e rm i na t i o n   o i n di v i du a l   da t a   a na l t i c s   [1 9],   l a n ds l i de   v ul n e r a b i l i t y   [20]  a n m a n y   o t h e r s .     T h e   pr o c e s s   of   c o n s t r u c t i n c r o w ds o ur c i n e c o s y s t e m   c r i t e ri a   w e i gh t a ge   w i l l   i n v o l v e   s e v e r a l   p h a s e s   of   m ul t i - c r i t e ri a   de c i s i o n   m a ki ng  pr o c e s s .   In   e a c h   p h a s e ,   t h e   r e s e a r c h e r   a pp l i e s   m e t h o do l o gi c a l   c h o i c e s   t h a t   qua n t i fy   t h e   w e i ght s   o e a c h   e c o s y s t e m   c o m po n e n t   ra n k i ngs .   A s   t h e r e   i s   l i m i t e m e t h o f o r   de ve l o pi n c o m pos i t e   c r i t e r i a ,   s e v e r a l   t e c hn i que s   f o r   c r i t e r i a   s e l e c t i o n ,   w e i ght i n a n a gg r e ga t i o n   n e e t o   be   c o n s i de r e d.   A s   m e n t i o n e e a rl i e r ,   A H P   i n c l ude s   bo t h   t h e   ra t i n a nd   c o m pa r i s o n   m e t h o ds   o t w o r   m o r e   c r i t e ri a .     A H P   b e gi n s   w i t w e i gh t i n g   t h e   f a c t o r s   t hr o ug h   hi e r a r c h i c a l   s t r uc t u r e   o f   t h e   c ri t e r i a   f o r   e a c e c o s y s t e m .     4. 1 .      We i gh ti n g   th e   fa c to r s   It   i s   i m po r t a n t   t o   de f i n e   t h e   de c i s i o n   p r o b l e m   c l e a r l y   s i n c e   i t   T h e   de c i s i o n   p r o b l e m   s h o ul b e   de f i n e c l e a r l y   s i n c e   i t   l e a ds   t h e   w h o l e   r e s e a r c p r o c e s s .   In  t hi s   r e s e a r c h,   i n   de t e rm i ni n t h e   ke y   c r i t e ri a   o c r o w ds o ur c i n g   e c o s y s t e m   c o m po n e n t s ,   A H P   w a s   us e t o   e v a l ua t e   e a c h   f a c t o r.   T h e   f a c t o r s   w e r e   a rr a nge i n   a   pr o pe r   hi e r a r c h y   c l a s s i f i c a t i o n   o f   di ff e r e n t   l e v e l s   c o n s t i t u t i ng  go a l ,   c r i t e r i a   a nd  s ub - c r i t e ri a .   O v e r a l l   t h e r e   a r e   o n e   go a l ,   4   c ri t e r i a s   a n d   14  s ub   c ri t e r i a s   a s   s h o w n   i n   F i gu re   1.   T h e s e   c l a s s i f i c a t i o n   w e r e   b a s e o n   r e s e a r c m o de l   a do pt e f r o m   S h a rm a   [2 1],   H i rt a n d   H oBf e l [22]  a nd  Z a ka ri a   e t   a l   [4 ].     a)   T h e   m i c r o   s o ur c i n g   e c o s y s t e m   m o de l   c o n s i s t s   o f   fo ur   m a i c ri t e r i a ,   w h i c h   e a c h   c r i t e r i a   ha s   di f f e r e n t   s ub   c r i t e ri a   b a s e o n   t h e   de f i n e d   de f i n i t i o n s   b e l ow :     b)   J ob   pr o v i de r   c a n   b e   o r ga n i z a t i o n   o r   pe o pl e   w h o   pr o v i de   t a s ks   a n j ob s   t hr o ugh   t h e   pl a t f o r m .   I t   c a n   b e   go ve r nm e n t   a ge n c y ,   b us i n e s s e s ,   pr o fe s s i o n a l   s e r v i c e s   o r   e ve n   i n di v i du a l   w h o   o p e n   t h e   o ppo r t uni t y   fo r   o n l i n e   w o r ks   t o   t h e   c r o w d.   It   a l s o   c a n   b e   de f i n e a s   a o rga n i z a t i o t ha t   o ut s o ur c e s   t h e   t a s ks   t o   t h e   pl a t f o r m s   a nd  di s t ri b ut e s   i t   t o   t h e   m i c r o   w o r ke r s   a n d   p a y s   t h e m   a c c o r di n gl y .   c)   P l a t f o r m   i s   a   v i t a l   p a r t   a s   i t   p r o v i de s   c h a nn e l   f o r   t h e   j ob   pr ov i de r   a n m i c r o   w o r ke r   t o   di s t ri b ut e   a n d   s h a r e   t a s ks   o nl i n e .   T h e   pl a t f o r m   s h o ul p r o v i de   c o nn e c t i o b e t w e e n   j ob   pr o v i de r   a n d   m i c r o   w o r ke r.   d)   M i c r o   w o r ke r   i s   t h e   c r o w t h a t   a r e   r e s po n s i b l e   i n   c o m pl e t i ng  t h e   t a s g i v e n .   M i c r o   w o r ke r   i s   de f i n e a s   t h e   po o l   of   l a bo r   f o r c e   t h a t   h a v e   s pe c i f i c   s ki l l s   t o   c o m pl e t e   v a r i o us   t a s ks   t ha t   b e e n   o ff e r e o n l i n e .     T h e   w o r ke r   w h o   w i l l   c o m pl e t e   t h e   t a s gi v e n   by   t h e   j ob   pr o v i de r .   U s ua l l y   a   m i c r o   w o r ke r   w i l l   b e   a s e s s e t h o r ug s pe c i f i c   a s s e s s m e n t   t o   de t e rm i n e   w h e t h e t he y   c a n   do   t h e   w o r a n d   ge t   pa i d   f o r   t ha t .     e)   In d us t r y   c o n s i s t s   o e xt e r na l   go v e r n a n c e   a n e xt e rna l   e n v i r o n m e n t   w h i c h   h e l t o   pr o m o t e   s u c c e s s   of  m i c r o s o ur c i n g   b a s e o n   t h e   i n t e rna t i o n a l   m i c r o   s o ur c i ng  p l a y e r s   a n d   t h e   e xpe ri e n c e m i c r o   w o r ke r s .   T h e   w i de   i n v o l ve m e n t   o f   c r o w w o r ke r s   c a n   e n c o ura ge   di f fe r e nt   t a l e nt s   a nd  s ki l l s   t o   pa rt i c i p a t e .     T h e   go v e r na n c e   s t r u c t u r e   m i g ht   f oc us   o n   t h e   l i nka ge s   a n d   t r u s t   a m o n g   w i t h i a n d   o ut s i de   pl a t f o r m .           F i gu r e   1 .   R e s e a r c m o de l   a do pt e f r o m   S h a rm a   [2 1],   H i rt &   H oB fe l [22]  a n d   Z a k a r i a   e t   a l   [ 4]       4. 2 .      D at c o l l e c ti o n   f r o m   e x p e r ts   to   d e te r m i n e   th e   w e i gh tage   o e a c h   c r i te r i a   an d   s u b   c r i te r i a   In   o r de r   t o   de t e r m i n e   t h e   w e i gh t a ge   a n r a nki ng  of   e a c h   f a c t o r ,   que s t i o n s   w e r e   de v e l o pe b a s e o n   m o de l   a s   s h ow n   i n   F i gu r e   1.   A l l   e xpe r t s   w e r e   gi v e n   t h e   l i s t   o f   a l l   t h e   c r i t e ri a   a nd  s ub   c r i t e r i a   of  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i -   pe r s pe c t i v e s   c r ow ds our c i ng  e c os y s t e m   i n   Ma l ay s i a   ( N or j ans al i k a   J a n )   439   c r o w ds o ur c i n g   e c o s y s t e m s   i n   t h e   f o r m   o f   que s t i o nn a i r e .   E xpe r t s   w e r e   a s ke t o   i de n t i fy   t h e   s i g ni f i c a n c e ,     a s   w e l l   a s   t h e   w e i ght a ge   a n t h e   de g r e e   of   c r i t i c a l i t y   of   e a c h.   D ue   t o   t h e i e xpe rt i s e ,   e xpe r t s   a b l e   t o   pr o v i de   r e v i e w s   w h i c h   c a n   b e   us e t o   de t e r m i n e   t h e   r e l i a b i l i t y   a n v a l i di t y   of  t h e   m ul t i   pe r s pe c t i v e s   c r o w d s o ur c i n g   e c o s y s t e m   c r i t e r i a .   D a t a   w e r e   c o l l e c t e t hr o ug h   f e e d b a c f r o m   t h e   f i v e   e xpe r t s   m e nt i o n e d .   T h e   e xpe r t s   r a t e t h e   r e l a t i v e   i m po rt a nt   w i t hi n   e a c h   c r i t e ri a   b a s e o n   t h e   s c a l e   of   w h i c w a s   e qua l   i m po r t a n c e   t o   w hi c w a s   a b s o l ut e   i m po rt a n c e .   A f t e a l l   c ri t e ri a   ha v e   b e e c o m p a re d ,   a   p a i re d   c o m p a ri s o n   o j u d g m e nt   m a t ri x   i s   f o rm e d .       4. 3 .      Em p l o yi n th e   p a i r - w i s e   c o m p ar i s o n s   T h e   c ri t e r i a   a nd  s ub   c ri t e r i a   i t h e   de c i s i o h i e r a r c h y   w e r e   ra t e us i n t h e   p a i r - w i s e   c o m pa ri s o n .     A   pa i r w i s e   c o m pa r i s o n   m a t r i w a s   fo r m e t o   s h ow   t h e i r   r e l a t i v e   i m po rt a n c e   t o   o n e   a n o t h e r.   I n   o r de r   t e s t i m a t e   t h e   r e l a t i v e   w e i gh t s   o f   s u b   c r i t e r i a ,   t h e   s ub   c r i t e ri a   w a s   c o m pa r e i c o upl e s ,   t h e   w e i ght   o f   e a c h   e l e m e n t   w a s   c o m put e t hr o ug h   a   t hr o ug h   a   n u m b e r   o f   n um e ri c a l   c a l c ul a t i o n s .   T h e   E i ge n v a l ue   a pp r o a c w a s   us e t o   e s t i m a t e   t h e   r e l a t i v e   w e i gh t   o f   d e c i s i o n   c r i t e ri a   a nd  a gg r e ga t e   t h e   r e l a t i v e   v a l ue   of  de c i s i o n   e l e m e n t s   t o   c o m e   o ut   w i t h   p ri o ri t y   l i s t   o f   a l t e rna t i v e s .   T h e   t o t a l   r e l a t i v e   v a l ue   fo r   e a c h   s ub   c ri t e r i a   g r o up     w i l l   b e   1.     4. 4 .      C a l c u l ati n g   th e   d e g r e e   o c o n s i s te n c y   i n   o r d e r   to   v al i d ate   th e   r e s u l ts   In   o r de r   t o   i de n t i fy   i t h e r e   w e r e   a n y   i n c o n s i s t e n c y   of  fe e d b a c ks   c o l l e c t e f r o m   e xpe r t s ,   i t   i s   i m po rt a nt   t o   c a l c ul a t e   t h e   c o n s i s t e n c y   r a t i o   of   t h e   e s t i m a t e m a t ri v e c t o r .   Co n s i s t e n c y   r a t i o   (CR t hr o ug t h e   pa i r - w i s e   c o m pa r i s o n   c a l c ul a t i o n   w a s   us e t o   c a l c ul a t e   t h e   c o n s i s t e n c y   r a t i o .   S a a t y   [23,   24]  h a s   s e t   t h e   a c c e pt a b l e   c o n s i s t e n c y   ra t i o   i n de ( CR I)  f o r   di f f e r e n t   m a t ri c e s ’  s i z e s   b a s e o n   b e l ow :   1)   t h e   C R   v a l ue   i s   0 . 05   f o r   a   3 - by - m a t r i x ;   2)   0. 08  f o r   a   4 - by - m a t ri x;   a n d   3)   0. 1   f o r   l a rge m a t r i c e s .   If   t h e   c o n s i s t e n c y   l e v e l   f a l l s   i n t o   t h e   a c c e pt a b l e   ra n ge   a s   m e nt i o n e a b o v e ,   t h e   w e i gh t   r e s ul t s     a r e   v a l i d .       5.   F I N D I N G S   B a s e o n   t h e   A H P   m e t h o do l o g y ,   f i n a l   w e i gh t   a s   r e p r e s e n t   i n   T a b l e   t o   T a b l e   s h o w   t h e   f i na l   r e l a t i v e   i m po rt a n c e   of   e a c h   s ub  c r i t e ri a ,   t h e   m o r e   i m po r t a nt   t h e   f a c t o r s ,   t h e   g r e a t e r   t h e   f i n a l   w e i gh t   w i l l   b e .   CR   v a l ue s   a r e   a l s o   s h o w n   t o   ha v e   a c c e pt a b l e   c o n s i s t e n c y .   T h e   c o n s i s t e n c y   i s   m e a s u r e by   c o n s i s t e n c y   r a t i o   us i n o w n   c a l c ul a t i o n s   ra n do m   i n de (R I).   T h e   r e s ul t s   o f   pa r t i c i p a n t s   w h o   a n s w e r e c o n s i s t e nt l y   w e r e   i n c l ude i n   t h e   a n a l y s e s   a s   b e e n   s h o w n   i n   T a b l e   1 - T a b l e   4.   A l l   c r o w ds o ur c i n e c o s y s t e m   c r i t e ri a   o f   j ob  pr o v i de r ,   pl a t f o r m ,   m i c r o   w o r ke r   a n i n dus t r y ,   h a v e   pe r f e c t   CR   of   0. 00  w h i c h   m e a n s   t ha t   a l l   t h e   e xpe r t s   ha v e   gi v e n   c o n s i s t e n t   f e e b db a c k   t hr o ug h o ut   t h e   que s t i o nn a i r e .     F r o m   t h e   j ob   pr o v i de r   pe r s pe c t i v e s   a s   s h o w n   i n   T a b l e   1 ,   t h e   t r us t w o r t h y ,   c o s t   s a v i n g ,   p l a t f o r m ,   go ve r na n c e   a n m i c r o   w o r ke r   s e e m   t o   be   a n   i m po r t a n t   c r o w ds o ur c i ng  e c o s y s t e m s .   Bo t h   f a c t o r s   r e l a t e t c os t   s a v i n w e r e   e qua l l y   i m po r t a nt   w hi l e   t h e   o t h e r   f a c t o r s   u n de r   p l a t f o r m ,   go v e rn a n c e   a n m i c r o   w o r ke r   a l s o   b e e n   gi v e n   s pe c i f i c   w e i gh t a ge .   S i n c e   c r o w ds o ur c i n t a s o n l i n e   us i n t h e   a n o n y m i t y   c o n c e pt ,   t h e   t r us t w o r t h y ,   r e l i a b l e   pl a t f o r m   c o m b i n e   w i t h   p r o pe r   go v e r na n c e   a n c l e a r   i n s t ruc t i o n   p r o v i de t o   m i c r w o r ke r   c a e n s u r e   t h e   s uc c e s s   o f   c r o w ds o ur c i n g .   F i na l l y ,   t h e   p r i o ri t i e s   o f   i n di v i du a l   p a r t i c i p a n t s   w e r e   a gg r e ga t e t o   a n a l y z e   t h e   p ri o ri t i e s   o f   a l l   t h e   pa rt i c i pa nt s .     A s   s h o w n   i T a b l e   2,   a l l   f a c t o r s   u n de r   n e t w o r i n f r a s t r uc t u r e ,   qu a l i t y   a s s ur a n c e ,   c l o ud  c o m put i n g   ha v e   b e e n   e v a l ua t e e qua l l y .   Re l i a b l e   n e t w o r i n f r a s t ruc t u re   w i l l   a l l o w   s h a r i ng  o da t a   b e t w e e n   t a s ks   a nd  pl a t f o r m s .   E a c h   f a c t o r   w a s   s c o r e 0. 34 ,   0 . 33  a 0. 33   r e l a t i v e l y .   It   i s   a l s o   i m po rt a nt   f o r   pl a t f o r m   t o   h a v e   i n t e l l i ge n t   e ngi n e   i n   o r de r   t o   c h e c t h e   qua l i t y   o s u b m i t t e t a s ks   b e fo r e   s e n i t   b a c t o   j ob  pr o v i de r .     T h e   us a ge   o f   c l o ud  c o m put i ng  t e c hn o l o gy   a l s o   a b l e   t o   pr o v i de   f l e xi b i l i t y ,   l ow e r   c o s t   a nd  i m p r o v e   s c a l a b i l i t y   fo r   pl a t f o r m   p r o v i de r s .   T h e   w e i ght a ge   s c o r e s   a b l e   t o   gui de   t h e   c r o w ds o ur c i n g   pl a t f o r m   t o   w h i c h   f a c t o r s   c a b e   s t r a t e gi c a l l y   pr i o ri t i z e i e n s u ri n g   t h e   s uc c e s s   of   c r o w ds o ur c i n i m pl e m e n t a t i o n .   T a b l e   s h o w s   t h e   w e i gh t a ge   o f   s u b   c r i t e r i a   r e l a t e t o   m i c r o   w o r ke r.   U n de r   h u m a c a pi t a l ,   s uf f i c i e n t   kn o w l e dge   a n s k i l l s   ha v e   be e n   w e i gt a ge a s   t h e   c ri t i c a l l y   i m po rt a nt   w i t h   0 . 61  r e l a t i v e   s c o r e ,   c o m pa r e t   t h e   t i m e   gi v e n   t o   w o r ke r s   t o   c o m pl e t e   t a s ks   w h i c h   o nl y   s c o r e   0. 39 .   T h e   o t h e r   f a c t o r s   u n de r   t rus t ,   IC T   i n f r a s t r uc t u r e   a n d   k n o w l e dge   h a v e   s h o w n   a b o ut   t h e   s a m e   r e l a t i v e   i m po rt a n c e   w e i gh t a ge .   A s   m e n t i o n e e a l i e r,   t h e   t o t a l   w e i g h t a ge   fo r   e a c h   s ub   c ri t e r i a   gr o up  i s   e qui v a l e nt   t o   1,   t h us   a s   s h o w n   i T a b l e   4,   f o r   e xt e rn a l   go v e r na n c e ,   t hr e e   f a c t o r s   r e l a t i v e l y   s c o r e   a b o ut   t h e   s a m e   w e i ght a ge   o f   0. 26  a nd  o n e   f a c t o r   s c o r e s   0. 22.   H ow e ve r ,   f o r   e xt e rna l   e n v i r o nm e nt ,   r e l i a b l e   a n t rus t e l o c a l   i n dus t r y   go t   t h e   h i g h e s t   s c o r e   of   0. 36  f o l l ow e by   c ul t u r a l   e n e r p r e n ue r s hi w i t h   0 . 33  a n w i de   i n v o l vo l ve m e n t   o f   c r ow w o r ke   w i t 0. 3 1.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     4 3 5   -   44 1   440   T a b l e   1 .   F i na l   w e i ght   a n d   CR   f o r   j ob   pr o v i de r   c ri t e r i a   No   Cri t e ri a   A :   J o b   P r o v i d e r   W e i g h t a g e   CRI   A1   S u b   c ri t e r i a :   T ru s t w o r t h y   1   T ru s t   a n d   s e c u ri t y   t o   e s t a b l i s h   c r o w d s o u r c i n g   0 . 2 7   0 . 0 0   2   G o o d   l i n k a g e   a n d   t ru s t   t o   e n s u re   p l a t fo r m   s e c u ri t y     0 . 2 7   3   Ca p a b i l i t y   a n o n y m o u s   c r o w d   t o   d o   j o b s   o n l i n e   0 . 2 2   4   Cro w d s o u r c i n g   e m p h a s i z e   d a t a   s e c u ri t y   a n d   c o n f i d e n t i a l   p o l i c i e s   0 . 2 4   A2   S u b   c ri t e r i a :   C o s t   s a v i n g       5   Cro w d s o u r c i n g   a s   a   w a y   t o   l o w e o p e ra t i o n   c o s t s   0 . 5 0   0 . 0 0   6   Cro w d s o u r c i n g   r e d u c e c o s t   r e l a t e d   t o   l a b o u   0 . 5 0   A3   S u b   c ri t e r i a :   P l a t fo r m       7   P l a t fo r m   t o   h a v e   t h e i o w n   n i c h e   a n d   f o c u s   a r e a   0 . 3 8   0 . 0 0   8   P l a t fo r m   i s   n e e d e d   c o m p l e t e   t a s k s   i n   m o re   e ff i c i e n c t   w a y   0 . 2 9   9   P l a t fo r m   h e l p s   t h e   j o b   p r o v i d e t o   a d v e rt i s e   t h e   j o b s   0 . 3 4   A4   S u b   c ri t e r i a :   G o v e r n a n c e       10   Co m p a n y   i d e n t i fy   a p p r o p ri a t e   s t ra t e g i e s   a n d   g u i d e l i n e s     0 . 4 9   0 . 0 0   11   T h e   t a s k s   c o m p a t i b l e   w i t h   c u rr e n t   b u s i n e s s   p ra c t i c e s   a n d   c u l t u ra l   n o r m s   0 . 5 1   A5   S u b   c ri t e r i a :   M i c r o   w o rk e r       12   Cl e a r   i n s t ru c t i o n s   a r e   p r o v i d e d   t o   m i c ro   w o rk e r s   0 . 5 2   0 . 0 0   13   M i c ro   w o rk e r s   w h o   a g a i n s t   i n s t ru c t i o n s   a n d   c ri t e ri a   s h o u l d   b e   b l a c k l i s t e d   0 . 4 8       T a b l e   2 .   F i na l   w e i ght   a n d   CR   f o r   pl a t f o r m   c ri t e r i a   No   Cri t e ri a   B :   P l a t fo r m   W e i g h t a g e   CRI   B1   S u b   c ri t e r i a :   N e t w o rk   I n f ra s t ru c t u re       14   Re l i a b l e   n e t w o rk   i n f ra s t ru c t u re   a l l o w   j o b s   t o   d i s t ri b u t e   f a s t e   0 . 3 4   0 . 0 0   15   P u b l i c   w i r e l e s s   i n t e r n e t   a c c e s s   p o i n t s   a l l o w   t a s k s   c o m p l e t e d   f a s t e r s   0 . 3 3   16   E x i s t i n g   i n fra s t ru c t u r e   s h o u l d   b e   l e v e ra g e d   a n d   u t i l i s e d   0 . 3 3   B2   S u b   c ri t e r i a :   Q u a l i t y   A s s u ra n c e       16   Co m p l e t e d   t a s k s   n e e d   t o   g o   t h ro u g h   q u a l i t y   a s s e s s m e n t     0 . 3 5   0 . 0 0   17   P l a t fo r m   w i t h   q u a l i t y   a s s u ra n c e   e m p h a s i z e   o n   g o o d   r e s p o n s e   t i m e ,   q u a l i t y   w o rk   a n d   p ri v a c y   d a t a   0 . 3 3   18   T h e   s t a n d a r d   r e q u i r e m e n t   c a n   b e   a c h i e v e d   t h r o u g h   q u a l i t y   a s s u ra n c e     0 . 3 2   B3   S u b   c ri t e r i a :   C l o u d   C o m p u t i n g       19   P l a t fo r m   u s e   c l o u d   c o m p u t i n g   t o   l e v e ra g e   v a ri o u s   e n t e r p r i s e - l e v e l   a p p l i c a t i o n s   p ro v i d e d   b y   m a n y   ICT   c o m p a n i e s   0 . 3 4   0 . 0 0   20   Cl o u d   c o m p u t i n g   a l l o w   t ra n s fe o f   i n fo r m a t i o n   a n d   f u n c t i o n a l i t y     0 . 3 3   21   Cl o u d   c o m p u t i n g   d i s t ri b u t e d   s e r v e a l l o w   f l e x i b l e   a p p l i c a t i o n s     0 . 3 3       T a b l e   3 .   F i na l   w e i ght   a n d   CR   f o r   m i c r o   w o r ke c ri t e r i a   No   Cri t e ri a   C :   M i c ro   W o rk e r   W e i g h t a g e   CRI   C1   S u b   c ri t e r i a :   H u m a n   Ca p i t a l       22   S u ffi c i e n t   t e c h n i c a l   a n d   s p e c i a l i z e d   s k i l l s   t o   c o m p l e t e   t a s k s   0 . 6 1   0 . 0 0   23   A m p l e   t i m e   g i v e n   t o   m i c r o   w o rk e t o   c o m p l e t e   t a s k s   0 . 3 9   C2   S u b   c ri t e r i a :   T ru s t       24   L i n k a g e   a n d   t ru s t   b e t w e e n   w o rk e r   a n d   p l a t fo r m   p r o m o t e   s e c u ri t y   0 . 5 2   0 . 0 0   25   A g r e e m e n t / c o n t ra c t   p ro t e c t   t h e   m i c r o   w o rk e r   f r o m   a n y   k i n d   o f ra u d .   0 . 4 8   C3   S u b   c ri t e r i a :   ICT   I n f ra s t ru c u re       26   Cl o u d - b a s e d   a p p l i c a t i o n s   m a k e   i t   e a s i e r   t o   a c c e s s   p l a t fo r m s   0 . 2 7   0 . 0 0   27   A d o p t i o n   o f   m o b i l e   p h o n e ,   c o m p u t e r ,   i n t e r n e t   a n d   o t h e h e l p   m i c r o   w o rk e r   t o   c o m p l e t e   t h e   t a s k s .   0 . 2 7   28   E a s y   a c c e s s   i n t o   t h e   i n t e r n e t   i m p r o v e   m i c r o   w o rk e p e r f o rm a n c e   0 . 2 2   29   H i g h   i n t e r n e t   b a n d w i d t h   h e l p s   t o   c o m p l e t e   a n d   s u b m i t   t a s k s   f a s t e r.     0 . 2 5   C4   S u b   c ri t e r i a :   K n o w l e d g e       30   M i c ro   w o rk e n e e d   t o   h a v e   t e c h n o l o g y   k n o w l e d g e   0 . 5 3   0 . 0 0   31   M i c ro   w o rk e c a n   c h o o s e   t a s k s   b a s e d   o n   t h e i i n t e r e s t s     0 . 4 7       T a b l e   4 .   F i na l   W e i g h t   a n CR   f o r   i n dus t r y   c r i t e r i a   No   Cri t e ri a   D :   I n d u s t r y   W e i g h t a g e   CRI   D1   S u b   c ri t e r i a :   E x t e r n a l   g o v e r n a n c e       32   P ro p e g o v e r n m e n t   s u p p o r t   t o   a d o p t   c ro w d s o u rc i n g   0 . 2 2   0 . 0 0   33   Cro w d s o u r c i n g   g o v e rn a n c e   c o m m i t t e e   t o   o v e r s e a   t h e   d e v e l o p m e n t   a n d   m a i n t e n a n c e     0 . 2 6   34   S p e c i f i c   c r o w d s o u r c i n g   ru l e s ,   r e g u l a t o ry   a n d   p o l i c i e s   0 . 2 6   35   D i v e r s e   p o p u l a t i o n   w i t h   m u l t i c u l t u ra l   b a c k g ro u n d   a b l e   t o   a t t ra c t   i n t e r n a t i o n a l   fi r m s   c r o w d s o u r c e   t h e i t a s k s   0 . 2 6   D2   S u b   c ri t e r i a :   E x t e r n a l   E n v i r o n m e n t       36   Re l i a b l e   a n d   t ru s t e d   l o c a l   c r o w d   s o u r c i n g   c h a m p i o n s   a r e   n e e d e d   0 . 3 6   0 . 0 0   37   E c o n o m i c   e n v i r o n m e n t   t h a t   p r o m o t e s   c u l t u re   o e n t e r p r e n u e r s h i p   0 . 3 3   38   W i d e   i n v o l v e m e n t   o c r o w d   w o rk e r s   w i t h   d i ffe r e n t   s k i l l s   a n d   t a l e n t s   0 . 3 1       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i -   pe r s pe c t i v e s   c r ow ds our c i ng  e c os y s t e m   i n   Ma l ay s i a   ( N or j ans al i k a   J a n )   441   6.   C O N C LU S I O N   I c o nc l u s i o n,   t h i s   re s e a rc ha s   g a t he re d   a l l   t he   e c o s y s t e m   c o m p o ne nt s   f ro m   v a ri o u s   p e rs p e c t i v e s ,     o f   d i f f e re nt   c r i t e ri a   a nd   s u b   c ri t e ri a   g ro u p s .   I o rd e t o   e ns u re   t he   e f f e c t i v e ne s s   o f   c ro w ds o u rc i ng   i M a l a y s i a ,   i t   i s   re q u i re d   a   c o m p l e t e   e c o s y s t e m   t ha t   w i l l   i nt e g ra t e   t h e   e c o s y s t e m   c o m p o ne nt s   w i t o ne   a no t he r .     T he   j u d g m e nt   s c a l e s   f ro m   e x pe rt s   t h ro u g A H P   m e t ho d   w a s   us e d   t o   i de nt i f y   w e i g ht a g e   o f   e a c f a c t o r.     B a s e d   o t he   re s u l t s ,   s o m e   o f   t he   f a c t o rs   u nd e j o b   p ro v i de r,   p l a t f o rm ,   m i c ro   w o rk e a nd   i nd u s t ry   e c o s y s t e m s   a re   m o s t l y   e q u a l   i m p o rt a nt   w i t c o ns i s t e nc y   i nd e x   o f   0 . 0 0 .   K no w i ng   t he   w e i g ht a g e   o f   e a c f a c t o c a he l p   t o   p ri o ri t i z e   f a c t o rs   b a s e d   o t he   l e v e l   o f   i m p o rt a nc e .   T he   re s u l t s   a l s o   c a g u i d e   t o w a rd s   t he   e f f e c t i v e   s t ra t e g i c s   o f   c ro w d s o u rc i ng   i nd u s t ry   g ro w t d e v e l o p m e nt .   A l l   c ro w d s o u rc i ng   p l a y e rs   ne e t o   u n d e rs t a nd   t he   re l a t i o n hi p s   a nd   t he   i m p o r t a nc e   o f   t ho s e   c o m po ne nt s   t ha t   b u i l d   u p   t he   c ro w ds o u rc i ng   d i g i t a l   e c o no m y .   F ro m   t he   re s u l t s   i t   c a b e   c l a ri f i e d   w hi c e c o s y s t e m   i s   m o re   i m p o r t a nt   f o t he   i nd u s t ry   p l a y e rs   t o   f o c u s   o n.         A C K N O WL ED G E M EN TS   T he   a u t ho rs   w o u l d   l i ke   t o   t ha nk   t o   R e s e a rc M a n a g e m e nt   I ns t i t u t e ,   U ni v e rs i t i   T e k no l o g i   M A R A ,     f o t he i r   f u nd i ng   s u p p o rt   u nd e L E S T A R I   G ra n t   w i t h   p ro j e c t   c o d e   600 - I R M I / D A N A   5 / 3 / L E S T A R I   ( 0 1 3 6 / 2 0 16) .       R EF ER EN C ES   [ 1 ]   H .   I k e d i e g o ,   e t   a l . ,   " C r o w d - s o u r c i n g   ( w h o ,   w h y   a n d   w h a t ) , "   I n t e r n a t i o n a l   J o u r n a l   o f   C r o w d   S c i e n c e ,   v o l .   2 ,   n o .   1 ,     p p .   2 7 - 41 2 0 1 8 .   [ 2]   N.   Z a ka r i a ,   e t   al . ,   A s s e s s m e nt   o f   c r o w ds o ur c i ng   t a s m ul t i d i m e ns i o na l   r e l a t i o ns hi m o de l   t h r o ug a ppl i c a t i o pr o t o t y p e , ”  I ndone s i an   J our n al   o f   E l e c t r i c a l   E ngi ne e r i ng  and   C om put e r   Sc i e nc e ,   v o l .   12 ,   no   1,   p p.   37 8 - 385,   2 018 .     [ 3]   M a s s o l u t i o n,   C r o w ds o ur c i ng   L L C ,   C r o w df undi ng   M a r ke t   O ut l o o k   R e po r t ,   2 013 .   [ 4]   Z .   Z a ka r i a ,   N .   J a no m ,   a n N .   H .   A r s h a d,   L o w   i nc o m e   c o m m uni t y   a s   c r o w w o r ke r   f o r   c r o w ds o ur c i ng :   I s s ue s ,   c ha l l e ng e s   a nd   f ut u r e   d i r e c t i o n,   I n t e r n a t i o n a l   J o u r n a l   o f   E n g i n e e r i n g   &   T e c h n o l o g y v o l .   7 ,   n o .   4 . 3 3 ,   p p .   6 5 - 7 0 ,   2 0 1 8 .   [ 5]   N.   H .   A r s ha d ,   e t   a l . ,   M i c r o   s o ur c i ng   s t r a t e g i c   f r a m e w o r k   f o r   l o w   i nc o m e   g r o up, ”  I n t e r nat i o nal   J o ur n al   of   A dv an c e C om pu t e r   Sc i e nc e   and   A p pl i c a t i ons ,   vol 4 ,   no .   6,   pp .   97 - 105 ,   2 013 .   [ 6]   H a s s a n,   S .   R .   e t   a l . ,   C o nc e pt ua l   m o de l   f o r   a   s u s t a i n a b l e   c r o w ds o ur c i ng   e c o s y s t e m ,   P e r t ani k J our na l   Sc i e nc e   and  T e c hno l ogy ,   v o l .   2 5 pp   89 - 98 ,   201 7.     [ 7]   I.   C hr i s t e ns e a nd  C .   K a r l s s o n,   O p e i nno v a t i o a n t h e   e f f e c t s   o f   c r o w ds o ur c i ng   i a   pha r m a   e c o s y s t e m , ”  J our nal   o f   I nn ov a t i on   &   K now l e dge ,   v o l .   4 ,   no .   4,   pp .   240 - 24 7,   20 1 9.     [ 8 ]   A .   G e r v a l d ,   H R M   s y s t e m s   a n d   i m p l e m e n t a t i o n   w i t h i n   c r o w d s o u r c i ng   p l a t f o r m   e c o s y s t e m ,   U n i v e r s i t y   o f   T w e n t e ,   2 0 1 9 .     [ 9]   M .   B a z z i   a n H .   C ha m l a l ,   I nt e l l i g e nt   c r e di t   s c o r i ng   s y s t e m   us i ng   kno w l e dg e   m a n a g e m e nt , ”  I n t e r na t i ona l   J our nal   of   A r t i f i c i a l   I n t e l l i ge nc e ,   vol 8,   no 4 p p.   39 1 - 398 ,   2 019 .     [ 1 0 ]   T.   B .   R e b e l o ,   e t   a l . ,   P r i o r i t i s i n g   s p e c i e s   o f   s p e c i a l   c o n c e r n   f o r   m o n i t o r i n g   i n   t a b l e   m o u n t a i n   n a t i o n a l   p a r k :   T h e   c h a l l e n g e   o f   a   s p e c i e s - r i c h ,   t h r e a t e d e d   e c o s y s t e m , ”  I n t e r n a t i o n a l   J o u r n a l   o f   A r t i f i c i a l   I n t e l l i g e n c e ,   v o l .   5 3 ,   n o .   2 p p .   1 5 8 - 1 7 1 ,   2 0 1 1 .     [ 11]   S.   S e l v a r a j u   a nd   T .   V .   G e e t ha ,   R a nk i ng   a nd  e v a l u a t i o o f   a ut o m a t i c a l l y   c o ns t r uc t e s e m a nt i c   s e a r c pa t h s ,   I nt e r n at i on al   J o ur n al   o f   A r t i f i c i a l   I n t e l l i ge nc e ,   e l e c t r oni c   on l y ,   p p.   133 - 148 ,   2008 .     [ 12]   J.   B .   B r o w n,   T h e   us e   o f   f o c us   g r o ups   i c l i n i c a l   r e s e a r c h,   C r a bt r e e ,   B .   F . ,   &   M i l l e r ,   W i l l i am   L   ( e ds . ) .   D o i ng   qual i t at i v e   r e s e ar c h ,   T hou s and   O a k s :   S age ,   pp .   1 09 - 124 ,   199 9.   [ 13]   E .   H e r m a ns ,   F .   V.   D .   B o s s c he ,   a n G .   W e t s ,   U nc e r t a i n t y   a s s s e s s m e nt   o f   t he   r o a s a f e t y   i nde x,   R e l i ab i l i t y   E ngi ne e r i n and   Sy s t e m   S af e t y ,   v o l .   9 4,   no ,   7 ,   pp 12 20 - 1228 ,   200 8.   [ 14]   M.   S.   D .   P ut r a ,   S .   A ndr a y a na ,   F a uz i a h ,   a nd  A .   G una r y a t i ,   F uz z y   a na l y t i c a l   h i e r a r c hy   pr oc e s s   m e t ho d   t o   de t e r m i n e   t he   qu a l i t y   o f   g e m s t o n e , ”  A dv anc e s   i n   F uz z y   S y s t e m s ,   v o l .   2 018 ,   20 18.     [ 15]   N.   S .   M Z a i n i ,   e t   al . ,   S e l e c t i ng   t he   be s t   c o m po s t i ng   t e c hno l ogy   us i ng   a na l y t i c a l   hi e r a r c hy   pr oc e s s   ( A H P ) , ”  J ur nal   T e k nol og i ,   v o l .   77 ,   no .   1 ,   pp .   1 - 8,   201 5.   [ 16]   N . I . S .   S ul a i m a n,   e t   a l . ,   A na l y t i c a l   hi e r a r c hy   pr oc e s s   a nd  m a r k o c ha i i s h a r e kno w l e dg e   t hr o ug s o c i a l   m e di a ,   J ur n al   T e k no l og i ,   v o l .   77 ,   no .   5 ,   pp .   57 - 61,   20 15 .     [ 17]   P.   Z .   R a z i ,   M .   I .   A l i   a nd  N .   I   R a m l i ,   O v e r v i e w   o f   a na l y t i c a l   hi e r a r c h y   pr oc e s s   de c i s i o m a ki ng   m e t ho f o r   c o ns t r uc t i o r i s k   m a na g e m e nt ,   I O P   C on f e r e nc e   Se r i e s :   E ar t and   E nv i r onm e nt al   Sc i e nc e ,   no 244 ,   2019 .     [ 18]   K .   S c hm i d t ,   e t   al . ,   A ppl y i ng   t he   a n a l y t i c   hi e r a r c hy   pr o c e s s   i n   he a l t hc r e   r e s e a r c h :   A   S y s t e m a t i c   l i t e r a t ur e   r e v i e w   a nd  e v a l u a t i o o f   r e po r t i ng ,   B M C   M e di c al   I nf o r m a t i c s   and   D e c i s i on  M a k i n g,   v o l .   1 5,   no .   1 12 ,   pp .   1 - 27,   2 015 .     [ 19]   D.   J.   Y.   T e y ,   e t   a l . ,   A   nov e l   ne ut r o s o phi c   da t a   a na l y t i c   hi e r a r c h y   pr o c e s s   f o r   m ul t i - c r i t e r i a   d e c i s i o m a ki ng   m e t ho d :   A   c a s e   s t udy   i n   K ua l a   L um pu r   s t o c e xc ha ng e ,   s pe c i a l   s e c t i o o ne w   t r e nds   i br a i s i g na l   p r o c e s s i ng   a nd  a na l y s i s ,   I E E E   A c c e s s ,   vol 7,   pp 536 87 -   53 697 ,   2019 .     [ 20]   L .   N a ha y o ,   e t   al . ,   E s t i m a t i ng   l a nds l i de s   v ul ne r a b i l i t y   i r w a nda   us i ng   a na l y t i c   hi e r a r c hy   pr o c e s s   a nd  g e og r a phi c   i nf o r m a t i o n   s y s t e m ,   v o l .   15 ,   no .   3 ,   pp .   3 64 - 373 ,   2019 .   [ 21]   A .   S ha r m a ,   C r o w ds o ur c i ng   c r i t i c a l   s uc c e s s   f a c t o r   m o de l   s t r a t e g i e s   t o   ha r ne s s   t h e   c o l l e c t i v e   i nt e l l i g e nc e   o f     t he   c r o w d,   pp .   1 - 22,   2 010 .   [ 2 2 ]   M .   H i r t h ,   T .   H o ȕ f e l d ,   a n d   P .   T r a n - G i a ,   A n a t o m y   o f   a   c r o w d s o u r c i n g   p l a t f o r m   -   u s i n g   t h e   e x a m p l e   o f   m i c r o w o r k e r s . c o m , ”  F i f t h   I n t .   C o n f e r e n c e   o n   I n n o v a t i v e   M o b i l e   a n d   I n t e r n e t   S e r v i c e s   i n   U b i q u i t o u s   C o m p u t i n g ,   2 0 1 1 .     [ 23]   T.   L .   S a a t y ,   T he   A na l y t i c   H i e r a r c hy   P r o c e s s .   N e w   Y o r k:   M c G r a w - H i l l ,   19 80     [ 24]   T.   L   S a a t y ,   a nd   V a r g a s   L . G .   P r e d i c t i o n,   P r o j e c t i o n   a nd   F o r e c a s t i ng .   B o s t o n:   K l uw e r   A c a de m i c   P ub l i s he r s ,   1991 .   Evaluation Warning : The document was created with Spire.PDF for Python.