T E L K O M N I K A ,   V o l . 1 7 ,   N o . 5 ,   O c t o b e r   2 0 1 9 ,   p p . 2 3 2 1 ~ 2 3 2 6   I S S N :   1 6 9 3 - 6 9 3 0 ,   a c c r e d i t e d   F i r s t   G r a d e   b y   K e m e n r i s t e k d i k t i ,   D e c r e e   N o :   2 1 / E / K P T / 2 0 1 8   D O I :   1 0 . 1 2 9 2 8 / T E L K O M N I K A . v 1 7 i 5 . 1 2 0 0 5       2 3 2 1       R e c e i v e d   D e c e m b e r   9 ,   2 0 1 8 ;   R e v i s e d   A p r i l   1 5 ,   2 0 1 9 ;   A c c e p t e d   M a y   9 ,   2 0 1 9   C r o w d s o u r c i n g   i n   d e v e l o p i n g   r e p o s i t o r y   o f   p h r a s e   d e f i n i t i o n   i n   B a h a s a   I n d o n e s i a       H u s n i   T h a m r i n * 1 ,   G u n a w a n   A r i y a n t o 2 ,   I r m a   Y u l i a n a 3 ,   W a w a n   J o k o   P r a n o t o 4   1 , 2 , 3 U n i v e r s i t a s   M u h a m m a d i y a h   S u r a k a r t a ,   A   Y a n i   S t . ,   P a b e l a n ,   K a r t a s u r a ,   S u k o h a r j o ,   J a w a   T e n g a h ,   I n d o n e s i a ,   t e l :   ( + 6 2 2 7 1 ) 7 1 7 4 1 7   4 U n i v e r s i t a s   M u h a m m a d i y a h   K a l i m a n t a n   T i m u r   1 5   J u a n d a   S t . ,   S a m a r i n d a ,   K a l i m a n t a n   T i m u r ,   I n d o n e s i a ,   t e l :   ( + 6 2 5 4 1 ) 7 4 8 5 1 1   * C o r r e s p o n d i n g   a u t h o r ,   e - m a i l :   h u s n i . t h a m r i n @ u m s . a c . i d       A b s t r a c t     L a n g u a g e   r e p o s i t o r y   i s   v a l u a b l e   a s   a   r e f e r e n c e   i n   u s i n g   t h e   l a n g u a g e ,   i t s   p r e s e r v a t i o n ,   a n d   i n   d e v e l o p i n g   a n d   i m p l e m e n t a t i o n   o f   n a t u r a l   l a n g u a g e   p r o c e s s i n g   a l g o r i t h m s .   B a h a s a   I n d o n e s i a   i s   o n e   o f   n a t u r a l   l a n g u a g e s   t h a t   h a r d l y   h a s   r e p o s i t o r y   d e s p i t e   i t s   l a r g e   n u m b e r   o f   s p e a k e r s   a n d   p r e v i o u s   a t t e m p t s   t o   b u i l d   o n e s .   W e   d e v i s e d   a   w a y   t o   d e v e l o p   r e p o s i t o r y   o f   p h r a s e   d e f i n i t i o n   i n   B a h a s a   u s i n g   a   k i n d   o f   c r o w d s o u r c i n g   a n d   i n v e s t i g a t e d   i t s   i m p l e m e n t a t i o n .   A n   a p p l i c a t i o n   a d d - o n   w a s   i n s e r t e d   t o   a n   i n f o r m a t i o n   s y s t e m   t h a t   m a n a g e s   f i n a l   y e a r   p r o j e c t s   o f   u n d e r g r a d u a t e   s t u d e n t s .   T h e   a d d - o n   i n v i t e s   s t u d e n t s   t o   p a r t i c i p a t e   i n   w r i t i n g   k e y w o r d   d e f i n i t i o n   a n d   v a l i d a t i n g   d e f i n i t i o n .   I n v e s t i g a t i o n   i n   a   p e r i o d   o f   s i x   m o n t h s   r e v e a l s   t h a t   a b o u t   2 5 %   o f   a p p l i c a t i o n   u s e r s   t a k e   p a r t s   i n t o   t h e   v o l u n t a r y   a c t i v i t i e s   e i t h e r   a s   d e f i n i t i o n   w r i t e r s   a n d / o r   v a l i d a t o r s .   D u r i n g   t h e   p e r i o d ,   a b o u t   1 2 0 0   p h r a s e   d e f i n i t i o n s   w e r e   a d d e d   i n t o   t h e   r e p o s i t o r y   a n d   i n   a v e r a g e   e a c h   d e f i n i t i o n   i s   v a l i d a t e d   b y   t w o   p a r t i c i p a n t s .   T h e   a c t i v i t y   i s   s u p p o r t e d   b y   u s e r s   t h a t   a r e   w e l l   a w a r e   o f   t h e   t a s k s ,   a n d   h a v e   p o s i t i v e   p e r c e p t i o n   a b o u t   t h e   w o r k ,   d e s p i t e   d i f f e r e n t   r e a s o n s   t h a t   m o t i v a t e   t h e i r   c o n t r i b u t i o n .       K e y w o r d s :   B a h a s a   I n d o n e s i a ,   c r o w d s o u r c i n g ,   r e p o s i t o r y       C o p y r i g h t   ©   2 0 1 9   U n i v e r s i t a s   A h m a d   D a h l a n .   A l l   r i g h t s   r e s e r v e d .       1 .   I n t r o d u c t i o n   A   r e p o s i t o r y   i s   a   p l a c e   t h a t   s t o r e s   r e s o u r c e s   c o n t a i n i n g   a n   l a r g e   s i z e   o f   d a t a ,   u s u a l l y   w i t h   t o o l s   t o   a c c e s s   t h e   d a t a   [ 1 ] .   A   l a n g u a g e   r e p o s i t o r y   i s   a   r e p o s i t o r y   t h a t   s t o r e s   l a n g u a g e   r e s o u r c e s   i n   v a r i o u s   t y p e s ,   s u c h   a s   w o r d s ,   p h r a s e s ,   s e n t e n c e s ,   a n d   p a r a g r a p h s ,   w h i c h   i s   s t o r e d   a n d   p r o c e s s e d   b y   e l e c t r o n i c   m e a n s .   T h e   l a n g u a g e   r e p o s i t o r y   ( o r   c o m m o n l y   c a l l e d   c o r p u s )   m a y   b e   i n   t h e   f o r m   o f   d i c t i o n a r y ,   t h e s a u r u s ,   o r   c o l l e c t i o n   o f   a n n o t a t e d   t e x t s .   L a n g u a g e   r e p o s i t o r i e s   a r e   i m p o r t a n t   a s   a   r e f e r e n c e   i n   u s i n g   t h e   l a n g u a g e   a n d   t h e y   c a n   b e   v a l u a b l e   t o   p r e s e r v e   a   l a n g u a g e   a l o n g   w i t h   t h e   c u l t u r a l   c o n t e x t   [ 2 ] .   I n   t h e   f i e l d   o f   n a t u r a l   l a n g u a g e   p r o c e s s i n g ,   l a n g u a g e   c o r p o r a   p l a y s   i m p o r t a n t   r o l e   t o   r u n   a p p l i c a t i o n s   t h a t   u s e   l a n g u a g e   d e p e n d e n t   a l g o r i t h m s .   C o r p o r a   i n   t h e   f o r m   o f   N - g r a m ,   f o r   e x a m p l e ,   c a n   b e   u s e d   i n   w o r d   a n d   s e n t e n c e   s i m i l a r i t y   c a l c u l a t i o n   [ 3 ,   4 ] .   L a n g u a g e   c o r p o r a   a r e   a l s o   e s s e n t i a l   a s   t e s t i n g   m a t e r i a l s   i n   t h e   d e v e l o p m e n t   o f   m e t h o d s ,   s u c h   a s   t h o s e   i m p l e m e n t e d   i n   c l a s s i f i c a t i o n ,   s p e e c h   r e c o g n i t i o n ,   a n d   m a c h i n e   t r a n s l a t i o n   [ 5 7 ] .   S u p e r v i s e d   a l g o r i t h m s   u s e   c o r p o r a   a s   t r a i n i n g   d a t a ,   w h i l e   u n s u p e r v i s e d   m e t h o d s   m a y   u s e   c o r p o r a   a s   t e s t i n g   d a t a   t o   a s s e s s   a l g o r i t h m   p e r f o r m a n c e .   E v e n   l a n g u a g e   i n d e p e n d e n t   m e t h o d s   m a y   n e e d   c o r p o r a   i n   p r o v i n g   t h e   a p p l i c a b i l i t y   o f     t h e   m e t h o d s   i n   a   t a r g e t   l a n g u a g e .   B a h a s a   I n d o n e s i a   i s   t h e   f o r m a l   l a n g u a g e   i n   I n d o n e s i a   s o   i t   h a s   a   l a r g e   n u m b e r   o f   u s e r s   a s   m o r e   t h a n   2 0 0   m i l l i o n   p e o p l e   r e s i d e   i n   t h e   c o u n t r y .   U n f o r t u n a t e l y ,   l a n g u a g e   r e p o s i t o r y   i n   B a h a s a   i s   s c a r c e .   T h e   l a r g e s t   o p e n   r e p o s i t o r y   i s   i n   t h e   f o r m   o f   B i g   D i c t i o n a r y   t h a t   i s   w i d e l y   a v a i l a b l e   i n   p r i n t   a n d   i s   a l s o   a c c e s s i b l e   o n l i n e   [ 8 ] .   H o w e v e r ,   m a n y   d e f i n i t i o n s   i n   B i g   D i c t i o n a r y   a r e   o u t d a t e d .   A   b o o k   c o n t a i n i n g   t h e s a u r u s   i n   B a h a s a   h a s   b e e n   p u b l i s h e d   b u t   t h e   n u m b e r   o f   i t e m s   i s   s m a l l   [ 9 ] .   M a n y   r e s e a r c h e s   c l a i m   t h a t   t h e y   u s e   d a t a   r e p o s i t o r y   t h e y   h a v e   b u i l t   d u r i n g   r e s e a r c h   a n a l y s i s   b u t   m o s t   r e p o s i t o r i e s   a r e   n o t   o p e n l y   a v a i l a b l e   [ 1 0 ,   1 1 ] .   D e v e l o p i n g   l a n g u a g e   r e p o s i t o r i e s   c a n   b e   c o s t l y   f o r   d a t a   c o l l e c t i o n ,   a n n o t a t i o n ,   a n d   v a l i d a t i o n   [ 1 2 ,   1 3 ] .   M a n y   p a r t i e s   h a v e   a t t e m p t e d   t o   b u i l d   r e p o s i t o r i e s   o f   B a h a s a   b u t   t h e   r e s u l t   s e e m s   t o   h a v e   b e e n     u n e x c i t i n g   [ 1 4 1 7 ] .   E x p e r t s   o r   n a t u r a l   s p e a k e r s   m a y   n e e d   t o   g e t   i n v o l v e d   t o   v a l i d a t e   o r   a n n o t a t e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                          I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 7 ,   N o .   5 ,   O c t o b e r   2 0 1 9 :     2 3 2 1 - 2 3 2 6   2 3 2 2   t h e   i t e m s .   T h i s   w r i t i n g   d e s c r i b e s   a n   e f f o r t   t o   b u i l d   r e p o s i t o r y   o f   p h r a s e   d e f i n i t i o n   i n   B a h a s a   I n d o n e s i a .   T h e   e f f o r t   i s   c o n d u c t e d   u t i l i z i n g   t e c h n o l o g y   m e d i a t e d   s o c i a l   p a r t i c i p a t i o n   t h r o u g h   S i S ,   a n   a p p l i c a t i o n   t h a t   m a n a g e s   u n d e r g r a d u a t e   s t u d e n t   i n   t h e i r   f i n a l   p r o j e c t .   S u c h   a   m o d e l   o f   r e p o s i t o r y   c o n s t r u c t i o n   i s   c o m m o n l y   c a l l e d   c r o w d s o u r c i n g ,   w h i c h   d e s c r i b e s   a n   a c t i v i t y   i n   t a k i n g   a   t a s k   o n c e   p e r f o r m e d   b y   e m p l o y e e s   a n d   o u t s o u r c i n g   i t   t o   a   l a r g e   n e t w o r k   o f   p e o p l e   [ 1 8 ] .       2 .         R e s e a r c h   M e t h o d   2 . 1 .   A p p l i c a t i o n   A n   a p p l i c a t i o n   n a m e d   S i S   h a s   b e e n   u s e d   t o   c o l l e c t   d a t a   f r o m   t h e   c r o w d .   T h e   m a i n   p u r p o s e   o f   t h e   a p p l i c a t i o n   i s   t o   m a n a g e   u n d e r g r a d u a t e   s t u d e n t   f i n a l   p r o j e c t .   T h e   l o n g   t e r m   u s e   o f   t h e   a p p l i c a t i o n   m a k e   i t   p o t e n t i a l l y   s u i t a b l e   f o r   i m p l e m e n t a t i o n   o f   t h e   c r o w d s o u r c i n g   m o d e l .   A t   t h e   e n d   o f   u n d e r g r a d u a t e   s t u d y ,   a   s t u d e n t   w i l l   d o   a   b r i e f   r e s e a r c h   p r o j e c t   a n d   w r i t e   a   s c i e n t i f i c   p a p e r   t h a t   e x p l a i n s   t h e   r e s u l t .   T h e   p r o j e c t   p r o p o s a l   s h a l l   c o n s i s t   o f   a   t i t l e ,   p a r a g r a p h s   o f   d e s c r i p t i o n ,   a n d   s e v e r a l   k e y w o r d s .   D u r i n g   r e s e a r c h   a c t i v i t i e s ,   s t u d e n t s   h a v e   t o   w r i t e   t h e i r   p r o g r e s s   i n   a n   o n l i n e   l o g   b o o k ,   f o r   a t   l e a s t   e i g h t   t i m e s .   A   c o m p a n i o n   a p p l i c a t i o n   a d d - o n   h a s   b e e n   i n s e r t e d   i n t o   t h e   m a i n   a p p l i c a t i o n .   E v e r y   a f t e r   t h e   t h i r d   t i m e   a   s t u d e n t   w r i t e   a   l o g ,   t h e   a d d - o n   d i s p l a y s   a   s m a l l   p o p - u p   b o x   t o   a t t r a c t   s t u d e n t   a t t e n t i o n .   T h e   p o p - u p   b o x   c o n t a i n s   a   m e s s a g e   t h a t   i n v i t e s   s t u d e n t s   t o   p a r t i c i p a t e   i n   d e v e l o p i n g   o r   v a l i d a t i n g   r e p o s i t o r y   i t e m s .   T h e   p a r t i c i p a t i o n   i s   n o t   o b l i g a t o r y ,   w h i c h   m a y   e l i m i n a t e   u n i n t e r e s t e d   p a r t i e s   t o   j o i n   a n d   t a k e   p a r t .   W h e n   a   s t u d e n t   c l i c k s   a   l i n k   i n   t h e   p o p - u p   b o x ,   t h e   s y s t e m   w i l l   r e d i r e c t   t o   w e b   p a g e s   t h a t   e n a b l e   t h e   u s e r   t o   c o n t r i b u t e ,   e i t h e r   b y   w r i t i n g   a   n e w   d e f i n i t i o n   o f   p h r a s e s   o r   v a l i d a t i n g   p h r a s e   d e f i n i t i o n s .   N o w   b e c a u s e   s t u d e n t   s c i e n t i f i c   p a p e r s   a r e   w r i t t e n   i n   B a h a s a   I n d o n e s i a ,   t h e   r e s u l t i n g   r e p o s i t o r y   w i l l   b e   i n   B a h a s a .     2 . 2 .   D a t a   C o l l e c t i o n   a n d   A n a l y s i s   T h e   a p p l i c a t i o n   i s   r e l a t i v e l y   n e w   f o r   t h e   u n i v e r s i t y ,   a n d   t h e   a d d - o n   i s   e v e n   l a t e r .   A f t e r   o n e   s e m e s t e r   r u n n i n g ,   w e   i n v e s t i g a t e d   t h e   n u m b e r   o f   s t u d e n t s   s e r v e d   b y   t h e   s y s t e m   a n d     t h e   n u m b e r   o f   s t u d e n t s   t h a t   c o n t r i b u t e s   i n   c r o w d s o u r c i n g   a c t i v i t i e s .   M o r e   i m p o r t a n t l y ,   w e   c a l c u l a t e d   t h e   n u m b e r   o f   p h r a s e   d e f i n i t i o n s ,   a n d   t h e   n u m b e r   o f   d e f i n i t i o n   v a l i d a t i o n   c o n t r i b u t e d   b y   t h e   c r o w d .   L a t e r ,   w e   i n v e s t i g a t e d   s t u d e n t s   w i t h   m o s t   c o n t r i b u t i o n s   a n d   i n v i t e d   t h e m   i n t o   a   s u r v e y .   O f   3 4   s t u d e n t s   i n v i t e d ,   1 6   s t u d e n t s   s h o w e d   u p   a n d   t o o k   p a r t   i n   t h e   s u r v e y .   W e   h a d   p r e p a r e d   a   q u e s t i o n n a i r e   c o n t a i n i n g   2 2   q u e s t i o n s   a s k i n g   a b o u t   t h e   a p p l i c a t i o n   f e a t u r e   a n d   s t u d e n t   p e r c e p t i o n   w h i c h   n e e d   s t u d e n t   c o n f o r m a t i o n s   a s   s h o w n   i n   T a b l e   1 .   T h e   q u e s t i o n s   a r e   g r o u p e d   u n d e r   4   c a t e g o r i e s   a n d   w e r e   i n t e n d e d   t o   o b s e r v e   t h e   u s e r   k n o w l e d g e   a n d   p e r c e p t i o n ,   p r o d u c t   u s a b i l i t y   a n d   u s e r   i n t e r e s t .       T a b l e   1 .   Q u e s t i o n n a i r e   t o   c o n t r i b u t i n g   u s e r s   S t a t e m e n t   K n o w l e d g e   1 .   I   a m   a w a r e   o f   t h e   f e a t u r e   t o   c o n t r i b u t e   o n   k e y w o r d   d e f i n i t i o n   a n d   d e f i n i t i o n   v a l i d a t i o n ,   i n   a p p l i c a t i o n   S i S .   2 .   I   u n d e r s t a n d   t h e   p u r p o s e   o f   t h e   f e a t u r e s   r e l a t e d   t o   k e y w o r d s   i n   S i S   3 .   T h e   k e y w o r d   i n   a   s c i e n t i f i c   a r t i c l e   a n d   t h e s i s   i s   n o   m o r e   t h a n   a   l e s s   u s e f u l   c o m p l e m e n t .   4 .   A   s c i e n t i f i c   t e r m   o r   k e y w o r d   n e e d s   t o   b e   e x p l a i n e d   i n   t e r m s   o f   t h e   d e f i n i t i o n   o f   t e r m s .   5 .   A   s c i e n t i f i c   t e r m   o r   k e y w o r d   c a n   o n l y   h a v e   o n e   d e f i n i t i o n .   U s a b i l i t y   1 .   I   b e l i e v e   t h a t   t h e   k e y w o r d   c o n t r i b u t i o n   f e a t u r e   i n   a p p l i c a t i o n   S i S   h a s   b e n e f i t s .   2 .   I   u n d e r s t a n d   t h e   u s e f u l n e s s   o f   k e y w o r d s   i n   a   s c i e n t i f i c   a r t i c l e   o r   t h e s i s .   3 .   T h e   d e f i n i t i o n   o r   m e a n i n g   o f   a   k e y w o r d   i s   n e e d e d   t o   l e a r n   t h e   t o p i c   a n d   s c o p e   o f   d i s c u s s i o n   i n   a   s c i e n t i f i c   a r t i c l e   a n d   t h e s i s .   4 .   V a l i d a t i o n   o f   k e y w o r d   d e f i n i t i o n s   i s   n o t   n e e d e d .   5 .   Y o u n g e r   s t u d e n t s   w i l l   b e n e f i t   f r o m   m y   c o n t r i b u t i o n   i n   d e f i n i n g   o r   v a l i d a t i n g   t h e   d e f i n i t i o n   o f   k e y w o r d s .   P e r c e p t i o n   1 .   T h e   k e y w o r d   c o n t r i b u t i o n   f e a t u r e   f o r   k e y w o r d   d e f i n i t i o n   a n d   v a l i d a t i o n   h a s   a n   i m p o r t a n t   r o l e   i n     t h e   a p p l i c a t i o n   S i S .   2 .   T h e   k e y w o r d   c o n t r i b u t i o n   f e a t u r e   i n   S i S   h e l p s   u s e r s   t o   w o r k   o n   t h e i r   t h e s i s .   3 .   T h e   k e y w o r d   d e f i n i t i o n   f e a t u r e   i n   S i S   g i v e s   u s e r s     t h e   f r e e d o m   t o   d e f i n e   a c c o r d i n g   t o   t h e i r   u n d e r s t a n d i n g   ( w i t h   t h e i r   o w n   s e n t e n c e s ) .   4 .   F e a t u r e s   o f   k e y w o r d   c o n t r i b u t i o n s   i n   S i S   a r e   r e l e v a n t   t o   t h e   n e e d s   o f   t h e   t h e s i s   c o m p l e t i o n .   5 .   T h e   k e y w o r d   v a l i d a t i o n   f e a t u r e   i n   S i S   p r o v i d e s   n o   o p t i o n   t o   u s e r s   t o   g i v e   t h e i r   o p i n i o n s .   6 .   T h e   k e y w o r d   c o n t r i b u t i o n   f e a t u r e   i n   S i S   m a k e s   i t   e a s y   f o r   u s e r s   t o   e x p r e s s   t h e i r   o p i n i o n s .   7 .   T h e   k e y w o r d   c o n t r i b u t i o n   f e a t u r e   g i v e s   m e   a   n o n - m a t e r i a l   /   s a t i s f a c t o r y   r e w a r d   f o r   m y   p a r t i c i p a t i o n .   8 .   S i S   s u p p o r t   t h e   a c h i e v e m e n t   o f   g o o d   q u a l i t y   t h e s i s .   I n t e r e s t   1 .   I   p a r t i c i p a t e   i n   d e f i n i n g   /   v a l i d a t i n g   k e y w o r d s   b e c a u s e   i t   a f f e c t s   s c o r e   o f   m y   p r o j e c t .   2 .   I   l o v e   g e t t i n g   r e w a r d s   e v e r y   t i m e   I   p a r t i c i p a t e   i n   m a k i n g   d e f i n i t i o n s   /   v a l i d a t i n g   k e y w o r d s .   3 .   I   p a r t i c i p a t e d   i n   d e f i n i n g   /   v a l i d a t i n g   b e c a u s e   I   w a s   a s k e d   b y   m y   s u p e r v i s o r .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       C r o w d s o u r c i n g   i n   d e v e l o p i n g   r e p o s i t o r y   o f   p h r a s e   d e f i n i t i o n . . .   ( H u s n i   T h a m r i n )   2 3 2 3 T h e   f i r s t   c a t e g o r y   i s   a b o u t   k n o w l e d g e   t h a t   d r i v e s   t h e   u s e r   i n t o   t h a t   f e a t u r e .   T h e   s e c o n d   c a t e g o r y   i s   a b o u t   u s e r   p e r c e p t i o n   d u r i n g   t h e   i n t e r a c t i o n   w i t h   t h e   s y s t e m ,   i n c l u d i n g   t h e   k e y w o r d   s i g n i f i c a n c e   f o r   t h e i r   w o r k   ( i m p o r t a n c e   a n d   r e l e v a n c e ) .   T h e   t h i r d   c a t e g o r y   o b s e r v e s   p r o d u c t   u s a b i l i t y   w h e t h e r   u s e r   c o n t r i b u t i o n   g i v e s   b e n e f i t s .   T h e   l a s t   c a t e g o r y   i s   u s e r   i n t e r e s t .   T h e   m a i n   p u r p o s e   o f   t h e   r e s e a r c h   i s   t o   i n d i c a t e   w h e t h e r   t h e   i n f o r m a t i o n   s y s t e m   m a y   b e   e m p l o y e d   t o   d o   c r o w d s o u r c i n g .   R e s p o n d e n t s   n e e d   t o   s t a t e   w h e t h e r   t h e y   s t r o n g l y   a g r e e ,   a g r e e ,   d i s a g r e e ,   o r   s t r o n g l y   d i s a g r e e   o n   e a c h   s t a t e m e n t   i n   t h e   q u e s t i o n n a i r e .   T h e   r e s p o n s e   w e r e   t h e n   m e t e r e d   u s i n g   L i k e r t   S c a l e   a n d   e a c h   r e s p o n s e   i s   c o n v e r t e d   i n t o   o n e   o f   t h e   v a l u e s   4 ,   3 ,   2 ,     1 ,   c o r r e s p o n d i n g l y .       3 .         R e s u l t   a n d   D i s c u s s i o n   3 . 1 .   R e s u l t   A f t e r   a   y e a r   o f   i m p l e m e n t a t i o n ,   t h e   n u m b e r   o f   a p p l i c a t i o n   u s e r s   h a v e   g r o w n   a n d   r e a c h e d   a   s t e a d y   n u m b e r   o f   a b o u t   1 0 0 0   p e o p l e .   U s e r s   c o m e   a n d   g o   b e c a u s e   o f   t h e   n a t u r e   o f   s t u d e n t   f i n a l   p r o j e c t   a c t i v i t y .   S t u d e n t s   d o   a   f i n a l   p r o j e c t   f o r   o n e   s e m e s t e r   i n   a v e r a g e   a n d   t h o u g h   s o m e   e x t e n d s   f o r   a n o t h e r   s e m e s t e r ,   t h e y   w i l l   e v e n t u a l l y   f i n i s h   t h e i r   w o r k ,   p a s s   t h e   c o u r s e ,   g r a d u a t e   a n d   f i n a l l y   c e a s e   a c c e s s i n g   t h e   a p p l i c a t i o n .   A v e r a g e   u s e r s   c a n   b e   a s s u m e d   t o   h a v e   a c c e s s   t o   t h e   s y s t e m   f o r   s i x   m o n t h s   ( o r   o n e   s e m e s t e r ) ,   h e n c e   o u r   a n a l y s i s   m a y   b e   c r o p p e d   i n t o   a   f r a m e   o f   s i x   m o n t h s .   W e   h a v e   s e l e c t e d   a   t i m e   f r a m e   f r o m   F e b r u a r y   u n t i l   A u g u s t   2 0 1 8   f o r   a n a l y s i s .   A s   t h e   a p p l i c a t i o n   w a s   r e l a t i v e l y   n e w ,   t h e   n u m b e r   o f   u s e r s   w e r e   s t i l l   g r o w i n g   f r o m   2 0 5   i n   F e b r u a r y   t o   1 0 8 6   i n   A u g u s t .   T h e   g r o w t h   w a s   q u i c k   i n   e a r l y   p h a s e   o f   t h e   s e m e s t e r   a n d   w a s   v e r y   s l o w   b y   t h e   e n d   o f   t h e   s e m e s t e r .   O n     t h e   s a m e   p e r i o d ,   t h e   n u m b e r   u s e r s   t h a t   p a r t i c i p a t e d   a s   d e f i n e r s   a n d   v a l i d a t o r s   w e r e   a l s o   g r o w i n g ,   b u t   w i t h   s t e a d i e r   a n d   s l o w e r   r a t e .   N o t   a l l   u s e r s   p a r t i c i p a t e   i n   c r o w d s o u r c i n g   a c t i v i t i e s .   I n   F e b r u a r y ,   a b o u t   1 7 %   u s e r s   c o n t r i b u t e d   i n   w r i t i n g   d e f i n i t i o n s ,   i . e .   b e i n g   d e f i n e r s ,   a n d   t h e   p r o p o r t i o n   i n c r e a s e d   s l o w l y   a n d   r e a c h e d   a   v a l u e   o f   2 5 %   i n   A u g u s t .   F o r   A u g u s t ,   t h e   p e r c e n t a g e   i s   e q u i v a l e n t   t o   2 7 1   u s e r s .   S m a l l e r   p r o p o r t i o n   i s   s e e n   f o r   u s e r s   t h a t   i n v o l v e d   t h e m s e l v e s   i n   v a l i d a t i o n ,   w h i c h   r a n g e s   f r o m   1 2 %   t o   1 7 %   o f   t h e   t o t a l   u s e r s   a s   s h o w n   i n   s e e   F i g u r e   1 .           F i g u r e   1 .   N u m b e r   o f   u s e r s ,   d e f i n e r s   a n d   v a l i d a t o r s   d u r i n g   t h e   p e r i o d   o f   o b s e r v a t i o n       D e s p i t e   t h e   s m a l l e r   n u m b e r   o f   u s e r s   t o   d o   t h e   t a s k ,   v a l i d a t i o n   h a s   m o r e   p r o d u c t i v e   o u t p u t   t h a n   d e f i n i t i o n   w r i t i n g .   T h e   p h e n o m e n o n   h a s   a   s t r a i g h t f o r w a r d   e x p l a n a t i o n   b e c a u s e   v a l i d a t i n g   a   d e f i n i t i o n   n e e d s   m u c h   l e s s   e f f o r t   t h a n   w r i t i n g   a   d e f i n i t i o n .   A   u s e r   j u s t   n e e d   t o   c l i c k   a   m u l t i p l e   c h o i c e   o p t i o n   a n d   c l i c k   a   b u t t o n   t o   s e l e c t   w h e t h e r   o r   n o t   a   p h r a s e   d e f i n i t i o n   i s   a c c u r a t e / a c c e p t a b l e   o r   n o t .   F i g u r e   2   t e l l s   t h a t   t h e   n u m b e r   o f   p h r a s e s   i n c r e a s e d   b y   m o r e   t h a n   3 0 0 0   i t e m s   d u r i n g   t h e   p e r i o d   o f   F e b r u a r y   t o   A u g u s t .   T h e   s a m e   p e r i o d   s a w   t h e   i n c r e a s e   o f   d e f i n i t i o n   b y   a b o u t   1 3 0 0   i t e m s   w h i l e   t h e   n u m b e r   o f   v a l i d a t i o n   i s   i n c r e a s e d   b y   m o r e   t h a n     2 7 0 0   i t e m s .   T h e   f i g u r e s   i m p l y   t h a t   a b o u t   4 0 %   o f   n e w   p h r a s e s   g e t   d e f i n i t i o n   f r o m   u s e r s   a n d   i n   a v e r a g e   e a c h   d e f i n i t i o n   i s   v a l i d a t e d   b y   t w o   u s e r s .   M o s t   o f   2 7 1   u s e r s   t h a t   c o n t r i b u t e d   i n   w r i t i n g   d e f i n i t i o n   d i d   t h e   a c t i v i t y   f o r   p h r a s e s   i n   t h e i r   o w n   s c i e n t i f i c   p a p e r ,   i . e .   f o r   t h e i r   o w n   p r o j e c t .   I n t e r e s t i n g l y ,   t h e r e   w e r e   a b o u t   3 4   p e o p l e   t h a t   w r o t e   a t   l e a s t   7   p h r a s e   d e f i n i t i o n   w h i c h   m e a n s   t h a t   t h e y   h a v e   w r i t t e n   d e f i n i t i o n s   f r o m   o t h e r   1 2 3 4 5 6 7 8 9 0 2 0 0 4 0 0 6 0 0 8 0 0 1 0 0 0 1 2 0 0 U s e r s D e f i n e r s V a l i d a t o r s M o n t h Evaluation Warning : The document was created with Spire.PDF for Python.
                                          I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 7 ,   N o .   5 ,   O c t o b e r   2 0 1 9 :     2 3 2 1 - 2 3 2 6   2 3 2 4   s t u d e n t s   p r o j e c t .   T h e   l a t t e r s   w e r e   r e a l l y   e n g a g e d   w i t h   c r o w d s o u r c i n g   a c t i v i t y   w h i c h   i s     t h e   r e a s o n   f o r   t h e m   t o   b e   i n v i t e d   t o   f i l l   i n   a   q u e s t i o n n a i r e   f o r   f u r t h e r   i n v e s t i g a t i o n   a s   w h y   t h e y   w e r e   k e e n   t o   c o n t r i b u t e .           F i g u r e   2 .   N u m b e r   o f   p h r a s e ,   p h r a s e   d e f i n i t i o n   a n d   v a l i d a t i o n   d u r i n g   t h e   p e r i o d   o f   o b s e r v a t i o n .       R e s p o n s e   o f   u s e r s   a g a i n s t   t h e   q u e s t i o n n a i r e   i s   d i s p l a y e d   i n   F i g u r e   3 .   R e s p o n s e   f o r   a l l   c a t e g o r y   i s   m o r e   t h a n   3   i n   L i k e r t   S c a l e   w h i c h   m e a n s   t h a t   r e s p o n d e n t s   a r e   i n   a v e r a g e   a g r e e   t o   s t r o n g l y   a g r e e   w i t h   s t a t e m e n t s   i n   t h e   q u e s t i o n n a i r e .   M o s t   u s e r s   t h a t   w e r e   i n v o l v e d   i n   c r o w d s o u r c i n g   w e r e   w e l l   a w a r e   o f   t h e   t a s k s .   T h e y   k n e w   w h a t   t h e y   w e r e   d o i n g   a n d   w h a t   i t   w a s   a l l   a b o u t .   T h e y   a l s o   h a v e   p o s i t i v e   p e r c e p t i o n   t o   t h e   f e a t u r e   o f   d e f i n i n g   p h r a s e s   a n d   v a l i d a t i n g   d e f i n i t i o n s   a n d   f e e l   s o m e h o w   t h e   f e a t u r e   i s   u s e f u l .           F i g u r e   3 .   R e s p o n s e   o f   u s e r s   t h a t   w e r e   a c t i v e   i n   c r o w d s o u r c i n g ;     C a t e g o r y   A   i s   k n o w l e d g e ,   B   i s   p e r c e p t i o n ,   a n d   C   i s   u s a b i l i t y       C a t e g o r y   D   o f   t h e   q u e s t i o n n a i r e   a s k s   a b o u t   u s e r   i n t e n t i o n   i n   t a k i n g   p a r t   i n   c r o w d s o u r c i n g   a c t i v i t i e s .   A m o n g   1 6   s t u d e n t s   t h a t   f i l l e d   i n   t h e   q u e s t i o n n a i r e ,   t e n   s t u d e n t s   t h o u g h t   t h a t   t h e y   w o u l d   g e t   a d d i t i o n a l   s c o r e   i n   t h e i r   f i n a l   p r o j e c t   b y   g e t t i n g   i n v o l v e d   i n     t h e   a c t i v i t i e s ,   s e v e n   s a i d   t h a t   t h e y   d i d   i t   b e c a u s e   t h e i r   s u p e r v i s o r   s u g g e s t e d   t h e m   t o .   M o s t   o f   t h e m   ( o r   1 3 )   s a i d   t h a t   t h e y   g o t   a   s o r t   o f   r e w a r d   b y   d o i n g   t h e   g o o d   t h i n g .   W e   o b s e r v e d   a t   l e a s t   t h r e e   s t u d e n t s   w h i c h   d i d   a l l   t h e   w o r k s   p u r e l y   f o r   t h e   s a k e   o f   g o o d n e s s .     3 . 2 .   D i s c u s s i o n   A n   i n f o r m a t i o n   s y s t e m   t h a t   m a n a g e s   u n d e r g r a d u a t e   s t u d e n t   f i n a l   p r o j e c t s   h a s   b e e n   d e p l o y e d   a s   w e l l   a s   t h e   a d d - o n   t o   c r o w d   s o u r c e   a   r e p o s i t o r y   o f   p h r a s e   d e f i n i t i o n .   T h e   s t u d e n t   u s e r s   m a k e   d e f i n i t i o n s   o f   k e y w o r d s   t h a t   t h e y   u s e   i n   t h e i r   s c i e n t i f i c   p a p e r   a s   p a r t   o f   t h e i r   f i n a l   p r o j e c t .   A s i d e   f r o m   p h r a s e   d e f i n i t i o n ,   s t u d e n t s   a r e   o p t e d   t o   v a l i d a t e   d e f i n i t i o n s   w r i t t e n   b y   t h e i r   f r i e n d s .   T h e   a c t i v i t i e s   o f   w r i t i n g   p h r a s e   d e f i n i t i o n s   a n d   v a l i d a t i n g   d e f i n i t i o n s   a r e   n o t   o b l i g a t o r y .   I n s t e a d ,   a   p o p - u p   b o x   s h o w s   u p   t o   u s e r s   r a n d o m l y   a n d   i n t e r m i t t e n t l y ,   i n v i t i n g   t h e m   t o   j o i n   c r o w d s o u r c i n g   a c t i v i t i e s   [ 1 9 ] .   T h e   p o p - u p   b o x   i s   l i k e   a n   o p e n   c a l l   t o   a l l   r e g i s t e r e d   u s e r s .     T h e   a p p l i c a t i o n   g i v e s   a   s o r t   o f   r e w a r d   i n   t h e   f o r m   o f   v i r t u a l   s c o r e   a n d   m e d a l s .   M o r e o v e r ,     t h e   a p p l i c a t i o n   h a s   a   l a r g e   n u m b e r   o f   a c t i v e   u s e r s ,   h e n c e   i t   f i t s   t h e   c o n d i t i o n s   t o   u s e   i n   c r o w d s o u r c i n g .   1 2 3 4 5 6 7 8 9 0 5 0 0 1 0 0 0 1 5 0 0 2 0 0 0 2 5 0 0 3 0 0 0 3 5 0 0 4 0 0 0 P h r a s e D e f i n i t i o n V a l i d a t i o n M o n t h A B C 1 1 . 5 2 2 . 5 3 3 . 5 4 C a t e g o r y S c o r e Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       C r o w d s o u r c i n g   i n   d e v e l o p i n g   r e p o s i t o r y   o f   p h r a s e   d e f i n i t i o n . . .   ( H u s n i   T h a m r i n )   2 3 2 5 T h e   a p p l i c a t i o n   h a s   a t t r a c t e d   u p   t o   2 5 %   r e g i s t e r e d   u s e r s   t o   c o n t r i b u t e .   T h i s   n u m b e r   i s   w e l l   a b o v e   a n   e x p e c t e d   v a l u e   o f   1 0 %   u s e r s   a s   p r e d i c t e d   b y   [ 2 0 ]   w h o   s t a t e d   t h a t   9 0 %   o f   u s e r s   a r e   e x p e c t e d   t o   b e   p a s s i v e .   W e   s p o t t e d   a p p r o x i m a t e l y   3 %   o f   u s e r s   g i v e   m u c h   h i g h e r   c o n t r i b u t i o n   t h a n   a v e r a g e   u s e r s .   O n e   u s e r   s h o w s   e x c e p t i o n a l   w o r k   b y   c o n t r i b u t i n g   5 1   w o r d   d e f i n i t i o n s   a l o n e .   T h e   c o n t r i b u t i o n   f i g u r e   i s   n o t   c o m p a r a b l e   o f f   c o u r s e   t o   t h e   w o r k   b y     t h e   M a d m a n   i n   W i n c h e s t e r s   t a l e   [ 2 1 ] ,   b u t   t h e   r e s u l t   f o r   u s   i s   n o t   l e s s   i m p o r t a n t .   T h e   n u m b e r   o f   r e p o s i t o r y   i t e m s   h a s   b e e n   g r o w i n g   s i n c e   t h e   a p p l i c a t i o n   a d d - o n   w a s   d e p l o y e d .   P h r a s e   d e f i n i t i o n s   i n c r e a s e s   b y   a b o u t   2 0 0   n e w   e n t r i e s   e a c h   m o n t h ,   t h o u g h     t h e   g r o w t h   i s   u n s t e a d y   i n   t h e   r a n g e   o f   1 5 0 2 5 0   i t e m s .   O n   t h e   o t h e r   h a n d ,   d e f i n i t i o n   v a l i d a t i o n   i n c r e a s e s   p r o g r e s s i v e l y   d u r i n g   t h e   p e r i o d   o f   o b s e r v a t i o n ,   b u t   t h e   i n c r e a s e   a p p e a r s   t o   r e a c h   a   s t e a d y   v a l u e   o f   4 0 0   v a l i d a t i o n   i n   f u r t h e r   m o n t h s   ( S e p t e m b e r   a n d   O c t o b e r ) .   T h e   r e s u l t   i s   s t i m u l a t i n g .   I f   t h e   g r o w t h   i s   s t e a d y   a t   t h e   a f o r e m e n t i o n e d   r a t e ,   w e   w o u l d   o p t i m i s t i c a l l y   h a v e   a   d i c t i o n a r y   o f   s c i e n t i f i c   t e r m s   w i t h   t e n   t h o u s a n d   e n t r i e s   a f t e r   f o u r   y e a r s .   T h e   o p t i m i s m   h a s   a   g o o d   r e a s o n   b a s e d   o n   t h e   o b s e r v e d   s t a t i s t i c s .   S u c c e s s   i n   b u i l d i n g   r e p o s i t o r i e s   i n   m a i n   i n t e r n a t i o n a l   l a n g u a g e s   s u c h   a s   i n   [ 2 2 2 5 ]   m a y   b e   c o p i e d   o r   c o n d u c t e d   b e t t e r .   H o w e v e r ,   w e   n e e d   t o   g e t   a l e r t   b y   t h e   p h e n o m e n a   w h i c h   i s   h a r d   t o   e s t i m a t e .   S t u d e n t s   w h o   p a r t i c i p a t e   i n   c r o w d s o u r c i n g   d o   n o t   h a v e   s i n g l e   m o t i v a t i o n .   A   f e w   h a v e   s t a t e d   t h a t   t h e y   g o t   i n v o l v e d   t o   f o l l o w   d i r e c t i o n s   o f   t h e i r   s u p e r v i s o r s .   S o m e   a s s u m e d   t h a t   p a r t i c i p a t i o n   i n   c r o w d s o u r c i n g   w o u l d   a d d   t o   t h e   s c o r e   o f   t h e i r   f i n a l   p r o j e c t .   S o m e   o t h e r s   h a v e   j o i n e d   f o r   i m m a t e r i a l   r e w a r d s ,   i . e .   a   w o r t h y   c a u s e .   A p p a r e n t l y ,   s o m e   r e a s o n s   m a y   b e   u n s u s t a i n a b l e ,   w h i c h   m a y   d i s r u p t   t a r g e t   a c h i e v e m e n t .   S t r a t e g i e s   m a y   n e e d   t o   b e   t h o u g h t   u p   a n d   i m p l e m e n t e d   t o   k e e p   t h e   g o o d   w o r k   m o v i n g   o n .   E x p e r t s   h a v e   p u t   s o m e   g u i d a n c e   f o r   a   v a r i e t y   o f   a   c r o w d s o u r c i n g   p r o j e c t .   I t   s h o u l d   h a v e   a   c l e a r   g o a l ,   a   s o u n d   c h a l l e n g e ,   a n d   r e g u l a r   r e p o r t .   T h e   a p p l i c a t i o n   s h o u l d   b e   e a s y   a n d   f u n ,   r e l i a b l e   a n d   q u i c k ,   i n t u i t i v e ,   a n d   p r o v i d e   o p t i o n s   t o   t h e   u s e r   s o   t h e y   c a n   c h o o s e   w h a t   t h e y   w o r k   o n   [ 2 6 ] .   B e s i d e s ,   t h e   c o n t r i b u t o r s   s h o u l d   b e   a c k n o w l e d g e d ,   r e w a r d e d ,   a n d   t r u s t e d .   T h e   c o n t e n t   s h o u l d   b e   i n t e r e s t i n g ,   n o v e l ,   f o c u s e d   o n   h i s t o r y   o r   s c i e n c e ,   a n d   t h e r e   s h o u l d   b e   l o t s   o f   i t   t o   c r e a t e   t h r o u g h   t h e   y e a r s .       4 .   C o n c l u s i o n   L a n g u a g e   r e p o s i t o r y   c a n   b e   d e v e l o p e d   t h r o u g h   a   c r o w d s o u r c i n g   a p p l i c a t i o n .   W e   h a v e   d e v e l o p e d   s u c h   a   s y s t e m   t h a t   f i t   t h e   c o n d i t i o n s   f o r   c r o w d s o u r c i n g   a c t i v i t i e s .   I t   h a s   a   l a r g e   n u m b e r   o f   t r u s t a b l e   u s e r s ,   i . e .   a p p r o x i m a t e l y   o n e   t h o u s a n d   s t u d e n t s   p e r   s e m e s t e r .   T h e   m a i n   s y s t e m   r u n s   w e l l   a n d   i t   p r o v i d e s   f a c i l i t i e s   f o r   u s e r s   t o   h a v e   t h e i r   f i n a l   p r o j e c t   d o n e .   A b o u t   2 5 %   u s e r s   p a r t i c i p a t e   i n   c r o w d s o u r c i n g   a c t i v i t i e s   t o   m a k e   p h r a s e   d e f i n i t i o n s   a n d   t o   v a l i d a t e   d e f i n i t i o n s .   D u r i n g   t h e   p e r i o d   o f   o b s e r v a t i o n ,   a b o u t   2 0 0   p h r a s e   d e f i n i t i o n s   w e r e   w r i t t e n   a n d   i n   a v e r a g e   e a c h   d e f i n i t i o n   w a s   v a l i d a t e d   b y   t w o   u s e r s .   I n   s h o r t ,   i t   i s   p o s s i b l e   t o   d e v e l o p   l a n g u a g e   r e p o s i t o r y ,   i n   t h i s   c a s e :   p h r a s e   d e f i n i t i o n   i n   B a h a s a   I n d o n e s i a ,   u s i n g   a n   a p p l i c a t i o n   t h a t   i m p l e m e n t s   c r o w d s o u r c i n g   m o d e l .       R e f e r e n c e s   [ 1 ]   T h o m p s o n   M P A ,   W a l s h a m   G .   P l a c i n g   k n o w l e d g e   m a n a g e m e n t   i n   c o n t e x t .   J   M a n a g   S t u d .   2 0 0 4 ;   4 1 :   7 2 5 7 4 7 .   [ 2 ]   D i m i t r o v a   L ,   G a r a b i k   R .   B i l i n g u a l   C o r p u s - D i g i t a l   R e p o s i t o r y   f o r   P r e s e r v a t i o n   o f   L a n g u a g e   H e r i t a g e .   P r o c .   I n t .   C o n f .   D i g i t .   P r e s e n t .   P r e s e r v .   C u l t .   S c i .   H e r i t .   D i P P .   2 0 1 2 :   3 2 4 1 .   [ 3 ]   I s l a m   A ,   I n k p e n   D .   S e m a n t i c   t e x t   s i m i l a r i t y   u s i n g   c o r p u s - b a s e d   w o r d   s i m i l a r i t y   a n d   s t r i n g   s i m i l a r i t y .   A C M   T r a n s   K n o w l   D i s c o v   f r o m   D a t a .   2 0 0 8 ;   2 ( 2 ) :   1 0 .   [ 4 ]   I s l a m   A ,   I n k p e n   D .   R e a l - w o r d   s p e l l i n g   c o r r e c t i o n   u s i n g   G o o g l e   W e b   I T   3 - g r a m s .   P r o c .   2 0 0 9   C o n f .   E m p i r .   M e t h o d s   N a t .   L a n g .   P r o c e s s .   2 0 0 9 ;   3 :   1 2 4 1 1 2 4 9 .   [ 5 ]   S c a n n e l l   K P .   T h e   C r ú b a d á n   P r o j e c t :   C o r p u s   b u i l d i n g   f o r   u n d e r - r e s o u r c e d   l a n g u a g e s .   B u i l d .   E x p l o r .   W e b   C o r p o r a   P r o c .   3 r d   W e b   a s   C o r p u s   W o r k .   2 0 0 7 ;   4 :   5 1 5 .   [ 6 ]   K l i m t   B ,   Y a n g   Y .   T h e   e n r o n   c o r p u s :   A   n e w   d a t a s e t   f o r   e m a i l   c l a s s i f i c a t i o n   r e s e a r c h .   E u r .   C o n f .   M a c h .   L e a r n .   2 0 0 4 :   2 1 7 2 6 .   [ 7 ]   T h a m r i n   H ,   P a m u n g k a s   E W .   A   R u l e   B a s e d   S W O T   A n a l y s i s   A p p l i c a t i o n :   A   C a s e   S t u d y   f o r   I n d o n e s i a n   H i g h e r   E d u c a t i o n   I n s t i t u t i o n .   P r o c e d i a   C o m p u t   S c i .   2 0 1 7 ;   1 1 6 :   1 4 4 5 0 .   [ 8 ]   S u g o n o   D .   S e l a m a t   d a t a n g   d i   K B B I   D a r i n g   2 0 0 8 .   h t t p : / / b a d a n b a h a s a . k e m d i k b u d . g o . i d / k b b i /   ( a c c e s s e d   M a y   1 ,   2 0 1 6 ) .   [ 9 ]   P u s a t   B a h a s a .   T e s a u r u s   A l f a b e t i s .   B a n d u n g :   M i z a n ;   2 0 0 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                          I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 7 ,   N o .   5 ,   O c t o b e r   2 0 1 9 :     2 3 2 1 - 2 3 2 6   2 3 2 6   [ 1 0 ]   A s i a n   J ,   W i l l i a m s   H E ,   T a h a g h o g h i   S M M .   A   T e s t b e d   f o r   I n d o n e s i a n   T e x t   R e t r i e v a l .   P r o c .   9 t h   A u s t r a l a s .   D o c .   C o m p u t .   S y m p .   2 0 0 4 :   2 5 .   [ 1 1 ]   P a m u n g k a s   E W ,   P u t r i   D G P .   A n   e x p e r i m e n t a l   s t u d y   o f   l e x i c o n - b a s e d   s e n t i m e n t   a n a l y s i s   o n   B a h a s a   I n d o n e s i a .   2 0 1 6   6 t h   I n t .   A n n u .   E n g .   S e m i n .   2 0 1 6 :   2 8 3 1 .   [ 1 2 ]   F o r t   K ,   A d d a   G ,   C o h e n   K B .   A m a z o n   m e c h a n i c a l   t u r k :   G o l d   m i n e   o r   c o a l   m i n e ? .   C o m p u t   L i n g u i s t .   2 0 1 1 ;   3 7 :   4 1 3 2 0 .   [ 1 3 ]   H e s s e l   H .   T o o l s   o f   t h e   T r a d e   M T u r k   1 0 1 :   A n   I n t r o d u c t i o n   t o   A m a z o n   M e c h a n i c a l   T u r k   f o r   E x t e n s i o n   P r o f e s s i o n a l s   U s e s   o f   M T u r k   b y   E x t e n s i o n   P r o f e s s i o n a l s .   J o u r n a l   o f   E x t e n s i o n .   2 0 1 6 ;   5 4 :   0 7 .   [ 1 4 ]   P u t r a   D D ,   A r f a n   A ,   M a n u r u n g   R .   B u i l d i n g   a n   I n d o n e s i a n   w o r d n e t .   P r o c .   2 n d   I n t .   M A L I N D O   W o r k .   2 0 0 8 .   [ 1 5 ]   W i c a k s o n o   A F .   A u t o m a t i c a l l y   B u i l d i n g   a   C o r p u s   f o r   S e n t i m e n t   A n a l y s i s   o n   I n d o n e s i a n   T w e e t s .   2 0 1 4 .   [ 1 6 ]   M a n u r u n g   R ,   D i s t i a w a n   B ,   P u t r a   D D .   D e v e l o p i n g   a n   O n l i n e   I n d o n e s i a n   C o r p o r a   R e p o s i t o r y .   P A C L I C ,   2 0 1 0 :   2 4 3 2 4 9 .   [ 1 7 ]   R a h u t o m o   F ,   R o h a d i   E .   D e v e l o p m e n t   o f   t h e   I n d o n e s i a n   L a n g u a g e   I n f o r m a t i o n   R e t r i e v a l   S y s t e m   R e s e a r c h   T o o l   ( i n   I n d o n e s i a :   P e n g e m b a n g a n   P i r a n t i   P e n e l i t i a n   S i s t e m   T e m u   K e m b a l i   I n f o r m a s i   B a h a s a   I n d o n e s i a ) .   S E S I N D O   2 0 1 5 .   2 0 1 5 .   [ 1 8 ]   M a r c u s   A ,   P a r a m e s w a r a n   A .   C r o w d s o u r c e d   D a t a   M a n a g e m e n t :   I n d u s t r y   a n d   A c a d e m i c   P e r s p e c t i v e s .   F o u n d   T r e n d s   ®   D a t a b a s e s .   2 0 1 5 ;   6 :   1 1 6 1 .   [ 1 9 ]   T h a m r i n   H ,   A r i y a n t o   G ,   Y u l i a n a   I ,   P u r w o r i n i   D .   A n   A p p l i c a t i o n   t h a t   I n v i t e s   U s e r s   t o   P a r t i c i p a t e   i n   D e v e l o p i n g   R e p o s i t o r y   o f   B a h a s a   I n d o n e s i a .   2 0 1 8   I n t .   C o n f .   C o m p u t .   C o n t r o l .   I n f o r m a t i c s   i t s   A p p l . ,   L I P I .   2 0 1 8 :   7 2 7 6 .     [ 2 0 ]   G a t a u t i s   R ,   V i t k a u s k a i t e   E .   C r o w d s o u r c i n g   a p p l i c a t i o n   i n   m a r k e t i n g   a c t i v i t i e s .   P r o c e d i a - S o c i a l   B e h a v   S c i .   2 0 1 4 ;   1 1 0 :   1 2 4 3 1 2 5 0 .   [ 2 1 ]   W i n c h e s t e r   S .   T h e   P r o f e s s o r   a n d   t h e   M a d m a n :   A   T a l e   o f   M u r d e r ,   I n s a n i t y ,   a n d   t h e   M a k i n g   o f     t h e   O x f o r d   E n g l i s h   D i c t i o n a r y   ( h a r d c o v e r ) .   1 9 9 8 .   [ 2 2 ]   K i y o t a   Y ,   N i r e i   Y ,   S h i n o d a   K ,   K u r i h a r a   S ,   S u w a   H .   M i n i n g   U s e r   E x p e r i e n c e   t h r o u g h   C r o w d s o u r c i n g :   A   P r o p e r t y   S e a r c h   B e h a v i o r   C o r p u s   D e r i v e d   f r o m   M i c r o b l o g g i n g   T i m e l i n e s .   W e b   I n t e l l .   I n t e l l .   A g e n t   T e c h n o l .   ( W I - I A T ) ,   2 0 1 5   I E E E / W I C / A C M   I n t .   C o n f .   2 0 1 5 ;   3 :   1 7 2 1 .   [ 2 3 ]   L e e m a n n   A ,   K o l l y   M J ,   B r i t a i n   D .   T h e   E n g l i s h   D i a l e c t s   A p p :   T h e   c r e a t i o n   o f   a   c r o w d s o u r c e d   d i a l e c t   c o r p u s .   A m p e r s a n d .   2 0 1 8 ;   5 :   1 1 7 .   [ 2 4 ]   A s a i   A ,   E v e n s e n   S ,   G o l s h a n   B ,   H a l e v y   A ,   L i   V ,   L o p a t e n k o   A ,   e t   a l .   H a p p y D B :   A   C o r p u s   o f   1 0 0 , 0 0 0   C r o w d s o u r c e d   H a p p y   M o m e n t s .   2 0 1 8 .   [ 2 5 ]   L a r d i n o i s   F .   G o o g l e   W a n t s   T o   I m p r o v e   I t s   T r a n s l a t i o n s   T h r o u g h   C r o w d s o u r c i n g   2 0 1 4 .   h t t p s : / / t e c h c r u n c h . c o m / 2 0 1 4 / 0 7 / 2 5 / g o o g l e - w a n t s - t o - i m p r o v e - i t s - t r a n s l a t i o n s - t h r o u g h - c r o w d s o u r c i n g   ( a c c e s s e d   A u g u s t   2 4 ,   2 0 1 7 ) .   [ 2 6 ]   S a x t o n   G D ,   O h   O ,   K i s h o r e   R .   R u l e s   o f   C r o w d s o u r c i n g :   M o d e l s , I s s u e s ,   a n d   S y s t e m s   o f   C o n t r o l .   I n f   S y s t   M a n a g .   2 0 1 3 ;   3 0 :   2 2 0 .       Evaluation Warning : The document was created with Spire.PDF for Python.