I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   16 ,   N o .   3 ,  D e c e m b e r   201 9 ,   pp .   1 5 5 5 ~ 1 561   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 3 . pp 1 5 5 5 - 1 561             1555       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   A n   a u t o m a t i c   l e x i c o n   g e n e r a t i o n   f o r   In d o n e si a n   n e w s   sent i m e n t   a n a l y s i s:   a   c a s e   o n   g o v e r n o r   e l e c t i o n s i n   In d o n e s i a       M e d i a  A n u ge r ah   A yu ,  S o n y  S u r ya  Wi ja ya ,  T e d d y  M an to r o   D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   F a c ul t y   of   E ng i ne e r i ng   a nd   T e c h no l o gy ,  S a m po e r na   U n i v e r s i t y ,   I nd o ne s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   M a y  1 ,   2 01 9   R e v i s e d  J u l   1 ,   2019   A c c e pt e d  J ul   28 ,   201 9       S e nt i m e n t   a n a l y s i s   h a s   be e n  po pul a r l y   us e d  i n  a na l y z i ng   da t a   f r o m   t he   i nt e r - ne t .     O n e   o f   t he   t e c hni que s   us e d  i s   l e xi c o n  ba s e d  s e n t i m e nt   a na l y s i s .     G e ne r - a t i ng   l e xi c o n  i s   no t   a n  e a s y   pr oc e s s ,   a nd  l e x i c o n  i n  B a ha s a   I ndo ne s i a   i s   r a r e l y   a v a i l a bl e .     T hi s   p a pe r   pr o po s e s   a n   a u t o m a t i c   l e x i c o n  g e ne r a t i o n  i n   B a ha s a   I n - do ne s i a   f o r   s e nt i m e n t   a na l y s i s   pu r po s e .     E xp e r i m e n t s   w e r e   pe r f o r m e d  u s i ng   t he   g e n e r a t e d  l e xi c o n  f o r   do i ng   s e nt i m e n t   a n a l y s i s   o n  I ndo ne s i a n  po l i t i c a l   ne w s   a bo ut   t h e   2 018   g ov e r no r   e l e c t i o n  i n   t hr e e   pr o v i n c e s   i n  I ndo ne s i a .   T h e   c o nduc t e d  e xpe r i m e nt s   s ho w   pr o m i s i ng   r e s ul t s   w he r e   i t   c a n  p r e d i c t   t h e   c a n - di da t e ’ s   r a nk ,   t he   e l e c t i o n  w i nne r ,   a n d  t he   pe r c e nt a g e   o f   v o t e s   f o r   e a c h  c a ndi - da t e   w i t h   be t t e r   a c c ur a c y   t ha n   t he   pr e v i o us   w o r k  w h i c h  us e d  m a nua l l y   g e ne r - a t e d  l e x i c o n .     Ke y w or d s :   A ut o m a t i c   l e xi c o n  ge n e ra t i o n     In do n e s i a n  l e xi c o n   L e xi c o n   ge n e r a t i o n   N e w s   s e n t i m e nt   a na l y s i s     S e n t i m e n t   a na l y s i s   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M e di a   A n u ge ra h   A y u ,   D e pa rt m e n t   o f   Co m put e r  S c i e n c e ,   S a m po e rna   U ni v e r s i t y ,   J a ka rt a - I n do n e s i a .   E m a i l :   m e di a . a y u@ s a m po e rn a u n i v e r s i t y . a c . i d       1.   I N TR O D U C TI O N     T h e   R a pi d  de v e l o pm e n t   o f   i n t e rn e t   t e c hn o l o g y   w h i c h   i s   s uppo r t e d  by   t h e   f a s t   de v e l o pm e n t   o f  m o b i l e   de v i c e s   h a s   m a de   o n l i n e   n e w s   w e b s i t e s   be c o m e   a   f a vo r i t e   s o ur c e   o f  i n f o r m a t i o n   t ha t   a c c e s s e d  b y   m a n y   pe o pl e   i n   t h e   c urr e nt   di gi t a l   e ra .   I n   I n do n e s i a ,   a c c o r di n g   t o   t h e   A l e xa   R a n k ,   t w o   of   t h e   t o p  f i ve   w e bs i t e s   a r e   n e w s   w e b s i t e s   [1].   T hi s   m e a n   t ha t   n e w s   w e bs i t e s   c a n   b e   a   be n e f i c i a l   s o ur c e   t o   ob t a i n   a   b i g  pi c t u r e   o n   t h e   c urr e nt   i s s ue   a nd  t h e y   c o ul d  r e f l e c t   t h e   h a ppe ni n gs   i n   t h e   c o un - t r y   e i t h e r   i t s   s o c i a l   h a p pe ni n g ,   po l i t i c a l   h a ppe ni n g ,   o r  e c o n o m i c a l   ha ppe n i ng.   D u r - i ng  t h e   e l e c t i o n   y e a r ,   a na l y z i n g  t h e   n e w s   s e n t i m e n t   o n   t h e   c a n d i da t e s   i n v o l ve d  w o ul d  b r i n g  v a l u a b l e   i n s i g h t   t ha t   c a n   m a p  o n   w h a t   h a s   ha ppe n e d  du r i n g  t h e   c a m p a i g n  a n d  w h a t   po s s i b l y   c a n  h a p pe n  o n  t h e   D   d a y .       S e n t i m e n t   a na l y s i s   i s   de f i n e d  a s   a   p r o c e s s   of   de t e c t i ng,   e xt ra c t i n g ,   a n d   c l a s s i - f y i n g  us e r ’s   o pi n i o n s   a n d  a t t i t ude s   t o w a r d  c e r t a i n   t o pi c s   [2].   S e nt i m e n t   a na l y s i s   d e t e r m i n e s   w h e t h e r   a   t e xt   ha s   a   po s i t i v e ,   n e ut ra l ,   o r   n e ga t i v e   s e n t i m e n t .   T h e   ri s e   of  o pi n i o n   da t a s e t   o ve r   t he   i n t e rn e t   m a ke s   s e n t i m e n t   a n a l y s i s   be c o m e   a   po t e n t i a l   f i e l d  t o   s t udy   [3].   N e w s   a r t i c l e s   a n d  s o c i a l   m e di a   p o s t s   a r e   a m o n g  t h e   d a t a s e t s   us e d  i n   t h e   s e n t i m e n t   a n a l y s i s .   M a da   a n d   N u r w i dy a n t o r o   [4]   a na l y z e d  t h e   s e nt i - m e n t   o f   e c o n o m i c   n e w s   i n  I n do n e s i a .   W h e r e a s ,   [ 5]  a n d  [6]   di d   s e nt i m e nt   a na l y s i s   i n   F a c e bo o k.   T h e n,   O z t u r k  a n d   A y v a z   [7]  us e d  t w i t t e r   po s t   a s   t h e   da t a s e t   o f  s e n - t i m e n t   a na l y s i s   a b o ut   t h e   S y r i a n  r e f uge e   c r i s i s .   T h e   b a s i c   of   s e n t i m e n t   a na l y s i s   i s   s e n t i m e n t   c a t e go r i z a t i o n.   O n e   o f   t h e   b a s i c   a ppr o a c h e s   fo r   t h i s   s e n t i m e n t   c a t e go r i z a t i o n  i s   l e xi c o n   b a s e d  a pp r o a c h .   I n   t hi s   a pp r o a c h   t h e   l e xi c o n   p l a y s   a   m a j o r   r o l e   i n  t h e   pr o c e s s   of   s e n t i m e nt   c l a s s i f i c a t i o n .   L e xi c o n   b a s e d  a ppr o a c h  c l a s s i f i e s   t h e   s e n t i m e nt   b a s e d  o n   t h e   di c t i o na r y   pr o v i d - e d.   S e v e r a l   r e s e a r c h e r s   h a v e   s t udi e d  t h e   c o n s t r uc t i o n   o f   E ngl i s h   l e xi c o n   i n  v a ri o us   do m a i n s .   It   e v e n   ha s   b e e n   pr o v i de d  i n   l i b ra r i e s   o f   s o m e   pr o gra m m i ng  l a n gu a ge s   l i ke   R   a n d  P h y t o n .   H ow e ve r ,   f o r   l a n gu a ge   o t h e r   t ha n   E ngl i s h   t h e   l e xi c o n   di c t i o n - a r y   i s   l i m i t e d .   T h e re fo r e   l e xi c o n   di c t i o na r y   fo r   s e n t i m e nt   i n   n o n - Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   16 ,   N o .   3 ,  D e c e m be r   2 019   :     1 5 5 5   -   1 5 6 1   1556   E n gl i s h   l a n gu a ge   n e e ds   t o   b e   d e ve l o p e d.   L e xi c o n   ge n e ra t i o n   c a n   b e   pe r f o r m e d  m a n u a l l y   o r   a ut o m a t i c a l l y .   T u r ki s h  l e xi c o n   c o n t a i ni n g  5405  w o r ds   w a s   de ve l o pe d  m a n ua l l y   i n - v o l v i n g  t hr e e   e xpe r t s   by   O z t u r k  a nd  A y v a z   [7].   L e xi c o n   fo r   In do n e s i a n   po l i t i c   w a s   a l s o   b ui l t   m a n ua l l y   by   S o r o i n d a ,   R a c hi m ,   a n d  W o n ggo   [8]  i n v o l v i n g  a   po l i t i - c a l   e xpe r t   a n d   300   s e e d  w o r ds .   T hi s   r e s ul t e d  o n   12   s e nt i m e nt   w o r ds   w h e r e   6   f o r   po s i t i v e   s e n t i m e n t   a n d   a n o t h e r   6  f o r   n e ga t i v e   s e n t i m e n t .   T h e   d i s a d v a nt a ge   o f   ge n e r a t i n g   l e xi c o n  m a n u a l l y   i s   t h e   n e e d  fo r   e xpe r t s   i n   t h e   do m a i n   c o n t e xt .   A s   s h o w n   i n   a   s t udy   by   F a s t   e t   a l .   [9]  us i ng  e xpe r t s   i n   c o n s t r uc t i ng  do m a i n - s pe c i f i c   l e xi c o n   i s   v e r y   di f f i c ul t .   Co n s t r uc t i n g  l e xi c o n   m a n ua l l y   i s   us ua l l y   a l s o   t i m e   c o n - s um i n g  a n d   l a b o ur   i n t e n s i v e   [10] .   T h i s   pa pe r   p r e s e n t s   a   s t u dy   o n   l e xi c o n   b a s e d  s e n t i m e n t   a na l y s i s   us i n g  I n do n e s i a n   n e w s   a rt i c l e s   a s   t h e   da t a s e t s   w h e r e   t h e   l e xi c o n   i s   a ut o m a t i c a l l y   ge n e r a t e d .   T h e   p r o po s e d  s e n t i m e nt   a na l y s i s   s h ow s   pr o m i s i ng  r e s ul t s   w h e n   i t   w a s   t e s t e d  o n  t h e   c a s e   o f   go ve rn o r   e l e c t i o n s   i n  3   p r o v i n c e s   i n   I ndo n e s i a .   N e xt   s e c t i o n   o f   t hi s   pa pe r  p r e s e n t s   r e v i e w s   o n   r e s e a r c h   w o r ks   r e l a t e d  t o   t h e   f o c us   o f   t h i s   s t udy ,   i . e .   s e n t i m e n t   a n a l y s i s   a n d  l e xi c o n   ge n e ra t i o n .   T h e   f o l l ow i ng  s e c t i o n   di s c us s e s   t h e   m e t h o do l o g y   us e d  i n   c o n duc t i n g  t hi s   s t udy .   It   i s   t h e n   f o l - l o w e d  by   t h e   r e s ul t   a nd   di s c us s i o n   s e c t i o n .   T h i s   s e c t i o n   p r e s e n t s   r e s ul t s   f r o m   t h e   e xpe ri m e n t s   c o n duc t e d  a nd  a s   w e l l   di s c us s i o n s   o n   t h e   m e a n i ngs   a nd  i m p l i c a t i o n s   o f   t h e   r e s ul t s .   T hi s   pa pe r  i s   t h e n  c l o s e d  w i t h   a   c o n c l us i o n  s e c t i o n   [4 ] .       2.   RE LA TED   WO R K   T h i s   s e c t i o n   di s c us s e s   r e v i e w s   o n   pr e v i o us   w o r ks   r e l a t e d  t o   s e n t i m e n t   c l a s s i f i c a t i o n   a nd  l e xi c o n  ge n e ra t i o n,   e s pe c i a l l y   o n   t h e   t e c hn i q ue s / a pp r o a c h e s   us e d.         G e n e ra l l y   t h e r e   a r e   t hr e e   m a i n  t e c hni que s   us e d  i n   s e n t i m e nt   c l a s s i f i c a t i o n ,   i . e .   r ul e - b a s e d,   l e xi c o n - b a s e d  (l e xi c a l   k n o w l e dge ),   a n d  m a c h i n e   l e a rni n g .     R ul e - b a s e d  i s   a   c l a s s i f i c a t i o n   by   de f i n i ng  s e v e r a l   rul e s   t o   t h e   t e xt .   A c c o r di n g  t o   t h e   r e s e a r c h   by   D e v i ka ,   r u l e d - b a s e d  c l a s s i f i c a t i o n  pe r f o r m s   b e t t e r   i n  s e nt e n c e   l e v e l   ra t h e r   t h a n  w o r d  l e v e l .   M o r e o ve r ,   t h e   pe r f o r m a n c e   of   r u l e - b a s e d  c l a s s i f i c a t i o n   i s   de t e r m i n e d  by   t h e   rul e s   us e d.   If   m o r e   r ul e s   us e d,   i t   w i l l   b e   m o r e   c o m pl i c a t e d   [11] .     L e xi c a l   k n o w l e dge   c l a s s i f i e s   s e n t i m e n t   o f   a   t e r m   b a s e d  o n   t h e   di c t i o na r y   pr o v i de d,   w h i c h   i s   us ua l l y   c a l l e d  a s   l e xi c o n   [12].   T h e   p r o c e s s   w i t h   t hi s   t e c hni que   do n e   by   c o un t i ng  a n d  w e i gh t i n g  t h e   s e n t i m e nt   w o r ds   t h a t   h a v e   b e e n   s e l e c t e d  t hr o ugh  e v a l ua t i o n   p r o c e s s   [13].   T h e   t h i rd  a p p r o a c h   i s   m a c h i n e   l e a rni n g .   W hi l e   r ul e - b a s e d  i s   c l a s s i fy i n g  us i ng  de f i n e d  rul e s ,   m a c h i n e   l e a rni n g  o f f e r s   a   c l a s s i f i c a t i o n   a l go r i t hm   w h i c h   l e a rn s   f r o m   da t a   p r o v i de d  o r   p r o c e s s e d.     M a c h i n e   l e a rn i ng  i s   a   p r o c e s s   of   a pp r o xi m a t i ng  t h e   upc o m i n g   o ut put   by   us i n g   t r a i ni n g  d a t a   o r   o n l y   t h e   i n put   i t s e l f .   M a c h i n e   l e a rni n g  m e t h o ds   c o m m o n l y   di v i de d  i n t o   t w o   c a t e go r i e s :   s upe r v i s e d  l e a rni n g   a n d   u n s upe r v i s e d  l e a rni n g   [14] .   S upe r v i s e d  l e a rni n g  i s   a   m a c hi n e   l e a rn i ng  t ha t   us e s   a   s a m p l e   da t a   a s   t h e   t ra i ni n g  d a t a .   B a s e d  o n   t h e   t r a i ni n g  d a t a ,   s upe r v i s e d  m a c hi n e   l e a rn i ng  p r e di c t s   t h e   o ut put   o f  t h e   i n put   d a t a .   A l go r i t h m s   us e d  i n   s upe r v i s e d  l e a rni n g  i n c l ude s   a r t i f i c i a l   n e u r a l   n e t w o r k  (A N N ),   m u l t i - l a y e r   pe r c e pt r o n,   a n d  de c i s i o n   t r e e .   T h e r e   a r e   s o m e   r e s e a r c h e r s   w h i c h   us e s   s upe r v i s e d  l e a rn i n g  a s   t h e i r   a pp r o a c h e s   f o r   s e n t i m e n t   a na l y s i s .   Sh a r m a   a n d  D e y   [15]  us e d  B a c k  P r o pa g a t i o n   A rt i f i c i a l   N e u ra l   N e t w o r k  (B P A N N )  t o   e v a l ua t e   t h e   s e nt i m e nt   of   m ov i e   r e v i e w s .   L e xi c a   f r o m   pr e v i o us   r e - s e a r c h   a r e   us e d  a s   t r a i n i ng  da t a .   T h e r e   a r e   t hr e e   l e xi c a   us e d,   w h i c h   a r e   H a t z i v a s s - i l o gl o u  &   M c K e ow n ,   G e n e r a l   I n qu i r e r,   a n d  t h e   O pi ni o n   L e xi c o n .   T h e   m o v i e   r e - v i e w   f r o m   IM D B . c o m   i s   us e d   fo r   t e s t   da t a .   B e s i de s   pe r fo r m i ng  s e n t i m e n t   a na l y s i s   f o r   t h e   m o v i e   r e v i e w ,   S h a rm a   a n d  D e y   a l s o   a n a l y z e d  t h e   pe r f o r m a n c e   of   B P A N N .   T h e y   e v a l ua t e   t h e   pe r f o r m a n c e   of   t h e   a pp r o a c h   b y   c o m pa r i n g  t h e   p r e c i s i o n   a nd  r e c a l l   o f   t h e   e xa m pl e   a n d  r e s ul t   da t a .   S ha rm a   a n d  D e y   s h ow e d  t h a t   B P A N N   w a s   pe r f o r m i ng  w e l l   i n  s e n t i m e n t   a na l y s i s   a n d   r e duc i n g  t h e   d i m e n s i o n a l i - t y .   S uppo r t   v e c t o r   m a c hi n e   (S V M )  a n d  n a ï v e   b a y e s   (N B )  w e r e   us e d  i n   s e nt i m e nt   a na l y s i s   c o n d uc t e d  b y   Z h a ng  e t   a l .   [1 6]  f o r   i nt e rn e t   r e s t a u r a nt   r e v i e w s   w r i t t e n   i n  Ca n t o n e s e .   W h e r e a s   P a n g  e t   a l   [1 7]  us e d  N B ,   S W M ,   a n d   m a xi m u m   e n t r o py   a s   t h e   m e t h o ds   f o r   t h e i r  s e nt i m e nt   c l a s s i f i c a t i o n.   A n o t h e r   w o r k,   by   L i   e t   a l   [18],   a p - p l i e d  de e p  l e a rni n g  t hr o ug h   a n  a p p r o a c h   c a l l e d  a   s e n t i m e n t - f e a t u r e - e nh a n c e d  de e p  n e u ra l   n e t w o r k   (S D N N )  fo r   t e xt   c l a s s i f i c a t i o n   o f   i t s   s e n t i m e n t   a na l y s i s .   D e e p  l e a rn i ng  w a s   a l s o   a do pt e d  by   E m pa t h  a   s e n t i m e n t   l e xi c o n  c o n s t r uc t e d  by   F a s t   e t   a l .   [9] .   Co n t ra r y   t o   s up e r v i s e d  l e a rn i ng,   t h e r e   i s   n o   t r a i n i ng  da t a   r e qui r e d  i n   u n s upe r - v i s e d  l e a rn i ng.   It   o nl y   n e e ds   i nput   d a t a .   U n s upe r v i s e d  m a c h i n e   l e a rni n g  w o r ks   by   f i n di n g  t h e   r e gul a r i t i e s   i n   t h e   i n put   d a t a .   U n s upe r v i s e d  l e a rni n g  a l go ri t hm s   i n c l u de   di f fe r e n t   t y pe   of   c l us t e r i ng  t e c hni que s .   O n e   of   t h e   c l us t e ri n g  t e c hn i q ue s   i s   K - M e a n s   c l us t e r i ng.   K - m e a n s   c l us t e r i n g  w o r k s   by   a s s i gn i ng  da t a   po i n t s   t o   k  c l us t e r   c e n t r o i d .   E a c h   d a t a   po i nt   i s   g r o upe d  t o   t h e   c l o s e s t   c e n t r o i d  i t e r a t i v e l y   unt i l   t h e   c e nt r o i d  do e s   n o t   c ha n ge   [1 4].   T h e   a ppl i c a t i o n   o f   k - m e a n s   c l us t e ri n g  i n   s e n t i m e n t   a n a l y s i s   i s   pr e s e n t e d  i n   F e i   L i u  r e s e a r c h   [19] .     I n  t h e i r   s t u dy ,   do c um e n t s   o f   m ov i e   r e v i e w   c l us t e r e d  i nt o   t w o   c l us t e r s :   po s i t i v e   a n d  n e g a t i v e .   F e i   L i u   w a s   a l s o   i m p l e m e nt i ng  T e r m   F r e que n c y - In v e r s e   D o c um e n t   F r e que n c y   (T F - ID F )  a n d  t h e   v o t i n g  m e c h a ni s m   t o  i m p r o v e   t h e   a c c ura c y   of   t h e   c l us t e r i ng  a pp r o a c h.   T F - ID F   i s   a n   a l go ri t hm   f o r   c a l c ul a t i ng  t h e   w e i ght   o f   a   t e r m .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A n  a ut om a t i c   l e x i c on   ge n e r at i on   f or   Indon e s i a n  n e w s   s e nt i m e nt   ana l y s i s :   a   c as e     . . . .   ( Me di a   A nug e r ah  A y u)   1557   A   t e r m   i s   i m po r t a n t   w h e n   i t   ha s   a   h i g h   f r e que n c y   i n   a   s i n gl e   do c um e n t ,   b ut   t h e   l o w   f r e que n c y   i n   t h e   c o l l e c t i o n   of   a l l   o t h e r   do c um e nt s .   T F - ID F   us e d  t o   i m p r o ve   t h e   e ff i c i e n c y   of  r a w   da t a ,   w h i l e   t h e   v o t i n g   m e c h a ni s m   i s   us e d  t o   e xt r a c t   m o r e   s t a b l e   c l us t e ri n g  r e s ul t .   A c c o r di n g  t o   t h e i r   r e s e a r c h   r e s ul t ,   i t   s h o w s   t h a t   s e n t i m e n t   a na l y s i s   us i n g  o n l y   k - m e a n s   c l us t e ri n g  i s   gi v i n g  a   po o r   o ut c o m e ,   t o  i m pr o v e   t h e   a c c ur a c y ,   T F - ID F   a n d  v o t i n g   m e c ha n i s m   t e c hni que   s h o ul d   b e   i m pl e m e nt e d.       3.   RE S EA R C H   M ET H O D S   T h i s   s e c t i o n   pr e s e nt s   t h e   r e s e a r c h   p r o c e s s   c o n duc t e d  i n   t hi s   s t udy   a n d  a l s o   t h e   r e s e a r c h   de s i g n  w h i c h  i s   b a s e d  o n   e xpe r i m e nt a l   de s i g n  r e s e a r c h.     T w o   m a i n  p r o - c e s s e s   a s   pa r t   o f   t h i s   r e s e a r c h   a r e   l e xi c o n   ge n e ra t i o n   a nd  s e n t i m e n t   a n a l y s i s .     D a - t a   c o l l e c t i o n   i s   t h e   fi r s t   s t e p  fo r   t h e   t w o   pr o c e s s e s .     D a t a   c o l l e c t i o n   w a s   d o n e   fo r   t h e   i n pu t   f o r   l e xi c o n   ge n e r a t i o n   a n d  a n o t h e r  da t a   c o l l e c t i o n   n e e ds   t o   b e   d o n e   f o r   pr e pa r i ng  da t a s e t s   fo r   t h e   s e n t i m e n t   a na l y s i s   pr o c e s s .     T h e   f l ow   of   da t a   c o l l e c t i o n   pr o c e s s   i s   de pi c t e d  i n   F i gu r e   1.     W h e r e a s   t h e   f l ow   o f   pr o c e s s   fo r   l e xi c o n   ge n e ra t i o n   a nd  s e nt i m e nt   a na l y s i s   c a n   b e   s e e n   f r o m   t h e   di a g ra m   p r e s e nt e d  i n  F i gu r e   2 .                           F i gu r e   1 .   D a t a   c o l l e c t i o n   p r o c e s s       F i gu r e   2 .   L e xi c o n   ge n e r a t i o n  a n d  s e n t i m e n t   a n a l y s i s   pr o c e s s       A n o t h e r   s t e p  do n e   i n   t h e   t w o   pr o c e s s e s   i s   t e xt   c a t e go r i z a t i o n.   T e xt   c a t e go ri z a - t i o n   i s   a   p r o c e s s   w h i c h   i s   pe r f o r m e d  i n   l e xi c o n   ge n e ra t i o n   a n d  a l s o   i n   s e n t i m e n t   a na l y s i s .   In   t hi s   s t udy   t h e   t e xt   c a t e go r i z a t i o n  pr o c e s s   w a s   c o n duc t e d  b a s e d  o n   w e i gh t i n g  s c h e m e .   T F - ID F   a l go ri t hm   w a s   us e d  t o   w e i gh t   t h e   m o s t   i m po r t a n t   t e rm   i n  a   do c um e n t   w hi c h  c a n   de f i n e   t h e   c a t e go r y   o f   t h e   do c um e nt .     T h e   T F - ID F   w a s   c a l c ul a t e d  b a s e d  o n   t h e   fo l l ow i n g   f o r m ul a :     , =  ,   × (  )                                                                                                                           (1)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   16 ,   N o .   3 ,  D e c e m be r   2 019   :     1 5 5 5   -   1 5 6 1   1558   w h e r e   ,   i s   t h e   w e i ght   f o r   t e rm   i   i n  do c um e n t   j ,    ,   i s   t h e   t e rm   f r e que n c y   of   i   i n   do c um e n t   j ,     i s   t h e   n u m b e r   o f   t h e   do c um e nt   i n   t h e   c o l l e c t i o n ,   a nd     i s   t h e   do c um e nt   f r e que n c y   o f   t e r m   i  i n  t h e   c o l l e c t i o n.     3. 1 .   Le x i c o n   G e n e r ati o n     L e xi c o n   i s   c o n s t r uc t e d  t o   de t e r m i n e   t h e   t e xt   s e nt i m e nt   s c o r e .   In   t h i s   s t udy   t h e   l e xi c o n   w a s   ge n e ra t e d   a ut o m a t i c a l l y ,   ut i l i z i ng  de t i k. c o m   a s   t h e   s o ur c e   of   da t a .     T h i s   s i t e   w a s   c h o s e n   due   t o   i t s   p o pul a r i t y   a s   t h e   m o s t   v i s i t e d  n e w s   w e b s i t e s   i n   I n - do n e s i a   [ 1].   D e t i k. c o m   o ff e r s   r e a c t i o n   b ut t o n   t o   t h e   n e w s   w h i c h   c o n s i s t s   o f   e i gh t   (8)  r e a c t i o n s   a s   de pi c t e d  i n   F i gu r e   3.   I n   t hi s   s t udy ,   2  r e a c t i o n s ,   i . e .   e nt e r t a i n e d  a nd  s h o c ke d  w e r e   r e m o v e d  t o  a v o i d  t h e   a m b i gui t y   o f  t h e   r e a c t i o n   a n d  po s s i b l e   s a r - c a s m   r e a c t i o n.   A l s o ,   a s   E km a n’s   t h e o r y   s ugge s t e d   of  s i x   b a s i c   h um a n ’s   e m o t i o n a l   c a t e go r i e s   [20].     H a ppy ,   i n s pi r e d,   a nd  p r o ud  r e a c t i o n s   a r e   c o n s i de r e d  a s   po s i t i v e   s e n t i m e n t s .   W h e r e a s   s a d ,   a f ra i d ,   a n d   a ng r y   r e a c t i o n   a r e   c o n s i de r e d  a s   n e ga t i v e   s e n t i m e n t s .           F i gu r e   3 .     R e a c t i o n   b ut t o n s   f e a t u r e   o n  D e t i k   W e b s i t e       T h e   pe r c e nt a ge   f o r   e a c h  r e a c t i o n   r e p r e s e nt s   r e a de r s ’  f e e d b a c ks   o n   t h e   n e w s .   T h e s e   pe r c e n t a ge s   w e r e   c o l l e c t e d  a ut o m a t i c a l l y   a n d   t h e   t o t a l   s e nt i m e nt   w a s   t h e n  c a l c ul a t e d  us i ng  t h e   f o l l ow i n g  f o r m ul a :     T o t a l   s e n t i m e n t =   ∑ P o s i t i v e   S e n t i m e n t - ∑ N e ga t i v e   S e n t i m e n t       3. 2 .   S e n ti m e n t  A n al ys i s     In  t hi s   s t udy   t h e   s e n t i m e n t   a na l y s i s   w a s   do n e   b a s e d  o n   t h e   ge n e ra t e d  l e xi c o n   d i s c us s e d  e a r l i e r .   T h e   da t a s e t   fo r   t h e   l e xi c o n   b a s e d  s e n t i m e nt   a n a l y s i s   p e r f o r m e d  i n   t hi s   s t udy   i s   t h e   n e w s   a bo ut   t h e   c a n d i d a t e s   of  2018  go v e r n o r   e l e c t i o n   i n   J a w a   B a ra t ,   J a w a   T e n g a h,   a nd  J a w a   T i m u r   p r o v i n c e s .   D a t a   w a s   c o l l e c t e d  f r o m   n e w s   a rt i c l e s   pub l i s h e d  w i t hi n   t h e   r e gi s t ra t i o n  o f   c a n di d a t e s   t o   t h e   e nd  o f   c a m pa i g n   pe - ri o d,   i . e .   8  J a n ua r y   2018  -   23  J u n e   2018 .   A s   de pi c t e d  t hr o ug h   a   d i a g ra m   p r e s e nt - e d  i n   F i gu r e   2 ,   a f t e r   t h e   da t a   i s   c o l l e c t e d  f r o m  t hr e e   n e w s   w e b s i t e s ,   i . e .   de t i k. c o m ,   t ri b unn e w s . c o m ,   a n d  l i pu t a n 6 . c o m ,   t h e n   t h e   d a t a   w i l l   go   t hr o ug h   a   pr e p r o c e s s i n g  p ha s e .   It   i s   t h e n   f o l l o w e d  by   t e xt   c a t e go r i z a t i o n   p r o c e s s   us i n g  T F - ID F   a l go ri t hm .   F o l l o w i n g  t h a t ,   t h e   s e n t i m e n t   s c o r e   of   t h e   c a t e go r y   w i l l   b e   c h e c ke d  b a s e d  o n   t h e   ge n e ra t e d  l e xi c o n .   I t   i s   e xpe c t e d  t h a t   t h e   r e s ul t s   f r o m   t h i s   s e n t i m e nt   a n a l y s i s   w i l l   b e   a b l e   t o   b e   us e d  t o   p r e di c t   t h e   o ut c o m e   of   t h e   e l e c t i o n s .     3. 3 .   Ex p e r i m e ts     E xpe r i m e nt s   w e r e   c o n duc t e d  t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   t h e   p r o po s e d  t e c h n i que .   T hr e e   v a ri a b l e s   i n v o l ve d  i n   t h e   e xpe ri m e n t s ,   i . e .   l e xi c o n   d a t a   a nd  c a n - d i d a t e   da t a   a s   i n de pe n de n t   v a ri a b l e s ,   a nd  s e nt i m e nt   a n a l y s i s   a c c ur a c y   a s   t h e   de - pe n de n t   v a ri a b l e .   T h e   e xpe ri m e nt s   c o n duc t e d  w e r e   b a s e d  o n   t h e   de s i g n   o f   e xpe r - i m e n t s   p r e s e n t e d  i n   T a b l e   1.   D a t a   r e s ul t e d  f r o m   t h e   e xpe r i m e nt s   c o n duc t e d  i s   e v a l ua t e d  b a s e d  o n   i t s   a c c u - ra c y   pe r f o r m a n c e .   E v a l ua t i n g  t h e   a c c u r a c y   of   t h e   e xpe r i m e nt s   f r o m   t h e   s e nt i - m e n t   a n a l y s i s   r e s ul t s   c a n   a l s o  s h o w   h o w   a c c ur a t e   t h e   l e x i c o n   ge n e ra t e d   i n  t hi s   s t udy   i s .       T a b l e   1 .   D e s i g n  o f   E xpe r i m e n t   w i t h   T w o   In de pe nde nt   V a r i a b l e s     Ca n d i d a t e   w i t h   D u p l i c a t e s   (C d )   Ca n d i d a t e   w i t h o u t   D u p l i c a t e s   (C)   L e x i c o n   w i t h   D u p l i c a t e s   (L d )   E x p e ri m e n t   L d C d   E x p e ri m e n t   L d C   L e x i c o n   w i t h o u t   D u p l i c a t e s   (L )   E x p e ri m e n t   L C d   E x p e ri m e n t   L C       T h e   a c c ura c y   of   s e n t i m e n t   a na l y s i s   pr o c e s s e s   i s   e v a l ua t e d  b a s e d  o n   t hr e e   i n - de xe s ,   i . e .   p r e c i s i o n,   r e c a l l   ra t e ,   a nd  a c c ura c y ,   c a l c ul a t e d  us i n g   t h e   f o l l ow i n g   e qua t i o n s :      =     +    (2)       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A n  a ut om a t i c   l e x i c on   ge n e r at i on   f or   Indon e s i a n  n e w s   s e nt i m e nt   ana l y s i s :   a   c as e     . . . .   ( Me di a   A nug e r ah  A y u)   1559   =     +    (3)      =    +   +  +  +    (4)     w h e r e   T P   i s   t h e   num b e r  o f   t r ue   po s i t i v e   i n s t a n c e s ,   F N   i s   t h e   n u m b e r   o f   f a l s e   n e ga t i v e   i n s t a n c e s ,   F P   i s   t h e   n u m b e r   o f   f a l s e   po s i t i v e   i n s t a n c e s ,   a nd  T N   r e f e r s   t o   t h e   nu m b e r   o f   t r ue   n e ga t i v e   i n s t a n c e s   a s   p r e s e nt e d  i n   T a b l e   2   a s   a   c o n f us i o n  m a t ri x   [21] .       T a b l e   2 .   Co n f us i o n   M a t ri x  T a b l e     P re d i c t e d   P o s i t i v e   N e g a t i v e   A c t u a l   P o s i t i v e   T ru e   P o s i t i v e   (T P )   F a l s e   N e g a t i v e   ( F N )   N e g a t i v e   F a l s e   P o s i t i v e   (F P )   T ru e   N e g a t i v e   (T N )       In   t h i s   s t udy   t h e   a c t u a l   po s i t i v e   a n d  a c t ua l   n e ga t i v e   da t a   i s   t a ke n   f r o m   t h e   r e - s ul t s   o f   2018  go v e r n o r  e l e c t i o n   f r o m   K o m i s i   P e m i l i ha n  U m um   (K P U ),   t h e   o f f i c i a l   c o m m i s s i o n   o f   t h e   2018   go v e r n o r  e l e c t i o n .   T w o  pr e di c t i o n s   w i l l   b e   e v a l ua t e d  us - i n g  t h e   c o n f us i o n   m a t ri x  w h i c h   a r e   t h e   pr e di c t i o n   o f   t h e   2018  gove rn o r  e l e c t i o n   r a nk  a n d  w i nn e r .   T h e   m e a n  a b s o l ut e   pe r c e nt a ge   e rr o r  (M A P E )   i s   t h e n   c a l c u l a t e d  t o   m e a s u r e   t h e   e rr o r  of   vo t e   pe r c e n t a ge   p r e di c t i o n s .   T h e   f o l l ow i n g  f o r m ul a   i s   us e d  f o r   t h e   e rr o r   c a l c ul a t i o n.           =     −       100   (5)      =   ∑      100   (6)       4.   R ES U LTS   A N D   A N A L Y S I S   T h i s   s e c t i o n   pr e s e nt s   r e s ul t s   f r o m   t h e   e xpe r i m e n t s   c o n d uc t e d  w h i c h   b a s e d  o n   t h e   de s i gn   of  e xpe r i m e nt s   de s c r i b e d  i n   s ub - s e c t i o n   3. 3.   T hr e e   t y p e s   of   a c c ura c y   w e r e   e v a l ua t e d,   w h i c h   a r e :   1 .   t h e   a c c ur a c y   of   t h e   s e n t i m e n t   a n a l y s i s   r e s ul t s   i n   p r e di c t i n g  c o rr e c t   o r de r   o f   t h e   c a n di d a t e   r a nk,   2 .   t h e   a c c ur a c y   of   t h e   s e n t i m e n t   a na l y s i s   r e s ul t s   i n   p r e di c t i ng  t h e   e l e c t i o n   w i nn e r,   a n d  3.   t h e   a c c ura c y   i n  p r e di c t i n g  t o t a l   v o t e   pe r c e n t a ge   o f   e a c h   c a n d i da t e .   H e r e   e l e c t i o n   w i nn e r  de f i n e d  a s   t h e   c a n di da t e   w i t h  t h e   hi g h e s t   s c o r e ,   w hi l e   vo t e   pe r c e n t a ge   de - f i n e d  a s   t o t a l   v o t e   ga i n e d  by   a   c a n d i da t e   f r o m   a l l   t h e   v o t e   s u b m i t t e d.   A l l   t h e   p r e di c t i o n   w i l l   b e   c o m pa r e d  t o   t h e   r e s ul t   f r o m   K P U ,   t h e   o ff i c i a l   c o m m i s s i o n   f o r   t h e   e l e c t i o n.   T h e   r e s ul t s   o f   t h e   a c c u r a c y   pe r f o r m a n c e   e v a l ua t i o n   f r o m   t h e   e xpe r i m e n t s   c o n d uc t e d  a r e   pr e s e nt e d  i n  T a b l e   3 ,   4   a nd  5 .       T a b l e   3 .   T h e   a c c u r a c y   pe r f o r m a n c e   o f   t h e   l e xi c o n   b a s e d  s e nt i m e n t   a na l y s i s   i n   p r e d i c t i n g   t h e   c a n di da t e   r a nks   E x p e ri m e n t   P ro v i n c e   P re c i s i o n   ( % )   Re c a l l   (% )   A c c u ra c y   ( % )   A v e ra g e   A c c u ra c y   ( % )   L d C d   J a w a   Ba ra t   50   50   75   9 1 . 6 7   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   LC   J a w a   Ba ra t   25   25   6 2 . 5   8 7 , 5   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L Cd   J a w a   Ba ra t   25   25   6 2 . 5   8 7 , 5   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L d C   J a w a   Ba ra t   25   25   6 2 . 5   8 7 , 5   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100       T h e   e xpe r i m e nt a l   r e s ul t s   p r e s e nt e d  i n   T a b l e   3  s h o w s   t h a t   L dCd  s e nt i m e nt   a na l y s i s   r e s ul t   ha s   b e t t e r   a c c ur a c y   i n   p r e di c t i n g   c o rr e c t   o r de r   o f   t h e   go v e rn o r   e l e c - t i o n   ra n k  ra t h e r  t ha n   t h e   o t h e r  t hr e e   c o n di t i o n s .   E l e c t i o n   c a n d i da t e   r a nks   i n   J a w a   T e n ga h   a n d  J a w a   T i m u r   p rov i n c e   h a s   b e e n   pr e di c t e d  w i t h   100%  a c c u r a c y   i n  a l l   e xpe ri m e n t s .   D a t a   i n  T a b l e   4  s h o w s   e xpe r i m e nt a l   r e s ul t s   f o r   e l e c t i o n   w i nn e r   p r e di c t i o n .   T h e   d a t a   s h o w s   t h a t   t h e   s e n t i m e n t   a na l y s i s   y i e l de d  100%  a c c ur a c y   i n  p r e di c t i n g   t h e   w i nn e r   o f   2018  go v e r n o r  e l e c t i o n   i n   J a w a   B a r a t ,   J a w a   T e nga h,   a n d   J a w a   T i m u r.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   16 ,   N o .   3 ,  D e c e m be r   2 019   :     1 5 5 5   -   1 5 6 1   1560   D a t a   p r e s e n t e d  i n   T a b l e   5  s h o w   t ha t   b a s i c a l l y   t h e   M A P E   a r e   n o t   e xc e e di n g   40%   w i t h  t h e   hi g h e s t   r e s ul t e d  f r o m   t h e   e xpe ri m e n t s   a r e   39. 14  pe r c e n t .     O n   a v e r - a ge   t h e   L Cd  e xpe r i m e nt   ha s   t h e   h i g h e s t   M A P E   o f  26. 20   pe r c e n t ,   a n d   t h e   l o w e s t   M A P E   o f   18. 25   pe r c e n t   ha s   b e e n   r e s ul t e d  f r o m   L dC.       T a b l e   4 .  T h e   a c c u r a c y   pe r f o r m a n c e   o f   t h e   l e xi c o n   b a s e d  s e nt i m e n t   a na l y s i s   i n   p r e d i c t i n g     t h e   c a n di da t e   w i nn e r   E x p e ri m e n t   P ro v i n c e   P re c i s i o n   ( % )   Re c a l l   (% )   A c c u ra c y   ( % )   A v e ra g e   A c c u ra c y   ( % )   L d C d   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   LC   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L Cd   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L d C   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100       R e s ul t s   pr e s e n t e d  i n   T a b l e   5  a l s o   s ugge s t   t h a t   t h e   pe r f o r m a nc e   of   t h i s   a ut o - m a t i c   l e xi c o n   ge n e r a t i o n  b a s e d  s e n t i m e n t   a n a l y s i s   i s   b e t t e r   t ha n   t h e   p r e v i o us   o n e   c on d uc t e d  by   S o r o i nda ,   R a c h i m ,   a nd  W o n ggo   [8]  w h e r e   t h e   l e xi c o n   w a s   m a nua l - l y   ge n e ra t e d .   T h e   p r e v i o us   w o r k  s h o w e d  m o r e   t h a n  4 8  pe r c e nt a ge   o f   e rr o r s .       T a b l e   5 .     P e r c e nt a ge   o f   E rr o r   o f   e a c h   S e n t i m e n t   A na l y s i s   Re s ul t   E x p e ri m e n t   M A P E   S c o r e   ( % )   A v e ra g e   ( % )   J a w a   Ba ra t   J a w a   T e n g a h   J a w a   T i m u r   L c D c   3 3 . 9 3   3 1 . 3 5   1 . 7 9   2 2 . 3 6   LC   3 6 . 1 4   3 0 . 6 2   2 . 0 9   2 2 . 9 5   L Cd   3 9 . 1 4   3 8 . 6 3   0 . 8 2   2 6 . 2 0   L d C   2 8 . 2 2   2 3 . 4 6   3 . 0 6   1 8 . 2 5       5.   C O N C LU S I O N     T h i s   s t udy   s h ow s   t h a t   a n   a ut o m a t i c   l e xi c o n   ge n e ra t i o n   f o r   t h e   I n do n e s i a n   n e w s   s e n t i m e n t   a na l y s i s   ha s   b e e n   s uc c e s s f ul l y   d e v e l o pe d.   T h e   l e xi c o n   ha s   b e e n   t e s t e d  fo r   s e n t i m e nt   a na l y s i s   of   t h e   2018  go ve rn o r  e l e c t i o n   i n   t hr e e   p r o v i n c e s   i n   I ndo n e s i a .   T h e   p r o c e s s   ut i l i z e d  T F - ID F   a l go r i t hm   f o r   i t s   t e xt   c a t e go ri z a t i o n   pha s e .   D a t a   f r o m   t h e   e xpe r i m e n t s   c o n duc t e d  s h o w   a   goo d  p e r f o r m a n c e   of  t h e   s e n t i m e n t   a na l y s i s   i n   pr e di c t i n g   t h e   e l e c t i o n   r e s ul t s .   T h e   e xpe r i m e nt a l   r e s ul t s   s h o w   t h a t   t h e   h i g h e s t   e rr o r   o f   t h e   a na l y s i s   i s   26. 2  pe r c e nt   i n   pr e di c t i n g  t h e   v o t e   pe r c e n t - a ge   o f   e a c h   c a n d i d a t e .   T h i s   i s   a   pr o m i s i n g  r e s ul t   c o m pa r e d  t o   a   p r e v i o us   w o r k  w h i c h  us e d  m a n u a l l y   ge n e ra t e d  l e xi c o n .       R EF ER EN C ES     [ 1]   A l e xa ,   “ T o p  S i t e s   i n  I ndo ne s i a , ”   2018 .   R e t r i e v e d  f r o m   ht t ps : / / w w w . a l e xa . c o m / t o ps i t e s / c o unt r i e s / I D   [ 2]   A .   M o nt oy o ,   e t   a l . ,   “ S ub j e c t i v i t y   a nd  s e nt i m e nt   a na l - y s i s :   a n  o v e r v i e w   o f   t he   c ur r e nt   s t a t e   o f   t he   a r e a   a n d  e nv i s a g e d   de v e l o pm e nt s ,”   D e c i s i on   Sup por t   Sy s t e m s ,  v o l .   53 ,   p p.   6 75 – 6 79 ,  2 0 12 .    [ 3]   B .   P a ng   a nd  L .   L e e ,   “ O p i n i o n  m i ni ng   a nd  s e n t i m e nt   a na l y s i s , ”   F o unda t i o ns   an d  T r e nds   i n  I nf o r m a t i o n  R e t r i e v a l ,  v o l .   2 ,  20 08 .   [ 4]   U .   G .   M a da ,   e t   a l . ,   “ S e n t i m e n t   A na l y s i s   o f   E c o - n o m i c   N e w s   i n  B a ha s a   I ndo ne s i a   U s i ng   M a j o r i t y   V o t e   C l a s s i f i e r , ”   2016 .   [ 5]   C .   T r o us s a s ,   e t   a l . ,   “ S e nt i m e n t   a na l y s i s   o f   F a c e bo o k  s t a t us e s   u s i ng   N a i v e   B a y e s   C la s s i f i e r   f o r   l a ng ua g e   l e a r n i ng ,”   4t h  I n t e r na t i o nal   C on f e r e nc e   on  I nf o r m a t i o n,   I n t e l l i ge nc e ,   Sy s t e m s   and   A pp l i c a t i o ns   ( I I SA   2013) ,  pp .   1 98 - 205 ,  2013 .    [ 6]   A .   O r t i g o s a ,   e t   a l . ,   “ S e n t i m e n t   a na l y s i s   i n  F a c e bo o k  a n d  i t s   a p pl i c a t i o n  t o   e - l e a r ni ng ,”   C om put e r s   i n  H um an   B e hav i o r ,  v o l .   3 1,   pp .   527 - 54 1.     [ 7]   N .   Ö z t ür k   a n d  S .   A y v a z ,   “ S e n t i m e nt   A na l y s i s   o n  T w i t t e r   :   A   T e xt   M i n i ng   A p - pr o a c h  t o   t he   S y r i a n   R e f ug e e   C r i s i s ,”   T e l e m at i c s   a nd   I n f o r m at i c s ,  20 17 .    [ 8]   A .   A .   R .   S o r o i nda ,   e t   a l . ,   “ A   C o r pus - B a s e d  L e x i c o n  B ui l d i ng   i n  I ndo ne s i a n  P o l i t i c a l   C o nt e x t   T hr o ug h  I ndo ne s i a n   O nl i ne   N e w s , ”   pp .   347 - 35 2 ,  20 16 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A n  a ut om a t i c   l e x i c on   ge n e r at i on   f or   Indon e s i a n  n e w s   s e nt i m e nt   ana l y s i s :   a   c as e     . . . .   ( Me di a   A nug e r ah  A y u)   1561   [ 9]   E .   F a s t ,   e t   a l . ,   “ E m pa t h:   U nde r s t a nd i ng   T o pi c   S i g na l s   i n  L a r g e - S c a l e   T e xt ,”   P r oc e e di ngs   of   t he   2 016  C H I   C onf e r e nc e   on   H um a n  F ac t or s   i n   C om - put i ng   S y s t e m s   ( C H I   201 6) ,  pp.   46 47 - 4657 ,  201 6 .   [ 10]   C .   S .   G .   K ho o   a nd   S .   B .   J o hnk ha n ,   “ L e xi c o n - ba s e d   s e nt i m e n t   a na l y s i s :   C om pa r a - t i v e   e v a l u a t i o n  o f   s i x   s e nt i m e n t   l e x i c o ns ,”   J o ur na l   of   I nf or m a t i on   Sc i e nc e ,  v o l .   44 ,   pp .   4 91 - 511 ,  20 18 .    [ 11]   M .   D .   D e v i ka ,   e t   a l . ,   “ S e n t i m e nt   A na l y s i s :   A   C o m pa r a t i v e   S t udy   o n  D i f f e r e nt   A ppr o a c he s ,”   P r oc e di a  C om pu t e r   Sc i e nc e ,  v o l .   8 7,   pp .   44 – 49 ,  2 016 .    [ 12]   P .   M e l v i l l e ,   e t   a l . ,   “ S e n t i m e n t   A na l y s i s   o f   B l og s   b y   C o m bi ni ng   L e xi c a l   K no w l e dg e   w i t h  T e xt   C l a s s i f i c a t i o n ,”   P r oc e e di ngs   o f   t he   15 t h   A C M   S I G K D D   I nt e r n at i on al   C on f e r e nc e   o n  K now l e dg e   D i s c ov e r y   an d  D a t a   M i n i ng ,   N e w   Y o r k,   N Y ,   U S A :   A C M ,  pp.   1 275 - 128 4 ,  20 09 .   [ 13]   Z .   H a i l o ng ,   e t   a l . ,   “ M a c hi n e   L e a r n i ng   a nd  L e xi c o n  B a s e d  M e - t h o ds   f o r   S e nt i m e n t s   C l a s s i f i c a t i o n:   A   S ur v e y ,”   P r oc e e di ngs   o f   11 t h   W e b  I nf o r m at i o n  S y s t e m   and   A p pl i c a t i on   C on f e r e nc e   ( W I SA   201 4) ,   pp.   2 62 - 265 ,  2014 .   [ 14]   E .   A l pa y di n,   “ I nt r o duc t i o n  t o   M a c hi ne   L e a r n i ng   ( 2nd   e d . ) ,”   T he   M I T   P r e s s ,  20 10 .   [ 15]   A .   S ha r m a   a nd   S .   D e y ,   “ A n  A r t i f i c i a l   N e u r a l   N e t w o r k  B a s e d   A ppr o a c h  f o r   S e n - t i m e nt   A na l y s i s   o f   O pi ni o na t e d   T e xt ,”   P r oc e e di ng s   of   t he   2012  A C M   R e s e ar c h   i n  A pp l i e d  C om pu t at i on  Sy m p os i um ,   N e w   Y o r k,   N Y ,   U S A :   A C M ,  pp.   37 - 42 ,  201 2. .    [ 16]   Z .   Z h a ng ,   e t   a l . ,   “ S e nt i m e n t   c l a s s i f i c a t i o n  o f   I nt e r n e t   r e s - t a ur a nt   r e v i e w s   w r i t t e n  i n  C a nt o ne s e ,”   E x pe r t   S y s t e m s   w i t h  A p pl i c a t i ons ,  v o l .   38 ,   pp .   767 4 - 7682 ,  2011 .   [ 17]   B .   P a ng ,   e t   a l . ,   “ T hum b s up? : s e nt i m e nt   c l a s s i f i c a t i o n  us - i ng   m a c hi ne   l e a r n i ng   t e c hni qu e s , ”   P r oc e e di ngs   o f   t he   C onf e r e nc e   on  E m p i r i c al   M e t h ods   i n  N at ur a l   L a ngua ge   P r oc e s s i n g ,  ( E M N L P ’ 02) ,  A s s o c i a t i on  f o r   C om pu t a t i ona l   L i ngu i s t i c s ,   S t r ou ds b ur g ,   P a,   U SA ,  v ol .  10 ,   pp . 79 - 86 ,   200 2 .   [ 18]   W .   L i ,   e t   a l . ,   “ A n  I m pr o v e d  A ppr o a c h  f o r   T e xt   S e nt i m e n t   C l a s s i f i c a t i o n  B a s e d  o n  a   D e e p  N e ur a l   N e t w o r k  v i a   a  S e nt i m e n t   A t t e n t i o n   M e c ha ni s m ,”   F ut u r e   I nt e r ne t ,  v o l .   11 ,   201 9 .    [ 19]   G .   Li   a nd  F .   L i u,   “ A ppl i c a t i o n  o f   a   c l us t e r i ng   m e t ho d  o n  s e n t i m e n t   a na l y s i s ,”   J our nal   of   I nf or m a t i on  S c i e nc e ,  v o l .   38,   pp .   127 - 13 9 ,  20 12 .    [ 20]   P .   E km a n ,   “ A n  A r g um e nt   f o r   B a s i c   E m o t i o ns , ”   C ogn i t i on   e - E m o t i o n ,  v o l .   6 ,   pp .   1 69 - 200 ,  1992 .   [ 21]   J .   D a v i s   a nd  M .   G o a dr i c h ,   “ T h e   R e l a t i o ns h i p  b e t w e e n  P r e c i s i o n - R e c a l l   a n d  R O C   C ur v e s ,”   P r oc e e di ng s   o f   t he   23 r d   I nt e r n at i on al   C on f e r e nc e   on   M ac h i ne   L e ar ni n g ,   N e w   Y o r k,   N Y ,   U S A :   A C M ,  p p.   23 3 - 240 ,  2 006 .   Evaluation Warning : The document was created with Spire.PDF for Python.