I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   16 ,   N o .   3 D e c e m b e r   201 9 ,   pp .   1 5 5 5 ~ 1 561   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 3 . pp 1 5 5 5 - 1 561             1555       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   A n   a u t o m a t i c   l e x i c o n   g e n e r a t i o n   f o r   In d o n e si a n   n e w s   sent i m e n t   a n a l y s i s:   a   c a s e   o n   g o v e r n o r   e l e c t i o n s i n   In d o n e s i a       M e d i A n u ge r ah   A yu S o n S u r ya  Wi ja ya T e d d M an to r o   D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   F a c ul t y   of   E ng i ne e r i ng   a nd   T e c h no l o gy S a m po e r na   U n i v e r s i t y ,   I nd o ne s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   M a 1 ,   2 01 9   R e v i s e J u l   1 ,   2019   A c c e pt e J ul   28 ,   201 9       S e nt i m e n t   a n a l y s i s   h a s   be e po pul a r l y   us e i a na l y z i ng   da t a   f r o m   t he   i nt e r - ne t .     O n e   o f   t he   t e c hni que s   us e i s   l e xi c o ba s e s e n t i m e nt   a na l y s i s .     G e ne r - a t i ng   l e xi c o i s   no t   a e a s y   pr oc e s s ,   a nd  l e x i c o i B a ha s a   I ndo ne s i a   i s   r a r e l y   a v a i l a bl e .     T hi s   p a pe r   pr o po s e s   a n   a u t o m a t i c   l e x i c o g e ne r a t i o i n   B a ha s a   I n - do ne s i a   f o r   s e nt i m e n t   a na l y s i s   pu r po s e .     E xp e r i m e n t s   w e r e   pe r f o r m e u s i ng   t he   g e n e r a t e l e xi c o f o r   do i ng   s e nt i m e n t   a n a l y s i s   o I ndo ne s i a po l i t i c a l   ne w s   a bo ut   t h e   2 018   g ov e r no r   e l e c t i o i n   t hr e e   pr o v i n c e s   i I ndo ne s i a .   T h e   c o nduc t e e xpe r i m e nt s   s ho w   pr o m i s i ng   r e s ul t s   w he r e   i t   c a p r e d i c t   t h e   c a n - di da t e s   r a nk ,   t he   e l e c t i o w i nne r ,   a n t he   pe r c e nt a g e   o f   v o t e s   f o r   e a c c a ndi - da t e   w i t h   be t t e r   a c c ur a c y   t ha n   t he   pr e v i o us   w o r w h i c us e m a nua l l y   g e ne r - a t e l e x i c o n .     Ke y w or d s :   A ut o m a t i c   l e xi c o ge n e ra t i o n     In do n e s i a l e xi c o n   L e xi c o n   ge n e r a t i o n   N e w s   s e n t i m e nt   a na l y s i s     S e n t i m e n t   a na l y s i s   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M e di a   A n u ge ra h   A y u ,   D e pa rt m e n t   o f   Co m put e S c i e n c e ,   S a m po e rna   U ni v e r s i t y ,   J a ka rt a - I n do n e s i a .   E m a i l :   m e di a . a y u@ s a m po e rn a u n i v e r s i t y . a c . i d       1.   I N TR O D U C TI O N     T h e   R a pi de v e l o pm e n t   o f   i n t e rn e t   t e c hn o l o g y   w h i c h   i s   s uppo r t e by   t h e   f a s t   de v e l o pm e n t   o m o b i l e   de v i c e s   h a s   m a de   o n l i n e   n e w s   w e b s i t e s   be c o m e   a   f a vo r i t e   s o ur c e   o i n f o r m a t i o n   t ha t   a c c e s s e b y   m a n y   pe o pl e   i n   t h e   c urr e nt   di gi t a l   e ra .   I n   I n do n e s i a ,   a c c o r di n g   t o   t h e   A l e xa   R a n k ,   t w o   of   t h e   t o f i ve   w e bs i t e s   a r e   n e w s   w e b s i t e s   [1].   T hi s   m e a n   t ha t   n e w s   w e bs i t e s   c a n   b e   a   be n e f i c i a l   s o ur c e   t o   ob t a i n   a   b i pi c t u r e   o n   t h e   c urr e nt   i s s ue   a nd  t h e y   c o ul r e f l e c t   t h e   h a ppe ni n gs   i n   t h e   c o un - t r y   e i t h e r   i t s   s o c i a l   h a p pe ni n g ,   po l i t i c a l   h a ppe ni n g ,   o e c o n o m i c a l   ha ppe n i ng.   D u r - i ng  t h e   e l e c t i o n   y e a r ,   a na l y z i n t h e   n e w s   s e n t i m e n t   o n   t h e   c a n d i da t e s   i n v o l ve w o ul b r i n v a l u a b l e   i n s i g h t   t ha t   c a n   m a o n   w h a t   h a s   ha ppe n e du r i n t h e   c a m p a i g a n w h a t   po s s i b l y   c a h a p pe o t h e   D   d a y .       S e n t i m e n t   a na l y s i s   i s   de f i n e a s   a   p r o c e s s   of   de t e c t i ng,   e xt ra c t i n g ,   a n d   c l a s s i - f y i n us e r ’s   o pi n i o n s   a n a t t i t ude s   t o w a r c e r t a i n   t o pi c s   [2].   S e nt i m e n t   a na l y s i s   d e t e r m i n e s   w h e t h e r   a   t e xt   ha s   a   po s i t i v e ,   n e ut ra l ,   o r   n e ga t i v e   s e n t i m e n t .   T h e   ri s e   of  o pi n i o n   da t a s e t   o ve r   t he   i n t e rn e t   m a ke s   s e n t i m e n t   a n a l y s i s   be c o m e   a   po t e n t i a l   f i e l t o   s t udy   [3].   N e w s   a r t i c l e s   a n s o c i a l   m e di a   p o s t s   a r e   a m o n t h e   d a t a s e t s   us e i n   t h e   s e n t i m e n t   a n a l y s i s .   M a da   a n d   N u r w i dy a n t o r o   [4]   a na l y z e t h e   s e nt i - m e n t   o f   e c o n o m i c   n e w s   i I n do n e s i a .   W h e r e a s ,   [ 5]  a n [6]   di d   s e nt i m e nt   a na l y s i s   i n   F a c e bo o k.   T h e n,   O z t u r a n d   A y v a z   [7]  us e t w i t t e r   po s t   a s   t h e   da t a s e t   o s e n - t i m e n t   a na l y s i s   a b o ut   t h e   S y r i a r e f uge e   c r i s i s .   T h e   b a s i c   of   s e n t i m e n t   a na l y s i s   i s   s e n t i m e n t   c a t e go r i z a t i o n.   O n e   o f   t h e   b a s i c   a ppr o a c h e s   fo r   t h i s   s e n t i m e n t   c a t e go r i z a t i o i s   l e xi c o n   b a s e a pp r o a c h .   I n   t hi s   a pp r o a c h   t h e   l e xi c o n   p l a y s   a   m a j o r   r o l e   i t h e   pr o c e s s   of   s e n t i m e nt   c l a s s i f i c a t i o n .   L e xi c o n   b a s e a ppr o a c c l a s s i f i e s   t h e   s e n t i m e nt   b a s e o n   t h e   di c t i o na r y   pr o v i d - e d.   S e v e r a l   r e s e a r c h e r s   h a v e   s t udi e t h e   c o n s t r uc t i o n   o f   E ngl i s h   l e xi c o n   i v a ri o us   do m a i n s .   It   e v e n   ha s   b e e n   pr o v i de i n   l i b ra r i e s   o f   s o m e   pr o gra m m i ng  l a n gu a ge s   l i ke   R   a n P h y t o n .   H ow e ve r ,   f o r   l a n gu a ge   o t h e r   t ha n   E ngl i s h   t h e   l e xi c o n   di c t i o n - a r y   i s   l i m i t e d .   T h e re fo r e   l e xi c o n   di c t i o na r y   fo r   s e n t i m e nt   i n   n o n - Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   16 ,   N o .   3 D e c e m be r   2 019   :     1 5 5 5   -   1 5 6 1   1556   E n gl i s h   l a n gu a ge   n e e ds   t o   b e   d e ve l o p e d.   L e xi c o n   ge n e ra t i o n   c a n   b e   pe r f o r m e m a n u a l l y   o r   a ut o m a t i c a l l y .   T u r ki s l e xi c o n   c o n t a i ni n 5405  w o r ds   w a s   de ve l o pe m a n ua l l y   i n - v o l v i n t hr e e   e xpe r t s   by   O z t u r a nd  A y v a z   [7].   L e xi c o n   fo r   In do n e s i a n   po l i t i c   w a s   a l s o   b ui l t   m a n ua l l y   by   S o r o i n d a ,   R a c hi m ,   a n W o n ggo   [8]  i n v o l v i n a   po l i t i - c a l   e xpe r t   a n d   300   s e e w o r ds .   T hi s   r e s ul t e o n   12   s e nt i m e nt   w o r ds   w h e r e   6   f o r   po s i t i v e   s e n t i m e n t   a n d   a n o t h e r   f o r   n e ga t i v e   s e n t i m e n t .   T h e   d i s a d v a nt a ge   o f   ge n e r a t i n g   l e xi c o m a n u a l l y   i s   t h e   n e e fo r   e xpe r t s   i n   t h e   do m a i n   c o n t e xt .   A s   s h o w n   i n   a   s t udy   by   F a s t   e t   a l .   [9]  us i ng  e xpe r t s   i n   c o n s t r uc t i ng  do m a i n - s pe c i f i c   l e xi c o n   i s   v e r y   di f f i c ul t .   Co n s t r uc t i n l e xi c o n   m a n ua l l y   i s   us ua l l y   a l s o   t i m e   c o n - s um i n a n d   l a b o ur   i n t e n s i v e   [10] .   T h i s   pa pe r   p r e s e n t s   a   s t u dy   o n   l e xi c o n   b a s e s e n t i m e n t   a na l y s i s   us i n I n do n e s i a n   n e w s   a rt i c l e s   a s   t h e   da t a s e t s   w h e r e   t h e   l e xi c o n   i s   a ut o m a t i c a l l y   ge n e r a t e d .   T h e   p r o po s e s e n t i m e nt   a na l y s i s   s h ow s   pr o m i s i ng  r e s ul t s   w h e n   i t   w a s   t e s t e o t h e   c a s e   o f   go ve rn o r   e l e c t i o n s   i 3   p r o v i n c e s   i n   I ndo n e s i a .   N e xt   s e c t i o n   o f   t hi s   pa pe p r e s e n t s   r e v i e w s   o n   r e s e a r c h   w o r ks   r e l a t e t o   t h e   f o c us   o f   t h i s   s t udy ,   i . e .   s e n t i m e n t   a n a l y s i s   a n l e xi c o n   ge n e ra t i o n .   T h e   f o l l ow i ng  s e c t i o n   di s c us s e s   t h e   m e t h o do l o g y   us e i n   c o n duc t i n t hi s   s t udy .   It   i s   t h e n   f o l - l o w e by   t h e   r e s ul t   a nd   di s c us s i o n   s e c t i o n .   T h i s   s e c t i o n   p r e s e n t s   r e s ul t s   f r o m   t h e   e xpe ri m e n t s   c o n duc t e a nd  a s   w e l l   di s c us s i o n s   o n   t h e   m e a n i ngs   a nd  i m p l i c a t i o n s   o f   t h e   r e s ul t s .   T hi s   pa pe i s   t h e c l o s e w i t h   a   c o n c l us i o s e c t i o n   [4 ] .       2.   RE LA TED   WO R K   T h i s   s e c t i o n   di s c us s e s   r e v i e w s   o n   pr e v i o us   w o r ks   r e l a t e t o   s e n t i m e n t   c l a s s i f i c a t i o n   a nd  l e xi c o ge n e ra t i o n,   e s pe c i a l l y   o n   t h e   t e c hn i q ue s / a pp r o a c h e s   us e d.         G e n e ra l l y   t h e r e   a r e   t hr e e   m a i t e c hni que s   us e i n   s e n t i m e nt   c l a s s i f i c a t i o n ,   i . e .   r ul e - b a s e d,   l e xi c o n - b a s e (l e xi c a l   k n o w l e dge ),   a n m a c h i n e   l e a rni n g .     R ul e - b a s e i s   a   c l a s s i f i c a t i o n   by   de f i n i ng  s e v e r a l   rul e s   t o   t h e   t e xt .   A c c o r di n t o   t h e   r e s e a r c h   by   D e v i ka ,   r u l e d - b a s e c l a s s i f i c a t i o pe r f o r m s   b e t t e r   i s e nt e n c e   l e v e l   ra t h e r   t h a w o r l e v e l .   M o r e o ve r ,   t h e   pe r f o r m a n c e   of   r u l e - b a s e c l a s s i f i c a t i o n   i s   de t e r m i n e by   t h e   rul e s   us e d.   If   m o r e   r ul e s   us e d,   i t   w i l l   b e   m o r e   c o m pl i c a t e d   [11] .     L e xi c a l   k n o w l e dge   c l a s s i f i e s   s e n t i m e n t   o f   a   t e r m   b a s e o n   t h e   di c t i o na r y   pr o v i de d,   w h i c h   i s   us ua l l y   c a l l e a s   l e xi c o n   [12].   T h e   p r o c e s s   w i t h   t hi s   t e c hni que   do n e   by   c o un t i ng  a n w e i gh t i n t h e   s e n t i m e nt   w o r ds   t h a t   h a v e   b e e n   s e l e c t e t hr o ugh  e v a l ua t i o n   p r o c e s s   [13].   T h e   t h i rd  a p p r o a c h   i s   m a c h i n e   l e a rni n g .   W hi l e   r ul e - b a s e i s   c l a s s i fy i n us i ng  de f i n e rul e s ,   m a c h i n e   l e a rni n o f f e r s   a   c l a s s i f i c a t i o n   a l go r i t hm   w h i c h   l e a rn s   f r o m   da t a   p r o v i de o r   p r o c e s s e d.     M a c h i n e   l e a rn i ng  i s   a   p r o c e s s   of   a pp r o xi m a t i ng  t h e   upc o m i n g   o ut put   by   us i n g   t r a i ni n d a t a   o r   o n l y   t h e   i n put   i t s e l f .   M a c h i n e   l e a rni n m e t h o ds   c o m m o n l y   di v i de i n t o   t w o   c a t e go r i e s :   s upe r v i s e l e a rni n g   a n d   u n s upe r v i s e l e a rni n g   [14] .   S upe r v i s e l e a rni n i s   a   m a c hi n e   l e a rn i ng  t ha t   us e s   a   s a m p l e   da t a   a s   t h e   t ra i ni n d a t a .   B a s e o n   t h e   t r a i ni n d a t a ,   s upe r v i s e m a c hi n e   l e a rn i ng  p r e di c t s   t h e   o ut put   o t h e   i n put   d a t a .   A l go r i t h m s   us e i n   s upe r v i s e l e a rni n i n c l ude s   a r t i f i c i a l   n e u r a l   n e t w o r (A N N ),   m u l t i - l a y e r   pe r c e pt r o n,   a n de c i s i o n   t r e e .   T h e r e   a r e   s o m e   r e s e a r c h e r s   w h i c h   us e s   s upe r v i s e l e a rn i n a s   t h e i r   a pp r o a c h e s   f o r   s e n t i m e n t   a na l y s i s .   Sh a r m a   a n D e y   [15]  us e B a c P r o pa g a t i o n   A rt i f i c i a l   N e u ra l   N e t w o r (B P A N N t o   e v a l ua t e   t h e   s e nt i m e nt   of   m ov i e   r e v i e w s .   L e xi c a   f r o m   pr e v i o us   r e - s e a r c h   a r e   us e a s   t r a i n i ng  da t a .   T h e r e   a r e   t hr e e   l e xi c a   us e d,   w h i c h   a r e   H a t z i v a s s - i l o gl o &   M c K e ow n ,   G e n e r a l   I n qu i r e r,   a n t h e   O pi ni o n   L e xi c o n .   T h e   m o v i e   r e - v i e w   f r o m   IM D B . c o m   i s   us e d   fo r   t e s t   da t a .   B e s i de s   pe r fo r m i ng  s e n t i m e n t   a na l y s i s   f o r   t h e   m o v i e   r e v i e w ,   S h a rm a   a n D e y   a l s o   a n a l y z e t h e   pe r f o r m a n c e   of   B P A N N .   T h e y   e v a l ua t e   t h e   pe r f o r m a n c e   of   t h e   a pp r o a c h   b y   c o m pa r i n t h e   p r e c i s i o n   a nd  r e c a l l   o f   t h e   e xa m pl e   a n r e s ul t   da t a .   S ha rm a   a n D e y   s h ow e t h a t   B P A N N   w a s   pe r f o r m i ng  w e l l   i s e n t i m e n t   a na l y s i s   a n d   r e duc i n t h e   d i m e n s i o n a l i - t y .   S uppo r t   v e c t o r   m a c hi n e   (S V M a n n a ï v e   b a y e s   (N B w e r e   us e i n   s e nt i m e nt   a na l y s i s   c o n d uc t e b y   Z h a ng  e t   a l .   [1 6]  f o r   i nt e rn e t   r e s t a u r a nt   r e v i e w s   w r i t t e n   i Ca n t o n e s e .   W h e r e a s   P a n e t   a l   [1 7]  us e N B ,   S W M ,   a n d   m a xi m u m   e n t r o py   a s   t h e   m e t h o ds   f o r   t h e i s e nt i m e nt   c l a s s i f i c a t i o n.   A n o t h e r   w o r k,   by   L i   e t   a l   [18],   a p - p l i e de e l e a rni n t hr o ug h   a a p p r o a c h   c a l l e a   s e n t i m e n t - f e a t u r e - e nh a n c e de e n e u ra l   n e t w o r k   (S D N N fo r   t e xt   c l a s s i f i c a t i o n   o f   i t s   s e n t i m e n t   a na l y s i s .   D e e l e a rn i ng  w a s   a l s o   a do pt e by   E m pa t a   s e n t i m e n t   l e xi c o c o n s t r uc t e by   F a s t   e t   a l .   [9] .   Co n t ra r y   t o   s up e r v i s e l e a rn i ng,   t h e r e   i s   n o   t r a i n i ng  da t a   r e qui r e i n   u n s upe r - v i s e l e a rn i ng.   It   o nl y   n e e ds   i nput   d a t a .   U n s upe r v i s e m a c h i n e   l e a rni n w o r ks   by   f i n di n t h e   r e gul a r i t i e s   i n   t h e   i n put   d a t a .   U n s upe r v i s e l e a rni n a l go ri t hm s   i n c l u de   di f fe r e n t   t y pe   of   c l us t e r i ng  t e c hni que s .   O n e   of   t h e   c l us t e ri n t e c hn i q ue s   i s   K - M e a n s   c l us t e r i ng.   K - m e a n s   c l us t e r i n w o r k s   by   a s s i gn i ng  da t a   po i n t s   t o   c l us t e r   c e n t r o i d .   E a c h   d a t a   po i nt   i s   g r o upe t o   t h e   c l o s e s t   c e n t r o i i t e r a t i v e l y   unt i l   t h e   c e nt r o i do e s   n o t   c ha n ge   [1 4].   T h e   a ppl i c a t i o n   o f   k - m e a n s   c l us t e ri n i n   s e n t i m e n t   a n a l y s i s   i s   pr e s e n t e i n   F e i   L i r e s e a r c h   [19] .     I t h e i r   s t u dy ,   do c um e n t s   o f   m ov i e   r e v i e w   c l us t e r e i nt o   t w o   c l us t e r s :   po s i t i v e   a n n e g a t i v e .   F e i   L i u   w a s   a l s o   i m p l e m e nt i ng  T e r m   F r e que n c y - In v e r s e   D o c um e n t   F r e que n c y   (T F - ID F a n t h e   v o t i n m e c h a ni s m   t i m p r o v e   t h e   a c c ura c y   of   t h e   c l us t e r i ng  a pp r o a c h.   T F - ID F   i s   a n   a l go ri t hm   f o r   c a l c ul a t i ng  t h e   w e i ght   o f   a   t e r m .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A a ut om a t i c   l e x i c on   ge n e r at i on   f or   Indon e s i a n e w s   s e nt i m e nt   ana l y s i s :   a   c as e     . . . .   ( Me di a   A nug e r ah  A y u)   1557   A   t e r m   i s   i m po r t a n t   w h e n   i t   ha s   a   h i g h   f r e que n c y   i n   a   s i n gl e   do c um e n t ,   b ut   t h e   l o w   f r e que n c y   i n   t h e   c o l l e c t i o n   of   a l l   o t h e r   do c um e nt s .   T F - ID F   us e t o   i m p r o ve   t h e   e ff i c i e n c y   of  r a w   da t a ,   w h i l e   t h e   v o t i n g   m e c h a ni s m   i s   us e t o   e xt r a c t   m o r e   s t a b l e   c l us t e ri n r e s ul t .   A c c o r di n t o   t h e i r   r e s e a r c h   r e s ul t ,   i t   s h o w s   t h a t   s e n t i m e n t   a na l y s i s   us i n o n l y   k - m e a n s   c l us t e ri n i s   gi v i n a   po o r   o ut c o m e ,   t i m pr o v e   t h e   a c c ur a c y ,   T F - ID F   a n v o t i n g   m e c ha n i s m   t e c hni que   s h o ul d   b e   i m pl e m e nt e d.       3.   RE S EA R C H   M ET H O D S   T h i s   s e c t i o n   pr e s e nt s   t h e   r e s e a r c h   p r o c e s s   c o n duc t e i n   t hi s   s t udy   a n a l s o   t h e   r e s e a r c h   de s i g w h i c i s   b a s e o n   e xpe r i m e nt a l   de s i g r e s e a r c h.     T w o   m a i p r o - c e s s e s   a s   pa r t   o f   t h i s   r e s e a r c h   a r e   l e xi c o n   ge n e ra t i o n   a nd  s e n t i m e n t   a n a l y s i s .     D a - t a   c o l l e c t i o n   i s   t h e   fi r s t   s t e fo r   t h e   t w o   pr o c e s s e s .     D a t a   c o l l e c t i o n   w a s   d o n e   fo r   t h e   i n pu t   f o r   l e xi c o n   ge n e r a t i o n   a n a n o t h e da t a   c o l l e c t i o n   n e e ds   t o   b e   d o n e   f o r   pr e pa r i ng  da t a s e t s   fo r   t h e   s e n t i m e n t   a na l y s i s   pr o c e s s .     T h e   f l ow   of   da t a   c o l l e c t i o n   pr o c e s s   i s   de pi c t e i n   F i gu r e   1.     W h e r e a s   t h e   f l ow   o f   pr o c e s s   fo r   l e xi c o n   ge n e ra t i o n   a nd  s e nt i m e nt   a na l y s i s   c a n   b e   s e e n   f r o m   t h e   di a g ra m   p r e s e nt e i F i gu r e   2 .                           F i gu r e   1 .   D a t a   c o l l e c t i o n   p r o c e s s       F i gu r e   2 .   L e xi c o n   ge n e r a t i o a n s e n t i m e n t   a n a l y s i s   pr o c e s s       A n o t h e r   s t e do n e   i n   t h e   t w o   pr o c e s s e s   i s   t e xt   c a t e go r i z a t i o n.   T e xt   c a t e go ri z a - t i o n   i s   a   p r o c e s s   w h i c h   i s   pe r f o r m e i n   l e xi c o n   ge n e ra t i o n   a n a l s o   i n   s e n t i m e n t   a na l y s i s .   In   t hi s   s t udy   t h e   t e xt   c a t e go r i z a t i o pr o c e s s   w a s   c o n duc t e b a s e o n   w e i gh t i n s c h e m e .   T F - ID F   a l go ri t hm   w a s   us e t o   w e i gh t   t h e   m o s t   i m po r t a n t   t e rm   i a   do c um e n t   w hi c c a n   de f i n e   t h e   c a t e go r y   o f   t h e   do c um e nt .     T h e   T F - ID F   w a s   c a l c ul a t e b a s e o n   t h e   fo l l ow i n g   f o r m ul a :     , =  ,   × (  )                                                                                                                           (1)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   16 ,   N o .   3 D e c e m be r   2 019   :     1 5 5 5   -   1 5 6 1   1558   w h e r e   ,   i s   t h e   w e i ght   f o r   t e rm   i   i do c um e n t   j ,    ,   i s   t h e   t e rm   f r e que n c y   of   i   i n   do c um e n t   j ,     i s   t h e   n u m b e r   o f   t h e   do c um e nt   i n   t h e   c o l l e c t i o n ,   a nd     i s   t h e   do c um e nt   f r e que n c y   o f   t e r m   i t h e   c o l l e c t i o n.     3. 1 .   Le x i c o n   G e n e r ati o n     L e xi c o n   i s   c o n s t r uc t e t o   de t e r m i n e   t h e   t e xt   s e nt i m e nt   s c o r e .   In   t h i s   s t udy   t h e   l e xi c o n   w a s   ge n e ra t e d   a ut o m a t i c a l l y ,   ut i l i z i ng  de t i k. c o m   a s   t h e   s o ur c e   of   da t a .     T h i s   s i t e   w a s   c h o s e n   due   t o   i t s   p o pul a r i t y   a s   t h e   m o s t   v i s i t e n e w s   w e b s i t e s   i n   I n - do n e s i a   [ 1].   D e t i k. c o m   o ff e r s   r e a c t i o n   b ut t o n   t o   t h e   n e w s   w h i c h   c o n s i s t s   o f   e i gh t   (8)  r e a c t i o n s   a s   de pi c t e i n   F i gu r e   3.   I n   t hi s   s t udy ,   r e a c t i o n s ,   i . e .   e nt e r t a i n e a nd  s h o c ke w e r e   r e m o v e t a v o i t h e   a m b i gui t y   o t h e   r e a c t i o n   a n po s s i b l e   s a r - c a s m   r e a c t i o n.   A l s o ,   a s   E km a n’s   t h e o r y   s ugge s t e d   of  s i x   b a s i c   h um a n ’s   e m o t i o n a l   c a t e go r i e s   [20].     H a ppy ,   i n s pi r e d,   a nd  p r o ud  r e a c t i o n s   a r e   c o n s i de r e a s   po s i t i v e   s e n t i m e n t s .   W h e r e a s   s a d ,   a f ra i d ,   a n d   a ng r y   r e a c t i o n   a r e   c o n s i de r e a s   n e ga t i v e   s e n t i m e n t s .           F i gu r e   3 .     R e a c t i o n   b ut t o n s   f e a t u r e   o D e t i k   W e b s i t e       T h e   pe r c e nt a ge   f o r   e a c r e a c t i o n   r e p r e s e nt s   r e a de r s ’  f e e d b a c ks   o n   t h e   n e w s .   T h e s e   pe r c e n t a ge s   w e r e   c o l l e c t e a ut o m a t i c a l l y   a n d   t h e   t o t a l   s e nt i m e nt   w a s   t h e c a l c ul a t e us i ng  t h e   f o l l ow i n f o r m ul a :     T o t a l   s e n t i m e n t =   P o s i t i v e   S e n t i m e n t - N e ga t i v e   S e n t i m e n t       3. 2 .   S e n ti m e n A n al ys i s     In  t hi s   s t udy   t h e   s e n t i m e n t   a na l y s i s   w a s   do n e   b a s e o n   t h e   ge n e ra t e l e xi c o n   d i s c us s e e a r l i e r .   T h e   da t a s e t   fo r   t h e   l e xi c o n   b a s e s e n t i m e nt   a n a l y s i s   p e r f o r m e i n   t hi s   s t udy   i s   t h e   n e w s   a bo ut   t h e   c a n d i d a t e s   of  2018  go v e r n o r   e l e c t i o n   i n   J a w a   B a ra t ,   J a w a   T e n g a h,   a nd  J a w a   T i m u r   p r o v i n c e s .   D a t a   w a s   c o l l e c t e f r o m   n e w s   a rt i c l e s   pub l i s h e w i t hi n   t h e   r e gi s t ra t i o o f   c a n di d a t e s   t o   t h e   e nd  o f   c a m pa i g n   pe - ri o d,   i . e .   J a n ua r y   2018  -   23  J u n e   2018 .   A s   de pi c t e t hr o ug h   a   d i a g ra m   p r e s e nt - e i n   F i gu r e   2 ,   a f t e r   t h e   da t a   i s   c o l l e c t e f r o t hr e e   n e w s   w e b s i t e s ,   i . e .   de t i k. c o m ,   t ri b unn e w s . c o m ,   a n l i pu t a n 6 . c o m ,   t h e n   t h e   d a t a   w i l l   go   t hr o ug h   a   pr e p r o c e s s i n p ha s e .   It   i s   t h e n   f o l l o w e by   t e xt   c a t e go r i z a t i o n   p r o c e s s   us i n T F - ID F   a l go ri t hm .   F o l l o w i n t h a t ,   t h e   s e n t i m e n t   s c o r e   of   t h e   c a t e go r y   w i l l   b e   c h e c ke b a s e o n   t h e   ge n e ra t e l e xi c o n .   I t   i s   e xpe c t e t h a t   t h e   r e s ul t s   f r o m   t h i s   s e n t i m e nt   a n a l y s i s   w i l l   b e   a b l e   t o   b e   us e t o   p r e di c t   t h e   o ut c o m e   of   t h e   e l e c t i o n s .     3. 3 .   Ex p e r i m e ts     E xpe r i m e nt s   w e r e   c o n duc t e t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   t h e   p r o po s e t e c h n i que .   T hr e e   v a ri a b l e s   i n v o l ve i n   t h e   e xpe ri m e n t s ,   i . e .   l e xi c o n   d a t a   a nd  c a n - d i d a t e   da t a   a s   i n de pe n de n t   v a ri a b l e s ,   a nd  s e nt i m e nt   a n a l y s i s   a c c ur a c y   a s   t h e   de - pe n de n t   v a ri a b l e .   T h e   e xpe ri m e nt s   c o n duc t e w e r e   b a s e o n   t h e   de s i g n   o f   e xpe r - i m e n t s   p r e s e n t e i n   T a b l e   1.   D a t a   r e s ul t e f r o m   t h e   e xpe r i m e nt s   c o n duc t e i s   e v a l ua t e b a s e o n   i t s   a c c u - ra c y   pe r f o r m a n c e .   E v a l ua t i n t h e   a c c u r a c y   of   t h e   e xpe r i m e nt s   f r o m   t h e   s e nt i - m e n t   a n a l y s i s   r e s ul t s   c a n   a l s s h o w   h o w   a c c ur a t e   t h e   l e x i c o n   ge n e ra t e d   i t hi s   s t udy   i s .       T a b l e   1 .   D e s i g o f   E xpe r i m e n t   w i t h   T w o   In de pe nde nt   V a r i a b l e s     Ca n d i d a t e   w i t h   D u p l i c a t e s   (C d )   Ca n d i d a t e   w i t h o u t   D u p l i c a t e s   (C)   L e x i c o n   w i t h   D u p l i c a t e s   (L d )   E x p e ri m e n t   L d C d   E x p e ri m e n t   L d C   L e x i c o n   w i t h o u t   D u p l i c a t e s   (L )   E x p e ri m e n t   L C d   E x p e ri m e n t   L C       T h e   a c c ura c y   of   s e n t i m e n t   a na l y s i s   pr o c e s s e s   i s   e v a l ua t e b a s e o n   t hr e e   i n - de xe s ,   i . e .   p r e c i s i o n,   r e c a l l   ra t e ,   a nd  a c c ura c y ,   c a l c ul a t e us i n g   t h e   f o l l ow i n g   e qua t i o n s :      =     +    (2)       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A a ut om a t i c   l e x i c on   ge n e r at i on   f or   Indon e s i a n e w s   s e nt i m e nt   ana l y s i s :   a   c as e     . . . .   ( Me di a   A nug e r ah  A y u)   1559   =     +    (3)      =    +   +  +  +    (4)     w h e r e   T P   i s   t h e   num b e o f   t r ue   po s i t i v e   i n s t a n c e s ,   F N   i s   t h e   n u m b e r   o f   f a l s e   n e ga t i v e   i n s t a n c e s ,   F P   i s   t h e   n u m b e r   o f   f a l s e   po s i t i v e   i n s t a n c e s ,   a nd  T N   r e f e r s   t o   t h e   nu m b e r   o f   t r ue   n e ga t i v e   i n s t a n c e s   a s   p r e s e nt e i n   T a b l e   2   a s   a   c o n f us i o m a t ri x   [21] .       T a b l e   2 .   Co n f us i o n   M a t ri T a b l e     P re d i c t e d   P o s i t i v e   N e g a t i v e   A c t u a l   P o s i t i v e   T ru e   P o s i t i v e   (T P )   F a l s e   N e g a t i v e   ( F N )   N e g a t i v e   F a l s e   P o s i t i v e   (F P )   T ru e   N e g a t i v e   (T N )       In   t h i s   s t udy   t h e   a c t u a l   po s i t i v e   a n a c t ua l   n e ga t i v e   da t a   i s   t a ke n   f r o m   t h e   r e - s ul t s   o f   2018  go v e r n o e l e c t i o n   f r o m   K o m i s i   P e m i l i ha U m um   (K P U ),   t h e   o f f i c i a l   c o m m i s s i o n   o f   t h e   2018   go v e r n o e l e c t i o n .   T w pr e di c t i o n s   w i l l   b e   e v a l ua t e us - i n t h e   c o n f us i o n   m a t ri w h i c h   a r e   t h e   pr e di c t i o n   o f   t h e   2018  gove rn o e l e c t i o n   r a nk  a n w i nn e r .   T h e   m e a a b s o l ut e   pe r c e nt a ge   e rr o (M A P E )   i s   t h e n   c a l c u l a t e t o   m e a s u r e   t h e   e rr o of   vo t e   pe r c e n t a ge   p r e di c t i o n s .   T h e   f o l l ow i n f o r m ul a   i s   us e f o r   t h e   e rr o r   c a l c ul a t i o n.           =           100   (5)      =        100   (6)       4.   R ES U LTS   A N D   A N A L Y S I S   T h i s   s e c t i o n   pr e s e nt s   r e s ul t s   f r o m   t h e   e xpe r i m e n t s   c o n d uc t e w h i c h   b a s e o n   t h e   de s i gn   of  e xpe r i m e nt s   de s c r i b e i n   s ub - s e c t i o n   3. 3.   T hr e e   t y p e s   of   a c c ura c y   w e r e   e v a l ua t e d,   w h i c h   a r e :   1 .   t h e   a c c ur a c y   of   t h e   s e n t i m e n t   a n a l y s i s   r e s ul t s   i n   p r e di c t i n c o rr e c t   o r de r   o f   t h e   c a n di d a t e   r a nk,   2 .   t h e   a c c ur a c y   of   t h e   s e n t i m e n t   a na l y s i s   r e s ul t s   i n   p r e di c t i ng  t h e   e l e c t i o n   w i nn e r,   a n 3.   t h e   a c c ura c y   i p r e di c t i n t o t a l   v o t e   pe r c e n t a ge   o f   e a c h   c a n d i da t e .   H e r e   e l e c t i o n   w i nn e de f i n e a s   t h e   c a n di da t e   w i t t h e   hi g h e s t   s c o r e ,   w hi l e   vo t e   pe r c e n t a ge   de - f i n e a s   t o t a l   v o t e   ga i n e by   a   c a n d i da t e   f r o m   a l l   t h e   v o t e   s u b m i t t e d.   A l l   t h e   p r e di c t i o n   w i l l   b e   c o m pa r e t o   t h e   r e s ul t   f r o m   K P U ,   t h e   o ff i c i a l   c o m m i s s i o n   f o r   t h e   e l e c t i o n.   T h e   r e s ul t s   o f   t h e   a c c u r a c y   pe r f o r m a n c e   e v a l ua t i o n   f r o m   t h e   e xpe r i m e n t s   c o n d uc t e a r e   pr e s e nt e i T a b l e   3 ,   4   a nd  5 .       T a b l e   3 .   T h e   a c c u r a c y   pe r f o r m a n c e   o f   t h e   l e xi c o n   b a s e s e nt i m e n t   a na l y s i s   i n   p r e d i c t i n g   t h e   c a n di da t e   r a nks   E x p e ri m e n t   P ro v i n c e   P re c i s i o n   ( % )   Re c a l l   (% )   A c c u ra c y   ( % )   A v e ra g e   A c c u ra c y   ( % )   L d C d   J a w a   Ba ra t   50   50   75   9 1 . 6 7   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   LC   J a w a   Ba ra t   25   25   6 2 . 5   8 7 , 5   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L Cd   J a w a   Ba ra t   25   25   6 2 . 5   8 7 , 5   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L d C   J a w a   Ba ra t   25   25   6 2 . 5   8 7 , 5   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100       T h e   e xpe r i m e nt a l   r e s ul t s   p r e s e nt e i n   T a b l e   s h o w s   t h a t   L dCd  s e nt i m e nt   a na l y s i s   r e s ul t   ha s   b e t t e r   a c c ur a c y   i n   p r e di c t i n g   c o rr e c t   o r de r   o f   t h e   go v e rn o r   e l e c - t i o n   ra n ra t h e t ha n   t h e   o t h e t hr e e   c o n di t i o n s .   E l e c t i o n   c a n d i da t e   r a nks   i n   J a w a   T e n ga h   a n J a w a   T i m u r   p rov i n c e   h a s   b e e n   pr e di c t e w i t h   100%  a c c u r a c y   i a l l   e xpe ri m e n t s .   D a t a   i T a b l e   s h o w s   e xpe r i m e nt a l   r e s ul t s   f o r   e l e c t i o n   w i nn e r   p r e di c t i o n .   T h e   d a t a   s h o w s   t h a t   t h e   s e n t i m e n t   a na l y s i s   y i e l de 100%  a c c ur a c y   i p r e di c t i n g   t h e   w i nn e r   o f   2018  go v e r n o e l e c t i o n   i n   J a w a   B a r a t ,   J a w a   T e nga h,   a n d   J a w a   T i m u r.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   16 ,   N o .   3 D e c e m be r   2 019   :     1 5 5 5   -   1 5 6 1   1560   D a t a   p r e s e n t e i n   T a b l e   s h o w   t ha t   b a s i c a l l y   t h e   M A P E   a r e   n o t   e xc e e di n g   40%   w i t t h e   hi g h e s t   r e s ul t e f r o m   t h e   e xpe ri m e n t s   a r e   39. 14  pe r c e n t .     O n   a v e r - a ge   t h e   L Cd  e xpe r i m e nt   ha s   t h e   h i g h e s t   M A P E   o 26. 20   pe r c e n t ,   a n d   t h e   l o w e s t   M A P E   o f   18. 25   pe r c e n t   ha s   b e e n   r e s ul t e f r o m   L dC.       T a b l e   4 T h e   a c c u r a c y   pe r f o r m a n c e   o f   t h e   l e xi c o n   b a s e s e nt i m e n t   a na l y s i s   i n   p r e d i c t i n g     t h e   c a n di da t e   w i nn e r   E x p e ri m e n t   P ro v i n c e   P re c i s i o n   ( % )   Re c a l l   (% )   A c c u ra c y   ( % )   A v e ra g e   A c c u ra c y   ( % )   L d C d   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   LC   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L Cd   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100   L d C   J a w a   Ba ra t   100   100   100   100   J a w a   T e n g a h   100   100   100   J a w a   T i m u r   100   100   100       R e s ul t s   pr e s e n t e i n   T a b l e   a l s o   s ugge s t   t h a t   t h e   pe r f o r m a nc e   of   t h i s   a ut o - m a t i c   l e xi c o n   ge n e r a t i o b a s e s e n t i m e n t   a n a l y s i s   i s   b e t t e r   t ha n   t h e   p r e v i o us   o n e   c on d uc t e by   S o r o i nda ,   R a c h i m ,   a nd  W o n ggo   [8]  w h e r e   t h e   l e xi c o n   w a s   m a nua l - l y   ge n e ra t e d .   T h e   p r e v i o us   w o r s h o w e m o r e   t h a 4 pe r c e nt a ge   o f   e rr o r s .       T a b l e   5 .     P e r c e nt a ge   o f   E rr o r   o f   e a c h   S e n t i m e n t   A na l y s i s   Re s ul t   E x p e ri m e n t   M A P E   S c o r e   ( % )   A v e ra g e   ( % )   J a w a   Ba ra t   J a w a   T e n g a h   J a w a   T i m u r   L c D c   3 3 . 9 3   3 1 . 3 5   1 . 7 9   2 2 . 3 6   LC   3 6 . 1 4   3 0 . 6 2   2 . 0 9   2 2 . 9 5   L Cd   3 9 . 1 4   3 8 . 6 3   0 . 8 2   2 6 . 2 0   L d C   2 8 . 2 2   2 3 . 4 6   3 . 0 6   1 8 . 2 5       5.   C O N C LU S I O N     T h i s   s t udy   s h ow s   t h a t   a n   a ut o m a t i c   l e xi c o n   ge n e ra t i o n   f o r   t h e   I n do n e s i a n   n e w s   s e n t i m e n t   a na l y s i s   ha s   b e e n   s uc c e s s f ul l y   d e v e l o pe d.   T h e   l e xi c o n   ha s   b e e n   t e s t e fo r   s e n t i m e nt   a na l y s i s   of   t h e   2018  go ve rn o e l e c t i o n   i n   t hr e e   p r o v i n c e s   i n   I ndo n e s i a .   T h e   p r o c e s s   ut i l i z e T F - ID F   a l go r i t hm   f o r   i t s   t e xt   c a t e go ri z a t i o n   pha s e .   D a t a   f r o m   t h e   e xpe r i m e n t s   c o n duc t e s h o w   a   goo p e r f o r m a n c e   of  t h e   s e n t i m e n t   a na l y s i s   i n   pr e di c t i n g   t h e   e l e c t i o n   r e s ul t s .   T h e   e xpe r i m e nt a l   r e s ul t s   s h o w   t h a t   t h e   h i g h e s t   e rr o r   o f   t h e   a na l y s i s   i s   26. pe r c e nt   i n   pr e di c t i n t h e   v o t e   pe r c e n t - a ge   o f   e a c h   c a n d i d a t e .   T h i s   i s   a   pr o m i s i n r e s ul t   c o m pa r e t o   a   p r e v i o us   w o r w h i c us e m a n u a l l y   ge n e ra t e l e xi c o n .       R EF ER EN C ES     [ 1]   A l e xa ,   T o S i t e s   i I ndo ne s i a ,   2018 .   R e t r i e v e f r o m   ht t ps : / / w w w . a l e xa . c o m / t o ps i t e s / c o unt r i e s / I D   [ 2]   A .   M o nt oy o ,   e t   a l . ,   S ub j e c t i v i t y   a nd  s e nt i m e nt   a na l - y s i s :   a o v e r v i e w   o f   t he   c ur r e nt   s t a t e   o f   t he   a r e a   a n e nv i s a g e d   de v e l o pm e nt s ,”   D e c i s i on   Sup por t   Sy s t e m s v o l .   53 ,   p p.   6 75 6 79 2 0 12   [ 3]   B .   P a ng   a nd  L .   L e e ,   O p i n i o m i ni ng   a nd  s e n t i m e nt   a na l y s i s ,   F o unda t i o ns   an T r e nds   i I nf o r m a t i o R e t r i e v a l v o l .   2 20 08 .   [ 4]   U .   G .   M a da ,   e t   a l . ,   S e n t i m e n t   A na l y s i s   o f   E c o - n o m i c   N e w s   i B a ha s a   I ndo ne s i a   U s i ng   M a j o r i t y   V o t e   C l a s s i f i e r ,   2016 .   [ 5]   C .   T r o us s a s ,   e t   a l . ,   S e nt i m e n t   a na l y s i s   o f   F a c e bo o s t a t us e s   u s i ng   N a i v e   B a y e s   C la s s i f i e r   f o r   l a ng ua g e   l e a r n i ng ,”   4t I n t e r na t i o nal   C on f e r e nc e   on  I nf o r m a t i o n,   I n t e l l i ge nc e ,   Sy s t e m s   and   A pp l i c a t i o ns   ( I I SA   2013) pp .   1 98 - 205 2013   [ 6]   A .   O r t i g o s a ,   e t   a l . ,   S e n t i m e n t   a na l y s i s   i F a c e bo o a n i t s   a p pl i c a t i o t o   e - l e a r ni ng ,”   C om put e r s   i H um an   B e hav i o r v o l .   3 1,   pp .   527 - 54 1.     [ 7]   N .   Ö z t ür k   a n S .   A y v a z ,   S e n t i m e nt   A na l y s i s   o T w i t t e r :   A   T e xt   M i n i ng   A p - pr o a c t o   t he   S y r i a n   R e f ug e e   C r i s i s ,”   T e l e m at i c s   a nd   I n f o r m at i c s 20 17   [ 8]   A .   A .   R .   S o r o i nda ,   e t   a l . ,   A   C o r pus - B a s e L e x i c o B ui l d i ng   i I ndo ne s i a P o l i t i c a l   C o nt e x t   T hr o ug I ndo ne s i a n   O nl i ne   N e w s ,   pp .   347 - 35 2 20 16 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A a ut om a t i c   l e x i c on   ge n e r at i on   f or   Indon e s i a n e w s   s e nt i m e nt   ana l y s i s :   a   c as e     . . . .   ( Me di a   A nug e r ah  A y u)   1561   [ 9]   E .   F a s t ,   e t   a l . ,   E m pa t h:   U nde r s t a nd i ng   T o pi c   S i g na l s   i L a r g e - S c a l e   T e xt ,”   P r oc e e di ngs   of   t he   2 016  C H I   C onf e r e nc e   on   H um a F ac t or s   i n   C om - put i ng   S y s t e m s   ( C H I   201 6) pp.   46 47 - 4657 201 6 .   [ 10]   C .   S .   G .   K ho o   a nd   S .   B .   J o hnk ha n ,   L e xi c o n - ba s e d   s e nt i m e n t   a na l y s i s :   C om pa r a - t i v e   e v a l u a t i o o f   s i x   s e nt i m e n t   l e x i c o ns ,”   J o ur na l   of   I nf or m a t i on   Sc i e nc e v o l .   44 ,   pp .   4 91 - 511 20 18   [ 11]   M .   D .   D e v i ka ,   e t   a l . ,   S e n t i m e nt   A na l y s i s :   A   C o m pa r a t i v e   S t udy   o D i f f e r e nt   A ppr o a c he s ,”   P r oc e di C om pu t e r   Sc i e nc e v o l .   8 7,   pp .   44 49 2 016   [ 12]   P .   M e l v i l l e ,   e t   a l . ,   S e n t i m e n t   A na l y s i s   o f   B l og s   b y   C o m bi ni ng   L e xi c a l   K no w l e dg e   w i t T e xt   C l a s s i f i c a t i o n ,”   P r oc e e di ngs   o f   t he   15 t h   A C M   S I G K D D   I nt e r n at i on al   C on f e r e nc e   o K now l e dg e   D i s c ov e r y   an D a t a   M i n i ng ,   N e w   Y o r k,   N Y ,   U S A :   A C M pp.   1 275 - 128 4 20 09 .   [ 13]   Z .   H a i l o ng ,   e t   a l . ,   M a c hi n e   L e a r n i ng   a nd  L e xi c o B a s e M e - t h o ds   f o r   S e nt i m e n t s   C l a s s i f i c a t i o n:   A   S ur v e y ,”   P r oc e e di ngs   o f   11 t h   W e I nf o r m at i o S y s t e m   and   A p pl i c a t i on   C on f e r e nc e   ( W I SA   201 4) ,   pp.   2 62 - 265 2014 .   [ 14]   E .   A l pa y di n,   I nt r o duc t i o t o   M a c hi ne   L e a r n i ng   ( 2nd   e d . ) ,”   T he   M I T   P r e s s 20 10 .   [ 15]   A .   S ha r m a   a nd   S .   D e y ,   A A r t i f i c i a l   N e u r a l   N e t w o r B a s e d   A ppr o a c f o r   S e n - t i m e nt   A na l y s i s   o f   O pi ni o na t e d   T e xt ,”   P r oc e e di ng s   of   t he   2012  A C M   R e s e ar c h   i A pp l i e C om pu t at i on  Sy m p os i um ,   N e w   Y o r k,   N Y ,   U S A :   A C M pp.   37 - 42 201 2.   [ 16]   Z .   Z h a ng ,   e t   a l . ,   S e nt i m e n t   c l a s s i f i c a t i o o f   I nt e r n e t   r e s - t a ur a nt   r e v i e w s   w r i t t e i C a nt o ne s e ,”   E x pe r t   S y s t e m s   w i t A p pl i c a t i ons v o l .   38 ,   pp .   767 4 - 7682 2011 .   [ 17]   B .   P a ng ,   e t   a l . ,   T hum b s up? : s e nt i m e nt   c l a s s i f i c a t i o us - i ng   m a c hi ne   l e a r n i ng   t e c hni qu e s ,   P r oc e e di ngs   o f   t he   C onf e r e nc e   on  E m p i r i c al   M e t h ods   i N at ur a l   L a ngua ge   P r oc e s s i n g ( E M N L P 02) A s s o c i a t i on  f o r   C om pu t a t i ona l   L i ngu i s t i c s ,   S t r ou ds b ur g ,   P a,   U SA v ol 10 ,   pp . 79 - 86 ,   200 2 .   [ 18]   W .   L i ,   e t   a l . ,   A I m pr o v e A ppr o a c f o r   T e xt   S e nt i m e n t   C l a s s i f i c a t i o B a s e o a   D e e N e ur a l   N e t w o r v i a   S e nt i m e n t   A t t e n t i o n   M e c ha ni s m ,”   F ut u r e   I nt e r ne t v o l .   11 ,   201 9   [ 19]   G .   Li   a nd  F .   L i u,   A ppl i c a t i o o f   a   c l us t e r i ng   m e t ho o s e n t i m e n t   a na l y s i s ,”   J our nal   of   I nf or m a t i on  S c i e nc e v o l .   38,   pp .   127 - 13 9 20 12   [ 20]   P .   E km a n ,   A A r g um e nt   f o r   B a s i c   E m o t i o ns ,   C ogn i t i on   e - E m o t i o n v o l .   6 ,   pp .   1 69 - 200 1992 .   [ 21]   J .   D a v i s   a nd  M .   G o a dr i c h ,   T h e   R e l a t i o ns h i b e t w e e P r e c i s i o n - R e c a l l   a n R O C   C ur v e s ,”   P r oc e e di ng s   o f   t he   23 r d   I nt e r n at i on al   C on f e r e nc e   on   M ac h i ne   L e ar ni n g ,   N e w   Y o r k,   N Y ,   U S A :   A C M p p.   23 3 - 240 2 006 .   Evaluation Warning : The document was created with Spire.PDF for Python.