I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 4 ,   N o .   1 A p r i l   201 9 ,   p p.   11 3 ~ 1 1 7   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 4 .i 1 . pp 11 3 - 1 1 7             113       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   In d o n e si a n   o n l i n e   t r a v e l   a g e n t   s e n t i m e n t   a n a l y s i s us i n g   m a c h i n e   l e a r n i n g   m e t h o d s       A b i m an y u   D   P o e r n o mo ,   S u h ar ji to   C o m put e r   S c i e nc e   D e p a r t m e n t ,   B I N U S   G r a du a t e   P r o g r a m   -   M a s t e r   o f   C o m put e r   S c i e nc e ,   B i na   N us a n t a r a   U ni v e r s i t y   J a ka r t a ,   I ndo ne s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e J un   20 ,   201 8   R e v i s e D e c   3 ,   2 018   A c c e pt e J a n   2 ,   201 9       M a ny   c o m pa ni e s   us e   s o c i a l   m e di a   t o   s up po r t   t he i r   bus i n e s s   a c t i v i t i e s .   T h r e e   l e a di ng   o nl i n e   t r a v e l   a g e nt   s uc a s   T r a v e l o ka ,   T i k e t ,   a n A g o da   us e   F a c e bo o f o r   s up po r t i ng   t h e i r   bus i n e s s   a s   c us t o m e r   s e r v i c e   t o o l .   T h i s   s t udy   i s   t o   m e a s u r e   c us t o m e r   s a t i s f a c t i o o f   T r a v e l o ka ,   T i k e t ,   a nd  A go da   by   a na l y z i ng   F a c e boo po s t s   a nd  c o m m e nt s   da t a   f r o m   t he i r   f a pa g e s .   T ha t   d a t a   w i l l   be   a n a l y z e w i t t h r e e   m a c hi ne   l e a r ni ng   a l g o r i t hm s   s uc a s   K - N e a r e s t   N e i g hbo r s   ( K N N ) ,   N a ï v e   B a y e s ,   a n S up po r t   V e c t o r   M a c hi n e   ( S V M )   t o   de t e r m i ne   t h e   s e n t i m e nt .     F r o m   t he   c l a s s i f i c a t i o r e s ul t s ,   d a t a   w i l l   b e   s e l e c t e d   w i t h   t h e   h i g he s t   f - s c o r e   t o   be   us e t o   c a l c ul a t e   t he   N e t   S e nt i m e n t   S c o r e   us e d   t o   m e a s ur e   c us t o m e r   s a t i s f a c t i o n .   T he   r e s u l t   s ho w s   t ha t   K N N   r e s ul t   be t t e r   t ha n   N a i v e   B a y e s   a nd   S V M   ba s e d   o f - s c o r e .   B a s e o N e t   S e n t i m e nt   S c o r e   s ho w s   c o m pa ni e s   t ha t   g e t   t he   h i g he s t   s a t i s f a c t i o v a l ue   o f   T r a v e l o ka   f o l l o w e by   T i ke t . c o m   a nd   A go da .       Ke y w or d s :   A go da   F a c e boo k   KNN   N a ï v e   b a y e s   S e n t i m e n t   a na l y s i s   SVM   T i ke t . c o m   T r a v e l o ka   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S uha r j i t o ,   Co m put e S c i e n c e   D e pa rt m e n t ,   B IN U S   G r a du a t e   P r o gra m ,   M a s t e o f   Co m put e S c i e n c e ,   B i n a   N us a nt a ra   U n i v e r s i t y   J a ka rt a ,   I n do n e s i a .   E m a i l :   s u h a r j i t o @ b i n us . e du       1.   I N TR O D U C TI O N     H i gh   pe n e t ra t i o n   o f   t h e   i nt e rn e t   a n t h e   h i g h   de m a n o f   t h e   pe o pl e   of   In do n e s i a   f o r   t h e   n e e ds     of   t h e   h o l i da y   m a ke s   t h e   n e w   o pp o r t u ni t y   fo r   t h e   t r a v e l   b us i ne s s .   M a n y   e m e r gi n g   n e w   t ra v e l   a ge n c i e s   s e r v i n t i c ke t   pu r c ha s e s   a n a c c o m m o da t i o n   t hr o ug h   t h e   w e bs i t e .   S oc i a l   M e di a   M a r ke t i ng  i s   a   n e w   w a y   t   pr o m o t e   p r o duc t s   a n r e a c h   n e w   c us t o m e r   w i t l e s s   b u dge t   a n r e s o ur c e s .   S o c i a l   m e di a   m a rke t i n gi v e s   b e n e f i t   f o r   b us i n e s s   by   r e duc i n c o s t   a n d   s t a f f   t i m e ,   a nd  i n c r e a s i ng  r e v e n ue   ge n e ra t i o n   [ 1].   S i n c e   s o c i a l   m e di a   h a v e   b e c o m e   po pul a f o r   pe o pl e   t o   s h a r e   t h e i o pi ni o n s ,   c o m pa n i e s   ha v e   o ppo r t uni t y   t o   us e   t h e   e xi s t i n da t a   f o r   b us i n e s s   i n t e l l i ge n c e   a pp l i c a t i o n s   f o e n t e r p ri s e   m a r ke t i ng  s e r v i c e s   a n c us t o m e r   r e l a t i o n s h i p   m a n a ge m e nt   [1] .   P r o duc t   r e v i e w   a n d   f e e d b a c fr o m   p r o duc t   o s o c i a l   m e di a   i s   t h e   b e s t   s o ur c e   t ga i n   pub l i c   o pi ni o n   [ 2].   T h e   pub l i c   o pi n i o n   i s   o b t a i n e us i ng  s e n t i m e n t   a na l y s i s   [3].   S e n t i m e nt   a na l y s i s   i s   a   ki n o t e xt   c l a s s i f i c a t i o n   t ha t   g r o ups   t e xt   b a s e o n   t h e   o r i e nt a t i o n   o f   o pi n i o n,   de t e rm i ni n w h e t h e r   t h e   gi v e n   t e xt   i s   po s i t i v e ,   n e ga t i v e   o r   n e ut r a l   [ 4] [5] .   S e n t i m e n t s   f o un d   i c o m m e nt s ,   f e e db a c o r   c r i t i c i s m   p r o v i de   us e f ul   i n d i c a t o r s   f o r   v a r i o us   pu r po s e s .   S e n t i m e n t   a na l y s i s   gi v e s   t oo l   t o   c o m pa n i e s   t o   e s t i m a t e   p r o duc t   a c c e pt a n c e   l e v e l s   a n d   de t e r m i n e   s t ra t e gi e s   t o   i m p r o v e   t h e   p ro duc t   qua l i t y   [6] - [8].       M a n y   c o m pa n i e s   us e   s oc i a l   m e di a   t o   s uppo r t   t h e i r   b us i n e s s   a c t i v i t i e s .   T hr e e   l e a d i n o nl i n e   t ra v e l   a ge nt   s uc h   a s   T r a v e l o ka ,   T i ke t   a nd  A go da   us e   F a c e boo fo r   s uppo r t i n t h e i r   b us i n e s s   a s   c us t o m e r   s e r v i c e   t o o l .   F a c e b oo h a s   a   F a n   P a ge   f e a t u r e   t ha t   o nl i n e   t r a v e l   a ge n c i e s   us e   fo r   p r o m o t i o n s   a nd  ge t   f e e db a c f r o m   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 4 ,   N o .   1 A p r i l   20 1 9   :     11 3     1 1 7   114   po s t s   o r   c o m m e n t s .   F a c e boo c o m m e n t s   a n po s t s   c a n   b e c om e   da t a   s o ur c e s   t o   un de r s t a nd  c us t o m e r s   f e e l i n g ,   o pi n i o n s   a n d   s a t i s f a c t i o n s .     T h i s   s t u dy   i s   t o   m e a s ur e   c us t o m e r   s a t i s f a c t i o n   o f   T r a v e l o ka ,   T i ke t   a n d   A go da   by   a na l y z i n g   F a c e boo p o s t s   a n d   c o m m e nt s   da t a   f r o m   t h e i r   f a n   p a ge s .     T h a t   da t a   w i l l   b e   a na l y z e w i t h   t hr e e   m a c hi n e   l e a rn i ng  a l go ri t hm s   s uc h   a s   K - N e a r e s t   N e i g h b o r s   (K N N ) ,   N a ï v e   B a y e s ,   a n S u ppo rt   V e c t o r   M a c hi n e   (S V M t o   de t e rm i n e   t h e   s e nt i m e nt .     F r o m   t h e   c l a s s i f i c a t i o n   r e s ul t s ,   d a t a   w i l l   b e   s e l e c t e w i t h   t h e   hi g h e s t   a c c u r a c y   t o   b e   us e t o   c a l c ul a t e   t h e   N e t   S e n t i m e n t   S c o r e   us e t o   m e a s ur e   c us t o m e r   s a t i s f a c t i o n   [9] .   N S S   s c o r e   r a n ge   i s   b e t w e e n   - 100  a n 100,   h i g h e r   s c o r e   i ndi c a t e s   be t t e r   c us t o m e r   s a t i s f a c t i o n .   T h e   r e s ul t   o f   t h i s   s t udy   c a n   b e n e f i t   T ra v e l o ka ,   T i ke t   a n A go da   t o   i m p r o v e   t h e i s e r v i c e   qua l i t y   t o   s a t i s fy   t h e   c us t o m e r s .         2.   R ELA TED   WO R K S   S e n t i m e n t   a na l y s i s   h a s   b e e n   us e i n   v a r i o us   i n dus t ri e s   fo r   l i ke   t e l c o   [5] [10],   t r a n s po r t a t i o n   [9],   a ut o m o t i v e   [11]  a n d   b a nk  [12] .   S o c i a l   m e di a   a s   a   d a t a   s o ur c e   t h a t   c a n   b e   pr o c e s s e i n t o   s e n t i m e nt   t ha t   c a b e   us e t o   m e a s u r e   t h e   s a t i s f a c t i o o f   a   c o m pa n y ' s   c us t o m e r s .   R e s e a r c o n   s e n t i m e n t   a na l y s i s   a s   a   b e n c h m a r k   o t h i s   s a t i s f a c t i o n   ha s   b e e n   do n e   by   s e v e r a l   r e s e a r c h e r s .   In do n e s i a n   r e s e a r c h e r s   a na l y z e   t w e e t   w r i t t e n   i n   I n do n e s i a   t o   ge t   N e t   B r a n R e put a t i o n   o f   M ob i l e   P r o v i de r   [10] .   T h e y   us e   t w e e t   f r o m   o pe r a t o r s   a s   a   d a t a   s o ur c e .   T h e y   c l a s s i f i e a n c o m pa r e w i t h   N a ï v e   B a y e s ,   S uppo r t   V e c t o r   M a c h i n e ,   a n D e c i s i o n   T r e e   c l a s s i f i e r .   T h e   T e s t i ng  o t h e   c l a s s i f i c a t i o n   a l go r i t hm   i s   b a s e o n   c r o s s   v a l i d a t i o n   t e c hn i que .   T h e   r e s ul t s   s h o w e t h a t   S V M   g i v e s   be t t e r   pe r f o r m a n c e   t h a o t h e t w c l a s s i f i e r s   (N a ï v e   B a y e s   a n D e c i s i o T r e e i a c c ura c y .     A n o t h e r e s e a r c h   a b o ut   s e n t i m e n t   f o r   o nl i n e   t ra n s po rt a t i o pr o v i de r   [ 9] .   T h e y   us e   t w e e t   f r o m   o pe r a t o a s   a   da t a   s o u r c e .   R e s e a r c h e r s   do   m a n u a l   l a b e l i n g   b e fo r e   a pp l y i n t o   c l a s s i f i c a t i o m o de l .   T h e y   c l a s s i fy   a n c o m pa r e   w i t h   N a ï v e   B a y e s ,   S uppo r t   V e c t o r   M a c h i n e ,   a n D e c i s i o n   T r e e   Cl a s s i f i e r .   T h e   T e s t i n of   t h e   c l a s s i f i c a t i o n   a l go r i t hm   i s   b a s e o n   c r o s s   v a l i da t i o t e c h ni que .   T h e   r e s ul t s   s h o w e t h a t   S V M   a n d   D e c i s i o n   T r e e   gi v e   b e t t e r   pe r f o r m a n c e   t ha n   N a i v e   B a y e s .     F r o m   b o t h   s t ud i e s ,   t h e   s i m i l a r i t i e s   of   t h e   s t udi e s   [9] ,   [10]  a r e   o n   t h e   o bj e c t i v e   of   m e a s ur i n t h e   l e v e l   of   c us t o m e r   s a t i s f a c t i o n   w i t h   t h e   f i r m .   T h e n ,   t h e   s i m i l a ri t i e s   i n   t h e   s t udy   [9] ,   [10]  a r e   t h e   us e   o n a i v e   b a y e s   a n S V M   a l go r i t hm s .   I n   a dd i t i o n   t o   K N N   a s   a n   a l go ri t hm   t o   b e   t e s t e a l o n w i t h   N a i v e   B a y e s   a n S V M .   T h e   da t a   us e di f f e r e n t l y   by   us i n d a t a   de r i v e f r o m   f a c e b ook  t ha t   ha s   a   c h a ra c t e l e n gt l o nge t ha n   1 40  c h a ra c t e r s .   T h e   pr o c e s s   of  l a b e l i n t ra i ni n da t a   i s   n o t   do n e   m a n u a l l y   [9] ,   [10]  b ut   by   u s i n a   di c t i o n a r y   [13]   [14].   T h e   da t a   i s   t h e n   t e s t e w i t h   s pl i t   v a l i da t i o n.   T h e n   c a l c u l a t e   N e t   S e n t i m e nt   S c o r e   b a s e o n   c l a s s i f i c a t i o n   r e s ul t s   f r o m   e xpe ri m e n t   w i t h   t h e   b e s t   pe r fo r m a n c e .   T h e   r e s ul t   s h o w s   w h i c h   c o m pa n y   off e r s   be t t e r   s e r v i c e   qua l i t y   a n t h e   b e s t   a l go r i t h m   t o   c l a s s i fy   da t a .       3.   R ES EA R C H   M ET H O D   F i gu r e   s h o w s   a   f r a m e w o r t ha t   p r o po s e i n   t h i s   r e s e a r c h.   D a t a   c o l l e c t i o n   f r o m   F a c e boo w i l l   be   c l e a n e b e fo r e   m a de   i n t o   f e a t ur e s .   A f t e r   da t a   i s   c o l l e c t e d,   i t   w i l l   b e   c l a s s i f i e a n e v a l ua t e d.   T h e r e   a r e   m o r e   e xpl a n a t i o n s   a b o ut   t h e   p ha s e s   b e l ow .         F i gu r e   1 .   R e s e a r c F ra m e w o r k       3. 1 .       D at C o l l e c t i o n   T h e   F a c e boo po s t s   a n c o m m e n t s   a r e   c o l l e c t e us i n a   c us t o m   s c r i pt   w r i t t e i n   A S P . N E T   t o   c o n t a c t   F a c e boo G r a p A P a n d   c a pt u r e d   t h e   d a t a .   T h e   Cra w l e r   o n l y   c r a w l s   po s t s   a n d   c o m m e nt s   f r o m   In do n e s i a   o nl i n e   t ra v e l   a ge n c i e s   s uc h   a s   T r a v e l o ka ,   A go da   a n T i ke t .   T h e   l e n gt h   o f   t h e   da t a   i s   s t a r t e f r o m   J a nua r y   2017  u nt i l   D e c e m b e r   201 7.   T h e   da t a   f r o m   c ra w l i ng  pr o c e s s   c a n   b e   s t o r e i S Q L   S e r v e r   D a t a b a s e .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Indone s i an  onl i ne   t r a v e l   a ge n t   s e nt i m e n t   a nal y s i s   us i ng   m ac hi ne   l e ar ni ng  m e t ho ds   ( A bi m a ny u   D   P o e r nom o )   115   3. 2 .       D at P r e p r o c e s s i n g   T h e   go a l   i n   t hi s   s t e i s   t o   pr e pa r e   t h e   da t a   t h a t   h a s   b e e n   t a k e n   by   e l i m i na t i n t h e   p a r t s   t ha t   a r e   n o t   n e e de l a t e r   b e   us e a s   a   f e a t ur e   t ha t   w i l l   b e   us e i n   t h e   p ro c e s s   of   m a ki n a   m o de l   o f   s e n t i m e n t   a n a l y s i s .   T h e   p r o c e s s e s   un de r t a ke n   i n   t h i s   s t a ge   a r e   a s   f o l l o w s :   1.   Ca s e   F o l di n g     T h i s   p r o c e s s   c h a n ge s   t h e   e xi s t i n w o r i nt o   l o w e r c a s e .   T he   p ur po s e   of   t hi s   p r o c e s s   i s   t o   a vo i c a s e   s e n s i t i v e   v a l i da t i o w h e n   w o r ds   c o m pa r i ng  w i t di c t i o na r i e s .   E xa m p l e :   K e r j a   B a kt i   - >   ke r j a   b a kt i   2.   R e m o ve   L i n k   D a t a s   a r e   t a ke n   f r o m   t h e   w e bs i t e   l i n k.   W e b s i t e   l i nks   s uc h   a s   ht t p: / / f ac e boo k . c om   a r e   n o t   r e qu i r e i n   t h e   f e a t ur e   e xt ra c t i o p r o c e s s   s o   t h a t   i t   i s   r e m o v e by   pe r fo r m i ng  a   r e pl a c e m e n t   w i t h   " " .   3.   E m o t i c o Co n v e r s i o n   E m o t i c o n s   c o n t a i n e i n   t h e   d a t a   c a n   b e   c o n ve r t e t o   w o r ds   t ha t   w i l l   b e   ob t a i n e i nt o   a   f e a t ur e   t h a t   c a b e   us e i s e nt i m e nt   a n a l y s i s .   Co n v e r t i ng  E m o t i c o n s   t o   W o rd  w i l l   b e   b a s e o n   r e s e a r c h   f r o m   [15] .     3. 3 .       F e a tu r e   Ex tr a c ti o n   A f t e r   p r e pr o c e s s i n p r o c e s s ,   da t a   w i l l   b e   t r a n s f o r m e i nt o   uni g r a m   f e a t u r e .   U ni g ra m   f e a t u r e   w i l l   b e   t r a n s f o r m e t o   v e c t o r   m o de l   w i t h   T e r m   F r e que n c y     Inv e r s e   D o c um e n t   F r e que n c y   (T F - ID F ).   F e a t u r e   e xt ra c t i o p r o c e s s e w i t s t a ge s   a s   f o l l ow s :   1.   R e m o ve   S t o p w o r ds   S t o pw o r ds   i s   a   w o r t ha t   do e s   n o t   m e a n   m uc i n   t h e   s e n t e n c e   a nd  c a n   b e   o m i t t e d.   T h e   di c t i o na r y   t o   be   us e i n   r e m o v i n s t o pw o r ds   i B a h a s a   I ndo n e s i a   w i l l   b e   b a s e o n   r e s e a r c f r o m   T a l a   [ 16 ].   2.   T o ke n i z a t i o n   T h e   t o ke n i z a t i o n   p r o c e s s e by   s e pa r a t i n t h e   s e n t e n c e   i n t o   w o r ds   pe r   w o r w h i c h   c a n   b e   pe r fo r m e f o r   t h e   a na l y s i s   of   s e n t i m e n t .   3.   S t e m m i ng   S t e m m i ng  c o n v e r t s   t h e   w o r t o   b e   a   b a s i c   w o r d.   S t e m m i n g   r ul e s   us i n B a h a s a   I n do n e s i a   us e   t h e   N a z i e f   a n A d r i a n i   a l go ri t hm   b a s e o r e s e a r c f r o m   A s i a n   [ 17 ] [ 18 ].     3. 4 .       C l as s i fi c at i o n     T h e   r e s e a r c h   i s   do n e   w i t h   t h e   R a pi dm i n e s o f t w a r e   fo r   t h e   pr e di c t i o n ,   R a pi d m i n e r   i s   a   d a t a   m i n i ng  o pe n   s o ur c e   s of t w a r e   t ha t   i s   us e i n   m a n y   r e s e a r c h e s .   T he   F e a t ur e   w i l l   b e   a ppl i e d   w i t h   s e v e r a l   m a c hi n e   l e a rn i ng  m e t h o l i ke   K - Ne a r e s t   N e i g h b o r ,   N a ï v e   B a y e s   a n S V M   a l go ri t hm .   F o r   da t a   v a l i da t i o n,   m o de l   a ppl y   s pl i t   v a l i da t i o n   w i t h   70 t r a i n i ng  da t a   a nd  30%  t e s t i n d a t a .   T r a i n i ng  da t a   i s   p r o v i de by   a ut o m a t i c   l a b e l i n w i t o pi n i o n   w o r d i c t i o na r y   [13] ,   [14]     3. 5 .       Ev al u ati o n   E v a l ua t i o n   p r o c e s s   by   c o m pa ri s o n   t h e   r e s ul t s   o f   s e n t i m e nt   a n a l y s i s   m o de l   us i n c o n f us i o n   m a t r i x .   Co n f us i o n   m a t ri x   i s   a   us e f ul   t o o l   fo r   a na l y z i ng  h o w   w e l l   a   c l a s s i f i e r   m o de l   c a n   p r e d i c t   t h e   c l a s s i f i c a t i o n   r e s ul t s   c o rr e c t l y   o n   a   l a rge   n u m b e r   o f   c l a s s e s   [1 9 ].       T a b l e   1 .   Co n f us i o n   M a t ri     A c t u a l   P o s i t i v e   Cl a s s   A c t u a l   N e g a t i v e   Cl a s s   P re d i c t i v e   P o s i t i v e   C l a s s   P re d i c t i v e   N e g a t i v e   C l a s s   T ru e   P o s i t i v e (t p )   F a l s e   P o s i t i v e ( fp )   F a l s e   N e g a t i v e   ( fn )   T ru e   N e g a t i v e   (t n )       B a s e o n   T a b l e   1,   c o n f us i o n   m a t r i r e po r t s   t h e   n u m b e r   o f   f a l s e   po s i t i v e ,   f a l s e   n e ga t i v e ,   t r ue   po s i t i v e   a n t r ue   n e ga t i v e .   T h e   p r o c e s s e da t a   i s   e n t e r e i nt o   t h e   m a t ri f o r   e a c o f   e a c h   c l a s s i f i c a t i o m e t h o d.   F r o m   t h e   c o n f us i o n   m a t r i t h e n   w e   c a l c ul a t e   f o r   t h e   a c c ura c y ,   pr e c i s i o n   a nd  r e c a l l .   A c c ura c y   m e a s ur e s   t h e   r a t i o   of  c o r r e c t   p r e di c t i o o ve r   t o t a l   n u m b e r   o f   i t e m s   [ 20 ].           P r e c i s i o n   m e a s u r e s   po s i t i v e   pa t t e rn   t h a t   c o r r e c t l y   pr e di c t e f r o m   t o t a l   p r e di c t e i t e m s   i n   po s i t i v e   c l a s s   [ 20 ] .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 4 ,   N o .   1 A p r i l   20 1 9   :     11 3     1 1 7   116   R e c a l l   m e a s u r e   f ra c t i o o f   po s i t i v e   pa t t e rn s   t h a t   c l a s s i f i e a s   c o r r e c t   [ 20 ].         F - S c o r e   i s   h a rm o ni c   m e a n   of   pr e c i s i o n   a n r e c a l l   [21]  t ha t   s h o w   t h e   pe r f o r m a n c e   of   m o de l .   A   h i g v a l ue   o f   F - S c o r e   i n di c a t e s   t ha t   t h e   m o de l   pe r f o r m s   b e t t e o t h e   po s i t i v e   c l a s s .         F r o m   t h e   c l a s s i f i c a t i o n   r e s ul t s ,   d a t a   w i l l   b e   s e l e c t e w i t h   t h e   hi g h e s t   a c c u r a c y   t o   b e   us e t o   c a l c ul a t e   t h e   N e t   S e n t i m e n t   S c o r e   us e t o   m e a s ur e   c us t o m e r   s a t i s f a c t i o n   [9] .   N S S   s c o r e   r a n ge   i s   b e t w e e n   - 100  a n 100,   h i g h e s c o r e   i n d i c a t e s   b e t t e c us t o m e s a t i s f a c t i o n.           4.   R ES U LTS   A N D   A N A L Y S I S   4. 1 .       M o d e l   Ev al u ati o n   In  t e s t i ng  t h e   s e n t i m e n t   m o de l ,   a l l   d a t a   f r o m   t h e   t hr e e   c o m pa ni e s   w e r e   a na l y z e us i ng  t h e   a l go r i t h m .   T h e   r e s ul t s   o f   t h e   m a t ri c o n f us i o n   c a l c ul a t i o n   f o r   e a c a l go ri t hm   a r e   a c c ura c y ,   pr e c i s i o n,   r e c a l l   a n d   f - s c o r e .   T a b l e   2   s h o w s   a b o ut   a c c ur a c y ,   pr e c i s i o n,   r e c a l l   f o r   e v e r y   a l g o r i t hm .       T a b l e   2 .   Cus t o m e S a t i s f a c t i o w i t h   N S S     A c c u ra c y   P re c i s i o n   Re c a l l   F - S c o r e   N a ï v e   Ba y e s   4 7 . 6 0 %   1 2 . 8 7 %   7 6 . 8 3 %   2 2 , 0 4 %   K N N   9 6 . 3 2 %   5 8 . 2 2 %   2 1 . 0 5 %   3 0 , 9 2 %   S V M   9 3 . 3 4 %   9 8 . 4 8 %   8 . 6 1 %   1 5 , 8 4%       D a t a   i n   T a b l e   s h o w s   t ha t   K N N   h a s   t h e   b e s t   a c c ur a c y   s c o r e   w i t h   96 . 32%  b e t t e r   t h a n   o t h e r s .   J udgi n b e s t   m o de l   f r o m   a c c ura c y   i s   n o t   f a i r   e n o ug h   t o   s e e   t h e   o ve r a l l   pe r f o r m a n c e   i t   w i l l   b e   c a l c ul a t e f - s c o r e   w i t b a s e o n   p r e c i s i o n   a n d   r e c a l l .   F r o m   F i g u r e   2,   K N N   ha s   t h e   hi g h e s t   f - s c o r e   c o m pa r e w i t h   N a ï v e   B a y e s   a nd  S V M   s o   i t   c a b e   c o n c l ude t ha t   K N N   i s   t h e   b e s t   m o de l   c o m pa r e t o   N a ï v e   B a y e s   a n S V M .             F i gu r e   2 .   F - S c o r e   Co m p a r i s o n       4. 2 .       C u s tom e r   S at i s fac t i o n   Ev al u ati o n   Cus t o m e r   s a t i s f a c t i o n   i s   m e a s u r e us i ng  N e t   S e n t i m e n t   S c o r e   c a l c ul a t e us i n po s i t i v e   a n n e ga t i v e   m e nt i o n.   T h i s   r e s e a r c h   w i l l   us e   t h e   m o de l   w i t h   t h e   h i g h e s t   f - s c o r e   v a l ue   b a s e o n   t h e   c a l c ul a t i o n   r e s ul t .     B a s e o n   T a b l e   3,   i t   s h o w s   t h a t   T ra v e l o ka   h a s   N e t   S e n t i m e nt   S c o r e   97. 53,   f o l l ow e by   T i ke t . c o m   h a s   91 . 55   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Indone s i an  onl i ne   t r a v e l   a ge n t   s e nt i m e n t   a nal y s i s   us i ng   m ac hi ne   l e ar ni ng  m e t ho ds   ( A bi m a ny u   D   P o e r nom o )   117   a n A go da   h a s   - 96 . 03 .   D a t a   s h o w s   t h a t   A go da   h a s   a   n e ga t i v e   v a l ue   of   N S S   w h i c h   i n di c a t e   l o w   c us t o m e r   s a t i s f a c t i o n   d i f fe r e nt   w i t h   T ra v e l o ka   a nd  T i ke t . c o m . T ra v e l o ka   ge t   be s t   s c o r e   t h a t   m e a n s   c us t o m e r   v e r y   s a t i s fy   w i t h   t h e i s e r v i c e s   t h a o t h e r s .       T a b l e   3 .   Cus t o m e S a t i s f a c t i o w i t h   N S S     A c c u ra c y   P re c i s i o n   Re c a l l     F - S c o r e   P o s i t i v e   N e g a t i v e   N S S   T ra v e l o k a   9 5 . 4 4 %   8 8 . 6 7 %   1 3 . 4 7 %   2 3 . 3 8   1 5 4 4 1   193   9 7 . 5 3   T i k e t . c o m   9 5 . 5 0 %   5 3 . 7 3 %   2 1 . 4 3 %   3 0 . 6 4   1 1 6 5 6   514   9 1 . 5 5   A g o d a   9 7 . 7 1 %   3 5 . 7 1 %   1 1 . 9 0 %   1 7 . 8 5     136   6722   - 9 6 . 0 3       5.   C O N C LU S I O N   Co m pa n i e s   t ha t   ge t   t h e   h i g h e s t   s a t i s f a c t i o n   v a l ue   o f   T r a v e l o ka   w i t h   a   v a l ue   o f   97. 53  fo l l ow e b y   T i ke t   w i t a   v a l ue   o f   91. 55  a n d   l e s s   s a t i s f a c t o r y   i t h e   c a by   A g o da   w i t h   a   v a l ue   o f   - 96. 03.   Cl a s s i f i c a t i o n   w i t h   go o f - s c o r e   i n   t h i s   s t udy   w a s   K N N   c o m pa r e w i t h   N a ï v e   B a y e s   a nd  S V M .   F o r   f ut u r e   r e s e a r c h ,   w e   r e c o m m e n d   c l a s s i f i c a t i o o f   s e r v i c e s   f r o m   o n l i n e   t ra v e l   s uc h   a s   h o t e l   s e r v i c e s   a n d   t i c ke t   s e r v i c e s   t o   ge t   a   s pe c i f i c   s a t i s f a c t i o n   da t a   pe r   s e r v i c e   a nd  i m p r o v e m e n t s   di c t i o na r y   fo r   I n do n e s i a n   l a ngua ge   w i t h   a d di t i o na l   n o n - s t a nda rd  l a n g ua ge   t h a t   i s   o f t e n   us e o n   t h e   I nt e rn e t .       R EF ER EN C ES   [ 1]     B ha r dw a j   N ,   S huk l a   A ,   S w a r na ka r   P .   U s e r s '   S e nt i m e nt   A na l y s i s   i n   S o c i a l   M e d i a   C o nt e x t   us i ng   N a t ur a l   L a ng ua g e   P r o c e s s i ng .   T he   I n t e r na t i o na l   C on f e r e nc e   on  D i gi t a l   I nf or m a t i o n,   N e t w or k i ng ,   a nd  W i r e l e s s   C om m u ni c a t i o ns .   2014;   3:   103 - 11 1.   [ 2]     S ha r m a   D M ,   B a i g   M M .   S e n t i m e nt   A na l y s i s   o S o c i a l   N e t w o r k i ng :   A   L i t e r a t ur e   R e v i e w .   I n t e r nat i o nal   J ou r na l   on   R e c e nt   I n nov at i on   T r e nd s   i n   C om pu t i ng   an d   C om m u ni c at i o ( I J R I T C C ) .   20 15;   3( 2) :   22 - 27 .   [ 3]     J o t he e s w a r a J ,   K o t e e s w a r a S .   S e n t i m e nt   A na l y s i s :   A   S ur v e y   of   C ur r e nt   R e s e a r c a n T e c hni q ue s .   I nt e r n at i ona l   J our nal   o f   I nn ov a t i v e   R e s e ar c h   i C om pu t e r   a nd  C om m un i c a t i on   E ngi ne e r i n ( I J I R C C E ) .   2 015;   3( 5 ) :   3749 - 375 7.   [ 4]     D e v i ka   M D ,   S uni t h a   C ,   G a ne s A .   Se nt i m e nt   A na l y s i s :   A   C om p ar at i v e   St udy   on  D i f f e r e nt   A ppr o ac he s .   F o ur t h   I nt e r na t i o na l   C o nf e r e nc e   o R e c e n t   T r e nds   i n   C o m put e r   S c i e nc e   &   E ng i ne e r i ng .   C h e nna i .   2016;   87:   44 - 49.   [ 5]     S us a n t i   A R ,   D j a t n a   T ,   K u s um a   W A .   T w i t t e r s   S e nt i m e n t   A na l y s i s   o G s m   S e r v i c e   us i ng   M u l t i no m i a l   N a i v e   B a y e s .   T E L K O M N I K A   .   2 017;   15( 3) : 1354 - 1361 .   [ 6]     P r a bo w o   R ,   T he l w a l l   M .   S e nt i m e n t   A na l y s i s :   A   C o m bi ne A ppr o a c h.   J o ur na l   o f   I nf o r m e t r i c s .   2009;   3( 2) :   143 - 157 .   [ 7]     A kki ne ni   H ,   L a ks hm i   P . V . S . ,   B a bu   B . V .   O n l i ne   C r o w ds   O p i n i o n - M i n i ng   i t   t o   A na l y z e   C ur r e n t   T r e nd:   A   R e v i e w .   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n ( I J E C E ) .   20 15;   5 ( 5 ) :   1180 - 1187 .   [ 8]     K um a r   P K ,   N a nda g o pa l a S .   I ns i g ht   t o   P r o bl e m ,   R e s e a r c T r e nd  a nd  P r o g r e s s   i T e c hni que s   o f   S e nt i m e n t   A na l y s i s .     I n t e r na t i ona l   J ou r na l   of   E l e c t r i c a l   and   C om p ut e r   E ng i ne e r i ng  ( I J E C E ) .   20 17;   7 ( 5 ) :   2818 - 2822 .   [ 9]     A na s t a s i a   S ,   B ud i   I .   T w i t t e r   S e nt i m e n t   A na l y s i s   o f   O nl i ne   T r a n s po r t a t i o S e r v i c e   P r o v i de r s .   I nt e r na t i o na l   C o nf e r e nc e   o A dv a nc e C o m put e r   S c i e nc e   a nd   I nf o r m a t i o S y s t e m s   ( I C A C S I S )   M a l a ng .   2016;   P a g e ( s ) :   359 - 365 .     [ 10]     W i j a y a   H ,   E r w i A ,   S o e t o m o   A ,   G a l i ni um   M .   T w i t t e r   S e nt i m e nt   A na l y s i s   a nd  I ns i g ht   f o r   I ndo ne s i a M o bi l e   O pe r a t o r s .   I n f or m at i on   S y s t e m s   I nt e r na t i ona l   C on f e r e nc e   ( I SI C O ) ,   2013;   1: 367.   [ 11]     S hukr i   S E ,   Y a g hi   R I ,   A l j a r a I ,   A l s a w a l q a H .   T w i t t e r   S e n t i m e n t   A na l y s i s :   A   C a s e   S t udy   i A ut o m o t i v e   I ndus t r y .   I E E E   J or dan   C on f e r e nc e   on   A pp l i e E l e c t r i c a l   E ng i ne e r i ng   an C o m put i ng   T e c hno l og i e s   ( A E E C T )   201 5 :   1 - 5.   [ 12]     A l a m s y a A ,   I ndr a s w a r i   A A .   S o c i a l   N e t w o r k   a nd   S e nt i m e n t   A na l y s i s   f o r   S o c i a l   C u s t o m e r   R e l a t i o ns h i p   M a n a g e m e nt   i I ndo ne s i a   B a nk i ng   S e c t o r .   A dv an c e S c i e nc e   L e t t e r s .   201 7; 23:   3808 - 381 2   [ 13]     W a hi D H ,   A z ha r i   S N .   P e r i ng ka s a S e nt i m e E k s t r a k t i f   di   T w i t t e r   M e ng g una ka H y br i T F - I D F   da C o s i ne   S i m i l a r i t y .   I nd one s i a J ou r na l   of   C om pu t i ng   and   C y be r ne t i c s   Sy s t e m s   ( I J C C S) .   2016;   10 ( 2) :   207 - 21 8.   [ 14]     L i B ,   H M ,   C he ng   J .   O pi ni on  O bs e r v e r :   A n al y z i ng  and  C om p ar i ng  O pi n i on s   on  t he   W e b.   P r o c e e di ng s   o f   t he   14t i nt e r na t i o na l   W o r l d   W i d e   W e C o nf e r e nc e   ( I C T S ) .   C h i b a .   20 05;   [ 15]     V a s h i s t   G ,   T ha ku r   S .   F a c e bo o a s   a   C o r pus   f o r   E m o t i c o n - B a s e S e n t i m e nt   A na l y s i s .   I nt e r n at i ona l   J our na l   of   E m e r gi ng   T e c hno l og y   and   A d v anc e d   E ng i ne e r i ng   ( I J E T A E ) .   201 4;   4( 5 ) :   904 - 908.   [ 16]     T a l a   F Z .   A   S t udy   of   S t e m m i ng   E f f e c t s   o I nf o r m a t i o R e t r i e v a l   i B a ha s a   I ndo ne s i a .   M . S c   T he s i s .   U n i v e r s i t y   o f   A m s t e r da m ;   2003 .   [ 17]     A s i a J .   E f f e c t i v e   T e c hni qu e s   f o r   I ndo ne s i a T e xt   R e t r i e v a l .   P hD   T he s i s .   S c ho o l   of   C om put e r   S c i e nc e   a n I n f o r m a t i o T e c hno l o gy   R M I T   U ni v e r s i t y ;   2007 .   [ 18]     A r i f i A Z ,   M a h e nd r a   I P A K ,   C i pt a ni ng t y a s   H T .   E nhan c e C onf i x   S t r i pp i ng  S t e m m e r   and  A n t s   A l go r i t hm   f or   C l as s i f y i ng   N e w s   D oc um e nt   i I ndone s i an   L ang uage .   P r o c e e d i ng s   o f   t he   5t h   I nt e r n a t i o na l   C o nf e r e nc e   o I n f o r m a t i o a nd   C o m m uni c a t i o T e c hno l o gy   &   S y s t e m s   ( I C T S ) .   S ur a b a y a .   200 9;   [ 19]     H a J ,   K a m b e r   M ,   P e i   J .   D a t a   M i n i ng   C o nc e pt s   a nd   T e c hn i que s .   3 r e d .   L o ndo n :   M o r g a K a uf m a nn;   2 012:   386 .   [ 20]     H o s s i M ,   S ul a i m a n   M N .   A   R e v i e w   o E v a l ua t i o M e t r i c s   f o r   D a t a   C l a s s i f i c a t i o E v a l ua t i o n .   I nt e r n a t i o na l   J o ur n a l   o f   D a t a   M i ni ng   &   K no w l e dg e   M a na g e m e n t   P r o c e s s   ( I J D K P ) .   20 15; 5( 2 ) :   1 - 11 .   [ 21]       B e kka r   M ,   D j e m a a   H K ,   A l i t o uc he   T A .   E v a l ua t i o m e a s u r e s   f o r   m o de l s   a s s e s s m e n t   o v e r   i m b a l a nc e d a t a   s e t s .   J o ur na l   o f   I nf o r m a t i o E ng i ne e r i ng   a nd   A ppl i c a t i o ns .   201 3; 3( 1 0) :   2 7 - 38 .   Evaluation Warning : The document was created with Spire.PDF for Python.