I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E )   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9 ,   p p .   5 2 5 ~ 5 3 0   I S S N :   2 0 8 8 - 8 7 0 8 ,   D O I :   1 0 . 1 1 5 9 1 / i j e c e . v 9 i 1 . p p 5 2 5 - 5 3 0             5 2 5       J o u r n a l   h o m e p a g e :   h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / I J E C E   W o r d 2 V e c   m o d e l   f o r   s e n t i m e n t   a n a l y s i s   o f   p r o d u c t   r e v i e w s   i n   I n d o n e s i a n   l a n g u a g e       M .   A l i   F a u z i     F a c u l t y   o f   C o m p u t e r   S c i e n c e ,   B r a w i j a y a   U n i v e r s i t y ,   I n d o n e s i a       A r t i c l e   I n f o     A B S T R A C T     A r t i c l e   h i s t o r y :   R e c e i v e d   F e b   3 ,   2 0 1 8   R e v i s e d   J u n   2 2 ,   2 0 1 8   A c c e p t e d   J u l   6 ,   2 0 1 8       O n l i n e   p r o d u c t   r e v i e w s   h a v e   b e c o m e   a   s o u r c e   o f   g r e a t l y   v a l u a b l e   i n f o r m a t i o n   f o r   c o n s u m e r s   i n   m a k i n g   p u r c h a s e   d e c i s i o n s   a n d   p r o d u c e r s   t o   i m p r o v e   t h e i r   p r o d u c t   a n d   m a r k e t i n g   s t r a t e g i e s .   H o w e v e r ,   i t   b e c o m e s   m o r e   a n d   m o r e   d i f f i c u l t   f o r   p e o p l e   t o   u n d e r s t a n d   a n d   e v a l u a t e   w h a t   t h e   g e n e r a l   o p i n i o n   a b o u t   a   p a r t i c u l a r   p r o d u c t   i n   m a n u a l   w a y   s i n c e   t h e   n u m b e r   o f   r e v i e w s   a v a i l a b l e   i n c r e a s e s .   H e n c e ,   t h e   a u t o m a t i c   w a y   i s   p r e f e r r e d .   O n e   o f   t h e   m o s t   p o p u l a r   t e c h n i q u e s   i s   u s i n g   m a c h i n e   l e a r n i n g   a p p r o a c h   s u c h   a s   S u p p o r t   V e c t o r   M a c h i n e   ( S V M ) .   I n   t h i s   s t u d y ,   w e   e x p l o r e   t h e   u s e   o f   W o r d 2 V e c   m o d e l   a s   f e a t u r e s   i n   t h e   S V M   b a s e d   s e n t i m e n t   a n a l y s i s   o f   p r o d u c t   r e v i e w s   i n   I n d o n e s i a n   l a n g u a g e .   T h e   e x p e r i m e n t   r e s u l t   s h o w   t h a t   S V M   c a n   p e r f o r m s   w e l l   o n   t h e   s e n t i m e n t   c l a s s i f i c a t i o n   t a s k   u s i n g   a n y   m o d e l   u s e d .   H o w e v e r ,   t h e   W o r d 2 v e c   m o d e l   h a s   t h e   l o w e s t   a c c u r a c y   ( o n l y   0 . 7 0 ) ,   c o m p a r e d   t o   o t h e r   b a s e l i n e   m e t h o d   i n c l u d i n g   B a g   o f   W o r d s   m o d e l   u s i n g   B i n a r y   T F ,   R a w   T F ,   a n d   T F . I D F .   T h i s   i s   b e c a u s e   o n l y   s m a l l   d a t a s e t   u s e d   t o   t r a i n   t h e   W o r d 2 V e c   m o d e l .   W o r d 2 V e c   n e e d   l a r g e   e x a m p l e s   t o   l e a r n   t h e   w o r d   r e p r e s e n t a t i o n   a n d   p l a c e   s i m i l a r   w o r d s   i n t o   c l o s e r   p o s i t i o n .   K e y w o r d s :   S e n t i m e n t   a n a l y s i s   S u p p o r t   v e c t o r   m a c h i n e   T e x t   c l a s s i f i c a t i o n   W o r d   e m b e d d i n g   W o r d 2 V e c   C o p y r i g h t   ©   2 0 1 9   I n s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e .     A l l   r i g h t s   r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   M .   A l i   F a u z i ,     F a c u l t y   o f   C o m p u t e r   S c i e n c e ,   B r a w i j a y a   U n i v e r s i t y ,   J l .   V e t e r a n ,   M a l a n g ,   I n d o n e s i a .   E m a i l :   m o c h . a l i . f a u z i @ u b . a c . i d       1 .   I N T R O D U C T I O N     S i n c e   t h e   r i s e   o f   W e b   2 . 0 ,   t h e   i n t e r n e t   h a s   b e c o m e   m o r e   u s e r   c e n t r i c   [ 1 ] .   P e o p l e   a r e   p a r t i c i p a t i n g   i n   m a k i n g   m o r e   a n d   m o r e   c o n t e n t   o n   t h e   I n t e r n e t   t h r o u g h   s o c i a l   m e d i a ,   d i s c u s s i o n   b o a r d s ,   W e b   f o r u m s ,   a n d   b l o g s .   C o n c u r r e n t l y   w i t h   s u c h   t r e n d s ,   a n   i n c r e a s i n g   n u m b e r   o f   w e b s i t e s   w h e r e   c o n s u m e r s   c a n   w r i t e   a n d   r e a d   r e v i e w s ,   a n d   e x p r e s s   t h e i r   e x p e r i e n c e s ,   f e e l i n g ,   o p i n i o n s ,   v i e w s ,   a n d   c o m p l a i n t s   a b o u t   v a r i o u s   p r o d u c t s   a n d   s e r v i c e s   h a s   e m e r g e d   [ 2 ] .   F r o m   a   c o n s u m e r   b e h a v i o r   p e r s p e c t i v e ,   i t   c a n   b e   c a l l e d   a s   o n e   o f   t h e   g r e a t e s t   d e v e l o p m e n t s   o n   t h e   I n t e r n e t .   O n l i n e   p l a t f o r m s   h a s   b e c o m e   a   s o u r c e   o f   g r e a t l y   v a l u a b l e   i n f o r m a t i o n   f o r   b o t h   c o n s u m e r s   a n d   p r o d u c e r s .   I n   m a k i n g   p u r c h a s e   d e c i s i o n s ,   c o n s u m e r s   o f t e n   s e e k   a d v i c e   a n d   p u r c h a s e   r e c o m m e n d a t i o n s   f r o m   o t h e r s   [ 3 - 4 ] .   P r e v i o u s l y ,   c o n s u m e r s   c o m m o n l y   r e f e r   t o   a d v e r t i s e m e n t s   i n   m a s s   m e d i a   t o   m a k e   t h i s   d e c i s i o n   [ 5 ] .   H o w e v e r ,   w i t h   t h e   g r o w t h   o f   e - c o m m e r c e   a n d   i n c r e a s i n g   n u m b e r   o f   o n l i n e   r e v i e w   p l a t f o r m s ,   o n l i n e   r e v i e w s   h a v e   b e c o m e   a   r e f e r e n c e   f o r   c o n s u m e r s   t h e y   c a n   r e l y   o n   i n   f i n d i n g   i n f o r m a t i o n   a b o u t   t h e   p r o d u c t   t o   b e   p u r c h a s e d   [ 6 - 7 ] .   C o n s u m e r s   t e n d   t o   l e a r n   h o w   o t h e r s   l i k e   o r   d i s l i k e   a   p r o d u c t   b e f o r e   b u y i n g .   I n   f a c t ,   p r e v i o u s   r e s e a r c h   f o u n d   t h a t   c o n s u m e r s   b e l i e v e   t h a t   o n l i n e   r e v i e w s   p r o v i d e d   b y   o t h e r   u s e r s   a r e   m o r e   c r e d i b l e   a n d   t r u s t w o r t h y   t h a n   t h e   t r a d i t i o n a l   s o u r c e s   [ 8 ] .     F o r   p r o d u c e r ,   o n l i n e   r e v i e w s   c a n   b e c o m e   a   r e f e r e n c e   a b o u t   w h a t   p e o p l e   t h i n k   a b o u t   t h e i r   p r o d u c t s   o r   s e r v i c e s   t o   p r e d i c t   p u b l i c   a c c e p t a n c e   l e v e l   o f   t h e i r   p r o d u c t s .   T h i s   i n f o r m a t i o n   c a n   h e l p   t o   f o r e c a s t   p r o d u c t   s a l e s .   F u r t h e r m o r e ,   n e g a t i v e   r e v i e w s   c a n   b e   t h e   b a s i s   i n   p r o d u c t   i m p r o v e m e n t   a n d   m a r k e t i n g   s t r a t e g i e s   [ 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     5 2 5   -   5 3 0   5 2 6 T h e r e f o r e ,   u n d e r s t a n d i n g   s u c h   s e n t i m e n t   a n d   o p i n i o n   i n f o r m a t i o n   h a s   b e c o m e   m o r e   a n d   m o r e   p r o m i n e n t   f o r   b o t h   p r o d u c e r s   a n d   c u s t o m e r s .   H o w e v e r ,   i t   b e c o m e s   m o r e   a n d   m o r e   d i f f i c u l t   f o r   p e o p l e   t o   u n d e r s t a n d   a n d   e v a l u a t e   w h a t   t h e   g e n e r a l   o p i n i o n   a b o u t   a   p a r t i c u l a r   p r o d u c t   i n   m a n u a l   w a y   s i n c e   t h e   n u m b e r   o f   r e v i e w s   a v a i l a b l e   i n c r e a s e s .   H e n c e ,   t h e   a u t o m a t i c   w a y   i s   p r e f e r r e d .   S e n t i m e n t   a n a l y s i s ,   a l s o   k n o w n   a s   s e n t i m e n t   o r   p o l a r i t y   c l a s s i f i c a t i o n ,   i s   a   w o r k   o f   a n a l y z i n g   p e o p l e s   o p i n i o n   o r   s e n t i m e n t   f r o m   a   p i e c e   o f   t e x t   -   f o r   e x a m p l e   t o   d e c i d e   w h e t h e r   t h e   s e n t i m e n t   i s   p o s i t i v e   o r   n e g a t i v e   [ 1 0 ] .   W e   c a n   c o n s i d e r   s e n t i m e n t   a n a l y s i s   a s   t e x t   c l a s s i f i c a t i o n   p r o b l e m   w i t h   s e n t i m e n t   a s   i t s   c l a s s e s .     N e v e r t h e l e s s ,   s e n t i m e n t   c l a s s i f i c a t i o n   i s   m o r e   c h a l l e n g i n g   t h a n   t r a d i t i o n a l   t o p i c - b a s e d   c l a s s i f i c a t i o n   d u e   t o   t h e   n e c e s s i t y   t o   e x t r a c t   m o r e   i m p l i c i t   i n f o r m a t i o n ,   i n s t e a d   o f   o n l y   k e y w o r d s   [ 1 1 ] .   O n e   o f   t h e   m o s t   p o p u l a r   t e c h n i q u e s   i s   u s i n g   m a c h i n e   l e a r n i n g   a p p r o a c h .   I n   r e c e n t   y e a r s ,   s e n t i m e n t   c l a s s i f i c a t i o n   u s i n g   m a c h i n e   l e a r n i n g   m e t h o d s   h a v e   b e e n   w i d e l y   a d o p t e d   a n d   p r o v e n   t o   p r o v i d e   s u p r e m e   p e r f o r m a n c e   [ 1 2 - 1 7 ] .   P r i o r   r e s e a r c h   c o n d u c t e d   b y   [ 1 0 ]   a l s o   s h o w e d   t h a t   m a c h i n e   l e a r n i n g   t e c h n i q u e s   h a v e   q u i t e   g o o d   p e r f o r m a n c e   w i t h   S V M s   t e n d   t o   d o   t h e   b e s t .   T w o   k e y   i s s u e s   i n   m a c h i n e   l e a r n i n g   a p p r o a c h   a r e   h o w   t o   e x t r a c t   c o m p l e x   f e a t u r e s   a n d   f i n d i n g   o u t   w h i c h   k i n d s   o f   f e a t u r e s   a r e   m o r e   v a l u a b l e   [ 1 8 ] .   S e v e r a l   f e a t u r e   e x t r a c t i o n   m e t h o d s   h a v e   b e e n   p r o p o s e d   s u c h   a s   s i n g l e   w o r d s   [ 1 9 - 2 0 ] ,   n - g r a m s   [ 2 1 - 2 2 ] ,   l e x i c o n   [ 2 3 ] ,   t e x t u a l   f e a t u r e s   [ 2 4 ] ,   a n d   m a n y   o t h e r   n e w   m o d e l s   [ 2 5 - 2 7 ] .   H o w e v e r ,   s e m a n t i c   f e a t u r e s   h a v e   b e e n   i n f r e q u e n t l y   e m p l o y e d   i n   t h i s   f i e l d .   S e m a n t i c   f e a t u r e s   c a n   d i s c l o s e   t h e   i m p l i c i t   s e m a n t i c   r e l a t i o n s h i p s   b e t w e e n   w o r d s ,   w h i c h   i s   s h o u l d   b e   u s e f u l   f o r   i m p r o v i n g   t h e   s e n t i m e n t   c l a s s i f i c a t i o n   p e r f o r m a n c e .   W o r d   e m b e d d i n g ,   a l s o   k n o w n   a s   d i s t r i b u t e d   w o r d   r e p r e s e n t a t i o n   [ 2 8 ] ,   i s   f e a t u r e   l e a r n i n g   t e c h n i q u e   i n   N a t u r a l   L a n g u a g e   P r o c e s s i n g   ( N L P )   w h e r e   w o r d s   f r o m   t h e   v o c a b u l a r y   a r e   r e p r e s e n t e d   t o   l o w - d i m e n s i o n a l   v e c t o r s   o f   r e a l   n u m b e r s   [ 2 9 ] .   B y   u s i n g   w o r d   e m b e d d i n g ,   t h e   s e m a n t i c   a n d   s y n t a c t i c   i n f o r m a t i o n   o f   w o r d s   c a n   b e   c a p t u r e d   f r o m   a   l a r g e   n u m b e r   o f   u n l a b e l e d   c o r p o r a   [ 3 0 - 3 1 ] .   W o r d   e m b e d d i n g   h a v e   b e e n   e m p l o y e d   i n   m a n y   w o r k s   i n   N a t u r a l   L a n g u a g e   P r o c e s s i n g   ( N L P )   t o   p r o d u c e   m o r e   e f f e c t i v e   w o r d   r e p r e s e n t a t i o n s   [ 3 2 - 3 6 ] .   O n e   o f   t h e   m o s t   p o p u l a r   e x a m p l e   o f   w o r d   e m b e d d i n g   i s   W o r d 2 V e c   m o d e l .     W o r d 2 V e c   [ 3 7 ]   m a p s   e a c h   w o r d s   i n   t h e   v o c a b u l a r y   i n t o   a   d e n s e   v e c t o r s   o f   r e a l   n u m b e r s   u s i n g   a   s h a l l o w   n e u r a l   p r o b a b i l i s t i c   l a n g u a g e   m o d e l   [ 3 8 ] .   B y   u s i n g   W o r d 2 v e c ,   w o r d s   t h a t   s i m i l a r   w i l l   b e   c l o s e   t o   e a c h   o t h e r   i n   t h e   e m b e d d i n g   s p a c e   [ 3 9 ] .   I n   t h i s   s t u d y ,   w e   w i l l   e x p l o r e   t h e   u s e   o f   W o r d 2 V e c   m o d e l   f o r   s e n t i m e n t   a n a l y s i s   o f   p r o d u c t   r e v i e w s   i n   I n d o n e s i a n   l a n g u a g e .   W o r d 2 V e c   w i l l   b e   u s e d   a s   f e a t u r e   r e p r e s e n t a t i o n .   F o r   t h e   c l a s s i f i c a t i o n   t a s k ,   w e   w i l l   u s e   S u p p o r t   V e c t o r   M a c h i n e   d u e   i t s   s u p r e m e   p e r f o r m a n c e .   W e   w i l l   a l s o   e x p l o r e   t h e   u s e   o f   B a g   o f   W o r d   ( B O W )   m o d e l   u t i l i z i n g   s e v e r a l   t e r m   w e i g h t i n g   m e t h o d s   i n c l u d i n g   T e r m   F r e q u e n c y   ( T F )   a n d   T e r m   F r e q u e n c y - I n v e r s e   D o c u m e n t   F r e q u e n c y   ( T F . I D F ) .       2 .   R E S E A R C H   M E T H O D     T h e   g e n e r a l   f l o w c h a r t   o f   t h e   s e n t i m e n t   a n a l y s i s   s y s t e m   i n   t h i s   s t u d y   i s   s h o w n   i n   F i g u r e   1 .   T h e r e   a r e   t h r e e   m a i n   s t a g e s   i n   t h i s   s y s t e m   i . e .   p r e p r o c e s s i n g ,   b u i l d i n g   W o r d 2 V e c   m o d e l   a n d   c l a s s i f i c a t i o n   u s i n g   S V M .   E a c h   r e v i e w   w i l l   b e   c l a s s i f i e d   i n t o   p o s i t i v e   o r   n e g a t i v e   c l a s s .           F i g u r e   1 .   S y s t e m   m a i n   f l o w c h a r t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       W o r d 2 V e c   m o d e l   f o r   s e n t i m e n t   a n a l y s i s   o f   p r o d u c t   r e v i e w s   i n   I n d o n e s i a n   l a n g u a g e   ( M .   A l i   F a u z i )   5 2 7 2 . 1 .   P r e p r o c e s s i n g   P r e p r o c e s s i n g   i s   c o n d u c t e d   b e f o r e   t h e   m a i n   p r o c e s s   b e g i n .   S o m e   s t e p s   c o n d u c t e d   i n   t h i s   s t a g e   i n c l u d i n g   t o k e n i z a t i o n ,   c a s e   f o l d i n g   a n d   c l e a n i n g   [ 4 0 - 4 3 ] .   I n   t o k e n i z a t i o n ,   e a c h   r e v i e w   i s   s p l i t t e d   i n t o   s m a l l e r   u n i t s   c a l l e d   t o k e n s   o r   t e r m s   [ 4 4 ] .   C a s e   f o l d i n g   i s   a   t a s k   o f   c o n v e r t i n g   a l l   o f   c h a r a c t e r s   i n   r e v i e w   t e x t   b e c o m e   l o w e r c a s e   [ 4 5 ] .   M e a n w h i l e ,   i n   c l e a n i n g ,   c h a r a c t e r s   o u t s i d e   o f   t h e   a l p h a b e t   s u c h   a s   p u n c t u a t i o n ,   n u m b e r s ,   a n d   h t m l   t a g   i s   o m i t t e d .   I n   t h i s   s t u d y ,   s t e m m i n g   a n d   f i l t e r i n g   a r e   n o t   c o n d u c t e d   b e c a u s e   i n   s o m e   p r e v i o u s   s t u d i e s ,   s t e m m i n g   a n d   f i l t e r i n g   c a n n o t   i m p r o v e   s e n t i m e n t   a n a l y s i s   p e r f o r m a n c e .     2 . 2 .   B u i l d i n g   W o r d 2 V e c   m o d e l   A f t e r   t h e   p r e p r o c e s s i n g   s t a g e   w a s   d o n e ,   w e   b u i l d   w o r d   v e c t o r   r e p r e s e n t a t i o n   u s i n g   W o r d 2 V e c .   F i r s t ,   t h e   W o r d 2 V e c   m o d e l   b u i l d s   a   v o c a b u l a r y   f r o m   t r a i n i n g   d a t a .   T h e n ,   i t   l e a r n s   a n d   d e t e r m i n e s   t h e   v e c t o r   r e p r e s e n t a t i o n   o f   e a c h   w o r d s .   T h e r e   a r e   t w o   t r a i n i n g   a l g o r i t h m s   i n   w o r d 2 v e c ,   i . e .   c o n t i n u o u s   b a g - o f - w o r d s   ( C B O W )   a n d   s k i p - g r a m   [ 4 6 ] .   I n   t h i s   s t u d y ,   C B O W   i s   e m p l o y e d .   I n   C B O W ,   t h e   w o r d   v e c t o r   i s   b u i l t   b y   p r e d i c t i n g   e a c h   w o r d   c o o c c u r a n c e   b a s e d   o n   i t s   n e i g h b o r i n g   w o r d s .   T h e   r e s u l t i n g   w o r d   v e c t o r   w i l l   b e   e m p l o y e d   a s   t h e   c l a s s i f i c a t i o n   f e a t u r e s .   W o r d 2 V e c   g e n e r a l l y   c a n   h e l p   t o   i m p r o v e   c l a s s i f i c a t i o n   p e r f o r m a n c e   b e c a u s e   i n   W o r 2 V e c ,   t h e   s i m i l a r   w o r d s   h a v e   s i m i l a r   v e c t o r s .     2 . 3 .   S e n t i m e n t   c l a s s i f i c a t i o n   u s i n g   s u p p o r t   v e c t o r   m o d e l   F i n a l l y ,   i n   t h e   l a s t   s t a g e ,   t h e   r e v i e w s   a r e   c l a s s i f i e d   i n t o   p o s i t i v e   o r   n e g a t i v e   c l a s s .   I n   t h i s   s t u d y ,   s u p p o r t   v e c t o r   m a c h i n e s   ( S V M s )   i s   u s e d   f o r   t h e   c l a s s i f i c a t i o n   t a s k .   D e s p i t e   i t s   h i g h   c o m p u t a t i o n a l   c o m p l e x i t y   [ 4 7 ] ,   S V M   h a s   b e c o m e   a   p o p u l a r   a l g o r i t h m   i n   t h e   l a s t   d e c a d e   b e c a u s e   o f   i t s   e x c e l l e n t   p e r f o r m a n c e   i n   t e x t   c l a s s i f i c a t i o n   f i e l d   [ 4 8 ] .   B a s e d   o n   t h e   r e p r e s e n t a t i o n   o f   t r a i n i n g   d a t a   i n   f e a t u r e   s p a c e ,   S V M   f i n d s   a   h y p e r p l a n e   t h a t   s e p a r a t e s   t h e   p o s i t i v e   a n d   n e g a t i v e   d a t a   w i t h   m a x i m u m   m a r g i n .   T h e n ,   t h e   t e s t i n g   d a t a   a r e   t h e n   m a p p e d   i n t o   t h a t   s a m e   f e a t u r e   s p a c e   a n d   p r e d i c t e d   t o   b e l o n g   t o   p o s i t i v e   o r   n e g a t i v e   c a t e g o r y   b a s e d   o n   w h i c h   s i d e   t h e y   f a l l .   I n   t h i s   s t u d y ,   w e   u s e   l i n e a r   k e r n e l   b e c a u s e   b a s e d   o n   t h e   w o r k   o f   M c   C a l l u m   a n d   N i g a m   [ 4 9 ] ,   l i n e a r   S V M   h a s   t h e   b e s t   p e r f o r m a n c e   i n   t e x t   c l a s s i f i c a t i o n .   T h e   o t h e r   b e n e f i t   o f   l i n e a r   k e r n e l   i s   t h a t   i t   i s   f a s t e r   a n d   r e q u i r e   f e w e r   p a r a m e t e r s   t h a n   o t h e r   k e r n e l s   i n   S V M .       3 .   R E S U L T S   A N D   A N A L Y S I S   E x p e r i m e n t   i s   c o n d u c t e d   b y   u s i n g   7 7 2   p r o d u c t   r e v i e w s   e x t r a c t e d   f r o m   F e m a l e D a i l y   w e b s i t e .   T h e   t e x t   r e v i e w s   a n d   t h e i r   r a t i n g s   w e r e   c o l l e c t e d   a n d   l a b e l l e d   m a n u a l l y   f r o m   t h e   w e b s i t e   ( h t t p s : / / f e m a l e d a i l y . c o m / ) .   T h e r e   a r e   3 8 6   r e v i e w s   l a b e l l e d   a s   p o s i t i v e   a n d   3 8 6   r e v i e w s   l a b e l l e d   a s   n e g a t i v e .   A l l   o f   t h e   r e v i e w s   i s   i n   I n d o n e s i a n   l a n g u a g e .   S c i k i t - L e a r n   [ 5 0 ]   w a s   u s e d   t o   i m p l e m e n t   t h e   e x p e r i m e n t s .   I n   t h e   e x p e r i m e n t s ,   w e   c o m p a r e d   t h e   r e s u l t s   o f   s e n t i m e n t   c l a s s i f i c a t i o n   u s i n g   W o r d 2 V e c   w i t h   t h e   o t h e r   m e t h o d s   i n c l u d i n g   B a g   o f   W o r d s   ( B O W )   u s i n g   B i n a r y   T F ,   R a w   T F ,   a n d   T F . I D F .   W e   u s e   1 0 - f o l d   c r o s s   v a l i d a t i o n ,   w h i c h   m e a n s   t h e   p r o d u c t   r e v i e w s   d a t a s e t   i s   e q u a l l y   d i v i d e d   i n t o   1 0   f o l d s .   W e   i t e r a t e   t h e   e x p e r i m e n t   1 0   t i m e s .   I n   e a c h   i t e r a t i o n ,   r e v i e w s   f r o m   9   f o l d s   w e r e   u s e d   a s   t r a i n i n g   d a t a   a n d   t h e   r e m a i n i n g   o n e - f o l d   w a s   u s e d   a s   t e s t i n g   d a t a .   A v e r a g e   a c c u r a c y   w a s   u s e d   a s   t h e   e v a l u a t i o n   m e t h o d .   E x p e r i m e n t   r e s u l t s   c a n   b e   s e e n   i n   F i g u r e   2 .     F i g u r e   2   d e p i c t   t h a t   s e n t i m e n t   a n a l y s i s   u s i n g   S V M   g e n e r a l l y   h a v e   g o o d   p e r f o r m a n c e   w i t h   a v e r a g e   c l a s s i f i c a t i o n   a c c u r a c y   v a l u e   0 . 8 1 .   T h e   b e s t   r e s u l t   i s   o b t a i n e d   w h e n   u s i n g   B O W   f e a t u r e s   w i t h   T F . I D F   b y   a c c u r a c y   v a l u e   0 . 8 5 .   I n   t h e   s e c o n d   p l a c e ,   B O W   f e a t u r e s   w i t h   B i n a r y   T F   h a v e   s l i g h t l y   d i f e r e n t   r e s u l t   w i t h   a c c u r a c y   v a l u e   0 . 8 4 .   M e a n w h i l e ,   B O W   f e a t u r e s   w i t h   R a w   T F   c o m e s   i n   t h i r d   p l a c e   w i t h   a c c u r a c y   v a l u e   0 . 8 3 .   S u r p r i s i n g l y ,   o u r   p r o p o s e d   m e t h o d   h a s   t h e   l o w e s t   a c c u r a c y   v a l u e ,   o n l y   0 . 7 0 .           F i g u r e   2 .   E x p e r i m e n t   r e s u l t s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     5 2 5   -   5 3 0   5 2 8 T h e   d a t a s e t   u s e d   i n   t h i s   e x p e r i m e n t   c a n   b e   s a i d   a s   s m a l l   d a t a s e t .   I n   a   s m a l l   d a t a s e t ,   W o r d 2 V e c   c a n n o t   c a p t u r e   t h e   t h e   s e m a n t i c   a n d   s y n t a c t i c   i n f o r m a t i o n   o f   w o r d s   v e r y   w e l l .   W h e n   W o r d 2 V e c   l e a r n   t h e   w o r d   r e p r e s e n t a t i o n ,   e a c h   w o r d   s t a r t s   a t   r a n d o m   p o s i t i o n   i n   t h e   v e c t o r   s p a c e .   T h e   w o r d s   w i l l   b e   m o v e d   c l o s e r   i n t o   t h e   p o s i t i o n   o f   w o r d s   t h a t   s i m i l a r   t o   t h e m   g r a d u a l l y   b a s e d   o n   t h e i r   n e i g b o r s   i n   t r a i n i n g   d a t a .   I f   w e   h a v e   v e r y   l a r g e   d a t a s e t ,   a l l   t h e   w o r d s   c a n   b e   a r r a n g e d   s o   t h a t   a l l   t h o s e   p a i r w i s e   s i m i l a r i t i e s   a r e   s i m u l t a n e o u s l y   u p h e l d   b e c a u s e   i t   h a v e   s o   m a n y   v a r i e d   e x a m p l e s   t o   g r a d u a l l y   m o v e d   t h e m   a l l   i n t o   b e t t e r   p o s i t i o n s .   O t h e r w i s e ,   i n   s m a l l   d a t a s e t ,   t h e r e   a r e   v e r y   f e w   e x a m p l e s   w h e r e   t h e   w o r d s   t h a t   s o u l d   b e   s i m i l a r   a r e   n e i g h b o r s   i n   t r a i n i n g   d a t a .   W i t h   v e r y   f e w   e x a m p l e s   w h e r e   t h e r e   a r e   s h a r e d   n e a r b y - w o r d s ,   t h e r e ' s   f e w   b a s e s   f o r   m o v i n g   t h e   a l l   t h o s e   p a i r w i s e   s i m i l a r i t i e s   t o   t h e   s a m e   p o s i t i o n .   H e n c e ,   W o r d 2 V e c   c a n n o t   t r a i n e d   w e l l   u s i n g   s m a l l   d a t a s e t .       4 .   C O N C L U S I O N     I n   t h i s   s t u d y ,   w e   u s e d   W o r d 2 V e c   m o d e l   t o   r e p r e s e n t   t h e   f e a t u r e s   f o r   p r o d u c t   r e v i e w   s e n t i m e n t   c l a s s i f i c a t i o n   i n   I n d o n e s i a n   l a n g u a g e .   W e   u s e d   S V M   f o r   t h e   c l a s s i f i c a t i o n   m e t h o d .   W e   a l s o   c o m p a r e d   t h e   W o r 2 V e c   b a s e d   c l a s s i f i c a t i o n   p e r f o r m a n c e   w i t h   B a g   o f   W o r d s   f e a t u r e s   u s i n g   B i n a r y   T F ,   R a w   T F ,   a n d   T F . I D F .   I n   g e n e r a l ,   S V M   c a n   p e r f o r m s   w e l l   o n   t h e   s e n t i m e n t   c l a s s i f i c a t i o n .   H o w e v e r ,   t h e   W o r d 2 v e c   m o d e l   h a v e   t h e   l o w e s t   a c c u r a c y   v a l u e   t h a n   o t h e r   m e t h o d .   T h i s   i s   b e c a u s e   w e   o n l y   h a v e   s m a l l   d a t a s e t   t o   t r a i n   t h e   W o r d 2 V e c   m o d e l .   W o r d 2 V e c   n e e d   l a r g e   e x a m p l e   t o   l e a r n   t h e   w o r d   r e p r e s e n t a t i o n   a n d   p l a c e   s i m i l a r   w o r d s   i n t o   c l o s e r   p o s i t i o n .   O t h e r w i s e ,   i n   a   s m a l l   d a t a s e t ,   t h e r e   t o o   m a n y   e x a m p l e s   t o   m o v e   t h e   w o r d s   i n t o   t h e   b e t t e r   p l a c e .   I n   t h e   f u t u r e   w o r k ,   w e   c a n   u s e   l a r g e r   d a t a s e t   t o   b u i l d   t h e   W o r d 2 V e c   m o d e l .   T h i s   d a t a s e t   d o e s   n o t   n e e d   t o   b e   l a b e l e d   f i r s t   a s   p o s i t i v e   o r   n e g a t i v e .   T h i s   d a t a s e t   a l s o   d o e s   n o t   n e e d   t o   b e   s e n t i m e n t   a n a l y s i s   d a t a s e t .   W e   c a n   u s e   a n o t h e r   d a t a s e t   s u c h   a s   n e w s ,   a r t i c l e s ,   w i k i p e d i a ,   a n d   s o   o n .       R E F E R E N C E S     [ 1 ]   D a n g ,   Y a n ,   Y u l e i   Z h a n g ,   a n d   H s i n c h u n   C h e n .   " A   L e x i c o n - E n h a n c e d   M e t h o d   f o r   S e n t i m e n t   C l a s s i f i c a t i o n :   A n   E x p e r i m e n t   o n   O n l i n e   P r o d u c t   R e v i e w s . "   I E E E   I n t e l l i g e n t   S y s t e m s   2 5 ,   n o .   4 :   4 6 - 5 3 ,   2 0 1 0 .   [ 2 ]   B a i l e y ,   A i n s w o r t h   A n t h o n y .   " T h i s c o m p a n y s u c k s . c o m :   T h e   U s e   o f   t h e   I n t e r n e t   i n   N e g a t i v e   C o n s u m e r T o C o n s u m e r   A r t i c u l a t i o n s . "   J o u r n a l   o f   M a r k e t i n g   C o m m u n i c a t i o n s   1 0 ,   n o .   3 :   1 6 9 - 1 8 2 ,   2 0 0 4 .   [ 3 ]   A r m s t r o n g ,   A r t h u r ,   a n d   J o h n   H a g e l .   " T h e   R e a l   V a l u e   o f   O n l i n e   C o m m u n i t i e s . "   K n o w l e d g e   a n d   c o m m u n i t i e s   7 4 ,   n o .   3   ( 2 0 0 0 ) :   8 5 - 9 5 ,   2 0 0 0 .   [ 4 ]   W e s t ,   P a t r i c i a   M . ,   a n d   S u s a n   M .   B r o n i a r c z y k .   " I n t e g r a t i n g   M u l t i p l e   O p i n i o n s :   T h e   R o l e   o f   A s p i r a t i o n   L e v e l   o n   C o n s u m e r   R e s p o n s e   t o   C r i t i c   C o n s e n s u s . "   J o u r n a l   o f   C o n s u m e r   R e s e a r c h 2 5 ,   n o .   1 :   3 8 - 5 1 ,   1 9 9 8 .   [ 5 ]   T s a n g ,   A l e x   S L ,   a n d   G e r a r d   P r e n d e r g a s t .   " I s   a   s t a r   W o r t h   a   T h o u s a n d   W o r d s ?   T h e   I n t e r p l a y   b e t w e e n   P r o d u c t - R e v i e w   T e x t s   a n d   R a t i n g   V a l e n c e s . "   E u r o p e a n   J o u r n a l   o f   M a r k e t i n g   4 3 ,   n o .   1 1 / 1 2 ,   1 2 6 9 - 1 2 8 0 ,   2 0 0 9 .   [ 6 ]   H u ,   N a n ,   I n d r a n i l   B o s e ,   N o i   S i a n   K o h ,   a n d   L i n g   L i u .   " M a n i p u l a t i o n   o f   O n l i n e   R e v i e w s :   A n   A n a l y s i s   o f   R a t i n g s ,   R e a d a b i l i t y ,   a n d   S e n t i m e n t s . "   D e c i s i o n   S u p p o r t   S y s t e m s   5 2 ,   n o .   3 :   6 7 4 - 6 8 4 ,   2 0 1 2 .   [ 7 ]   C u i ,   H a n g ,   V i b h u   M i t t a l ,   a n d   M a y u r   D a t a r .   " C o m p a r a t i v e   E x p e r i m e n t s   o n   S e n t i m e n t   C l a s s i f i c a t i o n   f o r   O n l i n e   P r o d u c t   R e v i e w s . "   I n   A A A I ,   v o l .   6 ,   p p .   1 2 6 5 - 1 2 7 0 .   2 0 0 6 .   [ 8 ]   B i c k a r t ,   B a r b a r a ,   a n d   R o b e r t   M .   S c h i n d l e r .   " I n t e r n e t   F o r u m s   a s   I n f l u e n t i a l   S o u r c e s   o f   C o n s u m e r   I n f o r m a t i o n . "   J o u r n a l   o f   i n t e r a c t i v e   m a r k e t i n g   1 5 ,   n o .   3 :   3 1 - 4 0 ,   2 0 0 1 .   [ 9 ]   B a s u r o y ,   S u m a n ,   S u b i m a l   C h a t t e r j e e ,   a n d   S .   A b r a h a m   R a v i d .   " H o w   C r i t i c a l   A r e   C r i t i c a l   R e v i e w s ?   T h e   B o x   O f f i c e   E f f e c t s   o f   F i l m   C r i t i c s ,   S t a r   P o w e r ,   a n d   B u d g e t s . "   J o u r n a l   o f   m a r k e t i n g   6 7 ,   n o .   4 :   1 0 3 - 1 1 7 ,   2 0 0 3 .   [ 1 0 ]   P a n g ,   B o ,   L i l l i a n   L e e ,   a n d   S h i v a k u m a r   V a i t h y a n a t h a n .   " T h u m b s   u p ? :   S e n t i m e n t   C l a s s i f i c a t i o n   U s i n g   M a c h i n e   L e a r n i n g   T e c h n i q u e s . "   I n   P r o c e e d i n g s   o f   t h e   A C L - 0 2   c o n f e r e n c e   o n   E m p i r i c a l   m e t h o d s   i n   n a t u r a l   l a n g u a g e   p r o c e s s i n g - V o l u m e   1 0 ,   p p .   7 9 - 8 6 .   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 0 2 .   [ 1 1 ]   L i u ,   B i n g .   " S e n t i m e n t   A n a l y s i s   a n d   S u b j e c t i v i t y . "   H a n d b o o k   o f   n a t u r a l   l a n g u a g e   p r o c e s s i n g   2 :   6 2 7 - 6 6 6 ,   2 0 1 0 .   [ 1 2 ]   Z h a n g ,   D o n g w e n ,   H u a   X u ,   Z e n g c a i   S u ,   a n d   Y u n f e n g   X u .   " C h i n e s e   C o m m e n t s   S e n t i m e n t   C l a s s i f i c a t i o n   B a s e d   o n   W o r d 2 v e c   a n d   S V M   P e r f . "   E x p e r t   S y s t e m s   w i t h   A p p l i c a t i o n s 4 2 ,   n o .   4 :   1 8 5 7 - 1 8 6 3 ,   2 0 1 5 .   [ 1 3 ]   F a u z i ,   M .   A l i ,   a n d   T r i   A f i r i a n t o .   " I m p r o v i n g   S e n t i m e n t   A n a l y s i s   o f   S h o r t   I n f o r m a l   I n d o n e s i a n   P r o d u c t   R e v i e w s   u s i n g   S y n o n y m   B a s e d   F e a t u r e   E x p a n s i o n . "   T E L K O M N I K A   ( T e l e c o m m u n i c a t i o n   C o m p u t i n g   E l e c t r o n i c s   a n d   C o n t r o l )   1 6 ,   n o .   2 ,   2 0 1 8 .   [ 1 4 ]   R o f i q o h ,   U m i ,   R i z a l   S e t y a   P e r d a n a ,   a n d   M .   A l i   F a u z i .   " S e n t i m e n t   A n a l y s i s   o f   I n d o n e s i a n   C e l l u l a r   T e l e c o m m u n i c a t i o n   S e r v i c e   P r o v i d e r   U s e r   S a t i s f a c t i o n   L e v e l s   o n   T w i t t e r   w i t h   S u p p o r t i n g   V e c t o r   M a c h i n e   a n d   L e x i c o n   B a s e d   F e a t u r e s   ( i n   B a h a s a :   A n a l i s i s   S e n t i m e n   T i n g k a t   K e p u a s a n   P e n g g u n a   P e n y e d i a   L a y a n a n   T e l e k o m u n i k a s i   S e l u l e r   I n d o n e s i a   P a d a   T w i t t e r   D e n g a n   M e t o d e   S u p p o r t   V e c t o r   M a c h i n e   d a n   L e x i c o n   B a s e d   F e a t u r e s . ) , "   J u r n a l   P e n g e m b a n g a n   T e k n o l o g i   I n f o r m a s i   d a n   I l m u   K o m p u t e r   e - I S S N   2 5 4 8 :   9 6 4 X .   [ 1 5 ]   L e s t a r i ,   A g n e s   R o s s i   T r i s n a ,   R i z a l   S e t y a   P e r d a n a ,   a n d   M .   A l i   F a u z i .   " S e n t i m e n t   A n a l y s i s   o f   D K I   2 0 1 7   R e g i o n a l   H e a d   E l e c t i o n   O p i n i o n s   o n   I n d o n e s i a n   L a n g u a g e   T w i t t e r   D o c u m e n t s   U s i n g   N ä i v e   B a y e s   a n d   E m o j i   W e i g h t i n g   ( i n   B a h a s a :   A n a l i s i s   S e n t i m e n   T e n t a n g   O p i n i   P i l k a d a   D k i   2 0 1 7   P a d a   D o k u m e n   T w i t t e r   B e r b a h a s a   I n d o n e s i a   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       W o r d 2 V e c   m o d e l   f o r   s e n t i m e n t   a n a l y s i s   o f   p r o d u c t   r e v i e w s   i n   I n d o n e s i a n   l a n g u a g e   ( M .   A l i   F a u z i )   5 2 9 M e n g g u n a k a n   N ä i v e   B a y e s   d a n   P e m b o b o t a n   E m o j i ) , "   J u r n a l   P e n g e m b a n g a n   T e k n o l o g i   I n f o r m a s i   d a n   I l m u   K o m p u t e r   e - I S S N   2 5 4 8 :   9 6 4 X .   [ 1 6 ]   N u r j a n a h ,   W i n d a   E s t u ,   R i z a l   S e t y a   P e r d a n a ,   a n d   M o c h a m m a d   A l i   F a u z i .   " S e n t i m e n t   A n a l y s i s   o f   T e l e v i s i o n   S h o w s   B a s e d   o n   C o m m u n i t y   O p i n i o n   o n   T w i t t e r   S o c i a l   M e d i a   u s i n g   t h e   K - N e a r e s t   N e i g h b o r   M e t h o d   a n d   W e i g h t i n g   R e t w e e t   N u m b e r   ( i n   B a h a s a :   A n a l i s i s   S e n t i m e n   T e r h a d a p   T a y a n g a n   T e l e v i s i   B e r d a s a r k a n   O p i n i   M a s y a r a k a t   p a d a   M e d i a   S o s i a l   T w i t t e r   m e n g g u n a k a n   M e t o d e   K - N e a r e s t   N e i g h b o r   d a n   P e m b o b o t a n   J u m l a h   R e t w e e t . ) "   J u r n a l   P e n g e m b a n g a n   T e k n o l o g i   I n f o r m a s i   d a n   I l m u   K o m p u t e r   e - I S S N   2 5 4 8 :   9 6 4 X .   [ 1 7 ]   A n t i n a s a r i ,   P r a n a n d a ,   R i z a l   S e t y a   P e r d a n a ,   a n d   M .   A l i   F a u z i .   " S e n t i m e n t   A n a l y s i s   o f   F i l m   O p i n i o n   o n   I n d o n e s i a n   L a n g u a g e   T w i t t e r   D o c u m e n t s   U s i n g   N a i v e   B a y e s   w i t h   N o n - S t a n d a r d   W o r d   R e p a i r   ( i n   B a h a s a :   A n a l i s i s   S e n t i m e n   T e n t a n g   O p i n i   F i l m   P a d a   D o k u m e n   T w i t t e r   B e r b a h a s a   I n d o n e s i a   M e n g g u n a k a n   N a i v e   B a y e s   D e n g a n   P e r b a i k a n   K a t a   T i d a k   B a k u ) "   J u r n a l   P e n g e m b a n g a n   T e k n o l o g i   I n f o r m a s i   d a n   I l m u   K o m p u t e r   e - I S S N   2 5 4 8 :   9 6 4 X .   [ 1 8 ]   Z h a i ,   Z h o n g w u ,   B i n g   L i u ,   H u a   X u ,   a n d   P e i f a   J i a .   " C l u s t e r i n g   P r o d u c t   F e a t u r e s   f o r   O p i n i o n   M i n i n g . "   I n   P r o c e e d i n g s   o f   t h e   f o u r t h   A C M   i n t e r n a t i o n a l   c o n f e r e n c e   o n   W e b   s e a r c h   a n d   d a t a   m i n i n g ,   p p .   3 4 7 - 3 5 4 .   A C M ,   2 0 1 1 .   [ 1 9 ]   F a u z i ,   M . A . ,   R a n d o m   F o r e s t   A p p r o a c h   f o r   S e n t i m e n t   A n a l y s i s   i n   I n d o n e s i a n   L a n g u a g e ,   I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e ,   1 2 ( 1 ) ,   2 0 1 8 .   [ 2 0 ]   F a u z i ,   M . A .   a n d   Y u n i a r t i ,   A . ,   E n s e m b l e   M e t h o d   f o r   I n d o n e s i a n   T w i t t e r   H a t e   S p e e c h   D e t e c t i o n ,   I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e ,   1 1 ( 1 ) ,   2 0 1 8 .   [ 2 1 ]   G h i a s s i ,   M a n o o c h e h r ,   J a m e s   S k i n n e r ,   a n d   D a v i d   Z i m b r a .   " T w i t t e r   B r a n d   S e n t i m e n t   A n a l y s i s :   A   H y b r i d   S y s t e m   U s i n g   N - G r a m   A n a l y s i s   a n d   D y n a m i c   A r t i f i c i a l   N e u r a l   N e t w o r k . "   E x p e r t   S y s t e m s   w i t h   a p p l i c a t i o n s   4 0 ,   n o .   1 6 :   6 2 6 6 - 6 2 8 2 ,   2 0 1 3 .   [ 2 2 ]   P r a s a n t i ,   A . A . ,   F a u z i ,   M . A .   a n d   F u r q o n ,   M . T . ,   N e i g h b o r   W e i g h t e d   K - N e a r e s t   N e i g h b o r   f o r   S a m b a t   O n l i n e   C l a s s i f i c a t i o n ,   I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e ,   1 2 ( 1 ) ,   2 0 1 8 .   [ 2 3 ]   T a b o a d a ,   M a i t e ,   J u l i a n   B r o o k e ,   M i l a n   T o f i l o s k i ,   K i m b e r l y   V o l l ,   a n d   M a n f r e d   S t e d e .   " L e x i c o n - b a s e d   M e t h o d s   f o r   S e n t i m e n t   A n a l y s i s . "   C o m p u t a t i o n a l   l i n g u i s t i c s   3 7 ,   n o .   2 :   2 6 7 - 3 0 7 ,   2 0 1 1 .   [ 2 4 ]   D a v i d o v ,   D m i t r y ,   O r e n   T s u r ,   a n d   A r i   R a p p o p o r t .   " E n h a n c e d   S e n t i m e n t   L e a r n i n g   U s i n g   T w i t t e r   H a s h t a g s   a n d   S m i l e y s . "   I n   P r o c e e d i n g s   o f   t h e   2 3 r d   i n t e r n a t i o n a l   c o n f e r e n c e   o n   c o m p u t a t i o n a l   l i n g u i s t i c s :   p o s t e r s ,   p p .   2 4 1 - 2 4 9 .   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 0 .   [ 2 5 ]   A g a r w a l ,   B a s a n t ,   S o u j a n y a   P o r i a ,   N a m i t a   M i t t a l ,   A l e x a n d e r   G e l b u k h ,   a n d   A m i r   H u s s a i n .   " C o n c e p t - l e v e l   S e n t i m e n t   A n a l y s i s   W i t h   D e p e n d e n c y - B a s e d   S e m a n t i c   P a r s i n g :   A   N o v e l   A p p r o a c h . "   C o g n i t i v e   C o m p u t a t i o n   7 ,   n o .   4 :   4 8 7 - 4 9 9 ,   2 0 1 5 .   [ 2 6 ]   L i z h e n ,   L i u ,   S o n g   W e i ,   W a n g   H a n s h i ,   L i   C h u c h u ,   a n d   L u   J i n g l i .   " A   N o v e l   F e a t u r e - B a s e d   M e t h o d   f o r   S e n t i m e n t   A n a l y s i s   o f   C h i n e s e   P r o d u c t   R e v i e w s . "   C h i n a   c o m m u n i c a t i o n s   1 1 ,   n o .   3 :   1 5 4 - 1 6 4 ,   2 0 1 4 .   [ 2 7 ]   S i n g h ,   V i v e k   K u m a r ,   R a j e s h   P i r y a n i ,   A s h r a f   U d d i n ,   a n d   P r a n a v   W a i l a .   " S e n t i m e n t   A n a l y s i s   o f   M o v i e   R e v i e w s :   A   N e w   F e a t u r e - B a s e d   H e u r i s t i c   f o r   A s p e c t - L e v e l   S e n t i m e n t   C l a s s i f i c a t i o n . "   I n   A u t o m a t i o n ,   c o m p u t i n g ,   c o m m u n i c a t i o n ,   c o n t r o l   a n d   c o m p r e s s e d   s e n s i n g   ( i M a c 4 s ) ,   2 0 1 3   i n t e r n a t i o n a l   m u l t i - c o n f e r e n c e   o n ,   p p .   7 1 2 - 7 1 7 .   I E E E ,   2 0 1 3 .   [ 2 8 ]   T u r i a n ,   J o s e p h ,   L e v   R a t i n o v ,   a n d   Y o s h u a   B e n g i o .   " W o r d   R e p r e s e n t a t i o n s :   A   S i m p l e   a n d   G e n e r a l   M e t h o d   f o r   S e m i - S u p e r v i s e d   L e a r n i n g . "   I n   P r o c e e d i n g s   o f   t h e   4 8 t h   a n n u a l   m e e t i n g   o f   t h e   a s s o c i a t i o n   f o r   c o m p u t a t i o n a l   l i n g u i s t i c s ,   p p .   3 8 4 - 3 9 4 .   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 0 .   [ 2 9 ]   S e o k ,   M i r a n ,   H y e - J e o n g   S o n g ,   C h a n - Y o u n g   P a r k ,   J o n g - D a e   K i m ,   a n d   Y u - s e o p   K i m .   " N a m e d   E n t i t y   R e c o g n i t i o n   U s i n g   W o r d   E m b e d d i n g   A s   a   F e a t u r e . "   I n t e r n a t i o n a l   J o u r n a l   o f   S o f t w a r e   E n g i n e e r i n g   a n d   I t s   A p p l i c a t i o n s   1 0 ,   n o .   2 :   9 3 - 1 0 4 ,   2 0 1 6 .   [ 3 0 ]   L a i ,   S i w e i ,   K a n g   L i u ,   S h i z h u   H e ,   a n d   J u n   Z h a o .   " H o w   t o   G e n e r a t e   a   G o o d   W o r d   E m b e d d i n g . "   I E E E   I n t e l l i g e n t   S y s t e m s 3 1 ,   n o .   6 :   5 - 1 4 ,   2 0 1 6 .   [ 3 1 ]   M i k o l o v ,   T o m a s ,   W e n - t a u   Y i h ,   a n d   G e o f f r e y   Z w e i g .   " L i n g u i s t i c   R e g u l a r i t i e s   i n   C o n t i n u o u s   S p a c e   W o r d   R e p r e s e n t a t i o n s . "   I n   h l t - N a a c l ,   v o l .   1 3 ,   p p .   7 4 6 - 7 5 1 .   2 0 1 3 .   [ 3 2 ]   X u e ,   B a i ,   C h e n   F u ,   a n d   Z h a n   S h a o b i n .   " A   S t u d y   o n   S e n t i m e n t   C o m p u t i n g   a n d   C l a s s i f i c a t i o n   o f   S i n a   W e i b o   w i t h   w o r d 2 v e c . "   I n   B i g   D a t a   ( B i g D a t a   C o n g r e s s ) ,   2 0 1 4   I E E E   I n t e r n a t i o n a l   C o n g r e s s   o n ,   p p .   3 5 8 - 3 6 3 .   I E E E ,   2 0 1 4 .   [ 3 3 ]   L i l l e b e r g ,   J o s e p h ,   Y u n   Z h u ,   a n d   Y a n q i n g   Z h a n g .   " S u p p o r t   V e c t o r   M a c h i n e s   a n d   W o r d 2 v e c   f o r   T e x t   C l a s s i f i c a t i o n   w i t h   S e m a n t i c   F e a t u r e s . "   I n   C o g n i t i v e   I n f o r m a t i c s   &   C o g n i t i v e   C o m p u t i n g   ( I C C I *   C C ) ,   2 0 1 5   I E E E   1 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n ,   p p .   1 3 6 - 1 4 0 .   I E E E ,   2 0 1 5 .   [ 3 4 ]   J o s h i ,   A d i t y a ,   V a i b h a v   T r i p a t h i ,   K e v i n   P a t e l ,   P u s h p a k   B h a t t a c h a r y y a ,   a n d   M a r k   C a r m a n .   " A r e   W o r d   E m b e d d i n g - b a s e d   F e a t u r e s   U s e f u l   f o r   S a r c a s m   D e t e c t i o n ? . "   a r X i v   p r e p r i n t   a r X i v : 1 6 1 0 . 0 0 8 8 3 ,   2 0 1 6 .   [ 3 5 ]   S i e n č n i k ,   S c h a r o l t a   K a t h a r i n a .   " A d a p t i n g   w o r d 2 v e c   t o   N a m e d   E n t i t y   R e c o g n i t i o n . "   I n   P r o c e e d i n g s   o f   t h e   2 0 t h   N o r d i c   C o n f e r e n c e   o f   C o m p u t a t i o n a l   L i n g u i s t i c s ,   N O D A L I D A   2 0 1 5 ,   M a y   1 1 - 1 3 ,   2 0 1 5 ,   V i l n i u s ,   L i t h u a n i a ,   n o .   1 0 9 ,   p p .   2 3 9 - 2 4 3 .   L i n k ö p i n g   U n i v e r s i t y   E l e c t r o n i c   P r e s s ,   2 0 1 5 .   [ 3 6 ]   L i u ,   H a i x i a .   " S e n t i m e n t   A n a l y s i s   o f   C i t a t i o n s   U s i n g   W o r d 2 v e c . "   a r X i v   p r e p r i n t   a r X i v : 1 7 0 4 . 0 0 1 7 7   ( 2 0 1 7 ) .   [ 3 7 ]   M i k o l o v ,   T o m a s ,   I l y a   S u t s k e v e r ,   K a i   C h e n ,   G r e g   S .   C o r r a d o ,   a n d   J e f f   D e a n .   " D i s t r i b u t e d   R e p r e s e n t a t i o n s   o f   W o r d s   a n d   P h r a s e s   a n d   T h e i r   C o m p o s i t i o n a l i t y . "   I n   A d v a n c e s   i n   n e u r a l   i n f o r m a t i o n   p r o c e s s i n g   s y s t e m s ,   p p .   3 1 1 1 - 3 1 1 9 .   2 0 1 3 .   [ 3 8 ]   Y a n g ,   X i a o ,   C r a i g   M a c d o n a l d ,   a n d   I a d h   O u n i s .   " U s i n g   W o r d   E m b e d d i n g s   I n   T w i t t e r   E l e c t i o n   C l a s s i f i c a t i o n . "   a r X i v   p r e p r i n t   a r X i v : 1 6 0 6 . 0 7 0 0 6 ,   2 0 1 6 .   [ 3 9 ]   B e n g i o ,   Y o s h u a ,   R é j e a n   D u c h a r m e ,   P a s c a l   V i n c e n t ,   a n d   C h r i s t i a n   J a u v i n .   " A   N e u r a l   P r o b a b i l i s t i c   L a n g u a g e   M o d e l . "   J o u r n a l   o f   m a c h i n e   l e a r n i n g   r e s e a r c h   3 ,   n o .   F e b   ( 2 0 0 3 ) :   1 1 3 7 - 1 1 5 5 ,   2 0 0 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     5 2 5   -   5 3 0   5 3 0 [ 4 0 ]   F a u z i ,   M .   A l i ,   A g u s   Z a i n a l   A r i f i n ,   a n d   S o n n y   C h r i s t i a n o   G o s a r i a .   " I n d o n e s i a n   N e w s   C l a s s i f i c a t i o n   U s i n g   N a ï v e   B a y e s   a n d   T w o - P h a s e   F e a t u r e   S e l e c t i o n   M o d e l . "   I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e   8 ,   n o .   3 ,   2 0 1 7 .   [ 4 1 ]   S u h a r n o ,   C l a u d i o   F r e s t a ,   M .   A l i   F a u z i ,   a n d   R i z a l   S e t y a   P e r d a n a .   " I n d o n e s i a n   L a n g u a g e   C l a s s i f i c a t i o n   o n   S a m b a t   O n l i n e   C o m p l a i n t   D o c u m e n t s   U s i n g   t h e   K - N e a r e s t   N e i g h b o r s   A n d   C h i - S q u a r e   M e t h o d   ( i n   B a h a s a :   K l a s i f i k a s i   T e k s   B a h a s a   I n d o n e s i a   P a d a   D o k u m e n   P e n g a d u a n   S a m b a t   O n l i n e   M e n g g u n a k a n   M e t o d e   K - N e a r e s t   N e i g h b o r s   D a n   C h i - S q u a r e . ) "   S y s t e m i c :   I n f o r m a t i o n   S y s t e m   a n d   I n f o r m a t i c s   J o u r n a l   3 ,   n o .   1 :   2 5 - 3 2 ,   2 0 1 7 .   [ 4 2 ]   F a u z i ,   M .   A l i ,   A g u s   Z a i n a l   A r i f i n ,   a n d   A n n y   Y u n i a r t i .   " A r a b i c   B o o k   R e t r i e v a l   u s i n g   C l a s s   a n d   B o o k   I n d e x   B a s e d   T e r m   W e i g h t i n g . "   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E )   7 ,   n o .   6 :   3 7 0 5 - 3 7 1 0 ,   2 0 1 7 .   [ 4 3 ]   F a u z i ,   M .   A l i ,   D j o k o   C a h y o   U t o m o ,   E k o   S a k t i   P r a m u k a n t o r o ,   a n d   B u d i   D a r m a   S e t i a w a n .   " A u t o m a t i c   E s s a y   S c o r i n g   S y s t e m   U s i n g   N - G r a m   A n d   C o s i n e   S i m i l a r i t y   F o r   G a m i f i c a t i o n   B a s e d   E - L e a r n i n g . "   [ 4 4 ]   P r a m u k a n t o r o ,   E k o   S a k t i ,   a n d   M .   A l i   F a u z i .   " C o m p a r a t i v e   A n a l y s i s   o f   S t r i n g   S i m i l a r i t y   a n d   C o r p u s - B a s e d   S i m i l a r i t y   f o r   A u t o m a t i c   E s s a y   S c o r i n g   S y s t e m   o n   E - L e a r n i n g   G a m i f i c a t i o n . "   I n   A d v a n c e d   C o m p u t e r   S c i e n c e   a n d   I n f o r m a t i o n   S y s t e m s   ( I C A C S I S ) ,   2 0 1 6   I n t e r n a t i o n a l   C o n f e r e n c e   o n ,   p p .   1 4 9 - 1 5 5 .   I E E E ,   2 0 1 6 .   [ 4 5 ]   F a u z i ,   M .   A l i ,   A g u s   A r i f i n ,   a n d   A n n y   Y u n i a r t i .   " T e r m   W e i g h t i n g   B a s e d   o n   I n d e x   o f   B o o k s   a n d   C l a s s e s   f o r   R a n k i n g   o f   A r a b i c   D o c u m e n t s   ( i n   B a h a s a :   T e r m   W e i g h t i n g   B e r b a s i s   I n d e k s   B u k u   d a n   K e l a s   u n t u k   P e r a n g k i n g a n   D o k u m e n   B e r b a h a s a   A r a b . ) "   L o n t a r   K o m p u t e r :   J u r n a l   I l m i a h   T e k n o l o g i   I n f o r m a s i   5 ,   n o .   2 ,   2 0 1 3 .   [ 4 6 ]   M i k o l o v   T ,   C h e n   K ,   C o r r a d o   G ,   D e a n   J .   E f f i c i e n t   E s t i m a t i o n   O f   W o r d   R e p r e s e n t a t i o n s   I n   V e c t o r   S p a c e .   a r X i v   P r e p r i n t   a r X i v : 1 3 0 1 . 3 7 8 1 .   2 0 1 3   J a n   1 6 .   [ 4 7 ]   B u r g e s ,   C h r i s t o p h e r   J C .   " A   T u t o r i a l   o n   S u p p o r t   V e c t o r   M a c h i n e s   f o r   P a t t e r n   R e c o g n i t i o n . "   D a t a   m i n i n g   a n d   k n o w l e d g e   d i s c o v e r y   2 ,   n o .   2 :   1 2 1 - 1 6 7 ,   1 9 9 8 .   [ 4 8 ]   L i u ,   B i n g .   W e b   d a t a   m i n i n g :   e x p l o r i n g   h y p e r l i n k s ,   c o n t e n t s ,   a n d   u s a g e   d a t a .   S p r i n g e r   S c i e n c e   &   B u s i n e s s   M e d i a ,   2 0 0 7 .   [ 4 9 ]   M c C a l l u m ,   A n d r e w ,   a n d   K a m a l   N i g a m .   " A   C o m p a r i s o n   o f   E v e n t   M o d e l s   f o r   N a i v e   B a y e s   T e x t   C l a s s i f i c a t i o n . "   I n   A A A I - 9 8   w o r k s h o p   o n   l e a r n i n g   f o r   t e x t   c a t e g o r i z a t i o n ,   v o l .   7 5 2 ,   n o .   1 ,   p p .   4 1 - 4 8 .   1 9 9 8 .   [ 5 0 ]   P e d r e g o s a   F ,   V a r o q u a u x   G ,   G r a m f o r t   A ,   M i c h e l   V ,   T h i r i o n   B ,   G r i s e l   O ,   B l o n d e l   M ,   P r e t t e n h o f e r   P ,   W e i s s   R ,   D u b o u r g   V ,   V a n d e r p l a s   J .   S c i k i t - l e a r n :   M a c h i n e   L e a r n i n g   i n   P y t h o n .   J o u r n a l   o f   M a c h i n e   L e a r n i n g   R e s e a r c h .   2 0 1 1 ; 1 2 ( O c t ) : 2 8 2 5 - 3 0 ,   2 0 1 1 .       B I O G R A P H Y   O F   A U T H O R       M .   A l i   F a u z i ,   m a l e ,   i s   a   l e c t u r e r   i n   F a c u l t y   o f   C o m p u t e r   S c i e n c e ,   U n i v e r s i t a s   B r a w i j a y a .   H i s   r e s e a r c h   i n t e r e s t   i s   T e x t   M i n i n g   a n d   N a t u r a l   L a n g u a g e   P r o c e s s i n g         Evaluation Warning : The document was created with Spire.PDF for Python.