I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 6 ,   N o .   1 O c t o b er   2 01 9 ,   pp .   355 ~ 363   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 1 . pp 355 - 363             355       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   S e n t i m e n t   c l a ss i f i c a t i o n   o f   s o c i a l   m e d i a   r e v i e w s us i n g   a n   e n sem b l e   c l a ss i f i e r       S av i ta  S an gam ,   S u b h as h   S h i n d e   U ni v e r s i t y   o f   M um ba i ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e J a n   2 1 ,   2 01 9   R e v i s e M a r   6,   201 9   A c c e pt e M a r   2 5,   201 9       T he s e   d a y s   i t   ha s   b e c o m e   a   c o m m o pr a c t i c e   f o r   bus i n e s s   o r g a ni z a t i o ns   a nd  i nd i v i dua l s   t o   m a ke   us e   o f   s o c i a l   m e di a   f o r   s ha r i ng   t he   o pi n i o ns   a bo ut   t h e   pr o duc t s   o r   t h e   s e r v i c e s .     C o ns um e r s   a r e   a l s o   r e a dy   t o   s ha r e   t he i r   v i e w s   o c e r t a i pr o duc t s   o r   c o m m o di t i e s .     T hu s   hug e   a m o unt   o f   uns t r uc t u r e s o c i a l   m e di a   d a t a   g e t s   g e ne r a t e da y   b y   da y .   G r a dua l l y   he a o f   t e xt   da t a   w i l l   b e   f o r m e i m a ny   a r e a s   l i ke   a u t o m a t e b us i ne s s ,   e duc a t i o n,   h e a l t h   c a r e ,   a nd   s ho w   bus i ne s s   a nd  s o   o n.   O pi n i o m i n i ng   a l s o   r e f e r r e a s   s e nt i m e nt   a na l y s i s   o r   s e nt i m e n t   c l a s s i f i c a t i o n,   d e a l s   w i t m i ni ng   of   t he   r e v i e w   t e x t   a nd   c l a s s i f y i ng   t he   o pi n i o ns   o r   t he   s e nt i m e n t s   o f   t h a t   t e xt   a s   po s i t i v e   o r   ne g a t i v e .   I n   t hi s   pa p e r   w e   pr o po s e   a e n s e m b l e   c l a s s i f i e r   m o de l   c o ns i s t i ng   of   S uppo r t   V e c t o r   M a c hi ne   a n A r t i f i c i a l   N e ur a l   N e t w o r k.   I t   c o m bi ne s   t he   k no w l e dg e   f r o m   t w o   f e a t ur e   s e t s   f o r   s e nt i m e n t   c l a s s i f i c a t i o n.   T he   pr o po s e m o de l   s ho w s   t he   a c c e pt a bl e   pe r f o r m a nc e   i t e r m s   o f   a c c ur a c y   w he c o m pa r e d   w i t t h e   ba s e l i ne   m o de l .     Ke y w or ds :   ANN   E n s e m b l e   m o de l   F e a t u r e   s e l e c t i o n   O pi n i o m i ni n g   R e v i e w s   S e n t i m e n t   c l a s s i f i c a t i o n   SVM     C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S a v i t a   S a n g a m   ,   U n i v e r s i t y   of   M um b a i ,     M um b a i ,   I n d i a .   E m a i l :   s a v i t a . s a nga m @ g m a i l . c o m       1.   I N TR O D U C TI O N     T h e   r e c e n t   t r e n s h o w s   t ha t   e n t r e p r e n e ur s ,   a rt i s t s ,   c o m pa n i e s ,   a ge n c i e s   a n i n d i v i dua l s   a r e   i n t e r e s t e i n   k n o w i n g   t h e   pub l i c   o pi n i o n s   a b o ut   t h e i r   b r a n ds ,   p r o duc t s ,   s e r v i c e s ,   c o m m o di t i e s   e t c .   T h e   r e v i e w   da t a   p r o duc e by   t h e   s o c i a l   m e di a   a ppl i c a t i o n s   m a y   n o t   b e   i n   a   p r o pe s t r uc t u r e   a n d   m a y   r e qui r e   l o t   o pr o c e s s i n i n   o r de r   t o   m a ke   i t   us a b l e .   I n   o r de r   t o   pr o c e s s   t h e s e   r e v i e w s ,   da t a   m o de l s   n e e t o   b e   c o n s t r uc t e d.   T h e   f oc us   of   t h i s   r e s e a r c h   w o r i s   t o   pr o c e s s   a n d   a na l y z e   t he   o pi n i o n s   o r   t h e   s e nt i m e nt s   o f   t h e   s o c i a l   m e di a   r e v i e w s   by   a ppl y i n s o m e   da t a   m i n i ng  t e c hni que s .   A c c o r di n t o   L i [1],   t h e   s t udy   of   a n a l y z i n o pi n i o n s   i n   w r i t t e n   l a n gu a ge ,   i s   t e r m e a s   o pi n i o n   m i ni n g .   A c c o r di ng  t o   Bo  P a n a nd  L i l l i a n   L e e   [2,   3]  t h e   t a s o a n a l y z i n g   t h e   o pi n i o n ,   s e nt i m e nt ,   a nd  s ub j e c t i v i t y   c o m put a t i o na l l y   i s   kn o w n   a s   O pi ni o M i ni n g”   a nd  i t   i s   a l s o   c a l l e a s   S e n t i m e nt   A n a l y s i s   ( S A ).   D e c i s i o n   m a ke r s   r e l y   o n   S A   f o r   m a ki ng  t h e i r   de c i s i o n s .   F o r   e xa m pl e   v a r i o us   s h o ppi ng  s i t e s   l i ke   A m a z o n ,   F l i pk a r t   e t c .   t a ke   f e e d b a c f r o m   t h e   c us t o m e r s   t h a t   w i l l   h e l t h e m   t o   t a ke   pr o pe r   de c i s i o n s   f o r   i m p r o v i n t h e   qua l i t y   of   t h e i r   s e r v i c e s   a n m a r ke t i n s t r a t e gi e s .   S A   t e c h ni que s   ha v e   b e e n   a ppl i e w i de l y   i n   m a n y   a r e a s   l i ke   b us i n e s s ,   e n t e r t a i nm e nt ,   m e di c i n e ,   po l i t i c s   e t c .   S e n t i m e n t   Cl a s s i f i c a t i o n   (S C )   p r o c e s s   c l a s s i f i e s   t h e   s e n t i m e n t s   o f   t h e   t e xt   r e v i e w s   i n t o   n e ga t i v e   o r   po s i t i v e   o r   s o m e t i m e s   n e ut ra l .   T h e   t w o   m a i n   a pp r o a c h e s   fo r   s e n t i m e nt   c l a s s i f i c a t i o n   a r e ;   L e xi c o n   B a s e a pp r o a c h   a nd  M a c hi n e   L e a rni n a pp r o a c h.   I n   L e xi c o n   b a s e a pp r o a c h,   a   s e n t i m e n t   s c o r e   i s   c a l c ul a t e us i n a   d i c t i o na r y   of  po s i t i v e   a n n e ga t i v e   w o r ds   w i t h   a   po s i t i v e   o r   n e ga t i v e   s e n t i m e n t   v a l ue   a s s i g n e t o   e a c h   of  t h e   w o r ds .   T h e   ov e r a l l   s e nt i m e nt   o f   t h e   e n t i r e   t e xt   p a s s a ge   i s   s u m   o r   a v e ra ge   (o r   a n y   o t h e r   f un c t i o n )   o f   a l l   t h e   w o r ds .   T hi s   a pp r o a c i s   do m a i s pe c i f i c   a n gi v e s   l ow   r e c a l l .   T h e   M a c hi n e   L e a rni n a l go r i t h m   us e s   l a b e l e da t a   s e t s   i o r de r   t o   pe r f o r m   t h e   c l a s s i f i c a t i o n   t a s k.   T h e   c l a s s i f i e r   ge t s   t r a i n e o n   t r a i n i ng  da t a   i n   t h e   fo r m   o f   f e a t ur e s   w h i c a r e   t h e   w o r ds   o r   p hra s e s   i n   t h e   t e xt .   I t   t h e c l a s s i f i e s   t h e   u n s e e n   t e s t   da t a   b a s e o n   i t s   t ra i ni n g .   T h e r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   1 O c t o b e r   201 9   :     3 5 5   -   3 6 3   356   a r e   t hr e e   t y pe s   of   m a c h i n e   l e a rn i ng  t e c hni que s   na m e l y   s upe r v i s e d,   un s upe r v i s e a n s e m i - s upe r v i s e d.   N a ï v e   B a y e s   (N B ),   D e c i s i o n   T r e e ,   S u ppo r t   V e c t o r   M a c h i n e   (S V M ),   a nd  M a xi m um   E nt r o py   (M A X E N T a r e   s o m e   of   t h e   m a c h i n e   l e a rn i ng  s y s t e m s   m e n t i o n e by   t h e   r e s e a r c h e rs   fo r   t h e   s e n t i m e n t   c l a s s i f i c a t i o n   w o r k.   D i f fe r e nt   f e a t ur e   s e l e c t i o n   m e c ha n i s m s   t o   s e l e c t   t h e   f e a t u r e s   i t h e   t e xt ,   a n de e pe r   a na l y s i s   of   t h e   s e n t e n c e s   a s   a   w h o l e   a r e   t h e   m a i n   po i nt s   t ha t   a r e   t o   b e   c o n s i de r e f o r   t h e   a c c ura t e   s e nt i m e n t   c l a s s i f i c a t i o n .     M a c hi n e   l e a rni n g   m e t h o ds   b a s i c a l l y   r e l y   o n   t h e   f e a t ur e s   w i t h   w h i c h   t h e y   a r e   t r a i n e t o   do   t h e   c l a s s i f i c a t i o n   t a s k.   A l o n w i t t h e   t r a d i t i o na l   m e t h o ds ,   de e l e a rn i ng  m e t h o ds   a r e   n o w   c a t c hi n a t t ra c t i o n   f o r   m a n y   t a s ks   i n c l u di n g   s e n t i m e n t   a na l y s i s   [4,   5].     In  t hi s   pa pe r   w e   ha v e   us e M o s t   P e r s i s t e n t   F e a t u r e   S e l e c t i o n   (M P F S m e t h o (a   n o v e l   fe a t ur e   s e l e c t i o n   m e t h o pr o po s e i n   o ur   p r e v i o us   w o r [6])  a nd  d e ve l o p e a   b a s e l i n e   c l a s s i f i e r   m o de l s   us i n N B ,   M A X E N T   a n S V M .   T h e   c l a s s i f i e r s   a r e   t ra i n e o n   b i g r a m s   a s   w e l l   a s   t ri g ra m s   f e a t u r e s .   T h e   f e a t ur e   s e t   i s   f ur t h e r   o pt i m i z e us i n a   t e c hn i que   b a s e o n   G e n e t i c   A l go ri t hm   (G A t o   pr o duc e   a n   o pt i m i z e f e a t u r e   s e t .   A n   e n s e m b l e   c l a s s i f i e r   m o de l   i s   pr o po s e w h i c h   i n c l ude s   S V M   a n A r t i f i c i a l   N e ura l   N e t w o r (A N N )   c l a s s i f i e r s .   T h e   pe r f o r m a n c e   of   t h e   pr o po s e m o de l   i s   t e s t e d   us i n 10 - f o l c r o s s   v a l i d a t i o n   t e c hni que   a n i t s   a c c ur a c y   i s   c o m pa r e w i t h   o ur  b a s e l i n e   c l a s s i f i e r   m o de l s .   T he   r e s ul t s   p r o duc e w i t t h e   p r o po s e m e t h o a r e   fo un t o   b e   s a t i s f a c t o r y   a n d   a r e   di s c us s e i de t a i l   i t h e   R e s ul t   s e c t i o n .     T h e   r e s t   of   t h e   pa pe r   i s   a rra n ge a s   fo l l ow s :   S e c t i o n   i n c l ude s   r e l a t e w o r k;   p r o po s e d   f r a m e w o r fo r   t h e   o pi n i o n   m i n i ng  i s   e xp l a i n e i n   de t a i l   i n   S ect i o n   3 ;   e xpe r i m e n t a l   r e s ul t s   a r e   di s c us s e i n   S e c t i o n   4 ;   a n d   c o n c l us i o n   a n d   f ut u r e   s c o pe   of   t h e   w o r i s   p r e s e n t e d   i S e c t i o n   5 .     2.   R ELA TED   WO R K   L o t   of   r e s e a r c h   w o r i s   b e i n u n de r t a ke n   i o pi ni o n   m i ni n i r e c e n t   t i m e s .   R e s e a r c h e r s   a r e   w o r ki n o n   c l a s s i f y i n t h e   s e nt i m e nt s   o f   t h e   r e v i e w e r s   fo r   di f fe r e n t   do m a i n s   l i ke   r e s t a u r a nt   r e v i e w s ,   pr o duc t   r e v i e w s ,   a n m o v i e   r e v i e w s   e t c .   S e n t i m e n t   c l a s s i f i c a t i o t a s ha s   b e e n   do n e   us i ng  m a c hi n e   l e a rni n a pp r o a c h,   l e xi c o n   a pp r o a c o r   t h e   c o m b i n a t i o o f   b o t h   t h e   a ppr o a c h e s   w h i c h   w i l l   p r o duc e   a   h y b r i a pp r o a c h.   It   c a n   b e   pe r fo r m e a t   t hr e e   l e v e l s ;   d o c um e n t   l e v e l ,   s e n t e n c e   l e v e l   a n f e a t ur e   l e v e l   [7].   N B   a n S V M   m o de l s   a r e   n o r m a l l y   us e a s   b a s e l i n e s   f o r   o t h e r   s y s t e m s   i n   t e xt   l a b e l i n a nd  s e nt i m e nt   a n a l y s i s   r e s e a r c h.   P a ng  a nd   L e e   [8]  f i r s t   us e t h e s e   c l a s s i f i c a t i o n   m e t h o ds   i n   t h e i r   e xp e r i m e nt s   t o   c l a s s i fy   m ov i e   r e v i e w s .   A   l e xi c o n - b a s e a ppr o a c h   i s   b a s e o n   t h e   ov e r a l l   s e n t i m e n t   s c o r e   o f   t h e   s e n t i m e n t   w o r ds   i n   t h e   pa s s a ge   o f   t e xt   [9].   T h i s   a pp r o a c h   i s   m e nt i o n e by   H a n L i f o r   t h e   f i r s t   t i m e   fo r   a s pe c t   l e ve l   a nd  s e n t e n c e   l e ve l   s e n t i m e nt   c l a s s i f i c a t i o n.   S e nt i m e n t   c l a s s i f i c a t i o n   a t   t h e   s e n t e n c e   l e v e l   i s   a n a l o go us   t o   do c um e n t   s e n t i m e n t   c l a s s i f i c a t i o n   a s   s e n t e n c e s   a r e   pa rt   o f   t h e   do c um e n t s .   B ut   t hi s   t a s i s   d i f f i c ul t   a s   s e n t e n c e s   a r e   l e s s   i n f o r m a t i v e   w h e n   c o m pa r e t o   t h e   e n t i r e   do c um e n t .   T h e r e   a r e   di f f e r e n t   t y pe s   of   s e n t e n c e s   l i ke   di r e c t   s e n t e n c e   (e . g.   t h e   m o v i e   i s   s upe r b a n d   i n d i r e c t   s e nt e n c e s   (e . g .   R a c e   i s   a l m o s t   l i ke   i t s   p r e v i o us   ve r s i o n w hi c r e qui r e   m o r e   unde r s t a n d i n o f   t h e   p r o b l e m .   F e a t u r e   l e v e l   c l a s s i f i c a t i o t ri e s   t o   de t e r m i n e   t h e   s e n t i m e n t   o c e r t a i a s pe c t s   i n   t h e   t e xt   r e v i e w s .   T h e   w o r ds ,   t e rm s   o t h e   p hra s e s   p r e s e n t   i n   t h e   t e xt   pa s s a ge   w h i c h   c o n t ri b ut e   i n   f i n d i n g   t h e   po l a ri t y   of   t h e   s e n t i m e n t   o f   t h e   t e xt   pa s s a ge   a r e   c a l l e a s   fe a t ur e s .   T h e   m a c h i n e   l e a rn i ng  s y s t e m s   f i r s t   ge t   t r a i n e d   o n   t h e s e   f e a t ur e s   a nd  t h e c l a s s i fy   t h e   u n s e e n   t e x t .   S e l e c t i o o f   t h e   b e s t   f e a t ur e s   e n s u r e s   b e t t e a c c ur a c y   of   t h e   c l a s s i f i e by   r e duc i n t h e   di m e n s i o na l i t y   of   t h e   t ra i ni n g   da t a   s e t .   T h e r e   a r e   s e v e r a l   a pp r o a c h e s   m e nt i o n e i n   t h e   l i t e r a t u r e   fo r   f i n d i ng  o ut   t h e   f i n e s t   f e a t ur e s   [10 - 12] .   O pi n i o n s   c a n   b e   e xpr e s s e d   i n   a n y   l a n gu a ge .   M a n y   r e s e a r c h e r s   ha v e   w o r ke o n   m ul t i l i ngua l   d a t a .   T h e   w o r us ua l l y   t r a n s l a t e s   da t a   f r o m   o n e   l a ngua ge   t o   a n o t h e a nd  t h e f i nds   t h e   s e n t i m e n t s   of   t h e   o r i g i n a l   d a t a .   C r o s s - l a n gu a ge   s e nt i m e nt   c l a s s i f i e r s   a r e   b ui l t   f o r   v a r i o us   l a n gua ge s   l i ke   Chi n e s e ,   S pa n i s h,   A ra b i c   a nd  I n do n e s i a n   l a n g ua ge   e t c .   b y   m a n y   r e s e a r c h e r s   a c h i e v i ng  c o m pa ra b l e   r e s ul t s   w i t h   t h e   m o n o l i n gua l   o n e s   [ 13 - 1 7] .   A b i n a s hT ri pa t h y   e t   al [18]  a n Y u hui   C a o   e t   al .   [19]  m e nt i o n e t h a t   t h e   c o m b i n a t i o n   o t w o   di ffe r e n t   m a c hi n e   l e a rn i ng  a l go r i t hm s   l i ke   S V M   a n A N N   fo r   s e n t i m e n t   c l a s s i f i c a t i o n   y i e l be t t e r   re s ul t s   w h e n   c o m pa r e w i t h   o t h e r   h y b r i m o de l s .   Y a s s i n e   A l   A m r a ni   e t   al .   [ 20]   c h o s e   t o   us e S V M   a n R a n do m   F o r e s t   f o r   s e n t i m e n t   c l a s s i f i c a t i o n   a n d   i n t r o duc e a   n o v e l   h y b r i a p p r o a c h   t o   i de nt i f y   pr o duc t   r e v i e w s   ob t a i n e by   A m a z o n.   T h e y   s h o w e t h e i h y b r i a pp r o a c h   i n c r e a s e t h e   a c c ura c y   of   t h e   c l a s s i f i e r   m o de l   w h e n   c o m pa r e w i t h   t h e   i ndi v i dua l   a l go ri t hm s .   B a c P r o pa ga t i o n   N e ura l   n e t w o r a nd  P r o b a b i l i s t i c   N e ura l   N e t w o r a r e   e m pl o y e b y   G . V i n o d h i ni ,   R . M .   C ha n d ra s e ka r a n   b e c a us e   o t h e i r   s upe r i o r   c l a s s i f i c a t i o n   a b i l i t y   [21].   T h e   a ut h o r s   o t h e   pa pe A   H i e r a r c hi c a l   N e u ra l - N e t w o r k   B a s e D o c um e n t   R e pr e s e n t a t i o n   A pp r o a c h   f o r   T e xt   C l a s s i f i c a t i o n”   [22]  i n t e g ra t e   hi e ra r c h i c a l   n e u ra l   a r c h i t e c t u r e   i nt o   t ra di t i o na l   n e u ra l   n e t w o r m e t h o ds   a n s h o w e t h a t   t h e i r   pr o po s a l s   o ut pe r f o r m   t h e   c o rr e s po n di n n e u ra l   n e t w o r m o de l s   fo r   do c um e n t   c l a s s i f i c a t i o n .   N u r ul huda   a n d   A l i   [23]  h a v e   m e n t i o n e t hr e e   di f fe r e n t   w e i gh t i n s c h e m e s   t o   g e n e ra t e   t h e   w o r v e c t o r s   w h i c h   a r e   T e rm   F r e que n c y - In v e r s e   D oc um e n t   F r e que n c y   B i n a r y   O c c urr e nc e   a n T e rm   O c c urr e n c e .   D a ni e l   J u ra f s k y   a n J a m e s   H .   M a r t i n   [ 24]  s h o w e t h a t   N a i v e   B a y e s   w i t h   b i na ri z e f e a t ur e s   s e e m s   t w o r b e t t e r   fo r   s e ve r a l   t e xt   c l a s s i f i c a t i o n   t a s ks .   A s h a   S   M a n e k   e t   a l .   [25]   p r o po s e a   s t a t i s t i c a l   m e t h o us i n w e i ght   by   G i ni   I n de x   m e t h o fo r   s e l e c t i ng  t h e   f e a t ur e s .   O uy a n e t   al .   [26]  i nt r o duc e w o r e m b e ddi n f e a t u r e s   b a s e o n   de e p   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Se nt i m e n t   c l as s i f i c at i on   of   s oc i al   m e di a   r e v i e w s   us i ng  an  e ns e m bl e   c l as s i f i e r   ( Sav i t a   Sangam )   357   l e a rn i ng  t e c hn o l o g y   fo r   o pt i m i z i n t h e   a c c ura c y   of   t h e i r   p r o po s e m o de l   t o   c a rr y   o ut   a t t r i b ut e - l e v e l   s e n t i m e n t   a n a l y s i s .   L o h a nn   C e t   al .   [27]   p r o po s e a   G e n e t i c   A l go r i t hm   a pp r o a c h   t o   b a l a n c e   t h e   c o r pus   o f   t e xt s   f o r   s e n t i m e n t   c l a s s i f i c a t i o n   us i ng  a   S V M   c l a s s i f i e r.   T h e y   s h o w e t ha t   b a l a n c i n t h e   c o r pus   w o ul i n c r e a s e   t h e   pe r f o r m a n c e   o t h e   c l a s s i f i e r   up  t o   86. 14%  f r o m   76 . 58%  w i t h   t h e   i m b a l a n c e c o r pus .   T h e   a ut h o r s   o t h e   pa pe r   G e n e t i c   A l go r i t h m   b a s e F e a t u r e   S e l e c t i o n   i n   H i g Di m e n s i o n a l   T e xt   D a t a s e t   C l a s s i f i c a t i o n   [2 8]  us e ge n e t i c   a l go r i t h m   b a s e m e t a - h e u r i s t i c   o pt i m i z a t i o n   a l go ri t hm   t o   i m p r o v e   t h e   F s c o r e   of   c l a s s i f i e r   h y po t h e s i s   a n c h o s e   be s t   f e a t ur e s   fo r     S V M ,   M A X E N T   a n s t o c ha s t i c   g r a d i e nt   de s c e n t   c l a s s i f i c a t i o a l go ri t h m s   t o   f i n t h e   c l a s s i f i c a t i o n   m o de l s   of  pub l i c   a v a i l a b l e   da t a s e t s .   W i t h   t h e   s e l e c t e fe a t ur e s   t h e y   a c hi e v e 97%  a c c u r a c y   a s   t h e   b e s t   c a s e .   M a n y   r e s e a r c h e r s   h a v e   de ve l o pe f e a t ur e   s e l e c t i o n   a l go r i t h m s   w hi c h   l a c i f i ndi n t h e   m o s t   i n f o r m a t i v e   f e a t ur e s   t h a t   a r e   n e e de fo r   t h e   m a c hi n e   l e a rn i ng  a l go ri t hm s   t o   pr o duc e   a c c ur a t e   r e s ul t s .   S i n gl e   w o r ds   o r   u ni g ra m s   a r e   c o n s i de r e a s   b e s t   f e a t ur e s   b ut   t h e y   r e qui r e   m o r e   s pa c e   a n d   t i m e   f o r   p r o c e s s i n g.   H e n c e   i n   t hi s   s t udy ,   m o s t   pe r s i s t e n t   b i g r a m s   a nd  t r i g r a m s   a re   s e l e c t e a s   i n f o r m a t i v e   f e a t ur e s   a n f urt h e r   d ue   t o   o pt i m i z a t i o n   o f   t h e s e   i n f o r m a t i v e   fe a t ur e s   us i n ge n e t i c   a l go ri t hm ,   a   b e t t e r   pe r f o r m a n c e   i s   a c hi e v e i n   c l a s s i fy i n t h e   s e n t i m e n t s   o f   t h e   t e xt   r e v i e w s .   S i n c e   e n s e m b l e   m e t h o ds   c o m b i n e   a   s e t   of   b a s e   c l a s s i f i e r s   i n   o r de r   t o   o b t a i m o r e   a c c ura t e   a n r e l i a b l e   c l a s s i f i e r   m o de l ,   w e   pr o po s e   a n   e n s e m b l e   m o de l   i w h i c h   t h e   i n f o r m a t i o p r o v i de by   t w o   ki n ds   o f   f e a t ur e   s e t s   i s   c o l l e c t e d.   Co m b i na t i o n   o f   f e a t ur e   s e t s   i s   qu i t e   e f fe c t i ve   i n   t h e   t a s o f   s e n t i m e n t   c l a s s i f i c a t i o n.       3.   P R O P O S ED   F R A M EW O R K   F O R   O P I N I O N   M I N I N G   T h e   m a c h i n e   l e a rni n a pp r o a c h e s   r e qui r e   a   s e t   o f   us e f ul   fe a t u r e s   f o r   s e n t i m e nt   c l a s s i f i c a t i o n .   T h e   f e a t ur e   s e l e c t i o n   a p p r o a c h e s   i nt e n d   t o   s e l e c t   a   s m a l l   s ub s e t   of   fe a t ur e s   i o r de r   t o   m i ni m i z e   r e du n d a n c y   a nd  m a x i m i z e   r e l e v a n c e   t o   t h e   t a rge t   s uc h   a s   t h e   c l a s s   l a b e l s   i n   c l a s s i f i c a t i o n .   D i f fe r e nt   f e a t ur e   s e l e c t i o n   t e c hn i q ue s   i n c l ude   I n f o r m a t i o n   G a i n,   R e l i e f ,   F i s h e r   S c o r e ,   L a s s o   e t c   [29].   A   n o v e l   f e a t ur e   s e l e c t i o n   m e t h o c a l l e M P F S   t h a t   m a ke   us e   o f e a t ur e   s c o r e   a n i n f o rm a t i o n   ga i n   o t h e   f e a t ur e s   i n   t h e   t e xt   i s   a ppl i e o n   b i gr a m   a n t ri g ra m   f e a t u r e s   i n   t h e   do c um e n t s .   T h e   f e a t ur e   s e t   i s   f ur t h e r   o pt i m i z e us i n a   ge n e t i c   a l go r i t h m   b a s e t e c hn i q ue   t o   ge n e r a t e   O pt i m i z e F e a t u r e   S e t   (O F S ).   T h e   f e a t ur e   s e t   p r o duc e by   M P F S   i s   us e t o   t r a i A N N   t o   pr o duc e   A N N   F e a t ur e   S e t   (A N N F S ).   T h e   p r o po s e e n s e m b l e   c l a s s i f i e r   m o de l   S V M A 2N (S V M   a n A N N us e s   b o t h   O F S   a nd  A N N F S   f o r   c l a s s i f i c a t i o n   t a s k.   T h e   pe r f o r m a n c e   of   t hi s   m o de l   i s   c o m pa r e w i t h   t h e   b a s e   c l a s s i f i e r   m o de l s .   T h e   O pi ni o n   M i ni n S y s t e m   a r c h i t e c t u r e   i s   s h o w n   i n   F i gu r e   1.   T h e   b r i e f   de s c r i pt i o n   o f   t h e   p r o po s e f r a m e w o r i s   gi v e i A l go r i t hm 1.           F i gu r e   1 .   O p i n i o n   m i ni n g   s y s t e m   a r c h i t e c t ur e     3. 1   R e v i e w   d ata   c o l l e c t i o n   T h e   r e v i e w   da t a   c a n   b e   c o l l e c t e f r o m   w e b   w h i c h   c o n t a i ns   t h e   s o c i a l   m e di a   d a t a   l i ke   F a c e b oo k,   T w i t t e a nd  b l o gs   e t c .   S e v e r a l   r e v i e w   da t a s e t s   o f   m o v i e s ,   p r o duc t s ,   r e s t a u r a nt s   e t c .   a r e   a v a i l a b l e   f o r   s e n t i m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   1 O c t o b e r   201 9   :     3 5 5   -   3 6 3   358   c l a s s i f i c a t i o t a s k .   T h e   d a t a s e t   us e i n   t h i s   w o r i s   m o v i e   r e v i e w s   da t a s e t   de v e l o pe by   P a n a n L e e .   It   c o n t a i n s   20 00  p r o c e s s e pos i t i v e   a n n e ga t i v e   t e xt   f i l e s .   T he   r e v i e w s   o n   t h e   m o v i e s   a r e   c o n s i de r e b e c a us e   t h e y   c o n t a i r a nge   o f   e m o t i o n s   o r   s e n t i m e nt s .     3. 2 .       D at p r e p r o c e s s i n g     T h e   a c t i v i t i e s   i n v o l v e h e r e   a r e :   a.   R e m o v a l   of   pu n c t ua t i o n s   m a r ks   (“ . ,   : ,   ?   e t c . )   b.   F i l t e r i ng  o ut   na t u r a l   l a ngua ge   s pe c i f i c   s t o w o r ds   (i n,   o n ,   a e t c .   c.   E l i m i na t i o o f   s pe c i a l   c ha ra c t e r s   (“ @ , ,   $” ,   #   e t c . ) .   d.   D i s c a r d i n g   r e pe t i t i v e   c h a ra c t e r s   l i ke   i o kkkk ,   go o o ,   n o o oo   e t c .     3. 3   F e atu r e   s e l e c t i o n   F e a t u r e   s e l e c t i o n   t e c hn i que s   c a b e   us e t o   i de n t i fy   a n r e m o ve   i rr e l e v a n t   a n r e du n d a nt   f e a t u r e s   t h a t   do   n o t   c o nt r i b ut e   i n   i n c r e a s i n t h e   a c c u r a c y   of   t h e   m o de l .   S e v e r a l   c o m b i na t i o n s   c a n   b e   m a de   f o r   s e l e c t i n f e a t u r e s   w h i c h   i n v o l ve s   l o t s   of   e ffo r t .   T h e r e f o r e ,   s o ph i s t i c a t e m e t h o ds   a r e   r e qui r e t o   pe r f o r m   f e a t ur e   s e l e c t i o n   i p ra c t i c e .   F e a t u r e   R a n k i n m e t h o ds   a r e   ge n e ra l l y   us e a s   t h e y   a r e   s i m pl e   a n g i v e   goo d   r e s ul t s .   A   s u i t a b l e   r a nki ng  c ri t e r i o n   i s   us e t o   s c o r e   t h e   v a ri a b l e s   a n d   a   t hr e s h o l i s   us e t o   r e m o v e   v a r i a b l e s   b e l ow   t h e   t hr e s h o l d.   T h e   b a s i c   p r o pe r t y   of   fe a t ur e   ra n ki ng  i s   t o   i de n t i f y   t h e   r e l e v a n c e   of   t h e   f e a t u r e s .   T h e   f e a t ur e s   t h a t   a r e   n o t   r e l e v a n t   t o   t h e   c l a s s   l a b e l s   c a n   b e   di s c a r de d .   T h e   M P F S   m e t h o i s   a pp l i e h e r e   t o   f i n t h e   m o s t   r e l e v a n t   f e a t u r e s   i t h e   r e v i e w   doc um e n t s .     3. 3 . 1.     M P F S   m e th o d   T h e   M P F S   m e t h o t ri e s   t o   f i n o ut   t h e   m o s t   pe r s i s t e n t   f e a t u r e s   i n   t h e   do c um e n t s .   I ni t i a l l y   t h e   fe a t u r e   s e t   c o n s i s t s   o f   a l l   t h e   b i gra m s   l i ke   m o v i e   i s ,   i s   v e r y ,   ve r y   be a ut i f ul   e t c .   I n s t e a o f   c o n s i de ri n a l l   t h e   b i gr a m s ,   o nl y   us e f ul   b i gr a m s   l i ke   v e r y   be a ut i f ul   w h i c h   c o nt r i b ut e s   m a i nl y   i n   f i n d i n t h e   s e nt i m e nt   c a b e   c o n s i de r e d.   T h e   f e a t u r e   s c o r e   of   t h e   f e a t ur e s   i s   us e t o   f i nd  o ut   t h e   m o s t   pe r s i s t e nt   f e a t ur e s .   T hi s   s c o r e   i c a l c ul a t e us i n t h e   c hi   s qu a r e   s t a t i s t i c .   S i m i l a t o   b i gra m s ,   t r i g ra m s   (e . g.   n o t   s o   go o d” a r e   a l s o   c o n s i de r e d   h e r e   f o r   t h e   e xpe r i m e nt a t i o pu r po s e .   T h e   e xpe r i m e n t s   a r e   c o n duc t e us i n g   t o 50 00;   t o 1000 a n s o   o n   up   t o   t o 30000  f e a t ur e s   t o   t e s t   t h e   pe r f o r m a n c e   o t h e   c l a s s i f i e r   m o de l s .   T h e   m o de l s   pe r fo r m e w e l l   a s   w e   i n c r e a s e   t h e   num b e r   o f   f e a t ur e s   b ut   t h e   t i m e   t a ke n   t o   t r a i n   t h e m   a l s o   i n c r e a s e d.   T h e   r e s ul t s   w e r e   b e t t e r   f o r   t o 10000  f e a t u r e s   w i t m o de ra t e   t r a i n i ng  t i m e .     3. 3 . 2.     O p ti m i z ati o n     O n e   o f   t h e   m o s t   s o ph i s t i c a t e a l go r i t hm s   f o r   f e a t u r e   s e l e c t i on  i s   t h e   ge n e t i c   a l go ri t hm .   T h i s   h e u ri s t i c   o pt i m i z a t i o n   t e c hn i q ue   i s   po pul a t i o n - b a s e a n i s   v e r y   a da p t i v e   m e t h o fo r   f e a t ur e   s e l e c t i o n .   It   o pe r a t e s   o n   c hr o m o s o m e s   w h i c h   a r e   i n   b i t s .     T h e s e   o p e r a t i o n s   i n c l ud e   s e l e c t i o n ,   c r o s s ov e r   a n m ut a t i o n   o pe r a t i o n s .   B a s e o n   c e r t a i n   f i t n e s s   v a l ue ,   t h e s e   o pe r a t i o n s   n e e t o   be   a ppl i e i t e ra t i v e l y   t o   g e t   t h e   f i t t e s t   c hr o m o s o m e   i n   t h e   po pul a t i o n.   T h e   i n i t i a l   po pul a t i o i s   ra n do m l y   s e l e c t e f r o m   t h e   a v a i l a b l e   f e a t u r e   s e t .   T h e   i t e ra t i v e   o pe r a t i o n s   o pe r a t e   o n   o n e   po pul a t i o n   o c h r o m o s o m e s   t o   pr o duc e   a   n e w   p o pul a t i o n .   C r o s s o ve r   o pe r a t o r e c o m b i n e s   t w o   s i n gl e   c hr o m o s o m e s   w h i c h   a r e   c a l l e a s   pa r e nt s   t o   pr o duc e   a   c h i l d .   T hi s   c h i l i s   f ur t h e m ut e a t   s o m e   po s i t i o n   i n   o rde r   t o   pr o duc e   n e w   p o pul a t i o n.   I n   t hi s   w o r k,   O R   o p e r a t o r   i s   us e t o   c a rr y   o ut   c r o s s ove r   o pe r a t i o n   a nd  s i n g l e   b i t   of   t h e   c hr o m o s o m e   i s   m ut e o r   f l i ppe t o   pe r fo r m   m ut a t i o n   o pe r a t i o n.   T h e   f e a t ur e s   w h i c h   a r e   a b s e n t   i n   t h e   c hr o m o s o m e s   a r e   di s c a r de d   a n w i t h   t h e   n e w   f e a t ur e   s e t   t h us   pr o duc e d,   t h e   f i t n e s s   v a l ue   i s   fo un o ut .   H e r e   c l a s s i f i c a t i o n   a c c ura c y   i s   t a ke n   a s   t h e   f i t n e s s   v a l ue .   T h us   a t   t h e   e n o f   t h e   w h o l e   G A   pr o c e s s   t h e   O pt i m i z e F e a t u r e   S e t   w i l l   b e   ge n e r a t e d.   T h i s   O F S   i s   t h e n   f e t o   t h e   e n s e m b l e   c l a s s i f i e r   m o de l .   A   s a m p l e   c hr o m o s o m e   of   10  b i t s   w i t h   1i nd i c a t i ng  t h e   p r e s e n c e   o a   fe a t ur e   a n i n di c a t i ng  a b s e n c e   i s   s h o w n   i n   T a b l e   1.   T h e   c r o s s ov e r   a n m ut a t i o n   o pe r a t i o n s   o n   t h i s   c hr o m o s o m e   a r e   p r e s e n t e i T a b l e   a n T a b l e   r e s pe c t i v e l y .   T h e   i ni t i a l   po pul a t i o n   h e r e   i s   t h e   f e a t u r e   s e t   p r o duc e by   M P F S   m e t h o d.   T h e   de t a i l   e xpl a n a t i o n   o f   t h e   m e t h o i s   p r e s e nt e i A l go r i t hm   2 .       T a b l e   1 .   S a m p l e   c hr o m o s o m e   T a b l e   2 .   C r o s s o ve r   o pe r a t i o w i t O R   1   1   0   1   0   0   1   1   1   0     P a r e nt 1   1   0   0   1   1   0   1   1   0   0   P a r e nt 2   0   1   0   1   0   0   0   1   1   1   Chi l d   1   1   0   1   1   0   1   1   1   1         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Se nt i m e n t   c l as s i f i c at i on   of   s oc i al   m e di a   r e v i e w s   us i ng  an  e ns e m bl e   c l as s i f i e r   ( Sav i t a   Sangam )   359   T a b l e   3 .   M u t a t i o o pe r a t i o n   a t   t h e   f i f t h   b i t   o f   t h e   c hi l d   Cr o s s ov e r   c hi l d   1   1   0   1   1   0   1   1   1   1   Chi l d   a f t e r   M u t a t i o n   1   1   0   1   0   0   1   1   1   1       3. 4 .       En s e m b l e   c l as s i f i e r   m o d e l     By   c o m b i n i ng  di f f e r e n t   m a c hi n e   l e a rn i ng  t e c hn i que s ,   o n e   c a n   e xpe c t   a   be t t e r   pe r f o r m a n c e   by   t h e   c o m b i n e m o de l   t ha n   t h e   i n di v i du a l   o n e .     T h e   e n s e m b l e   c l a s s i f i e r   S V M A 2N m o d e l   i s   a n   A N N - S V M   c o m b i n e m o de l   fo r   s e nt i m e nt   c l a s s i f i c a t i o n.   T h e   A N N   m o de l   i s   a p pl i e t o   l e a rn   f e a t u r e   v e c t o r   r e p r e s e n t a t i o n s   p r o duc e f r o m   M P F S   m e t h o f o r   t h e   l a b e l e t ra i ni n d a t a .   T h e   l e a rn e f e a t u r e   v e c t o r s   pr o duc e by   A N N   a r e   f e d   t o   t r a i n   t h e   S V M A 2N c l a s s i fi e r   a l o n w i t h   t h e   O F S   pr o duc e by   G A   m e t h o d.   S uc h   a   c o m b i n e m o de l   i s   e xpe c t e t o   c o m b i n e   t h e   a dv a nt a ge s   of   bo t h   A N N   a nd  S V M   o e ff i c i e n t   c l a s s i f i c a t i o n .   T h e   A N N   m o de l   i s   t ra i n e o n   M P F S   a nd  ge n e ra t e s   A N N F S .   T h e   S V M A 2N c l a s s i f i e r   t r e a t s   A N N   m o de l   a s   t h e   fe a t u r e   l e a rn e r   a n S V M   a s   t h e   s e n t i m e nt   c l a s s i f i e r.   T h us   t h e   pr o po s e m o de l   c o m b i n e s   t h e   a dv a nt a ge s   o f   A N N   o f e a t ur e   l e a rni n g   a n d   S V M   o n   e f f i c i e n t   c l a s s i f i c a t i o n.   T h e   m o de l   i s   s h o w n   i F i g u r e   2.   T h e   e nt i r e   p r o c e s s   o f   s upe r v i s e l e a rni n i s   i l l us t r a t e i n   F i gu r e   3 . T h e   de t a i l e f e a t u r e   l e a rn i ng  p r o c e s s   of   A N N   t o   ge n e r a t e   A N N F S   i s   di s c us s e i A l go r i t hm   3.     A l go r i th m   1:  P r o c e d u r e   fo r   th e   p r o p o s e d   ap p r o ac h   In p ut :   R e v i e w s   doc um e n t   s e t   O ut put :   R e v i e w   doc um e n t s   c l a s s i f i e a s   po s i t i v e   o r   n e g a t i v e   T hr e s h o l d   =   0 . 5   S t e 1:   P r e pr o c e s s   t h e   r e v i e w   do c um e n t s   t o   f i l t e o ut   pu n c t u a t i o n s ,   s t o w o r ds   a n d   s pe c i a l   c h a ra c t e r s   S t e 2:   T o ke ni z e   t h e   p r e p r o c e s s e do c um e n t s   i n t o   b i g r a m s   ( t ri g r a m s f e a t u r e s   S t e 3:   S e l e c t   t h e   f e a t u r e s   w i t h   m i ni m um   o c c urr e n c e   o f   t hr e e   o r   m o r e   t i m e s   S t e 4:   Ca l c ul a t e   F e a t u r e   S c o r e   f o r   a l l   t h e   f e a t u r e s   us i n g   c h i - s qua r e   s c o r e   S t e 5:   S e l e c t   f e a t ur e   w i t F e a t u r e   S c o r e   g r e a t e r   t h a T hr e s ho l a s   m o s t   pe r s i s t e n t   f e a t u r e                     S t e 6:   C r e a t e   M P F S   s e t   w i t h   t h e   m o s t   pe r s i s t e n t   f e a t ur e s   ge n e r a t e f r o m   S t e 4 -       S t e 7:   G e n e r a t e   O F S   S t e 8:   G e n e r a t e   A N N F S   S t e 9:   T ra i S V M A 2N 2   us i n g   t h e   O F S   a nd  A N N F S     S t e 10:   T e s t   S V M A 2N 2   us i n c r o s s   v a l i d a t i o n   m e t h o d   S t e 11:   E v a l ua t e   t h e   pe r f o r m a n c e   o f   S V M A 2N 2     A l go r i th m   2:  G e n e r a te   O F S     In p ut :   M P F S   O ut put :   O F S   S t e 1:   G e n e r a t e   I ni t i a l   po pul a t i o n   o f   m e m b e r s   w i t f e a t u r e s   s e t   ra n do m l y   s e l e c t e f r o m   M P F S   S t e 2:   C r e a t e   c hr o m o s o m e   of   b i t s   i ndi c a t i n g   p r e s e n c e   (1)   o r   a b s e n c e   (0)   o f   n   f e a t u r e s   i       t h e   m e m b e r   S t e 3:   A s s i g n um b e o f   m e m b e r s   i . e .   f e a t u r e   s e t s   f r o m   t h e   i n i t i a l   po pul a t i o t o   I t e ra t i o n s   S t e 4:   S e t   F i t n e s s   v a l ue   a s   a c c u r a c y   of   t h e   m o de l   S t e 5:   P e r f o r m   C r o s s ove r   o pe ra t i o n   o n   p a r e n t   c hr o m o s o m e s   us i n g   O R   o pe r a t o r   t o   pr o duc e   a   c hi l d   c hr o m o s o m e   C   S t e 6:   C a rr y   o ut   M ut a t i o n   o pe ra t i o n   o b y   m ut a t i ng  a   s i ngl e   b i t   w i t h   e a c h   i ndi v i du a l   ha v i n a   p r o b a b i l i t y   P m   t o   m ut a t e   w h e r e   P m = 1 / m ,   m   b e i n g   t h e   num b e o f   fe a t ur e s   S t e 7:   Ca l c ul a t e   a c c u r a c y   of   t h e   m o de l   w i t h   f e a t u r e   s e t   ge n e ra t e a f t e c r o s s ov e r   a n d   m ut a t i o n   o pe ra t i o n s   S t e 8:   S e l e c t   t h e   m o de l   w i t h   m a x i m um   F i t n e s s   v a l ue   a nd  a s s i g n   i t s   f e a t u r e   s e t   t o   O F S   S t e 9:   R e pe a t   S t e ps   4 - 7   I t e ra t i o n   t i m e s   S t e 10:   R e t urn  O F S     A l go r i th m   3:  G e n e r a te   A N N F S   In p ut :   M P F S   O ut put :   A N N F S   S t e 1:   I n i t i a l i z e   I ni t i a l   S e t   (IS T )   w i t M P F S   a n d   c r e a t e   a n   e m pt y   s e t   A N N F S     S t e 2:   S o r t   IS T   b a s e d   o n   F S   a n C r e a t e   Ca n d i d a t e   F e a t u r e   S e t   fo r   t r a i n i ng  w i t h   s e t   of   ‘n ’  T e m po r a r y   S u b s e t s   (T S S 1   t o   T S S n )     S t e 3:   I n i t i a l i z e   A N N .   T h e   n u m b e r   o f   i n pu t   l a y e r   n o de s   i s   t he   s i z e   o f   t h e   T S S .       S t e 4:   f o r   i = t o   n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   1 O c t o b e r   201 9   :     3 5 5   -   3 6 3   360     T r a i n   A N N   pa rt i a l l y   w i t T S S i     T e s t   A N N   a n d   f i nd  c u rr e n t   c l a s s i f i c a t i o a c c ura c y   (CA CC)     i f   CA CC  > 0 .       U pda t e   A N N F S   w i t T S S i     e n i f     e n f o r     S t e 5:   R e t urn  A N N F S           F i gu r e   2 .   E n s e m b l e   c l a s s i f i e m o de l :   S V M A 2N 2           F i gu r e   3 .   S upe r v i s e l e a rni n g   p r o c e s s   of   S V M A 2N 2       4.   R ES U LTS   T h e   e xpe r i m e nt s   a r e   c o n duc t e o n   I n t e l   c o r e   i 3 - 3220  CP U   @   3. 30  G h z   p r o c e s s o r   w i t h   32  b i t   o pe r a t i ng  s y s t e m   r u nni n W i ndo w s   P r of e s s i o n a l .   P y t ho n   3. 5 . w i t h   N L T K   3 . 2. 1v e r s i o n   i s   us e f o r   pr o g r a m m i n pu r po s e .   T h e   e xpe ri m e nt s   a r e   pe r f o r m e o n   m ov i e   r e v i e w s   da t a s e t .   T h e   m o v i e   r e v i e w s   p o l a ri t y   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Se nt i m e n t   c l as s i f i c at i on   of   s oc i al   m e di a   r e v i e w s   us i ng  an  e ns e m bl e   c l as s i f i e r   ( Sav i t a   Sangam )   361   da t a s e t   us e i n   t h i s   w o r c o n t a i n s   a   f o l de r   na m e m o v i e _r e v i e w s .   I n   t hi s   f o l de r   t h e r e   a r e   s ub di r e c t o r i e s   c a l l e ‘po s ’  a n n e g’  w h i c h   c o n t a i n   10 00  po s i t i v e   a n 100 n e ga t i v e   pr o c e s s e t e xt   f i l e s   r e s pe c t i v e l y .   T h e   do c um e n t   f e a t ur e   v e c t o r s   a r e   ge n e r a t e f r o m   t h e   a gg r e ga t i o n   o t h e   fe a t u r e   s e t s   O F S   a n A N N F S .   T h e   pe r f o r m a n c e   o t h e   m o de l   i s   e v a l ua t e us i n 10 - f o l c r o s s   va l i da t i o n   m e t h o d.   T h e   e v a l ua t i o n   pa ra m e t e r s   a r e   c a l c ul a t e d   a s   gi v e i t h e   E qu a t i o n s   ( 1 )   t o   ( 4 ) .       A c c ur a c y =   N C C D T N D         (1)     P r e c i s i o =   N C C D X T N D X         (2)     R e c a l l   =   N C C D X T N D C        (3)     W h e r e ,             T N D   =   T o t a l   N um b e o f   D oc um e n t s     N CCD   =   N u m b e r   o f   c o r r e c t l y   c l a s s i f i e do c um e n t s       X   =   P o s i t i v e   o r   N e ga t i v e   c a t e go r y       N CCD X   =   N u m b e r   o f   c o rr e c t l y   c l a s s i f i e doc um e n t s   b e l o n gi n t o   X       T N D X   =   T o t a l   N um b e o f   D oc um e n t s   i X         T N D C=   T o t a l   num b e o f   doc um e n t s   a c t u a l l y   c l a s s i f i e d     T h e   pe r f o r m a n c e   c o m pa r i s o n   o f   e n s e m b l e   c l a s s i f i e r   m o de l   S V M A 2N w i t h   b a s e l i n e   c l a s s i f i e m o de l s   i s   s h o w n   i n   T a b l e   4.   T h e   r e s ul t   s h o w s   t h a t   t h e   pe r f o r m a n c e   o f   S V M A 2N i m p r o v e l i t t l e   b i t   o v e r   S V M   a nd  i t   o ut pe r f o r m s   N B   a n M a xE nt .   T h e   pe r f o r m a n c e   c o m pa ri s o n   o f   S V M A 2N i n   t e rm s   o c l a s s i f i c a t i o a c c u r a c y ,   w i t h   c l a s s i f i e m o de l s   p r o po s e by   o t h e r   r e s e a r c h e r s   i s   t a b ul a t e i T a b l e   5.       T a b l e   4 .   P e r f o r m a n c e   c o m pa r i s o o f   S V M A 2N w i t a   b a s e l i n e   c l a s s i f i e m o de l s     C l a s s i f i e r   A c c u r a c y   P r e c i s i o n   Re   R e c a l l   F - m e a s u r e   NB   0 . 8 1 4   0 . 8 3 6   0 . 8 1 7   0 . 8 2 6 3 9 1   M a x E n t   0 . 7 9   0 . 8 2 1   0 . 7 9 4   0 . 8 0 7 2 7 4   S V M   0 . 9 6 3   0 . 9 7 9   0 . 9 7 3   0 . 9 7 5 9 9 1   S V M A 2 N 2   0 . 9 7 4   0 . 9 6 4   0 . 9 6 3   0 . 9 6 3 5       T a b l e   5 .   P e r f o r m a n c e   c o m pa r i s o o f   S V M A 2N w i t o t h e c l a s s i f i e m o de l s   S .   N o .   C l a s s i f i e r   R e fe r e n c e   D a ta s e t   A c c u r a c y   (i n % )   1   N B,   M A X E N T ,   S V M   [2 ]   IM D b   8 1 ,   8 0 . 4 ,   7 7 . 1   2   H y b r i d   o S V M   a n d   A N N   [1 6 ]   IM D b   95   3   H y b r i d   N B - G A   M e t h o d   [3 0 ]   M o v i e - R e v i e w   9 3 . 8 0     4   Co n v o l u t i o n a l   N e u ra l   N e t w o rk   [3 1 ]   S t o c k T w i t s   9 0 . 9   5   M o d e l   B   (T f - i d f   +   L i n e a S V M )   [3 2 ]   n e w s p a p e h e a d l i n e s   9 1 . 5 2   6   S V M A 2 N 2   P ro p o s e d   M o v i e - R e v i e w   9 7 . 4         F = 2 × ( P r ec i s i o n   ×   Rec al l )   ( P r ec i s i o n   +   Rec al l )      (4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   1 O c t o b e r   201 9   :     3 5 5   -   3 6 3   362   5.   C O N C LU S I O N   E n s e m b l e   l e a rni n p r o v e s   t o   b e   be t t e r   t ha n   m a c hi n e   l e a rn i n by   c o m b i n i n v a r i o us   m o de l s .   It   i s   pr o v e by   r e s e a r c h e r s   t ha t   by   c o m b i n i n s e v e r a l   m o de l s   t h e   a c c ur a c y   of   t h e   n e w   m o de l   c a n   b e   i m p r o ve a n d   by   c o m b i n i n g   m o r e   m o de l s   t h e   r e s ul t   c a b e   b e t t e r .   S i n c e   t h e   c o m b i na t i o n   o f   m o s t   i n f o r m a t i v e   fe a t u r e   s e t   pr o c e s s e by   o n e   m o de l   a n o pt i m i z e f e a t u r e   s e t   ge n e ra t e by   o t h e r,   i s   us e fo r   e n s e m b l e   l e a rni n t h e   a c c ur a c y   i s   be t t e r   c o m pa r e t o   t h e   i n di v i du a l   m o de l s .   F e a t ur e   o pt i m i z a t i o i s   o n e   r e a s o f o r   t h e   i m p r o v e a c c ur a c y   a n t h e   o t h e r   r e a s o n   i s   p a r a l l e l   p r o c e s s i n o f   f e a t ur e   s e t s   by   S V M   a n A N N .     T h e   m o de l   i s   t e s t e o n l y   o n   o n e   do m a i n   i e   m o v i e   r e v i e w s .   T h e   f ut u r e   w o r c a n   i n c l ude   di f f e r e n t   do m a i n s   a n d   a l s o   t h e   de e p   a n a l y s i s   of   t h e   i nput   d a t a .         R EF ER EN C ES   [ 1]     B i ng   L i u,   S e n t i m e nt   A na l y s i s   a nd   o pi n i o M i n i ng ,   M o r g a &   C l a y p oo l   P ub l i s he r s ,   V o l .   5,   N o .   1,   M a y   2012 .   [ 2]     B o   P a ng   a nd   L i l l i a n   L e e ,   O p i n i o m i n i ng   a nd   s e nt i m e n t   a n a l y s i s ,   200 8.   [ 3]     B o   P a ng   a nd  L i l l i a n   L e e ,   A   s e n t i m e nt a l   e duc a t i o n:   S e nt i m e n t   a n a l y s i s   u s i ng   s ub j e c t i v i t y   s um m a r i z a t i o b a s e o m i ni m um   c ut s ,   P r o c e e di ng s   o f   A C L   2004.   [ 4]     M S ha A kht a r ,   A y us K um a r ,   A s i f   E kb a l ,   P us h pa B ha t t a c ha r y y a ,   A   H y br i D e e L e a r ni ng   A r c hi t e c t ur e   f o r   S e nt i m e n t   A na l y s i s ,   P r o c e e di ng s   o f   C O L I N G   2016,   t he   26 t h   I nt e r na t i o na l   C o nf e r e nc e   o C o m put a t i o na l   L i ng ui s t i c s ,   pp .   482 493 ,   J a p a n ,   D e c .   2 016 .   [ 5]     O s c a r   A r a qu e ,   I g na c i o   C o r c ue r a - P l a t a s ,   J . F e r na ndo   S á nc he z - R a da ,   C a r l o s A .   I g l e s i a s ,   E nha nc i ng   de e l e a r n i ng   s e n t i m e nt   a n a l y s i s   w i t h   e n s e m b l e   t e c hni q ue s   i s o c i a l   a p pl i c a t i o ns ,   E xpe r t   S y s t e m s   w i t h   A ppl i c a t i o ns   77 ,     pp.   23 6 24 6,   20 17.   [ 6]     S a v i t a   S a ng a m ,   S ub ha s S h i nde ,   M o s t   P e r s i s t e nt   F e a t ur e   S e l e c t i o M e t ho f o r   O pi ni o M i ni ng   o f   S oc i a l   M e di a   R e v i e w s ,   I nf o r m a t i o a nd   C o m m uni c a t i o T e c hno l o gy   f o r   C o m pe t i t i v e   S t r a t e g i e s   L e c t u r e   N o t e s   i n   N e t w o r k s   a nd  S y s t e m s   ( L N N S ) ,   v o l um e   40 ,   pp .   2 13 - 221 ,   S pr i ng e r   S i ng a po r e ,   A ug us t   20 18 .   [ 7]     M i n qi ng   H a nd   B i ng   L i u,   M i ni ng   a nd  s um m a r i z i ng   c us t o m e r   r e v i e w s ,   P r o c e e d i ng s   A C M   S I G K D D ,     pp.   16 8 17 7,   20 04.   [ 8]     B o   P a ng   a nd   L i l l i a n   L e e   S hi v a kum a r   V a i t hy a na t h a n ,   T hum b s   up?   S e nt i m e n t   C l a s s i f i c a t i o u s i ng     M a c hi n e   L e a r ni ng   T e c hni q ue s ,   P r o c e e di ng s   o f   E M N L P ,   p p.   79 86 ,   2002 .   [ 9]     A nna   J ur e k ,   M a u r i c e   D .   M u l v e nna   a nd   Y a x i n   B i ,   I m pr ov e l e x i c o n - ba s e s e n t i m e n t   a na l y s i s   f o r   s o c i a l   m e di a   a na l y t i c s ,   S e c ur i t y   I n f o r m a t i c s ,   S pr i ng e r   O pe J o ur na l ,   2 015 .   [ 10]     X i ng   F a ng   a nd   J u s t i n   Z h a n,   S e n t i m e nt   a na l y s i s   u s i ng   p r o duc t   r e v i e w   da t a ,   S p r i ng e r   J o ur na l   o f   B i g   D a t a ,   20 15.   [ 11]     A bi na s T r i pa t hy ,   A bhi s he A na nd  a nd  S a nt a nu  K um a r   R a t h ,   C l a s s i c a t i o o f   s e nt i m e n t   r e v i e w s   us i ng   n - g r a m   m a c hi ne   l e a r ni ng   a pp r o a c h” ,   E xp e r t   S y s t e m s   w i t h   A ppl i c a t i o ns   57 ,   117 - 126 ,   2016 .   [ 12]     S ha ha S a q ui S o ha i l J a m s h e S i ddi qu i   a nd  R a s h i A l i ,   F e a t u r e   e xt r a c t i o a n a n a l y s i s   o f   o nl i ne   r e v i e w s   f o r   t he   r e c o m m e nda t i o o f   bo o ks   u s i ng   o pi ni o m i n i ng   t e c hni q ue ,   E l s e v i e r ,   P e r s pe c t i v e s   i n     S c i e nc e   8,   754 - 756 ,   2016 .   [ 13]     G uo ho n g   F a nd   X i n   W a ng ,   C h i ne s e   S e nt e nc e - L e v e l   S e n t i m e nt   C l a s s i f i c a t i o B a s e d   o   F uz z y   S e t s ,   C o l i ng   2010:   P o s t e r   V o l um e ,   pa g e s   31 2 31 9,   B e i j i ng ,   A ug us t   2 010 .   [ 14]     X i nj i e   Z ho u,   X i a o j un   W a n ,   a n J i a ng uo   X i a o ,   C L   O pi n i o M i ne r :   O pi ni o T a r g e t   E xt r a c t i o i a   C r o s s - L a ng ua g e   S c e na r i o ,   I E E E / A C M   T r a ns a c t i o ns   o A udi o ,   S pe e c h,   a nd    L a ng ua g e   P r oc e s s i ng ,   V o l .   23 ,   N o .   4,   A pr i l   2015 .     [ 15]     S a m e e r   T a r t i r   a nd  I br a h i m   A bdul   N a bi ,   S e m a nt i c   s e n t i m e nt   A na l y s i s   i A r a bi c   S oc i a l   M e di a ,   J o ur na l   o f   K i ng  S a ud   U ni v e r s i t y :   C o m put e r   a nd   I nf o r m a t i o S c i e nc e s   29 ,   229 - 23 3,   2017 .   [ 16]     M .   A l i   F a uz i ,   W o r d2V e c   m o de l   f o r   s e nt i m e n t   a na l y s i s   o f   pr o duc t   r e v i e w er s   i I ndo ne s i a l a ng ua g e ,   I nt e r n at i on al   J ou r na l   of   E l e c t r i c a l   and   C om pu t e r   E ngi ne e r i ng  ( I J E C E )   V o l .   9,   N o .   1 ,   pp .   5 25 ~ 530 ,   F e b r ua r y   2019 .   [ 17]     H e nd  G .   H a s s a n ,   H i t h a m   M .   A bo   B a kr ,   I br a hi m   E .   Z i e d a ,   A   F r a m e w o r f o r   A r a bi c   C o nc e pt - L e v e l   S e n t i m e nt   A na l y s i s   us i ng   S e n t i c N e t ,   I n t e r na t i o na l   J ou r na l   o f   E l e c t r i c a l   and  C om put e r   E n gi ne e r i n ( I J E C E )   V o l .   8 ,   N o .   5,   pp.   40 15~ 4022 ,   O c t o be r   201 8.   [ 18]     A bi na s h   T r i pa t hy ,   A bhi s h e k   A na nd  a nd   S a nt a nu   K um a r   R a t h ,   D o c um e nt - l e v e l   s e nt i m e n t     c l a s s i c a t i o us i ng   hy br i m a c hi n e   l e a r n i ng   a pp r o a c h” ,   S pr i ng e r - V e r l a g ,   L o ndo n,   M a y   201 7.   [ 19]     Y uhui   C a o ,   R ui f e ng   X u( B ) ,   a nd  T a o   C he n ,   C o m bi ni ng   C o n vo l ut i o na l   N e ur a l   N e t w o r a nd  S up po r t   V e c t o r   M a c hi n e   f o r   S e nt i m e nt   C l a s s i f i c a t i o n” ,   S pr i ng e r   S c i e nc e + B us i ne s s   M e d i a   S i ng a po r e   C C I S   568,   pp.   144 155 ,   2015 .     [ 20]     Y a s s i ne   A l   A m r a ni ,   M o ha m e L a z a a r ,   K a m a l   E ddi ne   E l   K a di r i ,   A   N ov e l   H y br i C l a s s i f i c a t i o A ppr o a c f o r   S e nt i m e n t   A na l y s i s   o f   T e xt   D o c um e nt ”,   I n t e r na t i ona l   J our nal   o f   E l e c t r i c al   and   C om pu t e r   E n gi ne e r i ng  ( I J E C E )   V o l .   8 ,   N o .   6 ,   pp .   4 554 - 456 7,   D e c e m be r   201 8.   [ 21]     G . V i no dh i ni ,   R . M .   C ha nd r a s e k a r a n,   A   c om pa r a t i v e   pe r f o r m a nc e   e v a l ua t i o o f   ne ur a l   ne t w o r k   ba s e a pp r o a c f o r   s e nt i m e n t   c l a s s i f i c a t i o o f   o nl i ne   r e v i e w s ,   J o ur n a l   o f   K i ng   S a ud  U ni v e r s i t y ,   C o m put e r   a n I nf o r m a t i o S c i e nc e s   28 ,   2 12 ,   2016 .   [ 22]     J i a nm i ng   Z he ng ,   Y upu  G uo ,   C ho ng   F e ng ,   a nd  H o ng hui   C he n,   A   H i e r a r c hi c a l   N e u r a l - N e t w o r k - B a s e D o c um e nt   R e pr e s e n t a t i o A ppr o a c f o r   T e xt   C l a s s i f i c a t i o n” ,   H i nda w i   M a t he m a t i c a l   P r o bl e m s   i E ng i ne e r i ng ,     V o l um e   20 18,   A r t i c l e   I D   7987691 ,   M a r c 2018 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Se nt i m e n t   c l as s i f i c at i on   of   s oc i al   m e di a   r e v i e w s   us i ng  an  e ns e m bl e   c l as s i f i e r   ( Sav i t a   Sangam )   363   [ 23]     N ur u l hud a   Z a i nud di a nd  A l i   S e l a m a t ,   S e n t i m e nt   A na l y s i s   U s i ng   S uppo r t   V e c t o r   M a c hi ne ,   I E E E   I 4C T ,   L a ng ka w i ,   K e da h ,   M a l a y s i a ,   333 - 33 7,   20 14.   [ 24]     D a ni e l   J u r a f s ky   a nd   J a m e s   H .   M a r t i n ,   N a i v e   B a y e s   a nd   S e nt i m e n t   C l a s s i c a t i o n” ,   S pe e c   a nd  L a ng ua g e   P r o c e s s i ng ,   D r a f t   o f   N o v e m be r   7 ,   201 6.   [ 25]     A s ha   S   M a ne k ,   P   D e e pa   S he noy ,   M   C ha nd r a   M o ha a nd  V e n ug opa l   K ,   A s pe c t   t e r m   e xt r a c t i o f o r   s e nt i m e nt   a na l y s i s   i l a r g e   m o v i e   r e v i e w s   u s i ng   G i n i   I nde f e a t u r e   s e l e c t i o m e t ho a nd  S V M   c l a s s i f i e r ,   S pr i ng e r   S c i e nc e + B us i ne s s   M e di a ,   N e w   Y o r 2016 .   [ 26]     O u y a ng   C hunp i ng ,   L i u   Y o ng bi n ,   Z h a ng   S hu qi ng   a nd   Y a ng   X i a o hu a ,   O p i n i o O bj e c t s     I de nt i f i c a t i o a nd   S e n t i m e n t   A na l y s i s ,   I nt e r n a t i o na l   J o ur na l   o f   D a t a b a s e   T h e o r y   a nd  A ppl i c a t i o n   V o l .   8 ,   N o .   6,   p p .   1 - 12 ,   2015 .   [ 27]     L o ha nn  C .   F e r r e i r a ,   M a r i z a   M i o l a   D o s c i a t t i ,   J u l i o   C e s a r   N i e v o l a ,   E m e r s o C a b r e r a   P a r a i s o ,   U s i ng   a   G e n e t i c   A l go r i t hm   A ppr o a c t o   S t ud y   t he   I m pa c t   of   I m ba l a nc e C o r po r a   i S e n t i m e nt   A na l y s i s ,   P r o c e e di ng s   o f   t he   T w e nt y - E i g ht I nt e r na t i o na l   F l o r i da   A r t i f i c i a l   I nt e l l i g e nc e   R e s e a r c S o c i e t y   C o nf e r e nc e .   [ 28]     F e r h a t   C a t a k ,   T ub i t a k   B i l g e m ,   G e ne t i c   A l g o r i t hm   ba s e F e a t ur e   S e l e c t i o i H i g D i m e ns i o na l   T e x t   D a t a s e t   C l a s s i f i c a t i o n” ,   W S E A S   T r a n s a c t i o ns   o I nf o r m a t i o S c i e nc e s   a nd   A ppl i c a t i o n ,   D e c e m be r   20 15.   [ 29]     J i l i a ng   T a ng ,   S a l e m   A l e l y a ni   a n H ua L i u ,   F e a t u r e   S e l e c t i o f o r   C l a s s i f i c a t i o n:   A   R e v i e w ,   I D a t a   C l a s s i f i c a t i o n:   A l go r i t hm s   a n A ppl i c a t i o ns ,   20 14 .   [ 30]     M .   G o v i nda r a j a n ,   S e nt i m e n t   A na l y s i s   o f   M ov i e   R e v i e w s   u s i ng   H y br i M e t ho o f   N a i v e   B a y e s   a nd  G e ne t i c   A l go r i t hm ,   I nt e r n a t i o na l   J o ur na l   o f   A dv a nc e C o m put e r   R e s e a r c h,   V o l um e - N um be r - 4,   I s s ue - 13 ,   D e c e m be r - 2 013 .   [ 31]     S a ha r   S o ha ng i r ,   D i ng di ng   W a ng ,   A nna   P o m e r a n e t s   a nd  T a g hi   M .   K ho s hg of t a a r ,   B i g   D a t a :   D e e L e a r n i ng   f o r   f i na nc i a l   s e n t i m e n t   a na l y s i s ,   J o ur na l   o f   B i g   D a t a ,   J a nua r y   2018.   [ 32]     C ha udh a r y   J a s hu bha i   R a m e s hb ha i   a nd  J oy   P a ul o s e ,   O p i n i o m i ni ng   o ne w s p a pe r   he a d l i n e s   us i ng   S V M   a nd  N L P ,   I n t e r na t i ona l   J our na l   o f   E l e c t r i c al   an C om p ut e r   E ng i ne e r i ng  ( I J E C E )   V o l .   9,   N o .   3 ,   p p.   21 52 - 2163 ,   J un e   2019 .     Evaluation Warning : The document was created with Spire.PDF for Python.