I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   22 ,   N o .   2 ,  M a y   2021 ,   pp .   1041 ~ 1051   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 22 .i 2 . pp 104 1 - 1 051             1041       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   A n a l y z i n g   i m p a c t   o f   n u m b e r   o f   f e a t u r e s  o n   e f f i c i e n c y   o f   h y b r i d   m o d e l   o f   l e x i c o n   a n d   st a c k   b a sed e n sem b l e   c l a ssi f i e r   f o r   t w i t t e r   sent i m e n t   a n a l y s i s usi n g   W E KA   t ool       S an ge e ta   R an i ,   N as i b   S i n gh   G i l l ,  P r e e ti   G u l i a   D e pa r t m e n t   o f   C o m put e r   S c i e nc e   &   A ppl i c a t i o ns ,   M   D   U ni v e r s i t y ,   H a r y a na ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  F e b   8,   20 21   R e v i s e d  M a r   24 ,   20 2 1   A c c e pt e d  A p r   11 ,   202 1       T w i t t e r   i s   us e d  by   m i l l i o ns   o f   pe o pl e   a c r o s s   t he   w o r l d,   s o   t he   d a t a   c o l l e c t e d  f r o m   T w i t t e r   c a n  be   hi g hl y   v a l ua bl e   f o r   r e s e a r c h  a nd  h e l pf u l   i n  de c i s i o n  s uppo r t .   H e r e   i n  t h i s   p a pe r   ‘ T w i t t e r   U S   A i r l i n e   da t a ’   f r o m   K a g g l e   da t a   r e po s i t o r y   i s   us e d  f o r   s e nt i m e n t   c l a s s i f i c a t i o n  o f   c us t o m e r s ’   r e v i e w s .   T he   c ur r e n t   r e s e a r c h  a i m s   t o   i m pl e m e nt   v a r i o us   m a c hi ne   l e a r ni ng   c l a s s i f i e r s ,   S t a c k - ba s e d  e ns e m b l e   c l a s s i f i e r s   a nd  hy br i d  o f   l e xi c o n  c l a s s i f i e r   w i t h  o t he r   c l a s s i f i e r s .   11  di f f e r e nt   c l a s s i f i c a t i o n  m o de l s   a r e   i m p l e m e nt e d  f o r   di f f e r e n t   s i z e d  f e a t u r e   s e t s .   A l s o ,   a l l   t h e   11  m o de l s   a r e   r e - i m p l e m e nt e d  by   a ddi ng  s e n t i m e nt   s c o r e   o f   l e x i c o n  b a s e d  c l a s s i f i e r   a s   o ne   o f   t h e   f e a t u r e s   i n   t h e   f e a t u r e   s e t .   R e s u l t s   a r e   a n a l y z e d  b y   v a r y i ng   num be r   o f   i np ut   f e a t ur e   v a r i a bl e s   us e d  i n  t h e   c l a s s i f i c a t i o n.   F o ur   d i f f e r e n t   s i z e   f e a t ur e   s e t s   h a v i ng   301, 5 01,   701,   a nd   130 1  num b e r   o f   f e a t u r e s   a r e   us e d  t o   a n a l y z e   t he   v a r i a t i o ns   i n  t he   f i na l   f i nd i ng s .   C hi - S q ua r e   a nd  I nf o r m a t i o n  g a i n  t e c hni que s   a r e   us e d  f o r   f e a t u r e   s e l e c t i o n.   T he   r e s u l t s   s ho w   t ha t   a n   i nc r e a s e   i n  t he   num be r   o f   f e a t u r e s   i nc r e a s e s   t he   a c c ur a c y   up  t o   701  f e a t u r e s .   A f t e r   t ha t ,   a c c ur a c y   i s   s t a bl e   o r   de c r e a s e s   w i t h  i nc r e a s e   i n  f e a t u r e   s e t   s i z e .   A l s o ,   t he   c o s t   o f   a ddi ng   s e n t i m e nt   s c o r e   o f   l e xi c o n  c l a s s i f i e r   t o   t he   i npu t   f e a t u r e   s e t   i s   no m i na l ,   b ut   t he   r e s ul t s   a r e   i m pr o v e d  c o ns i s t e n t l y .   W E K A   a nd  R   S t udi o   t o o l s   a r e   u s e d  f o r   a na l y s i s   a nd  i m p l e m e nt a t i o n.   A c c ur a c y   a nd  K a ppa   a r e   u s e d  f o r   r e p r e s e nt i ng   a nd  c om pa r i ng   t he   e f f i c i e nc y   o f   m o de l s .     Ke y w or ds :   E n s e m b l e   c l a s s i f i e r   IB K   L e xi c o n   b a s e d  c l a s s i f i e r   M e t a   s t a c ki n g   R E P T r e e   SMO   V o t i n g   e n s e m b l e   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   S a n ge e t a   R a ni   D e pa rt m e n t   C o m pu t e r  S c i e n c e   a nd  A p pl i c a t i o n   M a h a ri s h i   D a y a n a d  U ni v e r s i t y   Ro h t a k,   H a r y a na ,   I n d i a   E m a i l :   S a n ge e t a . y o gi @ gm a i l . c o m       1.   I N TR O D U C TI O N   S o c i a l   n e t w o r ki n g  s i t e s   p r o v i de   a   h uge   r e po s i t o r y   of   da t a   f o r   v a r i o us   r e s e a r c h e s   a nd  a na l y s i s .   Cus t o m e r s   g i v e   t h e i r   r e v i e w s   a bo ut   v a r i o us   p r o duc t s   a n d  s e r v i c e s   us e d  by   t h e m   o n   d i f f e r e n t   s o c i a l   m e di a   pl a t f o r m s   ov e r   t h e   i n t e rn e t .   T h e   a na l y s i s   of   t h i s   da t a   c a n   b e   ve r y   us e f ul   i n   v a r i o us   de c i s i o n   s uppo r t   a n d  po l i c y   m a k i n g .   S e nt i m e n t   c l a s s i f i c a t i o n   i s   a n   a r e a   o f   m a c h i n e   l e a rni n g  a n d   a rt i f i c i a l   i nt e l l i ge n c e   us e d  t o   f i n d   t h e   po l a ri t y   of   c o n t e nt   a t   di f f e r e n t   s e nt i m e nt   l e v e l s   l i ke   n e ga t i v e ,   po s i t i v e   o r   n e ut r a l .   T w i t t e r  s e n t i m e nt   c l a s s i f i c a t i o n   [1 ] - [ 2]   de a l s   w i t h   f i n d i n g  t h e   s e n t i m e n t   po l a r i t y   of   T w i t t e r   da t a .   B i l l i o n s   o f   t w e e t s   a r e   po s t e d  da i l y   by   T w i t t e r   us e r s   r e l a t e d  t o   di f f e r e n t   t o pi c s   w o r l dw i de .   T h i s   i n f o r m a t i o n   c a n   b e   a na l y z e d  a n d  h e l pf ul   i n   de c i s i o n   m a ki n g   r e l a t e d  t o   e duc a t i o n,   b us i n e s s ,   m e di c a l   s c i e n c e ,   s po rt s ,   na t u r a l   di s a s t e r s ,   s o c i a l   p r o b l e m s   a n d   po l i t i c s .   T w i t t e r   d a t a   i s   a t t r a c t i v e   due   t o   l i m i t e d  s i z e   o f   t w e e t ,   m o r e   p r o b a b i l i t y   of   s i n gl e   s e n t i m e n t   i n   o n e   t w e e t   a n d   v a s t   num b e r  o f   us e r s   w o r l dw i de .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     1041   -   1 051   1042   S e n t i m e n t   c l a s s i f i c a t i o n   o f   r a w   da t a   l e a ds   t o   po o r   e ff i c i e n c y .   T w e e t s   pr e p r o c e s s i n g  a n d  c l e a ni n g   h e l ps   t o   r e m o v e   un n e c e s s a r y   n o i s e   a n d  pr e p a r e   t h e   da t a   fo r   f ur t h e r   p r o c e s s i n g  [3 ] - [ 4] .   In   T w i t t e r   da t a ,   U R L ’s ,   H a s h t a gs ,   e m o t i c o n s ,   num b e r s ,   a nd  p u n c t ua t i o n  s y m bo l s   a r e   ge n e r a l l y   r e m o v e d  t o   c l e a n   da t a .   A s   t h e   da t a   s i z e   i n v o l ve d  i n   a n a l y s i s   i s   b i g,   a   l a r ge   n um b e r   o f   fe a t u r e s   a r e   i n v o l ve d  a s   i n put   v a r i a b l e s   fo r   c l a s s i f i c a t i o n   m o de l   de ve l o pm e n t .   T h e s e   l a r ge   n um b e r   o f  fe a t u r e s   l e a ds   t o   de ve l o pi n g  a   c o m p l i c a t e d  m o de l   w i t h o ut   e v e n   m uc h   e nha n c i n g  t h e   e ff i c i e n c y   of   t h e   m o de l .   T h e   c o s t   of   us i n g  a   l a r ge   n u m b e r   o f   fe a t ur e s   i s   n o t   pr o po r t i o na t e   t o   t h e   e nh a n c e m e n t   o f   m o de l   a c c ur a c y   a n d   e v e n   s o m e t i m e s   t h e   a c c u r a c y   of   t h e   m o de l   m a y   a l s o  r e duc e .   F e a t u r e   r a nki n g  a n d  s e l e c t i o n   i s   us e d  t o   s e l e c t   t h e   m i ni m u m   s e t   o f   f e a t ur e s   w i t h o ut   m uc h   a f f e c t i n g   t h e   e ff i c i e n c y   of   t h e   m o de l .   F i l t e r  b a s e d,   w r a ppe r   b a s e d  a n d   e n s e m b l e   b a s e d  a r e   v a r i o us   f e a t u r e   s e l e c t i o n   t e c hn i q ue s   t ha t   a r e   us e d  t o   s e l e c t   t h e   m o s t   a p p r o pri a t e   f e a t ure s   t o   de v e l o p  a n  e f f i c i e n t   m o de l   [ 5 ] - [ 8] .   B a s i c a l l y ,   s e n t i m e nt   a na l y s i s   i s   a   c l a s s i f i c a t i o n   t e c hn i que   t h a t   c a t e go r i z e s   t h e   t w e e t s   i n   v a r i o us   s e n t i m e n t   c l a s s e s .   D i f f e r e n t   c l a s s i f i c a t i o n   a l g o ri t hm s   a s   M a c hi n e   l e a rn i ng  [9 ] - [ 1 0],   L e xi c o n   b a s e d  [11],   E n s e m b l e   c l a s s i f i e r s   [12]  a n d  N e u r a l   n e t w o r k  b a s e d  c l a s s i f i e r s   a r e   us e d  by   r e s e a r c h e r s .   E n s e m b l e   c l a s s i f i e r s   a r e   v e r y   e ffe c t i ve   t o   e nh a n c e   t h e   o v e r a l l   e f f i c i e n c y   o f   a   m o de l .   T h e   h y b r i d  o f   l e xi c o n   a n d   e n s e m b l e   b a s e d   c l a s s i f i e r s   i s   a l s o   e ff e c t i v e   t o   i m p r o v e   a c c ur a c y   f ur t h e r  w i t h   n e gl i gi b l e   o v e r h e a d .   I n   t h e   p r e s e nt   p a pe r,   v a ri o us   m a c hi n e   l e a rni ng   a nd  h y b ri d   c l a s s i f i c a t i o n   a l go ri t hm s   a re   us e d  f o r  di f f e r e nt   s i z e d  f e a t u r e   s e t .   ‘ T w i t t e r   U S   A i rl i n e   d a t a ’  i s   us e d   f o r   i m p l e m e nt a t i o n   a nd  a na l y s i s .   T h e   i m p a c t   o f  nu m b e r   o f   f e a t u re s   o n  o v e ra l l   e f f i c i e n c y   o f   t h e   m o de l   i s   a na l y z e d   f o r   v a ri o u s   c l a s s i f i c a t i o n   m o de l s .   T w o   f e a t u re   s e l e c t i o n   t e c hni q ue s   a nd   f o u r   d i f f e r e nt   s i z e   f e a t u r e   s e t s   a re   i m pl e m e nt e d  b y   us i ng  11  d i f f e r e nt   m a c hi ne   l e a rni ng   a nd  h y b ri d  c l a s s i f i c a t i o n   m o de l s .   S t a c k - b a s e d  e n s e m b l e   c l a s s i f i c a t i o n   m o de l s   a r e   a l s o   i m p l e m e nt e d  b y   us i ng   S M O ,   N B ,   R E P T r e e   a nd  IB K   m a c hi ne   l e a rne r s .   C hi - S q u a r e   a nd  I G   a r e   us e d  f o r   f e a t u r e   ra nk i ng  a nd  s e l e c t i o n.   B o t h  t e c h ni q ue s   a r e   c o m p a re d   t o   a na l y z e   a n y   e f f e c t   o n  t he   e f f i c i e n c y   o f   t h e   m o de l .   S e c t i o n   1  of   t h e   pa pe r   gi v e s   t h e   i nt r o duc t i o n   t o   T w i t t e r   s e nt i m e nt   a na l y s i s .   A   l i t e r a t u r e   s ur v e y   of  r e l a t e d  w o r k  i n   t h e   a r e a   o f   s e n t i m e n t   a na l y s i s   i s   m e n t i o n e d  i n   S e c t i o n   2 .   F e a t u r e   s e l e c t i o n   i s   s u m m a ri z e d  i n  S e c t i o n   3.   S um m a r y   of   t h e   c l a s s i f i c a t i o n   a l go ri t hm   i s   gi v e n  i n   S e c t i o n   4 .   S e c t i o n   5  gi v e s   t h e   de t a i l s   o f   t h e   da t a   s e t   us e d  i n   t h e   r e s e a r c h .   S i m ul a t i o n   t o o l s   us e d  a r e   m e nt i o n e d  i n   S e c t i o n   6.   T h e   m e t h o do l o g y   us e d  i n   t h e   r e s e a r c h   i s   m e nt i o n e d  i n   S e c t i o n   7 .   S e c t i o n   8  di s c us s e s   t he   r e s ul t   a n d  a na l y s i s   pa rt .   T h e   r e s e a r c h   w o r k  i s   c o n c l ude d  i n  S e c t i o n   9 .       2.   R ELA TED   WO R K   D e s i gn i ng  a n   e f f i c i e n t   c l a s s i f i c a t i o n   m o de l   c o n s i de r s   s e v e ra l   f a c t o r s   l i ke   pr e p r o c e s s i n g  o f   da t a ,   f e a t ur e   s e l e c t i o n   t e c hn i que ,   n um b e r   o f   f e a t ur e s   i n v o l ve d,   c l a s s i f i c a t i o n   m o de l   a n d  d a t a   i t s e l f .   S e l e c t i ng  r e l e v a n t   f e a t u r e s   a nd  t h e   r i g ht   n u m b e r   o f   fe a t ur e s   i s   v e r y   i m po rt a nt   f o r   t h e   de ve l o pm e n t   o f   a n   e ff i c i e n t   m o de l .   T h e   e ffe c t   of   us i n g  v a r i o us   c l a s s i f i c a t i o n   m o de l s   a n d  d i f fe r e nt   s i z e d  f e a t ur e   s e t   a r e   m e nt i o n e d  i n   v a r i o us   r e s e a r c h e s .     E .   M .   K a ra b ul ut   e t   a l .   [13]   s h o w s   t h e   e ff e c t   o f   v a r i o us   f e a t u r e   s e l e c t i o n  t e c hni que s :   i n f o r m a t i o n   ga i n,   g a i n  r a t i o ,   s y m m e t ri c   u n c e r t a i nt y ,   O n e - R ,   R e l i e f - F ,   c hi - s qua r e   b y   us i n g  n a ï v e   b a y e s   (N B ),   a r t i f i c i a l   n e u r a l   n e t w o r k  (A N N )  a s   m ul t i l a y e r   pe r c e pt r o n   ( M L P )   a nd  J 48  de c i s i o n   t r e e   a s   c l a s s i f i c a t i o n   a l go r i t hm s .   W E K A   i s   us e d  fo r   i m p l e m e n t a t i o n   o f   v a r i o us   m o de l s .   A s   pe r   r e s e a r c h ,   c hi - s qua r e   a nd  i n f o r m a t i o n   g a i n  pe r f o r m e d  b e t t e r   a s   c o m pa r e d  t o   o t h e r   f e a t u r e   s e l e c t i o n   m e t h o ds .   A n   i m p r o v e m e n t   o f  m a xi m um   15%  i n  a c c ur a c y   i s   ob s e r v e d  a n d  M L P   i s   t h e   m o s t   s e n s i t i v e   c l a s s i fi c a t i o n   a l go r i t h m   t o   fe a t ur e   s e l e c t i o n .   It   i s   a l s o  ob s e r ve d  fo r   N B   c l a s s i f i e r   t h e   ga i n   r a t i o ,   f o r   M L P   t h e   c h i - s q ua r e   a n d  f o r   J 48  t h e   In f o r m a t i o n   G a i n   i s   t h e   m o s t   po s i t i v e l y   e ff e c t i v e   f e a t ur e   s e l e c t i o n  a l go r i t hm s .   V .   S ugum a r a n   e t   al .   [ 14]  pe r f o r m e d  t h e i r   r e s e a r c h   t o   o bs e r v e   t h e   e ffe c t   of   n um b e r   of   i n put   f e a t u r e   v a r i a b l e s   o n   m o de l   a c c u r a c y   by   us i n g  S V M   a n d  P S V M   m o de l s .   T h e   r e s ul t s   s h o w   t h a t   i n c r e a s i n g  t h e   n u m b e r   of   f e a t ur e s   e nha n c e s   t h e   a c c ura c y   up  t o   a   po i n t   a nd  a f t e r   t h a t   a c c ura c y   i s   d e c r e a s e d  o r   a l m o s t   s t a b l e   fo r   b o t h   S V M   a n d  P S V M   c l a s s i f i e r s .   S o   us i n g  m o r e   num b e r   o f   f e a t ure s   a f t e r   a   l i m i t   m a y   n o t   i n c r e a s e   a c c ura c y   f ur t h e r  b ut   o n l y   c o m pl i c a t e   t h e   m o de l .     Y a p  B e e   W a h   e t   a l .   [15]  i n   t h e i r  r e s e a r c h   c o m pa r e d  f i l t e r   a n d  w ra ppe r   f e a t u r e   s e l e c t i o n   t e c hni que s   t o   i m pr o v e   m o d e l   e ff i c i e n c y .   T h e   f i l t e r - b a s e d  fe a t u r e   s e l e c t i o n   t e c hn i que s   us e d  a r e   IG   a n d  c o r r e l a t i o n - b a s e d  f e a t ur e   s e l e c t i o n .   S e que nt i a l   b a c kw a r d   a n d   s e que n t i a l   f o r w a r d  e l i m i na t i o n   a r e   us e d  u n de r   w r a ppe r   b a s e d  t e c hn i q ue s .   A s   pe r   r e s ul t s ,   w ra ppe r   m e t h o ds   pe r f o r m e d  b e t t e r   a s   c o m pa r e d  t o   t h e   f i l t e r   m e t h o d.   R   s t ud i o   i s   us e d  fo r   s i m u l a t i o n   o f   m o de l .   T h e   r e s ul t s   a l s o   s h o w   t h e   i m pa c t   o f   f e a t ur e   s e t   s i z e   o n   t h e   a c c u r a c y   of   t h e   c l a s s i f i e r .   M .   C h e rri n g t o n   e t   a l .   [1 6]  m e n t i o n e d  v a r i o us   c h a l l e n ge s   i n v o l v e d  i n   f i l t e r - b a s e d  f e a t ur e   s e l e c t i o n   m e t h o d.     T r o us s a s   e t   al .   [1 7]  Im p l e m e nt e d  b oo s t i n g,   b a gg i n g,   v o t i ng  a n d  s t a c k  b a s e d  e n s e m b l e   c l a s s i f i c a t i o n  m o de l s   o n   t hr e e   di f f e r e n t   d a t a   s e t .   S t a c k  b a s e d  e n s e m b l e   of   S V M ,   N B ,   C4. 5   a n d   K N N   i s   i m pl e m e nt e d  us i n g   L R   M e t a   c l a s s i f i e r .   T h e   r e s ul t   de m o n s t r a t e s   t ha t   s t a c k - b a s e d  m o de l   pe r f o r m e d  b e t t e r   t h a n  o t h e r  c l a s s i f i e r s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nal y z i ng   i m p ac t   o f   num be r   of   f e at ur e s   o n  e f f i c i e nc y   o f   h y br i d  m od e l   of   l e x i c on   an d  s t a c k …   ( Sange e t a   R ani )   1043   M .   N a z   e t   al .   [18 ]  a l s o   i m pl e m e n t e d  a n   e n s e m b l e   of   N B   a n d   K N N   fo r   s e n t i m e n t   p r e di c t i o n .   A c c u r a c y   of   t h e   c l a s s i f i c a t i o n  m o de l   i s   e nh a n c e d  f u r t h e r  by   us i n g   N B ,   K N N   a n d  S V M   b a s e d  e n s e m b l e .     D o i n g  v a ri a t i o n s   i n   f e a t u r e   s e l e c t i o n   t e c hn i que s ,   n u m b e r   of   fe a t u r e s   us e d,   a n d  us e   of  di ff e r e n t   e n s e m b l e   c l a s s i f i e r s   c a n   h a v e   a n   e f fe c t   o n   e ff i c i e n c y   o f   t h e   m o de l .   Y .   E m r e   Is i k  e t   al .   [1 9]  i n   t h e i r   r e s e a r c h   i m p l e m e nt e d  e n s e m b l e   a t   t w o   l e ve l s :   o n e   a t   f e a t u r e   s e l e c t i o n   l e v e l   a nd  t h e   o t h e r   a t   c l a s s i f i e r   l e v e l .   A n   e ff i c i e n t   f e a t ur e   s e l e c t i o n   c a n   e nha n c e   e ff i c i e n c y   of   m o d e l   w i t h o ut   de gra di n g  t h e   a c c ur a c y   a n d  c l a s s i f i e r   e n s e m b l e   c a n  a l s o   e nh a n c e   a c c u r a c y   o f   m o d e l .   B o t h   e n s e m b l e   of   fe a t ur e   s e l e c t i o n  a nd  e n s e m b l e   of   c l a s s i f i e r s   a r e   us e d  t o   e nha n c e   t h e   o v e r a l l   a c c ura c y   of   t h e   m o de l .   T he   t e c hn i que   s h o w s   goo d  r e s ul t s   a s   c o m pa r e d  t o   o t h e r  m a c h i n e   l e a rni n g   c l a s s i f i e r s .   J o s e ph   D .   P u r s a   e t   al .   [20]  i m p l e m e n t e d  e n s e m b l e   c l a s s i f i e r s   i n   c o m b i na t i o n   w i t h   v a ri o us   fe a t ur e   s e l e c t i o n   t e c hn i que s .   C ha n g l i n   Z h o u  e t   a l .   [21]  a l s o   us e d  s t a c k - b a s e d  h e t e r o ge n e o us   e n s e m b l e   m o de l   a l o n g  w i t h   w ra ppe r - b a s e d  f e a t u r e   r a nki n g   t e c hni que   t o   r e s o l v e   ov e r   f i t t i ng  i s s ue   a n d   e nha n c e   p r o duc t i v i t y   pr e di c t i o n.   T h e   r e s ul t s   s h o w   t h a t   h y b r i d  w ra ppe r   b a s e d  f e a t u r e   s e l e c t i o n   s t ra t e gy   r e duc e s   da t a   c o m pl e xi t y ,   i m p r o v e s   c o m pr e h e n s i v e n e s s   o f   m o de l   w i t h o ut   r e duc i ng  t h e   a c c u r a c y   o f   da t a .   T h e   t e c hn i que   us e d  a l s o   pe r f o r m e d  b e t t e r  a s   c o m pa r e d  t o   o t h e r   b a s e   l i n e   m o de l s .     In  t h e   p r e s e nt   r e s e a r c h   a l s o ,   w e   a r e   i m p l e m e n t i ng  v a r i o us   m a c h i n e   l e a rn i ng,   l e xi c o n  a n d   e n s e m b l e   c l a s s i f i e r s   by   us i n g  di f f e r e n t   num b e r   o f   f e a t ur e s   s e l e c t e d  by  c h i - s qua r e   a n d  IG   f e a t u r e   ra n k i n g  a n d   s e l e c t i o n   t e c hn i q ue s .   A l l   t h e   m o de l s   a r e   c o m pa r e d  t o   s e e   t h e   e ff e c t   o n   e ff i c i e n c y   i n   t e rm s   o f   a c c ur a c y   a n d  K a pp a   v a l ue s   of   a l l   m o de l s .       3.   F EA TU R E  S ELEC TI O N   TEC H N I Q U ES   F e a t u r e   s e l e c t i o n   i s   v e r y   i m po r t a nt   i n  m a c h i n e   l e a rn i ng  c l a s s i f i c a t i o n   w hi l e   w o r ki n g  o n   h u ge   da t a   s e t s   h a v i n g  a   l a r ge   n um b e r   o f   i n pu t   f e a t u r e s .   H uge   f e a t ur e   s e t   m a k e s   t h e   m o de l   c o m pl i c a t e d  w i t h o ut   e v e n   e nh a n c i ng  t h e   e ff i c i e n c y   pr o m i n e n t l y .   T h e   o ve r a l l   m o t i v e   s h o ul d  b e   t o   s e l e c t   t h e   m i n i m u m   s e t   of   f e a t ur e s   w i t h o ut   m uc h   a f f e c t i n g  t h e   e ff i c i e n c y   of   t h e   m o de l .   F e a t ur e   s e l e c t i o n   pr o v i de s   a   w a y   of   r e duc i n g  t h e   n um b e r  of   i n pu t   f e a t ur e   v a r i a b l e s   w h i l e   de v e l o pi n g  a   m o de l .   It   re duc e s   t h e   di m e n s i o na l i t y   of   t h e   da t a   s e t   a n d   s i m pl i f i e s   t h e   m o de l   [22 ] - [ 24] .   F e a t u r e   s e l e c t i o n   a l s o   r e du c e s   o ve r   f i t t i ng,   r e duc e s   t r a i n i ng  t i m e   a n d   m a y   e nh a n c e   a c c ur a c y   of   t h e   m o de l .     S t a t i s t i c a l   b a s e d  f e a t u r e   s e l e c t i o n   m e t h o ds   f i n d   r e l a t i o n s hi p  b e t w e e n   f e a t ur e   v a r i a b l e s   a n d   t a rge t   c l a s s .   T h e s e   m e t h o ds   s e l e c t   f e a t ur e s   w i t h   t h e   s t r o n ge s t   r e l a t i o n s hi p  w i t h   t h e   c l a s s   of   t a r ge t   v a ri a b l e   a n d  ha v e   m o r e   i n f l ue n c e   w h i l e   pr e di c t i ng  t h e   t a r ge t   v a r i a b l e .   F e a t ure   s e l e c t i o n   m e t h o ds   a r e   ge n e ra l l y   c l a s s i f i e d  a s   s upe r v i s e d  a n d  u n s upe r v i s e d.   T h e   t a r ge t   c l a s s   v a r i a b l e   i s   a l s o   i n v o l ve d  i n   r e m o v i n g   i rr e l e v a n t   f e a t ur e s   i n   c a s e   of   s upe r v i s e d  f e a t ur e   s e l e c t i o n   m e t h o ds .   I n   u n s upe r v i s e d  m e t h o d,   t h e   t a r ge t   c l a s s   i s   i g n o r e d  f o r   f e a t ur e   s e l e c t i o n   a n d  i t   o n l y   f i n ds   t h e   c o rr e l a t i o n   b e t w e e n   i n pu t   v a ri a b l e s   t o   r e duc e   t h e   r e du n d a n t   v a r i a b l e s .   T h e r e   a r e   v a ri o us   s t a t i s t i c a l   f e a t ur e   s e l e c t i o n  m e t h o ds   w hi c h  a re   us e d  fo r   f e a t u r e   s e l e c t i o n   a n d   r e duc t i o n  a s   m e nt i o n e d :     3. 1 .      F i l te r   b as e d   r an k i n g   an d   f e atu r e   s e l e c t i o n   T h e   f i l t e r   m e t h o d  o f   f e a t ur e   s e l e c t i o n   c a l c ul a t e s   t h e   r e l e va n c e   of   f e a t ur e s   by   us i n g  t h e   i nt r i n s i c   pr o pe rt i e s   o f   fe a t ur e s .   It   i s   a   s upe r v i s e d  t e c hni que   t ha t   us e s   s t a t i s t i c a l   t e c hni que s   t o   c a l c ul a t e   r e l a t i o n  b e t w e e n   i n put   a nd  t a r ge t   v a ri a b l e s .   A   s ub s e t   o f   t h e   h i g h l y   r e l e v a nt   f e a t u r e s   i s   s e l e c t e d  a nd  c o rr e l a t i o n   m a t ri x   m a y   be   us e d  fo r   f i n a l l y   f i l t e r i n g   o ut   t h e   f e a t u r e s   [25 ] - [26 ] .   T h e   f i l t e r   m e t h o d  c a n   b e   us e d  a s   a n  a t t ri b ut e   e v a l ua t o r  a n d   ra n ke r   t o   r a n k  a l l   t h e   f e a t ur e s   i n   t h e   i n p ut   f e a t u r e   s e t .   T h e   f e a t u r e s   w i t h   hi g h   r a nk  c a n   b e   s e l e c t e d  fo r   hi g h e r   e ff i c i e n c y   of   t h e   m o de l .   T h e   m o de l   s t a r t s   w i t h  a   c o m pl e t e   s e t   o f   f e a t ur e s   a n d   v a r i o us   s t a t i s t i c a l   t e c hn i q ue s   l i ke   A N O V A ,   c hi - s qua r e ,   m u t ua l   i n f o r m a t i o n ,   IG ,   R e l i e f F   a n d  P e a r s o n’s   c o rr e l a t i o n  c a n   b e   us e d  t o   f i l t e r   o ut   t h e   m o s t   r e l e v a n t   f e a t ur e s   [27] .   A s   t h e   f i l t e r - b a s e d  f e a t ur e   s e l e c t i o n   do e s   n o t   d e pe n d  upo n  c l a s s i f i e r,   s o   i t   i s   f a s t   a s   c o m pa r e d  t o   t h e   w r a ppe r   m e t h o d  [28] .   T h e   di s a dv a n t a ge   of   t h i s   m e t h o d  i s   t ha t   i t   t o t a l l y   i gn o r e s   t h e   r o l e   of   t h e   c l a s s i f i c a t i o n   a l go r i t h m   i n  f e a t ur e   s e l e c t i o n.   I n   t h e   p r e s e n t   re s e a r c h   w e   ha v e   us e d  i n f o r m a t i o n   g a i n  a n d   C h i - s qua r e   t e c hni que s   f o r   f e a t u r e   s e l e c t i o n.     3. 1 . 1 .   I n fo r m ati o n   gai n   In f o r m a t i o n   ga i n   (IG )  i s   us e d  t o   s e l e c t   t h e   s pl i t t i n g  a t t ri b ut e   a t   e v e r y   n o de   of   t h e   t r e e   a n d  t h e   f e a t ur e   w i t h   hi g h e s t   i n f o r m a t i o n   ga i n   i s   s e l e c t e d.   It   a c t u a l l y   c a l c ul a t e s   t h e   r e duc t i o n   i n  e n t r o py .   IG   c a n   b e   us e d  f o r   f e a t ur e   r a n k i n g  a n d  s e l e c t i o n   b y   e v a l ua t i n g  t h e   I n f o r m a t i o n   ga i n   o f   e a c h   i n p ut   f e a t u r e   v a ri a b l e   i n   t h e   c o n t e xt   of   t h e   t a r ge t   c l a s s   v a ri a b l e .   T h e   i n p ut   v a r i a b l e s   t h a t   m a xi m i z e   t h e   i n f o r m a t i o n   g a i n   a r e   s e l e c t e d  w h i c h   i n   t u rn  m i ni m i z e s   t h e   e nt r o p y   a nd  b e s t   s pl i t s   t h e   da t a s e t   i n t o   g r o up s   f o r   e ff i c i e n t   c l a s s i f i c a t i o n.   I n f o r m a t i o n  ga i n   i s   v e r y   e ff e c t i v e l y   us e d  i n   v a ri o us   r e s e a r c h e s   fo r   T w i t t e r   s e n t i m e nt   c l a s s i f i c a t i o n   a l s o   [29 ] - [ 30]  b ut   In f o r m a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     1041   -   1 051   1044   ga i n   i s   b i a s e d  fo r   t h e   i nput   f e a t u r e   w i t h   h i g h e r   n u m b e r   o f   di s t i n c t   v a l ue s .   T h e   ( 1 )   g i v e s   t h e   f o r m ul a   f o r   IG   c a l c ul a t i o n  a s   gi v e n  u n de r   [31]:     I( A )   =   H   ( P ( B ) - H   (P ( B / A ) )   (1)     A   =   I n pu t   F e a t u r e   V a ri a b l e   B   =   T a r ge t   Cl a s s   V a ri a b l e   I  (A )  =   I n f o r m a t i o n   g a i n  o f   A   w i t h  r e s pe c t   t o   t a r ge t   v a ri a b l e   B .     P   (B )  =   M a r g i n a l   di s t ri b ut i o n  o f   B   a s s um i n g   t ha t   i t   i s   i n de pe n de n t   o f   f e a t ur e   A .   P   (B / A )  =   D i s t ri b ut i o n   o f   B   a s s um i n g   t ha t   i t   i s   de pe n de n t   o f   fe a t u r e   A .     3. 1 . 2 .   C h i - s q u ar e   Chi - S qu a r e   i s   us e d  w h e n   t h e   f e a t u r e s   a r e   c a t e go r i c a l .   T h e   t a r ge t   c l a s s   v a r i a b l e   i s   c a t e go r i c a l   i n   c a s e   of   T w i t t e r   s e n t i m e nt   c l a s s i f i c a t i o n   a s   i t   h o l ds   t h e   c l a s s   a s   n e ga t i v e ,   po s i t i v e   a n d  n e ut ra l   i n   t h e   da t a   s e t   us e d  i n  pr e s e nt   r e s e a r c h.   I n   c a s e   of   fe a t ur e   s e l e c t i o n ,   C hi - S qu a r e   m e a s u r e s   t h e   r e l a t i o n   b e t w e e n   a   f e a t u r e   a n d  t a r ge t   v a r i a b l e   i n   t e rm s   o f   χ 2  v a l ue   a s   m e n t i o n e d  i n  ( 2 ) .   A   z e r o   χ 2  v a l ue   m e a n s   t ha t   t h e r e   i s   n o   c o r r e l a t i o n   b e t w e e n   i n put   f e a t u r e   v a r i a b l e   a nd  t h e   t a r ge t   c l a s s .   H i gh e r   t h e   χ   2  v a l ue ,   hi g h e r   i s   t h e   r o l e   o f   i n put   f e a t u r e   v a r i a b l e   i n  pr e di c t i n g  t h e   t a r ge t   c l a s s .   T h e   v a l ue   o f   Ch i - S q ua r e   i s   c a l c ul a t e d  b e t w e e n   e a c h   i n pu t   f e a t u r e   v a r i a b l e   a n d  t h e   t a r ge t   c l a s s .   I n pu t   f e a t u r e s   w i t h   t h e   b e s t   Chi - S qu a r e   v a l ue s   w e r e   s e l e c t e d  a s   t h e   f i na l   s e t   o f   f e a t ur e s .   χ 2  i s   o n e   of   t h e   m o s t   e f f e c t i ve   fe a t u r e   s e l e c t i o n   t e c hni que s   i n   s e n t i m e nt   a na l y s i s   a s   i t   i s   qu i t e   r o b us t   a s   pe r  t h e   di s t r i b ut i o n   o f   da t a   a n d   e a s e   o f   c o m put a t i o n   [3 2 ] ,  [ 33] .       (2)     O i   =   N u m b e r   o f   ob s e r v a t i o n   o f   c l a s s .   E i   =   N um b e r  o f   e xpe c t e d  o bs e r v a t i o n   o f   c l a s s   i f   f e a t u r e s   a nd  t h e   t a r ge t   a r e   i n de pe n de nt .     3. 2 .       Wr ap p e r   b as e d   f e atu r e   s e l e c t i o n   m e th o d   T h e   w r a p pe r  b a s e d  f e a t ur e   s e l e c t i o n   w o r k  o n  g r e e d y   s t ra t e gy   t h a t   a i m s   t o   f i n d  t h e   b e s t   f e a t ur e   s ub s e t   f r o m   a   s e t   o f   i n pu t   f e a t u r e   v a r i a b l e s   by   b ui l di ng  a   c l a s s i f i c a t i o n   m o de l   by   us i n g   a   m a c h i n e   l e a rni n g  c l a s s i f i e r  [34].   A c t ua l l y ,   w e   a r e   t r y i n g  t o   f i t   t h e   m a c hi n e   l e a rn i ng  c l a s s i f i e r   o n   t h e   gi v e n   da t a   s e t .   M ul t i p l e   m o de l s   a r e   c r e a t e d  i n   w r a ppe r   f e a t u r e   s e l e c t i o n   m e t h o d  by   us i n g  di f fe r e nt   s ub s e t s   of   i n put   f e a t u r e s .   U s e f ul n e s s   of   a   s ub s e t   o f   fe a t u r e   i s   a c t ua l l y   m e a s ur e d  b y   t r a i n i ng  a   m o de l   o n   i t .   T h e   f e a t u r e   s e t   w i t h  t h e   b e s t   pe r f o r m i n g  m o de l   a s   pe r   pe r f o r m a n c e   m e t r i c   i s   s e l e c t e d.   T hi s   a pp r o a c h   i s   r e l a t i v e l y   e xpe n s i v e   c o m pa r e d  t o   f i l t e r i n g   m e t h o ds   due   t o   r e pe a t e d  l e a rni n g   s t e ps   a n d   c r o s s - va l i da t i o n   v a l i da t i o n.   W ra ppe r   f e a t u r e   s e l e c t i o n   i s   c o m pa ra t i v e l y   m o r e   e f f i c i e n t   i n   t e rm s   o f   a c c ur a c y   of   pr e di c t i n g  c l a s s .   T h e r e   a r e   v a r i o us   s t r a t e gi e s   us e d  fo r   t h e   i m pl e m e nt a t i o n  o f   w r a ppe r  b a s e d  f e a t ur e   s e l e c t i o n:   a)   F o r w a r d  s e l e c t i o n :   F o r w a r d  s e l e c t i o n  s t a rt s   w i t h   a   s i n g l e   f e a t u r e .   F e a t u r e s   a r e   a d de d  i n c r e m e nt a l l y   t o  t h e   f e a t ur e   s ub s e t   e v e r y   t i m e   t o   i n c r e a s e   t h e   pe r f o r m a n c e   o f  t h e   m o de l .   F e a t u r e s   a r e   a dde d  t i l l   t h e   b e s t   r e s ul t s   a r e   o b t a i n e d .   b)   B a c k w a r d  e l i m i n a t i o n :   I n   B a c kw a r d  s e l e c t i o n,   i ni t i a l l y   w e   s t a r t   w i t h   t h e   c o m pl e t e   s e t   of   f e a t ur e s   a n d   ke e p  o n   r e m o v i n g  f e a t u r e s   i n   s uc h   a   m a nn e r   t o   e n ha n c e   t h e   m o de l   e f f i c i e n c y .   T hi s   i s   r e pe a t e d  t o   ge t   t h e   b e s t   f e a t ur e   s ub s e t   f o r   a   g i v e n   m a c h i n e   l e a rni n g   a l go r i t hm .   c)   R e c ur s i v e   f e a t ur e   e l i m i na t i o n :   R e c ur s i v e   fe a t ur e   e l i m i na t i o n   o r   R F E   t r i e s   t o   f i t   i n   a   m o de l   by   r e c ur s i v e l y   r e m o v i n g  w e a ke s t   f e a t ur e s   f r o m   t h e   i n pu t   f e a t ur e   s e t   a t   e a c h   i t e r a t i o n  u nt i l   t h e   de s i r e d  n u m b e r   o f   fe a t u r e s   i s   r e a c h e d.   T h e   m o de l   i s   r e pe t i t i v e l y   c r e a t e d  a n d  t h e   n e xt   m o de l   i s   c r e a t e d   w i t h   t h e   r e m a i ni n g  f e a t u r e s   of  t h e   pr e v i o us   m o d e l   t o   f ur t h e r   p r u n e   t h e   l e a s t   i m po r t a n t   f e a t u r e s .   F e a t u r e s   a r e   ra n ke d  b a s e d  o n  e l i m i na t i o n  o r de r .     3. 3 .       Em b e d d e d   fe atu r e   s e l e c ti o n   m e th o d   E m b e dde d  fe a t ur e   s e l e c t i o n   m e t h o ds   a r e   a   c o m b i n a t i o n   of   f i l t e r   a n d  w r a ppe r   b a s e d  f e a t ur e   s e l e c t i o n   m e t h o ds .   T h e s e   m e t h o ds   i n c l u de   f e a t ur e   i n t e r a c t i o n   w h i l e   ke e pi n g  t h e   c o m put a t i o n a l   c o s t   r e a s o na b l e .   T h e   e m b e dde d  t e c h ni que   i m pl e m e n t   l e a rni ng  a l go r i t h m   t ha t   h a v e   i t ' s   ow n   b ui l t   i n   f e a t u r e   s e l e c t i o n   m e t h o ds .   R e gul a ri z a t i o n   m e t h o ds   a r e   m o s t   c o m m o n l y   u s e d  e m be dde d   m e t h o ds   w h i c h   f i na l i z e   t h e   f e a t ur e s   o n   t h e   b a s i s   of   c oe f f i c i e n t   t hr e s h o l d.   D e c i s i o n   t r e e ,   L A S S O   a n d  R ID G E   r e g r e s s i o n   a r e   e xa m pl e s   o f  e m be dde d  fe a t u r e   s e l e c t i o n .   L A S S O ,   R ID G E   r e g r e s s i o n   b o t h   ha v e   i n b ui l t   pe na l i z a t i o n   f u n c t i o n s   t o   r e duc e   o ve r   f i t t i n g .   T h e   e m b e dde d  m e t h o ds   i n c l ude s   t h e   b e n e f i t s   of   w r a ppe r   m e t h o d  l i ke   i n t e r a c t i o n   o f   f e a t ur e s ,   a r e   f a s t   l i ke   f i l t e r  m e t h o ds ,   ha v e   hi g h e r   e f f i c i e n c y   a n d   a r e   l e s s   p r o n e   t o   o ve r   f i t t i n g .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nal y z i ng   i m p ac t   o f   num be r   of   f e at ur e s   o n  e f f i c i e nc y   o f   h y br i d  m od e l   of   l e x i c on   an d  s t a c k …   ( Sange e t a   R ani )   1045   4.   C LA S S I F I C A TI O N   TEC H N I Q U ES   Cl a s s i f i c a t i o n   i n   m a c h i n e   l e a rni n g  i s   a   p r o b l e m   of  i de n t i fy i n g  t o   w h i c h   o f   a   s e t   of   t a r ge t   c l a s s e s   a   n e w   ob s e r v a t i o n   b e l o n gs ,   o n  t h e   b a s i s   o f   t h e   i n p ut   da t a   s e t .   T hr e e   c l a s s i f i c a t i o n  t e c hni que s   a r e   i n v o l v e d  i n   t h e   r e s e a r c h  o f   t h e   p r e s e n t   pa pe r  a s   m e n t i o n e d:     4. 1 .       L e x i c o n   b as e d   c l as s i fi c ati o n   t e c h n i q u e   In   l e xi c o n   b a s e d  o r   di c t i o na r y   b a s e d  c l a s s i f i c a t i o n   t e c hni qu e ,   l e xi c o n   s c o r e   of   t w e e t s   o r   a   p i e c e   of  w r i t i ng  i s   c a l c ul a t e d  b y   us i n g  t h e   s e nt i m e nt   d i c t i o na r y   [35].   In  t hi s   a pp r o a c h,   t h e   po l a ri t y   s c o r e   of   e a c h   w o r d  i n   B O G   i s   c a l c ul a t e d  by   us i n g  a l r e a dy   pr e s e n t   po l a r i t y   di c t i o n a ri e s   l i ke   W o r l dN e t   a n d  S e nt i W o r dN e t .   T h e   a v e r a ge   po l a r i t y   s c o r e   of   a l l   w o r ds   i n   a   t w e e t   i s   c a l c ul a t e d.   A v e r a ge   po l a r i t y   s c o r e   a b ov e   a   t hr e s h o l d  v a l ue   de c i de s   t h e   po l a ri t y   of   a   t w e e t   a s   po s i t i v e .   T hi s   m e t h o d  i s   s i m p l e   b ut   do e s   n o t   p r o v i de   a s   go o d  r e s ul t s   a s   m a c h i n e   l e a rni n g  a n d  e n s e m b l e   c l a s s i f i e r s .   K o l c h y n a   e t   al .   [ 36]  c o m pa r e d  l e xi c o n   b a s e d  a ppr o a c h   w i t h   N a i v e   B a y e s   a n d  S V M   s upe r v i s e d  c l a s s i f i e r s .   T h e   s upe r v i s e d  c l a s s i f i e r   gi v e s   n e a r l y   7%  be t t e r   r e s ul t s   t ha n   l e xi c o n - b a s e d  c l a s s i f i c a t i o n  t e c hni que .   In  t h e   p r e s e nt   r e s e a r c h  w e   h a v e   us e d  a   h y b r i d  o f   l e xi c o n - b a s e d  a pp r o a c h  w i t h   m a c h i n e   l e a rn i ng  a n d   e n s e m b l e   c l a s s i f i e r s .   A l t h o ug h   r e s ul t s   o f   l e xi c o n   b a s e d  c l a s s i f i e r s   a r e   n o t   a s   go o d  a s   o t h e r   c l a s s i f i e r s ,   b ut   a   h y b r i d  o f   l e xi c o n   b a s e d  c l a s s i f i e r   w i t h   m a c h i n e   l e a rni n g  a n d   e n s e m b l e   c l a s s i f i e r s   c a n  e nha n c e   a c c ur a c y   w i t h  l i t t l e   o v e r h e a d.     4. 2 .       M a c h i n e   l e ar n i n g  c l as s i f i c ati o n   te c h n i q u e s   M a c hi n e   l e a rni n g  c l a s s i f i e r s   us e   s upe r v i s e d   a ppr o a c h   a n d   n e e d  t ra i ni n g  e xa m pl e s   w h i c h   c a n   b e   l a b e l e d  m a n u a l l y   o r   ob t a i n e d  f r o m   o n l i n e   s o u r c e s .   n a i v e   b a y e s   (N B )  [37],   s uppo rt   v e c t o r   m a c hi n e s   [38 ] ,  [ 39 ],   de c i s i o n   t r e e   [40 ] ,  [ 4 1],   A da B o os t ,   r e gr e s s i o n   l o gi s t i c   r e g r e s s i o n ,   J 48 ,   S i m pl e   CA R T ,   ra n do m   t r e e   a r e   s o m e   c o m m o n l y   us e d  m a c h i n e   l e a rn i ng  b a s e d  c l a s s i f i e r s .   K o l c h y na   e t   al .   [36]  a na l y z e d  v a r i o us   m a c hi n e   l e a rni n g   c l a s s i f i e r s .   S V M   a n d   N a i v e   B a y e s   pe r fo r m   b e t t e r   t ha n  o t h e r   c l a s s i f i e r s .   It   i s   a l s o   o b s e r v e d  t ha t   m a c hi n e   l e a rn i ng  a pp r o a c h   pe r f o r m s   b e t t e r   t ha n   l e x i c o n - b a s e d  a ppr o a c h.   I n   t h e   p r e s e n t   r e s e a r c h   N B ,   S M O ,   IB K   a n d  R E P T r e e   a r e   us e d  a s   m a c hi n e   l e a rni n g   c l a s s i f i e r s .   S e que nt i a l   m i ni m a l   o pt i m i z a t i o n   ( SMO )   i s   a n   i m p r o v e d   i m p l e m e nt a t i o n   o f   S V M .   IB K   i s   K N N   a nd  R E P T r e e   i s   f a s t   d e c i s i o n   t r e e   i n  W E K A   t o o l .       4. 3 .       En s e m b l e   c l as s i f i c ati o n   te c h n i q u e s   E n s e m b l e   c l a s s i f i e r s   a r e   us e d  i n   v a ri o us   r e s e a r c h e s   t o   f ur t h e r   i n c r e a s e   t h e   a c c ura c y   of   c l a s s i f i c a t i o n   by   us i n g  m ul t i p l e   c l a s s i f i e r s   t o ge t h e r.   B a ggi ng,   b o os t i ng  a n d   ra n do m   f o r e s t ,   s t a c k  b a s e d  e n s e m b l e   a nd  v o t i n g   b a s e d  e n s e m b l e   a r e   c o m m o n l y   us e d  e n s e m b l e   a pp r o a c h e s .   T h e   i de a   i s   t o   c o m b i n e   s e ve r a l   c l a s s i f i e r s   t o   gi v e   b e t t e r   r e s ul t s .   V a ri o us   r e s e a r c h e s   do n e   i n   t h e   a r e a   o f   e n s e m b l e   t e c h n i que   s h o w   t ha t   e n s e m b l e   c l a s s i f i e r   m o s t l y   i n c r e a s e s   c l a s s i f i c a t i o n  a c c u r a c y   a s   c o m pa r e d   t o   o t h e r  t w o   a pp r o a c h e s   [42 ] - [ 48] .       5.   D A TA   S ET   F o r   t h e   p r e s e nt   p a pe r,   t h e   D a t a s e t   ‘U S   A i r l i n e   S e n t i m e nt   d a t a   Co r pus ’  us e d  f o r   t h e   i m pl e m e n t a t i o n   a n d  a na l y s i s   i s   t a ke n   f r o m   s t a n d a r d  K a gg l e   D a t a   s e t   r e po s i t o r y .   T h e   T w i t t e r   U S   A i r l i n e   S e n t i m e nt   da t a   Co r pus   h a s   a   t o t a l   o f   14640  t w e e t s   w i t h   s e n t i m e n t   t a r ge t   c l a s s .   3099  t w e e t s   a r e   n e ut r a l ,   2360  t w e e t s   a r e   po s i t i v e   a n d  91 78  t w e e t s   a r e   n e ga t i v e .   70%  da t a   i s   us e d  f o r   t e s t i n g   a n d  30%  f o r   t ra i ni n g  pu rpo s e .   T h e   s a m p l e   t w e e t s   i n   t h e   da t a   s e t   a r e   c o l l e c t e d  fo r   s i x   di f f e r e n t   U S   A i rl i n e s   na m e d  U ni t e d,   S o ut h w e s t ,   D e l t a ,   A m e ri c a n ,   U S   A i r w a y s   a nd  V i r gi n  A m e ri c a   [4 9].       6.   S I M U LA TI O N   TO O L   W E K A   a n d  R   s t udi o   t oo l s   a r e   us e d  i n   t h e   pr e s e n t   r e s e a r c h.   W E K A   i s   a n   o pe n   s o ur c e   t oo l   t h a t   c a n   b e   us e d  fo r   da t a   p r e p r o c e s s i n g,   f e a t u r e   s e l e c t i o n ,   c l us t e r i ng,   r e g r e s s i o n ,   v i s ua l i z a t i o n,   i m pl e m e nt i n g  s e v e r a l   m a c h i n e   l e a rni n g  a n d  e n s e m b l e   c l a s s i f i e r s   a n d  i n   v a r i o us   da t a   m i ni n g  t a s ks .   W E K A   i s   s i m p l e   b ut   qui t e   e ffe c t i ve   s i m ul a t i o n   t o o l s   us e d  by   r e s e a r c h e r s .   I n   t h e   p r e s e nt   r e s e a r c h,   W E K A   i s   us e d  f o r   c r e a t i ng  B O W ,   s e l e c t i o n   of   fe a t ur e s   a nd  i m pl e m e nt i n g  di f f e r e n t   c l a s s i f i c a t i o n   m o de l s .   A t   i n i t i a l   l e v e l ,   R   T oo l   i s   a l s o   us e d  fo r   c l e a ni n g  a nd  r e m o v i n g  n o i s e   f r o m   t h e   d a t a .   T h e n   t h e   c l e a n e d  CS V   f i l e s   a r e   us e d  i n   W E K A   f o r   f ur t h e r   pr o c e s s i n g  [50 ] ,  [ 5 1].       7.   M ET H O D O L O G Y   F o r   t h e   i m p l e m e n t a t i o n   a n d   a na l y s i s   of   t h e   p r e s e nt   r e s e a r c h,   “ T w i t t e r  U S   A i rl i n e   D a t a   Co r pus ”   i s   ob t a i n e d  f r o m   K a gg l e   da t a   r e po s i t o r y .   T h i s   d a t a   s e t   h o l ds   14640  t w e e t s   a n d  t h e i r   c o rr e s po n di n g  c l a s s   a s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     1041   -   1 051   1046   n e ga t i v e ,   po s i t i v e   a n d  n e ut ra l .   T w e e t s   a r e   c l e a n e d  a n d  p r e p ro c e s s e d  by   us i n g  R   T oo l ,   a n d  t h e   f i n a l   CS V   f i l e   i s   pa s s e d  t o   W E K A   f o r   f ur t h e r  p r o c e s s i n g.   T w e e t s   a r e   r e p r e s e n t e d  a s   f e a t u r e   s e t   a n d  r e s e a r c h   i s   pe r f o r m e d  o n   di f fe r e nt   s i z e d  f e a t u r e   s e t   f o r   di f f e r e n t   m a c hi n e   l e a rn i ng  a n d   h y b r i d  c l a s s i f i e r s .     D a t a   c l e a ni n g  i s   do n e   fo r   r e m o v i ng  i rr e l e v a nt   c o n t e nt   f r o m   t h e   t w e e t s   t o  i m p r o ve   e ff i c i e n c y   o f  t h e   m o de l .   R   T oo l   i s   us e d  t o  c l e a n   t h e   da t a   by   r e m o v i n g  U R L ’ s ,   H a s h t a gs ,   n u m b e r s ,   e m o t i c o n s ,   dup l i c a t e   t w e e t s   a n d   pu n c t u a t i o n   s y m bo l s .   A f t e r   c l e a ni n g ,   t h e   c l e a n e d  da t a   i s   pa s s e d  t o   W E K A   fo r   f ur t h e r   p r o c e s s i n g.   T hi s   c l e a n e d  d a t a   i s   r e p r e s e n t e d   i n  t h e   f o r m   o f   a   f e a t u r e   s e t   h a v i ng  h uge   d i m e n s i o n a l i t y   t h a t   n e e ds   t o   b e   r e duc e d  t o   s i m pl i fy   t h e   m o de l .   F e a t u r e   s e l e c t i o n   i s   pe r f o r m e d  by   u s i ng  C h i - S q ua r e   a nd  i n f o r m a t i o n   g a i n   f e a t u r e   s e l e c t i o n   m e t h o ds   a n d  r e s e a r c h   i s   pe r f o r m e d  o n   f e a t ur e   s e t s   of   di f fe r e n t   s i z e s .   T o   m o n i t o r   t h e   e ff e c t   fe a t ur e   s e t   s i z e ,   f e a t ur e   s e t s   w i t h   301 ,   501 ,   701  a nd  1301  f e a t u r e s   a r e   i m pl e m e n t e d  f o r   a l l   m a c h i n e   l e a rni n g  a nd  h y b r i d  c l a s s i f i e r s   us e d  i n   t h e   p r e s e nt   r e s e a r c h.   A   f ur t h e r  i m p r o v e m e n t   i s   do n e   by   us i n g   l e xi c o n - b a s e d  c l a s s i f i e r   w i t h   d i f f e r e n t   e n s e m b l e   c l a s s i f i e r s .   S e n t i m e nt   s c o r e   r e t ri e v e d  f r o m   l e xi c o n   b a s e d  c l a s s i f i c a t i o n  a l go ri t hm   i s   a d de d  i n  t h e   f e a t u r e   s e t   t o   ge t   e nh a n c e d  f e a t ur e   s e t .   A l l   t h e   m a c h i n e   l e a rni n g  a n d  e n s e m b l e   c l a s s i f i c a t i o n  m o de l   a r e   a ga i n   i m pl e m e n t e d  f o r   t hi s   e nh a n c e d   f e a t ur e   s e t ,   a l s o   by   v a r y i n g  a g a i n  t h e   num b e r   o f  f e a t ur e s   i n   t h e   f e a t u r e   s e t .   T h e   r e s ul t s   a r e   m o ni t o r e d  t o   ob s e r v e   a n y   ki n d   o f   i m pr o v e m e n t   i n  a l l   t h e   m o de l s   a f t e r   a dd i n g  s e n t i m e n t   s c o r e   e xt ra c t e d  f r o m   l e xi c o n   b a s e d  c l a s s i f i e r .     W e   a r e   i m pl e m e n t i n g  S M O ,   N B ,   IB K ,   R E P T r e e   a s   m a c h i n e   l e a rn i ng  a l go r i t hm s .   M e t a   b a ggi n g  w i t h  R E P T r e e   i s   i m pl e m e nt e d  fo r   a l l   s i z e   fe a t u r e   s e t s .   In   t h e   f i r s t   s t a c k  b a s e   e n s e m b l e   m o d e l   S M O ,   N B ,   R E P T r e e   a r e   us e d  a s   b a s e   c l a s s i f i e r s   a n d  i n  t h e   s e c o n d  s t a c k  b a s e   e n s e m b l e   m o de l   S M O ,   IB K ,   R E P T r e e   a r e   us e d  a s   b a s e   c l a s s i f i e r s .   R a n do m   f o r e s t   i s   us e d  a s   m e t a   l e a rn e r   i n   b o t h   s t a c k  b a s e d  e n s e m b l e s .   F o ur   di f f e r e n t   v o t i ng  b a s e d  e n s e m b l e   m o de l s   a r e   i m p l e m e nt e d  w i t h   a v e r a ge   o f   vo t i n g  a n d  m a j o r i t y   vo t i n g  t e c hn i que s .   7 0  pe r c e nt   of   t h e   i n p ut   d a t a   i s   us e d  f o r   t ra i ni n g  pu rpo s e   a n d  t h e   r e s t   30  pe r c e nt   i s   f o r   t e s t i ng  t h e   m o de l s .   R e s ul t s   a r e   a n a l y z e d  a n d  r e p r e s e n t e d  by   us i n g  a c c ura c y   a n d  K a ppa   m e t ri c s .   A l l   t h e   f i n di ng  a n d  a n a l y s i s   i s   di s c us s e d  i n   t h e   n e xt   s e c t i o n   o f   r e s ul t   a n d  a na l y s i s .   T h e   m e t h o do l o g y   us e d  i n  r e s e a r c h  i s   e xpl a i n e d  i n   F i gu r e   1 .             F i gu r e   1 .   W o r k   f l o w   fo r   v a r i o us   t w e e t   s e n t i m e n t   c l a s s i f i c a t i o n  m o de l s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nal y z i ng   i m p ac t   o f   num be r   of   f e at ur e s   o n  e f f i c i e nc y   o f   h y br i d  m od e l   of   l e x i c on   an d  s t a c k …   ( Sange e t a   R ani )   1047   8.   R ES U LT  A N D   A N A L Y S I S   In   t h e   p r e s e n t   r e s e a r c h ,   v a r i o us   m a c h i n e   l e a rn i ng  a n d  e n s e m b l e   b a s e d   c l a s s i f i e r s   a r e   i m pl e m e nt e d  o n   di f f e r e nt   s i z e d  f e a t ur e   s e t .   A l s o ,   a   h y b r i d  of   l e xi c o n   a n d  s t a c k - b a s e d  e n s e m b l e   c l a s s i f i e r s   i s   i m pl e m e nt e d.   T h e   r e s ul t s   s h o w   t h a t   up  t o   l i m i t   r e s ul t s   a r e   i m p r o v e d  a s   t h e   s i z e   o f   t h e   f e a t ur e   s e t   i n c r e a s e s ,   b ut   a f t e r  t ha t ,   a c c ur a c y   i s   s t a b l e   o r   de c r e a s e s .   A l s o ,   by   us i n g  a   h y b r i d  o f   l e xi c o n - b a s e d  c l a s s i f i e r   w i t h   s t a c k - b a s e d  e n s e m b l e   i m p r o v e s   t h e   r e s ul t s .   T h e   c o s t   o f   ge t t i ng  a n d  a ddi ng  s e n t i m e nt   s c o r e   e xt r a c t e d  f r o m   l e xi c o n   b a s e d  c l a s s i f i e r  i s   n e gl i gi b l e ,   b ut   i t   c o n s i s t e n t l y   i n c r e a s e s   t h e   a c c ura c y   fo r   a l l   t h e   c l a s s i f i c a t i o n   m o de l s .   V o t i ng  b a s e d  c l a s s i f i e r s   a r e   b e t t e r   t ha n   N B ,   IB K   a n d  R E P T r e e   m a c hi n e   l e a rni n g   c l a s s i f i e r s .   A c c u r a c y   a n d  K a p pa   f o r   v a r i o us   c l a s s i f i c a t i o n   m o de l s   us i n g  I n f o r m a t i o n   G a i n   f e a t u r e   s e l e c t i on   i s   gi v e n   i n   T a b l e   1  a n d  T a b l e   2.   A c c ur a c y   a n d   K a ppa   f o r   v a r i o us   c l a s s i f i c a t i o n  m o de l s   us i ng  C hi - S qu a r e   f e a t u r e   s e l e c t i o n  i s   gi v e n  i n  T a b l e   3  a n d   T a b l e   4.   F i ndi n gs   o f   r e s e a r c h   a n d   a na l y s i s :   a)   In c r e a s e   i n   t h e   n u m b e r   o f   fe a t u r e s   f r o m   301  t o   701  e nha n c e s   t h e   a c c u r a c y ,   b ut   a c c ur a c y   i s   e i t h e r   s t a b l e   o r   de c r e a s e s   by   f ur t h e r  i n c r e a s e   i n   t h e   n u m b e r   o f   i n pu t   f e a t u re   v a r i a b l e s   t o   1301 .     b)   F o r   a l l   t h e   c l a s s i f i c a t i o n   m o de l s ,   m a c hi n e   l e a rni n g  o r   e n s e m b l e ,   a ddi n g  l e xi c o n   s c o r e   a s   o n e   of   t h e   f e a t ur e s   i n   t h e   f e a t u r e   s e t   e nha n c e s   t h e   a c c ura c y   of   c l a s s i f i c a t i o n .   T h e   h y b r i d  o f   l e xi c o n   c l a s s i f i e r   w i t h  s t a c k  b a s e   c l a s s i f i e r  a l s o   e nha n c e s   t h e   a c c u r a c y   of   t h e   m o de l .   c)   S t a c k  b a s e d  e n s e m b l e   c l a s s i f i e r s   a r e   e f f i c i e n t   t ha n  m a c hi n e   l e a rni n g   a nd  v o t i ng - b a s e d  e n s e m b l e   c l a s s i f i e r s .     d)   S t a c k  b a s e d  e n s e m b l e   of   S M O ,   N B ,   R E P T r e e   pe r f o r m e d  b e t t e r   t h a n   s t a c k  e n s e m b l e   of   S M O ,   IBK ,   R E P T r e e .   e)   S M O   i s   c o m pa r a t i v e l y   be t t e r   t ha n   o t h e r   m a c h i n e   l e a rn i ng  c l a s s i f i e r s   a nd  a c c u r a c y   i s   f ur t h e r   i n c r e a s e d  by   a ddi ng  s e n t i m e n t   s c o r e   o f   l e xi c o n   c l a s s i f i e r   i n  t h e   i n pu t   f e a t u r e   s e t .   f)   IB K   pe r f o r m a n c e   i s   l e s s ,   a l m o s t   i n  a l l   c a s e s   f o r   a l l   s i z e   f e a t ure   s e t s .   g)   Chi -   S qua r e   f e a t u r e   s e l e c t i o n  pe r f o r m e d  a   l i t t l e   b e t t e r  t ha n  i n fo r m a t i o n   g a i n  i n   s e v e r a l   f i n di ngs .   h)   A l l   t h e   a b ov e   f i n di ngs   a r e   u ni f o r m   f o r   b o t h  C hi -   S q ua r e   a n d   i n f o r m a t i o n  g a i n  f e a t u r e   s e l e c t i o n   m e t h o ds .       T a b l e   1 .   A c c ura c y   fo r   v a r i o us   c l a s s i f i c a t i o n  m o de l s   us i ng  i n f o r m a t i o n   g a i n  f e a t u r e   s e l e c t i o n  m e t h o d   A C C U R A C Y   fo r   D i f f e r e n t   C l a s s i fi c a t i o n   M o d e l s   u s i n g   I G   F e a t u r e   S e l e c t i o n   M e t h o d       W i t h o u t   S e n t i m e n t   S c o r e   o f  L e x i c o n   C l a s s i f i e r   W i t h   S e n t i m e n t   s c o r e   o f  L e x i c o n   C l a s s i fi e r   a s   o n e   f e a t u r e   i n   F e a t u r e   S e t   S r .   No   N o   o f  F e a t u r e s     3 0 1   5 0 1   7 0 1   1 3 0 0   3 0 2   5 0 2   7 0 2   1 3 0 1     C l a s s i f i c a t i o n   M e t h o d     1   NB   7 2 . 9 9 6 4   7 3 . 0 1 9 1   7 5 . 1 8 2 1   7 5 . 1 3 6   7 4 . 0 6 6 5   7 4 . 2 0 3 1   7 5 . 3 6 4 3   7 5 . 2 7 3 2   2   SMO   7 7 . 8 4 6 1   7 8 . 6 2 0 2   7 9 . 9 8 6 3   7 8 . 8 4 7   7 8 . 4 1 5 3   7 9 . 3 0 3 3   8 0 . 4 6 4 5   7 9 . 1 4 3 9   3   RE P T RE E   7 1 . 8 3 5 2   7 2 . 2 2 2 2   7 2 . 3 3 6 1   7 2 . 1 7 6 7   7 2 . 4 0 4 4   7 2 . 3 5 8 8   7 1 . 3 1 1 5   7 1 . 3 5 7   4   IBK   6 8 . 9 8 9 1   6 8 . 3 7 4 3   4 7 . 9 0 5 3   4 7 . 4 2 7 1   7 2 . 4 0 4 4   6 4 . 3 4 4 3   5 1 . 0 0 1 8   4 9 . 6 8 1 2   5   M e t a   B a g g i n g   +   R E P T r e e   a s   B a s e   C l a s s i f i e r   7 4 . 7 9 5 1   7 4 . 5 2 1 9   7 4 . 6 5 8 5   7 4 . 4 5 3 6   7 4 . 1 5 7 6   7 4 . 1 5 7 6   7 4 . 5 2 1 9   7 4 . 4 5 3 6   6   M e t a   S t a c k i n g   u s i n g   N B ,   S M O ,   R E P T r e e   (RF   a s   M e t a   C l a s s i f i e r)   7 8 . 2 3 3 2   7 9 . 3 2 6   8 0 . 6 0 1   7 9 . 4 1 8   7 9 . 2 1 2   8 0 . 1 2 3   8 1 . 1 6 2   7 9 . 5 0 4   7   M e t a   S t a c k i n g   u s i n g   IBK ,   S M O ,   R E P T r e e   (RF   a s   M e t a   C l a s s i f i e r)   7 7 . 7 8   7 8 . 3 5 1   7 9 . 2 4 7   7 7 . 8 9 2   7 8 . 1 2 8   7 8 . 8 7 1   7 8 . 7 8   7 8 . 8 4 8   8   V o t i n g   u s i n g   N B,   S M O ,   R E P T r ee   A v e ra g e   P r o b a b i l i t y   7 5 . 9 3 3 5   7 6 . 5 0 2 7   7 7 . 3 2 2 4   8 . 1 1 9 3   7 6 . 5 4 8 3   7 6 . 7 9 8 7   7 8 . 1 1 9 3   7 8 . 1 1 9 3   9   V o t i n g   u s i n g   I B K ,   S M O ,   R E P T r e e   A v e ra g e   P r o b a b i l i t y   7 5 . 7 0 5 8   7 5 . 5 2 3 7   7 3 . 5 4 2 8   7 0 . 0 1 3 7   7 2 . 8 8 2 5   7 2 . 7 2 3 1   6 8 . 1 6 9 4   7 0 . 0 1 3 7   10   V o t i n g   u s i n g   N B,   S M O ,   R E P T r e e   /  M a j o ri t y   v o t i n g   7 5 . 8 6 5 2   7 6 . 4 1 1 7   7 7 . 5 9 5 6   7 7 . 6 1 8 4   7 6 . 1 8 4   7 6 . 4 5 7 2   7 8 . 1 1 9 3   7 8 . 1 1 9 3   11   V o t i n g   u s i n g   I B K ,   S M O ,   R E P T r e e   /  M a j o ri t y   v o t i n g   7 5 . 2 7 3 2   7 5 . 6 3 7 5   7 7 . 0 0 3 6   7 6 . 2 7 5   7 6 . 7 3 0 4   7 6 . 8 4 4 3     7 6 . 3 4 3 4   7 5 . 6 8 3 1                 Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     1041   -   1 051   1048   T a b l e   2 .   K a ppa   f o r   v a r i o us   c l a s s i f i c a t i o n  m o de l s   us i ng  i n f o r m a t i o n  g a i n  f e a t u r e   s e l e c t i o n   m e t h o d   K A P P A   fo r   D i f f e r e n t   C l a s s i fi c a t i o n   M o d e l s   u s i n g   I G   F e a t u r e   S e l e c t i o n   M e t h o d       W i t h o u t   S e n t i m e n t   S c o r e   o f  L e x i c o n   C l a s s i f i e r   W i t h   S e n t i m e n t   s c o r e   o f  L e x i c o n   C l a s s i fi e r   a s   o n e   f e a t u r e   i n   F e a t u r e   S e t   S r .   N o   N o   o f  F e a t u r e s     3 0 1   5 0 1   7 0 1   1 3 0 0   3 0 2   5 0 2   7 0 2   1 3 0 1     C l a s s i f i c a t i o n   M e t h o d     1   NB   0 . 4 3 9 8   0 . 4 4 0 4   0 . 5 0 6 7   0 . 5 0 5 8   0 . 4 7 6 3   0 . 4 7 9 2   0 . 5 0 9   0 . 5 0 7   2   SMO   0 . 5 8 6 1   0 . 5 9 9 8   0 . 6 2 1 8   0 . 6 0 2 8   0 . 5 9 3 8   0 . 6 0 9 9   0 . 6 3 0   0 . 6 0 7   3   RE P T RE E   0 . 4 8 1   0 . 4 8 4 6   0 . 4 3 4 3   0 . 4 3 5 3   0 . 4 6 5 1   0 . 4 6 4 3   0 . 4 2 3   0 . 4 2 4   4   IBK   0 . 4 5 2 7   0. 4 4 5 7   0 . 2 3 4 8   0 . 2 3 2   0 . 4 6 5 1   0 . 3 8 2 1   0 . 2 5 0   0 . 2 4 2   5   M e t a   B a g g i n g   +   R E P T r e e   a s   B a s e   C l a s s i fi e r   0 . 5 1 8 6   0 . 5 1 3 5   0 . 4 9 2 3   0 . 4 7 9 1   0 . 4 7 8 7   0 . 4 7 9 4   0 . 4 8 0   0 . 4 7 9   6   M e t a   S t a c k i n g   u s i n g   N B ,   S M O ,   R E P T r e e   (RF   a s   M e t a   C l a s s i f i e r)   0 . 5 8 0 2   0 . 6 0 2 0   0 . 6 2 4 1   0 . 6 0 5 0   0 . 6 0 0 1   0 . 6 1 8 0   0 . 6 3 6   0 . 6 0 7   7   M e t a   S t a c k i n g   u s i n g :   IB K ,   S M O ,   R E P T r e e   ( RF   a s   M e t a   Cl a s s i fi e r)   0 . 5 7 0 1   0 . 5 8 0 0   0 . 6 0 1 0   0 . 5 7 2 0   0 . 5 8 0 1   0 . 5 9 2 0   0 . 5 9 0   0 . 5 9 2   8   V o t i n g   u s i n g   N B,   S M O ,   R E P T r e e   A v e ra g e   P r o b a b i l i t y   0 . 5 3 4 5   0 . 5 4 4 1   0 . 5 4 1 6   0 . 5 5 6 6   0 . 5 3 3 5   0 . 5 3 8 4   0 . 5 5 6   0 . 5 5 6   9   V o t i n g   u s i n g   I B K ,   S M O ,  R E P T r e e   A v e ra g e   P r o b a b i l i t y   0 . 5 3 7 4   0 . 5 3 4 4   0 . 5 1 0 5   0 . 4 6 7 1   0 . 4 9 0 6   0 . 4 9 0 2   0 . 4 4 3   0 . 4 6 7   10   V o t i n g   u s i n g   N B,   S M O ,   R E P T r e e   M a j o r i t y   v o t i n g   0 . 5 3 7 5   0 . 5 4 5 8   0 . 5 5 1 6   0 . 5 5 3   0 . 5 3   0 . 5 3 3 3   0 . 5 6 2   0 . 5 6 2   11   V o t i n g   u s i n g   I B K ,   S M O ,   R E P T r e e   M a j o r i t y   v o t i n g   0 . 5 3 7 5   0 . 5 4 3   0 . 5 6 4 7   0 . 5 5 4 3   0 . 5 5 4 3   0 . 5 5 5 8   0 . 5 5 3   0 . 5 4 3       T a b l e   3 .   A c c ura c y   fo r   v a r i o us   c l a s s i f i c a t i o n  m o de l s   us i ng  c h i - s qua r e   f e a t u r e   s e l e c t i o n   m e t h o d   A C C U R A C Y   fo r   D i f f e r e n t   C l a s s i fi c a t i o n   M o d e l s   u s i n g   C h i - S q u a r e   S e l e c t i o n   M e t h o d       W i t h o u t   S e n t i m e n t   S c o r e   o f  L e x i c o n   C l a s s i f i e r    W i t h   S e n t i m e n t   s c o r e   o f  L e x i c o n   C l a s s i fi e r   a s   o n e   f e a t u r e   i n   F e a t u r e   S e t   S r .   No   N o   o f  F e a t u r e s     3 0 1     5 0 1   7 0 1   1 3 0 0   3 0 2   5 0 2   7 0 2   1 3 0 1     C l a s s i f i c a t i o n   M e t h o d     1   NB   7 4 . 7 9 5   7 4 . 8 1 7 9     7 4 . 8 4 0   7 4 . 9 7 7   7 5 . 4 7 8 1     7 5 . 3 8 7 1     7 5 . 3 4 1 5     7 5 . 0 2 2 8     2   S M O     7 8 . 2 1 0   7 9 . 0 3 0 1     7 9 . 3 9 4   7 9 . 0 0 7   7 8 . 3 9 2 5     7 9 . 6 6 7 6     7 9 . 8 4 9 7     7 9 . 2 1 2 2     3   RE P T RE E   7 2 . 5 8 6   7 1 . 9 2 6 2     7 2 . 0 1 7   7 2 . 0 8 5   7 1 . 6 7 5 8     7 1 . 6 7 5 8     7 1 . 6 3 0 2     7 1 . 0 3 8 3     4   I B K     5 3 . 6 2 0   5 2 . 4 3 6 2     4 8 . 7 9 3   4 8 . 3 1 5   5 4 . 2 8 0 5     5 4 . 0 9 8 4     5 0 . 5 4 6 4     5 1 . 8 2 1 5     5   M e t a   B a g g i n g   +   R E P T r e e   a s   B a s e   C l a s s i fi e r   7 4 . 6 5 8   74 . 0 2 0 9   7 4 . 4 3 0   7 4 . 8 4 0   7 4 . 2 0 3 1     7 4 . 4 0 8     7 4 . 2 9 4 2     7 4 . 6 1 2 9     6   M e t a   S t a c k i n g   u s i n g   N B ,   S M O ,   R E P T r e e     (RF   a s   M e t a   C l a s s i f i e r)   7 8 . 6 4 3   7 9 . 5 7 7 0   8 0 . 2 1 4   8 0 . 2 6 0   7 9 . 7 3 6 0   8 0 . 4 8 7 1   8 1 . 3 9 0 1   8 1 . 1 3 9 0   7   M e t a   S t a c k i n g   u s i n g   IBK ,   S M O ,   R E P T r e e     (RF   a s   M e t a   C l a s s i f i e r)   7 7 . 8 6 9   78 . 5 6 2 0   7 9 . 1 8 9   7 9 . 0 0 7   7 8 . 1 8 8 0   7 8 . 9 3 9 0   7 9 . 2 3 7 0   7 8 . 9 2 0 2   8   V o t i n g   u s i n g   N B,   S M O ,   R E P T r e e   / A v e ra g e   P r o b a b i l i t y     7 6 . 8 4 4     7 7 . 1 4 0 3     7 7 . 1 4 0   7 7 . 5 2 7   7 7 . 2 7 6 9     7 7 . 6 6 3 9     7 7 . 5 9 5 6     7 7 . 8 2 3 3     9   V o t i n g   u s i n g   IB K ,   S M O ,   R E P T r e e   / A v e ra g e   P r o b a b i l i t y   7 3 . 4 9 7   7 7 . 1 4 0 3     7 3 . 1 7 8   7 2 . 0 85   6 8 . 3 7 4 3     6 8 . 6 0 2     6 7 . 4 8 6 3     6 9 . 5 1 5     10   V o t i n g   u s i n g   N B,   S M O ,   R E P T r e e   /   M a j o r i t y   v o t i n g   7 6 . 8 8 9   7 7 . 1 8 5 8     7 7 . 3 6 7     7 7 . 7 7 7   7 7 . 5 2 7 3     7 7 . 8 4 6 1     7 7 . 9 3 7 2     7 7 . 9 1 4 4     11   V o t i n g   u s i n g   IB K ,   S M O ,   R E P T r e e   /  M a j o ri t y   v o t i n g   7 5 . 9 1 0 7     7 6 . 2 2 9 5     7 6 . 1 8 4     7 5 . 5 2 3 7     7 5 . 1 1 3 8     76. 0 4 7 4     7 5 . 8 6 5 2     7 5 . 5 0 0 9                         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nal y z i ng   i m p ac t   o f   num be r   of   f e at ur e s   o n  e f f i c i e nc y   o f   h y br i d  m od e l   of   l e x i c on   an d  s t a c k …   ( Sange e t a   R ani )   1049   T a b l e   4 .   K a ppa   f o r   v a r i o us   c l a s s i f i c a t i o n  m o de l s   us i ng  c h i - s q ua r e   f e a t u r e   s e l e c t i o n   m e t h o d   K A P P A   fo r   D i f f e r e n t   C l a s s i fi c a t i o n   M o d e l s   u s i n g   C h i - S q u a r e   S e l e c t i o n   M e t h o d       W i t h o u t   S e n t i m e n t   S c o r e   o f  L e x i c o n   C l a s s i f i e r   W i t h   S e n t i m e n t   s c o r e   o f  L e x i c o n   C l a s s i f i e r   a s   o n e   fe a t u r e   i n   F e a t u r e   S e t   S r .   No   N o   o f  F e a t u r e s     3 0 1   5 0 1   7 0 1   1 3 0 0   3 0 2   5 0 2   7 0 2   1 3 0 1     C l a s s i f i c a t i o n   M e t h o d     1   NB   0 . 5 0 1 7   0 . 5 0 1 6   0 . 5 0 0 2   0 . 4 9 9 3   0 . 5 1 6 5   0 . 5 1 4 6   0 . 5 1 0 7   0 . 5 0 0 2   2   SMO   0 . 5 8 5 9   0 . 6 0 1 8   0 . 6 1 1 5   0 . 6 0 5 8   0 . 5 8 9 4   0 . 6 1 3 9   0 . 6 1 9 3   0 . 6 0 9 4   3   RE P T RE E   0 . 4 3 6 3   0 . 4 2 9 2   0 . 4 2 9 9   0 . 4 3 2 7   0 . 4 3 0 8   0 . 4 3 7 2   0 . 4 2 3   0 . 4 1 4 2   4   IBK   0 . 2 7 9 7   0 . 2 6 8 2   0 . 2 3 9   0 . 2 3 8 3   0 . 2 6 9 3   0 . 2 6 9 7   0 . 2 3 6 9   0 . 2 5 1 9   5   M e t a   B a g g i n g   +   R E P T r e e   a s   B a s e   C l a s s i f i e r   0 . 4 9 2 4   0 . 4 8 1 6   0 . 4 8 9 4   0 . 4 9 2 4   0 . 4 7 7 6   0 . 4 8 2   0 . 4 7 8 9   0 . 4 8 4 6   6   M e t a   S t a c k i n g   u s i n g   N B ,   S M O ,   R E P T r e e   (RF   a s   M e t a   C l a s s i f i e r)   0 . 5 8 7 0   0 . 6 0 8 1   0 . 6 2 0 2   0 . 6 2 1 0   0 . 6 1 1 0   0 . 6 2 5 1   0 . 6 4 0 1   0 . 6 3 5 1   7   M e t a   S t a c k i n g   u s i n g   IBK ,   S M O ,   R E P T r e e   (RF   a s   M e t a   C l a s s i f i e r)   0 . 5 7 2 1   0 . 5 8 8 0   0 . 5 9 8 1   0 . 5 9 4 0   0 . 5 7 8 0   0 . 5 9 4 1   0 . 6 0 1 0   0 . 5 9 4 1   8   V o t i n g   u s i n g   N B,   S M O ,   R E P T r e e   /   A v e ra g e   P r o b a b i l i t y   0 . 5 3 6 2   0 . 5 4 1 4   0 . 5 4 0 5   0 . 5 4 4 2   0 . 5 4 1 4   0 . 5 4 8 8   0 . 5 4 5 1   0 . 5 4 7 6   9   V o t i n g   u s i n g   I B K ,   S M O ,   R E P T r e e   /  A v e ra g e   P r o b a b i l i t y   0 . 4 9 9 2   0 . 5 4 1 4   0 . 5 0 1 9   0 . 4 8 4 3   0 . 4 2 8 9   0 . 4 3 4 5   0 . 4 2 2 8   0 . 4 5 1 7   10   V o t i n g   u s i n g   N B,   S M O ,   R E P T r e e   /  M a j o r i t y   v o t i n g   0 . 5 4 0 4   0 . 5 4 5 5   0 . 5 4 7 8   0 . 5 5 3 3   0 . 5 5 4   0 . 5 6 0 6   0 . 5 5 8 5   0 . 5 5 6 1   11   V o t i n g   u s i n g   I B K ,   S M O ,   R E P T r e e   /  M a j o r i t y   v o t i n g   0 . 5 3 4 8   0 . 5 4 3 3   0 . 5 4 7 9   0 . 5 3 7 6   0 . 5 2 1 7   0 . 5 4 1 4   0 . 5 3 8 3   0 . 5 3 5 6       9.   C O N C LU S I O N   As   T w i t t e r   i s   f r e que n t l y   us e d  s oc i a l   n e t w o r ki n g  s i t e   a c r o s s   t h e   w o r l d,   s o   t h e   da t a   c o l l e c t e d  f r o m   T w i t t e r   c a n   b e   h i g h l y   v a l ua b l e   f o r   d o i n g  r e s e a r c h.   H e r e   i n   t h i s   pa pe r   ‘T w i t t e r   U S   A i r l i n e   da t a ’  i s   us e d  f o r   s e n t i m e n t   a n a l y s i s   of   c us t o m e r ’s   o pi n i o n.   T h e   r e s e a r c h   a i m s   t o   s e e   t h e   e ff e c t   of   di ff e r e n t   f e a t u r e   s e l e c t i o n   t e c hn i q ue s   a n d  d i f fe r e nt   n u m b e r   o f   f e a t ur e s   o n   v a r i o us   m a c hi n e   l e a rni n g  a n d  e n s e m b l e   b a s e d  c l a s s i f i e r s .   A   h y b r i d  o f   l e xi c o n - b a s e d  c l a s s i f i e r   w i t h   s t a c k  b a s e d  e n s e m b l e   c l a s s i f i e r   i s   a l s o   i m p l e m e nt e d  f o r   di f fe r e nt   s i z e d   f e a t ur e   s e t   t o   ob s e r ve   t h e   v a ri a t i o n s   i n   f i n di ng.   R e s ul t s   a r e   i m p r o v e d  w i t h   i n c r e a s e   i n   f e a t u r e   s e t   up  t o   a   l i m i t ;   a f t e r   t ha t ,   a c c ura c y   i s   s t a b l e .   A l s o ,   a c c u r a c y   i s   i n c r e a s e d  by   us i n g  t h e   h y b r i d  o f   l e xi c o n   c l a s s i f i e r   w i t h   o t h e r   c l a s s i f i c a t i o n  m o de l s .   T h e   p r e s e nt   r e s e a r c h  i s   v e r y   us e f ul   i n   pr e di c t i n g   t h e   o pi n i o n   o f   c us t o m e r s   p r e c i s e l y   a n d   i m p r o v i n g   t h e   s e r v i c e   qua l i t y .         R EF ER EN C ES   [ 1]   A .   A g a r w a l ,   B .   X i e ,   I .   V o v s ha ,   O .   R a m bo w ,   R .   P a s s o nne a u ,   “ S e nt i m e nt   A na l y s i s   o f   T w i t t e r   D a t a , ”   I n  P r oc e e di ngs   of   t he   w or k s hop   o n  L angu age s   i n   So c i a l   M e d i a ,   C o l um b i a   U n i v e r s i t y ,   N e w   Y o r k,   v o l .   96 ,   no .   1,   pp .   30 - 38 ,   2011 .     [ 2]   S .   M a he s hw a r i ,   S .   S hu kl a ,   D .   K um a r i ,   “ T w i t t e r   O pi n i o n  M i n i ng   U s i ng   S e nt i m e n t   A na l y s i s ,   i n  W o r l d   S c i e nt i f i c   N e w s , ”   A n  I n t e r nat i on al   S c i e nt i f i c   J our nal ,   pp .   78 - 87 ,   2 019 .     [ 3]   J .   Z h a o   a nd  X .   G u i ,   “ C o m pa r i s o n  r e s e a r c h  o n  t e xt   pr e - p r o c e s s i ng   m e t ho ds   o n  T w i t t e r   s e nt i m e n t   a n a l y s i s , ”   I E E E   A c c e s s ,   p p.   2 870 - 287 9,   F e b.   20 17 ,   do i :  10. 110 9/ A C C E S S . 2 017 . 267 2677 .    [ 4]   A .   K r o us ka ,   C .   T r o u s s a s ,   a nd  M .   V i r v o u,   “ T he   e f f e c t   o f   pr e pr o c e s s i ng   t e c hni qu e s   o n  T w i t t e r   s e nt i m e n t   a n a l y s i s , ”   i n  P r o c .   R e s e ar c h   G a t e   C on f e r e nc e ,   J ul y   2016 ,   do i :  10. 11 09 / I I S A . 2016. 7785 373 .     [ 5]   B .   V e nka t e s h  a n d   J .   A nur a dha ,   “ A   R e v i e w   of   F e a t ur e   S e l e c t i o n  a nd  I t s   M e t ho ds ” ,   i n  Jo u r na l   of   C y be r ne t i c s   A nd   I nf or m a t i on  T e c hno l og i e s ,   v o l   19 ,   n o   1,   20 19 ,   do i :   10 . 247 8/ c a i t - 201 9 - 0001.     [ 6]   J .   D .   P r u s a ,   T .   M .   K ho s hg o f t a a r ,   a nd  D .   J .   D i t t m a n ,   “ I m pa c t   of   F e a t u r e   S e l e c t i o n  T e c hni que s   f o r   T w e e t   S e n t i m e nt   C l a s s i f i c a t i o n, ”   P r oc e e di ngs   of   t he   T w e nt y - E i gh t h  I n t e r na t i ona l   F l or i da  A r t i f i c i a l   I n t e l l i ge nc e   R e s e ar c h  Soc i e t y   C onf e r e nc e ,   pp .   2 99 - 304 ,   2015 .     [ 7]   R .   A huj a a ,   A .   C hug a ,   S .   K o hl i a ,   S .   G up t a a ,   a nd   P .   A huj a a ,   “ T h e   I m pa c t   o f   F e a t u r e s   E x t r a c t i o n  o n  t he   S e nt i m e n t   A na l y s i s , ”   I n t e r na t i o na l   C onf e r e nc e   on  P e r v a s i v e   C om put i ng  A dv anc e s   and  A pp l i c a t i ons - P e r C A A   2019 ,  P r oc e di a   C om put e r   Sc i e nc e ,   v o l .   15 2,   20 19,   p p.   34 1 - 348.   C l a s s   A s s o c i a t i o n ,   do i :  10. 1016 / j . p r o c s . 201 9. 05. 008 .     [ 8]   Z .   X u,   J .   L i u,   Z .   Y a ng ,   G .   A n,   a nd  X .   J i a ,   “ T h e   i m p a c t   o f   f e a t ur e   s e l e c t i o n  o n  de f e c t   pr e d i c t i o n  pe r f o r m a nc e :   A n   e m pi r i c a l   c o m pa r i s o n, ”   I n  Sof t w ar e   R e l i abi l i t y   E ng i ne e r i ng  ( I S SR E ) ,   2016  I E E E   27 t h  I n t e r na t i ona l   Sy m p os i um   on ,  p p.   30 9 - 320.   I E E E ,   2 016 ,   do i :   10. 11 09/ I S S R E . 20 16 . 13 .     [ 9]   N .   R a j pu t   a nd   S .   C ha uha n ,   “ A na l y s i s   o f   V a r i o us   S e nt i m e n t   A na l y s i s   T e c h ni q ue s , ”   I nt e r na t i ona l   J ou r na l   o f   C om put e r   S c i e nc e   and   M obi l e   C om pu t i ng ,   v o l .   8,   no .   2,   pp.   75 - 79 ,   F e b  201 9 ,   do i :     10. 1 109 / I C I C V 50876. 202 1. 9 3885 25 .     [ 10]   S .   K u r n a z   a nd   M .   A .   M a hm o o d,   “ S e n t i m e n t   A na l y s i s   i n   D a t a   o f   T w i t t e r   us i ng   M a c hi n e   L e a r ni ng   A l g o r i t hm s , ”   I nt e r n at i on al   J o ur n al   o f   C om put e r   s c i e nc e   a nd   M obi l e   C om p ut i ng ,   v o l .   8,   no .   3,   p p.   31 - 35 ,   M a r c h  2019 .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     1041   -   1 051   1050   [ 11]   D .   R a y ,   “ L e xi c o n  B a s e d  S e n t i m e nt   A na l y s i s   o f   T w i t t e r   D a t a , ”   I nt e r n at i on al   J our nal   f o r   R e s e ar c h  i n  A pp l i e d   Sc i e nc e   &   E ng i ne e r i ng   T e c hn ol o gy   ( I J R A S E T ) ,   v o l .   5 ,   no .   x ,   O c t   2 0 17 ,  do i :   10. 2 2214 / i j r a s e t . 2 017 . 101 30 .     [ 12]   K .   L a ks hm i   D e v i ,   P .   S ub a t h r a ,   a n d  P .   N .   K um a r ,   ” T w e e t   S e n t i m e n t   C l a s s i f i c a t i o n  U s i ng   a n  E ns e m b l e   o f   M a c hi ne   L e a r ni ng   S upe r v i s e d   C l a s s i f i e r s   E m p l o y i ng   S t a t i s t i c a l   F e a t u r e   S e l e c t i o n  M e t ho ds , ”   P r oc e e di ng s   of   t he   5t h   I nt e r n at i on al   C on f e r e nc e   on  “ F uz z y   and  N e ur o  C om put i ng  ( F A N C C O - 2015) ” ,   v o l .   415,   pp .   1 - 13,   N o v   2015 ,  d oi :  1 0. 1 00 7/ 97 8 - 3 - 319 - 27 21 2 - 2_ 1 .     [ 13]   E s r a   M a hs e r e c i   K a r a bul ut ,   S e l m a   A y ş e   Ö z e l ,   a nd   T u r g a y   İ br i kç i ,   " A   c o m pa r a t i v e   s t udy   o n  t he   e f f e c t   o f   f e a t ur e   s e l e c t i o n  o n  c l a s s i f i c a t i o n  a c c ur a c y ” ,   I n  T he   J our n al   of   P r oc e di a  T e c hno l og y ,   v ol .   1 ,   pp .   323 - 327 ,   2012 ,   do i :  10. 1 016 / j . p r o t c y . 2012. 02 . 068 .    [ 14]   V .   S ug um a r a n   a n d   K.   I .   R a m a c ha ndr a n ,   " E f f e c t   o f   num be r   o f   f e a t ur e s   o n  c l a s s i f i c a t i o n  o f   r o l l e r   be a r i ng   f a ul t s   us i ng   S V M   a nd  P S V M " ,   i n  J o ur n al   o f   E x pe r t   Sy s t e m s   W i t h  A pp l i c at i ons ,   v ol .  38,   no .   4 ,   pp.   4 088 - 409 6 ,   2 011 ,   do i :  10. 1 016 / j . e s w a . 201 0. 09. 072 .     [ 15]   Y a p  B e e   W a h,   N u r a i n  I br a hi m ,   H a m z a h  A bdul   H a m i d ,   S huz l i na   A bdul - R a hm a n ,   a nd  S i m o n  F o ng ,   “ F e a t ur e   S e l e c t i o n  M e t ho ds :   C a s e   o f   F i l t e r   a n d  W r a p pe r   A ppr o a c he s   f o r   M a x i m i z i ng   C l a s s i f i c a t i o n  A c c ur a c y ” ,   i n  T he   P e r t an i k a   J o ur n al   o f   S c i e nc e   &  T e c hno l o gy ,  v o l .   26 ,   no .   1 ,   pp .   329 - 340,   2 01 8 .     [ 16]   M .   C he r r i ng t o n,   F .   T h a b t a h ,   J .   L u ,   a nd  Q .   X u ,   " F e a t u r e   S e l e c t i o n:   F i l t e r   M e t ho ds   P e r f o r m a nc e   C ha l l e ng e s , "   201 9  I nt e r n at i on al   C on f e r e nc e   on  C om put e r   and  I nf or m a t i on  Sc i e nc e s   ( I C C I S) ,   S a k a ka ,   S a u di   A r a b i a ,   pp.   1 - 4 ,   2019 ,  do i :   10. 1109 / I C C I S c i . 2019. 8716 478 .     [ 17]   C .   T r o us s a s ,   A .   K r o us k a ,   a n d  M .   V i r v o u,   “ E v a l ua t i o n  o f   e ns e m b l e - ba s e d  s e n t i m e n t   c l a s s i f i e r s   f o r   T w i t t e r   da t a , ”   i n   7t h   I n t e r na t i ona l   C o nf e r e nc e   on   I n f o r m at i o n,   I n t e l l i ge nc e ,   Sy s t e m s   &   A ppl i c a t i on s   ( I I SA ) ,   C ha l ki di ki ,   p p.   1 - 6,   2016 ,   do i :  10. 110 9/ I I S A . 2016 . 778 5380 .     [ 18]   M .   N a z ,   K .   Z a f a r ,   a nd  A .   K ha n ,   “ E n s e m b l e   B a s e d  C l a s s i fi c a t i o n  o f   S e nt i m e n t s   U s i ng   F o r e s t   O p t i m i z a t i o n  A l go r i t hm , ”   B i g  N e t w or k   I n f e r e nc e ,   I n t e gr at i on  a nd  A na l y s i s   f or   P r e c i s i on  M e di c i ne   ( B i gD at aN e t A na l y s i s ) ,   v o l .   4,   no .   2 ,   pp.   1 - 13 ,   M a y   2019 ,   do i :  10. 3 390 / da t a 4020 076 .     [ 19]   Y .   E m r e   I s i k,   Y .   G ör m e z ,   O .   K a y na r ,   A nd  Z .   A y di n ,   “ N S E M :   N ov e l   S t a c ke d  E ns e m bl e   M e t ho d  f o r   S e n t i m e nt   A na l y s i s , ”   201 8  I n t e r na t i ona l   C on f e r e nc e   on  A r t i f i c i a l   I n t e l l i ge nc e   and  D at a  P r oc e s s i n g  ( I D A P ) ,   M a l a t y a ,   T ur ke y ,   pp.   1 - 4,   2 018 ,   do i :  10. 110 9/ I D A P . 2018. 8 6209 13 .     [ 20]   J o s e ph  D .   P ur s a ,   T a g hi   M .   K ho s hg o f t a a r ,   a nd  N .   A m r i ,   “ U s i ng   F e a t ur e   S e l e c t i o n  i n   C o m bi na t i o n  w i t h  E n s e m b l e   L e a r ni ng   T e c hni que s   t o   I m pr ov e   T w e e t   S e n t i m e nt   C l a s s i f i c a t i o n   P e r f o r m a nc e ” ,   2 7t h  I n t e r na t i o na l   C on f e r e nc e   on  “ T ool s   w i t h  A r t i f i c i a l   I n t e l l i ge nc e   ( I C T A I ) ” ,   I E E E ,   pp  1 86 - 1 93,   I S S N   : 1082 - 3409 ,   9 - 11  N o v .   2015,   do i :   10. 1 109 / I C T A I . 2015. 3 9 .     [ 21]   C ha ng l i n  Z ho u,   e t   al ,   “ A   N ov e l   S t a c k i ng   H e t e r o g e ne o us   E ns e m b l e   M o de l   w i t h  H y br i d  W r a ppe r - B a s e d  F e a t ur e   S e l e c t i o n  f o r   R e s e r v o i r   P r o duc t i v i t y   P r e di c t i o ns ” ,   i n  H i nd aw i   s pe c i al   i s s ue   C om pl e x i t y   i n  D e e p  N e ur al   N e t w or k s ,  vo l .   2021 ,   J a n  2021 ,   do i :  10. 11 55 / 202 1/ 6 6756 38 .     [ 22]   M .   M .   F o ua d,   T .   F .   G h a r i b ,   a nd  A .   S .   M a s h a t ,   “ E ffi c i e n t   T w i t t e r   S e nt i m e nt   A na l y s i s   S y s t e m   w i t h  F e a t ur e   S e l e c t i o n  a nd  C l a s s i fi e r   E ns e m bl e , ”   i n  I n t e r na t i o na l   c on f e r e nc e   on  A dv anc e d  M ac h i ne   L e ar ni n g  and  A pp l i c a t i o ns ,   v o l .   723,   pp.   51 7 - 527,   J a n   201 8 ,  d o i :  1 0. 10 0 7/ 9 7 8 - 3 - 319 - 7 4 69 0 - 6_ 51 .     [ 23]   D e ng ,   X . ,   L i ,   Y . ,   W e ng ,   J .   e t   al . ,   “ F e a t u r e   s e l e c t i o n  f o r   t e xt   c l a s s i f i c a t i o n:   A   r e v i e w , ”   M u l t i m e di a   T oo l s   an d  A ppl i c a t i o ns ,  pp .   379 7 - 3816 ,   2019 ,   do i :  10. 1 007 / s 1 1042 - 01 8 - 6083 - 5 .    [ 24]   R .   M a n s o ur ,   M .   F .   A .   H a dy ,   E .   H o s a m ,   H .   A m r ,   a nd  A .   A s ho ur ,   “ F e a t ur e   S e l e c t i o n  f o r   T w i t t e r   S e nt i m e n t   A na l y s i s :   A n  E xpe r i m e nt a l   S t udy ” ,   I n t e r na t i ona l   C on f e r e nc e   on  I n t e l l i ge nt   T e x t   P r oc e s s i ng  an d  C om pu t a t i ona l   L i ngu i s t i c s ,   Spr i nge r ,   p p.   92 - 10 3 ,   20 15 ,   do i :  10 . 100 7/ s 110 42 - 018 - 608 3 - 5 .     [ 25]   L e e ,   G .   H .   L us hi ng t o n,   a nd  M .   V i s v a n a t h a n ,   “ A   f i l t e r - ba s e d  f e a t ur e   s e l e c t i o n  a pp r o a c h  f o r   i de nt i f y i ng  po t e nt i a l   bi o m a r ke r s   f o r   l u ng   c a nc e r , ”   J our nal   o f   c l i ni c a l   B i o i nf or m a t i c s ,   v o l .   1 ,   no .   11 ,   pp .   1 - 8 ,   2 011 ,  do i :   10 . 118 6/ 2 043 - 9113 - 1 - 11 .     [ 26]   D a ni e l   M e s a f i n t   a nd   M a n j a i a h  D .   H ,   “ F e a t ur e   S e l e c t i o n  M e t ho ds   F o r   P r e d i c t i o n  O f   T he   I ndi v i du a l ’ s   S t a t u s   O f   H i v / A i ds   F r o m   E dhs   D a t a s e t - A   F i l t e r   A ppr o a c h” ,   I J R E A T   I n t e r n at i ona l   J o ur n al   o f   R e s e ar c h  i n  E n gi ne e r i ng  &   A dv an c e d  T e c hno l o gy , v ol .  7,   no .   3 ,   J un e - J ul y ,   I S S N :   2320 - 8791 ,   2 019.     [ 27]   I .   G u y o n  a nd  A .   E l i s s e e f f ,   “ A n  i n t r o duc t i o n  t o   v a r i a bl e   a nd  f e a t u r e   s e l e c t i o n, ”   T he   J o ur n al   of   M ac h i ne   L e ar n i ng   R e s e ar c h ,  v o l .   3 ,   pp .   1157 - 11 82 ,   2 003 ,   do i :   10. 11 62/ 1532 4430 3322 75361 6 .     [ 28]   B .   G ho t r a ,   S .   M c I nt o s h ,   a nd  A .   E .   H a s s a n ,   " A   L a r g e - S c a l e   S t u dy   of   t he   I m pa c t   o f   F e a t u r e   S e l e c t i o n  T e c hni qu e s   o n  D e f e c t   C l a s s i f i c a t i o n  M o de l s , "   2 017   I E E E / A C M   14t h  I nt e r nat i on al   C onf e r e nc e   on   M i ni n g  S of t w ar e   R e pos i t or i e s   ( M SR ) ,   B ue no s   A i r e s ,   pp .   146 - 157 ,   201 7 ,   do i :   10. 1109 / M S R . 2017 . 18.     [ 29]   N i   M a d e   G i t a   D w i   P ur na m a s a r i ,   M .   A l i   F a uz i ,   I ndr i a t i ,   a n d   L i a n a   S hi nt a   D e w i ,   “ C y be r   bu l l y i ng   i de nt i f i c a t i o n  i n  t w i t t e r   u s i ng   s uppo r t   v e c t o r   m a c hi n e   a n d  i nf o r m a t i o n  g a i n  b a s e d  f e a t u r e   s e l e c t i o n” ,   I ndone s i an  J our na l   of   E l e c t r i c al   E ng i n e e r i ng   and   C om pu t e r   S c i e nc e   ( I J E E C S) ,   v o l .   18 ,   n o .   3 ,   p p.   149 4 - 1500 ,   I S S N :   2502 - 4752 ,   J un e   2020 ,   do i :  10. 115 91 / i j e e c s . v 18. i 3 . pp1 494 - 150 0 .     [ 30]   C ha ng ki   L e e   a n d   G a r y   G e unba e   L e e ,   " I nf o r m a t i o n  g a i n  a n d  d i v e r g e nc e - ba s e d  f e a t u r e   s e l e c t i o n  f o r   m a c hi ne   l e a r n i ng - ba s e d   t e xt   c a t e g o r i z a t i o n" ,   I n f or m at i on  P r o c e s s i ng  &   M anage m e nt ,   v ol .   4 2,   no .   1,   pp .   15 5 - 165 ,   I S S N   0306 - 457 3 ,   20 06 ,  do i :  10. 1016 / j . i pm . 200 4. 0 8. 006 .     [ 31]   S a m i r   I f z a r ne ,   H i ba   T a bba a ,   a nd  I m a d  H a f i di ,   N i da l   L a m g ha r i ,   " A n o m a l y   D e t e c t i o n  us i ng   M a c hi ne   L e a r ni ng   T e c hni qu e s   i n  W i r e l e s s   S e n s o r   N e t w o r ks , "   J ou r na l   of   P hy s i c s :   C on f e r e nc e   Se r i e s ,   v o l .   1743 ,   202 1.     [ 32]   I kr a m   S um a i y a   T ha s e e n  a nd   C he r uku r i   A s w a ni   K um a r ,   “ I nt r us i o n  de t e c t i o n  m o de l   us i ng   f us i o n  o f   c hi - s qua r e   f e a t u r e   s e l e c t i o n  a nd  m u l t i   c l a s s   S V M ” ,   I n  j our na l   of   J our nal   of   K i ng  Saud  U n i v e r s i t y   -   C om pu t e r   and  I nf o r m a t i o n  Sc i e nc e s , v ol .   29 ,   no .   4 ,   pp .   462 - 472 ,   I S S N   1319 - 1578 ,   20 17 ,   do i :  1 0. 10 16/ j . j ks uc i . 20 15. 12 . 004 .     Evaluation Warning : The document was created with Spire.PDF for Python.