I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   36 ,   N o .   2 ,  N o v e m b e r   20 24 ,   pp.   1 172 ~1 181   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 36. i 2 . pp1 172 - 1 181             1172     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   E xp e r i m e n t al   of   in f or m at io n   gai n   an d   A da B oost  f e at u r e  f o r   m ac h in e  l e ar n in g c la ss ifie r  i n  m e d ia  soc ia l  d at a       Jas m i r   Jas m i r 1 ,   Dodo  Z ae n al   Abi d in 2 ,   F ac h r u d d in   F ac h r u d d in 3 ,   Wil l y  Riyad i 1   1 D e pa r tm e nt  C o mput e r   E ngi n e e r in g, F a c ul t y   of  C o mput e r  S c i e nc e , U ni v e r s it a s  D in a mi ka  B a ngs a , J a mbi , I ndo ne s ia   2 M a gi s te r   of  I n f or ma ti o n S y s t e m, F a c ul t y   of  C o mput e r  S c i e n c e , U ni ve r s it a s  D in a mi ka  B a ngs a , J a mbi , I ndo ne s ia   3 I n f o r ma ti o n S y s t e m,  F a c ul t y   of  C o mpu te r   S c ie n c e , U ni ve r s it a s  D in a mi ka  B a ngs a , J a mbi , I ndo ne s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  M a r   14 ,   202 4   R e vi s e d  J u l   29 ,   202 4   A c c e pt e d  A ug   5 ,   202 4       I n   t h i s   r e s e ar c h ,   w e  u s e   s e v e ra l   m a c h i n e  l e ar n i n g   me t h o d s   an d   f e at u r e  s e l ec t i o n   t o   p ro ce s s   s o c i al   me d i a  d at a,   n a me l y   re s t au ran t   r e v i ew s .     T h e   s el ec t i o n   f e at u r e   u s ed   i s   a  c o m b i n at i o n   o f  i n fo r mat i o n   g a i n   ( I G )  an d   ad ap t i v e  b o o s t i n g   ( A d aB o o s t )   w h i ch   i s   u s ed   t o   s ee   i t s   e ff ec t   o n   t h e  c l as s i fi c at i o n   p e rf o r m an ce  e v a l u at i o n   v a l u e  o f  m a ch i n e  l e ar n i n g   me t h o d s   s u c h   as   N aï v e   Ba y e s   ( N B) ,   K - n e ar e s t   n e i g h b o r   ( K N N ) ,   an d   ra n d o m   fo r e s t   (RF)  w h i ch   i s   t h e  ai m  o f  t h i s   r e s e ar c h .   N B  i s   v e r y   s i mp l e  an d   e ff i c i en t   a n d  v e r y   s e n s i t i v e   t o   f e at u r e   s e l ec t i o n .   M e an w h i l e ,   K N N   i s   k n o w n   fo r   i t s   w e a k n e s s e s   s u ch   as   b i as ed   k   v al u e s ,   o v e rl y   co m p l e x   co m p u t at i o n ,   mem o r y   l i mi t at i o n s ,   a n d   i g n o ri n g   i rrel e v a n t   at t ri b u t e s .   T h en   RF  h as   w eak n e s s e s ,   i n c l u d i n g   t h at   t h e   ev al u at i o n   v a l u e   c a n   c h a n g e   s i g n i fi c a n t l y   w i t h   o n l y   s m al l   d at a  ch an g e s .   In   t e x t   cl as s i fi c at i o n ,   f e at u r e   s e l ec t i o n   c an   i m p ro v e   t h e  s c al ab i l i t y ,   e ff i c i en cy   an d   a cc u ra cy   o f  t e x t   cl as s i fi c at i o n .   Bas ed   o n   t e s t s   t h at   h av e   b een   c arr i e d   o u t   o n   s e v e ra l   m a ch i n e   l e arn i n g   me t h o d s   an d   a   c o m b i n at i o n   o f  t h e   t w o   s el ec t i o n   f e at u re s ,   i t   w as   fo u n d   t h at   t h e   b e s t   c l as s i fi e r   i s   t h e   RF   al g o r i t h m .   RF  p ro d u ce s   a  s i g n i fi c a n t   i n c r e as e  i n   v al u e  aft e r  u s i n g   t h e   IG   an d   A d aB o o s t   fe at u r e s .   In c r e as ed   acc u ra cy   b y   1 0 % ,   p re ci s i o n   b y   1 2 . 4 3 % ,   rec al l   b y   8 . 1 4 %   an d   F 1 - s co r e   b y   1 0 . 3 7 % .   RF  a l s o   p ro d u ce s   ev e n   a ccu ra cy ,   p r ec i s i o n ,   r ec a l l ,   a n d   F1 - s co r e   v al u e s   aft e r  u s i n g   IG   an d   A d aB o o s t   w i t h   an   a ccu ra cy   v al u e   o f   8 4 . 5 % ;   p re ci s i o n   o f  8 5 . 5 8 % ;   re c a l l   w as   8 6 . 3 6 % ;   an d   F 1 - s c o r e  w as   8 5 . 9 7 % .   K e y w o r d s :   A da B o o s t   I nf o r m a t i o n   ga i n     M a c hi ne   l e a r ni ng   S o c i a l   m e d i a   T e x t   c l a s s if i c a t i o n   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   J a s mi r   J a s mi r   De pa r t m e n t   C o m put e r   E n gi ne e r i n g ,  F a c u l t y   o f   C o m put e r   S c i e n c e ,  Uni ve r s i t a s   D i na mi ka   B a n gs a   J e n dr a l   S ud i r m a n   S t r e e t ,   T e h o k,   S o u t h   J a m bi ,   J a mbi ,   I n do n e s i a   E m a i l :  ij a y _ j a s mi r @y a h o o. c o m       1.   I NT RODU C T I ON   C ur r e n t l y ,   t h e r e   i s   a   pr o l if e r a t i o n   o f   c o m put e r i z e d  t e x t s ,   f l o o di n g  o ur   di g i t a l   l a n ds c a p e .   E a c h   da y   w i t n e s s e s   t h e   e m e r ge n c e   o f   n u m e r o us   n e w  we b  pa ge s ,   a l o n g s i de   a   c o n t i n uo us   s t r e a m   o f   n e ws   a r t i c l e s ,   m a ga z i ne   p i e c e s ,   a n d  s c h o l a r ly   wr i t i n g s ,   pa r t i c u lar l y   o n   s o c i a l   m e d i a   p l a t f o r m s .   T hi s   s ur ge   r e s u lt s   i n   a n  a b u n da nc e   o f   t e x t ua l   c o n t e n t   a v a i l a bl e   i n   d i g i t a l   f o r m   [ 1] ,  [ 2 ] .   W i t h   d i g i t a l   t e x t s   b e i ng  w i de ly   a c c e s s i bl e   a n d   t h e   de m a n d  f o r   f l e xi b l e   a c c e s s   c o n t i n ua ll y   gr o wi ng,   t h e   t a s k  o f   t e x t   c l a s s if i c a t i o n   h a s   be c o m e   i n d i s pe ns a bl e   [ 3] .   H o we v e r ,   o n e   o f   t h e   pr i m a r y   c h a ll e n ge s   i n   t hi s   do m a i n   li e s   i n   t h e   v a s t   di m e ns i o na l i t y   o f   t h e   f e a t ur e   s pa c e   [ 4] .   M a ny   o f   t h e s e   f e a t ur e s   pr o v e   i r r e l e v a n t   or   de tr i m e n t a l   t o  c l a s s i f i c a t i o n   a c c ur a c y ,   n e c e s s i t a t i n g  t h e   i de n t i f i c a t i o n   a n d  i nc o r por a t i o n   o f   m o r e   r e l e v a n t   f e a t ur e s   to  e nh a n c e   pe r f o r m a n c e   [ 5] .   Due   to   t h e   l a r ge   a m o u n t   o f   u n s t r uc t ur e d  i nf o r m a t i o n   a v a il a bl e   o n   t h e   W e b ,   ga t h e r i ng  a n d  c o m p i li ng   i n f o r m a t i o n   i s   a   c ha l l e ng i ng  t a s k,   r e qui r i ng  t h e   us e   o f   a ut o m a t e d  m e t h o d s   to   h e l p  r e s e a r c h e r s   c o ll e c t   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E x pe r ime ntal   of  in f or mation  gain   and  A daB oos t  f e atur e   f o r   mac hine  lear ning  c las s i f ier   …   ( J as mir   J a s mir )   1173   a n a ly z e   s e n t i m e n t - r e l a t e d  da t a   [ 6] .  T h e   o bj e c t   o f   s e n t i m e n t   a n a l y s i s   c a n   b e   s pe e c h ,   t e x t ,   a n d  i m a g e s .   He r e   we   us e   a   r e s t a ur a n t   r e vi e w  da t a s e t   whi c h   i s   u s ua ll y   pr e s e n t e d  i n   t e x t   f o r m ,   s o   s e n t i m e n t   a na l y s i s   i n  m o s t   pa pe r s   f o c us e s   o n   t e x t - b a s e d  s e n t i m e n t   a n a ly s i s   [ 7] .   S e v e r a l   pr e vi o us   s t ud i e s   r e l a t e d  to  s e n t i m e n t   a n a ly s i s ,   a s   d i s c us s e d  by   M ukt a f i n   a n d   K u s r i ni   [ 8]   d i s c us s e d  s e n t i m e n t   a n a ly s i s   o f   publi c   s e r vi c e   c us to m e r   s a t i s f a c t i o n   us i ng  K - n e a r e s t   n e i g hb o r   ( K NN ) ,   wi t h  t h e   T F - I DF   f e a t ur e   a n d  pr o duc e d  a n   a c c ur a c y   o f   7 4% .   T h e n   S a n t o s o   e t   al .   [ 9]   di s c u s s e d  s e n t i m e n t   a na l y s i s   o f   h o a x   ne ws   us i ng  Na ï v e   B a y e s   ( NB )   a n d  pr o du c e d  a n   a c c ur a c y   o f   77% .   M e a n w hil e ,   Kh a li d  e t  al .   [ 10]   d i s c us s e d  s e n t i m e n t   a n a ly s i s   f o r   t h e   s pr e a d  o f   C OV I D - 19  us i n g  de e p  l e a r ni ng,   n a m e l y   bi d i r e c t i o n a l   l o n g - s h o r t   t e r m   m e m o r y ,   a n d  pr o duc e d  a n   a c c ur a c y  o f   74. 92% .   L oo ki n g  a t   t h e   r e s u l t s   o f   t h e   c l a s s i f i c a t i o n  pe r f o r m a n c e   e v a l ua t i o n   v a l ue s   a b o v e ,   t h e r e   i s   s t i ll   a n   o ppo r t un i t y   t o   i n c r e a s e   t h e   c l a s s if i c a t i o n   pe r f o r m a n c e   e v a l ua t i o n   v a l ue s   by   c a r r y i ng  o ut  s e v e r a l   e x pe r im e n t s   us i n g  m a c hi ne   l e a r ni ng  m e t h o ds   c o m bi n e d  w i t h  s e v e r a l   f e a t ur e s   to  i n c r e a s e   t h e   c l a s s if i c a t i o n   pe r f o r m a n c e   e v a l ua t i o n   va l u e s .   On e   o f   t h e   c o m m o n   a s pe c t s   i n   s e n t i m e n t   c l a s s if i c a t i o n   a ppr o a c h e s   i s   f e a t ur e   s e l e c t i o n .   T h e   pr o c e s s   o f   s e l e c t i n g  f e a t ur e s   c a n   e nha n c e   b o t h   t h e   e f f i c ien c y   a n d   t h e   e f f i c a c y   o f   t h e   c l a s s i f i e r   [ 11] .   T h i s   c a n   be   a c hi e ve d  by   d im i n i s hi ng  t h e   v o l u m e   o f   a n a ly z e d  da t a   a n d  pi n po i n t i n g  pe r t i n e n t   f e a t ur e s   t h a t   s h o ul d  b e   t a ke n  i n t o   a c c o un t  dur i n g  t h e   l e a r ni ng  pr o c e s s .   On e   o f   t h e   s upe r i o r   f e a t ur e s   i s   I nf o r m a t i o n   ga i n   ( I G)   [ 12] .    IG   e v a l ua t e s   h o w  m uc h   a   wo r d' s   pr e s e n c e   o r   a b s e n c e   a i d s   i n   m a k i n g  pr e c i s e   c l a s s if i c a t i o n   de c i s i o n s   a c r o s s   a l l   c a t e go r i e s .   I t  s e r v e s   a s   a n   e f f e c t i v e   f il t e r i n g  m e t h o d  i n   t e x t   c l a s s i f i c a t i o n   [ 13] ,  [ 14 ] .   A pa r t   f r o m   t h e   IG   f e a t ur e ,   t h e r e   i s   a n o t h e r   f e a t ur e   s uc h   a s   a da pt i v e   b o o s t i n g  ( A da B o o s t ) .   A da B oo s t  i s   a n   a l go r i t hm   w h o s e   b a s i c   c o n c e pt   i s   to   s e l e c t   a n d  c o m bi ne   a   gr o up  o f   we a k  c l a s s i f i e r s   to   f o r m   a   s t r o n g  c l a s s if i c a t i o n   [ 15] .   T h e   A da B o o s t  a l go r i t hm   i s   s pe c i f i c a ll y   de s i g n e d  f o r   c l a s s if i c a t i o n   pur po s e s ,   wh e r e   t h e   l e a r ni ng  i s   a i m e d  a t  i m pr o vi n g  t h e   a c c ur a c y   o f   a ny  we a k  l e a r ni ng  a l go r i t hm   [ 11] .   A da B o o s t  i s   us e d  ge n e r a ll y  to   i m pr o v e   t h e   a c c ur a c y   o f   we a k  l e a r ni ng  i n   pa r t i a l ly   s up e r vi s e d  l e a r ni ng  c l a s s if i c a t i o n   t a s ks   [ 16] .    T h e   m a c hi ne   l e a r ni ng  m e t h o ds   we   us e   a r e   NB ,   K NN ,   a n d  r a n do m   f o r e s t   ( R F ) .   H o we v e r ,   NB   s t i ll   ha s   s h o r t c o m i ngs ,   n a m e ly   w he n   de a l i ng  w i t h   c o m p l e x   d i m e n s i o ns ,   i t   wi ll   r e s u l t   i n   a   l o w  l e ve l   o f   c l a s s i f i c a t i o n  a c c ur a c y   a n d  pr o duc e   bi a s e d  c l a s s if i c a t i o n   r e s u l t s   [ 17] .   M e a n w hil e ,   KN N  h a s   d i s a d v a n t a ge s ,   i n c l ud in g  b e i ng   v e r y   de p e n de n t   o n   f e a t ur e   s c a l i ng  [ 18] ,  [ 19] .  RF   h a s   a   we a kn e s s ,   n a m e ly   t h a t   to   a c hi e v e   pr e d i c t i o n s   w i t h   a   hi g h   l e ve l   o f   a c c ur a c y ,   m o r e   c o m put i n g  r e s o ur c e s   a r e   n e e de d.   T h e   gr e a t e r   t h e   n e e d  f o r   r e s o ur c e s ,     t h e   l o n g e r   i t   t a ke s   to   p r o duc e   pr e di c t i o n s   [ 20] ,  [ 21] .   T h e r e f o r e ,   r e f e r r i n g  to  t h e   pr o bl e m s   a b o v e ,   we   c on duc t e d  r e s e a r c h   a s   we l l   a s   t h e   c o n tr i b ut i o n   o f   t h i s   r e s e a r c h ,   n a m e ly   t o   i n c r e a s e   t h e   a c c ur a c y   o f   s e v e r a l   m a c hi ne   l e a r ni ng  m e t h o ds ,   n a m e ly   NB ,   K NN ,   a n d  RF   by   us i ng  t h e   IG   a n d  A da B o o s t  f e a t ur e s   a s   a   t e c h ni que   to   i n c r e a s e   t h e   c l a s s if i c a t i o n   pe r f o r m a nc e   e va l ua t i o n  v a l ue   o f   m a c hi ne   l e a r ni ng  o n   r e s t a ur a n t  r e vi e w  da t a s e t s .       2.   M E T HO D   T hi s   r e s e a r c h   h a s   a   bi g  e m p h a s i s   o n   t h e   e x pe r i m e n t a l   s t a ge   to  de t e r m i ne   t h e   e f f e c t   o f   t h e   IG   f e a t ur e   a n d  t h e   A da B o o s t  f e a t ur e   i n   i nc r e a s i ng  t h e   e v a l ua t i o n   v a l ue   o f   m a c hi ne   l e a r ni ng  c l a s s i f i c a t i o n   pe r f o r m a n c e .   T h e s e   e x p e r i m e n t s   i nv o l v e   a   t h o r o ugh   a n a ly s i s   o f   s e v e r a l   c o m po ne n t s ,   i n c l ud i ng  t h e   us e   o f   f e a t ur e   s e l e c t i o n  t e c h ni que s ,   t h e   a l l o c a t i o n   o f   da t a   s e t s   f o r   tr a i ni ng  a n d  t e s t i n g,   a n d  t h e   de s i g n   a n d  s e t up  o f   m a c hi ne   l e a r ni ng  m e t h o ds   a n d  a s s o c i a t e d  v a r i a bl e s .   T o  e n s ur e   o p t i m a l   r e s u l t s   f o r   t hi s   r e s e a r c h ,   a   s t r uc t u r e d  s e r i e s   o f   im po r t a n t   s t e ps   wa s   de s i g n e d  t o  de v e l o p  a n   a ppr o pr i a t e   m o de l   a n d  a v o i d  de vi a t i o n   f r o m   t h e   i n t e n de d  g o a l s .     T h e   c l a s s if i c a t i o n   pr o c e s s   i s   o ut l i ne d  i n   F i gur e   1 .     I ni t i a l ly ,   da t a   c o l l e c t i o n   r e qu i r e d  t h e   us e   o f   pu bl i c ly   a v a il a bl e   da t a s e t s   f r o m   K a gg l e .       Ne x t ,   t h e   t e x t   un de r go e s   pr e p r o c e s s i ng,   a n   i m po r tan t   s t e p  i n   pr e pa r i n g  i t   f o r   t r a i ni ng  a n d  t e s t i n g,   whi c h  i nv o l ve s   t o ke ni z a t i o n ,   s to p  w o r d   r e m o v a l ,   a n d  s t e mm i ng.     Af t e r   pr e pr o c e s s i n g,   t h e   r e s e a r c h   m o v e s   o n   to   c o n duc t i n g  t r a i ni ng  a n d  t e s t i n g,   w hi c h   i nv o l v e s   t w o   a ppr o a c h e s :  o n e   w i t h o ut   u t i l i z i ng  f e a t ur e s   a n d  t h e   ot h e r   us i n g  f e a t ur e s .   I n   t h e   f e a t ur e - b a s e d  a ppr o a c h ,   a   c o m bi na t i o n   o f   IG   a n d  A da B o o s t   f e a t ur e s   i s   a pp l ied  a l o n g  w i t h   t h r e e   c l a s s if i e r s .   T h e   a na l y s i s   c o n s ider s   pa r a m e t e r s   s uc h   a s   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   a nd  F 1 - s c o r e .   T e s t i n g  wa s   c a r r i e d  o u t   us i n g  t h e   r e s ul t s   o f   IG   a n d  A da B o o s t .     Af t e r   i m p l e m e n t i n g  a ll   t h e   m e t h o do l o g i e s ,   t h e   ne x t   s t e p  i s   t o   c o m pa r e   t h e   r e s u l t s   o f   t h e   t r a i ni ng   a n d   t e s t i n g  pr o c e s s e s   o f   t h e   t w o  a ppr o a c h e s .   E a c h   c l a s s i f i e r   i n t e gr a t e s   a   m i x   o f   IG   a n d  A da B o o s t   f e a t ur e s .     T h e   pr o c e s s   e n ds   w i t h   a n   e v a l ua t i o n   o f   t h e   t r a i nin g   a n d  t e s t i n g  pr o c e dur e s ,   a s   we ll   a s   a n   a na l y s i s   o f   t h e   r e s u l t i n g  c l a s s i f i c a t i o n   pe r f o r m a n c e .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   2 ,  N o v e m b e r   20 24 :  1 172 - 1 181   1174       F i gur e   1.   R e s e a r c h   f r a m e wo r k       2. 1.     Dat as e t   T h e   s e l e c t i o n   o f   a   da t a s e t  i s   i nf l ue nc e d  by   t h e   da t a   to   b e   pr o c e s s e d,   i n c l ud i ng  s e a r c hi n g  f o r   e xi s t i n g   da t a ,   a n d  o b t a i ni ng  a dd i t i o n a l   d a t a   a s   n e e de d.   W e   us e   o pe n   da t a s e t   f r o m   ka gg l e .   Ov e r a ll ,   we   h a ve   d i s c o v e r e d   s o m e   i n t e r e s t i n g  i n s i g h t s   t h a t  c o ul d  pr o v e   us e f u l   f o r   r e s t a ur a n t  o wn e r s .   Ne x t ,   i n t e gr a t i o n   o f   t h e   c o l l e c t e d   da t a   o c c ur s   i n   da t a   s e t s .   I n   t hi s   s t udy ,   a   r e s t a ur a n t  r e v i e w  da t a s e t  wa s   s e l e c t e d.   T h e r e   a r e   200   r e s t a ur a n t  r e vi e w   da t a   c o n s i s t i n g  o f   100  po s i t i v e   r e vi e w  da t a   a n d  100  n e ga t i v e   r e vi e w  da t a   [ 22] .     2. 2 .     P r e p r oc e s s in g   Da t a   s e l e c t i o n   wa s   c a r r i e d  o ut.   T h e   da t a   i s   c l e a ne d  a n d  t r a n s f o r m e d  i n t o   t h e   de s i r e d  f o r m   b e f o r e   m a k i ng  t h e   m o de l .   T h e   ut i li z e d  da t a s e t   c o m pr i s e s   s o l e ly   100  po s i t i ve   r e vi e w s   a n d  100  n e g a t i v e   r e vi e ws ,   s e r vi ng  a s   t h e   t r a i ni ng  da t a .   T hi s   da t a s e t   un de r go e s   pr e p r o c e s s i ng  t h r o ugh   t h r e e   di s t i nc t   p r o c e s s e s :  T o ke ni z a t i o n ,   S to pwor ds   R e m o v a l ,   a n d  S t e m mi ng.     2. 3 .     F e at u r e   s e l e c t ion   an d   b oos t in g   IG   s t a n ds   a s   t h e   m o s t   s t r a i g h t f o r wa r d  f e a t ur e   s e l e c t i o n   m e t h o d,   c o m m o nly   e m p l o y e d  f o r   r a n k i ng   a tt r i b ut e s .   I t s   wi de s pr e a d  a pp l i c a t i o n   e x t e n ds   to  t e x t   c a t e g o r i z a t i o n ,   m i c r o a r r a y   da t a   a n a ly s i s ,   a n d  i mage   da t a   a n a ly s i s   [ 23] ,  [ 24] .   I G  a i ds   i n  mi t i ga t i n g  n o i s e   s t e m mi ng  f r o m   i r r e l e v a n t   f e a t ur e s   by   i de n t i f yi ng  t h o s e   w i t h  Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E x pe r ime ntal   of  in f or mation  gain   and  A daB oos t  f e atur e   f o r   mac hine  lear ning  c las s i f ier   …   ( J as mir   J a s mir )   1175   t h e   m o s t   i nf o r m a t i o n   r e l a t i v e   t o   a   s pe c i f i c   c l a s s .   T h e   pr o c e s s   o f   de t e r m i n i ng  t h e   o p t i m a l   a t t r i b ut e   i nv o l ve s   i n i t i a ll y   c a l c u l a t i n g  t h e   e n t r o py   v a l ue ,   wh e r e   e n t r op y   s e r v e s   a s   a   m e a s ur e   o f   un c e r t a i n t y   a n d  c a n   be   ut i li z e d  to  de duc e   t h e   c o n c i s e   d i s t r i b ut i o n   o f   f e a t ur e s .   A da B o o s t   s t a n ds   a s   o n e   a m o n g  s e v e r a l   v a r i a t i o n s   o f   t h e   b o o s t i n g  a l go r i t hm   [ 11] .   A da B o o s t,   a   f o r m   o f   e n s e m bl e   l e a r ni n g  f r e que n t l y   e m p l o y e d  i n   b o o s t i n g  a l go r i t hm s ,   c a n   b e   i n t e gr a t e d   wi t h   ot h e r   c l a s s if i e r   a l go r i t hm s   to   e n h a n c e   o v e r a ll   c l a s s if i c a t i o n   pe r f o r m a n c e .   T h e   i n t u i t i v e   i d e a   i s   t h a t  c o m bi n i ng  d i ve r s e   m o de l s   pr o v e s   b e n e f i c i a l .   A da B o o s t   a n d  i t s   v a r i a t i o ns   h a v e   f o un d  s uc c e s s   a c r o s s   v a r i o us   d o m a i ns ,   o wi n g   to  t h e i r   r o b us t   t h e or e t i c a l   f o u n da t i o n ,   pr e c i s e   pr e d i c t i o ns ,   a n d  s t r a i g h t f o r wa r d  i m p l e m e n t a t i o n .     2. 4 .     L e ar n in g  m od e l   2. 4. 1.   K NN   K NN   a l go r i t hm   i s   a n   a ppr o a c h   t o   c l a s s if y   o bj e c t s   by   ut i l i z i ng  l e a r ni ng  da t a   t h a t   i s   i n   c l o s e   pr o xi mi t y  to   t h e   g i v e n   o bj e c t   [ 25] ,   [ 26] .  K NN   i s   a   l e a r ni ng  a l go r i t hm   t h a t   do e s   n ot   i nv o l v e   a   d e d i c a t e d  o f f li ne   t r a i ni ng   ph a s e   [ 27] .   Al l   t r a i ni ng  do c u m e n t s   a r e   s to r e d  a n d  c o m put a t i o n s   a r e   po s t p o n e d  un t i l   t h e   pr e d i c t i o n   p h a s e .     I n   t h e   c a s e   o f   e a c h   t e s t  d o c u m e n t ,   K NN   a r r a n ge s   t h e   l a b e ll e d   e x a m p l e s   f r o m   t h e   t r a i ni ng  s e t   b a s e d  o n   pr o xi m i t y   a n d  ut i l i z e s   t h e   c a t e g or y   o f   t h e   hi g h e s t - r a n ke d  n e i g hb o r   to  a s s i g n   c l a s s e s .   T h e   gr e a t e r   t h e   pr o xi m i t y   o f   n e i g hb o r   wi t hi n   t h e   s a m e   c a t e gor y ,   t h e   m o r e   c o nf i de n t   t h e   pr e d i c t i o n   b e c o m e s   [ 28] .     2. 4. 2.   Naïve   B aye s   NB   s t a n ds   o u t  a s   o n e   o f   t h e   m o s t   s t r a i g h t f o r wa r d  pr o b a bil i s t i c   c l a s s i f i e r   m o de l s   [ 29] .   T hi s   n a ï ve   a s s u m pt i o n   c a n   o f f e r   a   ba l a n c e d  c o m pr o m i s e   b e t w e e n   pe r f o r m a n c e   a n d  c o m put a t i o n a l   e x p e n d i t ur e .     T a n g   e t  al.   [ 30 ]   f o un d  t h a t   NB   c a n   a l s o   pe r f o r m   we l l   w h e n   f e a t ur e s   a r e   i n t e r de pe n d e n t .   I n   a dd i t i o n ,     E l ha da d  e t  al.   [ 31]   c o n t e n d  t h a t   t h e   ge n e r a t i ve   m o de l   pr o d uc e d  i s   e a s il y   i n t e r pr e t a bl e   a n d  e xp l a i na bl e .   M o r e o v e r ,   a s   a   ge n e r a t i v e   c l a s s if i e r ,   NB   c a n   b e   de e m e d  s u i t a bl e   f o r   s m a ll e r   s a m p l e   s i z e s   o wi ng  to  i t s   i nhe r e n t   r e gul a r i z a t i o n ,   r e duc i n g  t h e   l i ke li h o o d  of   o v e r f i t t i n g  wh e n   c o m p a r e d  to   di s c r im i na t i ve   c l a s s if i e r s   [ 32] .   Ne v e r t h e l e s s ,   NB   f a il s   t o  c a p t ur e   i n t e r a c t i o n   e f f e c t s   a m o n g  f e a t ur e s .   A s   a   r e s u l t ,   i t   i s   a n t i c i pa t e d  to  e xhi b i t   s a t i s f a c t o r y   pe r f o r m a n c e   i n   s c e n a r i o s   c h a r a c t e r i z e d  by   d i s t i n c t   i n d i v i dua l   s i g n a l   wo r ds   a n d   s t r a i g h t f o r wa r d  c o n n e c t i o n s   b e t we e n   t e x t   f e a t ur e s   a n d  t h e i r   c o r r e s p o n d i n g  c l a s s e s ,   s uc h   a s   i n   b a s i c   f o r m s   o f   pr o m ot i o na l   c o n t e n t   de t e c t i o n   [ 33] .     2. 4. 3.   Rand om   f or e s t   R F   i s   a n   e n s e m b l e   l e a r ni ng  t e c hni que   t h a t  c o n s t r u c t s   n u m e r o us   r a n do m ,   i n de pe n de n t   de c i s i o n   t r e e s   ( DT s ) .   E a c h   DT   c o n t r i b ut e s   a   v o t e   f o r   t h e   c l a s s   o f   t e s t   e x a m p l e s ,   a n d  t h e   m o s t   pr e v a l e n t   c l a s s   u lt i m a t e ly   d i c t a t e s   t h e   f i na l   pr e d i c t i o n   o f   t h e   R F   c l a s s i f i e r .   T hi s   pr o c e s s   i s   r e f e r r e d  to   a s   b a gg i ng   [ 34] .   T h e   gr e a t e r   t h e   n u m be r   o f   pr e d i c t or s ,   t h e   m o r e   tr e e s   n e e d  t o   b e   ge n e r a t e d  to   a c hi e ve   o p t i m a l   pe r f o r m a n c e .   Va r i o us   t e c h ni que s   c a n   b e   e m p l o y e d  to   i nc o r p o r a t e   r a n dom ne s s   a n d  e nh a nc e   i n d i v i dua l   DT s ,   s uc h   a s   r a n do m   f e a t ur e   s e l e c t i o n   a n d  t h e   r a n do m   s e l e c t i o n   o f   s u b s e t s   o f   t h e   da t a .   De s p i t e   t h e i r   s us c e pt i bil i t y   t o   o v e r f i t t i ng  due   to  t h e i r   hi g h   f l e xi b il i t y ,   t h e s e   i nd i vi dua l   DT s   c a n   b e   im pr o v e d  t h r o ugh   t h e s e   r a n do m i z a t i o n   m e t h o ds   [ 35 ] .     R F   a ddr e s s e s   t hi s   c ha l l e nge   by   a ggr e ga t i n g  m u l t i p l e   DT s   b a s e d  o n   a   r a n do m ly   s e l e c t e d  a n d  d i ve r s e   s ub s e t   o f   v a r i a bl e s .       3.   RE S UL T S   AN D  DI S CU S S I ON   T hi s   r e s e a r c h   i nv e s t i ga t e s   t h e   e f f e c t s   o f   t h e   IG   a n d  A da B o o s t  f e a t ur e s   a n d  t h e i r   c o m pa r i s o n   w i t h   t h e   NB ,   K NN ,   a n d  RF   m e t h o ds   i n   i n c r e a s i ng  t h e   e v a luat i o n   v a l ue   o f   c l a s s i f i c a t i o n   pe r f o r m a nc e .   W hil e   pr e vi o us   r e s e a r c h   h a s   us e d  K NN   w i t h   T F - I DF   f e a t ur e s ,   t h e   a c c ur a c y   i s   s t i ll   n o t   v e r y   hi g h .   T hi s   r e s e a r c h   h a s   e x p l o r e d  t h e   i m pa c t   o f   t h e   IG   f e a t ur e   a n d  t h e   A d a B o o s t   f e a t ur e   o n   i nc r e a s i ng  t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   e va l ua t i o n  v a l ue   o f   t h e   3  m e t h o ds   a b o v e ,   b ut   h a s   n o t   e x p l i c i t ly   d i s c u s s e d  i t s   e f f e c t   o n   t h e   c o m put a t i o n a l   p e r f o r m a n c e   o f   t h e   pr o c e s s .   T h e   r e s u l t s   o f   t hi s   e x pe r im e n t   a r e   i n  l i ne   w i t h   t h e   r e s e a r c h   o bj e c t i v e s ,   s h o w i n g  a n   i n c r e a s e   i n  c l a s s if i c a t i o n   pe r f o r m a n c e   e v a l ua t i o n   v a l ue s ,   n a me l y   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   a n d  F 1 - s c o r e .   T h e   da t a   we r e   d i vi de d  i n t o   t r a i ni ng  da t a   a n d  t e s t i n g  da t a   w i t h   a   r a t i o   o f   80: 20,   a n d  10 - f o l d  c r o s s - v a li da t i o n   w a s   us e d.     Us i n g  t h e   R a p i d mi ne r   too l ,   t h e   s t udy   wa s   c o nf i gu r e d  us i n g  t h e   “ s e l e c t   by   we i g h t ”   o pe r a tor ,   wi t h   pa r a m e t e r s   s e t   to   “ we i g h t   r e l a t i o n s hi p  =   t o p  k”   a n d  “ k  =   10” .   W h e r e   t h e   to p  10  a tt r i b ut e s   a n d  t h e i r   r e s pe c t i v e   we i g h t s   w i ll   b e   ge n e r a t e d   a s   s h o w n   i n   T a bl e   1.   T h e   we i g h t s   i n   T a bl e   1  a r e   t h e   we i g h t s   t h a t   h a v e   b e e n   ge n e r a t e d  by   t h e   s e l e c t   by   w e i g h t   o pe r a to r .   B e c a us e   t h e   r e s ul t   s t i ll   h a s   a   v a l ue   o f   0,   t h e   o nl y   a tt r i b ut e   wh o s e   we i g h t   i s   d i s p l a y e d  i n   e a c h   do c u m e n t   h a s   a   we i g h t   =   1.   Am o n g  t h e   10  a t t r i b ut e s   a b o v e ,   o nly  t h e   d i s s a po i n t   a tt r i b ut e   h a s   a   we i g h t   =   1.   T h e   ot h e r   ni ne   a tt r i b ut e s   h a v e   a   va l u e   b e l o w  1.   T a bl e   2  s h o ws   t h e   a t t r i b ut e s   t h e s e   a t tr i b ut e s   a r e   i n  t h e   do c u m e n t   i n  v e c t o r   f o r m .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   2 ,  N o v e m b e r   20 24 :  1 172 - 1 181   1176   T a bl e   1.   T o p   f e a t ur e s   a n d  t h e i r   we i g h t s   A tt r ib ut e   W e ig ht s   ove r pr   0.575   w a nt   0.576   r e v i e w   0.593   f a vo r it   0.708   a ma z   0.713   de li c i   0.713   goo d   0.767   de f in it   0.911   di s s a po in t   1       T a bl e   2.   A tt r i b ut e s   i n   v e c to r   f o r m   No   N umbe r   of   d oc um e nt s   D is s po in t   C la s s   1   12   2   N e ga ti v e   2   17   2   N e ga ti v e   3   28   2   N e ga ti v e   4   96   2   N e ga ti v e   5   23   1   N e ga ti v e   6   64   1   P o s it i ve   7   76   1   P o s it i ve   8   149   1   P o s it i ve   9   64   1   P o s it i ve   10   76   1   P o s it i ve       W e   f oun d   t h a t  th e   IG   f e a t u r e s   a n d   A da B oos t  f e a tu r e s   th a t  we r e   c or r e l a t e d   wi t h   t h e   NB ,   K N N ,   a n d   R F   m e t h o ds   ten de d   to  h a v e   a   h i gh e r   p r op or t i o n   o f   r e s ul t s   t h a n   us i n g  m a c hi n e   l e a r ni n g   m e t h ods   wi t h o u t  f e a tur e s .   T a bl e   3   pr e s e n t s   t h e   c o n f us i o n   m a tr i x   r e s u l t s   f r o m   t h e   NB   m e t h o d   w i t h o u t  us i n g  t h e   IG   f e a tu r e   a n d   t h e   A da B oos t  f e a tu r e   a n d  a f t e r   us i n g  t h e   IG   f e a tu r e   a n d  th e   A da B oos t  f e a tu r e .   B e f or e   us i n g  t h i s   f e a tu r e ,   y o u   c a n   s e e   th e   r e s ul t s   o f   th e   c o m p os i t i o n   o f   t h e   m a tr i x   v a l ue s .   I f   y ou   l ook   a t  th e s e   r e s ul t s ,   th e   f a l s e   p os i t i v e ,   a n d   f a l s e   n e g a t i v e   v a l ue s   a r e   s t i l l   hi gh .   T hi s   c a n   a l s o  h a p pe n   b e c a us e   NB   a bi l i t y   to  p r oc e s s   c o m p l e x   da ta   i s   s t i l l   n ot  op t i m a l ,   pl us   t h e   c o m p o s i t i o n   o f   t h e   a tt r i b u tes   c o n t a i n e d   i n   t h e   da tas e t  c a n n ot  y e t   b e   us e d   b e c a us e   m o s t  o f   t h e   f e a tur e   we i gh t s   a r e   s t i l l   w or t h   0 .   M e a n whi l e ,   t h e   r e s ul t s   a f t e r   us i n g  th e   f e a tu r e s ,   t h e   r e s ul t s   a r e   fa l s e   p os i t i v e   a nd  f a l s e   n e ga t i v e   h a s   de c r e a s e d   c o m pa r e d   to  th e   p r e vi o us   f a l s e   p o s i t i v e   a n d   f a l s e   n e g a t i v e   v a l ue s .   T h e   m o s t  s i gni f i c a n t  de c r e a s e   wa s   f a l s e   p os i t i v e ,   r e s u l t i n g  i n   a n   i n c r e a s e   i n   c l a s s i f i c a t i o n   pe r f or m a n c e   v a l ue s .   I n   t hi s   p r oc e s s ,   th e   i nf l ue n c e   o f   IG   a n d   A da B oos t  c a n   b e   p r o v e n ,   b u t  th e   a c c u r a c y   r e s u l t s   a r e   n ot  y e t  s i gni f i c a n t.   E v e n   th ou gh   t h e y   h a v e   i m pr o v e d ,   IG   a n d   A da B oos t  c a n not  y e t  b e   c a teg or i z e d   a s   s ui t a bl e   f e a tu r e s   f or   t h e   NB   m e t h o d .   Af t e r   c a r r y i ng  o u t   NB   t e s t i n g  w i t h   t h e   IG   a n d   A da B o o s t  f e a t ur e s ,   to   s e e   a n   o v e r vi e w  o f   t h e   d i f f e r e n c e s   i n  t h e s e   r e s u l t s   c a n   b e   s e e n   i n  T a bl e   4  a n d  F i gur e   2.   F r o m   T a bl e   4  a n d  F i gur e   2  i t   c a n   b e   s e e n   t h a t   t h e   r e s u l t s   o f   t h e   NB   t e s t   wi t h o ut  us i n g  t h e   IG   a n d  A da B o o s t   f e a t ur e s   o b t a i ne d  v a l ue s   a c c ur a c y   o f   77. 5% ;  pr e c i s i o n   80. 39% ;   r e c a ll   o f   76. 63% ;   a n d  F 1 - s c o r e   o f   78. 46% .   Af t e r   us i n g  IG   a n d  A da B o o s t,   t h e   a c c ur a c y   v a l ue   i nc r e a s e d  by   80. 5% ;   pr e c i s i o n   t o  84. 15 % ;   r e c a l l   b e c a m e   78. 70% ;   a n d  F 1 - s c o r e   b e c a m e   81. 34% .     T hi s   m e a ns   t h a t   t h e   NB   a l go r i t hm   e x pe r i e nc e d  a n  i n c r e a s e   i n  a c c ur a c y   o f   3% ,   pr e c i s i o n   o f   3. 76% ,   r e c a l l   o f   2. 06% ,   a n d  F 1 - s c o r e   o f   2. 87% .   F r o m   t h e   c o nf u s i o n   m a t r i x   a b o ve ,   e a c h   c l a s s if i c a t i o n   pe r f o r m a n c e   e v a l ua t i o n  v a l ue   i s   o b t a i n e d,   n a m e ly   pr e c i s i o n ,   r e c a l l   a c c ur a c y ,   a n d  F 1 - s c o r e   a s   i n   T a bl e   4  a n d  F i gur e   2 :       T a bl e   3.   C o n f u s i o n   m a t r i x   o f   NB   a l go r i t hm   b e f o r e   a n d  a f t e r   us i n g  t h e   IG   f e a t ur e   a n d  A da B o o s t   f e a t ur e s   M e tr i x   B e f or e   A f t e r   TP   82   85   FP   20   16   FN   25   23   TN   73   76       T a bl e   4.   E v a l ua t i o n   o f   t h e   pe r f o r m a nc e   o f   NB   c l a s s i f i e r   E v a lu a ti o n   NB   N B +  I G  +  A da B oo s t   A c c u r a c y   77 . 5   80 . 5   P r e c is i o n   80 . 3921569   84 . 158416   R e c a ll   76 . 635514   78 . 703704   F1 - s c o r e   78 . 4688995   81 . 339713   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E x pe r ime ntal   of  in f or mation  gain   and  A daB oos t  f e atur e   f o r   mac hine  lear ning  c las s i f ier   …   ( J as mir   J a s mir )   1177       F i gur e   2.   E v a l ua t i o n   o f   t h e   pe r f o r m a n c e   o f   NB   c l a s s i f i e r       T a bl e   5   pr e s e n t s   t h e   c o nf us i o n   m a t r i x   r e s u l t s   o f   t h e   K NN   m e t h o d   b e f o r e   a n d  a f t e r   us i n g  t h e   IG   f e a t ur e   a n d  t h e   A da B o o s t  f e a t ur e .   B e f o r e   us i n g  t h e   f e a t ur e ,   y o u  c a n   s e e   t h a t  t h e   c o m po s i t i o n   r e s u l t s   a r e   t r ue   po s i t i v e   =   89,   f a l s e   po s i t i v e   =   21,   f a l s e   n e ga t i v e   =   20 ,   an d  t r ue   n e ga t i v e   =   70.   I f   y o u  l o o k   a t   t h e s e   r e s u l t s ,   t h e   f a l s e   po s i t i v e   a n d  f a l s e   n e ga t i v e   v a l ue s   a r e   s t i l l   hi g h .   T hi s   h a pp e n s   be c a us e   K NN   i s   a   v e r y   s im p l e   m e t h o d   a n d  t h e   K NN   e v a l ua t i o n   r e s u l t s   a r e   v e r y   de pe n de nt  o n   f e a t ur e   s c a l i ng.   M e a n w hil e ,   a f t e r   us i n g  t h e   IG   f e a t ur e   an d  t h e   A da B o o s t  f e a t ur e ,   y o u  c a n   s e e   t h e   r e s u l t s   o f   t h e   c o m po s i t i o n   t r ue   p o s i t i ve   =   91,   f a l s e   po s i t i v e   =   14,   f a l s e   n e ga t i v e   =   18 ,   a n d  t r ue   n e ga t i v e   =   77.   I f   y o u  l o o k  a t   t h e s e   r e s u l t s ,   t h e   f a l s e   po s i t i v e ,   a n d  f a l s e   n e ga t i ve   v a l ue s   h a v e   de c r e a s e d  c o m pa r e d  to  t h e   pr e vi o us   F P   a n d  F N.   T h e   m o s t  s i g ni f i c a n t   de c r e a s e   i n   v a l ue   wa s   a l s o   f o u n d  i n   F a l s e   P o s i t i v e ,   r e s u l t i n g  i n   a n   i nc r e a s e   i n   t h e   c l a s s if i c a t i o n   pe r f o r m a nc e   va l u e .   I n   t hi s   pr o c e s s ,     t h e   i nf l ue n c e   o f   IG   a n d  A da b o o s t   c a n   a l s o   b e   pr o v e n ,   b ut   t h e   a c c ur a c y   r e s u l t s   a r e   n o t  y e t   s i g nif i c a n t .     E v e n   t h o ugh   t h e y   ha v e   i nc r e a s e d,   IG   a n d  A da B o o s t   c a nn ot   y e t   b e   c a t e go r i z e d  a s   s u i t a bl e   f e a t ur e s   f o r   t h e   K NN   m e t h o d.       T a bl e   5 .   C o n f u s i o n   m a t r i x   o f   KN N  a l go r i t hm   b e f o r e   a n d  a f t e r   us i n g  t h e   IG   f e a t ur e   a n d  A da B o o s t  f e a t ur e s   M e tr i x   B e f or e   A f t e r   TP   89   91   FP   21   14   FN   20   18   TN   70   77       Af t e r   t e s t i n g  K N N  w i t h   t h e   IG   a n d  A da B o o s t   f e a t ur e s ,   to   s e e   a n   i ll u s t r a t i o n   o f   t h e   d i f f e r e n c e s   i n   t h e   r e s u l t s ,   y o u  c a n   s e e   i n   T a bl e   6   a n d  F i gur e   3.   F r om   T a bl e   6   a n d  F i gur e   3  y o u  c a n   s e e   t h a t   t h e   r e s ul t s   o f   t h e   K NN   t e s t  wi t h o ut  us i n g  t h e   IG   a n d  A da B o o s t  f e a t ur e s   o b t a i n e d  a n   a c c ur a c y   v a l ue   o f   79. 5  % ;   pr e c i s i o n  80. 91% ;   r e c a l l   o f   81. 65% ;   a n d  F 1 - s c o r e   o f   81. 27% .   Af t e r   us i n g  IG   a n d  A da B o o s t ,   t h e   a c c ur a c y   v a l u e   i nc r e a s e d  by   84% ;   pr e c i s i o n   to   86 . 67% ;   r e c a l l   be c a m e   83. 48% ;   a n d  F 1 - s c o r e   b e c a m e   85. 04% .   T hi s   m e a ns   t h a t   t h e   K NN   a l go r i t hm   e x pe r i e nc e d  a n   i nc r e a s e   i n   a c c ur a c y   o f   4. 5% ,   pr e c i s i o n   o f   5. 75% ,   r e c a l l   o f   1. 83% ,   a n d  F 1 - s c o r e   o f   3. 76% .   F r o m   t h e   c o nf us i o n   m a t r i x  a b o v e ,   e a c h   c l a s s if i c a t i o n   pe r f o r m a n c e   e v a l u a t i o n  v a l ue   is   o b t a i n e d,   n a m e ly   pr e c i s i o n ,   r e c a l l   a c c ur a c y ,   a n d  F 1 - s c o r e   a s   i n   T a bl e   6   a n d  F i gur e   3 .       T a bl e   6 .   E v a l ua t i o n   o f   t h e   pe r f o r m a nc e   o f   K NN   c l a s s if i e r   E v a lu a ti o n   K N N   K N N  +  I G  +  A da B oo s t   A c c u r a c y   79 . 5   84   P r e c is i o n   80 . 90909   86 . 666667   R e c a ll   81 . 65138   83 . 486239   F1 - s c o r e   81 . 27854   85 . 046729         Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   2 ,  N o v e m b e r   20 24 :  1 172 - 1 181   1178       F i gur e   3 .   E v a l ua t i o n   o f   t h e   pe r f o r m a n c e   o f   K NN   c l a s s if i e r       T a bl e   7  pr e s e n t s   b e f o r e   a n d  a f t e r   us i n g  t he   I G  f e a t ur e   a n d  t h e   A da B o o s t   f e a t ur e .   B e f o r e   us i n g  t h e   f e a t ur e ,   y o u  c a n   s e e   t h a t   t h e   c o m po s i t i o n   r e s u l t s   a r e   tr ue   p o s i t i ve   =   79,   f a l s e   po s i t i v e   =   29,   f a l s e   n e ga t i v e   =   22 ,   a n d  t r ue   n e ga t i v e   =   70.   I f   y o u  l o o k  a t   t h e s e   r e s u l t s ,   t h e   F a l s e   P o s i t i ve   a n d  f a l s e   n e ga t i v e   v a l ue s   a r e   s t i l l   hi g h .   T hi s   h a ppe n s   b e c a u s e   RF   i s   a n   a l go r i t hm   t h a t  r e qui r e s   m o r e   c o m put i n g  r e s o ur c e s .   I n   t hi s   c a s e ,   RF   a l s o   t a ke s   a   l o n g  t i m e   to  c a r r y   o u t  c l a s s if i c a t i o n .   M e a nwhil e ,   a f t e r   us i n g  t h e   I G   f e a t ur e   a n d  t h e   A da B o o s t   f e a t ur e .   Yo u   c a n   s e e   t h e   c o m po s i t i o n   r e s u l t s   o f   tr ue   p o s i t i v e   =   95,   f a l s e   po s i t i v e   =   16,   f a l s e   n e ga t i v e   =   15 ,   a n d  t r ue   n e ga t i v e   =   74.   I f   y o u  l o o k   a t  t h e s e   r e s u l t s ,   t h e   f a l s e   po s i t i v e ,   a n d  f a l s e   ne ga t i v e   v a l ue s   h a v e   de c r e a s e d   c o m pa r e d  to   t h e   pr e vi o us   F P   a n d  F N.   T h e   m o s t   s i gnif i c a n t   de c r e a s e   i n   v a l ue   wa s   a l s o   f o un d  i n   f a l s e   p o s i t i ve ,   c a us i ng  t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   v a l ue   t o   i nc r e a s e .   I n   t hi s   pr o c e s s ,   t h e   i nf l ue n c e   o f   I G  a n d  Ada B o o s t   c a n   be   pr o v e n ,   a n d  t h e   c l a s s if i c a t i o n   pe r f o r m a n c e   e v a l u a t i o n   r e s u l t s   a l s o   e x pe r i e n c e   a   s i g ni f i c a n t   i nc r e a s e .   T hi s   s i g ni f i c a n t   i n c r e a s e   i n   v a l ue   i s   c a us e d  by   t he   I G  f e a t ur e .   T hi s   IG   i s   s u i t a bl e   w h e n   c o m bi ne d  w i t h   t h e   RF   a l go r i t hm .       T a bl e   7 .   C o n f u s i o n   m a t r i x   o f   RF   a l go r i t hm   b e f o r e   a n d  a f t e r   us i n g  t h e   I G  f e a t ur e   a n d  A da B o o s t   f e a t ur e s   M e tr i x   B e f or e   A f t e r   TP   79   95   FP   29   16   FN   22   15   TN   70   74       F r o m   t h e   c o nf us i o n   m a t r i x   a b o v e ,   e a c h   c l a s s i f i c a t i o n   pe r f o r m a n c e   e va l u a t i o n   v a l ue   i s   o b t a i n e d,   n a m e ly   pr e c i s i o n ,   r e c a l l   a c c ur a c y ,   a n d  F 1 - s c o r e   a s   i n   T a bl e   8  a n d  F i gur e   4 .   F r o m   T a bl e   8   a n d  F i gur e   4,   i t   c a n   b e   s e e n   t h a t   t h e   r e s u l t s   o f   RF   t e s t i n g  w i t h o ut  us i ng  t h e   IG   a n d  A da B o o s t   f e a t ur e s   o b t a i n e d  a n   a c c ur a c y   v a l ue   o f   74. 5% ;   pr e c i s i o n   o f   73. 14% ;   r e c a l l   o f   78. 21% ;   a n d  F 1 - s c o r e   o f   75. 59% .   A f t e r   us i n g  I G  a n d  A da B o o s t ,    t h e   a c c ur a c y   va l u e   i n c r e a s e d  by   84. 5% ;   pr e c i s i o n   to  85. 58 % ;   r e c a l l   wa s   86. 36% ;   a n d  F 1 - s c o r e   wa s   85. 97% .     T hi s   m e a n s   t h a t   t h e   RF   a l go r i t hm   e x pe r i e nc e d  a n   i n c r e a s e   i n   a c c ur a c y   o f   10% ,   p r e c i s i o n   o f   12. 43% ,   r e c a l l   o f   8. 14% ,   a n d  F 1 - s c o r e   o f   10. 37% .       T a bl e   8 .   E v a l ua t i o n   o f   t h e   pe r f o r m a nc e   o f   RF   c l a s s if i e r   E v a lu a ti o n   RF   R F  +  I G  +   A da B oo s t   A c c u r a c y   74 . 5   84 . 5   P r e c is i o n   73 . 14815   85 . 585586   R e c a ll   78 . 21782   86 . 363636   F1 - s c o r e   75 . 59809   85 . 972851       Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E x pe r ime ntal   of  in f or mation  gain   and  A daB oos t  f e atur e   f o r   mac hine  lear ning  c las s i f ier   …   ( J as mir   J a s mir )   1179       F i gur e   4.   E v a l ua t i o n   o f   t h e   pe r f o r m a n c e   o f   R F   c l a s s i f i e r       B a s e d  o n   t hi s   e x pe r im e n t ,   we   h a ve   s uc c e e de d   i n   pr o vi n g  t h e   e f f e c t   o f   I G  a n d  A da B o o s t   i n  i nc r e a s i n g  t h e   e v a l ua t i o n   v a l ue   o f   c l a s s i f i c a t i o n   p e r f o r m a n c e   f o r   s e ve r a l   m a c hi ne   l e a r ni ng  m e t h o ds   s uc h   a s   NB ,   K NN ,   a n d  RF .   F r o m   t h e   di s c us s i o n   a b o v e ,   i t   c a n   be   s e e n   t h a t  t h e   r e s u l t s   o f   t h e   c o m pa r i s o n   o f   th e   t h r e e   m e t h o ds   a b o v e ,   t h e   t h r e e   m e t h o ds   a b o ve   e x pe r i e n c e d  a n   i nc r e a s e   a f t e r   us i ng  I G  a n d  A da B o o s t .   NB   a n d  K NN   h a v e   i nc r e a s e d,   b ut   t h e   i n c r e a s e   i s   n o t   v e r y   hi g h ,   a n d  t h e   o v e r a l l   v a l ue   i s   n o t  e v e nly   d i s t r i b ut e d.   T h e   r e c a l l   pr e c i s i o n   a n d  F 1 - s c o r e   a c c ur a c y   v a l ue s   e x pe r i e n c e   qui t e   hi g h   d i f f e r e n c e s ,   t hi s   o c c ur s   b e c a us e   t h e   dif f e r e n c e   i n  f a l s e   po s i t i v e   a n d  f a l s e   ne ga t i v e   v a l ue s   i s   t oo   s i g nif i c a n t .   I n   c o n t r a s t   to   t h e   RF   a l go r i t hm ,   t hi s   a l go r i t hm  e x pe r i e n c e d  ve r y   s i g nif i c a n t   r e s u l t s ,   t h e   r e s u l t s   o f   th e   RF   c l a s s if i c a t i o n   pe r f o r m a n c e   e v a l u a t i o n   a l s o   ten d e d  t o   b e   s t a bl e   a n d  a l m o s t   e v e nly   d i s t r i b ut e d  b e t we e n   th e   a c c ur a c y ,   pr e c i s i o n   r e c a ll ,   a n d  F 1 - s c o r e   v a l ue s .   T hi s   i s   b e c a us e   t h e   f a l s e   po s i t i v e   a n d  f a l s e   n e ga t i v e   v a l u e s   a r e   a l m o s t   e v e nly   d i s t r i b ut e d,   a n ot h e r   r e a s o n   i s   b e c a u s e   o n e   o f   t h e   s uppo r t i n g  f e a t ur e s ,   n a m e ly   t h e   I G  f e a t u r e ,   i s   v e r y   c o m pa t i bl e   w i t h   t h e   RF   a l go r i t hm .       4.   CONC L USI ON   I n   t hi s   pa pe r ,   s e v e r a l   m a c hi ne   l e a r ni ng  m e t h o ds   s uc h   a s   NB ,   K NN ,   a n d  R F   a s   we l l   a s   f e a t ur e   s e l e c t i o n   s uc h   a s   IG   a n d  A da B o o s t  a r e   us e d  to  de t e r m i ne   t h e   e f f e c t   o f   i n c r e a s i ng  t h e   e v a l ua t i o n  v a l u e   o f   c l a s s if i c a t i o n   pe r f o r m a nc e   o n   r e s t a ur a n t  r e vi e w  d a t a .   T h e   e x pe r i m e n t   c o m pa r e s   s e v e r a l   pr e vi o u s   a n d  l a t e r   m a c hi ne   l e a r ni ng  m e t h o ds   us i ng  f e a t ur e   s e l e c t i o n .   B a s e d  o n   t e s t s   t h a t  h a ve   b e e n   c a r r i e d  o u t   o n   s e v e r a l  m a c hi ne   l e a r ni ng  m e t h o ds   a n d  a   c o m bi na t i o n   o f   t h e   t w o  s e l e c t i o n   f e a t ur e s ,   a l l   m a c hi ne   l e a r ni ng  m e t h o ds   h a v e   e x pe r i e n c e d  a n   i n c r e a s e   i n   c l a s s i f i c a t i o n   pe r f o r m a n c e   e v a l ua t i o n   va l ue s ,   n a m e ly   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   an d  F 1 - s c o r e .   B u t   t h e   b e s t   c l a s s i f i e r   i s   t he   RF   a l go r i t hm .   R F   pr o duc e s   a   s i g nif i c a n t   i n c r e a s e   i n  v a l u e   a f t e r   us i n g  t h e   IG   a n d  A da B o o s t   f e a t ur e s .   R F   a l s o   p r o duc e s   e ve n   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   a n d  F 1 - s c o r e   v a l ue s   a f t e r   us i n g  IG   a n d  A d a B o o s t .   T h e   r e s u l t s   o f   e v a l ua t i n g  t h e   pe r f o r m a nc e   o f   t h e   RF   c l a s s i f i c a t i o n   a l s o   t e n d  to  b e   s t a bl e   a n d  a l m o s t   e v e nly   d i s t r i b ut e d  b e t we e n   t h e   a c c ur a c y ,   pr e c i s i o n   r e c a l l ,   a n d  F 1 - s c o r e   v a l u e s .   o n e   o f   t h e   r e a s o n s   i s   t h a t   t h e   f a l s e   po s i t i v e   a n d  f a l s e   ne ga t i v e   va l u e s   a r e   a l m o s t   e v e nl y   d i s t r i b ut e d,   a n ot h e r   c a us e   i s   b e c a us e   o n e   o f   t h e   s uppor t i n g  f e a t ur e s ,   n a m e l y   t h e   I G  f e a t ur e ,   i s   v e r y   c o m p a t i bl e   w i t h  t h e   DT   a l go r i t hm ,   o f   w hi c h   RF   i s   pa r t   o f   t h e   DT .       RE F E R E NC E S   [ 1]   G .  X u,   Y .  M e ng,   X .  Q iu ,  Z .  Y u,   a nd  X .  W u,  “ S e nt im e nt   a na l y s is   of   c o m me nt   t e x ts   ba s e d  o n   B i L S T M ,”   I E E E   A c c e s s ,  vo l .  7,    no .  c , pp. 51522 – 51532, 2019, d o i:  10.1109/AC C E S S .2019.290 9919.   [ 2]   A .  R .  A l a e i,   S .  B e c k e n,  a nd  B .  S ta nt ic ,  “ S e nt im e nt   a na l y s is   in   to ur is m:   c a pi ta li z in g  o n  bi g  da ta ,”   J our nal   o f  T r av e l   R e s e a r c h ,    vo l.  58, n o . 2, pp. 175 – 191, 2019, d o i:  10.1177/004728751 774 7753.   [ 3]   J .  J a s mi r ,  S .  N ur ma in i,   R .  F .  M a li k,  a nd   B .  T ut uk o ,  “ B ig r a m  f e a tu r e   e x tr a c ti o n  a nd  c o ndi ti o na l  r a nd o m  f i e ld s   mo d e l  to   im p r ove   te x t  c la s s if ic a ti o n   c l in ic a l   tr ia l  d oc um e nt ,”   T E L K O M N I K A   ( T e le c om m uni c at io n  C om put in g  E le c tr oni c s   and  C ont r ol ) ,  v o l.   19,     no . 3, pp. 886 – 892, 2021, d o i:  10.12928/ T E L K O M N I K A . v 19i 3 .18357.   [4 ]   G .  K o u,  P .  Y a ng,  Y .  P e ng,  F .  X ia o ,  Y .  C he n,  a nd  F .  E .  A ls a a di ,  “ E v a lu a ti o n  of   f e a tu r e   s e l e c ti o n  m e th o ds   f o r   t e x t  c la s s if ic a ti o n   w it h s ma ll  da ta s e ts  us in g mul ti pl e  c r it e r ia  de c is i o n - ma ki ng m e t ho ds ,”   A ppl ie d Sof t  C om put in g , vo l.  86, 2019.   [ 5]   S .  N ur ma in i,   R .  U .  P a r ta n,   W .  C a e s a r e ndr a ,  a nd  T .  D e w i,   “ A n  a ut o ma te d  E C G   be a t  c la s s i f i c a ti o n  s y s te m  us in g  de e p  ne ur a l  ne tw o r ks  w it h a n uns upe r v is e d  f e a tu r e  e x t r a c t i o n t e c hni qu e ,”   A ppl ie d Sc ie nc e s , v o l.  9, 2019.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   2 ,  N o v e m b e r   20 24 :  1 172 - 1 181   1180   [ 6]   M .  S .  R a hma n  a nd  H .  R e z a ,  “ A   s y s t e ma ti c   r e v i e w   t o w a r d s   bi g  da ta   a na ly ti c s   in   s oc ia l  m e di a ,”   B ig   D at a  M in in g  and  A nal y ti c s ,  vo l.  5, n o . 3, pp. 228 – 244, 2022, d o i:  10.26599/ B D M A .2022.9020009.   [ 7]   P .  M e ht a   a nd  S .  P a nd y a ,  “ A   r e vi e w   o n  s e nt im e nt   a na l y s is   m e th o d o l o gi e s ,  pr a c ti c e s   a nd  a ppl i c a ti o ns ,”   I nt e r nat io nal   J our na l  of   Sc ie nt if ic  and T e c hnol og y  R e s e ar c h , v o l.  9, n o . 2, pp. 601 – 609,  2020.   [ 8]   E .  H .  M ukt a f in   a nd  P .  K us r in i,   “ S e nt i me nt s   a na l y s is   of   c us to m e r   s a ti s f a c ti o n  in   publ i c   s e r v i c e s   us in g  K - ne a r e s t  ne ig hb o r s   a lg o r it h m  a nd  na tu r a l  la ngua ge   pr o c e s s in g  a ppr o a c h ,”   T E L K O M N I K A   ( T e le c om m uni c at io n  C om put in g  E le c tr oni c s   and  C ont r ol ) ,  vo l.  19, n o . 1, pp. 146 – 154, 2021, d o i:  10.12928/ T E L K O M N I K A .V 19I 1.17417.   [ 9]   H .  A .  S a nt o s o ,  E .  H .  R a c hma w a nt o ,  A .  N ugr a ha ,  A .  A .  N ugr oho ,  D .  R .  I .  M .  S e ti a di ,  a nd  R .  S .  B a s uki ,  “ H o a x   c la s s if i c a ti o n  a nd   s e nt im e n t  a na l y s is   of   I nd o n e s ia n  ne w s   us in g  N a iv e   B a y e s   o pt im i z a ti o n,”   T E L K O M N I K A   ( T e le c om m uni c at io n  C om pu ti ng  E le c tr oni c s  and C ont r ol ) , v o l.  18, n o . 2, pp. 799 – 806, 2020, d o i :  10.12928/ T E L K O M N I K A .V 18I 2.14744.   [ 10]   E .  T .  K ha li d,  E .  B .  T a la l,   M .  K .  F a r a j,   a nd  A .  A .  Y a s s in ,  “ S e nt im e nt   a na l y s is   s y s te m   f o r   C O V I D - 19  v a c c in a ti o ns   us in g  da ta   of   T w i tt e r ,”   I ndone s ia n  J our nal   of   E le c tr ic al   E ngi ne e r in g  and  C om put e r   Sc ie nc e   ( I J E E C S) ,  vo l.   26,   n o .  2,  pp.   1156 – 1164,  20 22,    do i:  10.11591/i je e c s .v 26. i2 .pp115 6 - 1164.   [ 11]   Y .  W a ng  a nd  L .  F e ng,  “ I mpr ove d  A da B oo s t  a lg o r i th m  f o r   c la s s if ic a ti o n  ba s e d  o n  no is e   c o n f id e n c e   de g r e e   a nd  w e ig ht e d  f e a tu r e   s e le c ti o n,”   I E E E  A c c e s s , v o l.  8, pp. 153011 – 153026, 2020, d oi :  10.1109/AC C E S S .2020.3017164.   [ 12]   K ur ni a budi ,  D .  S ti a w a n,   D a r ma w ij oy o,  M .  Y .  B in   I d r is ,  A .  M .  B a mhdi ,  a nd  R .  B udi a r t o ,  “ C I C I D S - 2017  da ta s e t  f e a tu r e   a na l y s is   w it h  IG   f or  a n o ma l y  de te c ti o n,”   I E E E  A c c e s s , vo l.  8, pp. 13291 1 – 132921, 2020, do i:  10.1109/AC C E S S .2020.3009843.   [ 13]   K . S h e r r a tt   e t  a l. , “ C ha r a c t e r is in g  I G   s  a nd l o s s e s  w he n   c o ll e c t i ng mul ti pl e   e pi d e mi c  m o d e l  o ut pu ts ,”   E pi de m ic s , p. 100765, 2 024,   do i:  10.1016/j . e pi d e m.2024.100765.   [ 14]   N .  M .  G .  D .  P ur na ma s a r i,   M .  A .   F a uz i,   I ndr ia ti ,  a nd  L .  S .  D e w i,   “ C y b e r bul l y in g  id e nt i f i c a ti o n  in   twi tt e r   us in g  s uppo r t  ve c t o r   ma c hi ne   a nd  IG   ba s e d  f e a tu r e   s e le c ti o n,”   I ndone s ia n  J our nal   o f   E le c tr ic al   E ngi ne e r in g  and  C om put e r   Sc ie n c e   ( I J E E C S) ,  vo l.   18,   no . 3, pp. 1494 – 1500, 2020, d o i:  1 0.11591/i je e c s .v 18. i3 .pp149 4 - 1500.   [ 15]   W .  W a ng  a nd  D .  S un,  “ T he   im p r ov e d  A da B oo s t  a lg o r it hms   f o r   i mba la nc e d  da ta   c la s s if ic a ti o n,”   I nf or m at io n  Sc ie nc e s ,  v o l.   563,   pp. 358 – 374, 2021, do i:  10.1016/j . in s .2021.03.042.   [ 16]   M .  F a y a z ,   A .  K ha n,  J .  U .  R a hma n,  A .  A lh a r bi ,  M .  I .   U ddi n,  a n d  B .  A l o u f f i,   “ E ns e mbl e   ma c h in e   le a r n in g  m o d e l  f or   c la s s if i c a t io n  of  s pa m pr o du c t  r e v i e w s ,”   C om pl e x it y , v o l.  2020, 2020, d o i :  10 .1155/2020/ 8857570.   [ 17]   H .  K i m,  J .  K im ,  J .  K im ,  a nd  P .  L im ,  “ T o w a r ds   pe r f e c t  te xt   c la s s if i c a ti o n  w it h  W ik ip e   di a - ba s e   d  s e ma nt ic   NB   le a r ni n g,”   N e ur oc om put in g , pp. 1 – 7, 2018, do i:  10.1016/j .ne u c o m.2018.0 7.002.   [ 18]   J .  J a s mi r ,  S .  N ur ma in i,   a nd   B .   T ut uk o ,   “ F in e - gr a in e d  a lg or it h m  f o r   im pr ov in g   knn  c o mput a ti o na l   pe r f o r ma n c e   o n   c l in ic a l   t r ia ls   te x t  c la s s if i c a ti o n,”   B ig  D at a and C ogni ti v e  C om put in g ,  vo l.  5,  no . 4, 2021, d o i:  10.3390/bd c c 5040060.   [ 19]   M .  A z a m,  T .  A hm e d,  F .  S a ba h,  a nd  M .  I .  H us s a in ,  “ F e a tu r e   e x t r a c ti o n   ba s e d  t e x t  c la s s if i c a ti o n  us in g  K - ne a r e s t  n e ig h bo r   a lg o r it h m,”   I J C SN S I nt e r nat io nal  J our nal  o f  C om put e r  Sc ie nc e  and N e tw or k  Se c ur it y , v o l.  18, n o . 12, pp. 95 – 101, 2018.   [ 20]   T .   S a ll e s ,  M .  G o nç a lv e s ,  V .  R o d r ig ue s ,  a nd  L .  R oc ha ,  “ I mpr ov in g  r a ndo m  f or e s ts   b y   n e ig hb o r h oo d  p r o j e c t i o n  f o r   e f f e c t i v e   te x t   c la s s if i c a ti o n,”   I nf or m at io n Sy s te m s , v o l.  77, pp. 1 – 21, 2018, d o i:  10.1016/j . is .2018.05.006.   [ 21]   N .  J a la l,   A .  M e hmoo d,  G .  S .  C ho i,   a nd  I .  A s hr a f ,  “ A   nove l  i mpr ove d  r a nd o m  f or e s t  f or   te x t  c la s s if ic a ti o n  us in g  f e a tu r e   r a nki n g  a nd  o pt im a l  numbe r   of   t r e e s ,”   J our nal   o f   K in g  Saud   U ni v e r s it y   -   C om put e r   and  I n f or m at io n  S c ie nc e s ,  v o l.   34,  no .   6,    pp. 2733 – 2742, 2022, do i:  10.1016/j . jk s uc i. 2022.03.012.   [ 22]   “ R e s ta ur a nt   c us to m e r   r e v ie w s ,”  ht tp s :/ /ww w .ka ggl e . c o m/ da ta s e ts /v ig n e s hw a r s of f ic ia l/ r e v ie w s / ve r s i o ns /1 ? r e s o ur c e = do w nl o  a d.   [ 23]   N .  N in g  a nd   Y .  T a ng,  “ E v a lu a ti o n  of   a n  in f o r ma ti o n  f l o w   g a in   a lg o r it hm  f o r   mi c r o s e ns o r   in f or ma ti o n  f l o w   in   li mbe r   m o t o r   r e ha bi li ta ti o n,”   C om pl e x it y , vo l.  2021, 2021, d o i :  10.1155/2021 /6 638038.   [ 24]   S .  X u,  Y .  L ia ng,  Y .  L i,   S .  S .  D u,  a nd  Y .  W u,  “ B e y ond  IG   :  a n  e mpi r i c a l  be n c hma r k  f or   l o w -   s w it c hi ng - c o s t  r e in f or c e me nt   le a r ni ng,”  pp. 1 – 19, 2023.   [ 25]   O .  C ha mo r r o - A ta la y a   e t  al . ,  “ S upe r v is e d  l e a r ni ng  th r o ugh  k - ne a r e s t  ne ig hb o r ,  us e d  in   th e   pr e di c ti o n  of   uni ve r s it y   t e a c h in g   pe r f or ma nc e ,”   I ndone s ia n  J our nal   o f   E le c tr ic al   E ngi ne e r in g  and  C om put e r   Sc ie nc e   ( I J E E C S) ,  vo l.   27,  n o .  3,  pp.  1625 – 1634,   2022, do i:  10.11591/i je e c s .v 27. i3 .pp1625 - 1634.   [ 26]   B . Y . P r a ta ma , “ P e r s o na li t y   c la s s i f ic a ti o n ba s e d  o n  twi tt e r  t e x t  us in g N a iv e   B a y e s ,  K N N  a nd S V M ,”  pp. 170 – 174, 2015.   [ 27]   O .  A na v a   a nd  K .   Y .  L e vy ,  “ K - n e a r e s t  n e ig hb o r s :  f r o m   gl o ba l  t o   l oc a l, ”   A dv anc e s   in   N e ur al   I nf or m at io n  P r oc e s s in g  Sy s te m s ,    no . N ip s , pp. 4923 – 4931, 2016.   [ 28]   Y .  Y a ng  a nd  X .  L iu ,  “ A   r e - e x a mi na ti o n  of   te x t  c a t e g o r i z a ti o n   me th o ds ,”   I n  P r oc e e di ngs   of   th e   22nd  annual  in te r nat io nal   A C M   SI G I R  c onf e r e nc e  on R e s e a r c h and de v e lo pm e nt  i n i nf o r m at io n  r e tr ie v al , pp. 42 – 49, 1999.   [ 29]   D .  B e r r a r ,  “ B a y e s ’   th e o r e m  a nd  na i ve   ba y e s   c la s s if i e r ,”   E nc y c lo pe di a  of   B io in f o r m at ic s   and  C o m put at io nal   B io lo gy :   A B C   of   B io in f or m at ic s , v o l.  1 – 3, n o . 2018, pp. 403 – 412, 2018, d o i:  10. 1016/B 978 - 0 - 12 - 809633 - 8.20473 - 1.   [ 30]   B .  T a ng,  S .  K a y ,  a nd  H .  H e ,  “ T o w a r d  o pt im a l  f e a tu r e   s e l e c ti o n  in   N a iv e   B a y e s   f o r   t e x t  c a t e g o r i z a ti o n,”   I E E E   T r ans ac ti ons   on   K no w le dge  and Data E ngi ne e r in g , vo l.  28, n o . 9, pp. 2508 – 252 1, 2016, do i:  10.1109/ T K D E .2016.2563436.   [ 31]   M .  E lh a da d,  D .   G a ba y ,  a nd  Y .  N e tz e r ,  “ A ut o ma ti c   e v a lu a ti o n  of   s e a r c h  o nt o l o gi e s   in   th e   e nt e r ta in me nt   d o ma in   us in g  te x t  c la s s if i c a ti o n,”   A ppl ie d Se m ant ic   T e c hnol ogi e s :  U s in g Se m ant ic s  i n I nt e ll ig e nt  I nf or m at io n P r oc e s s in g , pp. 351 – 367, 2011.   [ 32]   A .  C ho i,   N .  T a v a bi ,  a nd  A .  D a r w ic he ,  “ S tr u c tu r e d  s tr uc tu r e d  f e a tu r e s   in   N a iv e   B a y e s   c la s s if i c a ti o n,”   I n  P r oc e e di ngs   of   th e   A A A I   C onf e r e nc e  on A r ti f ic ia l  I nt e ll ig e n ce , v o l.  30, n o . 1, pp. 3233 – 3 240, 2016.   [ 33]   K .  U .  S a nt o s hi ,  S .  S .  B ha vy a ,  Y .  B .  S r i,   a nd  B .  V e nka te s w a r lu ,  “ T w it t e r   s pa m  de te c ti o n  us in g  NB   c la s s if i e r ,”   P r oc e e di ngs   o f  th e   6t h  I nt e r nat io nal   C onf e r e nc e   on  I nv e nt iv e   C om put at io n  T e c hnol ogi e s ,  I C I C T   2021 ,  pp .   773 – 777,  2 021,     do i:  10.1109/ I C I C T 50816.2021.9358579.   [ 34]   V .  F .  R o dr ig u e z - G a li a n o ,  B .  G hi mi r e ,  J .  R o ga n,  M .  C hi c a - O lm o ,  a nd  J .  P .  R ig o l - S a n c h e z ,   “ A n  a s s e s s me nt   of   th e   e f f e c ti v e n e s s   of   a   r a ndo m  f or e s t  c la s s i f i e r   f or   la nd - c ove r   c la s s if ic a ti o n,”   I S P R S  J our nal   of   P hot ogr am m e tr y   and  R e m ot e   Se ns in g ,  v o l.   67,  n o .  1,   pp. 93 – 104, 2012, do i:  10.1016/j . is pr s jp r s .2011.11.002.   [ 35]   P .  D o mi ng o s ,  “ A   f e w   us e f ul   th in gs   t o   kn o w   a b o ut   ma c h in e   l e a r ni ng,”   C om m uni c at io ns   o f   th e   A C M ,  v o l.   55,  n o .  10,  pp.  78 – 87,  2016.               Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E x pe r ime ntal   of  in f or mation  gain   and  A daB oos t  f e atur e   f o r   mac hine  lear ning  c las s i f ier   …   ( J as mir   J a s mir )   1181   B I OG RA P HI E S   OF   AU T HO RS       J a s m i r  J a s m i r           i s   s e n i o r  l ec t u r e   at   U n i v e rs i t as   D i n a m i k a  Ban g s a   J am b i ,   I n d o n e s i a.   H e  recei v ed   h i s   Ba ch e l o r  i n   Co m p u t e r  E n g i n ee r i n g   i n   1 9 9 5   an d   Mas t e r  d eg r ee   i n   I n f o r m at i o n   T ech n o l o g y   i n   2 0 0 6   fro m  U n i v e rs i t as   Pu t ra  I n d o n e s i a  Y PT K   Pa d an g ,   I n d o n e s i a.   H e  r ece i v e s   a  D o c t o r  i n   In fo r m at i c s   E n g i n ee r i n g   at   U n i v e rs i t as   Sri w i j a y a  Pal em b an g ,   I n d o n e s i a   i n   2 0 2 2 .   H i s   r e s e ar ch   i n t e r e s t   i s   d at a  mi n i n g ,   m a c h i n e  l e ar n i n g   an d   d ee p   l e ar n i n g   fo r   n at u ral   l a n g u ag e   p ro ce s s i n g   a n d   i t s   ap p l i c at i o n .   H e   c a n   b e   c o n t ac t e d   at   em a i l :  i j a y _ j as m i r @ y a h o o . co m .       D o do   Za en a l   A b i di n           i s   s e n i o r   l ec t u r e   at   U n i v e rs i t as   D i n a m i k a  Ba n g s a   J am b i ,   I n d o n e s i a.   H e  r ece i v e d   h i s   Ba ch e l o r  i n   In fo r m at i o n   S y s t em  i n   U n i v e rs i t as   N u r d i n   H a m za h   J am b i   i n   2 0 0 0   an d   Mas t e r  d e g r ee   i n   I n f o r m at i o n   T ech n o l o g y   i n   U n i v e rs i t as   Pu t ra  I n d o n e s i a  Y PT K   Pad an g ,   In d o n e s i a  i n   2 0 0 8 .   H e   recei v e s   a  D o c t o r  i n   I n f o r m at i c s   E n g i n ee ri n g   at   U n i v e rs i t as   Sri w i j a y a   Pal em b an g ,   In d o n e s i a   i n   2 0 2 2 .   H i s   r e s e ar c h   i n t e re s t   i s   d at a  b as e ,   s i g n al   p ro ce s s i n g ,   a n d   n at u ral   l a n g u ag e  p ro ce s s i n g .   H e  c a n   b e   co n t a c t ed   at   em a il :  d o d o za e n a l ab i d i n @ g m a i l . c o m .       F a ch r u dd i n   F a c h r u dd i n           recei v ed   a   Ba c h el o r's   d e g r ee   (S . Pt )  i n   A g ri cu l t u r e  fro m  J am b i   U n i v e rs i t y   i n   1 9 9 8 .   H e  o b t ai n ed   a  Mas t e r's   d eg r ee   (M . S. I )  i n   In fo r m at i o n   S y s t em s   fro m  t h e   D i n a mi k a  Ba n g s a   U n i v e rs i t y   i n   2 0 1 1 .   H e   r ece i v e s   a  D o c t o r  i n   I n f o r m at i c s   E n g i n ee r i n g   at   U n i v e rs i t as   Sri w i j a y a  Pa l em b an g ,   In d o n e s i a  i n   2 0 2 2 .   H e   i s   a  L ec t u re r  i n   C o m p u t e r  S ci e n ce ,   I n f o r m at i c s   E n g i n ee r i n g ,   U n i v e rs i t as   D i n a mi k a  Ba n g s a  (U N A M A ).   A rt i f i c i al   i n t el l i g en ce   a n d   i n fo r m at i o n   s y s t em s .   H e   c a n   b e   c o n t ac t e d   at   em a i l :   fa c h r u d d i n . s t i k o m@ g m a i l . co m .       Wi l l y   R i y a di           co m p l e t ed   h i s   Ba c h e l o r  o f  Co mp u t e r  S y s t em s   i n   2 0 1 1   an d   c o m p l e t e d   h i s   Mas t e rs   i n   I n f o r m at i o n   S y s t em s   i n   2 0 1 4   i n   U n i v e rs i t as   D i n a m i k a  Ban g s a .   H e  i s   a  l ec t u r e r  at   U n i v e rs i t as   D i n a m i k a  Ban g s a,   J am b i ,   s p ec i a l i z i n g   i n   s y s t em   co n t ro l ,   art i f i c i a l   i n t el l i g en ce ,   a n d   m a c h i n e   l e arn i n g .   H e   c an   b e   co n t a c t ed   at   em ai l :  w ri y ad i 5 @ g m a i l . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.