I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   18 ,   N o .   3 ,  J u n e   20 20 ,   pp .   1494 ~ 1500   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 8 .i 3 . pp 149 4 - 1500             1494       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   C y b e r b u l l y i n g   i d e n t i f i c a t i o n   i n   t w i t t e r   u si n g   su p p o r t   v e c t o r   m a c h i n e   a n d   i n f o r m a t i o n   g a i n   b a se d   f e a t u r e   s e l e c t i o n       N i   M ad e   G i ta   D w i   P u r n am as ar i 1 ,  M .   A l i   F au z i 2 ,  I n d r i at i 3 ,   L i an a   S h i n ta   D e w i 4   1 , 2 , 3 F a c ul t y   o f   C o m put e r   S c i e nc e ,   B r a w i j a y a   U ni v e r s i t y ,   I ndo ne s i a   4 F a c ul t y   of   C ul t ur a l   S t ud i e s ,   B r a w i j a y a   U ni v e r s i t y ,   I nd o ne s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  A pr   1 ,   2019   R e v i s e d  J ul   7 ,   2019   A c c e pt e d  A ug   2 1 ,   201 9       C y be r bul l y i ng   i s   o ne   o f   t he   a c t i o ns   t ha t   v i o l a t e   t he   I T E   L a w   w he r e   t he   c r i m e   i s   c o m m i t t e d  o n  s o c i a l   m e di a   a pp l i c a t i o ns   s uc h  a s   T w i t t e r .   T hi s   a c t i o n  i s   di f f i c ul t   t o   d e t e c t   i f   no   o ne   i s   r e po r t i ng   t he   t w e e t .   C y be r bul l y i ng   t w e e t   i de n t i f i c a t i o n  a i m s   t o   c l a s s i f y   t w e e t s   t ha t   c o nt a i n  bul l y i ng .   C l a s s i f i c a t i o n  i s   do ne   us i ng   S uppo r t   V e c t o r   M a c h i ne   m e t ho d  w he r e   t h i s   m e t ho d  a i m s   t o   f i nd   t he   d i v i d i ng   hy pe r pl a n e   be t w e e n  ne g a t i v e   a n d  po s i t i v e   c l a s s .   T h i s   s t udy   i s   a   t e x t   c l a s s i f i c a t i o n  w he r e   m o r e   d a t a   i s   us e d ,   t he   m o r e   f e a t u r e s   a r e   pr o duc e d,   t he r e f o r e   t hi s   r e s e a r c h  a l s o   us e s   I nf o r m a t i o n  G a i n  a s   f e a t u r e   s e l e c t i o n  t o   s e l e c t   f e a t u r e s   t ha t   a r e   no t   r e l e v a nt   t o   t he   c l a s s i f i c a t i o n.   T he   pr o c e s s   o f   t he   s y s t e m   s t a r t s   f r o m   t e x t   pr e pr o c e s s i ng   w i t h  t o ke ni z i ng ,   f i l t e r i ng ,   s t e m m i ng   a nd  t e r m   w e i g ht i ng .   T he n  pe r f o r m   t he   i nf o r m a t i o n  g a i n  f e a t ur e   s e l e c t i o n  by   c a l c ul a t i ng   t h e   e n t r o py   v a l ue   o f   e a c h  t e r m .   A f t e r   t ha t   pe r f o r m   t he   c l a s s i f i c a t i o n  pr o c e s s   ba s e d  o n  t he   t e r m s   t ha t   ha v e   b e e n  s e l e c t e d,   a nd  t he   o ut put   o f   t h e   s y s t e m   i s   i de n t i f i c a t i o n  w he t he r   t he   t w e e t   i s   bu l l y i ng   o r   no t .   T he   r e s ul t   o f   us i ng   S V M   m e t ho d  i s   a c c ur a c y   75% ,   pr e c i s i o n  70. 2 7% ,   r e c a l l   86. 6 6%   a nd  f - m e a s ur e   77 . 61 %   o n  e x pe r i m e n t   m a xi m um   i t e r a t i o n  =   20,     λ   =   0. 5 ,   γ   =   0. 001 ,   ε  =   0 . 0 0000 1,   a nd  C   =   1.   T he   be s t   t hr e s ho l d  o f   i nf o r m a t i o n  g a i n  i s   90 % ,   w i t h  a c c ur a c y   76. 66 % ,   pr e c i s i o n  72. 2 2% ,   r e c a l l   86. 6 6%   a nd   f - m e a s ur e   78. 78 % .   Ke y w or ds :   C y be r b ul l y i n g   In f o r m a t i o n  ga i n   S uppo r t   v e c t o r   m a c h i n e   T e xt   c l a s s i f i c a t i o n   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M .   A l i   F a uz i ,   F a c ul t y   of   Cul t u ra l   S t ud i e s ,     B r a w i j a y a   U n i v e r s i t y ,   M a l a n g ,   I n do n e s i a .   E m a i l :   m o c h. a l i . f a u z i @ ub . a c . i d       1.   I N TR O D U C TI O N     T h e   a dv a n c e   o f  i n f o r m a t i o n   a n d  c o m m u ni c a t i o n   t e c hn o l o gy   h a s   b e e n   b r o ught   m a n y   be n e f i t s   t o   t h e   s oc i e t y .   O n e   o f   t h e   b r i e f   e xa m p l e   i s   s o c i a l   m e d i a   i n  w h i c h   pe o pl e   c a n   f i n d   a   l o t   o f   f r i e n ds   a nd  e xt e n d  t h e i r  n e t w o r ks .   H ow e v e r ,   t h e   r i s e   o f  t h i s   n e w   t e c hn o l o g y   t e n d  t o   be   d o ub l e - e dge   kn i f e   a s   s ugge s t e d  by   S e ga l   [1]  b e c a us e   i t   a l s o   b r i ng  s o m e   da m a g i n g  e f fe c t s   s u c h   a s   c y b e r b ul l y i n g  [2] .   Cy b e r b ul l y i n g  i s   o n e   of   t h e   v i o l e n t   a c t s   c o m m i t t e d  b y   a   pe r s o n   a g a i n s t   h i s   v i c t i m   o n   t h e   i n t e rne t ,   w h e r e   t h e   v i c t i m   i s   hum i l i a t e d ,   r i d i c ul e d,   a n d   i n t i m i da t e d  [3].   Cy b e r b ul l y i n g  c a n   ha v e   a n   i m pa c t   o n   v i c t i m ’s   m e n t a l ,   e v e n   t h e r e   i s   m a n y   c a s e s   w h e r e   t h e   v i c t i m s   o f   b ul l y i n g  e n d  up   i n   s u i c i de   b e c a us e   t h e y   c a n   n o t   s t a n d  w i t h   m uc h   p r e s s u r e   [4 - 5] .   Cu rr e n t l y   t h e   In do n e s i a n   M i ni s t r y   of   C o m m u n i c a t i o n   a nd  I n f o r m a t i c s   (K O M IN F O )  i s   w o r ki n g  w i t h   G o o gl e   a n d  T w i t t e r   i n  t h e   pr e v e n t i o n   o f   n e g a t i v e   c o n t e nt   o n   t h e   i nt e rn e t   s uc h   a s   po rn o gra p h y ,   h o a xe s ,   c y be r b ul l y i n g,   a n d  o t h e r s .   K O M IN F O   h o pe s   t h a t   t h e   pr e v e n t i o n   o f   t h e   s pr e a d  o f   n e ga t i v e   c o n t e n t   w i l l   b e   qui c kl y   r e s o l v e d.   T w i t t e r   h a s   b e e n   p r o v i di n g  a   f un c t i o n   w h e r e   t h e   r e po r t   a b o ut   n e ga t i v e   c o n t e n t   i n  a   s e pa ra t e   o r de r   t o   b e   r e s po n de d  m o r e   qui c kl y .   T h e r e f o r e   w i t h   t h e   e xi s t e n c e   o f   a n   a u t o m a t e d  s y s t e m   f o r   i de n t i f i c a t i o n   t w e e t   c y be r b ul l y i n g  c a n   h e l p  i n   ha n d l i n g   t w e e t s   ha t e   ra s h e r s   m o r e   qu i c kl y   ove r c o m e   a n d  m o r e   e f f i c i e n t .   O n e   o f  t h e   r e s e a r c h   a b o ut   c y be r b ul l y i n g  i s   c o n duc t e d  by  [6]  e n t i t l e d  Cy b e r b ul l y i n g  Co m m e n t   Cl a s s i f i c a t i o n   o n   I n do n e s i a n   S e l e b gr a m   us i n g  S uppo r t   V e c t o r   M a c hi n e   (S V M )  M e t h o d.   T hi s   w o r k  foc us e d   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng   &   Co m p  S c i     IS S N :   2502 - 4752       Cy be r b ul l y i n g  i de nt i f i c at i on   i n   t w i t t e r   us i ng   s uppor t   v e c t or   m ac h i n e   and…   ( Ni   Mad e   G i t a  D w i   P ur nam as ar i )   1495   o n   c o m m e n t s   i n   a   s e l e b gr a m   (I n s t a g ra m   c e l e b r i t y )  a c c o un t   c a l l e d  A w ka ri n.   T h e   d a t a   us e d  w e r e   t a ke n   f r o m   t h e   c o m m e n t   s e c t i o n   o f   o n e   of   t h e   p h o t o s   upl o a de d  by   A w ka ri n ’s   a c c o un t .   T h e   c l a s s i f i c a t i o n   r e s ul t s   o b t a i n e d  qui t e   go o d  pe r f o r m a c e   w i t h  a c c ur a c y   l e ve l   o f   79. 412%.   T h e   o t h e r   r e s e a r c h  o n   c y b e r b ul l y i n g  [ 7]  us e d  S V M   a nd  N a ï v e   B a y e s   (N B )  m e t h o d  f o r   t h e   c l a s s i f i c a t i o n   p r o c e s s .   T h e   da t a   us e d  w e r e   ob t a i n e d  f r o m   K a ggl e .   T h e   da t a s e t   c o n t a i n e d  1600  c o n v e r s a t i o n s   In do n e s i a n  L a n gu a ge   f r o m   F o rm s p r i ng. m e   w e b s i t e .   T h e   r e s e a r c h e r s   a l s o   c o m pa r e d  t h e i r  r e s ul t s   f r o m   pr e v i o us   s t udi e s   by   R e y n o l ds   [8]  t ha t   us e d  D e c i s i o n   T r e e   a n d  K - N e a r e s t   N e i g h b o ur   (K - N N ).   F r o m   t h e   r e s e a r c h,   i t   w a s   f o un d  t ha t   S V M   m e t h o d  i s   b e t t e r   i n   c y be r b ul l y i n g  c l a s s i f i c a t i o n   t ha n   K - N N   a n d  D e c i s i o n  T r e e   m e t h o d  w i t h   a c c u r a c y   l e ve l   f o r   S V M ,   D e c i s i o n   T r e e ,   a nd  K N N   w e r e   99. 41% ,   7 8. 2 8%,   a n d  89 . 01%   r e s pe c t i v e l y .   A n o t h e r   w o r k  by   N a h a r  e t   a l .   [ 9]  o n   t h i s   t o pi c   a l s o   s ugge s t e d  t h a t   S V M   c o ul d  gi v e   a   pr o m i s i n g   r e s ul t   f o r   t h i s   t a s k .   H ow e v e r ,   S V M   m e t h o d  h a s   r e l a t i v e l y   hi g h   c o m put a t i o n a l   c o m pl e xi t y   [10].   M o r e o v e r ,     t h e   m o s t   w i de l y   us e d  f e a t u r e   i n   t h e   c y b e r b ul l y i n g  c l a s s i f i c a t i o n   t a s k  i s   B a g  of   W o r ds   (Bo W )  t h a t   h a s   hi g h   di m e n s i o na l i t y   [11].   U s i n g  B oW   a s   f e a t ur e s ,   a l l   u n i q ue   w o r ds   f r o m   t h e   do c um e n t   c o l l e c t i o n   a r e   us e d  a s   f e a t ur e s   s o   t ha t   a   l o t   o f   f e a t ur e s   a r e   us e d  f o r   t h e   c l a s s i f i c a t i o n   t a s k.   T h e r e fo r e ,   f e a t u r e   s e l e c t i o n   i s   n e e de d  t o   s e l e c t   o n l y   r e l e v a n t   f e a t u r e s   i n  o r de r   t o   r e duc e   t h e   t i m e   c o m p l e xi t y   a nd  i n c r e a s e   t h e   pe r f o r m a c e .   S e ve r a l   p r i o r  w o r ks   s ugge s t e d  t ha t   t h e   us e   o f   f e a t ur e   s e l e c t i o n  c a n   m a ke   t h e   t e xt   c l a s s i f i c a t i o n   m o r e   e ffe c t i ve   a n d  e ff i c i e n t .   I n f o r m a t i o n   G a i n   (IG )  i s   t h e   w i de l y   us e d  t e c hn i q ue   i n   t h e   t e xt   c l a s s i f i c a t i o n   t a s k    [12 - 13] .   A   s t udy   by   Ch a nda ni ,   e t   a l .   [ 14]  i n v e s t i ga t e d  t h e   us e   of   s e v e r a l   f e a t u r e   s e l e c t i o n   m e t h o ds   i n c l u di n g   In f o r m a t i o n   G a i n   (IG ),   C hi   S qua r e ,   F o r w a r d  S e l e c t i o n   a n d  B a c kw a r d  S e l e c t i o n   w i t h   s e v e r a l   m a c hi n e   l e a rn i ng  m e t h o ds   f o r   r e v i e w   c l a s s i f i c a t i o n .   T h e   e xpe r i m e nt   r e s ul t s   s h o w e d  t ha t   S V M   w i t h   IG   f e a t u r e   s e l e c t i o n   m e t h o d  ha s   t h e   h i g h e s t   a c c ur a c y   c o m pa r e d  t o   o t h e r  m e t h o ds   a c c ur a c y   81. 50% .   In   t hi s   s t udy ,   w e   pr o po s e   a   c y be r b ul l y i n g  c l a s s i f i c a t i o n   f r o m   T w i t t e r   da t a   us i ng  S V M   m e t h o d  a s   t h e   c l a s s i f i e r   a n d  IG   a s   t h e   f e a t ur e   s e l e c t i o n   t e c hn i que .   W e   a l s o   i n v e s t i ga t e   t h e   e ffe c t   of   di ffe r e nt   S V M   pa r a m e t e r s   a nd  di f f e r e n t   IG   s e l e c t i o n   t hr e s h o l d .   T h e   da t a   us e d  w e r e   t w e e t s   (t w i t t e r   po s t s )  t ha t   m e n t i o n e d  V i c e   Cha i rm a n  o f   t h e   I n do n e s i a n  H o us e   of   Re pr e s e n t a t i v e s ,   M r.   F a dl i   Z o n.       2.   R ES EA R C H   M ET H O D   T h e   de s i g n   o f   t h e   s y s t e m   i s   de pi c t e d  i n   F i gu r e   1 .   T h e   f i r s t   s t e p  o f   t h i s   w o r k  i s   t e xt   p r e p r o c e s s i n g  a n d   fo l l ow e d  by   f e a t ur e   s e l e c t i o n   us i ng  I G .   T h e n,   t h e   c l a s s i f i c a t i o n   t a s k  i s   c o n duc t e d  us i n g  S V M   m e t h o d  t o   ge t   t h e   c y be r b ul l y i n g  i de nt i f i c a t i o n   r e s ul t .   T h e   pr e p r o c e s s i n g  i n v o l v e s   s o m e   pr o c e s s e s   s uc h   a s   t o ke n i z i n g ,   f i l t e r i ng,   s t e m m i ng  a n d  t h e n   t e r m   w e i ght i n g .   T h e   f e a t u r e s   us e d  i n   t h i s   w o r k  a r e   B o W   w i t h  t e r m   f r e que n c y - i n v e r s e   do c um e n t   f r e que n c y     (T F - ID F )  a s   t h e   t e r m   w e i ght i n g  m e t h o d.   T h e   f e a t u r e s   a re   t h e n   us e d  a s   t h e   i n put   of   S V M .   Be fo r e   t h e   c l a s s i f i c a t i o n   t a s k   us i n g  t h e   S V M   m e t h o d   c o n duc t e d ,   t h e   IG   v a l ue   of   e a c h   f e a t ur e s   a r e   c a l c ul a t e d  a n d  t h e   f e a t ur e s   w i t h   hi g h e s t   IG   v a l ue s   a r e   s e l e c t e d   t o  r e pr e s e nt   t h e   doc um e n t .   A   c e r t a i n   t hr e s h o l d  i s   us e d  t o   s e l e c t   t h e   f e a t ur e s .   A f t e r   t h e   f e a t u r e   ha s   b e e n   s e l e c t e d,   t h e n   t h e   s e l e c t e d  fe a t ur e s   a r e   t h e n  us e d  f o r   c l a s s i f i c a t i o n   us i n g   S V M .   F i na l l y ,   t h e   r e s ul t s   o f   c y be r b ul l y i n g  i de nt i f i c a t i o n  a r e   p r e s e n t e d .         F i gu r e   1 .   M a i n  s y s t e m   f l ow c h a r t     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   18 ,   N o .   3 ,  J u n e   20 2 0  :     1 4 9 4   -   1 5 0 0   1496   2. 1 .      T e x t  P r e p r o c e s s i n g   T h e r e   a r e   4   p r o c e s s   of   t e xt   p r e p r o c e s s i n g :   a)   T o ke n i z i n g   T o ke n i z i n g  i s   a   p r o c e s s   of   s e pa ra t i ng  t h e   w o r d  o n   a   s e n t e n c e   a n d  de l e t i n g  a l l   pu n c t u a t i o n   a n d  s pe c i a l   c h a ra c t e r s .   T hi s   pr o c e s s   a i m s   t o   s e pa r a t e   e a c h   w o r d  t o   di s t i n g ui s h   c e r t a i n   c ha ra c t e r s   t ha t   a r e   t r e a t e d  a s   w o r d  s e pa ra t o r s   o r   n o t .   T h e   t o ke n i z i n g  p r o c e s s   r e l i e s   o n   t h e   s pa c e   c h a r a c t e r   i n  t h e   do c um e n t   a s   a   w o r d    s e pa ra t o r  [15 ].   b)   F i l t e r i ng   T h e   f i l t e ri n g  s t a ge   i s   t h e   s t a ge   o f   s e l e c t i n g  i m po rt a nt   w o r ds   f r o m   t h e   t o ke n   r e s ul t .   T h e   m o s t   c o m m o n l y   us e d  w o r ds   a r e   t h e   u nr e l a t e d  w o r ds   i n   I n f o rm a t i o n   R e t r i e v a l   (IR )  a nd  t e xt   m i ni n g ,   t h e s e   w o r ds   a r e   c a l l e d  S t o pw o r ds   [16] .   T h e   d i c t i o na r y   of   In do n e s i a n   s t o pw o r ds   us e d  i n  t hi s   w o r k  i s   o b t a i n e d  f r o m   T a l a   [17] .   c)   S t e m m i ng   S t e m m i ng  t e c hni que   i s   us e d  t o   f i n d   t h e   r o o t   o f   a   w o r d.   S t e m m i n g   i s   do n e   i n  a dd i t i o n  t o   m i n i m i z i ng  t h e   n u m b e r   o f   di f fe r e n t   i nde xe s   o f   a   do c um e n t ,   a l s o   do n e   t o   gr o up  w o r ds   w i t h  s i m i l a r  w o r ds   a n d   b a s i c s   b ut   di f fe r e nt   s ha pe s   due   t o   di f f e r e n t   a f f i xe s   [18].   d)   T e rm   W e i g ht i ng   T h e   t e rm   w e i ght i ng  m e t h o s   us e d  i f   T F - ID F .   T F - ID F   i s   t h e   p r o duc t   r e s ul t   o f   N o r m a l i z e d  T e r m   F r e que n c y   ( W T F )  a n d  In v e r s e   D o c um e n t   F r e que n c y   (ID F )   t o   c o m put e   t h e   i m po t a n c e   of  a   t e r m   i n   a   do c um e nt   [19].   W T F   i s   t h e   n o r m a l i z e d  v e r s i o n   o f   t e r m   o c c ur a n c e s   i n   a   do c um e nt .   U s i n g  t h e   W T F ,   t h e   m o r e   t h e   o c c urr e n c e ,   t h e   h i g h e r   t h e   w e i gh t   o f   t h e   t e rm   i n   t h e   do c um e nt .   H ow e ve r ,   s e v e r a l   i n s i g n i f i c a n t   t e rm s   o f t e n   a ppe a r   i n   m a n y   d o c um e n t s .   T h e r e f o r e ,   ID F   i s   us e d  t o   r e duc e   t h e   w e i gh t   o f  t e r m s   t ha t   h a v e   oc c ur a n c e s   i n   m a n y   do c um e n t s   [2 0].   T h e   T F - ID F   f o r m ul a   c a n  b e   s e e n   i n  (1 ),   ( 2),   a nd  ( 3).      − , =  , ∙   (1)      , = { 1 + 10  , ,                       , > 0 0 ,                                                                     , = 0   ( 2 )     W h e r e   tf   i s   t h e   t e r m   f r e que n c y   t ha t   s t a t e   h o w   m uc h  t h e   n u m b e r   o f   t e rm s   i n   a   do c um e n t .     = 10 (  )   ( 3 )     W h e r e   N   i s   t h e   n u m b e r   o f   do c um e n t s .     2. 2 .      F e a tu r e   S e l e c ti o n   u s i n g  I n fo r m ati o n   G ai n   F e a t u r e   s e l e c t i o n   i s   o n e   o f   t h e   pr o c e s s   of   s e l e c t i n g  r e l e v a n t   f e a t u r e s   i n   t e r m s   o f   t a r ge t   l e a rni ng  pr o b l e m s .   T h e   p u r po s e   of   f e a t ur e   s e l e c t i o n   i s   t o   r e m o v e   r e dun d a n t   a n d   i rr e l e v a n t   f e a t u r e s   b e c a us e     w e l l - c h o s e n   f e a t u r e s   c a n   i n c r e a s e   t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   [21] .   IG   i s   o n e   o f   a   m e t h o d  f o r   f e a t ur e   s e l e c t i o n   t h a t   i s   w i de l y   us e d  by   r e s e a r c h e r s   t o   de f i n e   t h e   b o un da r i e s   o f   a n   a t t ri b ut e ’s   i m po r t a n c e   [22] .     T h e   IG   v a l ue   i s   ob t a i n e d  f r o m   t h e   e n t r o py   v a l ue   b e fo r e   s e p a r a t i o n   i s   r e duc e d  by   t h e   e nt r o p y   v a l ue   a f t e r   t h e   s e pa ra t i o n .   T h i s   v a l ue   i s   us e d  f o r   de t e r m i n i ng  w h i c h   a t t ri b ut e s   t o   b e   r e m ov e d  o r   us e d.   A t t ri b ut e s   t ha t   m e e t   t h e   w e i gh t i n g   c ri t e r i a   w i l l   t h e   b e   us e d  f o r   t h e   c l a s s i f i c a t i o n  p r o c e s s .   In  t h e   s e l e c t i o n   p r o c e s s   of   fe a t ur e s   w i t h  IG   do n e   w i t h  t hr e e   f o l l ow i n g  s t e ps :   a)   Ca l c ul a t e s   t h e   e nt r o p y   fo r   e a c h   f e a t u r e .   b)   S pe c i f i e s   t h e   t hr e s h o l d  (l i m i t ).   It   i s   us e d  t o   d e t e r m i n e   t h e   n um b e r   o f   a t t ri b ut e s   t o  b e   u s e d  w i t h i n   t h e   t hr e s h o l d   l i m i t .   c)   F i xe d  t h e   da t a s e t   w i t h  s e l e c t e d  a t t r i b ut e s .   T h e   IG   ( t )   f e a t u r e   s e l e c t i o n   i s   f o r m u l a t e d  i n  (4)      ( ) = − ∑ ( ) l o g ( ) + ( ) ∑ ( | ) l o g ( | ) + ( ̅ ) ∑ ( | ̅ ) l o g ( | ̅ ) | | = 1 | | = 1 | | = 1   ( 4 )     w h e r e   C i   i s   a   da t a   c l a s s ,   P ( Ci )   i s   a n  o ppo r t u ni t y   of   t h e   d a t a   c l a s s ,   P ( t )   a n d  P ( t - )   a r e   p r o b a b l e   t e r m   t   o c c urr i ng  o r   n o t   a ppe a ri n g  i n   t h e   do c um e nt .   I n   m a c h i n e   l e a rni ng,   i n f o r m a t i o n   a c qui s i t i o n   c a n   b e   us e d  t o   h e l p  de t e rm i n e   f e a t ur e   ra t i ngs   [2 3].     2. 3 .      C l as s i fi c at i o n   u s i n g  S V M   T h e   c o n c e pt   o f   c l a s s i f i c a t i o n  w i t h  S V M   i s   t o   f i n d   t h e   b e s t   h y p e r pl a n e   t ha t   s e r v e r s   a s   a   s e pa ra t o r   c l a s s   n e g a t i v e   a n d  po s i t i v e   c l a s s   [24 - 25] .   S V M   i s   a l s o   c a pa b l e   of   w o r ki n g   o n   hi g h   d i m e n s i o n a l   d a t a s e t s   us i n g  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng   &   Co m p  S c i     IS S N :   2502 - 4752       Cy be r b ul l y i n g  i de nt i f i c at i on   i n   t w i t t e r   us i ng   s uppor t   v e c t or   m ac h i n e   and…   ( Ni   Mad e   G i t a  D w i   P ur nam as ar i )   1497   ke rn e l   t ri c k.   T h e r e   a r e   s e v e r a l   f un c t i o n s   o f  t h e   S V M   ke rne l ,   s uc h   a s :   L i n e a r ,   P o l y n o m i a l ,   G a us s i a n   R B F ,   S i gm o i d,   M u l t i   Q u a d r a t i c   I n v e r s e ,   a nd  A d di t i v e .   I n   t hi s   r e s e a r c h   ke rn e l   f u n c t i o n   us e d  i s   S V M   P o l y n o m i a l .   L i n e a r   S V M   i s   us e d  w h e n   d a t a   t o   b e   c l a s s i f i e d  c a n   b e   s e pa ra t e d  b y   a   h y pe r p l a n e ,   w h e r e a s   a   n o n - l i n e a r   S V M   i s   us e d  w h e n   d a t a   c a n   o nl y   be   s e pa ra t e d  b y   c ur v e d   l i n e s .   S V M   P o l y n o m i a l   ha s   a   f u n c t i o n   de f i ni t i o n  w i t h  (5) .     ( ⃗ ⃗ ⃗   , ⃗ ⃗ ⃗   ) = ( ⃗ ⃗ ⃗   ∙ ⃗ ⃗ ⃗   + 1 )     ( 5 )     w h e r e   ( ⃗ ⃗ ⃗   , ⃗ ⃗ ⃗   )   i s   a   ke rn e l   f u n c t i o n ,   x   i s   a   f e a t u r e   a nd   d   i s   a n  o r de r.   H y pe r pl a n e   i n   t h e   o p t i m a l   S V M   i s   o b t a i n e d  b y   fo r m ul a t i ng  i t   i nt o   t h e   Q P   p r o b l e m   a nd  s o l v e d  us i n g   t h e   l i b r a r y   t ha t   i s   w i de l y   a v a i l a b l e   i n  n u m e ri c a l   a na l y s i s .   B ut   h e r e   i s   a n o t he r   a l t e rna t i v e   t ha t   i s   q ui t e   s i m p l e   i s   t h e   s e que nt i a l   m e t h o d .   T hi s   m e t h o d  w a s   de v e l o pe d  by   V i j a y a ku m a r   t o   f i n d  t h e   v a l ue   o f   α ,   w hi c h   i s   de s c ri b e d  i n  s t e p:   1.   I n i t i a l i z a t i o n  = 0   Ca l c ul a t e d  H e s s i a n   M a t ri x  v a l ue   ( 6 ).      = ( ( . ) + λ 2 )     ( 6 )     W h e r e   i s   t h e   c l a s s   f r o m   t h e   d a t a   i   a nd  j ,  ( . )   i s   a   po l y n o m i a l   ke rn e l   f un c t i o n .   2.   Ca l c u l a t e   e a c h  l e v e l   w i t h  t hr e e   s t e p   i . e . :     = ∑  =   (7)     =  {  [ ( − ) , − ] , − }     (8)     = +   (9)     3.   R e pe a t i ng   t he   s t e p   2   u nt i l   t h e   α   v a l ue s   r e a c h e s   c o n v e r g i ng   o r  u n t i l   re a c h e s   m a xi m um   i t e ra t i o n.   ϒ   i s   a   pa ra m e t e r   t o   c o n t r o l   t h e   s pe e d  of   t h e   l e a rni n g  p r o c e s s .   Co n ve r ge n c e   c a n   b e   de f i n e d  f r o m   c h a nge s   i n  t h e   v a l ue   o f   α .         3.   R ES U LTS   A N D   A N A L Y S I S   In   t h e   t e s t i n g  p r o c e s s ,   A c c ur a c y ,   P r e c i s i o n ,   R e c a l l ,   a n d  F - m e a s u r e   w e r e   us e d .   T h e   a m o u n t   o f   da t a   us e d  i s   300  t w e e t s ,   of   w h i c h   150  t w e e t   c o n t a i n   b ul l y i n g   a n d  15 0  t w e e t   a r e   n o t   c o n t a i n   b ul l y i n g .   T h e   da t a   w e r e   m a n ua l l y   l a b e l l e d   by   a n   e xpe r t .   I n  t h e   e xpe r i m t n,   t h e   da t a   w a s   s pl i t t e d  i n t o   240   t w e e t s   a s   t r a i n i ng  d a t a   a n d  60  t w e e t s   a s   t e s t i n g   d a t a .     3. 1 .      T e s ti n g   o f  S e q u e n ti al   T r ai n i n g   S V M   P ar am e t e r s   T h e r e   w e r e   s i x  pa ra m e t e r s   t e s t e d  o n   s e que n t i a l   t ra i ni n g  S V M   w i t h   t e n   di f f e r e n t   e xpe r i m e nt a l   v a l ue   i . e .   l a m b da ,   ga m m a ,   e ps i l o n ,   m a xi m u m   i t e ra t i o n,   a nd  c o m pl e xi t y   (C)  v a l ue s .   T h e   s e que nt i a l   t ra i ni n g  S V M   pa r a m e t e r  v a l ue s   us e d  i n  t h e   t e s t   a r e   λ   =   0. 5,   ϒ   =   0 . 001 ,   ɛ   =   0 . 0001 ,   C  =   1 ,   a n d  m a xi m um   i t e ra t i o n   =   1 00.   F i gu r e   2  s h o w s   t h a t   t h e   r e s ul t s   o b t a i n e d  a r e   c o n s t a n t   f o r   a l l   t e s t e d  l a m b da   v a l ue s ,   a c c ura c y   70%,   p r e c i s i o n   68. 75 %,   r e c a l l   7 3. 33 %  a n d  f - m e a s u r e   70. 9 6% .   T h i s   ha pp e n s   b e c a us e   t h e   l a m b da   v a l ue   i s   o n l y   us e d  t o  pe r f o r m   h e s s i a n  m a t ri x  c a l c ul a t i o n s .   A n d  t h e   h e s s i a n   m a t r i x  i s   us e d  w h e n  c a l c ul a t i n g  t h e   v a l ue   o f   E i   fo r   s e que n t i a l   t ra i n i n g  S V M .   S o   t h e   r e s ul t s   o b t a i n e d  do   n o t   r e a l l y   a ffe c t   t h e   b i a s   v a l ue .   T h e   v a l ue   of   l a m b da     i s   0 . 5.   F i gu r e   3  s h o w s   t h a t   t h e   b e s t   r e s ul t s   a r e   ob t a i n e d  a t   t h e   ga m m a   v a l ue s   of  0. 001  a n d  0 . 01,   t h e n   t h e   v a l ue   de c r e a s e s   a s   t h e   ga m m a   v a l ue   i s   hi g h e r.   T hi s   i s   b e c a us e   t h e   ga m m a   v a l ue   i s   us e d  t o   c a l c ul a t e   t h e   v a l ue   of   t h e   a l p ha   de l t a ,   w h e r e   t h e   v a l ue   o f   t h e   a l p ha   de l t a   i s   t he   v a l ue   t h a t   de t e rm i n e s   w h e t h e r   t h e   r e s ul t s   a r e   c o n v e r ge n t   o r   n o t .   T h e   v a l ue   o f   ga m m a   t a ke n   i s   0 . 001  w i t h  a c c ur a c y   70%,   p r e c i s i o n  68 . 75% ,   r e c a l l   73 . 33 %  a n d  f - m e a s u r e   70. 96% .   F i gu r e   4  s h o w s   t h a t   t h e   b e s t   r e s ul t s   a t   e ps i l o n   v a l ue   a r e   l e s s   t ha n   0. 000001  a n d  0. 000000 1.   T hi s   i s   b e c a us e   t h e   e ps i l o n   v a l ue   i s   us e d  a s   t h e   m a x i m u m   l i m i t   f o r   c o n v e r ge n t   r e s ul t s .   A s   t h e   e ps i l o n   v a l ue   ge t s   hi g h e r ,   t h e   r e s ul t s   w i l l   c o n v e r ge   f a s t e r.   S e l e c t i o n   o f   e ps i l o n   v a l ue   0, 000 001  w i t h   a c c ura c y   68. 33% ,   p r e c i s i o n   64. 10 %,   r e c a l l   83 . 33%   a nd  f - m e a s u r e   72. 46% .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   18 ,   N o .   3 ,  J u n e   20 2 0  :     1 4 9 4   -   1 5 0 0   1498   In   F i gu r e   5,   t h e   b e s t   r e s ul t s   o b t a i n e d  a r e   i n   t h e   i t e ra t i o n   o f   2 0  w i t h   a c c u r a c y   v a l ue   of   75%,   pr e c i s i o n  70. 27 %,   r e c a l l   86. 6 6%  a nd  f - m e a s ur e   77 . 61% .   T h e n   o n   t h e   i t e ra t i o n   o f   m o r e   t ha n   1000  r e s ul t s   a r e   t h e   s a m e ,   t h i s   i s   b e c a us e   t h e   c a l c ul a t i o n   ha s   e n t e r e d  c o n v e r ge n t   s t a t e   a t   1404  i t e ra t i o n .   F i g u r e   6  s h o w s   t h a t   t h e   b e s t   r e s ul t   o n   t e s t   o f   C  v a l ue   i s   1  w i t h   a c c ura c y   v a l ue   of   75%,   pr e c i s i o n  70 . 27% ,   r e c a l l   86 . 66%   a nd  f - m e a s u r e   77. 61 %.   T hi s   i s   b e c a us e   t h e   hi g h e r   t h e   v a l ue   o f   C  t h e   po l y n o m i a l   ke rn e l   v a l ue   w i l l   b e   hi g h e r   t o o .   W h e n   t h e   po l y n o m i a l   ke rn e l   v a l ue   i s   hi g h e r   t h e n   t h e   v a l ue   o f   H e s s i a n  m a t r i x  i s   hi g h e r   a l s o ,   c a us i ng  t h e   c a l c ul a t i o n  of  t h e   v a l ue   o f   ga m m a   c o n s t a nt s   w h o s e   r e s ul t s   o b t a i n e d  s m a l l e r   a n d  t h e n   c a n   c a us e   i t e r a t i o n   b e c o m e s   f a s t e r   c o n v e r ge n t .           F i gu r e   2 .   G ra p h  o f   l a m b da   t e s t i n g   r e s ul t           F i gu r e   3 .   G ra p h  o f   ga m m a   t e s t i n g   r e s ul t           F i gu r e   4 .   G ra p h  o f   e ps i l o n   t e s t i ng  r e s ul t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng   &   Co m p  S c i     IS S N :   2502 - 4752       Cy be r b ul l y i n g  i de nt i f i c at i on   i n   t w i t t e r   us i ng   s uppor t   v e c t or   m ac h i n e   and…   ( Ni   Mad e   G i t a  D w i   P ur nam as ar i )   1499       F i gu r e   5 .   G ra p h  o f   m a xi m u m   i t e r a t i o n  t e s t i n g  r e s ul t           F i gu r e   6 .   G ra p h  o f   c o m pl e xi t y   t e s t i ng  r e s ul t           F i gu r e   7 .   G ra p h  o f   t hr e s h o l d  i n f o rm a t i o n  g a i n  t e s t i ng  r e s ul t       3. 2 .      T e s ti n g   o f  I n fo r m ati o n   G ai n   F e atu r e   S e l e c t i o n   Th r e s h o l d   A f t e r   pe r f o r m i n g  t h e   c l a s s i f c a t i o n  us i n g   S V M ,   t h e   b e s t   S V M   pa r a m e t e r s   o b t a i n e d  a r e   m a x i m u m   i t e ra t i o n   =   2 0,   λ   =   0 . 5 ,     =   0 . 001 ,     =   0 . 000 001 ,   da n  C  =   1 .   B a s e d  o n   t h e   g ra p h  di s p l a y e d  i n   F i gu r e   7 ,     t h e   b e s t   r e s ul t   w a s   ob t a i n e d  w h e n   90 %   f e a t u r e s   w e r e   us e d  w i t h   a n  f - m e a s u r e   of   a b o ut   78. 78 %.   T h i s   r e s ul t   i s   s l i g h t l y   h i g h e r  t ha n  t h e   r e s ul t s   o b t a i n e d  us i n g   a l l   o f   t h e   f e a t u r e s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   18 ,   N o .   3 ,  J u n e   20 2 0  :     1 4 9 4   -   1 5 0 0   1500   4.   C O N C LU S I O N   B a s e d  o n   t h e   e xpe r i m e nt   r e s ul t ,   i t   c a n   b e   c o n c l ude d  t ha t   t h e   c y be r b ul l y i n g  t w e e t   i de n t i f i c a t i o n   us i n g   S V M   m e t h o d  a nd  IG   f e a t ur e   s e l e c t i o n  ge t   a   p r o m i s i n g   r e s ul t .   T h e   m o s t   o pt i m a l   S V M   pa ra m e t e r s   o b t a i n e d  i n  t h i s   w o r k  a r e   m a x i m um   i t e r a t i o n= 20 ,   λ = 0 . 5 ,   = 0 . 00 1 ,   = 0. 00 0 001,   a n d   C = 1.   M e a n w hi l e ,   t h e   b e s t   t hr e s h o l d  v a l ue   of   IG   fe a t u r e   s e l e c t i o n   i s   90%  w i t h   a c c ura c y   of   76. 66% ,   p r e c i s i o n   o f   72. 22%,   r e c a l l   o f   86. 66%,     a n d  f - m e a s u r e   o f   78. 78% .   T hi s   i s   b e c a us e   t h e   IG   f e a t u r e   s e l e c t i o n   ha s   a   hi g h  v a l ue   i f   i t   r e p r e s e n t s   a   pa rt i c ul a r  c l a s s ,   a n d  ha s   a   l o w   v a l ue   i f   i t   a ppe a r s   i n  a l l   c l a s s e s .   S o   t h e   r e s ul t s   o f   c y be r b ul l y i n g  t w e e t   i de n t i f i c a t i o n  w i t h   f e a t ur e   s e l e c t i o n   ge t   h i g h e r  a c c ura c y   t h a n  us i n g   a l l   t h e   f e a t u re s .   I n   t h e   f ut u r e   w o r ks ,   s e v e r a l   f e a t u r e   s e l e c t i o n s   c o m b i na t i o n   c a n  a l s o   b e   us e d  t o   i m p r o v e   t h e   c l a s s i f i c a t i o n   p e r f o r m a n c e .       R EF ER EN C ES   [ 1]     N a g l e ,   M .   ( 2 008 ) .   “ C a s u a l t i e s   o f   bul l y i ng . ”   U M ai ne   T oda y ,   8 ( 1 ) ,   2 - 9.   [ 2]     D a dv a r ,   M . ,   J o ng ,   F .   D . ,   O r de l m a n ,   R . ,   &   T r i e s c hn i g g ,   D .   ( 20 12) .   “ I m pr ov e d  c y be r bu l l y i ng  de t e c t i on   us i ng   ge nde r   i nf or m a t i on . ”   In   P r o c e e di ng s   o f   t he   T w e l f t h  D ut c h - B e l g i a n  I nf o r m a t i o n  R e t r i e v a l   W o r ks ho p  ( D I R   2012) .  U ni v e r s i t y   o f   G he nt .   [ 3]     R é m o nd  J J ,   K e r n  L ,   R o m o  L .   “ A   c y be r bul l y i ng   s t udy :   A na l y s i s   o f   c y be r bul l y i ng ,   c o m o r bi d i t i e s   a nd  c o pi ng  m e c ha ni s m s “ .   L ' E nc e pha l e .   2015   S e p;   4 1( 4 ) : 287 - 94.     [ 4]     N i ko l a o u,   D .   ( 2017 ) .   “ D o e s   c y be r bul l y i ng   i m pa c t   y o ut h  s ui c i da l   be ha v i o r s ? . ”   J o ur n al   o f   he al t h  e c onom i c s ,   56 ,    30 - 46.   [ 5]     A l a v i ,   N . ,   R e s he t u kha ,   T . ,   &   P r o s t ,   E .   ( 2015 ) .   “ B u l l y i ng   i nc l udi ng   c y be r   bul l y i ng   i nc r e a s e s   t he   r i s k   o f   s ui c i d a l   be ha v i o ur . ”   E ur ope an  P s y c h i at r y ,   30 ,   2 09 .   [ 6]     A ndr i a n s y a h  M ,   A kba r   A ,   A hw a n  A ,   G i l a ni   N A ,   N ug r a ha   A R ,   S a r i   R N ,   S e n j a y a   R .   “ C y be r bu l l y i ng  c om m e nt   c l a s s i f i c a t i on  on  I nd one s i an  Se l e bg r am   us i ng  s up por t   v e c t o r   m a c hi ne   m e t h od . “   I n I nf o r m a t i c s   a nd   C o m put i ng   ( I C I C ) ,   2017   S e c o nd  I nt e r na t i o na l   C o nf e r e nc e   o n  2 017   N o v   1  ( pp.   1 - 5) .   I E E E .     [ 7]     I s a   S M ,   A s hi a n t i   L .   “ C y be r bu l l y i ng  c l a s s i f i c a t i on  u s i n g  t e x t   m i n i ng.   I nI nf o r m a t i c s   an d  C om pu t a t i ona l   Sc i e nc e s   ( I C I C oS) “ ,   2 017   1s t   I nt e r n a t i o na l   C o nf e r e nc e   o n  201 7  N o v   15   ( p p.   241 - 246 ) .   I E E E .     [ 8]     R e y n o l ds ,   K . ,   K o nt o s t a t h i s ,   A . ,   &   E dw a r d s ,   L .   ( 2011 ,   D e c e m be r ) .   “ U s i n g  m ac hi ne   l e ar n i ng   t o   de t e c t   c y be r bu l l y i ng. ”   In   2011   10 t h  I nt e r na t i o na l   C o nf e r e nc e   o n  M a c hi n e   l e a r n i ng   a nd  a pp l i c a t i o ns   a nd   w o r ks ho ps   ( V o l .   2,   pp .   241 - 244 ) .     [ 9]     N a ha r ,   V . ,   L i ,   X . ,   &   P a ng ,   C .   ( 2 013 ) .   “ A n  e f f e c t i v e   a ppr o a c h  f or   c y be r bul l y i ng   de t e c t i o n. ”   C om m un i c a t i ons   i n   I nf or m a t i on  Sc i e nc e   and   M an age m e nt   E n gi ne e r i n g ,   3 ( 5) ,   238 .   [ 10]     D o m i ngo s   P .   “ A   f e w   us e f u l   t hi ng s   t o   kno w   a bo ut   m a c hi n e   l e a r ni ng “ .   C om m un i c a t i ons   of   t he   A C M .   2012   O c t   1; 55( 10 ) : 78 - 87.     [ 11]     A de l e ke ,   A . ,   S a m s ud i n ,   N .   A . ,   O t hm a n ,   Z .   A . ,   &   K ha l i d ,   S .   A .   ( 2 019) .   “ A   t w o - s t e p   f e a t ur e   s e l e c t i o n  m e t ho d  f o r   qur a ni c   t e x t   c l a s s i f i c a t i o n. ”   I nd one s i an  J ou r na l   of   E l e c t r i c a l   E ng i n e e r i ng  an d  C om put e r   Sc i e nc e ,   16 ( 2) ,   730 - 73 6.   [ 12]     Ya ng ,   Y . ,   &   P e d e r s e n ,   J .   O .   ( 1997 ,   J u l y ) .   “ A   c o m pa r a t i v e   s t ud y   o n  f e a t ur e   s e l e c t i o n  i n  t e xt   c a t e g o r i z a t i o n. ”   In   I c m l   ( V o l .   97 ,   N o .   4 12 - 420 ,   p.   35 ) .   [ 13]     U ğ uz ,   H .   ( 2011 ) .   “ A   t w o - s t a g e   f e a t ur e   s e l e c t i o n  m e t ho d  f o r   t e x t   c a t e g o r i z a t i o n  by   us i ng   i nf o r m a t i o n  g a i n,   pr i n c i p a l   c om po ne nt   a na l y s i s   a n d  g e n e t i c   a l g o r i t hm . ”   K now l e dge - B as e d  Sy s t e m s ,   24 ( 7 ) ,   10 24 - 103 2.   [ 14]     C ha nda ni   V ,   W a ho no   R S .   “ K o m pa r a s i   A l g o r i t m a   K l a s i f i ka s i   M a c hi n e   L e a r n i ng   D a n  F e a t u r e   S e l e c t i o n  pa da   A na l i s i s   S e n t i m e n   R e v i e w   F i l m “ .   J ou r na l   of   I nt e l l i ge nt   Sy s t e m s ,  2 0 15  F e b   18; 1( 1) :   56 - 60 .     [ 15]     F a uz i   M A ,   A r i f i n  A Z ,   Y uni a r t i   A .   “ A r a bi c   B oo k  R e t r i e v a l   us i ng   C l a s s   a nd  B o o k  I nde x  B a s e d  T e r m   W e i g ht i ng “ .   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n g  ( I J E C E ) .   20 17  D e c   1; 7( 6) : 3705 - 10.   [ 16]     F a uz i   M A ,   U t o m o   D C ,   S e t i a w a n  B D ,   P r a m uk a nt o r o   E S .   “ A u t om at i c   E s s ay   Sc o r i ng  S y s t e m   U s i ng  N - G r am   and   C os i ne   S i m i l ar i t y   f or   G am i f i c at i on  B as e d  E - L e ar ni n g “ .   I n  P r oc e e di ng s   o f   t he   I nt e r n a t i o na l   C o nf e r e nc e   o n  A d v a nc e s   i n  I m a g e   P r o c e s s i ng   2017   A ug   25  ( pp .   151 - 155 ) .   A C M .     [ 17]     T a l a   F Z .   “ A   s t udy   o f   s t e m m i ng   e f f e c t s   o n  i nf o r m a t i o n  r e t r i e v a l   i n  B a ha s a   I ndo ne s i a “ .   I ns t i t u t e   f o r   L og i c ,   L a ng ua g e   a nd  C o m pu t a t i o n,   U n i v e r s i t e i t   v a n  A m s t e r da m ,   T he   N e t he r l a nd s .   2 003  J u l .     [ 18]     F a uz i   M A .   “ R a ndo m   F o r e s t   A ppr o a c h  f o r   S e nt i m e nt   A na l y s i s   i n   I ndo ne s i a n  L a ng ua g e “ .   I nd one s i a n  J ou r na l   o f   E l e c t r i c al   E ng i ne e r i ng   a nd  C om pu t e r   S c i e nc e   ( I J E E C S) .   20 18  O c t   1; 12( 1 ) .     [ 19]     S a a d ,   M .   M . ,   J a m i l ,   N . ,   &   H a m z a h,   R .   ( 2018 ) .   “ E v a l ua t i o n  o f   S uppo r t   V e c t o r   M a c hi ne   a nd  D e c i s i o n  T r e e   f o r   E m o t i o n  R e c o g ni t i o n  o f   M a l a y   F o l kl o r e s . ”   B u l l e t i n   o f   E l e c t r i c a l   E n gi ne e r i ng   an d  I n f or m at i c s ,   7 ( 3) ,   479 - 48 6.   [ 20]     G a i g o l e   P C ,   P a t i l   L H ,   C ha u dha r i   P M .   “ P r e pr oc e s s i n g  t e c h ni q ue s   i n  t e x t   c at e gor i z at i on “ .   I n  N a t i o na l   C o nf e r e nc e   o n  I nn o v a t i v e   P a r a d i g m s   i n  E ng i ne e r i ng   &   T e c hno l o gy   ( N C I P E T - 2013)   20 13   ( p p.   1 - 3) .     [ 21]     F o r m a n,   G .   ( 200 3) .  “ A n  e xt e ns i v e   e m pi r i c a l   s t u dy   of   f e a t ur e   s e l e c t i o n  m e t r i c s   f o r   t e xt   c l a s s i f i c a t i o n . ”   J ou r na l   o f   m ac hi ne   l e ar n i n g  r e s e ar c h ,   3 ( M a r ) ,   1289 - 13 05.   [ 22]     D e ng   H ,   R ung e r   G .   “ F e at ur e   s e l e c t i o n  v i a  r e gu l ar i z e d  t r e e s “ .   I n  N e ur al   N e t w or k s   ( I J C N N ) ,   T he   2 012  I nt e r na t i o na l   J o i nt   C o nf e r e nc e   o n  201 2  J un   10   ( pp .   1 - 8) .   I E E E .     [ 23]     S ui   B .   “ I nf o r m a t i o n  g a i n   f e a t ur e   s e l e c t i o n  ba s e d   o n  f e a t u r e   i nt e r a c t i o ns   ( D o c t o r a l   di s s e r t a t i o n) .“   [ 24]     M e y e r   D ,   W i e n  F T .   “ S uppo r t   v e c t o r   m a c hi ne s “ .  R   N e w s .   20 01  S e p; 1( 3 ) : 23 - 6.     [ 25]     F a uz i   M A ,   Y un i a r t i   A .   “ E n s e m b l e   M e t ho d  f o r   I ndo ne s i a n  T w i t t e r   H a t e   S pe e c h  D e t e c t i o n “ .  I ndone s i an   J ou r na l   o f   E l e c t r i c al   E ng i ne e r i ng   a nd  C om pu t e r   S c i e nc e   ( I J E E C S) .   20 18  J u l   1 ; 11( 1) : 294 - 9.   Evaluation Warning : The document was created with Spire.PDF for Python.