I n te r n ati o n al   Jo u r n al   o f  El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   9 ,   N o .   6 ,  D e c e m be r   20 1 9 ,   pp .   5479 ~ 5485   IS S N :   2088 - 8708 ,  D O I :   10. 1 1591 / i j e c e . v9 i 6 . pp5479 - 5 485             5479       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ I J E C E   C o m p a r a t i v e   b e t w e e n   o p t i m i z a t i o n   f e a t u r e   s e l e c t i o n   b y   u si n g   c l a ssi f i e r s   a l g o r i t h m s  o n  sp a m   e m a i l       G h ad a  R aw as h d e h ,   R ab i e i   M am at,   Zu r i an a   B i n t i   A b u   Bak a r ,   N o o r   H afh i z ah   A b d   R ah i m   D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   U ni v e r s i t y   M a l a y s i a   T e r e ng g a nu ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   D e c   7 ,   201 8   R e v i s e d  A pr   18 ,   201 9   A c c e pt e d  J un   11 ,   201 9       S pa m   m a i l   h a s   b e c o m e   a   r i s i ng   ph e no m e no n  i n  a   w o r l d  t ha t   h a s   r e c e n t l y   w i t n e s s e d  h i g h  g r o w t h  i n  t he   v o l um e   o f   e m a i l s .   T h i s   i ndi c a t e s   t h e   ne e d  t o   de v e l o p  a n  e f f e c t i v e   s pa m   f i l t e r .   A t   t h e   pr e s e n t   t i m e ,   C l a s s i f i c a t i o n   a l g o r i t hm s   f o r   t e xt   m i n i ng   a r e   us e d  f o r   t he   c l a s s i f i c a t i o n  o f   e m a i l s .   T hi s   pa pe r   pr o v i de s   a   de s c r i p t i o n  a nd  e v a l ua t i o n  o f   t he   e f f e c t i v e ne s s   o f   t hr e e   po pul a r   c l a s s i f i e r s   us i ng   o pt i m i z a t i o n  f e a t ur e   s e l e c t i o ns ,   s uc h  a s   G e ne t i c   a l g o r i t hm ,   H a r m o ny   s e a r c h,   p r a c t i c a l   s w a r m   o pt i m i z a t i o n,   a nd   s i m ul a t i ng   a nne a l i ng .   T h e   r e s e a r c h  f o c us e s   o n  a   c o m pa r i s o n  o f   t he   e f f e c t   o f   c l a s s i f i e r s   us i ng   K - ne a r e s t   N e i g hbo r   ( K N N ) ,   N a ï v e   B a y e s i a n  ( N B ) ,   a nd  S upp o r t   V e c t o r   M a c hi n e   ( S V M )   o n  s pa m   c l a s s i f i e r s   ( w i t ho ut   us i ng   f e a t u r e   s e l e c t i o n)   a l s o   e nha nc e s   t he   r e l i a b i l i t y   o f   f e a t ur e   s e l e c t i o n  by   pr o po s i ng   o pt i m i z a t i o n  f e a t ur e   s e l e c t i o n  t o   r e duc e   num b e r   o f   f e a t u r e s   t ha t   a r e   no t   i m po r t a nt .   Ke y w or d s :   C l a s s i f i e r s   a l go ri t hm   E m a i l   s p a m     M e t a - h e u r i s t i c   O pt i m i z a t i o n  f e a t u r e   s e l e c t i o n s   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .    A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   G ha da   R a w a s h de h ,   D e pa rt m e n t   o f   Co m put e r  S c i e n c e ,   U n i v e r s i t y   M a l a y s i a   T e r e ngga nu ,   21030  K ua l a   T e r e ngga nu,   T e r e n gga nu,   M a l a y s i a .   E m a i l :   g h a da _ r w a s h de h @ y a h o o . c o m       1.   I N TR O D U C TI O N     Cu rr e nt l y ,   t h e r e   i s   n o   e xa c t   de f i n i t i o n   f o r   s pa m ,   h o w e v e r ,   s pa m   i s   o f t e n   r e f e r r e d  t o   a s   u n s o l i c i t e d   e m a i l ,   b ut   i t   i s   n o t   a l l   u n s o l i c i t e d  e - m a i l s   a r e   s pa m s .   S pa m   c o ul d  a l s o   b e   s a i d  t o   u n s o l i c i t e d  c o m m e r c i a l     e - m a i l   [1] ,   b ut   u n f o r t u n a t e l y ,   n o t   a l l   a dv e rt i s i n g  m a t e ri a l s   a r e   s pa m .   E v e n   t h o ug h  m o s t   e - m a i l   us e r s   a r e   a w a r e   of   w h a t   s pa m   r e p r e s e nt s ,   h o w   s pa m   a n d  s pa m m i n g  a r e   d e f i n e d  i s   s t i l l   n o t   c l e a r.   S upe r v i s e d  l e a rni n g  i s     t h e   m a c hi n e   l e a rn i ng  t a s k  o f  ge n e r a t i n g  a   m a pp i n g  f r o m   l a b e l e d  o r   s upe r v i s e d  t r a i ni n g  d a t a   t o   a   c l a s s   o f  pr e di c t i o n s   o r  o ut put   [2].   A   m a j o r   a s pe c t   o f   s upe r v i s e d  l e a rn i ng  i s   a   c l a s s i f i c a t i o n   t a s k  w h o s e   a i m   i s   t o   e s t a b l i s h  a   f un c t i o n   f r o m   k n o w n   a s   l a b e l s   o r   c l a s s e s   f r o m   i n p ut   o b j e c t s   t o   o ut put   v a l ue s .   T h e   s e t   o f   l a b e l e d   e xa m pl e s   i s   c a l l e d  a   t ra i ni n g  s e t .   T h e n   a   c l a s s i f i e r   i s   us e d  a l o n gs i de   t h e   t ra i ni n g  s e t   t o   ge n e r a t e   a   m a p pi n g   f r o m   e xa m pl e s   t o   l a b e l s .   S ub s e que n t l y ,   t h e   t r a i n e d  c l a s s i f i e r  c o ul d  b e   us e d  fo r   c l a s s i f i c a t i o n .   T e xt   c l a s s i f i c a t i o n   i s   p r o n e   t o   s e v e r a l   c h a l l e n ge s   due   t o   a   l a r ge   n um b e r   o f   f e a t ur e s   i n   t h e   da t a s e t .   T h e   a pp l i c a b i l i t y   of   t h e   e xi s t i n g  c l a s s i f i c a t i o n   t e c hni que s   i n   t h e s e   da t a s e t s   i s   r e s t ri c t e d  due   t o   t h e   h uge   n u m b e r   o f   fe a t ur e s   [ 3 ] .   S e ve r a l   IR   t e c hni que s   s uc h   a s   S t e m m i n g ,   F e a t u r e   s e l e c t i o n   (F S )  a n d  S t o p - w o r ds   R e m o v a l   h a v e   a pp l i e d  f o r   f e a t u r e   s pa c e   di m e n s i o n  r e duc t i o n .   T h e   F S   t e c hni que s   l i ke   C h i - S qu a r e   S t a t i s t i c   (CH I),   M ut u a l   I n f o r m a t i o n   (M I),   a n d   I n f o r m a t i o n   G a i n   (IG )  a r e   e m p l oy e d  fo r   f e a t ur e   d i m e n s i o na l i t y   r e duc t i o n   v i a   t h e   e l i m i na t i o n   o f   i rr e l e v a nt   f e a t u r e s   f o r   a   g i v e n  c a t e go r y   [ 4 - 7] .   N a t u r e - i n s p i r e d  m e t a - h e u r i s t i c s   h a v e   fo un d  a p pl i c a b i l i t y   i n  s e v e r a l   f i e l ds ,   i n c l u di n g  i n   c o m put e r  s c i e n c e ,   a n d  da t a   m i ni n g  [ 8 ,   9 ] .   F o r   i n s t a n c e ,   t h e   ge n e t i c   a l g o r i t hm   (G A )   h a s   b e e n   e m p l oy e d  by   [1 0 ]  a s   a n  F S   m e t h o d  us i n g  M ul t i - L a y e r   P e r c e pt r o n   (M L P )  a s   t h e   c l a s s i f i e r   ‘b a g  o f   t h e   w o r d’  a s   t h e   e xt r a c t i o n   m e t h o d.     T h e   pe r f o r m a n c e   o f   t h e s e   t e c hn i q ue s   w a s   be n c hm a rke d  a g a i n s t   N e ura l   N e t w o r k  (N N ),   N a ï v e   B a y e s   (N B ,   a n d   s uppo r t   v e c t o r   m a c hi n e   (S V M )  a n d  f o un d   t o   o ut pe r f o r m   t he   o t h e r   c l a s s i f i e r s .   T h e   pe r f o r m a n c e   of   di ffe r e nt   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   9 ,   N o .   6 ,  D e c e m b e r   2019   :     54 7 9   -   5485   5480   c l a s s i f i e r s   o n   s p a m   c l a s s i f i c a t i o n   ha s   b e e n   c o m pa r e d  by   [ 11 ]  us i ng  ‘b a g  o f   t h e   w o r d’  a s   a n  e xt r a c t i o n  t e c hn i q ue   w i t h o ut   F S .   F r o m   t h e   r e s ul t s ,   N B   pe r f o r m e d  b e t t e r  t ha n   S V M   a nd  t r e e - b a s e d  J 48 .    T h i s   r e s e a r c h   i s   s i g n i f i c a n t   a s   i t   a i m s   t o   i m p r o v e   t h e   pe r f o r m a n c e   o f   s pa m   c l a s s i f i e r s   a n d  de t e r m i n e   t h e   s pa m s   a v a i l a b l e   i n   o ur   da t a s e t s   w i t h   i m p r o v e d  p e r f o r m a n c e .   It   a l s o   de t e r m i n e s   t h e   m o s t   s ui t a b l e   o pt i m i z a t i o n   t o   a dd r e s s   t h e   w e a kn e s s   of  t h e   s pa m   c l a s s i f i e r s   i n   a   l a r ge   a m o u n t   o f   fe a t ur e .   In   a ddi t i o n ,   t h i s   r e s e a r c h   i n c o r po r a t e s   s ui t a b l e   c l a s s i f i e r s   w i t h   o pt i m i z a t i o n   f e a t ur e   s e l e c t i o n   a l go r i t h m .   T hi s   i s   i m po rt a nt   b e c a us e   t h e   c u rr e n t   t e c hni que s   o f   s pa m   c l a s s i f i e r s   a r e   s t i l l   n o t   e f fe c t i ve .   W i t h  t h e   r a pi d   i n c r e a s e   i n  i n t e rn e t   us a ge ,   t h e   t e c hn o l o gy   fo r   a ut o m a t i c   c l a s s i f i c a t i o n   o f   a   h u ge   a m o u n t   o f   e m a i l   i n f o r m a t i o n   ha s   c o m e   t o   pl a y     a   v e r y   s i gn i f i c a n t   r o l e .   A   w i de   r a nge   o f   e m a i l s   i s   i n c r e a s i n g l y   di s s e m i na t e d  a l m o s t   d a i l y ,   m a ki ng  i t   m o r e   di f f i c ul t   t o   de t e c t   t h e   e m a i l s .   A n o t h e r   i s s ue   o f   d e ve l o pi n g  T C  s y s t e m   i s   h o w   t o   h a n d l e   t h e   h uge   a m o unt   of  f e a t ur e s ,   w hi c h   c a n  e a s i l y   r e a c h  m a n y   pe o pl e   [ 4,   12 ].   T h e   pe r f o r m a n c e   of   t hr e e   c l a s s i f i e r s ,   n a m e l y :   N B ,   J 48,   a n d  IB 1  h a v e   b e e n   c o m pa r e d  by   [ 13 ]  us i ng  ‘b a g  of  t h e   w o r d’  a s   a n   e xt r a c t i o n   t e c hni que   a n d  N B   w a s   fo un d  a s   t h e   b e s t   c l a s s i f i e r .   F urt h e rm o r e ,   t h e   F S   pe r f o r m a n c e   o f   P e a r s o n   c o rr e l a t i o n,   M ut u a l   I n f o rm a t i o n,   C hi - s qua r e ,   a n d  S y m m e t r i c   U n c e r t a i nt y   h a s   b e e n   c o m pa r e d  a n d  C h i - s qu a r e   w a s   f o un d  a s   t h e   b e t t e r   c l a s s i f i e r.   A n o t h e r   s t udy   c o m pa r e d  t h e   pe r f o r m a n c e   of  S V M ,   A da B oo s t ,   a nd  R a n do m   F o r e s t s   (R F )  a s   F S   t e c hn i que s   us i n g  ‘b a g  o f   t h e   w o r d’  a s   t h e   e xt ra c t i o n  t e c hn i q ue .   T h e   s t udy   fo un d  S V M   a s   t h e   b e s t   c l a s s i f i e r.   T w o   F S   t e c h ni que s   (I n f o r m a t i o n   G a i n   a n d    Chi - S qu a r e )  h a v e   a l s o   be e n   c o m pa r e d  us i ng  S V M   a s   a   c l a s s i f i e r .   T h e   c o m pa ri s o n   r e s ul t   s h o w e d  t h e   us e   of  Chi - S qu a r e   a s   t h e   F S   m e t h o d  a n d   R F   a s   t h e   c l a s s i f i e r   t o   b e   be t t e r  t ha n   us i n g   S V M   w i t h  F S .   A ddi t i o n a l l y ,   s i x  F S   t e c hn i q ue s   (S V M ,   N B ,   O pt i m a l   D o c um e nt   F r e que n c y - b a s e d  F e a t u r e   S e l e c t i o n   (O D F F S ),   T e r m   F r e que n c y - b a s e d  F e a t ur e   S e l e c t i o n s   ( T F F S s ),   a n d   a   h y b r i d  m e t h o d  (H B M ))  h a s   b e e n   c o m pa r e d  by   [ 14 ].   T h e y   s ugge s t e d  t h e   F e a t u r e   S ub s e t   E v a l ua t i n g  P a r a m e t e r  O pt i m i z a t i o n   (F S E P O )  f o r   pa r a m e t e r   o pt i m i z a t i o n .   F r o m   t h e   o bs e r v e d  pe r fo r m a n c e   o f  t h e   c l a s s i f i e r s ,   N B   pe r f o r m e d  b e t t e r   t ha n   o t h e r   c l a s s i f i e r s .   T h i s   i s   o n e   o f   t h e   w o r ks   t h a t   i n f o rm e d  t h e   c urr e nt   s t udy   t o   us e   o pt i m i z a t i o n   f e a t u r e   s e l e c t i o n   f o r   s pa m   o pt i m i z a t i o n.   [ 15 ]  e m pl o y e d  fe a t ur e   s e l e c t i o n s   o f   S V M   us i n g  b a g  o f  w o r d  a s   e xt ra c t i o n   t o   i de nt i fy   s pa m   c l a s s i f i c a t i o n.   A c c o r di n g  t o   t h e   s t udy ,   t h e   b e s t   t y p e   of   S V M   w a s   G a us s i a n   K e rn e l   w hi c h   pe r f o r m e d  b e t t e r  t h a n   P o l y n o m i a l   K e rn e l   a n d  L i n e a r   K e rn e l   of   S V M   c l a s s i f i e r .   O n   t h e   o t h e r   ha n d ,   K e rn e l - P e n a l i z e d  o ut pe r f o r m e d  R e c ur s i v e   F e a t ur e   E l i m i na t i o n   (R F E ),   F i s h e r ,   K e rn e l - P e na l i z e d,   a nd  F e a t u r e   S e l e c t i o n   Co n c a V e   (F S V ).     T h e   c urr e n t   r e s e a r c h   i s   c o n s i s t e n t   w i t h   t h e   r e s e a r c h   c o n duc t e d  by   [ 11 ]  w h i c h  r e v e a l e d  t ha t   N B   w a s   b e t t e r   w i t h o ut   f e a t u r e   s e l e c t i o n .   H ow e v e r ,   [ 11 ]   us e d  t r e e - b a s e d  J 48  w h i l e   o ur   r e s e a r c h   us e d  K N N   w i t h   N B  a n d  t e s t e d  t h e   c l a s s i f i e r   w i t h   O F S .   T hi s   r e s e a r c h   i s   a l s o   i n   l i n e   w i t h   [ 13 ]  w h o   fo un d  t h a t   N B   i s   t h e   b e s t   c l a s s i f i e r .   N e v e r t h e l e s s ,   o ur   r e s e a r c h   di s a g r e e s   w i t h   [ 10 ]  w h o   c o m pa r e d  N B   w i t h   t h e   ge n e t i c   a l go r i t hm   a s   f e a t ur e   s e l e c t i o n ,   b ut   o u r   r e s e a r c h   f o c us s e s   o n   t h e   e f f e c t   of   O F S   o n   t h e   c l a s s i f i e r s .   T h e   p r e s e n c e   of   t h e   c r o s s ov e r   a n d  m ut a t i o n   o pe ra t o r s   i n   t h e   G A   m a ke s   i t   s e e m   s i m i l a r  t o   b i o l o gi c a l   e vo l ut i o n   p r o c e s s   of   c h r o m o s o m e s .   T h e   c hr o m o s o m e s   a r e   a s s e s s e d  b a s e d  o n   t h e i r  f i t n e s s   f un c t i o n   t o   s e l e c t   p a r e nt s   a s   t h e y   pr o v i de   a   s o l ut i o n  t o   p r o b l e m s .   T h e   s e l e c t i o n   o f   t h e   p a r e n t s   p r e c e de d  n e w   po pul a t i o n  ge n e ra t i o n;   h e n c e ,   i t   i s   a   ke y   pr o c e s s   w h i c h   c a n   a f f e c t   t he   G A   c o n v e r ge n c e .   T h e   c o n v e r ge n c e   s pe e d  o f  di f fe r e nt   s e l e c t i o n  s c h e m e s   w a s   f i r s t   s t udi e d   by   [ 16 ].   T h e   P a r t i c l e   S w a r m   O pt i m i z a t i o n   (P S O )  w a s   de v e l o p e d  b a s e d  o n   i n s pi ra t i o n   f r o m   t h e   f l o c ki n g  o f   b i r ds   o r   i n s e c t s   w h e n   de t e rm i ni n g  t h e   o pt i m a l   s o l ut i o n.   T hus ,   i t   i s   a   s w a r m - b a s e d  m e t a - h e u r i s t i c   o pt i m i z a t i o n  t e c hn i q ue .   T h e   P S O   i s   p r o n e   t o   c e r t a i n   p r o b l e m s   s uc h   a s   p r e m a t u r e   c o n v e r ge n c e   de s pi t e   i t s   a c c ur a c y   [1 7 ] .  T h i s   di f f e r e n t i a t e s   P S O   f r o m   t h e   r e s t   o f   t h e   m a t h e m a t i c a l   f r a m e w o r ks .   A ddi t i o na l l y ,   P S O   c a n   a c c u r a t e l y   de t e r m i n e   t h e   gl o b a l   o pt i m a l   po s i t i o n   f o r   s i ngl e - pe a k - s e a r c h   p r o b l e m s .   M e a n w h i l e ,   t h e r e   i s   a   t e n de n c y   o f    t h e   P S O   b e i n g  t ra ppe d  i n  a   l o c a l   o pt i m um   w h e n   f a c e d  w i t h  c o m pl e x  m ul t i - pe a k - s e a r c h   p r o b l e m s .   T h e r e   i s   n o   m ut a t i o n   o pe ra t o r  i n  t h e   P S O   a s   o b t a i n a b l e   i n  t h e   G A ,   b ut   i t   c a n  s t i l l   a c h i e v e   t h e   b e s t   r e s ul t s   b a s e d  o n    t h e   i nt e ra c t i o n   b e t w e e n   t h e   pa rt i c l e s .   H a r m o n y   S e a r c h   (H S )  w a s   pr e s e n t e d  by   [ 18 ]  a s   a   m e t a - h e uri s t i c   t ha t   i m i t a t e s   t h e   p r o c e s s   o f  m us i c   i m p r o v i s a t i o n ,   a   s i t ua t i o n   w h e r e   m us i c i a n s   a i m   t o   a c hi e v e   a   pe r f e c t   s t a t e   of  h a rm o n y   by   i m pr o v i s i n g     t h e   pi t c h e s   o f  t h e i r   i n s t rum e n t s .   T h e   pe r f o r m a n c e   o f  t he   H S   a l g o r i t h m   ha s   b e e n   pr o v e n   t hr o ugh   i t s   a ppl i c a t i o n   t o   di f f e r e n t   p r o b l e m s .   A dd i t i o na l l y ,   t h e   c a p a b i l i t y   of   H S   t o   e xpl o r e   a n  e nt i r e   s e a r c h   s p a c e   ha s   b e e n   de m o n s t ra t e d  by   i t s   e xpl o r a t i v e   p ow e r .   B e s i de s ,   t h e   e xpl o r a t i v e   pow e r   of   t h e   H S   h a s   b e e n   e n s u r e d  ow i n g  t o   t h e   e vo l ut i o n   o f  t h e   e xpe c t e d   po pul a t i o n   v a r i a n c e   ov e r   ge n e ra t i o n s .   It   t a ke s   t h e   H S   a   l o n g  t i m e   t o  c o n v e r ge   t o   a   gl o b a l l y   o pt i m a l   pa rt i t i o n.   T h e   H S   o pt i m i z a t i o n  c a n   b e   a do pt e d  t o   i de n t i fy   a   gl o b a l     n e a r - o pt i m a l   s o l ut i o n   b e c a us e   i t   i s   go o d  a t   a v o i di n g  l o c a l   o pt i m a l   s o l ut i o n   c o n v e r ge n c e   [ 19 ] .   T h us ,   H S   h a s   b e e n   p r o v e n   e ffe c t i v e   i n   s e v e r a l   o pt i m i z a t i o n  p r o b l e m s   [ 20 - 22 ].   T h e   H S   t e c hn i que ,   u n l i ke   t h e   c o n v e n t i o na l   o pt i m i z a t i o n  m e t h o ds ,   c a n  y i e l d  s e ve r a l   m e r i t s   a s   b ri e f l y   di s c us s e d  b e l ow .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Com par at i v e   b e t w e e n  op t i m i z at i on  f e at ur e   s e l e c t i on   by   us i ng   c l as s i f i e r s   a l gor i t hm s   . . .   ( G hada  R aw as hde h)   5481   T h e   H S   a l go ri t hm   de m a nds   l e s s e r   m a t h e m a t i c a l   c o m put a t i o n  a n d   ha s   n o   n e e d  f o r   t h e   i ni t i a l   v a l ue   s e t t i n gs   f o r   de c i s i o n   v a ri a b l e s .   D e ri v a t i v e   i n f o r m a t i o n  i s   n o t   n e e de d  i n   t h e   H S   a l go ri t hm   b e c a us e   i t   de pe n ds   o n   s t o c h a s t i c   ra n do m   s e a r c h e s .   T h e   H S   a l go r i t hm   ge n e ra t e s   a   n e w   v e c t o r   by   c o n s i d e ri n g  a l l   t h e   e xi s t i n g   v e c t o r s ,   unl i ke   t h e   o t h e r   m e t h o ds ,   l i ke   t h e   G A ,   w h i c h   c on s i de r   o nl y   t h e   t w o - pa r e nt   v e c t o r s .   T h e r e f o r e ,     t h e   H S   i s   a   f l e xi b l e   a l go r i t hm   a l t h o ug h   s e v e r a l   p r o b l e m s   s t i l l   n e e d  t o   b e   s o l v e d  a s   i t   a ppl i e s   m o r e   c o n t r o l   pa r a m e t e r s   t e c hni que s .    T h e   s i n g l e - b a s e d  a pp r o a c h e s   a r e   t h e   o l de s t   b ut   s i m pl e s t   m e t a - h e u ri s t i c s   t ha t   pe rt u r b   a   s i n g l e   s o l ut i o n  a t   e a c h   i t e r a t i o n.   A s   de f i n e d  by   [ 23 ]a   l o c a l   s e a r c h   i s   a n   “ a l go r i t hm i c   m e t h o d  fo r   s e a r c hi n g  a   gi v e n   s pa c e   of  c a n d i da t e   s o l ut i o n s ,   s t a rt i n g   f r o m   a n   i n i t i a l   c a n di d a t e   s o l ut i o n  t o   a n d   i t e ra t i v e l y   m ov e s   t o   a   c a n d i da t e   s o l ut i o n   f r o m   i t s   di r e c t   n e i g h b o rh o o d,   b a s e d  o n   l o c a l   i n f o r m a t i o n,   u nt i l   a   t e r m i n a t i o n  c o n d i t i o n   i s   s a t i s f i e d. ”   In  t hi s   t e c hni que ,   t h e   s i n gl e - b a s e d  w h i c h   i s   e m pl o y e d  fo r   a d dr e s s i n g   a   gi v e n   p r o b l e m   i ni t i a l i z e s   w i t h  t h e   h e l p  o f   a n   i n i t i a l   c a ndi d a t e   s o l ut i o n   b e fo r e   c o n s i de r i n g   t he   n e i g h b o r s   e a c h  t i m e   w i t h   r e s pe c t   t o   t h e   c urr e n t   s o l ut i o n   a s   a   l i ke l y   a l t e rn a t i v e   fo r   t h e   i m p r o v e m e n t   o f   t h e   ob j e c t i ve   f un c t i o n   o f   a n y   gi v e n   s o l ut i o n   u n t i l     t h e   de s i r e d   s e a r c h   c o n d i t i o n   i s   a c hi e v e d.   F ur t h e rm o r e ,   a   n e w   s o l ut i o n   w o ul d  b e   a c c e pt e d  f r o m     t h e   n e i g h b o rh o o d  i f   i t   i s   b e t t e r   t ha n   t h e   e xi s t i n g  po s s i b l e   s o l ut i o n s   i n   t h e   c a n d i da t e   s e t s .   A   c r i t i c a l   e xa m pl e   of  t h i s   c a n   b e   dra w n   f r o m   H i l l   c l i m b i n g   [ 24 ]   S i m u l a t e d  A nne a l i n g  [ 25 ]   a n d  T a b u  S e a r c h   [ 26 ] ,   a s   s t u di e s   of  s i ngl e - b a s e d  a pp r o a c h e s .   S i m ul a t e d  a nn e a l i ng  i s   a   t e c hni que   f o r   s o l v i n g  c o m b i n a t o r i a l   o pt i m i z a t i o n   p r o b l e m s   [ 27 ],   s uc h   a s   t h e   m i n i m i z a t i o n  o f   t h e   f un c t i o n s   o f   n u m e r o us   v a r i a b l e s .   O w i n g  t o   t h e   f a c t   t ha t   s e v e r a l   r e a l - w o r l d  p r o b l e m s   c a n   b e   c o n s i de r e d  a s   o pt i m i z a t i o n   p r o b l e m s ,   i nt e r e s t s   i n   g e n e ra l   t e c hn i que s   f o r   a dd r e s s i n g  s uc h   p r o b l e m s   ha v e   i n c r e a s e d.   O n e   o f   s uc h   t e c h ni que s   w i t h   a n   u n us ua l   l i ne a ge   i s   S i m ul a t e d  a nn e a l i n g   w h i c h  w a s   i n s pi r e d   by   t h e   s t a t i s t i c a l   m e c h a ni c s   o f   a nn e a l i n g  i n   s o l i ds .   A   b e t t e r  u n de r s t a ndi n g   o f   s uc h   ph y s i c s   pr o b l e m   c a n   b e   a c hi e v e d  by   c o n s i de ri n g  t h e   p r o c e s s   of   c o e r c i n g  a   s o l i d  i n t o   a   l o w   e n e r gy   s t a t e   (t y pi c a l l y   r e fe r ri n g  t o    a   g r e a t l y   o r de r e d  s t a t e ,   s uc h   a s   a   c r y s t a l   l a t t i c e ).   I n   t h e   s i m ul a t e d  a nn e a l i n g  m e t h o ds ,   t h e   a na l o go us   s e t   o f  “ c o n t r o l l e d  c oo l i ng”   o pe r a t i o n s   a r e   us e d  fo r   n o n - p h y s i c a l   o pt i m i z a t i o n   p r o b l e m s ;   i n   e f fe c t ,   t h e   p r o c e s s   o f  t r a n s f o r m i ng  a   po o r ,   u n o r de r e d  s o l ut i o n   i n t o   a   hi g hl y   de s i r a b l e   o pt i m i z e d  s o l ut i o n.   It   p r o v i de s   a n   e ff e c t i v e   ph y s i c a l   a na l o gy   fo r   s o l ut i o n s   t o   o pt i m i z a t i o n   p r o b l e m s .   It   c a n   a l s o   r e s h a pe   m a t h e m a t i c a l   i n s i g h t s   f r o m     t h e   p h y s i c s   pe r s pe c t i v e   i n t o   t h e   pe r s pe c t i v e   o f   t h e   r e a l   o pt i m i z a t i o n  p r o b l e m .   Th e r e f o r e ,   p r e v i o us   s t udi e s   f oc us e d  o n   t h e   w e a k n e s s e s   of   s pa m   c l a s s i f i e r s   [ 23 ,   24 ].   H ow e v e r ,     t h e   p r e s e n t   i s   e n v i s i o n e d  t o   i m p r o v e   t h e   pe r f o r m a n c e   of   s pa m   c l a s s i f i e r s .   T h e   f a ul t s   o f   s pa m   c l a s s i f i e r s   a r e   c h a ra c t e ri z e d  b y   b e i n g  i n s uf f i c i e n t   t o   ha n d l e   t h e   h uge   v ol um e   o f   r e l e v a n t   e m a i l s   a n d  e f f i c i e n t l y   de t e c t     t h e   n e w   s pa m   e m a i l ,   w h i c h   i s   r e ga rde d  a s   t h e   m a i n   p r o b l e m   i n   s p a m   c l a s s i f i c a t i o n.   T hi s   p r o b l e m   i s   hi g h l y   de pe n de nt   upo n  t h e   f e a t u r e s   us e d  i n   p r o c e s s i n g  s pa m   c l a s s i f i e r s   a n d  s e l e c t i n g   t h e   h uge   a m o u n t   o f   fe a t u r e .     A n o t h e r   p r o b l e m   i s   r e l a t e d  t o   t h e   a m b i gu i t y   o f  t h e   e ff e c t   o f  o pt i m i z a t i o n   f e a t u r e   s e l e c t i o n   o n   m ul t i p l e   c l a s s i f i e r   a l go r i t h m s   w hi c h   a r e   c o m m o nl y   us e d  i n   t h e   p r e v i o us   w o r ks   n a m e l y ,   s uc h   a s   K - N N ,   S V M ,   a n d  N B .   S o m e   o f  t h e   p r e v i o us   s t udi e s   us e d  s o m e   t e c h ni qu e s   t o   r e duc e   t h e   n um b e r   o f   f e a t ur e s   b ut   di d  n o t   di s c ov e r   w h e t h e r   t h e   r e duc t i o n   c o ul d  a f fe c t   t h e   pe r f o r m a n c e   of   t h e   s pa m   c l a s s i f i e r s .   M e t a - h e u ri s t i c   o pt i m i z a t i o n   i s   us e d  t o   de t e r m i n e   t h e   o pt i m a l   s o l ut i o n   b e t w e e n   po s s i b l e   m ul t i - s o l ut i o n s .   W i t h   r e ga rd  t o   t h i s   r e s e a r c h,   i t   i s   i m pe ra t i v e   t o   e xa m i n e   t h e   pe r f o r m a n c e   a n d   o pt i m i z a t i o n   o f   s pa m   e m a i l .       2.   R ES EA R C H   M ET H O D     T h i s   s t udy   a i m s   t o   de v e l o p  a   s o l ut i o n   m e t h o d  f o r   a   gi v e n  pr o b l e m ;   t hi s   i s   t h e   s t a nda rd  r e s e a r c h  m e t h o do l o g y   i n   c o m put e r   s c i e n c e .   T h e   a do pt e d  m e t h o ds   i n   t hi s   r e s e a r c h   c o n s i s t   o f  di ff e r e n t   p h a s e s ,   i n c l u di n g   G r o u n dw o r k,   I nduc t i o n ,   I m p r o v e m e n t ,   E v a l u a t i o n,   a n d   Q ua l i t y   Co m pa ri s o n  [ 28 - 30 ].   In   t hi s   s t udy ,   t h e   gr o u n dw o r k  r e l a t e s   t o   t h e   p r o b l e m   of   s p a m   c l a s s i f i c a t i o n   w h i c h   w a s   a ddr e s s e d   by   r e v i e w i n g  t h e   e xi s t i ng  l i t e ra t u r e   o n   e a c h   p r o b l e m .   T h e   a i m   o f   t h e   l i t e r a t u r e   r e v i e w   i s   t o  de t e c t   t h e   w e a kn e s s e s   i n   t h e   e xi s t i n g  s pa m   c l a s s i f i e r s .   T h i s   s e c t i o n  c o n s i s t s   o f  pr o b l e m   i de n t i f i c a t i o n   a nd  de t e c t i o n   a n d  i de n t i f i c a t i o n   c a s e .   a l s o ,   Induc t i o n   P ha s e   i n   T h i s   r e s e a r c h   f o c us e s   o n   P r e - p r o c e s s i n g  a nd  c o n s t r uc t i o n   of  s pa m   c l a s s i f i e r s .   T h e   i m p r o v e m e n t   p h a s e   m a i nl y   a i m s   t o   i m pr o v e   t h e   s pa m   c l a s s i f i c a t i o n   qu a l i t y   i n   t w o   pe r s pe c t i ve s :   f i r s t ,   t o   e xt r a c t   t h e   m o s t   s i g n i f i c a n t   t e rm s   i n   t h e   e m a i l   i n   o r de r   t o   i n c r e a s e   t h e   r e l e v a n t   t e r m s   a nd  a v o i d   i rr e l e v a n t   t e r m s   i n   e m a i l s .   S e c o n dl y ,   i t   i n c r e a s e s   t h e   e ff e c t i ve n e s s   of   r e duc i n g  t h e   n u m b e r   o f   f e a t ur e   s e l e c t i o n  ob t a i n e d  i n   t h e   p r e v i o us   ph a s e   by   m a xi m i z i n g  t h e   s i m i l a r i t y   of   t h e   v a l ue   o f   a c c ur a c y   f un c t i o n   a s   m uc h   a s   po s s i b l e ,   w h i c h   i s   t h e   pe r f o r m a n c e   of   s e l e c t e d  f e a t ur e s .   T h i s   w a s   a c hi e v e d  t hr o ugh   t h e   a pp l i c a t i o n   o f    t h e   pr o po s e d  f r a m e w o r k  fo r   s pa m   c l a s s i f i c a t i o n   o n   t h e   i n v e s t i ga t e d   pr o b l e m   t o   i m pr o v e   t h e   qua l i t y   by   t h e   t e rm s   a n d  r e duc e   t h e   n u m b e r   o f  f e a t ur e   f o r   c l a s s i f i e r s   by   us i n g  (G A ,   H S ,   S A ,   P S O ).   T h i s   r e s e a r c h  pr o po s e d  t w o   di f fe r e n t   s t e ps   t o   i m p r o v e   s pa m   c l a s s i f i e r s .   F i r s t l y ,   t h e   t hr e e   c l a s s i f i e r s   i n   t h i s   s t e p  w i l l   c a t e go r i z e   t h e   n e w   e m a i l   i n t o   s pa m   o r   n o n - s p a m .   T h e   o ut put   o f   t h i s   s t e p  w i l l   a dd r e s s   t h e   pr o b l e m   i n   s p a m   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   9 ,   N o .   6 ,  D e c e m b e r   2019   :     54 7 9   -   5485   5482   c l a s s i f i e r s   w h i c h   t h e   f e a t u r e s   e ff e c t   o n   t h e   pe r f o r m a n c e .   S e c o n dl y ,   t h e   e f fe c t   of   o pt i m i z a t i o n   f e a t u r e   s e l e c t i o n   o n   t h e   i m p r o v e m e n t   of   c l a s s i f i e r s   w h i c h   o pt i m i z a t i o n   f e a t ure   s e l e c t i o n   us e d   h e r e   t o   d e c r e a s e   t h e   n um b e r   o f  f e a t ur e s   a s   t h e   F i gu r e   1 .           F i gu r e   1 .   T h e   s t a t e   o f   a r t   e v a l ua t e s   t h e   g l o b a l   a n d   l o c a l   o pt i m i z a t i o n   f e a t u r e   s e l e c t i o n  o n  t hr e e   c l a s s i f i e r s       F i gu r e   1  s h o w e d  t h e   m e t h o do l o g y   of   o ur   e xpe ri m e nt a t i o n ,   c o n s i s t i ng  o f   t h e   a pp l i c a t i o n  o f    t h e   a l go r i t hm s   a n d  pe r f o r m a n c e   e v a l ua t i o n   b a s e d  o n   t h e   pe r f o r m a n c e   m e a s u r e s   a s   s h o w n   i n   s e c t i o n   3 .     A - A ppl i c a t i o n  o f   A l go r i t hm s :   T h e   a l go r i t h m s   di s c us s e d  a b ov e   a r e   g l o b a l   s e a r c h   (ge n e ra t e s   m o r e   t ha n   o n e   s o l ut i o n )  l i ke   G A ,   H S ,   P S O ,   a nd  S A   i s   l o c a l   s e a r c h   (ge n e ra t e   j us t   o n e   s o l ut i o n ) ,   a r e   a pp l i e d  w i t h   t h e   us e   c l a s s i fi e r   a l go r i t h m   (K N N ,   S V M ,   N B ).   T h e   s p l i t   b e t w e e n   t ra i ni n g  a n d   t e s t   d a t a   s e t   i s   50%   t ra i ni n g   a nd   50 %  t e s t i n g  C r o s s - v a l i da t i o n.     1   -   I n i t i a l i z a t i o n   (P a r a m e t e r s   I ni t i a l i z a t i o n,   ra n do m   I n i t i a l i z a t i o n   o f   f e a t ur e   s e l e c t i o n )   2   -   E v a l u a t e   t h e   f i t n e s s   f un c t i o n  o f   e a c h   i ni t i a l   s o l ut i o n   a n d   t a ke   t h e   b e s t   3   -   U pda t e   s o l ut i o n  F O R   E X A M P L E     i n   G A   ( c r o s s ov e r   o pe r a t o r )   S e l e c t   t w o   i n d i v i dua l   a n d   s w a p  a   s o l ut i o n   o f   ge n e   b e t w e e n   t h e   f e a t u r e     i n   S A   G e n e r a t e   c a n d i da t e   s o l ut i o n  Y   b a s e d  o n   m ut a t i o n  o pe ra t o r:   S e l e c t   o n e   i n d i v i dua l   a n d   m u t a t e   t h e   f e a t u r e   i n  i t .   4   -   IF   N E W   S O L U T IO N (Y )  b e t t e r   t ha n  O L D   S O L U T IO N   (X ) - s w a p -   E L S E -   go   t o   t h e   s t e p3   5  -   Is   t h e   s t o ppi n g   c ri t e r i a   s a t i s f i e d - S T O P - E L S E -   go   t o   t h e   s t e p 3     T h e   a l go r i t hm   us e d  s o m e   r e p r e s e n t a t i o n s   t o   c o d e   t h e   w h o l e   F   of   t h e   f e a t u r e s   s e t   i n   a   v e c t o r   o f   l e n gt h   m ,   w h e r e   m   r e p r e s e n t s   t h e   n um b e r   o f   fe a t u r e s   a s   de pi c t e d  i n  F i gur e   2.   I n   t hi s   v e c t o r ,   e a c h   e l e m e n t   i s   a   l a b e l   fo r   f e a t ur e s   t o   b e   s e l e c t e d  o r   d r o ppe d.   T h e s e   s o l ut i o n s   a r e   e x e m pl i f i e d  i n   F i gu r e   2.   I n  t hi s   c a s e ,   57  f e a t u r e s   i n   s 1{ 1,   4 ,   . . ,   a nd57}   w e r e   s e l e c t e d  w h i l e   t h e   o t h e r s   w e r e   dr o pp e d  { 2,   3 ,   5 ,   6 , …. } ,   a n d  s o   o n .   S 1  i s   s o l ut i o n   o n e ,   S 2  i s   s o l ut i o n  t w o ,   a n d   F   i s   t h e   n u m b e r   o f   f e a t ur e s   i n  t h e   da t a s e t .       F   1   2   3   4   5   6   ………… …. . . . . . . .   57   c o s t   S1   1   0   0   1   0   0   . . . . . . . . . . . . . . . . . . . .   1   45   S2   0   1   0   0   1   0   . . . . . . . . . . . . . . . . . . . . . . . .   0   17     F i gu r e   2 .   T w o   s o l ut i o n s   f o r  t h e   d a t a s e t   ha s   5 7  f e a t u r e s   o r  t e rm s       3.   R ES U LTS   A ND  DISCUSSIO N   In   a s s e s s i n g  t h e   qua l i t y   of  c l a s s i f i e r s   qua l i t y ,   t hr e e   form s   o f  m e a s ur e s   a r e   us e d,   n a m e l y :     f - m e a s ur e m e n t ,   a c c ura c y ,   a n d   e rr o r   ra t e   [ 25 ] .   I n  t h e   c u rr e nt   s t udy ,   a c c u r a c y   i s   us e d  a s   a n  e xt e rn a l   q ua l i t y   m e a s u r e ,   w hi c h   i s   o n e   o f   t h e   m o s t   c o m m o n l y   us e d  m e a s u r e s   i n   t e xt   m i ni n g .     3. 1 .   P e r fo r m an c e   m e as u r e s   ( ac c u r ac y )    I n  t h e   c l a s s i f i c a t i o n   o f   pr o b l e m s ,   t h e   e v a l ua t i o n   m e a s u r e s   a r e   ge n e ra l l y   de f i n e d  f r o m   a   m a t r i x    w i t h   t h e   e xa c t   num b e r  o f   e xa m pl e s   t ha t   ha v e   b e e n   c o rr e c t l y   a nd  w r o ngl y   c l a s s i f i e d  fo r   e a c h  c l a s s     (c a l l e d  ‘ c o n f us i o n   m a t ri x’ ) .  T a b l e   1  s h o w s   t h e   c o n f us i o n   m a t ri x  o f   a   b i n a r y   c l a s s i f i c a t i o n   p r o b l e m   w i t h   j us t   2   c l a s s e s   (po s i t i v e   a nd  n e ga t i v e ).   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Com par at i v e   b e t w e e n  op t i m i z at i on  f e at ur e   s e l e c t i on   by   us i ng   c l as s i f i e r s   a l gor i t hm s   . . .   ( G hada  R aw as hde h)   5483   T a b l e   1 .   Co n f us i o n   m a t r i x   P re d i c t e d   C l a s s   T ru e   c l a s s   P o s i t i v e   N e g a t i v e   P o s i t i v e   TP   FN   N e g a t i v e   FP   TN       T h e   a c c ura c y   r a t e   (A CC)   i s   t h e   c o m m o n e s t   e v a l ua t i o n   m e a s ur e   us e d  i n  p ra c t i c e .   T h e   pe r c e nt a ge   of  i t s   c o rr e c t   p r e d i c t i o n s   i s   us e d  t o   e v a l ua t e   c l a s s i f i e r ’s   e f fe c t i ve n e s s .   It   i s   c o m put e d  t h us :     A CC   =   (( T P + T N )/   (T P + T N   +   F P + F N ))   *100   ( 1)     3. 2 .   P e r fo r m an c e   m e as u r e s   (F - m e as u r e m e n t)   T h e   F - m e a s u r e   i s   a   c o m b i n a t i o n   o f   pr e c i s i o n   a nd  r e c a l l   i de a s   f r o m   i n f o r m a t i o n   r e t r i e v a l .   H e r e ,   e a c h  c l a s s   i s   c o n s i de r e d  a s   t h e   r e s ul t   o f   a n   e m a i l   a n d  e a c h   c l a s s   i s   r e ga r de d  a s   t h e   de s i r e d  s e t   of   e m a i l s   o r   s p a m .   T h e   r e c a l l   a nd  p r e c i s i o n   f o r   e a c h  e m a i l   j   a n d   c l a s s   i   i s   c a l c ul a t e d  a s   f o l l ow s :     R e c a l l   ( i , j )  =    .    (2 )     P r e c i s i o n  (i , j )  =    .    (3 )     H e r e ,      r e pr e s e n t s   t h e   n u m b e r   o f   e m a i l s   h a v i n g   t h e   c l a s s   l a b e l   i   i n  c l a s s   j ,   a n d     r e f e r s   t o     t h e   num b e r   o f   e m a i l s   ha v i n g   t h e   c l a s s   l a b e l   i .   F i na l l y ,     i s   t h e   n u m b e r   o f   e m a i l s   i n   c l a s s   j .   T h e   c a l c u l a t i o n   o f  t h e   F - m e a s u r e   o f   e m a i l   j   a n d   c l a s s   i   i s   p r e s e n t e d  a s   f o l l ow s:     F   (i , j )  =   2 Rec al l   ( i , j ) P r ec i s i o n   ( i , j ) Rec al l   ( i , j ) + P r ec i s i o n   ( i , j ) .    (4 )     T h e   o ve r a l l   F - m e a s u r e   v a l ue   i s   c a l c ul a t e d  by   c o n s i de ri n g  t he   w e i gh t e d  a v e r a ge   o f   a l l   t h e   F - m e a s u r e   v a l ue s   a s   f o l l ow s :     F= ∑ ( , ) .    (5 )     T h us ,   t h e   F - m e a s u r e   v a l ue   i s   ob s e r ve d  t o  be   i n   t h e   r a nge   of   (0, 1) ,   w h e r e   l a rge r   v a l ue s   r e p r e s e n t     a  hi g h e r   c l a s s i f i e r   qua l i t y .     3. 3 .   D ata  s e ts   u s e d   i n   th e   e x p e r i m e n ts     T h i s   s t udy   us e s   a   s pa m   e m a i l   d a t a s e t   t ha t   i s   pub l i c l y   a va i l a b l e   i n   t h e   U CI  M a c h i n e   L e a rni n g   R e p o s i t o r y ,   i . e .   S P A M   E - m a i l   D a t a b a s e .   It   c o n t a i n s   57  a t t ri b ut e s   a n d  4601  e m a i l s ,   w i t h   181 3  e m a i l s   b e i n g  s pa m   w h i l e   t h e   r e s t   (278 8)  a r e   n o r m a l   e m a i l s .   T h e   d a t a s e t   i s   m ul t i v a r i a t e   w i t h  r e a l   i nt e ge r  a t t ri b ut e s .   A s   i n   t h e   T a b l e   2 ,   t h e r e   a r e   t hr e e   c l a s s i f i e r s   (K - N N ,   N B ,   S V M )  t e s t e d   i n   M a t l a b   us i n g  e m a i l   s p a m   da t a s e t .   T hi s   r e s e a r c h   r e l i e d  o n   t h e   a c c ur a c y   r e s ul t   a nd  F - m e a s ur e m e n t   a s   m e nt i o n e d  b e fo r e .   W e   fo un d  t h a t   t h e   S V M   a l go r i t h m   i s   t h e   b e s t   c l a s s i f i e r,   f o l l ow e d  by   K N N   a n d  N B .   W i t h o ut   us i ng  a n   o pt i m i z a t i o n  f e a t ur e   s e l e c t i o n   m e t h o d,   t h e   num b e r  o f   fe a t ur e s   a c h i e v e d  w a s   57.       T a b l e   2.   T h e   r e s ul t   o f   t hr e e   c l a s s i f i c a t i o n  a l go ri t hm   w i t h o ut   f e a t u r e   s e l e c t i o n   Cl a s s i fi e r  A l g o ri t h m   A c c u ra c y   f - M e a s u r e m e n t   E l a p s e d   T i m e   N u m b e r   o f  fe a t u re s   b e fo r e   s e l e c t e d   K - NN   7 9 . 0 9 6 0 4 5   0 . 7 2 9 5 1 7   1 1 . 6 6 6 5 3 0   s e c o n d s   57   NB   5 1 . 9 7 7 4 0 1   0 . 6 1 6 4 5 3   1 . 6 9 7 5 2 1   s e c o n d s .   57   S V M   9 1 . 0 0 3 9   0 . 8 8 7 4 3 9   2 . 4 2 7 6 5 7   s e c o n d s   57       T a b l e   3  s h ow s   t h e   r e s ul t s   of   t h e   e ff e c t   by   us i n g  po pul a r   t hr e e   c l a s s i f i e r s   o n   s pa m   e m a i l .   O F S   w a s   us e d  t o   r e duc e   t h e   n u m b e r   o f   f e a t ur e s .   A f t e r   t e s t i n g  t h e   a l go r i t hm s   o n  M A T L A B   t hr e e   o f   t h e m   w e r e   i de nt i f i e d  a s   gl o b a l   o pt i m i z a t i o n  w h i l e   o n e   w a s   o b s e r v e d  a s   l o c a l   o pt i m i z a t i o n.   It   i s   o b s e r v e d  t h e   pe r f o r m a n c e   fo r   a l l   o f   t h e s e   a l go r i t hm s   a c hi e v e d  G oo d  r e s ul t   t hr o ug h   us i n g  o n e   da t a s e t   o n   S V M   c l a s s i f i e r   a nd  a l l   o f   t h e m   r e duc e   t h e   num b e r  o f   fe a t ur e s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   9 ,   N o .   6 ,  D e c e m b e r   2019   :     54 7 9   -   5485   5484   T a b l e   3.   R e s ul t s   o f   t h e   e ff e c t   o f   us i n g   O F S   o n  t hr e e   c l a s s i f i c a t i o n   a l go r i t h m s   O p t i m i z a t i o n   F e a t u r e   S e l e c t i o n   Cl a s s i fi e r  A l g o ri t h m   A c c u ra c y   f - M e a s u r e m e n t   N u m b e r   o f  F e a t u r e   b e f o re   s e l e c t e d   N u m b e r   o f  fe a t u re s   a f t e r  s e l e c t e d   GA   K N N   0 . 8 7 7 0 1 0   0 . 8 4 3 0 3 9   57   32   NB   0 . 5 4 8 0 2 3   0 . 6 3 5 0 8 8   57   48   S V M   0 . 9 0 6 1 2 8   0 . 8 8 0 5 3 1   57   32   HS   K N N   0 . 7 8 6 1 8 0   0 . 7 4 5 8 6 8   57   20   NB   0 . 4 8 1 5 3 0   0 . 5 9 9 2 6 1   57   25   S V M   0 . 8 0 8 7 7 9   0 . 7 4 4 1 8 6   57   31   PSO   K N N   0 . 7 8 7 4 8 4   0 . 7 3 6 3 8 8   57   48   NB   0 . 5 9 7 5 2 6   0 . 6 8 4 3 2 1   57   48   S V M   0 . 9 2 2 2 0 8   0 . 9 0 5 6 4 0   57   50   SA   K N N   0 . 8 5 1 3 6 9   0 . 8 0 8 9 3 9   57   24   NB   0 . 6 0 1 2 5 8 4   0 . 7 1 3 2 5 8   57   21   S V M   0 . 9 2 8 5 4 7   0 . 9 1 8 9 3 2   57   22       4.   C O N C LU S I O N     T h i s   pa pe r   c l a s s i f i e d  e m a i l s   b a s e d  o n   t hr e e   c l a s s i f i e r s :   S V M ,   K N N ,   a n d  N B .   T h e s e   c l a s s i f i e r s   w e r e   e v a l ua t e d  us i n g  M A T L A B   t o   s e pa r a t e   s pa m   f r o m   t h e   e m a i l   da t a s e t .   E a c h   e m a i l   w a s   i de n t i f i e d  a s   s pa m   (1)  o r   n o t   s pa m   (0) ,   r e f l e c t i n g  t h e   a t t r i b ut e s   o f   t h e   e m a i l   da t a s e t   f o r   s pa m   c l a s s i f i c a t i o n.   S V M   ga v e   t h e   m o s t   a c c ur a t e   r e s ul t   i n   t h e   e xpe r i m e nt .   K - N N   c l a s s i f i e r   a l s o   s h o w e d  goo d  r e s ul t s ,   b ut   N B   r e po r t e d  poo r e r   r e s ul t s   c o m pa r e d  w i t h   S V M   o r   K - N N   c l a s s i f i e r .   N e ve r t h e l e s s ,   w h i l e   us i n g  O F S ,   w e   r e duc e d  t h e   n um b e r   o f   fe a t ur e s .   A s   a   r e s ul t ,   a l l   o pt i m i z a t i o n  f e a t u r e   s e l e c t i o n   a l go ri t hm   g a v e   a   go o d  pe r f o r m a n c e .   M uc h   w o r k  n e e ds   t o   b e   do n e   i n   t h e   f ut u r e .   F ut u r e   r e s e a r c h  m a y   us e   t h e   h y b r i di z a t i o n   b e t w e e n   gl o b a l   s e a r c h   a nd  l o c a l   s e a r c h   a l go ri t hm   a n d   us e   m o r e   d a t a s e t s .       R EF ER EN C ES     [ 1]   J .  A .   Z dz i a r s ki ,   “ E nd i ng  s pam :   B a y e s i an   c on t e nt   f i l t e r i n g  an d   t he   ar t   o f   s t a t i s t i c al   l an guage   c l a s s i f i c a t i o , ”   N o   S t a r c h   P r e s s ,   200 5 .   [ 2]   N.   S p i r i n   a nd   J .   H a n ,   “ S ur v e y   o n  w e b  s pa m   d e t e c t i o n:   pr i nc i p l e s   a nd  a l g o r i t hm s ,”   A C M   SI G K D D   e x p l or a t i on s   ne w s l e t t e r ,   v o l .   1 3 ,   p p.   50 - 64 ,   20 12 .   [ 3]   J .  C .   B a ns a l ,   e t   a l . ,  “ A r t i f i c i a l   be e   c o l o n y   a l go r i t hm :   a   s u r v e y ,”   I nt e r n at i on al   J ou r na l   o f   A d v an c e d  I n t e l l i ge nc e   P ar adi gm s ,   v o l .   5 ,   pp .   123 - 59 ,  2013 .   [ 4]   S .   A l - H a r bi ,   e t   a l . ,  “ Al - R aj e h  A .   A ut om at i c   A r ab i c   t e x t   c l a s s i f i c at i on , ”   P r o c e e di ng s   o f   T he   9t h  I nt e r na t i o na l   C o nf e r e nc e   o n  t he   S t a t i s t i c a l   A na l y s i s   o f   T e x t ua l   D a t a ,   20 08 .   [ 5]   F .   S e ba s t i a ni ,   “ M a c hi ne   l e a r ni ng   i n   a u t o m a t e d   t e x t   c a t e g o r i z a t i o n, ”   A C M   c om pu t i n g  s ur v e y s   ( C SU R ) ,   v o l .   34 ,    pp.   1 - 47 ,  2002 .   [ 6]   G .   F o r m a n ,   “ A n  e x t e n s i v e   e m pi r i c a l   s t udy   o f   f e a t ur e   s e l e c t i o n  m e t r i c s   f o r   t e xt   c l a s s i f i c a t i o n ,”   J our n al   of   m ac h i ne   l e ar ni ng   r e s e ar c h ,   pp .   1289 - 30 5 ,  20 03 .   [ 7]   D .   F r a g o udi s ,   e t   al . ,   “ B e s t   t e r m s :   a n  e f f i c i e nt   f e a t u r e - s e l e c t i o n  a l g o r i t hm   f o r   t e xt   c a t e g o r i z a t i o n ,”   K now l e dge   and  I nf or m a t i on  Sy s t e m s ,   v o l .   8 ,   pp .   16 - 33 ,  2005 .   [ 8]   A .   S i ng h,   e t   al . ,   “ O n l i ne   M i ni ng  of   dat a  t o  ge ne r a t e   as s oc i at i on  r ul e   m i ni ng  i n  l a r ge   da t aba s e s ,”   201 1  I nt e r na t i o na l   C o nf e r e nc e   o n  R e c e n t   T r e nds   i n   I nf o r m a t i o n  S y s t e m s ,   pp .   126 - 131 ,   201 1 .   [ 9]   P .   P a r v e e n   a n d   G.   H a l s e ,   “ S pa m   m a i l   de t e c t i o n  us i ng   c l a s s i f i c a t i o n, ”   I n t e r na t i ona l   J our nal   o f   A d v anc e d  R e s e ar c h   i n  C om pu t e r   a nd  C om m un i c a t i on   E ng i ne e r i ng ,   v o l .   5 ,  2016 .   [ 10]   S .   D e e pa L a ks hm i   a nd   T .   V e l m ur ug a n ,   “ E m pi r i c a l   s t udy   o f   f e a t u r e   s e l e c t i o n  m e t ho ds   f o r   hi g h  d i m e ns i o na l   da t a ,”   I nd i an   J o ur n al   o f   S c i e nc e   and   T e c hno l og y ,   v o l .   39 ,  2 016 .   [ 11]   D .   L i u,   e t   al . ,   “ R e c e n t   a dv a nc e s   i n  w a v e l e ng t h  s e l e c t i o n  t e c hni que s   f o r   h y pe r s p e c t r a l   i m a g e   pr o c e s s i ng   i n  t h e   f o o d   i ndu s t r y ,”   F ood  a nd   B i opr o c e s s   T e c hno l og y ,   v o l .   7 ,   pp .   307 - 23 ,  20 14 .   [ 12]   S .   E y he r a m e ndy ,   e t   a l . ,  “ O n   t he   na i v e   b a y e s   m o de l   f o r   t e x t   c a t e g o r i z a t i o n, ”  2 003 .   [ 13]   S .   M a l do na do   a nd   G .   L ’ H u i l l i e r,   “ S V M - b a s e d  f e a t ur e   s e l e c t i o n  a nd  c l a s s i f i c a t i o n  f o r   e m a i l   f i l t e r i ng ,”   P at t e r n   r e c ogni t i on - app l i c a t i ons   an d  m e t h ods ,   Spr i n ge r ,   B e r l i n,   H e i d e l b e r g ,  pp.   1 35 - 148 ,  2013 .   [ 14]   W .  H .   S t e e b,   “ T he   non l i ne ar   w or k bo ok :   C hao s ,   f r ac t a l s ,   c e l l ul ar   aut om at a ,   ge ne t i c   a l go r i t hm s ,   ge ne   e x pr e s s i on   pr og r am m i ng,   s u ppor t   v e c t o r   m ac hi ne ,   w av e l e t s ,   hi d de n  M ar k ov   m ode l s ,   f u z z y   l og i c   w i t h  C + + , ”   W o r l d  S c i e n t i f i c   P ubl i s h i ng   C o m pa ny ,   201 4.   [ 15]   K .  S .   L e e   a nd   Z .  W .   G e e m ,   “ A   ne w   m e t a - he u r i s t i c   a l g o r i t hm   f o r   c o nt i nuo us   e ng i ne e r i ng   o pt i m i z a t i o n:   ha r m o n y   s e a r c h  t he o r y   a nd  p r a c t i c e , ”  C om put e r   m e t hod s   i n   ap pl i e d  m e c ha ni c s   and   e ngi ne e r i n g ,   v o l .   194 ,   pp.   3 902 - 33 ,  2005 .   [ 16]   Z .  W .   G e e m ,   e t   al . ,  “ A ppl i c a t i o n  o f   ha r m o n y   s e a r c h  t o   v e hi c l e   r o ut i ng ,”   A m e r i c a n  J our nal   o f   A p pl i e d  Sc i e nc e s,     v o l .   2 ,   pp .   155 2 - 7 ,  200 5 .   [ 17]   Z .  W .   G e e m ,   “ N o v e l   de r i v a t i v e   o f   ha r m o ny   s e a r c h  a l g o r i t hm   f o r   di s c r e t e   de s i g n  v a r i a bl e s ,”   A pp l i e d  m a t he m at i c s   and  c om pu t a t i on ,   v o l .   199 ,   pp .   223 - 30 ,  2008 .   [ 18]   Z .  W .   G e e m ,   “ M u s i c - i ns p i r e d   ha r m ony   s e ar c h   a l gor i t hm :   t he or y   a nd  a ppl i c at i on s ,”   S pr i ng e r ,   2009 .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Com par at i v e   b e t w e e n  op t i m i z at i on  f e at ur e   s e l e c t i on   by   us i ng   c l as s i f i e r s   a l gor i t hm s   . . .   ( G hada  R aw as hde h)   5485   [ 19]   M.   S t e i nba c h ,   e t   al . ,  “ A   c o m pa r i s o n  o f   d oc um e nt   c l us t e r i ng   t e c hn i que s ,”   K D D   w or k s ho p  on  t e x t   m i ni n g ,   v o l .   400 ,   pp.   52 5 - 526,   2 000 .   [ 20]   N .   K .   J h a nk a l   a nd  D .   A dhy a r u ,   “ C o m pa r a t i v e   a n a l y s i s   o f   ba c t e r i a l   f o r a g i ng   o pt i m i z a t i o n  a l g o r i t hm   w i t h  s i m u l a t e d   a nne a l i ng ,”   I nt .   J .   S c i .   R e s . ( I J SR ) ,   v o l .   3 ,   pp.   10 - 3 ,  201 4 .   [ 21]   S .   A bdul l a h ,   e t   a l . ,  “ A   c ons t r uc t i v e   hy pe r - he ur i s t i c s   f or   r ou gh  s e t   at t r i but e   r e duc t i on ,”   2 010  1 0t h  I nt e r na t i o na l   C o nf e r e nc e   o n  I nt e l l i g e n t   S y s t e m s   D e s i g n   a nd   A ppl i c a t i o ns ,   pp .   10 32 - 1035 ,  2010 .   [ 22]   A .   H a t a m l o u,   e t   al . ,   “ A   c o m bi ne d  a pp r o a c h  f o r   c l us t e r i ng   ba s e d  o n  K - m e a ns   a nd  g r a v i t a t i o na l   s e a r c h  a l g o r i t hm s ,”   Sw ar m   and   E v ol u t i ona r y   C om pu t a t i on ,   v o l .   6 ,   pp .   47 - 52 ,  201 2 .   [ 23]   F .   H ut t e r ,   e t   al . ,   “ E f f i c i e nt   s t o c ha s t i c   l o c a l   s e a r c h  f o r   M P E   s o l v i ng , ”  I J C A I ,   pp .   169 - 17 4 ,  20 05 .   [ 24]   N   . J o z e f o w i e z ,   e t   al . ,  “ A n  e v o l ut i o na r y   a l g o r i t hm   f o r   t h e   v e h i c l e   r o ut i ng   pr o bl e m   w i t h  r o ut e   ba l a nc i ng ,”   E u r ope an   J our nal   o f   O pe r at i on al   R e s e ar c h ,   v o l .   1 95 ,   pp .   761 - 9 ,  2009 .   [ 25]   D .  J.   W a l e s   a nd   J .  P.   D oy e ,   “ G l o ba l   o p t i m i z a t i o n  by   ba s i n - ho ppi n g   a nd  t he   l o w e s t   e ne r g y   s t r uc t u r e s   o f   L e nna r d - J o ne s   c l us t e r s   c o nt a i n i ng   up   t o   110   a t o m s ,”   T he   J our na l   o f   P hy s i c a l   C he m i s t r y   A ,   v o l .   10 1 ,   pp .   511 1 - 6 ,  199 7 .   [ 26]   F.   G l o v e r ,   “ T a bu  s e a r c h — p a r t   I ,”   O R SA   J o ur na l   on   c om put i n g ,   v o l .   1 ,   p p.   19 0 - 206 ,  1 989 .   [ 27]   S .  S.   S hr e e m ,   e t   al . ,  “ H y br i d i s i ng   ha r m o n y   s e a r c h   w i t h  a   M a r ko v   bl a nke t   f o r   g e ne   s e l e c t i o n  p r o bl e m s ,”   I n f o r m at i o n  Sc i e nc e s ,   v o l .   258 ,   pp .   108 - 21 ,  2014 .   [ 28]   M .   M a h da v i   a n d   H .   A bo l ha s s a ni ,   “ H a r m o ny   K - m e a ns   a l g o r i t h m   f o r   do c um e nt   c l us t e r i ng , ”   D at a  M i n i ng  a nd   K now l e dge   D i s c o v e r y,   v o l .   18 ,   pp.   3 70 - 91 ,  2 009 .   [ 29]   G .   F a ne l l i ,   e t   al . ,  “ R a ndo m   f o r e s t s   f o r   r e a l   t i m e   3d  f a c e   a na l y s i s ,”   I nt e r n at i on al   J o ur n al   o f   C om pu t e r   V i s i on ,     v o l .   101 ,   pp.   4 37 - 58 ,  2 013 .   [ 30]   C .   S z e g e d y ,   e t   al . ,   “ G o i ng  de e pe r   w i t h  c onv ol u t i ons ,”   P r o c e e di ng s   o f   t he   I E E E   c o nf e r e nc e   o n  c o m put e r   v i s i o n  a nd   pa t t e r n   r e c o g ni t i o n ,   p p.   1 - 9 ,  2 015 .   Evaluation Warning : The document was created with Spire.PDF for Python.