I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E )   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9 ,   p p .   2 4 5 ~ 2 5 4   I S S N :   2 0 8 8 - 8 7 0 8 ,   D O I :   1 0 . 1 1 5 9 1 / i j e c e . v 9 i 1 . p p 2 4 5 - 2 5 4             2 4 5       J o u r n a l   h o m e p a g e :   h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / I J E C E   S p a m   i m a g e   e m a i l   f i l t e r i n g   u s i n g   K - N N   a n d   S V M       Y a s m i n e   K h a l i d   Z a m i l ,   S u h a d   A .   A l i ,   M o h a m m e d   A b d u l l a h   N a s e r   D e p a r t m e n t   o f   C o m p u t e r   S c i e n c e ,   C o l l e g e   o f   S c i e n c e   f o r   W o m e n ,   U n i v e r s i t y   o f   B a b y l o n ,   I r a q       A r t i c l e   I n f o     A B S T R A C T   A r t i c l e   h i s t o r y :   R e c e i v e d   A p r   1 9 ,   2 0 1 8   R e v i s e d   S e p   1 8 ,   2 0 1 8   A c c e p t e d   O k t   1 ,   2 0 1 8       T h e   d e v e l o p i n g   u t i l i z a t i o n   o f   w e b   h a s   a d v a n c e d   a   s i m p l e   a n d   q u i c k   m e t h o d   f o r   e - c o r r e s p o n d e n c e .   T h e   o u t s t a n d i n g   c a s e   f o r   t h i s   i s   e - m a i l .   P r e s e n t l y   d a y s   s e n d i n g   a n d   a c c e p t i n g   e m a i l   a s   a   m e t h o d   f o r   c o r r e s p o n d e n c e   i s   p r o m i n e n t l y   u t i l i z e d .   B e   t h a t   a s   i t   m a y ,   a t   t h a t   p o i n t   t h e r e   s t a n d   u p   a n   i s s u e   i n   p a r t i c u l a r ,   S p a m   m a i l s .   S p a m   s e n d s   a r e   t h e   m e s s a g e s   s e n d   b y   s o m e   o b s c u r e   s e n d e r   j u s t   t o   h a m p e r   t h e   i m p r o v e m e n t   o f   I n t e r n e t   e . g .   A d v e r t i s e m e n t   a n d   m a n y   m o r e .     S p a m m e r s   i n t r o d u c e d   t h e   n e w   t e c h n i q u e   o f   e m b e d d i n g   t h e   s p a m   m a i l s   i n   t h e   a t t a c h e d   i m a g e   i n   t h e   m a i l .   I n   t h i s   p a p e r ,   w e   p r o p o s e d   a   m e t h o d   b a s e d   o n   c o m b i n a t i o n   o f   S V M   a n d   K N N .   S V M   t e n d   t o   s e t   a s i d e   a   l o n g   o p p o r t u n i t y   t o   p r e p a r e   w i t h   a n   e x p a n s i v e   i n f o r m a t i o n   s e t .   O n   t h e   o f f   c h a n c e   t h a t   " e x c e s s "   e x a m p l e s   a r e   r e c o g n i z e d   a n d   e r a s e d   i n   p r e - h a n d l i n g ,   t h e   p r e p a r a t i o n   t i m e   c o u l d   b e   d i m i n i s h e d   f u n d a m e n t a l l y .   W e   p r o p o s e   a   k - n e a r e s t   n e i g h b o r   ( k - N N )   b a s e d   e x a m p l e   d e t e r m i n a t i o n   s t r a t e g y .   T h e   s t r a t e g y   t r i e s   t o   s e l e c t   t h e   e x a m p l e s   t h a t   a r e   c l o s e   t o   t h e   c h o i c e   l i m i t   a n d   t h a t   a r e   e f f e c t i v e l y   n a m e d .   T h e   f u n d a m e n t a l   t h o u g h t   i s   t o   d i s c o v e r   c l o s e   n e i g h b o r s   t o   a   q u e s t i o n   t e s t   a n d   p r e p a r e   a   n e a r b y   S V M   t h a t   j e l l y   t h e   s e p a r a t i o n   w o r k   o n   t h e   g a t h e r i n g   o f   n e i g h b o r s .   O u r   e x p e r i m e n t a l   s t u d i e s   b a s e d   o n   a   p u b l i c   a v a i l a b l e   d a t a s e t   ( D r e d z e )   s h o w   t h a t   r e s u l t s   a r e   i m p r o v e d   t o   a p p r o x i m a t e l y   9 8 % .   K e y w o r d s :   K N N   S p a m   f i l t e r i n g   t e c h n i q u e s   S p a m   i m a g e   S V M   C o p y r i g h t   ©   2 0 1 9   I n s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e .     A l l   r i g h t s   r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   Y a s m i n e   K h a l i d   Z a m i l ,     D e p a r t m e n t   o f   C o m p u t e r   S c i e n c e ,   U n i v e r s i t y   o f   B a b y l o n ,   B a b y l o n ,   I r a q .   E m a i l :   y a s a k h a l i d 8 8 @ y a h o o . c o m       1 .   I N T R O D U C T I O N   E m a i l   i s   a   w i d e s p r e a d   t e c h n o l o g y   n o w a d a y s   b e c a u s e   o f   i t s   s p e e d   t i m e   a d d e d   t o   i t s   c h e a p .   E m a i l   S p a m   d e f i n e d   a s   u n s o l i c i t e d   b u l k   e m a i l ,   i t   i s   a   m a j o r   p r o b l e m   f o r   i n t e r n e t   n e t w o r k s   [ 1 ] ,   [ 2 ] ,   [ 3 ] .   W i t h   t h e   p r o l i f e r a t i o n   o f   m a l i c i o u s   s o f t w a r e ,   s p a m m e r s   h a v e   b e e n   a b l e   t o   l a u n c h   l a r g e   a n d   w i d e s p r e a d   c a m p a i g n s   t h a t   c a u s e   e c o n o m i c   l o s s e s   a n d   i n c r e a s e   t r a f f i c .   L a t e   i n v e s t i g a t i o n s   u n c o v e r e d   t h a t   s p a m   m o v e m e n t   c o n s t i t u t e s   o v e r   8 9 %   o f   i n t e r n e t   a c t i v i t y ,   A s   o f   l a t e   s p a m m e r s   h a v e   e m b r a c e d   a   n e w   s t y l e   o f   s p a m ,   t h a t   i s   t h e   s p a m   i m a g e   t r i c k   t o   m a k e   t h e   e x a m i n a t i o n   o f   m e s s a g e s '   b o d y   c o n t e n t   i n e f f i c i e n t .   S p a m   i m a g e   i s   a n   e n d e a v o r   b y   s p a m m e r s   t o   c o n c e a l   t h e i r   m e s s a g e   f r o m   h o s t i l e   t o   s p a m m e r s .   S p a m m e r s   s e n d   t h e i r   m e s s a g e s   i n   a   j o i n e d   i m a g e   t h a t   i s   i n t e l l i g i b l e   b y   h u m a n   a n d   h i d d e n   f r o m   a   t e x t - b a s e d   f i l t e r   a n d   b e c o m e s   m o r e   d i f f i c u l t   t o   d e t e c t .   S p a m m e r   u s e s   i m a g e s   i n   a n   e - m a i l   m e s s a g e ,   w h i c h   i n c l u d e s   t h e   g o a l   o f   t h e   s p a m m e r .   T h e   c o s t   o f   m a n a g i n g   s p a m   i s   g r e a t e r   c o m p a r e d   t o   t h e   c o s t   o f   t r a n s m i s s i o n .   T h i s   c o s t   i s   d u e   t o   w a s t e   o f   n e t w o r k   r e s o u r c e s ,   i n c r e a s e d   t r a f f i c   a n d   s i g n i f i c a n t   e c o n o m i c   l o s s e s ,   a n d   a   d e c r e a s e   i n   e m p l o y e e   p r o d u c t i v i t y   [ 1 ] .   A f t e r   t h e   a d o p t i o n   o f   t h e   s p l a s h   o n   t h e   u n w a n t e d   i m a g e s   i n   t h e   i n c l u s i o n   o f   t h e i r   g o a l   b e c a m e   f i l t e r s   b a s e d   o n   t h e   t e x t   i s   i n e f f e c t i v e   i n   t h e   d e t e c t i o n   o f   u n w a n t e d   i m a g e s   l e d   t o   t h e   n e e d   f o r   f i l t e r s   b a s e d   o n   i m a g e s .   T h e   m a i n   i s s u e   i n   t h e   s p a m   i m a g e   f i l t e r i n g   i s   t o   c r e a t e   a n   e f f i c i e n t   a l g o r i t h m   o f   t h e   s p a m   i m a g e   f i l t e r i n g   t o   s e p a r a t e   t h e   s p a m   e m a i l   i m a g e   f r o m   o t h e r   p o p u l a r   i m a g e s   i n   t h e   e m a i l .   M a n y   t e c h n i q u e s   h a v e   b e e n   p r o p o s e d   i n   f i l t e r i n g   t h i s   t y p e   o f   i m a g e   i n   e m a i l ,     a l l   s p a m   i m a g e   f i l t e r i n g   t e c h n i q u e s   b e l o n g   t o   t h r e e   m a i n   g r o u p s   [ 4 ] ,   [ 5 ]   t h e s e   a r e   t h e   h e a d e r   b a s e d   s t r a t e g i e s   o f   e - m a i l   c o n s i s t s   o f   m a n y   f i e l d s   t h a t   p r o v i d e   a   u s e f u l   i n f o r m a t i o n   m a r g i n   [ 4 ] ,   O C R   b a s e d   t e c h n i q u e s   u s i n g   O C R   t o o l   t o   e x t r a c t   t h e   t e x t   e m b e d d i n g   i n t o   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 4 5   -   2 5 4   2 4 6 i m a g e   [ 5 ] ,   [ 6 ] ,   [ 4 ]   a n d   c o n t e n t - b a s e d   s t r a t e g i e s .   I n   c o n t e n t - b a s e d   s t r a t e g i e s ,   t h e   a n a l y s i s   a n d   s t u d y i n g   a b o u t   t h e   i m a g e   s u b s t a n c e   a n d   f e a t u r e s ,   f o r   e x a m p l e ,   s h a d i n g ,   e d g e ,   s u r f a c e ,   a n d   s o   o n ,   a r e   u s e d   f o r   f i l t e r   s p a m   i m a g e   f r o m   o t h e r   n o r m a l   i m a g e s   [ 6 ] ,   [ 5 ] ,   [ 4 ] .   I n   t h i s   p a p e r ,   w e   p r o p o s e d   f i l t e r i n g   m e t h o d   b a s e d   o n   g r a y   l e v e l   c o - o c c u r r e n c e   m a t r i x   ( G L C M )   t o   e x t r a c t   i m a g e   t e x t u r e   f e a t u r e s .   T h e   c l a s s i f i c a t i o n   b e t w e e n   i m a g e   s p a m   o r   h a m   u s i n g   S u p p o r t   V e c t o r   M a c h i n e   ( S V M ) ,   k - n e a r e s t   n e i g h b o r   ( K N N )   a n d   a l s o   c o m b i n a t i o n   o f   t h e   t w o   t e c h n i q u e s   ( S V M   a n d   K N N ) .   F i g u r e   1   s h o w s   s a m p l e s   o f   s p a m   i m a g e s .               F i g u r e   1 .   E x a m p l e s   o f   t h e   i m a g e   s p a m       T h e   r e s t   o f   t h e   p a p e r   i s   o r g a n i z e d   a s   f o l l o w s .   I n   s e c t i o n   2 ,   a   b r i e f   r e v i e w   o f   p r e s e n t   r e l a t e d   w o r k s .   S e c t i o n   3   p r o v i d e s   a   p r o p o s e d   s y s t e m .   S e c t i o n   4   p r e s e n t s   p e r f o r m a n c e   e v a l u a t i o n .   I n   s e c t i o n   5   p r e s e n t s   t h e   r e s u l t .   F i n a l l y ,   S e c t i o n   6   c o n c l u d e s   c o n c l u s i o n s .       2 .   L I T E R A T U R E   S U R V E Y   M a n y   d i s c u s s i o n s   h a v e   b e e n   c a r r i e d   o u t   p r e v i o u s l y   o n   i m a g e   s p a m   d e t e c t i o n .   T h i s   s e c t i o n   o f   t h e   p a p e r   p r o v i d e s   a n   o v e r v i e w   o f   r e l e v a n t   r e s e a r c h   w o r k   i n   i m a g e   s p a m   c l a s s i f i c a t i o n .   I n   2 0 1 7   R u i   C h a n   p r o p o s e d   s y s t e m   i n c l u d e s   t h r e e - l a y e r   s p a m   f i l t e r i n g .   S p a m   i s   f i l t e r e d   b y   a n a l y z i n g   b o t h   t h e   h e a d e r   a n d   t h e   i m a g e .   T h e   s t r u c t u r e   o f   t h e   m o d e l   e x p l i c a t e s   c a r e f u l l y   t h e   i d e a   o f   t h e   d e s i g n   a n d   m a n y   t e c h n o l o g i e s   r e l a t e d   t o   t h e   m o d e l .   E x p e r i m e n t a l   r e s u l t s   s h o w   t h a t   t h i s   s y s t e m   h a s   a   s a t i s f a c t o r y   f i l t e r i n g   e f f e c t   [ 7 ] .   I n   2 0 1 5   M o n i r e h   s a d a t   H o s s e i n i a   e t .   a l     S u g g e s t e d   a   m e t h o d   f o r   s p a m   i m a g e   f i l t e r i n g ,   a n d   i m a g e   t e x t u r e   f e a t u r e   w a s   u s e d   t o   c l a s s i f y   t h e   s p a m   i m a g e .   T h e   g r a y   l e v e l   c o - o c c u r r e n c e   m a t r i x   h a s   b e e n   a p p l i e d   t o   e a c h   i m a g e .   T h e   p r o p e r t i e s   o b t a i n e d   a r e   2 2   f e a t u r e s   a n d   t h e n   t h e   k - n e a r e s t   n e i g h b o r   c l a s s i f i e r   a n d   n a i v e   B a y e s i a n   a r e   u s e d   t o   e v a l u a t e   t h e   i m a g e s   o b t a i n e d   f r o m   t h e   b o t h   o f   w o r k s   d a t a b a s e   D r e d z e   a n d   I m a g e   S p a m   H u n t e r   [ 4 ] .   I n   2 0 1 5   T .   K u m a r e s a n   e t .   a l   s u g g e s t e d   a   s c h e m e   w h i c h   e x t r a c t s   t h e   f e a t u r e s   e s p e c i a l l y   l o w - l e v e l   f e a t u r e s   ( l i k e   m e t a d a t a   a n d   h i s t o g r a m   f e a t u r e s   o f   i m a g e s ) .   A n   S V M   c l a s s i f i e r   w i t h   k e r n e l   f u n c t i o n   i s   u s e d   t o   i d e n t i f y   a   s p a m   i m a g e   b a s e d   o n   e x t r a c t e d   f e a t u r e s ,   t h e   a c c u r a c y   o f   t h i s   m e t h o d   9 0 % ,   b u t   t h e   t i m e   c o m p l e x i t y   s t i l l   i s   a   p r o b l e m   i n   t h i s   w o r k   [ 8 ] .   I n   2 0 1 4   J i a n y i   W a n g   e t .   a l   p r o p o s e d   a n   a p p r o a c h   t h a t   w a s   b a s e d   o n   c o m b i n e s   t h e   c h a r a c t e r i s t i c s   o f   s p a m   i m a g e s   w i t h   t h e   c o r n e r   p o i n t   d e n s i t y   t o   d e t e c t .   T h e   g e n e r a l   i d e a   o f   t h e   a l g o r i t h m   i s   b a s e d   o n   t h e   c o r n e r   p r o p o r t i o n   o f   t h e   i m a g e s   t o   j u d g e   i f   i t   i s   a   s p a m   o r   n o t   s p a m   [ 9 ] .   I n   2 0 1 5   N i s h a   D .   C h o p r a   e t .   a l   u s e d   t w o   m e t h o d s   t o   c l a s s i f y   s p a m   i m a g e s .   T h e   f i r s t   m e t h o d   u s i n g   O C R   t o o l   f o r   s e p a r a t i n g   t e x t   f r o m   t h e   i m a g e ,   a n d   t h e   s e c o n d   m e t h o d   i s   u s e d   a   B a y e s i a n   a l g o r i t h m   t o   d e t e c t   t h e   w o r d s   i n   t h e   m a i l   a r e   s p a m   o r   n o t   s p a m   [ 1 0 ] .   I n   2 0 1 4   M e g h a l i   D a s   e t .   a l   p r o p o s e d   a   m e t h o d   t h a t   b a s e d   o n   a n a l y z i n g   t h e   i m a g e   t h a t   c o n t a i n s   o n l y   a   t e x t   r e g i o n .   T h e n   c l a s s i f y   t h e   e m b e d d e d   i m a g e   a s   s p a m   o r   l e g i t i m a t e   a c c o r d i n g l y ,   t h e y   t e s t e d   t h e i r   m e t h o d   o n   D r e d z e   d a t a s e t   [ 1 1 ] .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       S p a m   i m a g e   e m a i l   f i l t e r i n g   u s i n g   K - N N   a n d   S V M   ( Y a s m i n e   K h a l i d   Z a m i l )   2 4 7 3 .   R E S E A R C H   M E T H O D     I n   t h i s   s e c t i o n ,   w e   d i s c u s s   t h e   m a i n   s t e p s   o f   o u r   p r o p o s e d   s y s t e m .   T h e   g o a l   o f   o u r   w o r k s   i s   t o   c r e a t e   a   s y s t e m   t h a t   i s   a b l e   t o   d i s t i n g u i s h   b e t w e e n   h a m   i m a g e s   a n d   s p a m   i m a g e s   b a s e d   o n   t e x t u r e   a n d   c o n t e n t   c h a r a c t e r i s t i c s .   T h e   p r o c e d u r e   o f   e x t r a c t i n g   f e a t u r e s   f r o m   t h e   i m a g e   a t t a c h e d   t o   a n   e m a i l   i s   d e l i n e a t e d   i n   F i g u r e   2 .   T h i s   p r o c e d u r e   c o n s i s t   o f   t h e   f o l l o w i n g   s t a g e s :           F i g u r e   2 .   P r o p o s e d   s y s t e m   g e n e r a l   a r c h i t e c t u r e       3 . 1 .     D a t a s e t   D a t a s e t   i s   u s e d   i n   o u r   w o r k   i s   D r e d z e .   [ 1 2 ]   T h i s   d a t a s e t   c o n t a i n s   e - m a i l   i m a g e s   w i t h   d i f f e r e n t   s i z e s   w h i c h   a r e   ( 3 2 9 9 )   s p a m   i m a g e s   o f   e - m a i l   a n d   ( 2 0 2 1 )   i m a g e s   o f   l e g i t i m a t e   ( h a m )   e - m a i l .   A   s e t   o f   i m a g e s   h a s   b e e n   d e l e t e d   d u r i n g   t h e   p r o c e s s i n g   p h a s e   b e c a u s e   t h e s e   i m a g e s   d o   n o t   p r o v i d e   e n o u g h   i n f o r m a t i o n   a n d   i t s   s i z e   i s   v e r y   s m a l l   c l o s e   t o   t e n s   o f   b y t e s ,   o r   s o m e   o f   t h e s e   i m a g e s   a r e   a l r e a d y   e m p t y   d o e s   n o t   c o n t a i n   i n f o r m a t i o n   t e x t u r e .   T h i s   l e d   t o   3 2 6 4   f o r   s p a m   i m a g e   a n d   1 7 8 3   f o r   h a m   i m a g e .     3 . 2 .     P r e - p r o c e s s i n g   s t a g e   P r e p r o c e s s i n g   s t a g e   h a s   t h e   m a i n   a d v a n t a g e   w h i c h   i s   o r g a n i z i n g   t h e   d a t a   i n   o r d e r   t o   s i m p l i f y   c l a s s i f i c a t i o n .   A l l   o p e r a t i o n s   t h a t   a p p l y   t o   a   s c a n n e d   i m a g e   i s   c a l l e d   p r e p r o c e s s i n g   p r o c e s s ,   i n   o r d e r   t o   r e d u c e   o r   e l i m i n a t e   n o i s e   d a t a   a n d   k e e p   o n l y   t h e   d e s i r e d   i n f o r m a t i o n   t o   m a k e   t h e   n e x t   o p e r a t i o n   ( f e a t u r e   e x t r a c t i o n   p r o c e s s )   e a s y   t o   i m p l e m e n t .   T h e   p r e - p r o c e s s i n g   s t a g e   c o n s i s t s   o f   m a n y   o p e r a t i o n s   s u c h   a s :     3 . 2 . 1 .     I m a g e   f o r m a t   u n i f i c a t i o n   i n   J P E G   f o r m a t   J P E G   i s   o n e   o f   t h e   m o s t   r e c o g n i z a b l e   a n d   p o p u l a r   r a s t e r   i m a g e   f o r m a t s .   T h i s   f o r m a t   a p p e a r e d   a s   a   r e s u l t   o f   t h e   J o i n t   P h o t o g r a p h i c   E x p e r t s   w o r k .   T h e   s e l e c t i o n   o f   J P E G   f o r m a t   b e c a u s e   i t   i s   p r o v e n   t o   b e   a n   e f f e c t i v e   f o r m a t   i n   c l a s s i f i c a t i o n   p r o c e s s   [ 1 3 ] .     3 . 2 . 2 .     C o n v e r t   c o l o r e d   i m a g e s   t o   a   g r a y s c a l e   i m a g e   T h e   p r o c e s s   t h a t   c o n v e r t s   t h e   c o l o r   i m a g e s   t o   g r a y s c a l e   i s   a i m e d   t o   s a v e   a s   m u c h   i n f o r m a t i o n   a b o u t   t h e   o r i g i n a l   c o l o r   i m a g e   a s   p o s s i b l e .   T h e   c o n v e r s i o n   p r o c e s s   f r o m   a   c o l o r   i m a g e   t o   a   g r a y s c a l e   i m a g e   r e q u i r e s   m o r e   k n o w l e d g e   a b o u t   t h e   c o l o r   i m a g e .   A   p i x e l   c o l o r   i n   a n   i m a g e   i s   a   c o m b i n a t i o n   o f   t h r e e   c o l o r s   R e d ,   G r e e n ,   a n d   B l u e   ( R G B ) .   T h e   c o n v e r s i o n   o f   a   c o l o r   i m a g e   i n t o   a   g r a y s c a l e   i m a g e   i s   c o n v e r t i n g   t h e   R G B   v a l u e s   ( 2 4   b i t )   i n t o   g r a y s c a l e   v a l u e   ( 8   b i t )   [ 4 1 ] .   W h e n   t h e   i m a g e   i s   d e n o t e d   i n   t h e   R G B   m o d e l ,   i t   h a s   R e d ,   G r e e n ,   a n d   B l u e   c o m p o n e n t s :   l e t   R ,   G   a n d   B   a r e   t h e   v a l u e   o f   t h e s e   c o m p o n e n t s ,   r e s p e c t i v e l y   t h e n   t h e   g r a y   v a l u e   c a n   b e   o b t a i n e d   b y   u s i n g   E q u a t i o n   1 .     R G B   = . 2 9 8 9 *   R + . 5 8 7 0 * G + . 1 4 4 0 * B   ( 1 )     3 . 2 . 3 .     R e s i z i n g   i m a g e s   I n   t h i s   s t e p ,   a l l   i m a g e s   i n   t h e   d a t a s e t   a r e   u n i f i e d   t o   t h e   s a m e   s i z e   t o   p r e p a r e   i t   f o r   a n o t h e r   p r o c e s s   w h i c h   i s   f e a t u r e s   e x t r a c t i o n .   T h r o u g h   o u r   e x p e r i e n c e ,   w e   f o u n d   t h a t   r e s i z i n g   o f   i m a g e s   t o   [ 6 5 × 6 5 ]   g a v e   t h e   b e s t   r e s u l t s .     3 . 3 .     F e a t u r e s   e x t r a c t i o n   A f t e r   t h e   p r e - p r o c e s s i n g   s t a g e   h a s   b e e n   a c h i e v e d ,   f e a t u r e   e x t r a c t i o n   h a s   a p p l i e d   o n   t h e   i m a g e   t o   e x t r a c t   s o m e   f e a t u r e   a n d   r e p r e s e n t e d   i t   a s   f e a t u r e   v e c t o r   t h e r e   a r e   m a n y   f e a t u r e   e x t r a c t i o n   m e t h o d s   t h a t   a r e   u s e d   i n   d i f f e r i n g   a p p l i c a t i o n s .   S o m e   o f   t h e m   m a y   s u c c e e d   i n   o n e   a p p l i c a t i o n   a n d   f a i l   i n   a n o t h e r .   T h e   s e l e c t e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 4 5   -   2 5 4   2 4 8 f e a t u r e   e x t r a c t i o n   m e t h o d   i s   a n   i m p o r t a n t   s t e p   i n   o r d e r   t o   a c h i e v e   a   h i g h   c l a s s i f i c a t i o n   r a t e ;   i n   o u r   e x p e r i m e n t ,   w e   u s e d   t h e   G r a y - L e v e l   C o - o c c u r r e n c e   m a t r i x   ( G L C M )   m e t h o d .     3 . 3 . 1 .     G r a y - l e v e l   c o - o c c u r r e n c e   m a t r i x   m e t h o d   T h e   t e x t u r e   c o u l d   b e   a   c h a r a c t e r i s t i c   s i g h t   o f   t h e   s u r f a c e   a n d   i s   a   c r u c i a l   c h a r a c t e r i s t i c   t o   e x p l a i n   t h e   v a r i o u s   e l e m e n t s   o f   t h e   i m a g e .   T h e   a i m   o f   t h e   s t u d y   o f   t e x t u r e   t o   s e e k   o u t   h o w   t o   e x p l a i n   t h e   e s s e n t i a l   o p t i o n s   o f   t h e   i m a g e   a n d   d i s p l a y s   t h e m   i n   a n   e x c e e d i n g l y   s i n g l e   a n d   s t r a i g h t f o r w a r d   k i n d   w h i c h   m i g h t   b e   w o n t   t o   a c c u r a t e l y   c l a s s i f y .   T h e   G L C M ,   i s   a   t w o   d i m e n s i o n a l   m a t r i x   g   ( I ,   j )   t h a t   r e v e a l s   p r o p e r t i e s   t h e   s p a t i a l   d i s t r i b u t i o n   o f   t h e   g r a y - l e v e l s   w i t h i n   t h e   t e x t u r e   i m a g e ,   W h e r e   t h e   e l e m e n t   ( i ,   j )   o f   t h e   m a t r i x   i s   t h e   n u m b e r   o f   t i m e s   t h e   p a i r   o f   p i x e l s   w i t h   t h e   v a l u e   o f   i   a n d   t h e   o t h e r   p i x e l   i n   v a l u e s   j   a n d   t h e   d i s t a n c e   b e t w e e n   t h e m   i s   d .   T h e   n u m b e r   o f   r o w s   a n d   c o l u m n s   i n   t h e   a r r a y   i s   e q u a l   t o   t h e   n u m b e r   o f   g r a y   l e v e l s   i n   t h e   o r i g i n a l   i m a g e .   I n   o u r   w o r k ,   w e   u s e d   t h e   t h r e e   c o r n e r s   o f   t h e   m a t r i x   ( 0 ,   9 0   a n d   1 3 5 )   b e t w e e n   t h e   p i x e l   a n d   t h e   n e i g h b o r   p i x e l .   T h e   p r o b a b i l i t y   f o r   e a c h   p a i r   ( i ,   j )   i s   c o m p u t e d   a c c o r d i n g   t o   t h e   f o l l o w i n g   e q u a t i o n .     ( , ) = ( , ) / ( i , j )         ( 2 )     F r o m   t h e   c o - o c c u r r e n c e   m a t r i x   ( g d , θ )   t w e l v e   f e a t u r e s   c a n   b e   d e r i v e d   a r e   E n e r g y ,   E n t r o p y ,   C o n t r a s t ,   H o m o g e n e i t y ,   c o r r e l a t i o n ,   a n d   o t h e r s   a s   s h o w n   i n   T a b l e   1 .       T a b l e   1 .   G r a y - L e v e l   C o - o c c u r r e n c e   M a t r i x   ( G L C M )   F e a t u r e s   F e a t u r e   n u m b e r   M e a s u r e   F 1   E n e r g y = ( , )   F 2   E n t r o p y =   ( , )   ( , )   F 3   C o n t r a s t =   ( ) ( , )   F 4   H o m o g e n e i t y =   + ( ) ² ( , )   F 5   D i s s i m l a r i t y = ( , )   | |   F 6   M e a n   μ ı =   ( , )       F 7   M e a n   μ j = j g ( , )         F 8   V a r i a n c e   I   σ ι = g ( i , j )       |   i   μ ı   |   F 9   V a r i a n c e   J   σ j = g ( i , j )   |   j   μ j | ²     F 1 0   s t a n d a r d   d e v i a t i o n   I =     F 1 1   S t a n d a r d   d e v i t i o n j =     F 1 2   M a x i m u m   p r o b a b i l i t y =   m a x ( , )           3 . 3 . 2 .     N o r m a l i z a t i o n   N o r m a l i z a t i o n   i s   c o n s i d e r e d   a s   a n   i m p e r a t i v e   i n f o r m a t i o n   p r e p r o c e s s i n g   t o   s t a y   a w a y   f r o m   p r o p e r t i e s   i n   m o r e   p r o m i n e n t   n u m e r i c   r e a c h e s   o v e r w h e l m i n g   t h o s e   i n   l i t t l e r   n u m e r i c   r e a c h e s ,   H i g h l i g h t   n o r m a l i z a t i o n ,   o r   f e a t u r e   s c a l i n g ,   i s   a n   e s s e n t i a l   s y s t e m   f o r   i n f o r m a t i o n   p r e - p r o c e s s i n g .   W i t h   a   r e a s o n a b l e   i n s p i r a t i o n   t o   r o u g h l y   e v e n   o u t   t h e   r a n g e   a n d   w e i g h t   o f   i n f o r m a t i o n   t r a i t s   [ 1 5 ] ,   t h e r e   a r e   s e v e r a l   w a y s   t o   n o r m a l i z a t i o n   b u t   o n e   o f   t h e   l e a s t   d i f f i c u l t   a n d   m o s t   b r o a d l y   u t i l i z e d   d e t a i l i n g   i s   t h e   i n   t h e   r a n g e   ( M i n ,   M a x ) .   A s s u m e   t h a t :           : {      } { , . . , }   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       S p a m   i m a g e   e m a i l   f i l t e r i n g   u s i n g   K - N N   a n d   S V M   ( Y a s m i n e   K h a l i d   Z a m i l )   2 4 9 N o r m a l i z a t i o n   t r a n s f o r m s   a n   n - d i m e n s i o n a l   g r a y s c a l e   i m a g e   ( I )   w i t h   i n t e n s i t y   v a l u e s   i n   t h e   r a n g e   ( M i n ,   M a x ) ,   i n t o   a   n e w   i m a g e .         W i t h   i n t e n s i t y   v a l u e s   i n   t h e   r a n g e   ( n e w M i n ,   n e w M a x ) .   T h e   l i n e a r   n o r m a l i z a t i o n   o f   a   g r a y s c a l e   d i g i t a l   i m a g e   i s   p e r f o r m e d   a c c o r d i n g   t o   t h e   f o r m u l a   [ 1 6 ] :       ( 3 )     3 . 4 .     F e a t u r e s   e x t r a c t i o n   C l a s s i f i e r s   a r e   u s e d   f o r   d i f f e r e n t   p u r p o s e s   [ 1 7 ] ,   i n   t h i s   p a p e r   a r e   u s e d   f o r   c l a s s i f y i n g   t h e   i m a g e   i n t o   t w o   c l a s s e s   a s   h a m   o r   s p a m   b y   c o m p a r i n g   i t s   f e a t u r e s   w i t h   o n e   o f   a   g i v e n   s e t   o f   c l a s s e s .     A   c l a s s i f i e r   i s   u s e d   t o   i d e n t i f y   a n   o b j e c t   b y   u s i n g   i t s   f e a t u r e s ,   a n d   t h e n   t h e s e   f e a t u r e s   a r e   c o m p a r e d   a n d   s a v e d   a s   m o d e l s   f o r   t h e   c l a s s e s   t r a i n e d .   I n   t h e   t e s t i n g   p h a s e ,   i t   w i l l   i d e n t i f y   t h e   u n k n o w n   o b j e c t   b y   e x t r a c t i n g   i t s   f e a t u r e s   a n d   t h e n   c o m p a r e d   w i t h   t h e   f e a t u r e s ,   I n   o u r   e x p e r i m e n t s ,   w e   u s e d   t h e   c l a s s   S V M   a s   w e l l   a s   t h e   K N N   a s   w e l l   a s   o u r   w o r k   c o m b i n a t i o n   b e t w e e n   t h e   S V M   a n d   t h e   K N N   f o r   s e v e r a l   r e a s o n s ,   s u c h   a s   t o   i m p r o v e   t h e   p u n c t u r e   a n d   r e d u c e   t h e   t i m e   a n d   s t o r a g e   a n d   w i l l   b e   p r e s e n t e d   i n   d e t a i l   i n   t h e   s e c t i o n   S V M - K N N .     3 . 4 . 1 .     S V M   S u p p o r t   v e c t o r   m a c h i n e   i s   p o w e r f u l   c l a s s i f i c a t i o n   s y s t e m s   i n   d a t a   c l a s s i f i c a t i o n ,   i t   i n c l u d e s   s o l v i n g   q u a d r a t i c   p r o b l e m s   a n d   t h i s   r e q u i r e s   a   g r e a t   t i m e   f o r   t r a i n i n g   a n d   b i g   m e m o r y   f o r   h u g e   s c a l e   i s s u e s   [ 1 8 ] ,   a   s u p p o r t   v e c t o r   m a c h i n e   ( S : V M )   c a n   b e   u t i l i z e d   w h e n   o u r   i n f o r m a t i o n   h a s   c o m p l e t e l y   t w o   c l a s s e s .   A n   S V M   c h a r a c t e r i z e s   i n f o r m a t i o n   b y   f i n d i n g   t h e   i d e a l   h y p e r p l a n e   t h a t   i s o l a t e s   a l l   i n f o r m a t i o n   p u r p o s e s   o f   o n e   c l a s s   f r o m   t h o s e   o f   a l t e r n a t e   c l a s s .   T h e   h y p e r p l a n e   f o r   a n   S V M   i m p l i e s   t h e   o n e   w i t h   t h e   b i g g e s t   e d g e   b e t w e e n   t h e   t w o   c l a s s e s   [ 1 9 ] .   M a r g i n   i m p l i e s   t h e   m a x i m a l   w i d t h   o f   t h e   b i t   p a r a l l e l   t o   t h e   h y p e r p l a n e   t h a t   h a s   n o   i n s i d e   i n f o r m a t i o n   f o c u s e s   [ 8 ] ,   S V M   h a s   a   p l a c e   w i t h   a   g r o u p   o f   g e n e r a l i z e d   l i n e a r   c l a s s i f i e r s   a n d   i t   c a n   b e   t r a n s l a t e d   a s   a n   e x p a n s i o n   o f   t h e   p e r c e p t i o n   [ 2 0 ] .   A   u n i q u e   p r o p e r t y   i s   t h a t   t h e y   a t   t h e   s a m e   t i m e   l i m i t   t h e   e m p i r i c a l   c l a s s i f i c a t i o n   e r r o r   a n d   a m p l i f y   t h e   g e o m e t r i c   m a r g i n   t h u s   t h e y   a r e   o t h e r w i s e   a r e   n a m e d   m a x i m u m   m a r g i n ,   F i g u r e   3   s h o w s   S V M   S h o w n   c l a s s i f i e r .           F i g u r e   3 .   S u p p o r t   v e c t o r   m a c h i n e   [ 8 ]       3 . 4 . 2 .     K N N   K - N e a r e s t   N e i g h b o r   a l g o r i t h m   ( K N N )   i s   a   t y p e   o f   s u p e r v i s e d   l e a r n i n g   w h i c h   i s   u s e d   i n   s e v e r a l   a p p l i c a t i o n s   i n   t h e   f i e l d   o f   i m a g e   c l a s s i f i c a t i o n ,   d a t a   m i n i n g ,   a n d   m a n y   o t h e r s .   K N N   c a n   b e   c a l c u l a t e d   b y   s e v e r a l   d i s t a n c e   m e t r i c s   t h e   b e s t   m e t r i c s   a r e   E u c l i d e a n   d i s t a n c e   c a n   b e   c a l c u l a t e d   a s   f o l l o w   [ 1 4 ] .   X i ,   x j   a r e   t w o   v e c t o r   x i   =   ( x i 1 ,   x i 2 ,   x i 3 ,   x i 4 ,   x i 5 .   x i )   a n d   x j =   ( x j 1 ,   X j 2 ,   x j 3 ,   x j 4 ,   x j 5 . . .   x j )   d i s t a n c e   c a l c u l a t e d   a s   f o l l o w :     D   ( X I ,   X J )   =     ( 4 )     : {      } { , . . , }   N = ( )   +     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 4 5   -   2 5 4   2 5 0 T h e   K - N N   c a l c u l a t i o n   i s   p o w e r f u l   a n d   c l e a r   t o   a c t u a l i z e .   I n   a n y   c a s e ,   o n e   o f   t h e   p r i m a r y   d i s a d v a n t a g e   o f   K - N N   i s   i t s   i n e f f i c i e n c y   f o r     l a r g e - s c a l e     h i g h   d i m e n s i o n a l   d a t a   s e t s   [ 2 1 ] ,   T h e   p r i n c i p l e   p u r p o s e   b e h i n d   i t s   t h e   d o w n s i d e   i s   i t s   l a z y   l e a r n i n g   a l g o r i t h m   n a t u r e s   c a l c u l a t i o n   a n d   i t   i s   s i n c e   i t   d o e s n ' t   h a v e   a   g e n u i n e   l e a r n i n g   s t a g e   a n d   t h a t   c o m e s   a b o u t   a   h i g h   c o m p u t a t i o n a l   c o s t   a t   t h e   c h a r a c t e r i z a t i o n   t i m e .     3 . 4 . 3     K N N - S V M   T h e   S V M   h a s   a   g o o d   p e r f o r m a n c e   b u t   c o n t a i n s   s o m e   p r o b l e m s   w h i c h   t a k e   a   g r e a t   t i m e   a n d   t h e   u s e   o f   t h e   C P U   a n d   t h e   u s e   o f   t h e   a c t u a l   m e m o r y ,   c o n s i d e r i n g   t h e   t r a i n i n g   a n d   c l a s s i f i c a t i o n ,   e s p e c i a l l y   w h e n   t h e   d i m e n s i o n s   b e t w e e n   t h e   d a t a   i s   h i g h ,   a d d i n g   t h a t   w h e n   t r a i n i n g   r e q u i r e s   a   f e w   d a t a ,   t h i s   m e a n   t h e   n u m b e r   o f   d a t a   f o r   t r a i n i n g   l e s s   f r o m   d a t a   f o r   t e s t   ,   w h i l e   t h e   w a y   K N N   c l a s s i f i c a t i o n   p e r f o r m s   t h e   s i m p l e   a n d     l o w - c o s t   [ 2 1 ]   s o   w e   f o u n d   t h r o u g h   o u r   w o r k   t o   c l a s s i f y   s p a m   i m a g e s   i n   e m a i l   t o   s i m p l i f y   t h e   p r o c e s s   o f   t r a i n i n g   a n d   o p t i m i z a t i o n   o f   t h e   S V M   a l g o r i t h m   a n d   t o   o b t a i n   v e r y   e f f i c i e n t   r e s u l t s   u s i n g   K N N   w i t h   S V M .   F i g u r e   4   s h o w s   t h e   p r o p o s e d   c o m b i n a t i o n   o f   K N N - S V M   f l o w c h a r t s   t o   c l a s s i f y   e m a i l   i m a g e s .   T h e   s t e p s   o f   t h i s   t e c h n i q u e   a r e :   1 .   C o m p u t e   d i s t a n c e s   o f   t h e   q u e r y   t o   a l l   t r a i n i n g   e x a m p l e s .   2 .   I f   t h e   k   n e i g h b o r s   h a v e   a l l   t h e   s a m e   l a b e l s ,   t h e   q u e r y   i s   l a b e l e d   a n d   e x i t ;   e l s e ,   c o m p u t e   t h e   p a i r - w i s e   d i s t a n c e s   b e t w e e n   t h e   k   n e i g h b o r s ;   3 .   C o n v e r t   t h e   d i s t a n c e   m a t r i x   t o   a   k e r n e l   m a t r i x   a n d   a p p l y   m u l t i c l a s s   S V M ;   4 .   U s e   t h e   r e s u l t i n g   c l a s s i f i e r   t o   l a b e l   t h e   q u e r y .           F i g u r e   4 .   P r o p o s e d   s y s t e m   a r c h i t e c t u r e   o f   S V M   a n d   K N N   c l a s s i f i e r s       4 .   P E R F O R M A N C E   E V A L U A T I O N   M E T R I C S   T h e   f o l l o w i n g   s t a n d a r d   p e r f o r m a n c e   m e t r i c s   t o   e v a l u a t e   t h e   p r o p o s e d   m e t h o d :   a c c u r a c y ,   p r e c i s i o n ,   r e c a l l ,   F - m e a s u r e ,   w h i c h   a r e   d e f i n e d   a s   f o l l o w s   i n   T a b l e   2   [ 1 ] ,   [ 4 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       S p a m   i m a g e   e m a i l   f i l t e r i n g   u s i n g   K - N N   a n d   S V M   ( Y a s m i n e   K h a l i d   Z a m i l )   2 5 1 T a b l e   2 .   P e r f o r m a n c e   E v a l u a t i o n   M e t r i c s   M e a s u r e   D e f i n e d   a s :   W h a t   i t   m e a n s   A c c u r a c y   T P   + T N F N + F P + T N + T P   P e r c e n t a g e   o f   p r e d i c t i o n s   t h a t   a r e   c o r r e c t   [ 2 2 ]   P r e c i s i o n   T P   T P + F P   P r e c i s i o n   i s   t h e   l e v e l   o f   t h e   r i g h t   f o r e c a s t   ( f o r   s p a m   e m a i l )   [ 1 ] .   R e c a l l   T P   T P + F N   S p a m   R e c a l l   l o o k s   a t   t h e   l i k e l i h o o d   o f   t r u e   p o s i t i v e   e x a m p l e s   b e i n g   r e c o v e r e d   ( c o m p l e t e n e s s   o f   t h e   r e t r i e v a l   p r o c e s s )   [ 1 ] .   F - m e a s u r e   2 P r e c i s i o n   x   R e c a l l   P r e c i s i o n   +   R e c a l l   F - m e a s u r e   c o n s o l i d a t e s   t h e s e   t w o   m e a s u r e m e n t s   i n   a   s i n g l e   c o n d i t i o n   w h i c h   c a n   b e   d e c i p h e r e d   a s   a   w e i g h t e d   a v e r a g e   o f   p r e c i s i o n   a n d   r e c a l l   [ 1 ] .       W h e r e   F P ,   F N ,   T P ,   T N   a r e   c h a r a c t e r i z e d   a s   f o l l o w s   [ 1 ] ,   [ 2 2 ] ,   [ 4 ] .   1 .   F a l s e   P o s i t i v e   ( F P ) :   T h e   n u m b e r   o f   m e s s a g e s   f o r   h a m   e - m a i l   t h a t   a r e   c l a s s i f i e d   i n c o r r e c t l y .   2 .   F a l s e   N e g a t i v e   ( F N ) :   T h e   n u m b e r   o f   s p a m   e - m a i l   m e s s a g e s   t h a t   a r e   c l a s s i f i e d   i n c o r r e c t l y .   3 .   T r u e   P o s i t i v e   ( T P ) :   T h e   c o r r e c t   c l a s s i f i c a t i o n   o f   s p a m   m a i l .   4 .   T r u e   N e g a t i v e   ( T N ) :   T h e   c o r r e c t   c l a s s i f i c a t i o n   o f   h a m   m a i l .       5 .   R E S U L T S   A N D   A N A L Y S I S   A   G L C M   b a s e d   f e a t u r e   p o i n t   e x t r a c t i o n   m e t h o d   f o r   i m a g e   s p a m   c l a s s i f i c a t i o n   s y s t e m   i s   b u i l t .   I n   t h e   n e x t ,   w e   c o n d u c t   t h r e e   s e t s   o f   e x p e r i m e n t s   t o   v e r i f y   t h e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   o f   o u r   a p p r o a c h .   I n   t h e   f i r s t   s e t   o f   e x p e r i m e n t s ,   w e   v e r i f y   t h e   c l a s s i f i c a t i o n   p e r f o r m a n c e   u n d e r   t h e   m e a s u r e s   o f   a c c u r a c y   u s i n g   S V M   a s   a   c l a s s i f i e r .   I n   t h e   s e c o n d   s e t   o f   e x p e r i m e n t s ,   t h e   c l a s s i f i c a t i o n   p e r f o r m a n c e   u n d e r   t h e   m e a s u r e s   o f   a c c u r a c y   u s i n g   K N N   a s   a   c l a s s i f i e r ,   a n d   i n   t h e   t h i r d   e x p e r i m e n t   t h e   c l a s s i f i c a t i o n   p e r f o r m a n c e   u n d e r   t h e   m e a s u r e s   o f   a c c u r a c y   u s i n g   a   c o m b i n a t i o n   o f   K N N - S V M   a s   c l a s s i f i e r .   F i n a l l y ,   w e   c o m p a r e   t h e   p e r f o r m a n c e   o f   t h r e e   a p p r o a c h e s .     5 . 1 .   R e s u l t s   w i t h   a p p l y i n g   S V M   B y   u s i n g   S V M   c l a s s i f i e r ,   w e   o b t a i n e d   t h e   a v e r a g e   a c c u r a c y   0 . 4 9 7   w h e n   t h e   t r a i n   d a t a   a r e   ( 1 1 0 0 ,   1 7 7 0 )   f o r   h a m   a n d   s p a m   i m a g e   r e s p e c t i v e l y .   T a b l e   3   s h o w s   t h e   r e s u l t s   w i t h   d i f f e r e n t   n u m b e r s   o f   t h e   t r a i n i n g   s a m p l e s .       T a b l e   3 .   R e s u l t   o f   S V M   w i t h   D i f f e r e n t   T r a i n i n g   S a m p l e s   S p a m   i m a g e   ( 3 2 6 4   i m a g e s )   H a m   i m a g e   ( 1 7 8 3   i m a g e )   A v e r a g e   A c c u r a c y   T r a i n   T e s t   A c c u r a c y   o f   s p a m   i m a g e   T r a i n   T e s t   A c c u r a c y   f o r   h a m   i m a g e   5 0   1 4 9 4   9 0 . 3 6   5 0   6 8 3   9 1 . 5 1   9 0 . 9 3   1 0 0   1 4 9 4   8 9 . 7 6   1 0 0   6 8 3   9 1 . 9 5   9 0 . 8 5   1 5 0   1 4 9 4   9 2 . 1 0   1 5 0   6 8 3   9 1 . 8 0   9 1 . 9 5   2 0 0   1 4 9 4   9 3 . 3 1   2 0 0   6 8 3   9 1 . 9 5   9 2 . 6 3   1 7 7 0   1 4 9 4   0   1 1 0 0   6 8 3   9 9 . 5 6   4 9 . 7 8       I t   c a n   b e   n o t e d   f r o m   T a b l e   3 ,   t h a t   S V M   c l a s s i f i e r   g i v e   a p p r o p r i a t e d   r e s u l t   w h e n   t h e   n u m b e r   o f   t r a i n i n g   s a m p l e s   i s   s m a l l ,   a n d   t h e   a c c u r a c y   d e c r e a s e   f o r   s p a m   i m a g e s   e q u a l   t o   ( 0 )   w h e n   a   n u m b e r   o f   t r a i n i n g   ( 1 7 7 0 )   s a m p l e s .     F i g u r e   5   s h o w s   t h e   a v e r a g e   a c c u r a c y   o f   S V M   w i t h   a   d i f f e r e n t   n u m b e r   o f   t r a i n i n g   s a m p l e s .           F i g u r e   5 .   A c c u r a c y   f o r   S V M   w i t h   d i f f e r e n t   n u m b e r   o f   t r a i n i n g   s a m p l e s     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 4 5   -   2 5 4   2 5 2 5 . 2 .   R e s u l t s   w i t h   a p p l y i n g   K N N   U s i n g   K N N   f o r   d i f f e r e n t   K   v a l u e ,   3 2 6 4   f o r   S p a m   i m a g e   ( t r a i n   d a t a   1 7 7 0   a n d   t e s t i n g   1 4 9 4   i m a g e )   a n d   1 7 8 3   f o r   H a m   i m a g e   ( t r a i n   d a t a   1 1 0 0   a n d   t e s t i n g   6 8 3   i m a g e s ) ,   t h e   r e s u l t s   a r e   s h o w i n g   i n   t h e   T a b l e   4   f o r   t h e   v a l u e s   o f   k   b e t w e e n   1 5   t o   4 0 .   F r o m   T a b l e   4 ,   i t   c a n   b e   n o t e d   t h a t   b e s t   a v e r a g e   a c c u r a c y   o b t a i n e d   f o r   K   i n   t h e   r a n g e   ( 1 5 - 2 0 ) .       T a b l e   4 .   R e s u l t   f o r   K N N   w i t h   D i f f e r e n t   V a l u e s   f o r   K   K   v a l u e s   A c c u r a c y   f o r   s p a m   i m a g e   A c c u r a c y   f o r   h a m   i m a g e   A v e r a g e   A c c u r a c y   1 6   9 2 . 9 7   9 5 . 9 2   9 4 . 4 5   1 7   9 5 . 9 2   9 2 . 0 9   9 4 . 0 1   2 0   9 6 . 0 5   9 1 . 9 5   9 4   2 5   9 5 . 2 5   9 0 . 6 3   9 2 . 9 4   3 0   9 5 . 4 5   9 1 . 3 6   9 3 . 4 1   3 5   9 5 . 1 8   8 9 . 6 0   9 2 . 3 9   4 0   9 4 . 7 8   9 0 . 9 2   9 2 . 8 5       5 . 3 .   C o m b i n a t i o n   o f   K N N -   S V M       T h e   p r o p o s e d   m e t h o d   t r i e s   t o   s e l e c t   t h e   p a t t e r n s   t h a t   a r e   l o c a t e d   n e a r   t h e   b o u n d a r y   a n d   a r e   c o r r e c t l y   l a b e l e d .   I n   o r d e r   t o   d o   t h a t ,   A   p a t t e r n   n e a r   t h e   d e c i s i o n   b o u n d a r y   t e n d s   t o   h a v e   n e i g h b o r s   w i t h   m i x e d   c l a s s   l a b e l s .   T h u s ,   t h e   o f   K - n e a r e s t   n e i g h b o r s   c l a s s   l a b e l s   c a n   e s t i m a t e   t h e   K   p a t t e r n s   w h i c h   w i l l   b e   i n p u t   t o   S V M .   T a b l e   5   s h o w s   t h e   r e s u l t s   o f   a v e r a g e   a c c u r a c y   f o r   s p a m   a n d   h a m   i m a g e s .   I t   c a n   b e   n o t e d   f r o m   r e s u l t s   t h a t   c o m b i n a t i o n   o f   K N N - S V M   g i v e s   b e s t   r e s u l t s .   F i g u r e   6   s h o w s   t h e   p e r f o r m a n c e   e v a l u a t i o n   m e t r i c s   f o r   o u r   p r o p o s e d   m e t h o d   a n d   F i g u r e   7 .   S h o w   c o m p a r i s o n   f o r   p e r f o r m a n c e   m e t r i c s   a c c u r a c y ,   p r e c i s i o n ,   r e c a l l ,   a n d   f - m e a s u r e .   T h e   a c c u r a c y   o f   o u r   p r o p o s e d   b a s e d   t e x t u r e   f e a t u r e s   a n d   s o m e   o t h e r   m e t h o d s   a r e   r e p o r t e d   i n   T a b l e   6   t o   p r o v e   t h e   e f f i c i e n c y   o f   o u r   p r o p o s e d   s y s t e m .       T a b l e   5 .   R e s u l t   f o r   S V M - K N N   w i t h   D i f f e r e n t   V a l u e s   o f   k   K   v a l u e s   A c c u r a c y   f o r   s p a m   i m a g e   A c c u r a c y   f o r   h a m   i m a g e   A c c u r a c y   1 5   9 8 . 8 0   9 5 . 3 1   9 7 . 0 6   1 6   9 8 . 8 0   9 5 . 6 1   9 7 . 2 0   1 7   9 8 . 8 0   9 5 . 6 1   9 7 . 2 0   2 0   9 8 . 9 3   9 5 . 6 1   9 7 . 2 7   2 5   9 8 . 8 0   9 5 . 6 1   9 7 . 2 0   3 0   9 8 . 9 3   9 5 . 1 7   9 7 . 0 5   3 5   9 9   9 5 . 1 7   9 7 . 0 8   4 0   9 8 . 1 9   9 4 . 8 8   9 6 . 5 4       T a b l e   6 .   T h e   A c c u r a c y   t h a t   A c h i e v e d   b y   O u r   P r o p o s e d   M e t h o d   a n d   O t h e r   M e t h o d s   f o r   E m a i l   I m a g e   C l a s s i f i c a t i o n   R e l a t e d   w o r k   P u b l i c   y e a r   T e c h n i q u e s   u s e d   f o r   i m a g e   s p a m   f i l t e r i n g / c l a s s i f i c a t i o n   C l a s s i f i c a t i o n   A c c u r a c y   [ 7 ]   2 0 1 7   M u l t i - l a y e r   a l g o r i t h m   9 6 . 2 %   [ 4 ]   2 0 1 5   k - n e a r e s t   n e i g h b o r   c l a s s i f i e r   ( K N N )   a n d   n a i v e   B a y e s i a n   ( N B )   9 1 f o r K N N   a n d   7 5   f o r   N B   c l a s s i f i e r   [ 8 ]   2 0 1 5   u s i n g   S u p p o r t   V e c t o r   M a c h i n e   a n d   P a r t i c l e   S w a r m   O p t i m i z a t i o n   9 0 %   [   9 ]   2 0 1 4   T h r e s h o l d i n g   9 1 . 3 %   [ 1 0 ]   2 0 1 5   O C R     a n d   B a y e s i a n   A l g o r i t h m   N o t   d e f i n e d   [ 1 1 ]   2 0 1 4   C o n t e n t   a n a l y s i s   N o t   d e f i n e d   P r o p o s e d   m e t h o d   T e x t u r e - b a s e d   f e a t u r e s   u s i n g   a   c o m b i n a t i o n   o f   S V M - K N N   9 7 . 2 0           F i g u r e   6 .   S h o w s   t h e   p e r f o r m a n c e   e v a l u a t i o n   m e t r i c s   f o r   o u r   p r o p o s e d   m e t h o d       F i g u r e   7 .   S h o w   C o m p a r i s o n   f o r   p e r f o r m a n c e   m e t r i c s   a c c u r a c y ,   p r e c i s i o n ,   r e c a l l ,   a n d   f - m e a s u r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       S p a m   i m a g e   e m a i l   f i l t e r i n g   u s i n g   K - N N   a n d   S V M   ( Y a s m i n e   K h a l i d   Z a m i l )   2 5 3 6 .   C O N C L U S I O N   I n   t h i s   p a p e r ,   o u r   p r o p o s e d   m e t h o d   f o r   d i s t i n g u i s h i n g   t h e   h a m   a n d   s p a m   i m a g e s   w a s   p r e s e n t e d   u s i n g   G L C M ,   w h i c h   i s   o n e   o f   t h e   i m a g e   t e x t u r e   f e a t u r e s .   F o r   e a c h   i m a g e ,   t h e   1 2   f e a t u r e s   a r e   e x t r a c t e d   i n   t h r e e   d i r e c t i o n s .   T h e s e   f e a t u r e s   a r e   t h e   e n t r o p y ,   e n e r g y ,   m e a n ,   e t c .   A t   f i r s t   w e   a p p l y   S V M   t o   c l a s s i f y   t h e   i m a g e s   a s   h a m   o r   s p a m ,   B u t   b e c a u s e   o f   t h e   p r o b l e m s   o f   S V M   r e p r e s e n t e d   b y   a   g r e a t   t i m e   f o r   t r a i n i n g   a n d   b i g   m e m o r y   f o r   h u g e   s c a l e   i s s u e s   [ 1 8 ] ,   w e   r e s o r t e d   t o   K N N   t o   g e t   t h e   b e s t   r e s u l t s   b u t   a l s o   h a v e   p r o b l e m s   i s   t h e   p r u n i n g   o f   t h e   d a t a   w i t h   h i g h   s p a c i n g .   T o   i m p r o v e   t h e   S V M   p e r f o r m a n c e   a   c o m b i n a t i o n   o f   S V M   a n d   K N N   a p p l i e d   t o   g e t   t h e   b e s t   a c c u r a c y .   A s   s h o w n   f r o m   T a b l e   5   t h e   a v e r a g e   a c c u r a c y   i s   9 7 . 2 7   w h e n   t h e   v a l u e   o f   K   i s   2 0 .         R E F E R E N C E S   [ 1 ]   A l - D u w a i r i ,   e t   a l . ,   " D e t e c t i n g   I m a g e   S p a m   U s i n g   I m a g e   T e x t u r e   F e a t u r e s , "   I n t e r n a t i o n a l   J o u r n a l   f o r   I n f o r m a t i o n   S e c u r i t y   R e s e a r c h   ( I J I S R ) ,   v o l .   2 ,   p p .   3 4 4 - 3 5 ,   2 0 1 2 .   [ 2 ]   M . S o r a n a m a g e s w a r i   a n d   D r . C .   M e e n a ,   " A   N o v e l   A p p r o a c h   t o w a r d s   I m a g e   S p a m   C l a s s i f i c a t i o n , "   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   T h e o r y   a n d   E n g i n e e r i n g ,   v o l .   3 ,   p p .   8 4 - 8 8 ,   2 0 1 1 .   [ 3 ]   K e t a r i ,   e t   a l . ,   " A   S t u d y   o f   I m a g e   S p a m   F i l t e r i n g   T e c h n i q u e s . "   I n   C o m p u t a t i o n a l   I n t e l l i g e n c e   a n d   C o m m u n i c a t i o n   N e t w o r k s   ( C I C N ) ,   2 0 1 2   F o u r t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   p p .   2 4 5 - 2 5 0 ,   2 0 1 2 .   [ 4 ]   S a d a t   H o s s e i n i ,   e t   a l . ,   " A   M e t h o d   f o r   I m a g e   S p a m   D e t e c t i o n   U s i n g   T e x t u r e   F e a t u r e s , "   I n t e r n a t i o n a l   A c a d e m i c   J o u r n a l   o f   S c i e n c e   a n d   E n g i n e e r i n g ,   v o l .   2 ,   p p .   5 1 - 5 8 ,   2 0 1 5 .   [ 5 ]   A t t a r   A ,   e t   a l . ,   " A   S u r v e y   o f   I m a g e   S p a m m i n g   a n d   F i l t e r i n g   T e c h n i q u e s , "   A r t i f i c i a l   I n t e l l i g e n c e   R e v i e w ,   p p .   7 1 - 1 0 5 ,   2 0 1 3 .   [ 6 ]   C a r u a n a ,   e t   a l . ,   " A   S u r v e y   o f   E m e r g i n g   A p p r o a c h e s   t o   S p a m   F i l t e r i n g , "   A C M   C o m p u t i n g   S u r v e y s   ( C S U R ) ,   v o l .   4 4 ,   p p .   1 - 2 7 ,   2 0 1 2 .   [ 7 ]   C h a n g   R . ,   " A p p l i c a t i o n   o f   a   M u l t i - L a y e r   A l g o r i t h m   o n   I m a g e   S p a m   F i l t e r i n g , "   M o d e r n   P h y s i c s   L e t t e r s   B ,   p p . 1 9 - 2 1 ,   2 0 1 7 .   [ 8 ]   M . s a d a t   H o s s e i n i ,   a n d   M .   R a h m a t i .   " A   M e t h o d   f o r   I m a g e   S p a m   D e t e c t i o n   U s i n g   T e x t u r e   F e a t u r e s , "   I n t e r n a t i o n a l   A c a d e m i c   J o u r n a l   o f   S c i e n c e   a n d   E n g i n e e r i n g ,   v o l .   2 ,   p p .   5 1 - 5 8 ,   2 0 1 5 .   [ 9 ]   J i a n y i   W a n g   a n d   K a z u k i   K a t a g i s h i .   " I m a g e   C o n t e n t - B a s e d   E m a i l   S p a m   I m a g e   F i l t e r i n g , "   J o u r n a l   o f   A d v a n c e s   i n   C o m p u t e r   N e t w o r k s   2 ,   p p .   1 1 0 - 1 1 4 ,   2 0 1 4 ,   [ 1 0 ]   N i s h a   D .   C h o p r a ,   P r o f .   K .   P .   G a i k w a d ,   " I m a g e   a n d   T e x t   S p a m   M a i l   F i l t e r i n g , "   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   T e c h n o l o g y   a n d   E l e c t r o n i c s   E n g i n e e r i n g   ( I J C T E E ) ,   v o l   5 ,   p p . 1 5 - 1 8 ,   J u n e   2 0 1 5 .   [ 1 1 ]   M e g h a l i   D a s   a n d   V i j a y   P r a s a d ,   " A n a l y s i s   o f   a n   I m a g e   S p a m   i n   E m a i l   B a s e d   o n   C o n t e n t   A n a l y s i s , "     I n t e r n a t i o n a l   J o u r n a l   o n   N a t u r a l   L a n g u a g e   C o m p u t i n g   ( I J N L C ) ,   v o l .   3 ,   p p . 1 2 9 - 1 4 0 ,   2 0 1 4 .   [ 1 2 ]   R .   G .   M a r k   D r e d z e   a n d   A .   E l i a s - B a c h r a c h ,   " L e a r n i n g   F a s t   C l a s s i f i e r s   f o r   I m a g e   S p a m , "   p r e s e n t e d   a t   t h e   i n   P r o c .   C E A S   2 0 0 7 ,   M o u n t a i n   V i e w ,   C a l i f o r n i a ,   A u g u s t 2 - 3 ,   2 0 0 7 .   [ 1 3 ]   P a o l a ,   J u s t i n   D . ,   a n d   R o b e r t   A .   S c h o w e n g e r d t . ,   " T h e   E f f e c t   o f   L o s s y   I m a g e   C o m p r e s s i o n   o n   I m a g e   C l a s s i f i c a t i o n , "   I n   G e o s c i e n c e   a n d   R e m o t e   S e n s i n g   S y m p o s i u m ,   1 9 9 5 .   I G A R S S ' 9 5 . ' Q u a n t i t a t i v e   R e m o t e   S e n s i n g   f o r   S c i e n c e   a n d   A p p l i c a t i o n s ' ,   I n t e r n a t i o n a l ,   v o l .   1 ,   p p .   1 1 8 - 1 2 0 .   I E E E ,   1 9 9 5 .   [ 1 4 ]   A m a n   K a t a r i a   a n d   M .   D .   S i n g h ,   " A   R e v i e w   o f   D a t a   C l a s s i f i c a t i o n   U s i n g   K - N e a r e s t   N e i g h b o u r   A l g o r i t h m , "   I n t e r n a t i o n a l   J o u r n a l   o f   E m e r g i n g   T e c h n o l o g y   a n d   A d v a n c e d   E n g i n e e r i n g   3 ,   V o l .   3 ,   p p .   3 5 4 - 3 6 0 ,   J u n e   2 0 1 3 .   [ 1 5 ]   L i n g x i   X i e 1 ,   Q i   T i a n 2 ,   a n d   B o   Z h a n g 1 ,   " F e a t u r e   N o r m a l i z a t i o n   f o r   P a r t - B a s e d   I m a g e   C l a s s i f i c a t i o n " ,   I n   I m a g e   P r o c e s s i n g   ( I C I P ) ,   2 0 1 3   2 0 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n ,   p p .   2 6 0 7 - 2 6 1 1 ,   2 0 1 3 .   [ 1 6 ]   K u m a r ,   e t   a l ,   " F e a t u r e s   F u s i o n   f o r   C l a s s i f i c a t i o n   o f   L o g o s , "   P r o c e d i a   C o m p u t e r   S c i e n c e   8 5 ,   p p . 3 7 0 - 3 7 9 ,   2 0 1 6 .   [ 1 7 ]   D m i t r i y   F r a d k i n   a n d   I l y a   M u c h n i k ,   " S u p p o r t   V e c t o r   M a c h i n e s   f o r   C l a s s i f i c a t i o n " ,   D I M A C S   S e r i e s   i n   D i s c r e t e   M a t h e m a t i c s   a n d   T h e o r e t i c a l   C o m p u t e r   S c i e n c e   7 0 ,   p p . 1 - 9 ,   2 0 0 6 .   [ 1 8 ]   W a n g ,   e t   a l . ,   " T r a i n i n g   D a t a   S e l e c t i o n   f o r   S u p p o r t   V e c t o r   M a c h i n e s , "   I n   I n t e r n a t i o n a l   C o n f e r e n c e   o n   N a t u r a l   C o m p u t a t i o n ,   p p .   5 5 4 - 5 6 4 .   S p r i n g e r ,   2 0 0 5 .   [ 1 9 ]   M .   H a m i a n e   a n d   F .   S a e e d ,   " S V M   C l a s s i f i c a t i o n   o f   M R I   B r a i n   I m a g e s   f o r   C o m p u t e r -   A s s i s t e d   D i a g n o s i s , "   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E ) ,   v o l .   7 ,   p p .   2 5 5 5 2 5 6 4 ,   2 0 1 7 .   [ 2 0 ]   K .   V .   V .   K u m a r   a n d   P .   V .   V .   K i s h o r e ,   " I n d i a n   C l a s s i c a l   D a n c e   M u d r a   C l a s s i f i c a t i o n   U s i n g   H O G   F e a t u r e s   a n d   S V M   C l a s s i f i e r , "   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E ) ,   v o l .   7 ,   p p .   2 5 3 7 ,   2 0 1 7 .   [ 2 1 ]   L a m   H o n g   e t   a l . ,   " A   R e v i e w   o f   N e a r e s t   N e i g h b o r - S u p p o r t   V e c t o r   M a c h i n e s   H y b r i d   C l a s s i f i c a t i o n   M o d e l s , "   J o u r n a l   o f   A p p l i e d   S c i e n c e s   1 0 ,   p p .   1 8 4 1 - 1 8 5 8 ,   2 0 1 0 .   [ 2 2 ]   N . S .   K u m a r ,   e t   a l ,   " D e t e c t i n g   E - m a i l   S p a m   U s i n g   S p a m   W o r d   A s s o c i a t i o n s , "   I n t e r n a t i o n a l   J o u r n a l   o f   E m e r g i n g   T e c h n o l o g y   a n d   A d v a n c e d   E n g i n e e r i n g ,   v o l .   2 ,   p p .   2 2 2 - 2 2 6 ,   A p r i l   2 0 1 2 .                       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     2 4 5   -   2 5 4   2 5 4 B I O G R A P H I E S   O F   A U T H O R S       Y a s m i n e   K h a l i d   Z a m i l   i s   M a s t e r   s t u d e n t   i n   S c i e n c e   C o l l e g e   f o r   W o m e n ,   U n i v e r s i t y   o f   B a b y l o n ,   I r a q .   r e c e i v e d   a   B . S c .   d e g r e e   f r o m   t h e   S c i e n c e   C o l l e g e   f o r   W o m e n ,   U n i v e r s i t y   o f   B a b y l o n ,   I r a q   i n   2 0 1 0 .   H e r   a r e a s   o f   i n t e r e s t   a r e   d i g i t a l   i m a g e   p r o c e s s i n g ,   d a t a   m i n i n g   a n d   i n f o r m a t i o n   h i d i n g .                   S u h a d   A h m e d   A l i   i s   w o r k i n g   a s   A s s i s t a n t   P r o f e s s o r   i n   C o m p u t e r   S c i e n c e   D e p a r t m e n t ,   S c i e n c e   C o l l e g e   f o r   W o m e n ,   U n i v e r s i t y   o f   B a b y l o n ,   I r a q .   S h e   r e c e i v e d   M . S .   a n d   P h . D .   d e g r e e s   f r o m   D e p a r t m e n t   o f   C o m p u t e r   S c i e n c e ,   B a b y l o n   U n i v e r s i t y   i n   2 0 0 2   a n d   2 0 1 4 ,   r e s p e c t i v e l y .   H e r   a r e a s   o f   i n t e r e s t   a r e   d i g i t a l   i m a g e   p r o c e s s i n g ,   p a t t e r n   r e c o g n i t i o n   a n d   i n f o r m a t i o n   h i d i n g .             M o h a m m e d   A b d u l l a h   N a s e r   w a s   b o r n   i n   H i l l a ,   B a b y l o n   C i t y ,   I r a q ,   o n   F e b r u a r y   1 ,   1 9 7 6 .   H e   r e c e i v e d   t h e   B . S c .   d e g r e e   i n   c o m p u t e r   s c i e n c e   o n   1 9 9 8   f r o m   t h e   U n i v e r s i t y   o f   T e c h n o l o g y ,   I r a q .   H e   r e c e i v e d   t h e   M . S c .   d e g r e e   i n   C o m p u t e r   S e c u r i t y   o n   2 0 0 1   f r o m   t h e   s a m e   u n i v e r s i t y .   H e   r e c e i v e d   t h e   P h . D .   d e g r e e   i n   C o m p u t e r   S e c u r i t y   a n d   D a t a   m i n i n g   o n   2 0 0 6   f r o m   t h e   I r a q i   C o m m i s s i o n   f o r   C o m p u t e r s   a n d   I n f o r m a t i c s ,   I r a q .   C u r r e n t l y ,   h e   i s   a s s o c i a t e d   P r o f e s s o r   i n   t h e   U n i v e r s i t y   o f   B a b y l o n .   H i s   r e s e a r c h   i n t e r e s t s   i n c l u d e   c o m p u t e r   a n d   d a t a   s e c u r i t y ,   D a t a   m i n i n g   a p p l y i n g   t h e   d a t a   m i n i n g   t e c h n i q u e s   i n   s e c u r i t y   f i e l d s   a n d   a p p l i c a t i o n s .         Evaluation Warning : The document was created with Spire.PDF for Python.