I n te r n ati o n al   Jo u r n al   o f  El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   2 ,  A p r i l   2020 ,   p p.   19 63 ~ 19 71   IS S N :   2088 - 8708 ,  D O I :   10. 1 1591 / i j e c e . v 10 i 2 . pp1963 - 19 71             1963       Jou r n al   h o m e pa ge :  ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   A   n o v e l   e n s e m b l e   m o d e l i n g   f o r   i n t r u si o n   d e t e c t i o n   sy st e m       P u l l agu r a  I n d i r a   P r i y ad ar s i n i 1 ,  G .   A n u r ad h a 2   1 D e pa r t m e n t   o f   I nf o r m a t i o n  T e c hno l o gy ,   V a r dha m a n   c o l l e g e   o f   E n g i ne e r i ng ,   I ndi a   2 D e pa r t m e n t   o f   C o m put e r   S c i e nc e   &   E ng i n e e r i ng ,   V .   R .   S i dd ha r t h a   E ng i ne e r i ng   C o l l e g e ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  A pr   26 ,   201 9   R e v i s e d  O c t   28 ,   20 19   A c c e pt e d  N o v   7 ,   20 19       V a s t   i nc r e a s e   in   da t a   t h r o ug h   i nt e r n e t   s e r v i c e s   ha s   m a de   c o m put e r   s y s t e m s   m o r e   v ul ne r a bl e   a nd   d i f f i c ul t   to   pr o t e c t   f r o m   m a l i c i o us   a t t a c ks .   I nt r us i o n   de t e c t i o n   s y s t e m s   ( I D S s )   m us t   be   m o r e   po t e n t   in   m o ni t o r i ng   i nt r us i o ns .   T he r e f o r e   an   e f f e c t ua l   I nt r u s i o n   D e t e c t i o n   s y s t e m   a r c hi t e c t u r e   is   b ui l t   w hi c h   e m pl o y s   a   f a c i l e   c l a s s i f i c a t i o n   m o de l   a nd   g e ne r a t e s   l o w   f a l s e   a l a r m   r a t e s   a nd   hi g h   a c c ur a c y .   N o t i c e a bl y ,   I D S   e ndur e   e no r m o us   a m o unt s   o f   da t a   t r a f f i c   t ha t   c o nt a i n  r e dund a n t   a nd  i r r e l e v a n t   f e a t u r e s ,   w h i c h  a f f e c t   t he   p e r f o r m a nc e   of   t he   I D S   ne g a t i v e l y .   D e s pi t e   g oo d  f e a t u r e   s e l e c t i o n  a ppr o a c he s   l e a d s   t o   a   r e duc t i o n  o f   unr e l a t e d  a nd  r e du nda nt   f e a t ur e s   a n d  a t t a i n  be t t e r   c l a s s i f i c a t i o n  a c c ur a c y   i n  I D S .   T hi s   pa pe r   p r o po s e s   a   no v e l   e ns e m bl e   m o de l   f o r   I D S   ba s e d   o n  t w o   a l g o r i t hm s   F uz z y   E ns e m bl e   F e a t u r e   s e l e c t i o n  ( F E F S )   a nd  F us i o n  o f   M ul t i p l e   C l a s s i f i e r   ( F M C ) .   F E F S   i s   a   un i f i c a t i o n  o f   f i v e   f e a t u r e   s c o r e s .   T he s e   s c o r e s   a r e   o bt a i ne d  by   us i ng   f e a t ur e - c l a s s   di s t a nc e   f unc t i o ns .   A gg r e g a t i o n  i s   do ne   us i ng   f u z z y   un i on   o pe r a t i o n.   O n   t he   o t h e r   ha nd ,   t he   F M C   i s   t he   f us i o n  o f   t hr e e   c l a s s i f i e r s .   I t   w o r ks   ba s e d  o n  E ns e m b l e   de c i s i v e   f unc t i o n.   E xpe r i m e nt s   w e r e   m a de   o n  K D D   c up  99  da t a   s e t   ha v e   s ho w n  t ha t   o ur   pr o po s e d  s y s t e m   w o r ks   s u pe r i o r   t o   w e l l - kno w n  m e t ho ds   s uc h  a s   S u ppo r t   V e c t o r   M a c hi n e s   ( S V M s ) ,   K - N e a r e s t   N e i g hbo r   ( K N N )   a n d  A r t i f i c i a l   N e u r a l   N e t w o r k s   ( A N N s ) .   O ur   e xa m i na t i o ns   e n s u r e d  c l e a r l y   t he   pr o m i n e nc e   o f   us i ng   e n s e m b l e   m e t ho do l o gy   f o r   m o de l i ng   I D S s ,   a nd   he nc e   o ur   s y s t e m   i s   r o bu s t   a n d  e f f i c i e nt .   Ke y w or d s :   A r t i f i c i a l   n e u r a l   n e t w o r k  (A N N )   Int r us i o n   d e t e c t i o n  s y s t e m   K - n e a r e s t   n e i g h b o r   M o de l i n g   S uppo r t   v e c t o r   m a c h i n e   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .    A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   P ul l a gu r a   I n d i r a   P r i y a da r s i ni ,     D e p ar t m e n t   o f   I n f o r m a t i o n   T e c hn o l o g y ,   V a r d h a m a n   Co l l e ge   o f   E n gi n e e r i ng ,   N a ga r g uda   S h a m s h a b a d   R o a d,   K a c ha r a m ,   H y de r a b a d,   T e l a n ga n a   501 218 ,   I ndi a .   E m a i l :   i n du pul l a gu ra @ g m a i l . c o m       1.   I N TR O D U C TI O N   In   t h i s   d i gi t a l   a ge ,   m a i nt a i ni n g  i n f o r m a t i o n   t hr o ug h   o nl i n e   b us i n e s s e s   a n d  s o c i a l   n e t w o r ks   r e m a i n  i n s e c ur e .   N u m e r o us   i n t rude r s   b o t h   h um a n   a n d  r o b o t ,   a re   ga i n i ng  u na u t h o r i z e d  a c c e s s   t o   i n f o r m a t i o n.   A l s o   t h e i r  i l l us i v e   na t u r e   i n  t h e   i nt e rn e t   ha s   i n c r e a s e d  c o m pl e xi t y   i n   de t e c t i n g  i nt r us i o n s .   M o s t l y   pr e v a i l i n g   Int r us i o n   D e t e c t i o n   S y s t e m s   (ID S s )  h a v e   s h o w n   c h a o t i c   p e r f o r m a n c e   i n   i de nt i fy i n g  d i f fe r e nt   a t t a c ks   [1] .   It   i s   c e r t a i nl y   p o s s i b l e   t o   ge t   a   s t a b l e   a n d   a c c ura t e   de c i s i o n  f o r   a l l   t h e   a t t a c ks   by   uni fy i n g  t h e   de c i s i o n s   o f  m ul t i p l e   c l a s s i f i e r s   [2,   3] .   T h e r e fo r e   m e r gi ng  m ul t i p l e   ID S s   i s   n o t   a   g r e a t   c o n c e rn ,   i n  t e r m s   o f   c o m put a t i o n  a n d  b e s t   s o l ut i o n s   c a n   b e   a c h i e v e d.   W i t h   b e t t e r   a na l y s i s   of   da t a   us i n g  e n s e m b l e   l e a rn i ng,   a l l   t h e   a t t a c ks   c a n  b e   i de n t i f i e d.   T h i s   i nt e g r a t i o n   m o s t   pr o b a b l y   i m p r o v e s   pr e di c t i v e   a c c ur a c y .   A n   E n s e m b l e   of   c l a s s i f i e r s   ha s   a r i s e n   a s   a   f e a s i b l e   s o l ut i o n   t o   t h e   c l a s s   i m b a l a n c e   p r o b l e m   [4].   F e a t u r e   s e l e c t i o n   i s   o f   ut m o s t   s i g n i f i c a n c e   f o r   a n y   l e a rni ng  a l go r i t hm   w hi c h  w h e n  po o r l y   do n e   (i . e . ,   a   po o r   s e t   o f   fe a t u r e s   i s   s e l e c t e d)  m a y   l e a d  t o   p r o b l e m s   a s s o c i a t e d  w i t h   i n c o m pl e t e   i n f o r m a t i o n,   n o i s y   o r   i rr e l e v a n t   f e a t u r e s .   T h e   l e a rni n g   a l go r i t hm   a ppl i e d  i s   s l a c ke n e d  g ra t u i t o u s l y   due   t o   h i g h e r  di m e n s i o n s   o f   t h e   f e a t ur e   s pa c e ,   a n d   a l s o   unde r go i n g   l o w e r   pr e di c t i o n  a c c ur a c i e s   by   l e a rni n g  i rr e l e v a n t   i n f o r m a t i o n.   Co n s t r uc t i v e   f e a t ur e   s e l e c t i o n  m e t h o ds   ge n e r a t e   b e t t e r   c l a s s i f i c a t i o n  a c c ura c i e s   [5 ,   6] .   T h e   c r uc i a l   o b j e c t i ve   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,  V o l .   10 ,   N o .   2 ,  A p ri l   2020   :     19 63   -   19 71   1964   of   f e a t ur e   s e l e c t i o n   i s   t o   a t t a i n  a   f e a t u r e   s pa c e   w i t h   (1)  l o w   di m e n s i o n a l i t y ,   (2)  r e t e nt i o n   o f   s u ff i c i e n t   i n f o r m a t i o n   [ 7].   O n   o pe ra t i n g ,   a pp l i c a b l e   f e a t ur e   s e l e c t i o n  m e t h o ds   pr o duc e   s i m pl i f i e d  m o de l s   w h i c h   a r e   e a s y   t o   i nt e rp r e t   a n d   r e duc e   t r a i n i ng  t i m e   a nd  a l s o   a u gm e n t   t h e   ge n e r a l i z a t i o n  a b i l i t y .     In   t h e   f o r m e r   w o r ks ,   m a c h i n e   l e a rni n g  m e t h o ds   e m pl oy e d  a   s i ngl e   l e a rni n g  m o de l .   S t i l l ,   i t   ha s   b e e n   w i t n e s s e d  t ha t   m u l t i pl e   p r e di c t i o n   m o de l s   c a n   b e   ut i l i z e d   fo r   s o l v i n g  t h e   s a m e   p r o b l e m .   T h e r e f o r e   a n   a pp r o a c h,   k n o w n   a s   e n s e m b l e   l e a rni n g ,   w a s   b ui l t   o n   t h e   s t a t e m e nt   t ha t   c o m b i n i ng  t h e   o ut pu t   o f   m ul t i pl e   e xpe r t s   i s   b e t t e r   t h a n   us i n g  t h e   o ut put   o f   a n y   s i n gl e   e xpe rt   [8].   E n s e m b l e   l e a rn i ng  h a s   b e e n   e ff i c a c i o us l y   r e a l i s t i c   t o   c l a s s i f i c a t i o n   p r o b l e m s   a nd  i s   a l s o   a   m e c h a ni s m   f o r   b oo s t i n g   o t h e r  m a c hi n e   l e a rni ng  f un c t i o n s   s uc h   a s   f e a t u r e   s e l e c t i o n .   I n   f e a t u r e   s e l e c t i o n  t e r m i n o l o g y ,   t h e   i n di v i du a l   s e l e c t o r s   i n   a n  e n s e m b l e   a r e   c a l l e d  a s   b a s e   s e l e c t o r s .   If   t h e   b a s e   s e l e c t o r s   a r e   a l l   o f   t h e   s a m e   k i nd,   t h e   e n s e m b l e   i s   t e rm e d  a s   h o m o ge n e o us .   In   t hi s   pa pe r ,   w e   h a v e   b ui l t   a   n o v e l   e n s e m b l e   m o de l   fo r   Int r us i o n   D e t e c t i o n   S y s t e m   us i n g  F uz z y   E n s e m b l e   F e a t ur e   S e l e c t i o n   (F E F S )  a l go ri t hm   a n d  F us i o n   o f   M ul t i pl e   C l a s s i f i e r  (F M C)  a l go ri t hm .   F E F S   i s   do n e   a s ;   e xa m i n i ng  t h e   p r e v a l e n c e   o f   di f fe r e n t   f e a t u r e   s e l e c t i o n  m e t h o ds ,   t h e   u ni f i c a t i o n   o f   f i ve   m e t h o ds   i s   do n e   t o   o b t a i n  a   s t r o ng  f e a t u r e   s e t   w hi c h  i s   i n de e d  b e ne f i c i a l   f o r   b e t t e r   c l a s s i f i c a t i o n.   T h e   t e c hni que   a c c us t o m e d  t o   j o i n i ng  t h e   o ut put s   i s   b a s e d  o n   f uz z y   l o gi c .   It s   m a i n   p e r s pe c t i v e   i s   t o   s e l e c t   t h e   m o s t   o pt i m i s t i c   f e a t ur e s   i n   K D D   c up  99  d a t a s e t .   K D D   C up  99   [9]  i s   a n  e m i n e n t   i nt r us i o n  e v a l ua t i o n   da t a s e t   a n d  i s   a   c l a s s i c   e xa m pl e   o f   l a r ge - s c a l e   d a t a s e t s .   A   F us i o n  o f   M ul t i p l e   Cl a s s i f i e r  (F M C)  i s   f o r   t h e   p r o c e s s   of   c l a s s i fy i n g  a t t a c k  a n d  n o rm a l   da t a ,   t hr o ug h   t h e   u n i f i c a t i o n   o f   S upp o r t   V e c t o r  M a c hi n e   (S V M ),   K   n e a r e s t   n e i g h b o r   c l a s s i f i e r   (K N N )  a n d  A r t i f i c i a l   N e u ra l   N e t w o r k  (A N N ).   T h e n   by   t h i s   e n s e m b l e   c l a s s i f i c a t i o n   m e t h o d,   w e   h a v e   a c hi e v e d  b e t t e r   a c c ur a c y   a n d  l o w e r   F a l s e   A l a rm   R a t e   (F A R ).   T h i s   pa pe r   i s   b e i n g  p r e pa r e d  i n   a   s ub s e que n t   w a y .   In   s e c t i o n   2,   r e l a t e d  w o r ks   w e r e   de s c r i b e d.   M e t h o do l o g y   fo r   c o n s t r uc t i o n  o f   E n s e m b l e   m o de l i n g  i s   di s c us s e d  i n   a   de t a i l e d  m a nn e r   i n   s e c t i o n   3.   T h e n   i n   s e c t i on   4,   t o t a l   e xpe r i m e n t s   m a de   a nd  r e s ul t s   a t t a i n e d   w e r e   di s c us s e d  s pe c i f i c a l l y .   T h e   L a s t   s e c t i o n  s pe c i f i e s   t h e   c o n c l us i o n s   a n d   di s c us s i o n s .       2.   R ELA TED   WO R K   E n s e m b l e   f e a t ur e   s e l e c t i o n   pr o c e dur e s   ut i l i z e   a n   i de a   a n a l o go us   t o   e n s e m b l e   l e a rn i n g  f o r   c l a s s i f i c a t i o n   [10 ].   T h e r e   a r e   s e ve r a l   w o r ks   do n e ,   c o n s t r uc t i n g  e n s e m b l e   f e a t ur e   s e l e c t i o n   t e c hn i que s ,   fo r   t h e   s e l e c t i o n   o f   t h e   o pt i m a l   f e a t ur e   s e t   [11] .   O l s s o n   e t . a l   ha v e   s pe c i f i e d  e n s e m b l e   of   m ul t i p l e   f e a t u r e   ra n ki ng  m e t h o ds   t h a t   c o m b i n e   t hr e e   ge n e ra l l y   us e d  f i l t e r   b a s e d  f e a t ur e   ra n k i n g  t e c hni que s   l i ke   i n f o r m a t i o n   ga i n,   do c um e nt   f r e que n c y   t hr e s h o l di n g ,   a n d  t h e   c hi - s qua r e   m e t h o d  m a i n l y   fo r   t e xt   c l a s s i f i c a t i o n  p r o b l e m s .   In   r e c e nt   w o r ks ,   W a n g  e t . a l   h a s   i n t e g ra t e d  e n s e m b l e   o f   s i x  f i l t e r   b a s e d  r a nke r s   a n d  a c c o m pl i s h e d  n o t a b l e   r e s ul t s   [ 12].   B a s a n t   S ub b a   e t . a l   h a s   a pp l i e d  t w o   s t a t i s t i c a l   m e t h o ds   na m e l y   L i n e a r   D i s c r i m i na n t   A na l y s i s   (L D A )  a nd  L o gi s t i c   R e gr e s s i o n   (L R )  w h i c h   w e r e   us e f ul   s uc c e s s f ul l y   t o   de v e l o p  n e w   i nt r us i o n  de t e c t i o n  m o de l s   [13].   I n   [1 4]  A f e f   Be n   B r a hi m   e t . a l   h a s   de v e l o p e d  a   r o b us t   f e a t ur e   a gg r e g a t i o n   t e c hni que   f o r   c o m b i n i ng  t h e   r e s ul t s   o f   t hr e e   di v e r s e   f i l t e r   m e t h o ds .   T hi s   a gg r e ga t i o n   t e c hni que   i s   r e l i e d  o n   de t e rm i ni n g   f e a t ur e   a l go r i t h m s   c o n f i de n c e   a n d  c o n f l i c t   w i t h   t h e   o t h e r   o n e s   i n   o r de r   t o   a s s i g n   a   r e l i a b i l i t y   f a c t o r   c o n t r o l l i n g   t h e   f i na l   f e a t u r e   s e l e c t i o n .     B e c a us e   of   t h e   i m b a l a n c e d  di s t r i b ut i o n   o f   c l a s s e s   i n   t h e   K D D   c up  99  da t a s e t ,   t h e   r e s ul t s   c a nn o t   b e   pr e c i s e .   R e c e n t   s t udi e s   h a v e   s h o w n   a   s o l ut i o n   w hi c h  i s   t o   i n c o r po r a t e   E n s e m b l e   l e a rn i ng.   T h e   m a j o r   c h a l l e n ge s   a n d  o ppo r t u n i t i e s   w i t h   t h e   i m b a l a n c e d  da t a   s e t   w e r e   c l e a r l y   gi ve n   i n   [15] .   E n s e m b l e   l e a rni n g  i s   e ffe c t i ve l y   i m pl e m e n t e d  o n   c l a s s i f i c a t i o n   p r o b l e m s   [16 ,  17].   B uk h t oy a r o v   e t   a l .   [18]  ha v e   de v e l o pe d   e n s e m b l e   b a s e d  o n   G e n e t i c   P r o g r a m m i n g  k n o w n   a s   (G P E N )  t o   c a t e go r i z e   t h e   i n pu t   i nt r us i o n s   a s   P r o b e   o r   n o n - P r o be   a t t a c ks ,   w i t h   ni n e   o f   t h e   41  f e a t u r e s .   B o r j i   [19]  ha s   gi v e n   a n   e n s e m b l e   m e t h o do l o g y   us i n g  f o ur   b a s e   c l a s s i f i e r s   v i z .   S V M ,   k - N N ,   A N N ,   a nd  de c i s i o n   t r e e s .   I n   t h e   w o r ks   do n e   i n   [20] ,   a   n e w   e n s e m b l e   a pp r o a c h  i s   p r o po s e d  fo r   e ff e c t i v e   i n t rus i o n   de t e c t i o n .   T hi s   e n s e m b l e   a pp r o a c h   i s   t h e   g r o upi ng  o f   a t t ri b ut e   s e l e c t i o n ,   m ul t i c l a s s   S V M   a n d  k - N N   c l a s s i f i e r .   B e s i de s ,   a n   In c r e m e n t a l   P a rt i c l e   S w a r m   O p t i m i z a t i o n   i s   a l s o   e m b e dde d  a s   a n   e n s e m b l e   c l a s s i f i e r   f o r   bo os t i ng  t h e   c l a s s i f i c a t i o n   a c c ura c y   i n   t h e i r   w o r ks .   I n   t hi s   P e r s pe c t i v e ,   e n s e m b l e   l e a rni n g  a n d  v a r i o us   f us i o n   m e t h o ds   [21 ,  2 2]  a r e   c o n s i de r e d  t o   h a v e   a   po t e nt i a l   de ve l o pm e n t   i n  c l a s s i f i e r ‟s   pe r f o r m a n c e   w e   ha v e   m a de   t h e   p r o po s e d  i n v e s t i ga t i o n s .       3.   P R O P O S ED   W O R K   F i gu r e   1  de s c r i b e s   t h e   pr o po s e d   e n s e m b l e   m o d e l i ng  a r c h i t e c t ur e   o f  In t r us i o n   D e t e c t i o n   S y s t e m .   It   i s   i n c o r po ra t e d  w i t h  t w o   di f fe r e n t   p ha s e s .   F i r s t   o ne ,   w h i c h   pe r f o r m s   F e a t u r e   s e l e c t i o n   na m e d,   F uz z y   E n s e m b l e   F e a t u r e   S e l e c t i o n  (F E F S ).   N e xt   i s ,   c l a s s i f i c a t i o n   p ha s e   n a m e d,   F us i o n  o f   M ul t i pl e   c l a s s i f i e r s   (F M C)  w h i c h  i s   e m pl oy e d  fo r   c l a s s i fy i n g   t h e   da t a   a s   a t t a c k   a n d   n o rm a l .     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       A   no v e l   e ns e m bl e   m od e l i ng   f or   i n t r us i on   de t e c t i on   s y s t e m   ( P ul l ag ur a  In di r a   pr i y adar s i n i )   1965       F i gu r e   1 .   P r o po s e d  n o v e l   e n s e m b l e   ID S   m o de l       3. 1 .   F u z z y  e n s e m b l e   fe atu r e   s e l e c ti o n   (F EF S )   M e r gi ng  f e a t u r e   s e l e c t i o n   m e t h o ds   w e r e   e xe c ut e d  t o  a c h i e v e   s t a b l e   a n d   r o b us t   o ut put s .   A n   E n s e m b l e   c a n   b e   m a de   b y   us a ge   of   t h e   a g g r e ga t i o n  o pe r a t i o n s .   T h i s   i s   a c h i e v e d  by   c o n s i de r i ng   t h e   a dv a nt a ge s   of   f i ve   f i l t e r i ng  m e t h o ds   s uc h   a s   Ca n b e rra   d i s t a n c e ,   Ci t y   b l oc k  di s t a n c e ,   E uc l i de a n   d i s t a n c e ,   Ce by s h e v  di s t a n c e ,   a n d  M i n ko w s ki   di s t a n c e .   F uz z y   l o gi c   i s   a ppl i e d  fo r   a gg r e ga t i n g  t h e   f i ve   f i l t e r s .   T h e   m a i n  t h o ught   b e h i n d   e m pl o y i n g  f uz z y   l o gi c   i s   b a c kt r a c ki n g .   I n  c o n t r a s t ,   s o m e   o f   t h e   f e a t ur e s   m a y   b e   l e f t   i n   t h e   t r a di t i o na l   m e t h o ds   w h e r e   c e rt a i n   t hr e s h o l d  i s   e xpl o i t e d.   H e n c e   w e i gh t s   a r e   a l l o c a t e d  t o   a l l   v a l ue s .   A ggr e g a t i o n   o f   a l l   t h e   f i l t e r s   i s   do n e   by   m a ki n g  us e   of   f uz z y   un i on   o pe ra t i o n   o f   t h e   f uz z y   s e t s .   O n  t h e   d a t a   s e t ,   E uc l i de a n   di s t a n c e   i s   c o m put e d  fo r   a l l   t h e   f e a t ur e s .   N ow   fo r   t h e   s a m e   da t a   s e t   c e by s h e v   di s t a n c e ,   Ca n b e rr a   di s t a n c e ,   C i t y   b l o c k  di s t a n c e ,   a n d  M i n ko w s ki   di s t a n c e   a r e   c a l c ul a t e d  f o r   a l l   t h e   f e a t u r e s .   A l l   t h e s e   v a l ue s   a r e   f uz z i f i e d .   T h e n  A gg r e g a t o r  i s   a p pl i e d .   I t   i s   s h o w n   by   t h e   F E F S   s t ruc t u r e   i n   F i gu r e   2 .             F i gu r e   2 .   P r o po s e d  F E F S   c o n s t ruc t i o n       F o r   a n   i nput   pa t t e rn   { I,   J }   w h e r e   I=   num b e r   o f   i n s t a n c e s   a nd  J = n um b e r   o f   fe a t u r e s   i . e . ,   {F a ,   F b ,F c …F an ,   F ao }.   F o r   a n y   pa r t i c ul a r  f e a t u r e   F i   ϵ   J ,   t h e n  t h e   E uc l i de a n  d i s t a n c e   i s   c o m put e d  a s               ∑                               (1)     F o r   a n y   pa r t i c ul a r  f e a t u r e   F i   ϵ   J ,   t h e n  t h e   c e by s h e v   di s t a n c e   i s   c o m put e d  a s                                 –           (2)     F o r   a n y   pa r t i c ul a r  f e a t u r e   F i   ϵ   J ,   t h e   Ca n b e rra   d i s t a n c e   i s   c o m put e d  a s              ∑                                     (3)     L i ke w i s e ,   c i t y   b l o c k  di s t a n c e   i s   a l s o   c o m put e d  f o r   t h e   s a m e   da t a   s e t .   I t   i s   g i v e n   a s                  ∑                             (4)     F o r   a n y   pa r t i c ul a r  f e a t u r e   F i   ϵ   J ,   t h e n  t h e   m i nko w s ki   di s t a n c e   i s   c o m put e d   a s     1/ 1 (  ) n m i i i D x c    (5)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,  V o l .   10 ,   N o .   2 ,  A p ri l   2020   :     19 63   -   19 71   1966   W h e r e   x i   i s   a n  i n d i v i dua l   f e a t u r e   i n   J   a n d  c i   i s   t h e   c l a s s   l a b e l .   F o r   a l l   t h e   f e a t ur e s   f r o m   { F a ,   F b ,   F c , …, F an ,   F ao } ,   a n d  i n   m i n ko w s ki   di s t a n c e ,   w e   h a v e   t a ke n   λ   i s   e qua l   t o   3 .   E uc l i de a n   di s t a n c e   i s   c a l c ul a t e d.   S i m i l a rl y ,   c e by s h e v   di s t a n c e ,   C a n b e rr a   d i s t a n c e ,   c i t y   b l oc k  di s t a n c e   a n d  m i n ko w s ki   di s t a n c e   i s   c o m put e d  fo r   a l l   t h e   f e a t u r e s .   H e n c e   f r o m   t h e   a b ov e   (1),   (2) ,   (3) ,   (4)  a n d   (5)   w e   ge t   f i ve   s e t s   o f   v a l ue s .   T h e n  t h e   c o n v e r s i o n  o f  t h e s e   v a l u e s   i nt o   f uz z y   i s   m a de .   T h i s   i s   k n o w n   a s   f uz z i f i c a t i o n.   T h e y   a r e   t e rm e d  a s   f uz z y   s e t s   n a m e l y   f _c a 1,   f _c i 1   f _e u 1   f _m i 1 ,   f _ c e 1.   T h e y   a r e   s a i d  t o   b e   fe a t u r e   s c o r e s .   T h e   pr o c e dur e   o f   t r a n s f o r m a t i o n   i s   do n e   us i n g  t ra pe z o i da l   m e m b e r s hi p  f un c t i o n.   A   s pe c i a l   c a s e   o f   t ra pe z o i da l   i s   L - F u n c t i o n .   P r e s um e   y   i s   t h e   e l e m e nt   t o   b e   t r a n s f o r m e d   t h e n  f _ y   w i l l   b e   (i . e .   f uz z y   c o n ve r s i o n  f o r   y )              . H e r e   „ a’   a n d   „ b’   i s   m i ni m u m   a nd  m a x i m u m   v a l ue s   i n   t h e   w h o l e   s e t .   T r a n s f o r m a t i o n   i s   do n e   a f t e r   a pp l y i n g  a l l   t h e   f i l t e r s   o n   a l l   t h e   f e a t u r e s .   F e a t u r e   s c o r e   c a l c ul a t i o n   i s   s h o w n   i n  l i n e   9   t o   l i n e   13   i n  t h e   a l go r i t hm   g i v e n   i n   F i gu r e   3 .           F i gu r e   3 .   F E F S   a l go ri t hm       T h e n   f o r   e a c h   f e a t u r e   t h e i r   f e a t u r e   s c o r e s   { f _c a 1,   f _ c i 1   f _ e u 1   f _m i 1 ,   f _c e 1 }   a r e   c o m b i n e d  us i n g   A ggr e g a t o r.   H e r e   f uz z y   U ni on   o pe r a t i o n   i s   ut i l i z e d  f o r   c o m b i ni n g  t h e m .   T h e   f uz z y   uni on   o pe r a t i o n   w i l l   r e t u rn  t h e   m a xi m um   o f   a l l   t h e   m e m b e r s h i p   v a l ue s   o b t a i n e d  f r o m   a l l   f i v e   fe a t ur e   s c o r e s   [23] .   It   i s   s h o w n   i n   l i n e   1 5  of   t h e  F i gu r e   3   F i n d   t h o s e   f e a t ur e s   w h o s e   F i  = 1.   F o r   i n s t a n c e ,   c o n s i de r  a   f e a t u r e   F j   . T o   t hi s   f e a t u r e ,   f i v e   f i l t e r s   i s   a p pl i e d .   T h e   f uz z y   l o gi c   i s   a p pl i e d   t o   e a c h  o f   t h e   f i l t e rs .   T h e n,   t h e y   a r e   t ra n s f o r m e d  t o   f uz z y   v a l ue s .   T h e n   a f t e r   ge t t i n g  f i v e   fe a t ur e   s c o r e s   fo r   t h e   f e a t ur e   F i ,   t h e y   w e r e   a ggr e ga t e d  by   o pe r a t i n g  f uz z y   un i on  o n  t h e m .   T h e n   F i   w i l l   b e   a   s i n gl e   v a l ue .   T h e   w h o l e   pr o c e s s   i s   do n e   f o r   a l l   t h e   r e m a i ni n g  f e a t ur e s .   F i na l l y ,   a l l   t h e   f e a t u r e s   w h o s e   m e m b e r s h i p  v a l ue   i s   e qua l   t o   1  a r e   s e l e c t e d  a s   t h e   be s t   f e a t ur e   s e t .   It   i s   s h o w n   i n   l i n e   17   o f   F i gu r e   3.       3. 2 .   F u s i o n   o f  mu l ti p l e   c l as s i fi e r s   (F M C )   T h e   m e rgi n g  o f   m ul t i pl e   c l a s s i f i e r s   c a n   b e   f i rm   a n d  p r e di c t   b e t t e r   t ha n   s i ngl e   c l a s s i f i e r s   [24 ].   T h e   p r o po s e d  F M C  i s   b a s e d  o n   m a j o r i t y   vo t i n g   m e t h o d  o v e r   i n di v i du a l   b a s e   c l a s s i f i e r   w hi c h   i m p r o v i s e s   de t e c t i o n   o f   a t t a c ks .   A n   F M C  a l go ri t hm   i s   de v e l o pe d  b a s e d  o n   t hr e e   i n di v i du a l   c l a s s i f i e r s .   T h e y   a r e   1,   K - N e a r e s t   N e i g h b o r   (kN N )  c l a s s i f i e r ,   2 . S uppo r t   V e c t o r   M a c hi n e   (S V M )  a n d  3. A rt i f i c i a l   N e ura l   N e t w o r k  (A N N ).   A l l   t h e   t hr e e   b a s e   c l a s s i f i e r s   i s   a n   e xpe r t   i n   a   s pe c i f i c   r e gi o n   o f   t h e   p r e di c t o r   s pa c e   b e c a us e   t h e y   t r e a t   t h e   a t t ri b ut e   s pa c e   un de r   di f f e r e n t   t h e o r e t i c a l   b a s i s   [25].   T h e   t hr e e   c l a s s i f i e r s   c o ul d  b e   j o i n e d   i n   s uc h   a   m a nn e r   i n   o rde r   t o   y i e l d  a n   e n s e m b l e   m a j o r i t y   vo t i n g  c l a s s i f i e r   t h a t   i s   s upe r i o r   t o   a n y   of   t h e   i n d i v i dua l   rul e s .   A t   t hi s   l e v e l ,   t h e   r e s ul t   o f   F E F S   i s   t a ke n   a n d   p r o v i de d  t o  t h e   F M C  a l go r i t h m .   T h e   s t r uc t u r e   o f   t h e   p r o po s e d  F M C  i s   de pi c t e d  b e l ow   i n   F i gu r e   4.   K D D   da t a s e t   i s   a   da t a s e t   w i t h  n  n o .   o f   t upl e s   a nd  α  n o .   o f  f e a t ur e s .   T h e   c l a s s   l a b e l   i s   t e r m e d  a s   c l as s l a b . I t   c a n   e i t h e r   b e   “ 0”   o r   “ 1 ” .   T h e   w h o l e   p r o c e s s   i s   s um m a ri z e d  i n   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       A   no v e l   e ns e m bl e   m od e l i ng   f or   i n t r us i on   de t e c t i on   s y s t e m   ( P ul l ag ur a  In di r a   pr i y adar s i n i )   1967   t h e   F M C  a l go ri t hm   de pi c t e d  i n   F i gu r e   5 .   F e e di ng  t h e   p r e p r o c e s s e d  da t a   t o   K - N N   c l a s s i f i e r   i s   do n e .   It   i s   g i v e n   i n   s t e p2 .   A g a i n  i t   i s   f e d  t o   t h e   S V M   a nd  A N N   r e s pe c t i v e l y .  T h e r e f o r e   t hr e e   l o c a l   de c i s i o n s   Y 1,   Y 2 ,  Y 3   a r e   pr o duc e d.   T h e n  t h e   c o n s e que n c e s   of   t hr e e   b a s e   c l a s s i f i e r s   a re   f us e d .  E a c h   l o c a l   de c i s i o n   Y i  w i l l   b e   e i t h e r   “ 0”   o r   “ 1” .   H e r e   “ 0”   m e a n s   a t t a c k  a n d  “ 1”   m e a n s   n o n - a t t a c k.   T h e n   t h e   f us i o n   of   l o c a l   de c i s i o n s   f r o m   t h r e e   b a s e   c l a s s i f i e r s   c a n   b e   ob t a i n e d  by   us i n g  t h e   e n s e m b l e   de c i s i v e   f un c t i o n   i . e .   M a j o r i t y   v o t i n g  m e t h o d.   S uppo s e   t h e   f i na l   de c i s i o n  f r o m   t h e   e n s e m b l e   c l a s s i f i e r   Y   i s   de f i n e d  a s     ∑           t , J  =                 ∑           t , j       W h e r e   d t , j       { 0 , 1} , t = 1 , 2 , … T   a n d   j   =   1 , 2 . . C . W h e r e   T   i s   t h e   n u m b e r   o f   c l a s s i f i e r s   a n d   C   i s   t h e   num b e r  of  c l a s s e s .   H e r e   w e   h a v e   c o n s i de r e d  t w o   c l a s s e s   a n d  t hr e e   c l a s s i f i e r s .   T h e n   Y   c h o o s e s   t h e   c l a s s   t ha t   r e c e i v e s   t h e   h i g h e s t   n u m b e r   o f   vo t e s .         F i gu r e   4 .   P r o po s e d  F M C  s t r uc t u r e           F i gu r e   5 .   F M C   a l go ri t hm       4.   EX P ER I M EN TS   C O N D U C TED   &   R ES U LTS   O BTA I N ED   E xpe r i m e nt s   w e r e   m a de   o n   t h e   K D D   c up  99  da t a s e t .   T h e   r e s e a r c h e r s   i n   t h e i r   w o r ks   ha v e   us e d   t h e   po r t i o n   o f   t h e   da t a s e t   f r o m   t h e   K D D   c up  99  da t a   s e t   f o r   b ui l di n g  ID S s   n o t   i n c l udi ng  t h e   c o m pl e t e   t ra i n   o r  t e s t   da t a s e t   [26].   S o ,   w e   h a v e   t a ke n   a   s ub s e t   of   K D D   c up  99  c o n t a i ni n g  142 07  r e c o r ds   a n d  c a l l   a s   “ K D D   da t a s e t ” .   T h e   s i z e   o f   t h e   da t a s e t   i s   t a ke n  i n  p r o po r t i o n   t o   t h e   r e l a t i v e   s i z e   o f   t h e   K D D   c up  99   da t a s e t   a n d  R 2L , U 2R   r e c o r ds   a r e   t a ke n  a s   us ua l   f r o m   t h e   o r i gi na l   da t a   s e t .       4. 1 .   D ata  p r e p r o c e s s i n g   s tag e   T h e   K D D   c up  99  da t a   s e t   w h i c h   i s   a   ra w   da t a   s e t   i s   t a ke n   f o r   c o n duc t i ng  i n v e s t i ga t i o n s   o n   t h e   pr o po s e d  a ppr o a c h .   A pp r o p r i a t e   p r e p r o c e s s i n g  t e c hni que s   w e r e   a ppl i e d .   T h e   d a t a   i n   t h e   a b ov e - m e n t i o n e d  da t a s e t   a r e   c o n v e r t e d  t o   n um e r i c .   D i s c r e t i z a t i o n   o f  c o n t i n u o us   v a r i a b l e s   i s   m a de   t o   t h e   da t a   s e t .   S y m bo l i c   v a l ue s   of   t hr e e   f e a t u r e s   ha v e   b e e n   gi v e n  n u m e ri c   v a l ue s   r a ngi n g  f r o m   1  t o   N .   I nt e rqua rt i l e   r a nge   (IQ R )  a l s o   b e e n   a ppl i e d  t o   r e m ov e   n o i s e   a n d  o ut l i e r s   i n   t h e   da t a   s e t .   A   s ubs e t   of   K D D   c up  99  da t a   s e t   i s   t a ke n   f o r   e xpe r i m e nt a t i o n s .   I t   ha s   c l a s s e s   w i t h  s a m e   p r o po r t i o n s   a s   i n   K D D   c up  9 9.   T h e r f o r e   i t   i s   na m e d  a s   K D D   da t a s e t .   It   h a s   142 07  i n s t a n c e s   w i t h   300 0  N o r m a l   i n s t a n c e s ,   10000  D o S   i n s t a n c e s ,   574  p r o be   i n s t a n c e s ,     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,  V o l .   10 ,   N o .   2 ,  A p ri l   2020   :     19 63   -   19 71   1968   40 1  R 2L ,   a n d   52  U 2R   i n s t a n c e s .   A l l   t h e   f i v e   c l a s s e s   i n   t h e   K D D   d a t a   s e t   a r e   a s s i g n e d  num e r i c   v a l ue s .   T h e y   w i l l   b e   a s s i gn e d  a s   “ 0”   f o r   U 2R ,   R 2L ,   P r o be ,   D o S   a n d   “ 1”   f o r   N o r m a l .   T h e   41  c o n s e c ut i v e   F e a t u r e s   a r e   l a b e l e d  a s   F a , F b ,   F c ,   F d , … F a o   r e s pe c t i v e l y .       4. 2 .   Appl yi n g  F EF S   a l go r i th m   to   th e   d atas e t   T h e n  P r o po s e d  F E F S   a l go ri t hm   i s   a ppl i e d  t o   t h e   K D D   da t a   s e t   w h i c h   us e s   f uz z y   l o gi c   s t ra t e gy   t o   ge t   t h e   be s t   f e a t ur e   s ub s e t .   F o r   t h e   K D D   da t a s e t ,   F E F S   a l go ri t hm   i s   a ppl i e d  (a s   de s c r i b e d  i n   t h e   e a rl i e r   s e c t i o n ).   T h e   f uz z y   u n i o n   o f   a l l   t h e   o b t a i n e d  s c o r e s   i s   do n e   fo r   e a c h   f e a t u r e .   T h e   f e a t ur e   s c o r e   o f  41  f e a t ur e s   a f t e r   a ppl y i n g  a g g r e ga t o r   i s   { 1 ,   0. 4 ,   1 ,   0. 9,   1 ,   1 ,   0. 8 ,   0. 9 ,   0. 9 ,   1 ,   1 ,   0. 9 ,   0. 8 ,   0. 8 ,   0. 8 ,   0. 9 ,   1 ,   0. 8,   0. 9,   1 ,   1 ,   0. 9 ,   0. 9 ,   1 ,   0. 8 ,   0 . 8,   0 . 8,   0 . 9,   0 . 6,   0 . 9,   0. 8,   0. 7,   1 ,   0 . 5,   0 . 9,   0. 9,   0. 9,   0. 8,   0. 8 ,   0 . 9,   1 } .   A c c o r di n g l y ,   w e   h a v e   c h o s e n   t o t a l l y   12  f e a t ur e s .   T h e   c o rr e s po n di n g  f e a t u r e s   a r e   F a ,   F c,   F e ,   F f ,   F j ,   F k ,   F q ,   F t ,   F u ,   F x ,   F ag   a n d   F ao .   T h e s e   a r e   t h e   fe a t u r e s   s e l e c t e d  a s   a   r e s ul t   of   F E F S   a l go r i t hm .   N o w   t h e   r e duc e d  da t a   s e t   i s   f e d  t o   t h e   P r o po s e d   F M C  a l go r i t hm .       4. 3 .   A p p l yi n g  F M C   In   t h e   c o m pl e t e   e xpe r i m e nt s   c o n duc t e d   w e   h a v e   us e d   10  fo l d  c r o s s   v a l i da t i o n   f o r   a na l y z i n g   t h e   pr o po s e d  N ove l   E n s e m b l e   m o de l .   T h e   10  fo l d  c r o s s   v a l i da t i o n   i s   a l s o   r e f e r r e d  t o   a s   r o t a t i o n   e s t i m a t i o n.   It   i s   a   r e c o m m e n de d  m e t h o d  o ve r   t h e   h o l do ut   m e t h o d  a nd  l e a v e - o n e - o ut   m e t h o ds   fo r   e s t i m a t i n g   a   c l a s s i f i e r.   T h e   da t a s e t   ha s   b e e n   s pl i t   a t   r a ndo m   i n t o   t e n   p a r t s   o f   t h e   e qui v a l e n t   s i z e .   E v e r y   pa rt   i s   ke pt   o ut   i n   t u rn   a n d   t h e   t r a i n i ng  i s   c o n duc t e d  o n   t h e   r e m a i ni n g  ni n e   pa rt s ,   t h e n   t h e   t e s t i ng  i s   m a de   o n   h o l do ut   s e t .   T h e   t ra i ni n g  i s   m a de   t o t a l l y   10  t i m e s   o n  di f f e r e n t   t ra i ni n g  s e t s   a n d  l a s t l y ,   t h e   a v e r a ge   o f   t e n   e rr o r  r a t e s   i s   c o n s i de r e d  f o r   a t t a i ni n g  c o m pl e t e   e rr o r   e s t i m a t e .   F o u r   d i f fe r e nt   e xpe ri m e n t s   w e r e   m a de   t o   i n d i c a t e   t h e   r e s ul t s .   1 .   W i t h   F E F S   o ut put s   gi v e n   t o   S V M ,   2. W i t h   F E F S   o ut put s   gi v e n   t o   A N N ,   3. W i t h   F E F S   o ut pu t s   gi v e n   t o   K - N N   a n d  4 .   T h e   P r o po s e d   N ov e l   E n s e m b l e   M o de l   (F E F S + F M C). A t   t h e   t e s t i n g  p a r t ,   i n s t a n c e s   of   t h e   K D D   da t a   s e t   a r e   f e d  t o   t h e   s ugge s t e d  F M C  p r o c e s s   by   l e a v i n g  t h e i r   c l a s s - l a b e l   t o   w h i c h   t h e y   e xi s t .   T h i s   e n s e m b l e   c l a s s i f i e r   gi v e s   t h e   n e t w o r k  t r a f f i c   da t a   e i t h e r   a s   n o rm a l   o r   a s   a n  a t t a c k.   W e   pe r f o r m e d  o ur   e xpe ri m e nt s   us i n g     J a v a   1. 8  a n d  R   da t a   m i n i ng  s o f t w a r e   t o o l .   F i n a l l y ,   t h e   r e s ul t s   a r e   v i s ua l i z e d  a n d  r e c o r de d.   T o   de t e r m i n e     t h e   s t a t i s t i c a l   s i g n i f i c a n c e   o f   o ur   r e s ul t s ,   w e   c o m pa r e   o ur   p r o po s e d  m e t h o d  w i t h  f e a t ur e s   s e l e c t e d     w i t h  i n d i v i dua l   c l a s s i f i e r s .   In   t h e   i de a l   s i t u a t i o n,   s o m e   pa ra m e t e r s   l i ke   a c c ura c y ,   t h e   t rue   po s i t i ve   r a t e   s h o ul d  ha v e   m a xi m um   v a l ue s   w h i l e   o t h e r s   l i ke   t h e   n u m b e r   o f   f e a t ur e s ,   e rr o r,   s h o ul d  ha v e   t h e   l e a s t   a m o un t .   H ow e ve r   i n   e xc e pt i o na l   c i r c um s t a n c e s ,   s o m e   pa r a m e t e r s   m a y   h a v e   m o r e   e ff e c t   t ha n   t h e   o t h e r s ,   s o   w e i gh t   ha s   t o   c o n f o r m   a c c o r di n g l y .   T h e   t a r ge t   m e t ri c s   f o r   c l a s s i f i c a t i o n   a r e   l i s t e d  b e l o w   i n   T a b l e   1.         T a b l e   1 .   E v a l ua t i o n   m e t r i c s   f o r   c l a s s i f i c a t i o n   S N o .   P a ra m e t e r  N a m e   T a rg e t e d   V a l u e s   1   A c c u ra c y   M a x i m u m   2   N u m b e r   o f  F e a t u r e s   M i n i m u m   3   T ru e   P o s i t i v e   Ra t e   M a x i m u m   4   F a l s e   P o s i t i v e   Ra t e   M i n i m u m   5   P re c i s i o n   M a x i m u m   6   Re c a l l   M a x i m u m   7   F - M e a s u re   M a x i m u m   8   Re c e i v e r   O p e ra t i n g   Ch a ra c t e ri s t i c   M a x i m u m       Co m pa r i s o n  o f   pe r fo r m a n c e   o f   a l l   t h e   f o ur   e xpe r i m e nt s   o n  t he   K D D   da t a s e t   us i n g   t h e   A c c u r a c y   r a t e ,   D e t e c t i o n   R a t e   (D R ),   F A R ,   P r e c i s i o n  o f   t h e   p r o po s e d  n o ve l   e n s e m b l e   m o de l   i s   i l l us t r a t e d  i n  F i gu r e s   6 - 9  r e s pe c t i v e l y .   T h e   pr o po s e d  e n s e m b l e   a ppr o a c h   i m pl e m e nt s   s i gni f i c a nt l y   b e t t e r   t ha n   w e l l - kn o w n   i n di v i du a l   m e t h o ds   s uc h   a s   S uppo r t   V e c t o r   M a c h i n e s   (S V M s ),   K - N e a r e s t   N e i g h b o r   (K N N )  a n d  A N N .   T h e   o v e r a l l   r e l a t i v e   i m p r o v e m e n t   o f   a c c ur a c y ,   t h e   D e t e c t i o n   R a t e   f o r   t he   pr o po s e d  a p p r o a c h   i s   h i g h ,   a nd  a l s o   t h e   F a l s e   A l a rm   R a t e   ha s   b e e n   de c r e a s e d.     T h e   c l a s s i f i c a t i o n   m o de l s   a r e   e v a l ua t e d  us i ng  t h e   a r e a   u nd e r   t h e   R O C  c u r v e   (A U C)  pe r fo r m a n c e   m e t r i c .   A U C  i s   w i de l y   u s e d,   pr o v i di n g  a   ge n e r a l   i de a   o f  t he   pr e di c t i v e   po t e n t i a l   o f   t h e   c l a s s i f i e r .   A   hi g h e r   A U C  i s   b e t t e r ,   a s   i t   i ndi c a t e s   t h a t   t h e   c l a s s i f i e r ,   a c r o s s   t h e   e n t i r e   po s s i b l e   r a n ge   of   d e c i s i o n   t hr e s h o l d,   ha s   a   h i g h e r   t r ue   po s i t i v e   r a t e .   F r o m   c e r t a i n   s t udi e s ,   i t   i s   p rov e d  t h a t   A U C  ha s   l e s s e r   v a ri a n c e   a n d  i s   m o r e   c o n s i s t e n t   t ha n   r e m a i ni n g   pe r f o rm a n c e   m e t ri c s   (s uc h   a s   p r e c i s i o n ,   r e c a l l ,   F   m e a s u r e )  [27] .   T h e   R O C  o b t a i n e d  fo r   t h e   p r o po s e d  m o de l   i s   s h o w n   b e l ow   i n  F i gu r e   10.   T h e   A U C  i s   0. 9   w h i c h   i s   p r e t t y   go o d.   T h e   r e s ul t s   s um m a r i z e d  f o r   t h e   K D D   da t a   s e t   i s   i nt e r p r e t e d  i n   t h e   T a b l e   2 .   T h e   p r o po s e d  m o d e l   ha s   a c h i e v e d  0. 9,   0 . 95 ,   0. 96   a nd  0 . 9   o f   pr e c i s i o n ,   r e c a l l ,   F - m e a s u r e   a n d   R O C  a r e a   r e s pe c t i v e l y .     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       A   no v e l   e ns e m bl e   m od e l i ng   f or   i n t r us i on   de t e c t i on   s y s t e m   ( P ul l ag ur a  In di r a   pr i y adar s i n i )   1969         F i gu r e   6 .   T h e   pe r f o r m a n c e   c o m pa ri s o n   o f   a c c ura c y   ra t e   o b t a i n e d  w i t h  F E F S + S V M ,   F E F S + K N N ,   F E F S + A N N ,   F E F S + F M C   ( p r o po s e d  m o de l )         F i gu r e   7 .   T h e   pe r f o r m a n c e   c o m pa ri s o n   o f   de t e c t i o n   r a t e   o b t a i n e d  us i n g   F E F S + S V M ,   F E F S + K N N ,  F E F S + A N N ,   F E F S + F M C   ( p r o po s e d  m o de l )           F i gu r e   8 .   T h e   pe r f o r m a n c e   c o m pa ri s o n   o f   F A R   ob t a i n e d  us i n g  F E F S + S V M ,   F E F S + K N N ,   F E F S + A N N ,   F E F S + F M C   ( p r o po s e d  m o d e l )     F i gu r e   9 .   T h e   pe r f o r m a n c e   c o m pa ri s o n   o f   p r e c i s i o n  ob t a i n e d  us i n g  F E F S + S V M ,   F E F S + K N N ,   F E F S + A N N ,   F E F S + F M C   ( p r o po s e d  m o de l )           F i gu r e   10 .   T h e   R O C  f o r   t h e   p r o po s e d  m o de l   (F E F S + F M C)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,  V o l .   10 ,   N o .   2 ,  A p ri l   2020   :     19 63   -   19 71   1970   T a b l e   2.   T h e   pe r f o r m a n c e   o f   fo ur   e xpe r i m e nt s   i n  t e rm s   o f   p re c i s i o n ,   r e c a l l ,   F - m e a s u r e ,   a n d   R O C  a r e a   S . N o .   M o d e l   P re c i s i o n   Re c a l l   F - m e a s u r e   RO C  A r e a   1.   F E F S + K N N   0 . 7 7   0 . 7 6   0 . 7   0 . 7 5   2.   F E F S + S V M   0 . 8   0 . 8   0 . 7 9   0 . 7 7   3.   F E F S + A N N   0 . 7 4   0 . 7   0 . 7   0 . 6   4.   F E F S + F M C   0 . 9   0 . 9 5   0 . 9 6   0 . 9       5.   DISCUSSIO NS   AND   C O N C LU S I O N S   T h i s   r e s e a r c h   i nt r o duc e d  a   n o ve l   e n s e m b l e   a r c hi t e c t u r e   de s i gn e d  f o r   ID S .   It   i s   b a s e d  o n   t w o  a l go ri t hm s   F u z z y   E n s e m b l e   F e a t u r e   s e l e c t i o n  (F E F S )  a n d  F us i o n   o f   M ul t i p l e   Cl a s s i f i e r   (F M C ).   F E F S   i s   a n  e n s e m b l e   of   f i ve   s c o r e s .   T h e s e   s c o r e s   a r e   o b t a i n e d  by   us i n g   f e a t ur e - c l a s s   di s t a n c e   f un c t i o n s .   A gg r e ga t i o n   i s   do n e   us i n g  f uz z y   un i on   o pe ra t i o n.   A n   F M C  i s   t h e   f us i o n   o f   t hr e e   c l a s s i f i e r s .   It   w o r ks   b a s e d   o n   E n s e m b l e   de c i s i v e   f un c t i o n .   E xpe r i m e n t s   w e r e   m a de   o n   K D D   c up  99   da t a   s e t   h a v e   s h o w n   t h a t   o ur   p r o po s e d  s y s t e m   w o r k s   s upe r i o r   t o   w e l l - kn o w n   m e t h o ds   s uc h   a s   S uppo r t   V e c t o r   M a c h i n e s   (S V M s ),   K - N e a r e s t   N e i g h b o r   (K N N )  a n d   A r t i f i c i a l   N e ura l   N e t w o r k  (A N N ).   O u r   e xa m i na t i o n s   e n s u r e d  n o t i c e a b l y   t h e   p r o m i n e n c e   o f   us i n g  e n s e m b l e   m e t h o do l o g y   fo r   m o de l i n g  ID S s .   A n d  c o n s e que n t l y ,   o ur   s y s t e m   i s   r o b us t   a n d  p r o f i c i e n t .   S i n c e   a l l   t h e   r e f l e c t e d  pe r fo r m a n c e   m e a s u r e s   c o ul d  b e   i m p r o v e d,   s uc h   s y s t e m s   w i l l   b e   be n e f i c i a l   i n  n u m e r o us   r e a l - w o r l d  a ppl i c a t i o n s .   O u r   e xpe r i e n t i a l   r e s ul t s   a r e   i ndi c a t i n g   t ha t   e n s e m b l e   l e a rni n g  i s   e f fe c t i ve   i n  e nh a n c i ng  a t t a c k  de t e c t i o n   ra t e   a n d  l e s s e n i n g   t h e   F A R .   P e r f orm a n c e   c o m pa r i s o n s   w e r e   m a de   o n   t h e   p r o po s e d   f r a m e w o r k  v e r s us   o t h e r  b a s e   c l a s s i f i e r   m e t h o ds   w i t h  t h e   r e d uc e d  fe a t ur e   s e t .   T h e   A U C  i s   0. 9  w hi c h   i s   p r e t t y   go o d.   T h e   P r o po s e d  m o de l   h a s   a c hi e v e d  0. 9,   0 . 95 ,   0. 96   a n d  0 . 9  o f   pr e c i s i o n,   r e c a l l ,   F - m e a s u r e   a nd    R O C  a r e a   r e s pe c t i v e l y .   S i n c e   c urr e n t   ID S s   a r e   u n a b l e   t o   de t e c t   a l l   k i n ds   o f   n e w   a t t a c ks   b e c a us e   t h e y   a r e   de s i gn e d  t o   r e s t r i c t e d  a pp l i c a t i o n s   o n   t h e   l i m i t e d  e n v i ro n m e n t .   T h us ,   i n de e d  t h e r e   i s   a   n e c e s s i t y   o f  s a f e gua r d i n g  t h e   n e t w o r ks   f r o m   k n o w n   a t t a c ks   a nd  pa ra l l e l   s h o ul d  t a ke   m e a s u r e s   t o   i de n t i fy   n e w   a n d  u n s e e n,   b ut   po s s i b l e   s y s t e m   a b us e s ,   by   e m e r gi n g  n o v e l   r e l i a b l e   a n d  e f f i c i e n t   ID S s .   T h e   a r e a   o f   f ut ur e   r e s e a r c h   i n c l ude s   i m p r o v e m e n t s   f o r   m a c h i n e   l e a rni n g   m e t h o ds   t o   de t e c t   n o v e l / un s e e n   a t t a c ks .       R EF ER EN C ES     [ 1]   R .   S o m m e r ,   V .   P a x s o n,   " O ut s i d e   t he   c l o s e d  w o r l d:   O n  us i ng   m a c hi ne   l e a r n i ng   f o r   ne t w o r k  i n t r us i o n  de t e c t i o n, "   i n  I E E E   Sy m po s i um   on  Se c ur i t y   a nd   P r i v a c y ,   p p.   30 5 - 316 ,   2010 .   D O I :   10 . 11 09/ S P . 2010 . 25   [ 2]   M . G o v i nda r a j a n ,   " E v a l ua t i o n  o f   E ns e m b l e   C l a s s i f i e r s   f o r   I nt r u s i o n  D e t e c t i o n, "   W or l d   A c a de m y   o f   S c i e nc e ,   E ngi ne e r i n g  and  T e c h nol ogy   I n t e r nat i on al   J our na l   of   C om put e r   and  I n f o r m a t i o n  E ng i ne e r i ng ,  v ol .  10 ( 6 ) ,   2016 .   do i . o r g / 10. 5281 / z e no do . 1124 579   [ 3]   A.   A .   A bur o m m a n,   M . B .   I bne   R e a z ,   " A   nov e l   S V M - kN N - P S O   e ns e m bl e   m e t ho d  f o r   i nt r u s i o n  de t e c t i o n  s y s t e m , "   A ppl .   So f t   C om pu t .   J . ,   2015 .  h t p: / / dx . do i . o r g / 1 0. 1 016 / j . a s o c . 2015 . 1 0. 01 1 .   [ 4]   P.   K a ng ,   a nd  S .   C ho ,   " E U S   S V M s :   E ns e m bl e   o f   unde r   s a m p l e d  S V M s   f o r   da t a   i m ba l a nc e   pr o bl e m s ,"   I C O N I P   2006 ,   N e ur al   I nf o r m a t i o n  P r oc e s s i n g,   pp   8 37 - 846 ,   2016 .   ht t p s : / / d o i . or g/ 10 . 1 00 7/ 11 89 3 02 8_ 9 3 .   [ 5]   S ha m s u l   H uda ,   J o hn  Y e a r w o o d,   H e r be r t   F .   J e l i ne k ,   M o ha m m a d  M e he di   H a s s a n,   G i a nc a r l o   F o r t i no ,   M i c ha e l   B uc kl a nd ,   " A   h y br i d   f e a t ur e s e l e c t i o n   w i t h  e n s e m b l e   c l a s s i f i c a t i o n  f o r   i m ba l a nc e d  he a l t hc a r e   da t a :   A   c a s e   s t udy   f o r   br a i n   t um o r   di a g no s i s , "   I E E E ,   2 016 ,   D O I   10. 1109 / A C C E S S . 20 16 . 2 64723 8,   I E E E   A c c e s s .   [ 6]   B .   S e i j o - P a r do ,   I .   P o r t o - D i a z ,   V .   B o l o n - C a ne do ,   A .   A l o ns o - B e t a n z o s ,   " E ns e m bl e   f e a t u r e   s e l e c t i o n :  H o m og e ne o us   a nd  he t e r o g e ne o us   a pp r o a c he s , "  K now l e dge - B as e d   Sy s t e m s ,   2 016 .  do i :   10. 1016 / j . k no s y s . 2016. 11. 017 .   [ 7]   M e i s e l   W .   S . ,   " C o m put e r - o r i e nt e d   a pp r o a c he s   t o   p a t t e r n  r e c o g ni t i o n , "   A c a de m i c   P r e s s ,   N e w   Y o r k,   19 72 .   [ 8]   L .   I .   K unc he v a ,   C .   J .   W h i t a ke r ,   " M e a s ur e s   o f   di v e r s i t y   i n  c l a s s i f i e r   e ns e m bl e s   a n d  t he i r   r e l a t i o ns h i p  w i t h  t he   e ns e m b l e   a c c ur a c y , "   M ac h i ne   l e ar n i ng ,   v o l .   51 ( 2 ) ,   pp . 18 1 - 207 ,   2 00 3.   ht t p s : / / do i . o r g / 10 . 10 23/ A : 1022859003 006   [ 9]   M a h bo d  T a v a l l a e e ,   E br a hi m   B a g he r i ,   W e i   L u,   a nd  A l i   A .   G ho r ba ni ,   " A  de t ai l e d  anal y s i s   o f   t he   K D D   C U P   99  dat a   s e t , "   P r o c e e di ng s   o f   t he   I E E E   S y m p o s i um   o n  C o m put a t i o na l   I nt e l l i g e nc e   i n  S e c ur i t y   a nd  D e f e ns e   A ppl i c a t i o ns ,   2009 .   D O I :   10. 11 09 / C I S D A . 2009. 5356 528 .   [ 10]   T .   G .   D i e t t e r i c h,   " E ns e m bl e   m e t ho ds   i n  m a c h i ne   l e ar n i ng , "   i n  P r o c e e di ng s   o f   t he   F i r s t   I nt e r n a t i o na l   W o r ks ho p  o n  M ul t i pl e   C l a s s i f i e r   S y s t e m s ,   UK:   S pr i ng e r - V e r l a g ,   pp.   1 - 15 ,   20 00.   ht t ps : / / do i . o r g / 10. 1007 / 3 - 540 - 45 014 - 9_1 .   [ 11]   J .   O .   S .   O l s s o n  a nd  D . W .   O a r d,   " C o m bi ni ng   f e a t u r e   s e l e c t o r s   f o r   t e x t   c l a s s i f i c a t i o n, "   C I K M   ‟ 06:   P r o c e e di ng s     o f   t he   15 th A C M   i n t e r n a t i o na l   c o nf e r e nc e   o n  I nf o r m a t i o n  a nd  kno w l e dg e   m a n a g e m e nt ,   p p.   798 - 799 ,   2006 .     D O I :   10. 114 5/ 1183 614 . 118 3736 .   [ 12]   H.   W a ng ,   T .   M .   K ho s h   G o f t a a r ,   a nd   K .   G a o ,   " E n s e m bl e   f e a t ur e   s e l e c t i o n  t e c hn i que   f or   s o f t w ar e   qua l i t y   c l a s s i f i c a t i on , "   I n  P r o c e e di ng s   o f   t he   22nd  I nt e r na t i o na l   C o nf e r e nc e   o n  S o f t w a r e   E ng i ne e r i ng   a nd  K no w l e dg e   E ng i ne e r i ng ,  p p.   21 5 - 220,   2 010 .   ht t ps : / / do i . o r g / 10 . 100 7/ s 407 47 - 01 7 - 0060 - x.   [ 13]   B a s a n t   S ub ba ,   S us h a nt a   K a r m a ka r ,   " I nt r us i o n  de t e c t i o n  s y s t e m s   us i ng   l i ne a r   d i s c r i m i na nt   a na l y s i s   a nd  l o g i s t i c   r e g r e s s i o n , "  i n  I N D I C O N ,   I E E E ,   2015 .   D O I :   10. 1109 / I N D I C O N . 2015. 7 4435 33 .   [ 14]   A f e f   B e n  B r a h i m ,   M o ha m e d  L i m a m ,   " R o bus t   e ns e m bl e   f e a t ur e   s e l e c t i o n  f o r   hi g h   di m e ns i o na l   da t a   s e t s , "   I E E E ,   2013 .   D O I :   10. 11 09 / H P C S i m . 20 13. 6641 406   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       A   no v e l   e ns e m bl e   m od e l i ng   f or   i n t r us i on   de t e c t i on   s y s t e m   ( P ul l ag ur a  In di r a   pr i y adar s i n i )   1971   [ 15]   H a i bo   H e ,   E dw a r do   A .   G a r c i a ,   " L e a r ni ng   f r o m   i m ba l a nc e d  d a t a , "   I E E E   T r a ns a c t i on s   on   k n ow l e dge   and  da t a   e ngi ne e r i ng ,   v o l .   21 ( 9 ) ,  200 9.   D O I :   10. 110 9/ T K D E . 20 08. 239 .   [ 16]   M e g hna   G ho s h ,   P r a bu  P ,   " E m pi r i c a l   a na l y s i s   o f   e ns e m b l e   m e t ho ds   f o r   t he   c l a s s i f i c a t i o n  o f   r o boc a l l s   i n  t e l e c o m m uni c a t i o ns , "   I J E C E ,   vol .   9 ( 4 ) ,   2019 .  do i : ht t p: / / do i . o r g / 10. 11591 / i j e c e . v 9i 4 . pp % 25 p .    [ 17]   K o m a l   K um a r   N ,   R .   L a ks hm i   T u l a s i ,   V i g ne s w a r i   D ,   " A n  e ns e m bl e   m ul t i - m o de l   t e c hn i qu e   f o r   pr e di c t i ng   c hr o ni c   ki dn e y   di s e a s e , "   vol .   9 ( 2 ) ,   2019 .   D O I :   10. 1159 1/ i j e c e . v 9i 2 .   [ 18]   V .   B u kht o y a r ov ,   V .   Z huko v ,   " E ns e m bl e - di s t r i b ut e d  a pp r o a c h  i n  c l a s s i f i c a t i o n  pr o bl e m   s o l u t i o n  f o r   i n t r us i o n  de t e c t i o n  s y s t e m s , "   I n t e l l i ge nt   D a t a  E ng i ne e r i ng  a nd  A u t om a t e d  L e ar ni n g - I D E A L ,   S pr i ng e r ,   pp.   2 55 - 265 ,  201 4 .   D O I : h t t ps : / / d oi . or g/ 1 0. 10 07 / 9 78 - 3 - 3 19 - 1 08 40 - 7 _3 2.   [ 19]   A .   B o r j i ,   " C om bi ni ng  he t e r oge ne ous   c l as s i f i e r s   f o r   ne t w or k   i nt r us i on  de t e c t i on , "   in   P r o c e e di ng s     o f   t he   A nnua l   A s i a n  C o m put i ng   S c i e nc e   C o nf e r e nc e ,   S pr i ng e r ,  pp .   25 4 - 260 ,   2 007 .    D O I : h t t ps : / / d oi . or g/ 1 0. 10 07 / 9 78 - 3 - 5 40 - 7 69 29 - 3 _2 4.   [ 20]   M .   R a j a s e ka r a n  a nd  A .   A y y a s a m y ,   " A  nov e l   e ns e m bl e   appr oac h  f or   e f f e c t i v e   i n t r us i on   de t e c t i on   s y s t e m , "   S e c o nd   I nt e r na t i o na l   C o nf e r e nc e   o n  R e c e nt   T r e nd s   a nd  C h a l l e ng e s   i n  C o m put a t i o na l   M o de l s ,   201 7 .   D O I :   10. 110 9/ I C R T C C M . 2 017 . 27 .   [ 21]   D y m i t r   R ut a   a nd  B o g da n  G a br y , " A n   ov e r v i e w   of   c l a s s i f i e r   f us i o n  m e t ho ds , "   C om put i ng  an d  I nf or m a t i on  Sy s t e m s ,  pp.   1 - 10 ,   2000 .   [ 22]   A i z h o ng   Mi ,   L e i   W a ng ,   a nd   J uny a n   Qi ,   " A  m ul t i pl e   c l a s s i f i e r   f us i o n  a l g o r i t hm   us i ng   w e i g ht e d  d e c i s i o n    t e m p l a t e s , "  Sc hoo l   of   C om pu t e r   Sc i e nc e   and  T e c hno l o gy ,   H e n a n  P o l y t e c hni c   U ni v e r s i t y ,   2016.     do i :   ht t p: / / dx . do i . o r g / 10. 1155 / 20 16/ 394 3859 .   [ 23]   T .   J .   R o s s ,   " F uz z y   l o g i c   w i t h   e ng i n e e r i ng   a pp l i c a t i o ns   ( 3r d   e di t i o n ), "   J ohn   W i l e y   &   So ns ,   N e w   J e r s e y ,   U S A .   [ 24]   H a s t i e   T . ,   T i bs h i r a n i   R. ,   &   F r i e dm a n   J . ,   " T he   E l e m e n t s   o f   S t a t i s t i c a l   L e a r ni ng , "   N e w   Y o r k,   S p r i ng e r - V e r l a g ,   2009 .   [ 25]   G o ne n   M . ,   " A l pa y di n,   E   M u l t i p l e   ke r ne l   l e a r n i ng   a l g o r i t hm s , "   J o ur na l   o f   M a c h i ne   L e ar n i ng   R e s e ar c h ,   v o l .   1 2,     pp.   22 11 - 2268 ,   201 1.   [ 26]   C he br o l u   S . ,   A br a h a m   A. ,   a nd   T ho m a s   J . P ,   " ( 2 004 )   H y b r i d   f ea t ur e   se l ec t i o n   f o r   m o de l i ng   i n t r us i o n   de t e c t i o n   s y s t e m s ,"   N e ur a l   I n f o r m a t i o n   P r oc e s s i ng ,   pp .   1 02 0 - 1025 ,   201 0.   h t t p: / / dx . do i . o r g / 10 . 100 7/ 978 - 3 - 540 - 30 499 - 9_1 58   [ 27]   G .   K um a r   a nd  K .   K um a r ,   " T h e   u s e   o f   a r t i f i c i a l - i n t e l l i g e nc e - ba s e d  e n s e m b l e s   f o r   i n t r us i o n   de t e c t i o n:   a   r e v i e w , "   A ppl i e d  C om p ut at i ona l   I n t e l l i ge nc e   and   So f t   C om p ut i ng ,  p.   2 1,   20 1 2.   D o i : 10. 1155 / 201 2/ 8 5016 0       B I O G R A P H I ES   O F   A U T H O R S       D r .   P u l l agu r a  I n d i r a   P r i y ad ar s i n i   i s   a n   A s s o c i a t e   P r o f e s s o r   i n   D e p t .   o f   I n f o r m a t i o n   T e c hno l o gy ,   V a r dha m a n  C o l l e g e   o f   E ng i ne e r i ng   ( A ut o no m o us ) ,   H y de r a ba d,   T e l a ng a na   S t a t e ,   I ndi a .   E a r l i e r   s he   w o r ke d   a s   H e a d  o f   t he   D e p a r t m e n t   o f   C o m put e r   S c i e nc e   &   E ng i ne e r i ng   i n   C ha l a pa t h i   I ns t i t u t e   o f   T e c hno l ogy ,   M o t ha da k a ,   A P ,   I ndi a .   S he   ha s   c o nduc t e d  v a r i o us   c o n f e r e nc e s   a nd  w o r ks ho ps   a nd  a c t e d  a s   a   c o nv e ne r .   S h e   ha s   g ui de d  s e v e r a l   pr o j e c t s   a t   M . T e c h  l e v e l .   S h e   h a s   a t t e n de d   s e v e r a l   F a c u l t y   D e v e l o pm e nt   P r o g r a m m e s   a t   N I T s   a n d  I I T s   i n  I ndi a .   S h e   pub l i s he d   a nd  pr e s e n t e d  a r t i c l e s   i n   s e v e r a l   r e pu t e d   j o ur n a l s   a nd  c o nf e r e nc e s .   S he   c o m pl e t e d   he r   D o c t o r   o f   P hi l o s o phy   f r o m   A c ha r y a   N a g a r j un a   U n i v e r s i t y ,   G un t ur   i n  t he   a r e a   o f   m a c hi ne   l e a r n i ng . H e r   r e s e a r c h  i n t e r e s t s   a r e   m a c h i ne   l e a r n i n g ,   da t a   m i ni ng   a nd  ne t w o r k  s e c ur i t y .   S he   c o m pl e t e d  he r   M . T e c h  ( C S E )   f r o m   K o ne r u  L a ks hm a i a h  c o l l e g e   o f   E ng i ne e r i ng ,   G unt u r .   S h e   s t o o d  f i r s t   i n  t he   P o s t   G r a d ua t e   l e v e l .   S he   c o m pl e t e d   h e r   B . T e c h  f r o m   R V R   &   J C   C o l l e g e   o f   E ng i ne e r i ng ,   G unt ur .         D r .   G .   A n u r ad h a   r e c e i v e d   he r   P hD   f r o m   A ndhr a   U ni v e r s i t y ,   V i s a kha p a t na m ,   A ndhr a   P r a d e s h .   S he   i s   w o r ki ng   a s   a n  A s s o c i a t e   P r o f e s s o r   a t   t he   D e p a r t m e n t   o f   C S E   i n   V R S E C ,   V i j a y a w a da ,   K r i s hna   D i s t r i c t .   S h e   pu bl i s he d  17  pa pe r s   i n  na t i o na l   a n d  i nt e r na t i o na l   j o ur na l s   a nd   m o r e   t h a n  t e n  pa pe r s   pu bl i s h e d  i n  na t i o na l   a nd  i n t e r na t i o na l   c o nf e r e nc e s   o n  da t a   m i ni ng ,   w e b  m i ni ng   a nd   m a c hi ne   l e a r ni ng .           Evaluation Warning : The document was created with Spire.PDF for Python.