I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 J a n u a r y   2021 ,   pp .   3 77~ 39 0   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 377 - 390             377       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   B o t D e t e c t o r FW :   a n   o p t i m i z e d   b o t n e t   d e t e c t i o n   f r a m e w o r k   b a sed  o n   f i v e   f e a t u r e s - d i st a n c e   m e a su r e s sup p o r t e d   b y   c o m p a r i s o n o f   f o u r   m a c h i n e   l e a r n i n g   c l a ssi f i e r s   u si n g   C IC ID S 2 0 1 7   d a t a set       A aya  F .   Jab b ar ,   I m ad   J.   M o h am m e d   D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   U ni v e r s i t y   of   B a g hda d,   B a g hd a d ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   F e b   2 9 ,   2 0 20   R e v i s e J un   1 4 ,   2020   A c c e pt e A ug  8 ,   2020       A   B o t ne t   i s   o ne   o f   m a ny   a t t a c ks   t ha t   c a n   e x e c ut e   m a l i c i o us   t a s ks   a n de v e l o p   c o nt i nuo us l y .   T he r e f o r e ,   c ur r e n t   r e s e a r c i n t r o duc e s   a   c o m pa r i s o f r a m e w o r k,   c a l l e B o t D e t e c t o r F W ,   w i t c l a s s i f i c a t i o a n c o m pl e xi t y   i m pr o v e m e nt s   f o r   t he   d e t e c t i o o f   B o t ne t   a t t a c us i ng   C I C I D S 2017  da t a s e t .   I t   i s   a   f r e e   o nl i ne   da t a s e t   c o ns i s t   o f   s e v e r a l   a t t a c ks   w i t hi g h - di m e ns i o ns   f e a t u r e s .   T h e   pr o c e s s   o f   f e a t ur e   s e l e c t i o i s   a   s i g ni f i c a n t   s t e t o   o bt a i t he   l e a s t   f e a t ur e s   by   e l i m i n a t i ng   i r r e l a t e f e a t u r e s   a n c o ns e que nt l y   r e duc e s   t he   de t e c t i o t i m e .   T h i s   pr o c e s s   i m pl e m e n t e i n s i de   B o t D e t e c t o r F W   us i ng   t w o   s t e ps ;   da t a   c l us t e r i ng   a nd  f i v e   d i s t a n c e   m e a s ur e   f o r m ul a s   ( c o s i n e ,   d i c e ,   d r i v e r   &   kr o e be r ,   o v e r l a p ,   a nd  pe a r s o c o r r e l a t i o n )   us i ng   C #,   f o l l o w e by   s e l e c t i ng   t he   b e s t   N   f e a t ur e s   u s e a s   i npu t   i nt o   f o ur   c l a s s i f i e r   a l g o r i t hm s   e v a l ua t e d   us i ng   m a c hi ne   l e a r n i ng   ( W E K A ) ;   m ul t i l a y e r pe r c e pt r o n ,   J R i p,   I B K ,   a nd  r a ndo m   f o r e s t .   I B o t D e t e c t o r F W ,   t he   t ho ug ht f ul   a n di l i g e n t   c l e a n i ng   o f   t he   da t a s e t   w i t hi t he   p r e p r o c e s s i ng   s t a g e   be s i de   t h e   no r m a l i z a t i o n,   bi na r y   c l us t e r i ng   o f   i t s   f e a t ur e s ,   f o l l o w e by   t he   a da pt i ng   o f   f e a t ur e   s e l e c t i o ba s e d   o s ui t a b l e   f e a t ur e   d i s t a nc e   t e c hni que s ,   a nd  f i n a l i z e by   t e s t i ng   o f   s e l e c t e c l a s s i f i c a t i o a l g o r i t hm s .   A l l   t o g e t he r   c o nt r i bu t e i s a t i s f y i ng   t he   hi g h - pe r f o r m a nc e   m e t r i c s   u s i ng   f e w e r   f e a t ur e s   num be r   ( f e a t u r e s   a s   a   m i ni m um )   c om pa r e t o   a nd  o ut p e r f o r m s   o t he r   m e t ho ds   f o und  i t h e   l i t e r a t u r e   t ha t   a do pt e ( 10   f e a t ur e s   o r   h i g he r )   u s i ng   t he   s a m e   d a t a s e t .   F u r t he r m o r e ,   t he   r e s ul t s   a nd  p e r f o r m a nc e   e v a l u a t i o o f   B o t D e t e c t o r F M   s ho w s   a   c o m pe t i t i v e   i m pa c t   i t e r m s   o f   c l a s s i f i c a t i o a c c ur a c y   ( A C C ) ,   p r e c i s i o ( P r ) ,   r e c a l l   ( R c ) ,   a nd  f - m e a s ur e   ( F 1 )   m e t r i c s .   Ke y w or d s :   Bo t D e t e c t o r F W   Bo t n e t   de t e c t i o n   CICID S 2017   D i s t a n c e   m e a s u r e s   F e a t u r e   s e l e c t i o n   M a c hi n e   l e a rni n g   W E K A   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A a y a   F .   J a b b a r   D e pa rt m e n t   o f   Co m put e S c i e n c e   U n i v e r s i t y   of   B a gh da d B a g h da d,   I ra q   E m a i l :   a a y a f a dhi l @ gm a i l . c o m       1.   I N TR O D U C TI O N     A   bo t n e t   i s   t h e   I nt e rn e t - c o nn e c t e de v i c e s   c o n t r o l l e by   a   B o t n e t   o w n e r   t o   pe r f o r m   m a l w a r e   t a s ks   s uc h   a s   t o   s e n s p a m ,   s t e a l   da t a ,   a nd  l a u n c h   D D o S   a t t a c ks .   T h e r e   a r e   d i f fe r e nt   t o o l s   fo r   b o t n e t   a t t a c ks   l i ke   gr u m ,   w i n d i go ,   s t o rm ,   a n a r e s   [1] .   A   s c e n a r i o   o bo t n e t   c o ul c o m po s e   of   s o m e   i n f e c t e bo t s   a nd  c o n t r o l l e r s   (o n e   o r   m o r e ,   b ut   o f t e n   j us t   a   s i n gl e   c o n t r o l l e r ) .   A   b o t   i s   a   h o s t   t h a t   ha s   i n f e c t e t ha t   c o n t r o l l e r e m o t e l y   by   a   bo t   h e r de r   (b o t m a s t e r ) .   M e a n w h i l e ,   a   b o t m a s t e r   us e s   a   c o m m a nd  &   c o n t r o l   s e r v e r   t o   c o l l e c t   i n f o r m a t i o n   a b o ut   t h e   b o t s   a n i s s ue   c o m m a n ds   t o   o n e ,   s o m e ,   o r   a l l   o f   i t   s i m u l t a n e o us l y   [2] .   F i gu r e   di s pl a y s   a   s i m p l i f i e v i e w   of   a   bo t n e t .   I t h e   us e B o t n e t   d a t a s e t   [ 3] ,   t h e y   e xe r c i s e   a r e s ,   w hi c i s   a   P y t h o n - Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     377   -   390   378   b a s e Bo t n e t   w e r e   a t t a c ke r   us e s   a   K a l i   L i n ux  a n d   t h e   v i c t i m s   a r e   f i v e   di ff e r e n t   W i n do w s   O S ,   na m e l y   V i s t a ,   7,   8 . a n d   10 .   T o   s e c ur e   de v i c e s   f r o m   bo t n e t   a t t a c ks ,   i t   m us t   de v e l o s e ve r a l   de t e c t i o n   m o de l s   b a s e o n   pr e v i o us l y   r e c o r de b o t n e t   d a t a .           F i gu r e   1 B o t n e t   t o po l o g y       A s   a   pa pe r   o rga ni z a t i o n ,   t h e   n e xt   s e c t i o n s   a ppe a r   i n   a   s e que n c e   t o   di s c us s ;   t h e   i n v e s t i ga t i o n   o r e l a t e w o r k,   D a t a s e t   u n de r   t e s t i n g ,   da t a   p r e p r o c e s s i n w i t h   c l e a ni n a nd  n o rm a l i z a t i o n   p r o c e s s e s ,   t h e   pr o po s e fe a t u r e   s e l e c t i o n   m e t h o (c l us t e r i n g   a nd  f e a t u re s - di s t a n c e   m e a s u r e s ,   c l a s s i f i e r s   a n d   m a c hi n e   l e a rn i ng,   r e s ul t s   o f   c o m pa r i s o n s   w i t h   d i s c us s i o n ,   a n f i na l l y   c o n duc t e by   a   c o n c l us i o n   a nd  r e f e r e n c e s   s e c t i o n s ).   T h e   a u t h o r s   i n   [4]   p r o po s e a   CF S - B A   a l go r i t hm   t o   di s c a rd  i rr e l e v a nt   f e a t u r e s   a n d   t h e   e n s e m b l e   c l a s s i f i e r   t ha t   c o m b i n e b e t w e e n   F o r e s t P A ,   R F ,   a n C4 . w i t h   t h e   A O P   r ul e   us e t o   c o n s t r uc t   t h e   c l a s s i f i c a t i o n   m o de l .   T h e   pr o po s e ID S   e v a l ua t e us i ng   t hr e e   da t a s e t s :   N S L - K D D ,   K D D Cup’99,   a n CICID S 2017 .   T h e   A c c ,   P r e c i s i o n ,   A D ,   F - M e a s u r e ,   F A R ,   a n A D R   m e t ri c s   us e t o   c o m pa r e   t h e   e n s e m b l e   c l a s s i f i e r   a nd  i n d i v i dua l   c l a s s i f i e r   pe r f o r m a n c e s .   T h e   a c c ura c i e s   of   t h e   p r o po s e s y s t e m   r e a c h e 97%  i K D D Cup’99,   99 i n   N S L - K D D ,   a n 96 i n   CICID S 2017   a n t h e   n u m b e r   of   fe a t u r e s   us i n t hi s   s y s t e m   i s   r e duc i n g   f r o m   41  t o   10  i N S L - K D D ,   f r o m   41   t o   12   i K D D Cup’99 ,   a n d   84   t o   13   i CIC ID S 2017 .   T h e   a ut h o r s   i n   [5 ],   pe r f o r m e t h e i r   e xpe r i m e nt   b a s e o n   di f fe r e nt   a t t a c ks   us i n CICID S 2 017  d a t a s e t   s e pa ra t e l y .   S i n c e   i t   c o n t a i n s   hi g h   n u m b e r   o f   fe a t ur e s ,   t h e   da t a s e t   w a s   c l e a n e up  f r o m   un w a nt e f e a t ur e s   us i n a   P CA   m e t h o t a r ge t i ng  t h e   a c c ura t e   s e l e c t i o o f   f e a t u r e s .   T h e   P CA   m e t h o e v a l ua t e us i n g   t hr e e   w e l l - k n o w n   c l a s s i f i e r s   (K N N ,   C 4. 5 ,   a n N a i v e B a y e s t o   m e a s ur e   t h e   t rue   de t e c t i o n   a nd  f a l s e   a l a r m   ra t e s .   S pe c i a l l y ,   t h e   n um b e o f   be s t   fe a t u r e s   i n   t h e   b o t n e t   a t t a c h a d   b e e n   r e duc e i n t o   23   f e a t u r e s   w i t t h e   de t e c t i o n   ra t e   up  t o   98. 8%.   T h e   a i m   f r o m   [6]  w a s   t o   e xa m i n e   i n c o r po ra t i n a ut o - e n c o de r   A E   a nd  P CA   (na m e l y   U B D f o r   di m e n s i o n a l i t y   r e duc t i o a nd  t h e   us e   of  c l a s s i f i e r s   (R F ,   N B ,   L D A ,   a n d   Q D A t o w a r ds   de s i gni n a n   e f f i c i e n t   i nt r us i o n   de t e c t i o n   s y s t e m   w i t hi n   C ICID S 2017  d a t a s e t .   T h e   e xpe r i m e nt a l   a n a l y s i s   c o n f i r m e t h e   s i g ni f i c a nt   r e s ul t s   us i ng  U B D   m e t h o a n R F   c l a s s i f i e r   t o   s e l e c t   t h e   b e s t 10  f e a t ur e s ,   w h e r e   t h e   a c c ur a c y   r a t e   r e a c h e 99%  f o r   m ul t i - c l a s s   da t a s e t   w h i l e   t h e   t e r m s   o f   t r ue   po s i t i v e   r a t e   (T P R ),   f a l s e   pos i t i v e   ra t e   (F P R ),   R e c a l l   a n d   P r e c i s i o f o r   t h e   b i na r y - c l a s s   da t a s e t   ( s pe c i a l   b o t n e t )   r e a c h e d   1. 000.   In  t h e   p a pe r   [7 ],   t h e   a ut h o r   c o n t ri b ut e i t h e   i m p r o v e m e nt   o f   A da B oo s t   c l a s s i f i e r   pe r f o r m a n c e   us i n CICID S 201 7.   It   e v a l u a t e t h e   S M O T E   t e c hni que ,   P CA   a nd  e n s e m b l e   fe a t u r e   s e l e c t i o n   (E F S fo r   f e a t ur e s   r e duc t i o n.   F u r t h e rm o r e ,   i t   i m p r o v e t h e   A da B o os t   c l a s s i f i e r,   w h e r e   t h e   a c c ura c y   of   81. 83%,   a   pr e c i s i o n   o f   0. 81 ,   r e c a l l   o f   1,   a nd  F s c o r e   o f   0. 901  w i t h   2 f e a t ur e s .   I t h e   s t u dy   [8],   t h e   l e a rni n m o de l   de ve l o pe d   by   us i n de e l e a rn i ng - D M L P .   T h e   m o de l   a ppl i e us i n D D O S   da t a s e t   f o un i n   CICID S 2 017.   T h e   R e c ur s i v e   F e a t ur e   e l i m i n a t i o m e t h o a n d   R a n do m   F o r e s t   us e t o   ge t   t h e   b e s t   f e w e r   f e a t u r e s   o f   t h e   da t a s e t .   T h e   m o s t   i m po rt a nt   f e a t u r e s   (10)  t e s t e us i n D M L P   m o de l   a n a c h i e v e a c c ur a c y   up  t o   89%.   I n   [9]   t h e   a ut h o r s   e v a l ua t e t h e i r   e xpe ri m e nt   us i n m a c h i n e   l e a rni n c l a s s i f i e r s   t o   de t e c t   bo t n e t   t ra f f i c   of  CICID S 2017   da t a s e t .   T h e   B o t n e t   d a t a s e t   di v i de i n t o   t hr e e   t ra i ni n a n d   t w o   t e s t i ng  s e t s .   I n   t h i s   w o r k,     f i ve   c l a s s i f i e r s :   IB k,   J 48,   N a ï v e B a y e s ,   O n e R ,   a n R a n do m   F o r e s t   of   W E K A   t e s t e d.   J 48  de c i s i o n   t r e e   w a s   e v a l ua t e a s   t h e   o ve r a l l   b e s t   w h e n   e n c o m pa s s i n g   a l l   7 f e a t u r e s   w i t h o ut   d i m e n s i o n a l i t y   r e duc t i o n   f o r   b o t h   t e s t   s e t s .   T h e i h i g h e a c c u r a c y   de t e c t i o n   r a t e   r e a c h e d   98% .   In   t h e   pa pe r   [1 0]  p r o po s e a   t w o - ph a s e   h y b r i m e t h o ba s e o n   t w o   di ffe r e nt   f e a t u r e   s e l e c t i o n   t e c hn i q ue s   w i t h   r e c urr e nt   n e ura l   n e t w o r (R N N a n s upp o r t   v e c t o r   m a c h i n e   (S V M t o   ge t   a   f e w   s e t s   o Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       B ot D e t e c t or F W A o pt i m i z e d   B ot n e t   D e t e c t i on  F r am e w or k   bas e on   ( A a y F .   J abbar )   379   f e a t ur e s   t ha t   i m p r o v e   t h e   de t e c t i o pe r f o r m a n c e   a n d   r e duc e   t h e   c o m put a t i o n a l   t i m e .   T h e   f i r s t   p h a s e   c o m b i n e j o i n t   m ut u a l   i n f o r m a t i o n   m a x i m i z a t i o n   (J M IM )   w i t h   R N N   a n t h e   s e c o n p ha s e   c o m b i n e c o r r e l a t i o n   w i t S V M .   T h e   p r o po s e s y s t e m   c a rr i e us i ng  t w o   da t a s e t s :   N S L - K D D   da t a s e t   (c o n s i s t s   o f   t w o   t r a i ni n s e t s :   K D D T ra i n+ a n K D D T ra i n _20 %,   a n d   t w o   t e s t i n g   s e t s :   K D D T e s t + a nd  K D D T e s t - 21 )   a n K y o t o 2006+ da t a s e t .   T h e   s y s t e m   pe r f o r m a n c e   e v a l ua t e us i n m e t r i c s   s uc h   a s   f a l s e   a l a r m   ra t e   (F A R ),   r e c a l l ,   p r e c i s i o n de t e c t i o ra t e   (D R ),   F - S c o r e   a n d   A c c ur a c y .   T h e   r e s ul t s   o f   t e s t i n g   t h e   p r o po s e s y s t e m   fo r   K D D T e s t + ,   F A R   of  0. 0085 %,   r e c a l l   o f   97. 7557 % ,   p r e c i s i o n   of   97. 2655% ,   f - s c o r e   of   96. 5025%  a n a c c ur a c y   of   98. 9256%,   c o m pa r e t o   K D D T e s t - 21  r e s ul t s   w hi c h   a r e ;   F A R   of   0. 0076 %,   r e c a l l   o f   96. 1749 %,   p r e c i s i o n   o f   97. 3321%,   f - s c o r e   of   97. 0041%  a n a c c u r a c y   of  98. 9749% ,   a n f o r   K y ot o 2006+ ;   F A R   of  0. 0068% ,   r e c a l l   o f   99. 2199%,   p r e c i s i o o f   95. 5998 %,   f - s c o r e   of   96. 97 . 7879%   a n A c c u r a c y   of   97. 9443 %.   T h e   s t udy   i n   [11]  p r o po s e a   R e s t r i c t e G r o w i n S O M   m e t h o w i t h   c l us t e r i ng  r e f e r e n c e   ve c t o r   (R G S O M - CRV a n P a ra l l e l   R G S O M - CR V   t o   i m pr o v e   t h e   e f f i c i e n c y   of   a t t a c c l a s s i f i c a t i o n   i n   K D D   Cup  1999  da t a s e t   a n e v a l ua t e us i n m e t ri c s :   a c c ur a c y   (A CC),   f a l s e   a l a r m   ra t e   (F A R ),   de t e c t i o n   r a t e   (D T R o r   r e c a l l ,   a n p r e c i s i o n .   P a r a l l e l   R G S O M - CR V   m e t h o o ut pe r f o r m e t h e   r e gul a r   G S O M ,   a s   i t   r e a c h e up  t 91. 86 A CC,   20 . 58%  F A R ,   95 . 32 D T R   o r   Re c a l l ,   a n P re c i s i o n   up  t o   94. 35%.   T h e   a ut h o r s   o pa pe r   [12]  pr o po s e a   ge n e t i c   a l go ri t hm   (G A )   a s   a   t o o l   t h a t   a b l e   t o   i de n t i f y   h a rm f ul   t y pe s   of   c o n n e c t i o n s   i a   c o m put e r   n e t w o r k,   a s   i t   a na l y z e f e a t ur e s   o f   c o n n e c t i o d a t a   a nd  t y pe s   of   c o nn e c t i o n   i n   t h e   n e t w o r t ge n e ra t e   a   s e t   o f   c l a s s i f i c a t i o n   r u l e s .   T h e   pr o po s e m e t h o us e s   t h e   c o m b i n a t i o n   o f   ge n e t i c   o pe r a t o r s   w h i c h   a r e   c l o ni n g ,   c r o s s ov e r ,   a n d   m ut a t i o p r o c e s s e s   t o   ge n e r a t e   n e w   c hr o m o s o m e s .   F i t n e s s   v a l ue   i ndi c a t e d   t h e   qua l i t y   of   a   c hr o m o s o m e   (c a n di d a t e   s o l ut i o n )   t h a t   c a de t e c t   a   s e t   o f   pr e de t e rm i n e d   a t t a c c o n n e c t i o o f   da t a   duri n g   t h e   t ra i ni n g   p r o c e s s .   T h e   p r o po s e m e t h o a pp l i e d   us i ng  K D D   Cup   9 d a t a s e t .   F r o m   t h e   r e s ul t s   ob t a i n e d,   i t   i n d i c a t e t ha t   t h e   a v e r a ge   o t h e   s uc c e s s   ra t e   a n t h e   p r o b a b i l i t y   v a l ue   w e r e   di r e c t l y   pr o po r t i o na t e ,   a s   t h e   hi g r a t e   f o r   a n   a v e r a ge   o f   t h e   s uc c e s s   w a s   99. 9825 f o r   0 . 5   p r o b a b i l i t y   v a l ue .   P a pe r   [ 13]  p r o po s e a   m e t h o t o   a n a l y z e   a n d   i de nt i fy   t h e   c ha r a c t e r i s t i c   o f   a   bo t n e t   t ra f f i c   b e h a v i o r   i n   P 2P   e n v i r o n m e n t   b a s e o n   t h e   U D P   pr o t o c o l   us i ng  n e t w o r t r a f f i c   a na l y s i s   t oo l s   s uc h   a s   t h e   b o t n e t   de t e c t i o n   s t r a t e g y   b a s e o n   t h e   s i g n a t u r e ,   D N S   a n o m a l y   a ppr o a c h .   I s i g na t u r e   a pp r o a c h,   i t   s h o w e d   o n e   of  t h e   w e l l - kn o w n   bo t n e t   na m e   c o n f i c ke r   t h a t   c l a s s i f i e i n   t h e   n e t w o r k - b a s e a s   N e t B IO S   a t t a c k.   D N S   a n o m a l y   a pp r o a c us e t o   a na l y z e   t h e   b e ha v i o r   o f   t h e   D N S   t o   de f i n e   t h e   c ha r a c t e r i s t i c   o f   t h e   n e t w o r b o t n e t .   T h e   i de nt i f i e a n o m a l i e s   a r e   D N S   pa c ke t   r e que s t ,   a n o m a l o us   D N S   M X   que r y ,   t h e   N e t B IO S   a t t a c k,   U D P   f l o od   a t t a c a n D N S   a m p l i f i c a t i o n   a t t a c k.   I t   us e D N S   pa c ke t s   i n   a n o m a l o us   n e t w o r t r a f f i c   a s   a n   i n d i c a t o r   f o r   t h e   pr e s e n c e   o t h e   b o t n e t ,   t h e n   c o m pa r e t h e   n o rm a l   a nd  a no m a l o us   t ra f f i c   t a na l y z e   t h e   D N S   pr o t o c o l   fo r   i de nt i f i c a t i o n   o f   t h e   D N S   a m pl i f i c a t i o a t t a c k,   U D P   f l oo a t t a c a n s p a m b o t   a c t i v i t i e s   (w h i c h   w a s   de f i n e w h e n   t h e r e   i s   a a n o m a l o us   D N S   M X   que r y   i n   t h e   n e t w o r k).       2.   T HE   P R O P O S ED   F EA TU R E   S ELEC TI O N   M ET H O D S   O F   B OT D ER TEC T O R FM   E xt ra   f e a t ur e s   c a n   c a us e   a n   i n c r e a s e   i n   t h e   c o m put a t i o n   t i m e ;   a l s o   c a n   a dd  n e ga t i v e   i m pa c t   t o   a n   a c c ur a c y   o f   t h e   de t e c t i o n   s y s t e m .   T h e r e f o r e ;   i t   i s   a dv i s a b l e   t o   r e duc e   t h e   num b e r   o f   t h e   f e a t u r e s   i a   da t a s e t   us i n a   s u i t a b l e   f e a t u r e   s e l e c t i o n   t e c hn i que   t ha t   s e a r c h e s   f o r   t h e   b e s t   s e t   o f   fe a t ur e s   t h a t   c o ul o pt i m i z e   a   c l a s s i f i c a t i o n   o f   da t a   [14] .   I l i t e r a t u r e ,   f e a t u r e   s e l e c t i o n   t e c hni que s   a r e   c l a s s e i nt o   f i l t e [15] ,   w ra ppe r   [16] ,   a n e m b e dde t e c hn i que s   [17] .   F i l t e r   m e t h o ds   e v a l ua t e   t h e   e ff e c t i v e n e s s   of   s e l e c t e fe a t ur e s ,   s e pa ra t e l y   f r o m   l e a rn i ng  m e t h o ds ,   w h i l e   w r a ppe r   m e t h o ds   r e qui r e   l e a rni ng  m e t h o ds   t o   e v a l ua t e   t h e   qua l i t y   of   de t e c t i o n   s y s t e m .   Co m pa r a t i v e l y ,   e m b e dde m e t h o ds   e xe c ut e   f e a t ur e   s e l e c t i on   a s   o n e   o f   t h e   c o m po n e n t s   du r i ng  t h e   pr o c e s s   of   m o de l   c o n s t r uc t i o n   [4 ,   18] .   T h e   f e a t ur e   s e l e c t i o n   t e c hni que   o f   o ur   p r o po s e f r a m e w o r k,   Bo t D e t e c t o r F M ,   us e s   t h e   e m b e dde t y pe .   CICID S 2017  c o n t a i n s   f e a t ur e s   t h a t   h a v e   be e n   r e c o r de w h i l e   a c qui r i ng  da t a   f l ow ,   t h o s e   f e a t ur e s   a r e   r e l a t e t o   a   s pe c i f i c   n e t w o r a nd  do n t   ha v e   a n y   i m pa c t   o n   m o de l   r e s ul t s .   O n e   of   t h e   da t a s e t   pr e p r o c e s s i n a pp r o a c h e s   i s   da t a   di m e n s i o n   r e duc t i o n   a do pt e i n s i de   Bo t D e t e c t o r F M   by   r e m o v i n a l l   t h o s e   m e a n i ngl e s s   f e a t ur e s .   A m o n us e l e s s   f e a t ur e s ,   w e   v a l i da t e   fo ur   n o m i na l   o n e s :   F l o w   ID ,   s o ur c e   IP ,   de s t i n a t i o n   IP ,   a n t i m e s t a m by   r e m o v i n t h e m   a s   do n e   i n   [5] .   F i gu r e   de pi c t s   t h e   m a i c o m po n e n t s   a nd  i nn e r   f l o w   r e l a t i o n s hi ps   o f   Bo t D e t e c t o r F M .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     377   -   390   380       F i gu r e   2 .   T h e   p r o po s e Bo t n e t   de t e c t i o n   f ra m e w o r (B o t D e t e c t o r F M   us i n CICID S 201 D a t a s e t )       3.   R ES EA R C H   M ET H O D   3. 1     D at as et   CICID S 2017   da t a s e t ,   t h e   c u rr e n t   p a pe f o c us ,   i n c l u de s   b e n i g a n d   a t t a c ks   t ra f f i c   [ 19 ] .   I t   c o n t a i n s   t h e   a n a l y s i s   r e s ul t s   o f   n e t w o r t ra f f i c   us i n g   CICF l o w M e t e r   a n d   l a b e l l e f l o w   b a s e o n   t i m e s t a m p ,   IP   w i t h   p o r t   fo r   s o ur c e ,   IP   w i t h   P o r t   f o r   de s t i na t i o n ,   p r o t o c o l s ,   a nd  a t t a c k .   T h e   da t a   c a p t u ri n pe r i o b e ga n   f r o m   M o n d a y ,   J ul y _3_2017  t o   F ri da y   J ul y _7_2017,   f o r   a   t o t a l   o f   f i v e   da y s .   T h e   a t t a c ks   i t hi s   d a t a s e t   i n c l u de   H e a r t b l e e d,   D o S ,   i n f i l t ra t i o n,   b r u t e   fo r c e   S S H ,   b r ut e   f o r c e   F T P ,   D D oS ,   w e b   a t t a c k ,   a n B o t n e t .   O t h e r   da t a s e t s   o f   ID S   s e pa ra t e t h e   t r a i ni n f r o m   t h e   t e s t i ng  d a t a s e t ,   b ut   CICID S 2017  g a t h e r e a l l   r e c o r ds   o f   e a c h   a t t a c t o   CS V   f i l e   [3].   T h i s   da t a s e t   c o n t a i n s   85  n e t w o r f l ow   f e a t ur e s .   T he   de f i n i t i o n   o f   e xt ra c t e f e a t ur e s   i s   a v a i l a b l e   i T a b l e   2.   I n   c urr e nt   w o r k,   t h e   us e da t a s e t   f r o m   CICID S 201 7   w h i c h   i s   r e l a t e t o   t h e   b o t n e t   da t a s e t   t r a f f i c   t h a t   de s c r i b e s   i T a b l e   1.       T a b l e   1 .   T h e   de t a i l s   o f   bo t n e t   d a t a s e t   D a t a s e t   N a m e   CI CID S 2 0 1 7   CS V   F i l e   U s e d   F ri d a y - W o rk i n g H o u r s - M o rn i n g . p c a p _ IS C X   Y e a O R e l e a s e   2017   T o t a l   N u m b e O In s t a n c e s   1 9 1 0 3 3   N u m b e r   O f   A t t ri b u t e s   U s e d   i n   T h i s   P a p e r   85   N u m b e r   O f   C l a s s   2   (BE N IG N   A n d   BO T   )       T a b l e   2 .   T h e   e xpl a n a t i o n   na m e s   o f   f e a t ur e s   i CI CID S 20 17   D a t a s e t   N o .   F e a t u r e   N a m e   N o .   F e a t u r e   N a m e   N o .   F e a t u r e   N a m e   1   F l o w   ID   29   F w d   I A T   S t d   57   E CE   F l a g   C o u n t   2   S o u r c e   I P   30   F w d   I A T   M a x   58   D o w n / U p   Ra t i o   3   S o u r c e   P o rt   31   F w d   I A T   M i n   59   A v e ra g e   P a c k e t   S i z e   4   D e s t i n a t i o n   I P   32   Bw d   I A T   T o t a l   60   A v g F w d   S e g m e n t   S i z e   5   D e s t i n a t i o n   P o r t   33   Bw d   I A T   M e a n   61   A v g B w d   S e g m e n t   S i z e   6   P ro t o c o l   34   Bw d   I A T   S t d   62   F w d A v g   B y t e s / Bu l k   7   T i m e   s t a m p   35   Bw d   I A T   M a x   63   F w d A v g   P a c k e t s / Bu l k   8   F l o w   D u ra t i o n   36   Bw d   I A T   M i n   64   F w d A v g   Bu l k   Ra t e   9   T o t a l   F w d   P a c k e t s   37   F w d   P S H   F l a g s   6 5   Bw d A v g   B y t e s / Bu l k   10   T o t a l   Ba c k w a r d   P a c k e t s   38   Bw d   P S H   F l a g s   66   Bw d A v g   P a c k e t s / Bu l k   11   T o t a l   L e n g t h   o f   F w d P c k   39   F w d   U RG   F l a g s   67   Bw d A v g   Bu l k   Ra t e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       B ot D e t e c t or F W A o pt i m i z e d   B ot n e t   D e t e c t i on  F r am e w or k   bas e on   ( A a y F .   J abbar )   381   N o .   F e a t u r e   N a m e   N o .   F e a t u r e   N a m e   N o .   F e a t u r e   N a m e   12   T o t a l   L e n g t h   o f   B w d P c k   40   Bw d   U RG   F l a g s   68   S u b f l o w F w d   P a c k e t s   13   F w d   P a c k e t   L e n g t h   M a x   41   F w d   H e a d e L e n g t h   69   S u b f l o w F w d   By t e s   14   F w d   P a c k e t   L e n g t h   M i n   42   Bw d   H e a d e L e n g t h   70   S u b f l o w B w d   P a c k e t s   15   F w d P c k   L e n g t h   M e a n   43   F w d   P a c k e t s / s   71   S u b f l o w B w d   B y t e s   16   F w d   P a c k e t   L e n g t h   S t d   44   Bw d   P a c k e t s / s   72   I n i t _ W i n _ b y t e s _ fw d   17   Bw d   P a c k e t   L e n g t h   M a x   45   M i n   P a c k e t   L e n g t h   73   A c t _ d a t a _ p k t _ fw d   18   Bw d   P a c k e t   L e n g t h   M i n   46   M a x   P a c k e t   L e n g t h   74   M i n _ s e g _ s i z e _ fw d   19   Bw d   P a c k e t   L e n g t h   M e a n   47   P a c k e t   L e n g t h   M e a n   75   A c t i v e   M e a n   20   Bw d   P a c k e t   L e n g t h   S t d   48   P a c k e t   L e n g t h   S t d   76   A c t i v e   S t d   21   F l o w   B y t e s / s   49   P a c k e t   L e n .   V a ri a n c e   77   A c t i v e   M a x   22   F l o w   P a c k e t s / s   50   F IN   F l a g   C o u n t   78   A c t i v e   M i n   23   F l o w   I A T   M e a n   51   S Y N   F l a g   Co u n t   79   Id l e   M e a n   24   F l o w   I A T   S t d   52   RS T   F l a g   C o u n t   80   Id l e   P a c k e t   25   F l o w   I A T   M a x   53   P S H   F l a g   C o u n t   81   Id l e   S t d   26   F l o w   I A T   M i n   54   A C K   F l a g   Co u n t   82   Id l e   M a x   27   F w d   I A T   T o t a l   55   U RG   F l a g   Co u n t   83   Id l e   M i n   28   F w d   I A T   M e a n   56   CW E   F l a g   C o u n t   84   L a b e l       3. 2 .       D at a   p r e p r o c e s s i n g   R e a l i s t i c   da t a   t y pi c a l l y   t a ke s   f r o m   h e t e r o ge n e o us   pl a t f o r m s   a n m a y   b e   r e dun da nt ,   i n c o m pl e t e ,   a n d   i n c o n s i s t e n t   [ 20].   T hus ,   i t   r e qu i r e s   a   p r e p r o c e s s i n s t e t h a t   c o n v e r t s   da t a   i n t o   a   s u i t a b l e   fo r m a t   f o r   a n a l y s i s   a n di s c o ve r y   [21].   In   t hi s   w o r k,   t h e   p r e p r o c e s s i n s t e i n c l ude s   c l e a n i n da t a   f r o m   o ut l i e r s ,   r e du n d a n t ,   a n d   da t a   t ra n s f o r m i n g   [4] .   A l s o ,   b e f o r e   t h e   us i n o f   a   da t a s e t   fo r   de t e c t i o n   m o de l   e v a l ua t i o n,   i t   ha s   b e e n   n e c e s s a r y   t o   c l e a n   up  t h e   da t a s e t   f r o m   e rr o r s   t h a t   c o ul oc c ur   w h i l e   f l ow   da t a   a r e   a c qui r i ng  [5].   I n   ge n e ra l ,   pr e p r o c e s s i n c o n s u m e s   n e c e s s a r y   t i m e   a nd  a n   e s s e nt i a l   s t e f o r   t h e   de t e c t i o n   s y s t e m .     3 . 2 . 1 .   R e m o v i n r e d u n d an attr i b u te s   In  t h e   f i r s t   o f   pr e p r o c e s s i n g ,   t h e   CICID S 2 017d a t a s e t   c o n t a i n s   85  a t t r i b ut e s   b ut   m us t   c h e c i f   t h e r e   a r e   r e du n d a n t   a t t r i b ut e s   [22].   T h e r e fo r e   a n y   r e dun da nt   a t t ri b ut e   m us t   b e   r e m o ve t o   a s   a   r e qui r e m e n t   o f   t h e   a c c ur a t e   m o de l   a n a l y s i s   (e x.   ‘F w H e a de r   L e n gt h ’  t ha t   a ppe a r e t w i c e   i n   t h e   l i s t   o a t t r i b ut e s   i n   t h e   n um b e of   a n   a t t r i b ut e   (41 a n d   (62) ,   r e m o v i n o n e   o f   t h e m ) .   T h e   nu m b e r   o f   f e a t ur e s   a f t e t ha t   b e c o m e   84  [5] .     3 . 2 . 2.   T r an s fo r m i n o m i s s i n an d   i n fi n i ty   v al u e s   T h i s   r a w   da t a   o f   CICID S 2017  c o n t a i n s   a n o m a l o us   i n s t a n c e s ,   w h i c h   m a y   i n f l ue n c e   t h e   pe r f o r m a n c e   of   t h e   de t e c t i o n   s y s t e m   t a ki ng  i n t o   c o n s i de r a t i o n   t h a t   s o m e   de t e c t i o n   m e t h o ds   do   n o t   a c c e pt   t h e s e   t y p e s   o v a l ue s   [23].   T hus ,   r e pl a c i n t h e m   by   o t h e r   v a l ue s   c o ul be   a   s o l ut i o n   s uc h   a s   m i s s i n v a l ue s   t h a t   c a n   b e   r e pl a c e by   m i n i m u m   a n i n f i n i t e   v a l ue s   by   a   m a xi m u m   o t h e i r   a t t r i b ut e   v a l ue s .   F o r   e xa m p l e ,   t h e   f e a t ur e   ‘F l ow   P a c ke t s / s ’  i t h e   B o t n e t   d a t a s e t   i n c l ude s   a b n o rm a l   v a l ue s   a s   ‘I n f i ni t y ’  a nd  ‘N a N ’  [4].     3. 2 . 3 Tr an s fo r m i n d ata    CICID S 2017  c o n t a i n s   n o m i n a l   a t t r i b ut e s .   A s   m a n y   c l a s s i f i e r s   do   n o t   a c c e pt   n o m i na l   v a l ue s ,   t h e   t r a n s f o r m i ng  p r o c e s s   i s   v i t a l   a nd  ha s   a n   i m p a c t   o n   de t e c t i on   s y s t e m   a c c ur a c y   [24].   T h us ,   i t   i s   n e c e s s a r y   t r e pl a c e   e ve r y   s i n gl e   v a l ue   i n   a   n o m i n a l   a t t ri b ut e   w i t a i nt e ge r   t o   ha n dl e   t h e   s y m bo l i c   v a l ue s .   F o r   e xa m pl e ,   t r a n s f o r m i ng  t h e   IP   s o ur c e   a n d   de s t i na t i o n ,   f l ow   ID ,   a nd  t i m e s t a m i n t o   a i nt e ge r e pr e s e nt a t i o n   i s   a do pt e d.   B e s i de s ,   t h e   l a b e l   a t t ri b ut e   c o n t a i n s   t w o   n o m i na l   v a l ue s ;   bo t   a n b e ni g n   t h a t   c a t ra n s f o r m e   i n t o   b i n a r y   n u m e r i c   v a l ue s   s uc a s   0   i n s t e a o f   be n i g n   v a l ue   a n d   i n s t e a o f   Bo t   v a l ue .   A l s o ,   n o rm a l i z e m e t h o ds   us e t o   t ra n s f o r m   a l l   a t t ri b ut e s   v a l ue   i nt o   t h e   s a m e   ra n ge   [25] .   M i n m a i s   o n e   o f   t h e   n o r m a l i z a t i o n   s t ra t e gi e s   w h i c t ra n s f o r m   da t a s e t   v a l ue s   f r o m   ra n ge   t o   a n o t h e i e a c a t t r i b ut e   [ 6].     Y=   X X m i n   X m ax X m i n   (1)     W h e r e   X   i s   t h e   s e t   o f   da t a s e t   v a l ue s   o f   x,   X m i n   a n X m a a r e   m i n i m u m   v a l ue   a nd  m a x i m u m   v a l ue   of   a t t ri b ut e   v a l ue s .   T h e   n e w   ra n ge   o f   da t a   i s   0 ra n ge .     3. 3     C l u s te r i n d a ta   T h e   c l us t e r i n g   da t a   p r o c e s s   c o n v e r t s   o r   n o r m a l i z e s   t h e   v a l ue s   of   t h e   f e a t u r e s   i nt o   t o   1   r a n ge   b a s e o n   m e a n s   (M a n s t a n d a r de v i a t i o n   (S T D v a l ue s   pe r   f e a t ur e .   A l go r i t hm   o ut l i n e s   t h e   s t e ps   o t h e   c l us t e r i ng  p r o c e s s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     377   -   390   382   C l u s te r i n d ata   a l g o r i th m   o B o tD e te c to r F M :   Input: DS (Dataset matrix), R (No. of insta nces), F (Index of feature)   Output: DS_Clustering (Binary Dataset matrix that consist of 0 and 1 values)   ------------------------------------------------------------------------------------------- --------------------     1:   // Mean and STD calculation   2:  C alculate Mean (M) for each feature (F)   3:  Calculate Standard Deviation (STD) for each feature (F)   4:   5:   Calculate cluster1=M+STD/ / addition of mean and standard deviation   6:   Calculate cluster2=M - STD//difference between mean and standard deviation   7:   8:     //Clustering per Feature values Loop   9:   j=0        //j is a counter for No. of instances (R) in each feature (F)   10:  While j<R (stopping condition)   11:     Calculate value1=DS [F, j] - cluster1   12:    Calculate value2=DS [F, j] - cluster2   13:  if value1< value2   14:     DS_Clustering [F, j]=1   15:  else   16:    DS_Clustering [F, j]=0   17:  j++   18: Repeat step (10) until the stopping condition is reached       3. 4     D i s tan c e   m e as u r e   It   t a ke s   t h e   r e s ul t s   o f   b i n a r y   c l us t e r i ng,   t h e   n o rm a l i z e da t a ,   a s   i nput   a n d   e v a l ua t e s   t h e   d i s t a n c e   b e t w e e n   t h e   fe a t u r e   a n l a b e l   c l a s s .   In   ge n e ra l ,   t h e   do m a i n   of   di s t a n c e   m e a s u r e s   de pi c t s   di ff e r e n t   f o r m u l a s   fo r   m e a s u r i ng  t h e   di s t a n c e   be t w e e n   n u m e ri c a l   v e c t o r s   o a   s i m i l a r   l e n g t h .   B o t D e t e c t o r F M   t r i e s   t o   o p e n   o r   h e a t h e   i n v e s t i ga t i o n   o f i ve   fo r m u l a s   o n   CICID S 20 17,   e xpe r i e n c e s   t h e m   o n   t h e   pr o duc e n o rm a l i z e CICID S 2017  t ha t   m a y   o pt i m i z e   t h e   pe r f o r m a n c e s   of   t h e   c l a s s i f i e r s   c o n s e que n t l y   t h e   ov e r a l l   b o t n e t   de t e c t i o pr o c e s s .   L e t   us   a s s um e   t h e r e   a r e   t w o   r e a l - v a l ue X   a nd  Y   v e c t o r s   s uc h   a s   X = [x 1,   x2…  x n a n Y = [y 1,   y 2…   y n ],   w h e r e   X   i s   a n y   fe a t u r e   v a l ue s ,   w hi l e   Y   i s   a   l a b e l   c l a s s   v a l ue s .   A l s o ,   t h e   d i s t a n c e   m e a s u r e   a s   a   r e a l   n u m b e r   D   i s   a s s um e d .   T h e r e f o r e ,   i t   i s   c o m m o n   f o r   D   v a l ue s   t o   b e   w i t h i n   1 < = D < = 0 .   T h e   v a l ue   o f   di s t a n c e   i n c r e a s e s   a s   D   a ppr o a c h e s   1,   a n de c r e a s e s   a s   D   a ppr o a c h e s   [26 27].   T h e   pr o po s e di s t a n c e   m e a s u r e s   fo r   CICID S 2017   e v a l ua t e d   a c c o r di n g   t o   t h e   f o l l ow i n f o r m ul a e :     Co s i n e   M e a s u r e   [28 ] :     D Co s i n e   (X ,   Y ) = Xi Yi n i = 0 ( Xi ) 2       ( Yi ) 2 n i = 0 n i = 0   (2)       D i c e   M e a s ur e   [ 2 9] :     D D i c e   (X ,   Y ) =   2   Xi Yj n i = 0 ( Xi ) 2   +   ( Yj ) 2 n i = 0 n i = 0   (3)       D r i v e &   K r o e be r   m e a s u r e r   [1 1] :     D D R IV E R   &   K R O E B E R   (X ,   Y ) =   Xi Yi n i = 0 2 ( Xi ) 2 n i = 0 + Xi Yi n i = 0 2 ( Yi ) 2 n i = 0   (4)       O v e r l a m e a s u r e   [3 0] :     D O v e r l a (X ,   Y )=   Xi Yi n i = 0 m i n ( ( Xi ) 2   , ( Yi ) 2 n i = 0 n i = 0 )   (5)       P e a r s o c o rr e l a t i o m e a s u r e   [31] :     D P e a r s o n _ c o rr e l a s t i o n   (X ,   Y ) =   ( N Xi Yi n i = 0 ) ( Xi , j Yi ) n i = 0 n i = 0 [ ( N ( Xi ) 2 n j = 0 ) ( Xi ) n j = 0 2 ] [ ( N ( Yi ) 2 ) ( Yi ) n j = 0 2 ]   n i = 0   (6)     W h e r e   i - i t e m   i s   a   c o un t e r   f o r   t h e   num b e r   o f   f e a t ur e s   (N ).   A f t e r   c a l c ul a t i ng  t h e   di s t a n c e   f o r   e a c h   f e a t u r e ,   t h e   f e a t ur e s   r e a rra n ge r e l a t i v e   t o   t h e   hi g h e s t   di s t a n c e   v a l ue .   T hus ,   t h e   i m po rt a nt   f e a t u r e s   a dv a n c e   a t   t h e   h i g h e s t - Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       B ot D e t e c t or F W A o pt i m i z e d   B ot n e t   D e t e c t i on  F r am e w or k   bas e on   ( A a y F .   J abbar )   383   ra n ki ng  a nd  t h e   u nr e l a t e f e a t u r e s   a t   t h e   l e a s t - ra n k i n g .   T h e n,   r e t ri e v i n t h e   o r i gi na l   v a l ue s   fo r   f e a t u r e s   (t h e   o r i gi na l   v a l ue s   a r e   t h e   v a l ue s   be f o r e   a ppl y i n f e a t ur e   s e l e c t i o n   s t e ps   o n   i t ).   T h e   b e s t   di s t a n c e   m e a s ur e   i s   e qui v a l e n t   t o   t h e   hi g h e s t   pe r f o r m a n c e   m e a s u r e s   c h a ra c t e ri z e by   t h e   l e a s t   s e l e c t e f e a t ur e s .     3. 5 .       M a c h i n e   l e ar n i n g   It   i s   t e c hn i que s   o r   t o o l s   t h a t   a r e   ga i n i ng  po pul a ri t y   n o t   onl y   i n   t e r m s   o f   un k n o w n   a nd  k n o w n   m a l w a r e   de t e c t i o n   b ut   a l s o   l e a rni n f r o m   t h e   e n v i r o n m e n t ,   w h i c h   m a y   de t e c t   a t t a c ks   [32].   W E K A   i s   o n e   of  t h e s e   t o o l s   w r i t t e i J a v a .   It   i s   s o f t w a r e   f r e e l y   a c c e s s i bl e .   It   c o n t a i n s   t o o l s   fo r   s e v e r a l   t a s ks   s uc h   a s   c l us t e r i ng,   c l a s s i f i c a t i o n,   a s s o c i a t i o n   r ul e s   . . . e t c ,   i n   a dd i t i o n ;   t o o l s   fo r   a n a l y z i n t h e   l e a rni n r e s ul t s   [33].   T h e   c urr e n t   p a pe r   us e s   W E K A   3. 9   v e r s i o n   a s   t h e   t e s t i n e n v i r o nm e n t   o f   c l a s s i f i e r s .   T e s t   o pt i o n   us e i a l l   t e c hn i q ue s   s uc h   t ha t   t h e   pe r c e n t a ge   s pl i t   e qu a l   t o   70%,   t h i s   o pt i o di v i de s   t h e   da t a s e t   i n t o   a   t r a i n   s e t   7 0%  a n t e s t   s e t   30% .   T h e   c l a s s i f i c a t i o m o dul e   o f   Bo t D e t e c t o r F M   i n v e s t i ga t e s   f i v e   c l a s s i f i e r s   k n o w n   a s   r a ndo m   fo r e s t   w i t h i n   t h e   de c i s i o n   t r e e s   a l go r i t hm s   [34 35 ],   IB K   w i t h i n   l a z y   a l go r i t h m s   [35] ,   J R IP   w i t h i n   r u l e s   a l go ri t hm s   [34 36] ,   a nd  M u l t i l a y e r P e r c e pt r o n   w i t hi n   f u n c t i o n s   a l go r i t hm s   [33 37] .     3. 6 .       P e r fo r m an c e   e v al u ati o n   m e tr i c s   D i f fe r e n t   m e t r i c s   de s i g n e t o   m e a s u r e   t h e   e f f i c i e n c y   of   t h e   D e t e c t i o n   s y s t e m .   T y pi c a l l y ,   t h e s e   m e t r i c s   m e a s u r e f r o m   a   c o n f us i o n   m a t ri pe r s pe c t i v e .   In   B o t D e t e c t o r F M ,   a   c o n f us i o n   m a t r i us e t r e p r e s e n t   t h e   r e s ul t s   o t h e   de t e c t i o n   m o de l .   It   ha n d l e a s   a n   a n a l y s i s   t oo l   t o   m e a s ur e   w h e t h e r   t h e   c l a s s i f i e r   i s   go o i n   r e c o gni z i ng  t h e   i n s t a n c e s   o f   di f fe r e n t   c l a s s e s   [38 ].   T a b l e   i de nt i f i e s   t h e   c o n f us i o n   m a t ri x.       T a b l e   3 .   Co n f us i o n   m a t r i x   A c t u a l   P e r d i c t e d   A t t a c k   N o r m a l   A t t a c k   TP   FP   N o r m a l   FN   TN       T h e   f o l l ow i n a r e   b a s i c   t e rm s   t o   c l a s s i fy   e v e n t s   t ha t   de pi c t e d   i T a b l e   [ 39 ] :     T P   ( T r ue   P o s i t i v e ):   T h e   v a l ue   o b t a i n e f r o m   i nt e r s e c t i n g   po s i t i v e   a c t u a l   a nd  po s i t i v e   pr e di c t i v e   v a l ue s .     F P   (F a l s e   P o s i t i v e ):   T h e   v a l ue   o b t a i n e f r o m   i nt e r s e c t i n g   n e ga t i v e   a c t ua l   a nd  po s i t i v e   pr e di c t i v e   v a l ue s .     F N   (F a l s e   N e ga t i v e ):   T h e   v a l ue   o b t a i n e f r o m   i nt e r s e c t i n g   a c t ua l   po s i t i v e   a n d   n e ga t i v e   pr e d i c t i v e   v a l ue s .     T N   ( T r ue   N e ga t i v e ):   v a l ue   o b t a i n e f r o m   i nt e r s e c t i ng  n e g a t i v e   a c t ua l   a n d   p r e di c t i v e   n e ga t i v e   v a l ue s .   T h e   v a l ue s   of  T P   a n T N   p r o v i de   i n f o r m a t i o n   w h e n   t h e   c l a s s i f i e r   of   t h e   da t a   i s   t r ue ,   w h i l e   F P   a n d   F N   p r o v i de   i n f o r m a t i o w h e t h e   c l a s s i f i e i s   w r o n g   i c l a s s i fy i n t h e   da t a   [ 40 ] .     3 . 7     M e tr i c s   fr o m   th e   c o n fu s i o n   m atr i x   M a n y   pe r fo r m a n c e   m e t ri c s   de f i n e by   c o n f us i o n   m a t r i v a r i a b l e s .   T h us ,   t h e s e   m e t ri c s   pr o duc e   n u m e r i c   v a l ue s   t h a t   m a ke   s i m p l y   c o m pa ra b l e .   T hi s   s t udy   us e s   s o m e   pe r fo r m a n c e   m e t r i c s   t o   a pp r a i s e   t h e   pe r f o r m a n c e   o f   t h e   de t e c t i o n   s y s t e m ,   i n c l ud i n p r e c i s i o n   ( P R ),   r e c a l l   (R c ),   f - m e a s ur e   (F 1) ,   a n a c c ura c y   (A CC).   T h e   de f i n i t i o n s   o f   t h e s e   m e t ri c s   a r e   p r o v i de b e l ow   [ 39 ] :     A c c ur a c y   (A CC):   It   de f i n e a s   t h e   r a t i o s   m e a s ur e   o t h e   c orr e c t l y   c l a s s i f i e a n   o bj e c t   a s   e i t h e r   n o r m a l   o a t t a c k.   A c c ur a c y   c a l c ul a t e s   us i ng  (7) .     A CC=  +   +  +  +    (7)       P r e c i s i o n   (P R ):   It   i s   t h e   f ra gm e nt   o f   da t a   i n s t a n c e s   p r e di c t e a s   po s i t i v e   t h a t   a r e   po s i t i v e   p r e c i s i o r e p r e s e n t s   t h e   r a t i o   b e t w e e n   po s i t i v e   pr e di c t i o n s   a n d   a l l   n u m b e r   o f   po s i t i v e   v a l ue s .   P r e c i s i o c a n   b e   de f i n e us i n g   (8)     P r =   +    (8)       R e c a l l   (R c o r   s e n s i t i v i t y :   i s   t h e   s y s t e m ’s   a b i l i t y   t o   de t e c t   a l l   e xi s t i n a t t a c ks .   R e c a l l   c a n   c a l c ul a t e   f r o m   t h e   n u m b e r   o f   de t e c t e i nt r us i o n s   us i n g   t h e   s y s t e m   o n   a l l   o f   t h e   a c t u a l   i n t rus i o n s .   T h i s   m e t ri c   i s   e qui v a l e nt   t o   t h e   de t e c t i o r a t e .   R e c a l l   c a n   b e   de f i n e us i n g   (9) .     R c =   +    (9)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     377   -   390   384     F - M e a s ur e   (F 1):   It   i s   a   h a rm o ni c   c o m b i na t i o n   o p r e c i s i o n   (P r a nd  r e c a l l   (R c i n t o   a   s i n gl e   m e a s u r e .   F - M e a s ur e   c a l c ul a t e us i ng  ( 10).     F 1= 2 1      +     1    (10)       4.   R ES U LTS   A N D   D I S C U S S I O N   A s   m e nt i o n e e a rl i e r,   t h e   o b j e c t i v e   i s   t o   r e duc e   t h e   d a t a   d i m e n s i o o f   CICID S 2017  t ha t   e xpe c t e t o   i m p a c t   t h e   bo t n e t   de t e c t i o n   p r o c e s s   pos i t i v e l y .   T h e   s e l e c t e d   fe a t u r e s   a r e   t h e   hi g h e s t   t e n   f e a t u r e s   de t e r m i n e f r o m   e a c f e a t u r e   s e l e c t i o n   m e t h o c o n s i de r e a s   a   s e t   o f   o pt i m a l   f e a t ur e s   T a b l e   4 .       T a b l e   4 .   S h o w   h i g h e t e f e a t ur e s   o r de f r o m   e a c d i s t a n c e   m e a s u r e   D i s t a n c e   M e a s u r e   H i g h e s t   1 0   S e l e c t e d   F e a t u r e s   Co s i n e   D e s t i n a t i o n   P o r t ,   P S H   F l a g   C o u n t ,   In i t _ W i n _ b y t e s _ f o r w a r d ,   U RG   F l a g   Co u n t ,   F w d   P a c k e t ,   L e n g t h   S t d ,   F w d   P a c k e t   L e n g t h   M a x ,   D o w n / U p   Ra t i o ,   A C K   F l a g   Co u n t ,   B w d   P a c k e t s / s ,   F l o w   P a c k e t s / s   D i c e   D e s t i n a t i o n   P o r t ,   U RG   F l a g   Co u n t ,   P S H   F l a g   C o u n t ,   In i t _ W i n _ b y t e s _ fo r w a rd ,   F l o w   P a c k e t s / s ,   F w d   P a c k e t   L e n g t h   S t d ,   F w d   P a c k e t   L e n g t h   M a x ,   A C K   F l a g   C o u n t ,   F w d   P a c k e t s / s ,   B w d   P a c k e t s / s   D R I V ER & K R O E BER   D e s ti n a t i o n   P o r t,   D o w n / U p   R a ti o ,   I n i t_ W i n _ b y te s _ fo r w a r d ,   P S H   F l a g   C o u n t,   U R G   F l a g   C o u n t,   S o u r c e   P o r t,   F w d   P a c k e t   Le n g t h   S td ,   F w d   P a c k e t   Le n g th   M a x ,   A C K   F l a g   Co u n t ,   B w d   P a c k e t s / s   O v e r l a p   D e s ti n a t i o n   P o r t,   D o w n / U p   R a ti o ,   I n i t_ W i n _ b y te s _ fo r w a r d ,   P S H   F l a g   C o u n t,   S o u r c e   P o r t,   A C K   F l a g   C o u n t,   F w d   P a c k e t   Le n g t h   S td ,   F w d   P a c k e t   Le n g th   M a x ,   B w d   P a c k e t s / s ,   U RG   F l a g   Co u n t   P e a r s o n   C o rr e l a t i o n   D e s t i n a t i o n   P o r t ,   P S H   F l a g   C o u n t ,   U RG   F l a g   C o u n t ,   In i t _ W i n _ b y t e s _ fo r w a rd ,   F w d   P a c k e t   L e n g t h   S t d ,   F l o w   P a c k e t s / s ,   F w d   P a c k e t   L e n g t h   M a x ,   A C K   F l a g   C o u n t ,   B w d   P a c k e t s / s ,   F w d   P a c k e t s / s       A s   n o t e i n   t h e   t a b l e   a bo ve ,   m o s t   of   t h e   t e n   s e l e c t e fe a t ur e s   a r e   t h e   s a m e   i n   a l l   di s t a n c e   m e a s u r e s ,   b ut   t h e y   di ffe r   i n   a   f e w .   In   a dd i t i o n ,   t h e   o r de r   o f   fe a t ur e s   i s   d i f fe r e n t   i n   a l l   m e a s u r e s .   T hi s   a l s o   m a y   a ff e c t   t h e   r e s ul t s   w h e n   a ppl y i n s o m e   c l a s s i f i c a t i o n   a l go ri t hm s .   T h e n   t e s t i n t h e   o pt i m a l   f e a t ur e s   di s pl a y e i n   T a b l e   1   us i n c l a s s i f i c a t i o n   a l go ri t hm s .   T h e   i m p l e m e nt a t i o n   r e s ul t s   of   c l a s s i f i c a t i o n   a l go ri t hm s   a r e   di s p l a y e i n   T a b l e s   5,   6,   a n 7,   w h i c h   c o n s i de r   a   t o t a l   o 10,   9,   a n f e a t ur e s   r e s pe c t i v e l y .   T h e   r e s ul t s   a r e   ob t a i n e us i n a   t e s t   s e t .   B o l v a l ue s   e xhi b i t   t h e   h i g h e s t   r e s ul t   v a l ue s   ob t a i n e by   a ppl y i n s o m e   c l a s s i f i e m o de l s .     F i gu r e s   3,   4,   a n e x h i b i t   pe r f o r m a n c e   c o m pa r i s o n s   o f   c l a s s i f i e r s .   T h e   d i s pl a y e b a r s   i n   b l ue ,   r e d,   g r e e n   a n d   purpl e   c o l o ur s   r e p r e s e n t   t h e   a c c u r a c y   o f   M L P ,   IB k,   J R i p,   a nd  r a ndo m   f o r e s t   c l a s s i f i e r s   r e s pe c t i v e l y .       T a b l e   5 .   T h e   r e s ul t s   o f   c l a s s i f i c a t i o n   a l go r i t h m s   f o r   t e s t   s e t   b a s e o n   t h e   hi g h e s t   t e n   (1 0)  s e l e c t e f e a t u r e s   D i s t a n c e   M e a s u r e   Cl a s s i fi c a t i o n   A l g o r i t h m   A C C   Pr   Rc   F1   Co s i n e   M u l t i l a y e rP e r c e p t ro n   9 9 . 5 8 9 9   %   0 . 9 7 8   0 . 6 1 4   0 . 7 5 4   J Ri p   9 9 . 9 5 6 4   %   0 . 9 7 2   0 . 9 8 6   0 . 9 7 9   IBK   9 9 . 8 2 3 8   %   0 . 8 9 3   0 . 9 4 0   0 . 9 1 6   Ra n d o m   F o re s t   9 9 . 9 6 5 1   %   0 . 9 8 8   0 . 9 7 8   0. 983   D i c e   M u l t i l a y e rP e r c e p t ro n   9 9 . 5 9 3 4   %   0 . 9 7 1   0 . 6 2 2   0 . 7 5 9   J Ri p   9 9 . 9 6 3 4   %   0 . 9 8 1   0 . 9 8 3   0 . 9 8 2   IBK   9 9 . 8 1 6 8   %   0 . 8 8 8   0 . 9 4 0   0 . 9 1 3   Ra n d o m   F o re s t   9 9 . 9 6 5 1   %   0 . 9 9 0   0 . 9 7 6   0 . 9 8 3   D RIV E &   K RO E BE R   M u l t i l a y e rP e r c e p t ro n   9 9 . 8 3 7 7   %   0 . 9 9 6   0 . 8 4 5   0 . 9 1 7   J Ri p   1 0 0   %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   IBK   9 9 . 9 9 4 8   %   0 . 9 9 8   0 . 9 9 7   0 . 9 9 7   Ra n d o m   F o re s t   1 0 0   %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   O v e rl a p   M u l t i l a y e rP e r c e p t ro n   9 9 . 8 4 4 7   %   0 . 9 9 4   0 . 8 5 4   0 . 9 1 9   J Ri p   1 0 0   %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   IBK   9 9 . 9 9 4 8   %   0 . 9 9 8   0 . 9 9 7   0 . 9 9 7   Ra n d o m   F o re s t   1 0 0   %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   P e a r s o n   C o rr e l a t i o n   M u l t i l a y e rP e r c e p t ro n   9 9 . 6 0 3 9   %   0 . 9 9 7   0 . 6 1 6   0 . 7 6 1   J Ri p   9 9 . 9 6 1 6   %   0 . 9 7 8   0 . 9 8 5   0 . 8 1   IBK   9 9 . 8 1 6 8   %   0 . 8 8 8   0 . 9 4 0   0 . 9 1 3   Ra n d o m   F o re s t   9 9 . 9 6 6 8   %   0 . 9 9 0   0 . 9 7 8   0 . 9 8 4       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       B ot D e t e c t or F W A o pt i m i z e d   B ot n e t   D e t e c t i on  F r am e w or k   bas e on   ( A a y F .   J abbar )   385   T a b l e   6 .   T h e   r e s ul t s   o f   c l a s s i f i c a t i o n   a l go r i t h m s   f o r   t e s t   s e t   b a s e o n   t h e   hi g h e s t   n i n e   ( 9)  s e l e c t e f e a t u r e s   D i s t a n c e   M e a s u r e   Cl a s s i fi c a t i o n     A l g o ri t h m   A C C   Pr   Rc   F1   Co s i n e   M u l t i l a y e rP e r c e p t ro n   9 9 . 6 0 3 9   %   0 . 9 9 7   0 . 6 1 6   0 . 7 6 1   J Ri p   9 9 . 9 6 5 1   %   0 . 9 8 0   0 . 9 8 6   0 . 9 8 3   IBK   9 9 . 8 3 4 2   %   0 . 9 0 3   0 . 9 3 9   0 . 9 2 1   Ra n d o m   F o re s t   9 9 . 9 7 9 1   %   0 . 9 9 1   0 . 9 8 8   0. 990   D i c e   M u l t i l a y e rP e r c e p t ro n   9 9 . 6 0 2 2   %   0 . 9 9 5   0 . 6 1 6   0 . 7 6 1   J Ri p   9 9 . 9 5 8 1   %   0 . 9 7 5   0 . 9 8 5   0 . 9 8 0   IBK   9 9 . 8 2 9   %   0 . 8 9 6   0 . 9 4 2   0 . 9 1 9   Ra n d o m   F o re s t   9 9 . 9 7 2 1   %   0 . 9 8 8   0 . 9 8 5   0 . 9 8 6   D RIV E &   K RO E BE R   M u l t i l a y e rP e r c e p t ro n   9 9 . 7 3 1 3   %   0 . 9 8 9   0 . 7 4 7   0 . 8 5 1   J Ri p   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   IBK   9 9 . 9 9 6 5   %   0 . 9 9 8   0 . 9 9 8   0 . 9 9 8   Ra n d o m   F o re s t   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   O v e rl a p   M u l t i l a y e rP e r c e p t ro n   9 9 . 8 3 6   %   0 . 9 9 6   0 . 8 4 4   0 . 9 1 3   J Ri p   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   IBK   9 9 . 9 9 1 6   %   0 . 9 9 5   0 . 9 9 7   0 . 9 9 6   Ra n d o m   F o re s t   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   P e a r s o n   Co rr e l a t i o n   M u l t i l a y e rP e r c e p t ro n   9 9 . 6 0 2 2   %   0 . 9 9 5   0 . 6 1 6   0 . 7 6 1   J Ri p   9 9 . 9 5 1 1   %   0 . 9 7 1   0 . 9 8 1   0 . 9 7 6   IBK   9 9 . 8 0 9 8   %   0 . 8 8 3   0 . 9 3 9   0 . 9 1 0   Ra n d o m   F o re s t   9 9 . 9 7 2 1   %   0 . 9 9 0   0 . 9 8 3   0 . 9 8 6       T a b l e   7 .   T h e   r e s ul t s   o f   c l a s s i f i c a t i o n   a l go r i t h m s   f o r   t e s t   s e t   b a s e o n   t h e   hi g h e s t   e i g h t   (8)   s e l e c t e f e a t ur e s   D i s t a n c e   M e a s u r e   Cl a s s i fi c a t i o n     A l g o ri t h m   A C C   Pr   Rc   F1   Co s i n e   M u l t i l a y e rP e r c e p t ro n   9 9 . 6 0 3 9   %   0 . 9 9 7   0 . 6 1 6   0 . 7 6 1   J Ri p   9 9 . 9 6 8 6   %   0 . 9 7 5   0 . 9 9 5   0 . 9 8 5   IBK   9 9 . 9 4 2 4   %   0 . 9 6 6   0 . 9 7 8   0 . 9 7 2   Ra n d o m   F o re s t   9 9 . 9 6 8 6   %   0 . 9 8 5   0 . 9 8 5   0 . 9 8 5   D i c e   M u l t i l a y e rP e r c e p t ro n   9 9 . 6 0 2 2   %   0 . 9 9 5   0 . 6 1 6   0 . 7 6 1   J Ri p   9 9 . 9 6 5 1   %   0 . 9 8 1   0 . 9 8 5   0 . 9 8 3   IBK   9 9 . 8 1 5   %   0 . 8 9 1   0 . 9 3 4   0 . 9 1 2   Ra n d o m   F o re s t   9 9 . 9 7 5 6   %   0 . 9 8 8   0 . 9 8 8   0 . 9 8 8   D RIV E &   K RO E BE R   M u l t i l a y e rP e r c e p t ro n   9 9 . 8 4 4 7   %   0 . 9 9 4   0 . 8 5 4   0 . 9 1 9   J Ri p   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   IBK   9 9 . 9 9 6 5   %   0 . 9 9 8   0 . 9 9 8   0 . 9 9 8   Ra n d o m   F o re s t   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   O v e rl a p   M u l t i l a y e rP e r c e p t ro n   9 9 . 5 3 7 6   %   0 . 9 0 3   0 . 6 1 6   0 . 7 3 2   J Ri p   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   IBK   9 9 . 9 9 6 5   %   0 . 9 9 8   0 . 9 9 8   0 . 9 9 8   Ra n d o m   F o re s t   1 0 0 %   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   P e a r s o n   C o rr e l a t i o n   M u l t i l a y e rP e r c e p t ro n   9 9 . 6 0 3 9   %   0 . 9 9 7   0 . 6 1 6   0 . 7 6 1   J Ri p   9 9 . 9 5 6 4   %   0 . 9 7 3   0 . 9 8 5   0 . 9 7 9   IBK   9 9 . 8 1 5   %   0 . 8 9 1   0 . 9 3 4   0 . 9 1 2   Ra n d o m   F o re s t   9 9 . 9 7 5 6   %   0 . 9 9 0   0 . 9 8 6   0 . 9 8 8       It   n o t i c e t h a t   t h e   b e s t   di s t a n c e   m e a s u r e s   (r e s ul t s ga i n e f r o m   B o t D e t e c t o r F M   w h e n   o v e r l a p   a n d   D r i v e r & K r o e be r   m e a s u r e s   i m pl e m e n t e d   a n p r o v e by   t h e   pe r f o r m a n c e   of   c l a s s i f i e r s .   B o t h   gi v e   s i gn i f i c a n t   r e s ul t s   b a s e o n   t h e   pe r f o r m a n c e   m e t r i c s   i n   a l l   c l a s s i f i c a t i o n   m e t h o ds .   E s pe c i a l l y ,   r a n do m   f o r e s t   a n J R i a l go ri t hm s .   A s   a   r e s ul t   a n di s t i n c t i o n,   B o t D e t e c t o r F M   s uc c e e de i n   r e duc i n t h e   num b e r   o f   be s t   fe a t ur e s   o CICID S 2017  f r o m   t e n   t o   e i gh t   (8)  p r o v i di n f e w e r   c o m pl e xi t i e s   i n   t e r m s   o t i m e   a n s pa c e   pr o c e s s i n a s   a   bo t n e t   de t e c t i o s y s t e m   c o m pa r e t o   t h e   e xpl o r e p r e v i o us   w o r ks .   A l s o ,   i t   i s   c ri t i c a l   t o   po i n t   o ut   t ha t   t h e   n u m b e r   o s i gn i f i c a nt   f e a t ur e s   c a nn o t   b e   r e duc e t o   l e s s   t h a n   be c a us e   i t   m a y   n e ga t i v e l y   a ffe c t   t h e   de t e c t i o n   pe r f o r m a n c e   a n i t s   a c c ur a c y .   M o v i n f ur t h e r   i n   t h e   di s c us s i o n   of   c l a s s i f i c a t i o n   r e s ul t s   us i n t h e   pe r f o r m a n c e   m e t r i c s   m a y   s h o w   m o r e   de e pe r s pe c t i ve s   o r   i ndi c a t i o n s .   F i r s t ,   t h e   a c c u r a c y   c a n   s e e   i n   t h e   l a b e l   (a o n   F i gu r e   3,   F i gu r e   4,   a nd  F i gu r e   5 ,   t h e   h i g h e s t   a c c u r a c y   (A CC)  fo r   a l l   d i s t a n c e   m e a s u r e m e n t s   i s   i n   t h e   R F   a l go r i t hm   f o l l ow e by   t h e   J R i p,   IB K ,   a n d   M L P   a l go ri t hm s   r e s pe c t i v e l y .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     377   -   390   386       (a )   a c c ura c y     ( b)   pr e c i s i o n       (c )   r e c a l l     (d)   f - m e a s u r e       (e )   3D   l i n e   c h a r t     F i g u r e   3 .   C o m p a r i s o n   o f   p e r f o r m a n c e   m e t r i c s   w i t h  f e a t u r e   s e l e c t i o n   m e t h o d s   b a s e o n   t h e   hi g h e s t   T e s e l e c t e f e a t ur e s           T h e   a c c ura c y   r a t e   i o v e r l a a nd  D r i v e r & K r o e b e r   m e a s u r e s   r e a c h e t o   100% .   s e c o n d,   p r e c i s i o n   (P r )   m e a s u r e   c a n   n o t i c e   i n   t h e   l a b e l   (b o n   F i gur e   3,   F i g u r e   4,   a nd  F i gu r e   5),   t h e   hi g h e s t   p r e c i s i o n   v a l ue   i s   i n   t h e   R F   a n J R i a l go ri t hm s   f o r   t h e   o ve r l a p   a n d   D r i v e r & K r o e b e r   d i s t a n c e   m e t h o ds   r e a c h e t o   ( h i g h e s t   v a l u e ) ,   b ut   t h e   h i g h e s t   p r e c i s i o n   v a l ue   f o r   o t h e r   d i s t a n c e   m e t h o ds   i s   i n   t h e   M L P   a l go ri t hm .   T hi s   di f f e r e n c e   i n   t h e   v a l ue s   of   P r   due   t o   i t s   de pe n de n c y   o n   t h e   T P   f o r   b o t n e t   i n s t a n c e s   a n F N   f o r   b e n i g n   i n s t a n c e s ,   a n s i n c e   t h e   b e n i g n   i n s t a n c e s   e xc e e t h e   i n s t a n c e s   o f   bo t n e t   v e r y   m uc h ,   i t   i s   t h e   r e a s o n   f o r   t hi s   d i f f e r e n c e   a s   w e l l   a s   t hi s   i s   o n e   of   t h e   pr o b l e m s   of   t h i s   d a t a s e t .   T h i r d l y ,   r e c a l l   (R c m e t r i c   i s   s h o w n   i n   t h e   l a b e l   (c o n   F i gu r e   3,   F i gu r e   4,   Evaluation Warning : The document was created with Spire.PDF for Python.