I n te r n ati o n al   Jo u r n al   o f  El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   4 ,  A ugus t   20 20 ,  pp .   4340 ~ 4351   IS S N :   2088 - 8708 ,  D O I :   10. 1 1591 / i j e c e . v 10 i 4 . pp 4340 - 4351             4340       Jou r n al   h o m e pa ge :  ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   S e m i - su p e r v i sed l e a r n i n g   a p p r o a c h   u si n g   m o d i f i e d   s e l f - t r a i n i n g   a l g o r i t h m   t o   c o u n t e r   b u r st   h e a d e r   p a c k e t   f l o o d i n g   a t t a c k   i n   o p t i c a l   b u r st   s w i t c h i n g   n e t w o r k         M d .   K am r u l   H o s s ai n ,   M d .   M o k am m e l   H aq u e   D e pa r t m e n t   o f   C o m put e r   S c i e nc e   a n d  E ng i ne e r i ng ,   C h i t t a g o ng   U ni v e r s i t y   of   E ng i ne e r i ng   a nd   T e c hno l o gy ,   B a ng l a de s h       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  N ov   3 ,   2019   R e v i s e d  F e b   2 5 ,   202 0   A c c e pt e d  M a r   3 ,   2020       B ur s t   h e a d e r   pa c ke t   f l o o di ng   i s   a n  a t t a c k  o n  o pt i c a l   bu r s t   s w i t c h i ng   ( O B S )   ne t w o r k  w hi c h  m a y   c a us e   d e ni a l   o f   s e r v i c e .   A ppl i c a t i o n  o f   m a c hi n e   l e a r ni ng  t e c hni que   t o   d e t e c t   m a l i c i o us   no de s   i n  O B S   n e t w o r k   i s   r e l a t i v e l y   ne w .     A s   f i ndi ng   s uf f i c i e nt   a m o unt   o f   l a b e l e d   da t a   t o   pe r f o r m   s upe r v i s e d  l e a r ni ng   i s   d i f f i c ul t ,   s e m i - s up e r v i s e d   m e t ho d   o f   l e a r ni ng   ( S S M L )   c a n   be   l e v e r a g e d.     I n  t hi s   pa pe r ,   w e   s t ud i e d   t h e   c l a s s i c a l   s e l f - t r a i ni ng   a l g o r i t hm   ( S T )   w hi c h  us e s   S S M L   pa r a di g m .   G e ne r a l l y ,   i n   S T ,   t he   a v a i l a bl e   t r ue - l a be l e d  d a t a   ( L )   i s   u s e d   t o   t r a i n  a   ba s e   c l a s s i f i e r .   T he n   i t   pr e di c t s   t he   l a be l s   o f   unl a be l e d   da t a   ( U ) .     A   po r t i o n  f r o m   t he   ne w l y   l a be l e d   d a t a   i s   r e m o v e d  f r o m   U   ba s e d  o n  pr e d i c t i o n  c o nf i de nc e   a nd   c o m bi ne d  w i t h  L .   T he   r e s u l t i ng   da t a   i s   t he n   u s e d   t o   r e - t r a i n   t h e   c l a s s i f i e r .   T h i s   p r o c e s s   i s   r e pe a t e d   un t i l   c o nv e r g e nc e .   T hi s   pa pe r   pr o po s e s   a   m o di f i e d   s e l f - t r a i ni ng   m e t ho d  ( M S T ) .   W e   t r a i ne d  m u l t i p l e   c l a s s i f i e r s   o n  L   i n   t w o   s t a g e s   a nd   l e v e r a g e d   a g r e e m e n t   a m o ng   t ho s e   c l a s s i f i e r s   t o   de t e r m i n e   l a be l s .   T he   pe r f o r m a nc e   o f   M S T   w a s   c o m pa r e d   w i t h  S T   o n   s e v e r a l   da t a s e t s   a nd   s i g ni f i c a n t   i m p r o v e m e nt   w a s   f o und .   W e   a ppl i e d  t he   M S T   o n  a   s i m u l a t e d   O B S   ne t w o r k   da t a s e t   a nd   f o und  v e r y   hi g h   a c c ur a c y   w i t h   a   s m a l l   num b e r   o f   l a be l e d   da t a .   F i na l l y   w e   c o m pa r e d   t h i s   w o r k  w i t h   s o m e   r e l a t e d   w o r ks .   K e y w or d s :   BH P   f l oo di n g   a t t a c k   Cl a s s i f i c a t i o n   O pt i c a l   b ur s t   s w i t c hi n g   n e t w o r k   S e l f - t r a i n i n g   a l go ri t hm   S e m i - s upe r v i s e d  l e a rni n g     C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .    A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M d.   K a m rul   H os s a i n ,    D e pa rt m e n t   o f   Co m put e r  S c i e n c e   a nd  E n g i n e e r i ng ,   Chi t t a go n g  U n i v e r s i t y   of   E n gi n e e r i n g   a n d  T e c hn o l o g y ,     Chi t t a go n g - 434 9,   B a n gl a de s h.   E m a i l :   m u ha m m a dk a m r u l h o s s a i n @ gm a i l . c o m       1.   I N TR O D U C TI O N     O pt i c a l   b ur s t   s w i t c h i ng  (O B S )  [1]   n e t w o r k  i s   a   n e w   ge n e ra t i o n   o pt i c a l   n e t w o r ki n g  pa ra di gm   t h a t   c o m b i n e s   t h e   a dv a nt a ge s   o f   t r a di t i o na l   o pt i c a l   c i r c ui t   s w i t c h i n g (O CS )  a n d   o pt i c a l   p a c ke t   s w i t c h i n g(O P S ) .     In  O B S   n e t w o r k,   a n  IP   p a c ke t   o r  o pt i c a l   pa c ke t   w h i c h  i s   t ra v e l l i n g   f r o m   s o ur c e   t o   de s t i na t i o n,   i s   f i r s t   r e c e i v e d  by   a n  i ng r e s s   n o de   (o pt i c a l   r o ut e r ) .   T h e r e   i t   i s   b uff e r e d  f o r   a   v e r y   s h o r t   t i m e   w hi c h  i s   n o t   a s   b i g    a s   i n  O CS .   I n  t h i s   t i m e ,   o t h e r  pa c ke t s   m a y   j o i n  w i t h   t h e   f o rm e r  p a c ke t   i n  t ha t   b uf fe r .   W h e n  t h e   t i m e   i s   o v e r ,     a   c o nt r o l   p a c ke t   o r  b ur s t   h e a de r  p a c ke t   (B H P )  i s   s e n t   f r o m   t h e   i n g r e s s   n o de   l i ke   O CS   t o   t r y   a l l o c a t i n g   r e s o ur c e s   f o r   t h e   pa c ke t s   i n  b uf fe r   t o   t ra v e l   t o w a r ds   de s t i na t i o n .   A f t e r  w a i t i n g   f o r   a   w h i l e ,   t h e   da t a   (p a c ke t s )  i n  t h e   b uff e r   w i l l   b e   s e n t   w i t h o ut   w a i t i ng   f o r   c o n f i r m a t i o n  f ro m   t h e   s e nt   B H P .   I n  t hi s   w a y ,   t hi s   O B S   s c h e m e   w o r ks   l i ke   b o t h  O P S   a nd  O CS   b ut   w i t h o ut   t h e   a s s o c i a t e d  pr o b l e m s   o f   O P S / O CS   l i ke   hi g h  s e t up   l a t e n c y ,     l o w   b a n dw i dt h  ut i l i z a t i o n  o r  o pt i c a l   b uff e r   r e qui r e m e n t   e t c .   I n  O B S   n e t w o r k,   B H P   f l o o di n g   a t t a c k   [2]     i s   a   t y pe   of   D o S   a t t a c k  w h e r e   a   m a l i c i o us   n o de   s e n d   B H P s   t o   o pt i c a l   s w i t c h  t o   a l l o c a t e   r e s o ur c e s   b ut   i t   do e s   s e n d  a n y   v a l i d  d a t a   a f t e r  i t ,   i . e .   i t   w a n t s   t o   h o l d   t h e   r e s o ur c e s   of   t h e   c o r e   n o de   t o   de p r i v e   l e gi t i m a t e   n o de s   f r o m   us i n g   i t .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Se m i - s up e r v i s e d   l e ar ni ng   appr o ac h   us i n g  m od i f i e d   s e l f - t r ai n i ng  al gor i t hm …   ( Md.   Kam r ul   H os s ai n )   4341   T o   p r e v e n t   B H P   f l oo di n g   a t t a c k,   s o m e   a pp r o a c h e s   w e r e   di s c us s e d  i n  [2 - 4] .  T h e s e   m e t h o ds   m o r e     o r   l e s s   de pe n d  o n   h u m a n  n e t w o r k  a d m i ni s t ra t o r  t o   s e t   r ul e s   fo r   l a b e l i ng  m i s b e h a v i n g  n o de s .   T hi s   p r e v e n t s   t h e m   f r o m   b e i n g   f ul l y   a ut o m a t e d.   M a c h i n e   l e a rni n g   (M L )   a ppr o a c h  i n  c l a s s i f i c a t i o n  o f   O B S   n e t w o r k  n o de s     i s   n o t   a b u n d a n t   i n  e xi s t i n g   l i t e r a t u r e s   a s   pe r  o ur  s t u dy .   L i t t l e   r e s e a r c h  i s   a v a i l a b l e   r e g a r di ng   a p pl i c a t i o n     of   M L   i n  c o nt e xt   o f   O B S   n e t w o r k.   T h e   n um b e r  i s   f e w e r   i n  t e r m s   o f   w o r ks   t ha t   s pe c i f i c a l l y   de a l   w i t h     t h e   a pp l i c a t i o n   o f   M L   t o   pr e v e n t   B H P   f l oo di n g.   A m o n g   t h e m ,   R a j a b   e t   a l .   i n  [5]   di s c us s e d  a b o ut   a   de c i s i o n   t r e e   b a s e d  r ul e   f i n d i n g  m e t h o d  f r o m   a   m a n ua l l y   b ui l t   d a t a s e t   o f   O BS   n e t w o r k.   T h e   a ut h o r s   s uc c e s s f ul l y   e m pl oy e d  s upe r v i s e d  M L   a pp r o a c h  t o   c l a s s i fy   t h e   da t a   a nd  h e n c e   ge n e r a t e   s o m e   r ul e s   t o   go v e r n  t h e   b e h a v i o r   of   O B S   n e t w o r k   n o de s .   T h o ug h  t h i s   r e s e a r c h  p a v e d  t h e   w a y   fo r   s u pe r v i s e d  l e a rn i ng   a p p r o a c h  i n  c o u n t e r i n g   BH P   f l oo di n g  a t t a c k,   s e m i - s upe r v i s e d  o r   u n s upe r v i s e d  m e t h o ds   s h o ul d   b e   i n v e s t i ga t e d  b e c a us e   f i n di ng  l a b e l e d  da t a   f o r   s upe r v i s e d  l e a rni n g  i s   n o t   a l w a y s   p o s s i b l e .   I n   [ 6]   a ut h o r s   e xpl o i t e d  de e p  l e a rn i ng  m e t h o d    i n  s upe r v i s e d  l e a rni n g   a pp r o a c h  t o   de t e c t   m i s b e ha v i n g   O B S   n e t w o r k  n o de s .   T h e y   c o m pa r e d   t h e i r  a pp r o a c h   w i t h  N a ï v e   B a y e s ,   s uppo r t   v e c t o r   m a c h i n e ,   k - n e a r e s t   n e i g h b o r s ,   a nd  f o un d   s upe r i o r  pe r f o r m a n c e .     A   s e m i - s upe r v i s e d  c l a s s i f i c a t i o n  o f   O B S   n e t w o r k  d a t a s e t   w a s   do n e   i n  [7]   us i n g   k - m e a n s   c l us t e ri n g   t e c hni que .   T h e   a u t h o r s   us e d  20%   i n s t a n c e s   o f   a   l a b e l e d  da t a s e t   t o   t ra i n  t h e i r   m e t h o d.   T h e y   o b t a i n e d  90. 2 %  a c c ura c y   fo r   t w o   c l a s s   c l a s s i f i c a t i o n   (us i n g  15 2  l a b e l e d  i n s t a n c e s )  a n d   41. 61 %  a c c u r a c y   fo r   f o ur   c l a s s   c l a s s i f i c a t i o n     (us i n g  215   l a b e l e d  i n s t a n c e s )  o f   O B S   n e t w o r k  n o de s .   In  t hi s   s t udy ,   w e   a r e   p r o po s i n g   a   s e m i - s upe r v i s e d  a pp r o a c h   t o   l e a rn   t h e   m a l i c i o us   b e h a v i o r   o f   O B S   n e t w o r k  n o de s .   T o   t h e   b e s t   o f   o ur   k n o w l e dge ,   t h i s   s t udy   i s   t h e   f i r s t   t o   o ff e r   a   s e m i - s upe r v i s e d  s o l ut i o n   w i t h   hi g h   a c c ur a c y   i n   c l a s s i f i c a t i o n   o f   O B S   n e t w o r k  n o de s   w h e n   t h e   a m o u n t   o f   l a b e l e d  da t a   i s   s m a l l .   S e m i - s u pe r v i s e d  l e a rni ng   ( S S M L )   [ 8 ,   9]   i s   a   po p u l a r  m a c hi ne   l e a r ni ng   p a ra d i g m   w hi c h  m a ke s   us e   o f   u nl a b e l e d  d a t a   t o   f i nd   a   b e t t e r  i ns i g ht   a b o u t   t he   s t ru c t u r e   o f   d a t a .   I t   i s   v e r y   us e f u l   w h e n  w e   ha v e   a   l a rge   a m o u nt   o f   u nl a b e l e d   d a t a   b u t   r e l a t i v e l y   s m a l l   a m o u nt   o f   l a b e l e d   d a t a .   T hi s   c a s e   i s   a pp ro p ri a t e   f o r  O B S   n e t w o r k   a s   f u l l y   l a b e l e d   d a t a s e t s   a re   n o t   w i de l y   a v a i l a b l e   a nd   i t   i s   r e l a t i v e l y   e a s y   t o   f i nd   u nl a b e l e d / p a rt i a l l y - l a b e l e d   O B S   ne t w o r k   d a t a .   A n o t h e r  r e a s o n   f o r   t h e   s c a r c i t y   of   pr o pe r l y   l a b e l e d  da t a   i s   t ha t   O B S   n e t w o r k  i s   n o t   y e t   w i de l y   i m p l e m e n t e d.   M a n y   a l go r i t h m s   ha v e   b e e n   de v e l o p e d  t o   e xp l o i t   t h e   u nl a b e l e d  da t a   b a s e d  o n   t h e   t h o ug h t   t ha t   e ve n   t h o ug h  t h e   c l a s s i f i c a t i o n   o f   t h e   u nl a b e l e d  da t a   a re   unk n o w n ,   t h e   d a t a   i t s e l f   c a rr i e s   s i g ni f i c a n t   i n f o r m a t i o n  a b o ut   t h e   c l a s s   p a r a m e t e r s .   S o m e   c o m m o n l y   a pp l i e d  S S M L   t e c hni que s   a r e :   S e l f   t ra i ni n g ,   co - t r a i ni n g ,   ge n e r a t i v e   m o de l s ,   g r a p h - b a s e d  a l go r i t h m s ,   ps e u do - l a b e l i n g   e t c .     T h i s   s t udy   fo c us e s   o n   t h e   ' S e l f - t ra i ni n g'   m e t h o d  o f   S S M L .   S e l f - t ra i ni n g   m e t h o d  i s   v e r y   c o m m o n   c h o i c e   fo r   S S M L   [10 - 12] .   C l a s s i c a l   s e l f - t r a i n i ng  m e t h o d  (S T )  us e s   t h e   a v a i l a b l e   t r ue - l a b e l e d  da t a   (L )  t o   t r a i n   a   b a s e   c l a s s i f i e r   (C).   T h e n  C  p r e di c t s   t h e   l a b e l s   o f   un l a b e l e d  da t a   (U ).   A   po r t i o n   (P )   f r o m   t h e   n e w l y   l a b e l e d   da t a   i s   r e m o v e d  f r o m   U   a l o ng  w i t h   l a b e l s   b a s e d  o n   p r e di c t i o n  c o n f i de n c e   a n d   c o m b i n e d  w i t h   L .   T h e   r e s ul t i ng  da t a   (P + L )  i s   t h e n  us e d  t o   r e - t ra i n  t h e   b a s e   c l a s s i f i e r .   T h i s   p r o c e s s   i s   r e pe a t e d  u n t i l   U   i s   e m p t y   o r   a   p r e de f i ne d   nu m b e r  o f   i t e ra t i o n  re a c he d .   T he   m e t h o d   i s   s h o w n  i n  a l go ri t hm   1 .   A l t h o ug h  t hi s   m e t h o d   i s   e a s i l y   unde r s t a n d a b l e   a n d  y i e l ds   a   go o d  r e s ul t   i n  m o s t   c a s e s   w i t h   v e r y   f e w   da t a ,   i t   i s   m uc h   s l o w e r   t ha t   o t h e r   S S M L   m e t h o ds .   A n o t h e r  d i s a dv a n t a ge   i s   t ha t   e a rl y   i na c c ur a c y   c o ul d  r e i n f o r c e   t h e m s e l v e s   i n  f ut u r e   i t e ra t i o n s   [ 9] .    In  t hi s   pa pe r,   w e   m o di f i e d  t hi s   S T   m e t h o d  t o   b o o s t   i t s   pe r f o r m a n c e .   I n  e xi s t i n g   l i t e r a t u r e s ,   S S M L   m e t h o ds   s i m i l a r  t o   S T   a r e   w i de l y   fo un d .   ' P s e udo - l a b e l i ng'   i s   S S M L   t e c hn i q ue   p r o po s e d  by   L e e   [13] .  I n  t hi s   m e t h o d,   f o r   a n   u n l a b e l e d  r e c o r d,   t h e   c l a s s   w i t h   t h e   m a x i m um   p r e di c t e d  p r o b a b i l i t y   i s   c h o s e n   a nd  c a l l e d  ' ps e udo - l a b e l ' .   I n  e f fe c t ,   t hi s   p r o c e s s   i s   s i m i l a r  t o   e n t r o py   re gul a r i z a t i o n .   T h o ug h  i t   w a s   p r o po s e d  fo r   de e p   n e u r a l   n e t w o r ks ,   t h e   p ri n c i pl e   c a n  b e   a ppl i e d  w i t h   t r a d i t i o na l   m a c hi n e   l e a rni n g   m o de l s .   A l t h o ug h   t h i s   m e t h o d  ha s   b e t t e r  pe r f o r m a n c e   t ha n   S T   a pp r o a c h ,   t h e   d i f f e r e n c e   i s   n o t   v e r y   l a r ge .   Co - t r a i n i ng  i s   a   v a r i a n t   o f   S T   m e t h o d  [14] .   I n   c o - t ra i ni n g ,   t h e   f e a t ur e s   o f   a   da t a s e t   a r e   s pl i t   i n t o   t w o   pa rt s .   O n e   p a r t   ( l a b e l e d)  i s   t ra i n e d  w i t h  a   c l a s s i f i e r   a n d   o t h e r   pa rt   ( l a b e l e d)  w i t h   a n o t h e r  c l a s s i f i e r.   T h e n   t h e   u n l a b e l e d  da t a   i s   l a b e l e d  us i n g   t h e   t w o   m o d e l s   s e pa r a t e l y .   T h e n   t h e   l a b e l s   o b t a i n e d  by   t h e   fo r m e r   c l a s s i f i e r  i s   a dde d  t o   t h e   l a b e l e d  da t a   o f  l a t e r   c l a s s i f i e r   a n d  v i c e   v e r s a .   T h e n   t h e   w h o l e   p r o c e s s   i s   r e pe a t e d .   T h e   a l go r i t h m   pe r f o r m s   w e l l   w h e n   t h e   f e a t u r e   s p l i t   i s   go o d  b ut   i t   i s   c h a l l e n g i n g   t o   f i n d   na t u ra l   f e a t ur e   s p l i t .   A   m o di f i e d  s e l f - t r a i n i n g   a l go r i t h m   b a s e d  o n  de c i s i o n  t r e e   w a s   p r o po s e d  i n  [15] .   T h e   a ut h o r s   s how e d  t ha t   t h e   s t a nda r d   de c i s i o n  t r e e   a l go r i t h m   i s   n o t   e f f e c t i v e   a s   b a s e   l e a rn e r  i n  s e l f - t r a i n i n g   b e c a us e   i t   p ro duc e s   unr e l i a b l e   p r o b a b i l i t y   e s t i m a t i o n  t o   i t s   pr e di c t i o n s .   T h e y   pr o po s e d  s o m e   m o di f i c a t i o n   t o   t h e   s t a n d a r d  de c i s i o n   t r e e   l e a rni n g  a l go r i t h m .   I n  [16]   a ut h o r s   p r o po s e d  a   m e t h o do l o g y   fo r   s e l e c t i n g   a n  a p p r o pri a t e   b a s e   l e a rn e r  t o   b e   us e d   i n  s e l f - t r a i n i ng.   F r o m   a m o n g  a   po o l   o f   c l a s s i f i e r s ,   t hi s   m e t h o d  c h o o s e s   a   l e a rn e r   b y   e l i m i n a t i n g   o t h e r s   t hr o ug h   f i l t e r i n g   w i t h   a   c e rt a i n   t h r e s h o l d   o f   pr e di c t i o n   p r o b a b i l i t y .   A f t e r   c h o o s i n g   a n  a p p r o pri a t e   c l a s s i f i e r,   i t   i s   us e d  a s   t h e   b a s e   l e a rn e r  o f   s t a n da rd  s e l f - t r a i n i ng  a l go r i t h m .   In   t h i s   w o r k,   w e   a r e   p r o po s i n g  a   m e t h o d  t ha t   i s   b ui l t   u po n   t h e   i de a   o f   s e l f - t r a i ni n g  di s c us s e d  a b ove .   W e   na m e   i t   m o di f i e d  s e l f - t r a i n i ng   (M S T ) .   W e   e xpl o i t e d   m ul t i p l e   (N )   c l a s s i f i e r s   (A 1 ,A 2 , . . A N )  o f   di f f e r e n t   t y p e s   un l i ke   c o n v e n t i o na l   S T   m e t h o d.   W e   m a de   us e   o f   a gre e m e n t   a m o ng  m u l t i pl e   c l a s s i f i e r s   i n   p r e di c t i o n     of   l a b e l s   f o l l ow i n g  a   t w o   s t a ge   s e l e c t i o n   p r o c e s s .   A t   f i r s t   s t a ge ,   s o m e   c l a s s i f i e r s   o f   di f f e r e n t   t y pe s   a r e   t ra i n e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   4 ,  A ugus t   2 020   :     43 40   -   4351   4342   o n   t h e   a v a i l a b l e   l a b e l e d  da t a   (L ) .   T h e n  t h e y   p r e di c t e d  t h e   l a b e l s   of   unl a b e l e d  d a t a   (U ).   W e   c a l l   t h e s e   n e w l y   a s s i g n e d  l a b e l s   ' ps e udo - l a b e l s ' .   O ut   o f   a l l   t h e   ps e udo - l a b e l e d  da t a ,   w e   c h o s e   t h o s e   w h o s e   l a b e l s   w e r e   a g r e e d   by   a   s pe c i f i e d  n um b e r  o f   c l a s s i f i e r s .   L e t   s a y   P   i s   t h e   s ub s e t   of   U   w h i c h   w a s   s e l e c t e d  b a s e d  o n     l a b e l - a g r e e m e nt .   I n  t h e   s e c o n d  s t a ge ,   s o m e   c l a s s i f i e r s   o f   di f f e r e n t   t y pe s   w e r e   t r a i n e d  o n   L .   T h e n  t h e y   pr e di c t e d   t h e   l a b e l s   o f   P .   N ow ,   b a s e d  o n   a g r e e m e nt   o f   bo t h  pr e di c t i o n  p r o b a b i l i t y   (a bo ve   a   c e r t a i n  t hr e s h o l d)  a n d  p r e di c t e d  l a b e l s   (a g r e e d  by   s pe c i f i e d  n um b e r   o f   c l a s s i f i e r s ),   a   s ub s e t   (S )  of   da t a   f r o m   P   w a s   s e l e c t e d   a l o n g   w i t h  t h e i r  l a b e l s .   S   w a s   t h e n  a dde d  t o   L .   T hi s   p r o duc e d  t h e   f i n a l   l a b e l e d  da t a s e t   (F ).   F   c a n  b e   us e d    t o   t r a i n  a n y   c l a s s i f i e r  a nd   p r e di c t   l a b e l s   f o r   da t a   w i t h  u n k n o w n  l a b e l s .   T h e   pe r f o r m a n c e   o f   M S T   w a s   c o m pa r e d  w i t h  S T   o n   s i x  c o m m o n l y   r e f e r r e d  da t a s e t s   a n d  w e   fo un d  s i g n i f i c a n t   i m p r o v e m e n t .   W e   a pp l i e d   M S T   o n  a   s i m u l a t e d  O B S   n e t w o r k   da t a s e t   f r o m   U CI  m a c h i n e   l e a rni n g   r e po s i t o r y   a n d   f o un d   v e r y   hi g h  a c c ur a c y .   F i n a l l y ,   w e   c o m pa r e d   t hi s   w o r k   w i t h   s o m e   r e l a t e d  w o r k  a n d   f o un d   t ha t   o u r   m e t h o d  o ut pe r f o r m e d  t h e m .   A l go r i t h m   2   p r e s e n t s   t h e   p r o po s e d  m e t h o d.   B e s i de s ,   w e   de f i n e d  s o m e   rul e s   f o r   b l o c ki n g   O B S   n o de s ,   de t e c t e d  a s   h a rm f ul   b y   t h e   p r o po s e d  a l go ri t hm .       2.   R ES EA R C H   M ET H O D   In  t hi s   s e c t i o n   w e   b r i e f l y   di s c us s e d  a bo ut   t h e   b a s i c   s e l f - t ra i ni n g  a l go r i t hm .   T h e n   w e   e xpl a i n e d  o ur  pr o po s e d  m e t h o do l o g y   i n   de t a i l .     2. 1 .     S e m i - s u p e r v i s e d   l e ar n i n g  s e tu p   In  s e m i - s upe r v i s e d  s e t t i ng,   t h e   a m o un t   o f   unl a b e l e d  da t a   i s   v e r y   l a r ge   c o m pa r e d   t o   t h e   a m o u n t     of   l a b e l e d  d a t a .   D a t a   i s   d i v i de d  i nt o   L   a nd   U   w h e r e   L   i s   t h e   s e t   o f   l a b e l e d  d a t a   po i n t s   a nd   U   i s   t h e   s e t     of   un l a b e l e d  da t a   po i n t s .   T h a t   i s ,   L = (x 1 ,x 2 . . . , x n )  f o r   w h i c h  l a b e l s   Y L = (y 1 ,y 2 ,y 3 , . . y l )  a r e   p r o v i de d,     a n d  U = (x n + 1 ,x n + 2 . . . , x n + u )   f o r   w h i c h   l a b e l   Y U   i s   u n k n o w n .   W e   a s s um e   t ha t   Y L   c a n   ha v e   t w o   o r   m o r e   l a b e l s   a n d   bo t h  U   a n d  L   a r e   f r o m   s a m e   d a t a   d i s t r i b ut i o n.     2. 2 .    S e l f - tr ai n i n g   (S T)   al go r i th m   Cl a s s i c a l   s e l f - t ra i ni n g(S T )  m e t h o d  [15]   us e s   a   s i ngl e   b a s e   l e a rni n g  a l go r i t h m   t o   t r a i n   o n  a v a i l a b l e   l a b e l e d  da t a s e t   L .   A f t e r  t h e   a l go r i t hm   i s   t ra i n e d ,   i t   p r e di c t s   t h e   u nk n o w n   l a b e l s   o f   U .   T h e n  f r o m   t h e   n e w l y   l a b e l e d  da t a ,   a   po rt i o n  P   i s   s e l e c t e d  b a s e d  o n   p r e di c t i o n   c o n f i de n c e   (p r o b a b i l i t y   e s t i m a t e   h e r e )   a n d   m i xe d  w i t h   t h e   o r i g i na l   l a b e l e d  da t a   L   t o   f o r m   a   n e w   da t a s e t   F .   P   i s   r e m o v e d  f r o m   U .   T h e n   F   i s   us e d  t o   r e - t ra i n     t h e   l e a rni n g   a l go r i t hm .   T h e   n e w l y   t ra i n e d   m o de l   t h e n  p r e di c t s   l a b e l   f o r  t h e   r e m a i n i ng  u n l a b e l e d  da t a   i n  U .   T h i s   p r o c e s s   i s   r e pe a t e d   u n t i l   U   i s   e m p t y   o r   a   s pe c i f i e d  i t e ra t i o n  c o un t   i s   r e a c h e d.   T h e   b a s i c   s t r uc t u r e     of   c l a s s i c a l   S T   i s   p r e s e nt e d  i n   a l go r i t h m   1 .     Algorithm 1   Classical Self - training algorithm     //initialization   1.     N: Iteration counter; C: Base classifier; L: Labeled data; U: Unlabeled  data; maxCount: number of iterations allowed; H: Confidence Threshold;   2.     N = 1;     //confidence based learning   3.     do   4.     Train C on L   5.     for each   d i   in   U  do   6.     Assign pseudo - label to d i   based on prediction confidence   7.     end for   8.     Select a set P of the high - confidence predictions from U based on threshold  H   9.     Update N = N+1; U = U  -   P; L = L U  P;   10.     while   (U! = empty)  and   (n < maxCount )   11.     end do - while   12.     Output : Fully labeled dataset     2. 3 .    P r o p o s e d   mo d i fi e d   s e l f - tr ai n i n g   ( M S T)  al go r i th m   In  o u r  p r o po s e d  m e t h o do l o g y ,   w e   t a ke   ‘N ’   c l a s s i f i e r s   i n s t e a d   o f   j us t   o n e .   T h e   v a l ue   o f   N   c a n    b e   c h o s e n   a t   w i l l ,   t h e   l a rge r  t h e   b e t t e r .   T h e   N   c l a s s i f i e r s   a r e   t r a i n e d   by   L   a nd  h e n c e ,   N   m o de l s   a r e   ge n e r a t e d.   T h e   u n l a b e l e d  da t a   U   w i l l   b e   gi v e n   t o   e a c h   o f   t h e   N   m o de l s   t o   be   pr e di c t e d  a n d  ps e udo - l a b e l e d  b a s e d  o n   e a c h   m o de l ' s   de f a ul t   c l a s s i f i c a t i o n   c o n f i de n c e   (h e r e   i t   i s   p r o b a b i l i t y   e s t i m a t e ).   A s   a   r e s ul t ,   N   ps e udo l a b e l e d   da t a s e t s   w i l l   b e   ge n e ra t e d.   T h e n  t h e   f i r s t   s t a ge   o f   s e l e c t i o n   w i l l   s t a rt .   L e t   s a y ,   U = (x n + 1 ,x n + 2 . . . , x n + u )   a n d   e a c h   x i   i n  U   h a s   go t   N   ps e udo - l a b e l s .   If   a l l   t h e   ps e udo - l a b e l s   o f   x i   a r e   s a m e   t h e n  w e   s a y   t h a t   N   m o de l s   a g r e e d    o n   t ha t   l a b e l   a n d   t hi s   da t a   po i n t   w i l l   b e   r e t a i n e d   f o r   t h e   ne xt   s t a ge .   If   i n  a n y   c a s e ,   t h e r e   i s   n o   u na n i m o us   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Se m i - s up e r v i s e d   l e ar ni ng   appr o ac h   us i n g  m od i f i e d   s e l f - t r ai n i ng  al gor i t hm …   ( Md.   Kam r ul   H os s ai n )   4343   a g r e e m e nt   by   a l l   t h e   N   m o de l s   f o r   a n y   of   t h e   x i   i n   U ,   t he n   w e   m a y   d e f i n e   a   v o t e   r e qui r e m e n t   r ul e   f o r   s e l e c t i o n .   T h a t   i s ,   w e   c a n  s e t   a   l o w e r   l i m i t   M 1   (w h e r e   0< M 1≤N )  a nd  i f   a n y   ps e ud o - l a b e l   fo r   x i   i s   v o t e d     by   a t   l e a s t   M 1   m o de l s ,   t h e n  t h e   po i n t   w i l l   b e   s e l e c t e d  f o r   t h e   n e xt   s t a ge .   N o w   l e t   s a y ,   P   i s   t h e   s ub s e t   o f   U   w h i c h  w a s   s e l e c t e d  (a l o n g   w i t h  l a b e l s )  b a s e d  o n   l a b e l - a g re e m e n t   o f   t h e   c l a s s i f i e r s .   I n  t h e   s e c o n d  s t a ge ,   ' C'   num b e r  o f   c l a s s i f i e r s   o f   di f fe r e nt   t y pe s   w i l l   b e   t ra i n e d  b y   L   (c a n  b e   n e w   o r  p r e v i o us l y   m e n t i o n e d  c l a s s i f i e r s ).   T h e   o b t a i n e d   C   m o de l s   w i l l   t h e n  p r e d i c t   a n d   ps e udo - l a b e l   P   b a s e d  o n  c l a s s i f i c a t i o n  c o n f i de n c e   (h e r e   i t   i s   p r o b a b i l i t y   e s t i m a t e ).   S o   w e   ge t   C   ps e udo - l a b e l e d  c o pi e s   o f   P .   L e t   s a y ,   P = (x p1 ,x p2 . . . , x pn )   a n d   e a c h   x pi   i n  P   ha s   go t   C   ps e udo - l a b e l s .   N o w ,   i f   M 2   (w h e r e   0< M 2≤ C)  m o de l s   a g r e e d  o n  t h e   l a b e l   o f   x p i   a n d   a l l   t h o s e   ps e udo - l a b e l s   w e r e   a s s i g n e d  by   t h e   r e s pe c t i v e   c l a s s i f i e r s   w i t h  a   p r e di c t i o n  p r o b a b i l i t y   gr e a t e r   t h a n    t h e   s pe c i f i e d  t hr e s h o l d  H ,   t h e n  x p i   i s   s e l e c t e d.   L e t   S   b e   t h e   s e t   o f   a l l   t h e   po i n t s   s e l e c t e d  (a l o n g   w i t h   l a b e l s )  t h i s   w a y ,   i . e .   b a s e d  o n   a g r e e m e n t   o f   pr e di c t i o n   p r o b a b i l i t y   a nd  p r e di c t e d  ps e udo - l a b e l s .   S   i s   de l e t e d  f r o m   U     a n d  a dde d  t o   L .   L   i s   n o w   t h e   f i n a l   t r a i n i ng  d a t a s e t .   L   i s   us e d  t o   t r a i n  a n y   c l a s s i f i e r   i n   s upe r v i s e d  w a y   a n d  t h e n     t h e   c l a s s i f i e r  c a n   b e   us e d  t o   p r e di c t   u nk n o w n   l a b e l s .   T he   de t a i l e d   s t e ps   a r e   p r e s e nt e d  i n  a l go ri t hm   2.     In  F i gu r e   1   a   b l o c k  di a g ra m   i s   s h o w n   t o   i l l us t ra t e   t h e   o v e r v i e w   of   t h e   p r o po s e d  m o di f i e d  s e l f - t ra i ni n g   (M S T )  m e t h o d.     Algorithm 2   Proposed   Modified self - training algorithm (MST)     //initialization   1.     C1: A set of N classifiers; C2: A set of M classifiers; F: Final  classifier;   L: Labeled data; U: Unlabeled data; K: Set of empty datasets; P, S: Empty dataset;  V1: 1 st   stage pseudo - label agreement threshold; V2:  2 nd   stage pseudo - label agreement  threshold; H: Classification confidence threshold;   2.     C1= {C 11 ,C 12 ,..C 1N }; C2 = {C 21 ,C 22 ,..C 2M }; i = 1; K= {K 1 ,K 2 ,..K N }     //first stage voting   3.     for   each   c  in   C1  do   4.     Train c by training set L   5.     for   each   d  in   U  do   6.     Assign pseudo - label to d based on prediction confidence of c   7.     Save d along with the pseudo - label in set K i   8.     end for   9.     i = i+1   10.     end for   11.     for   each   d  in   U  do   12.     compute pseudo - label agreement(votes) for d in K for every possible label   13.     if   for any label, votes >=V1  then   14.     copy d and save in set P   15.     end if   16.     end for     //second stage voting   17.     i = 1; K 1 ,K 2 ,..K N   = {};   18.     for   each   c  in   C2  do   19.     Train c by training set L   20.     for   each   d  in   P  do   21.     Classify d by model c   22.     if   classification confidence >= H  then   23.     Save d along with the pseudo - label in set K i   24.     end if   25.     end for   26.     i = i+1;   27.     end for   28.     for   each   d  in   P  do   29.     compute  pseudo - label agreement(votes) for d in K for every possible label   30.     if   votes >=V2  then   31.     copy d in set S   32.     end if   33.     end for     //preparing final training dataset   34.     Update U by removing S from U: U = U  -   S;    35.     Update L by joining S with L: L = L U S;     //final model training and labeling   36.     Train a classifier F by new training set L   37.     Classify U by F and predict labels for all the points in U   38.     Output : Fully labeled dataset   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   4 ,  A ugus t   2 020   :     43 40   -   4351   4344       F i gu r e   1 .   B l o c k  di a g r a m   o f   pr o po s e d  m o di f i e d  s e l f - t r a i n i ng  ( M S T )  m e t h o d       2. 3 .     D atas e t  fo r   O B S   n e tw o r k ' s   n o d e   c l as s i fi c at i o n   In  t hi s   s e c t i o n,   w e   de s c r i b e   a   w a y   t o   ob t a i n  a   da t a s e t   f r o m   a n  O B S   n e t w o r k  s i m u l a t o r ,   w h i c h  c a n   b e   us e d  by   o ur   pr o po s e d  m e t h o d  w i t h   a   f e w   l a b e l i n g .   I n   T a b l e   1,   w e   pr e s e n t e d  a   s a m pl e   O B S   n e t w o r k  d a t a s e t .   U s i n g  N C T U n s   n e t w o r k  s i m u l a t o r   s o f t w a r e   [17] ,   w e   s i m u l a t e d  a n  O B S   n e t w o r k  t o   o b s e r v e   t h e   b e ha v i o r s   o f  t h e   O B S   n e t w o r k  n o de s   a n d  t o   r e c o r d  e a c h   n o de ’s   b e h a v i o r a l   da t a .   W e   m a de   a n  N F S N E T   t o po l o g y   a n d   c o n f i gur e d  t h e   n e t w o r k’s   p a ra m e t e r s   f o l l o w i n g  t h e   w o r k  i n   [ 5] .   T h e   s e t t i ng  ha d   14   c o r e   s w i t c h e s   t h a t   f o l l o w   J E T   p r o t o c o l ,   e dge   r o ut e r s   l i n ke d  t o   h o s t - pc s ,   1  G b ps   m a xi m u m   l i nk  b a n dw i dt h,   1  μ s   p r o pa ga t i o n  de l a y ,   1500   by t e s   b ur s t   l e ngt h,   0   b i t   e rr o r  ra t e ,   2   D B   c ha nn e l ,   1   BH P   c h a nn e l ,   U D P   p r o t o c o l   a t   t ra n s po rt   l a y e r .   E a c h   s i m ul a t i o n   w a s   r u n  f o r   10  m i n u t e s   by   v a r y i n g  t h e   b a ndw i dt h  f r o m   0 . 1  G b ps   t o   1  G b ps .   O n e   m a l i c i o us   n o de   w a s   s e l e c t e d  i n  e a c h  r u n  o f   t h e   s i m ul a t i o n  i n  v a r y i n g   p o s i t i o n .   W e   r e c o r de d  d a t a   f o r   t h e   f o l l ow i n g   t hr e e   v a r i a b l e s   r e l a t e d  t h e   n o de   pe r f o r m a n c e :   A v e r a ge   pe r c e nt a g e   of   pa c ke t   dr o p  ra t e ,   a v e r a ge   b a n dw i dt h  us e d  (m b ps )  a n d   a v e ra ge   de l a y   (s e c o n d).   A v e r a gi ng  w a s   do n e   b y   r u nni n g  t h e   s i m ul a t o r   10   t i m e s   a n d  c a l c ul a t i ng  t h e   m e a n  v a l ue .   T e n  r o w s   of   t h e   d a t a s e t   a r e   s h o w n   i n  T a b l e   1.   T h e   t hr e e   m e nt i o n e d   a t t ri b ut e   w a s   c h o s e n  o ut   of   m a n y   b e c a us e   w e   f o un d  hi g h e s t   de g r e e   o f   i n de pe n de n c e   a n d   s i g n i f i c a n c e   i n  t h e m .   A f t e r  a   da t a s e t   w a s   r e c o r de d,   t h e   c l a s s   l a b e l s   w e r e   gi v e n  m a nua l l y   fo r   a   f e w   i ns t a n c e   f r o m   e a c h  po s s i b l e   c l a s s .   W e   c o n s i de r e d   t hr e e   di f fe r e nt   l a b e l s   fo r   t hr e e   di f f e r e n t   b e ha v i o r s   o f   t h e   no de s .   T h e   f i r s t   i s   ' ' M A L ICIO U S ' ' ,   i t   m e a n s   t ha t   t h e   n o de   i s   c a us i n g   B H P   f l oo d.   S e c o n d   i s   ' T R U S T E D ' ,   t hi s   m e a n s   t h a t   t h e   c o rr e s po n di ng   n o de   i s   w e l l - b e h a v i n g.   T h i rd  l a b e l   i s   ' S U S P ICIO U S ' ,   i t   m e a n s   t ha t   t h e   n o de   h a s   h i g h  pa c ke t   d r o p  ra t e   b ut   n o t   a s   hi g h  t o   l a b e l   a s   m a l i c i o us .   W h e n  t h e   d a t a s e t   w a s   c o l l e c t e d  fo r   t h e   f i r s t   t i m e ,   a l l   t h e   po s s i b l e   c a s e s   w e r e   c o n s i de r e d,   i . e .   t h e   O B S   n e t w o r k  w a s   c o n f i gu r e d  i n  a   w a y   t h a t   t h e   r e c or de d   da t a   r e f l e c t s   n o t   o nl y   w e l l - b e h a v i n g   n o de ' s   b e h a v i o r ,   b ut   a l s o   t h e   m a l i c i o us   n o de ' s   b e h a v i o r   i n   B H P   f l oodi n g   s c e n a ri o .       T a b l e   1 .   10   r o w s   f r o m   O B S   n e t w o r k  da t a s e t   (c o n t a i n s   b o t h   l a b e l e d  a n d  u nl a b e l e d  da t a )   It e ra t i o n   N o d e   Id   A v e ra g e   d e l a y   A v e ra g e   p a c k e t   d r o p   ra t e   A v e ra g e   b a n d w i d t h   u s e   Cl a s s   1   1   0 . 0 0 0 3   0 . 1 5 3 1   0 . 7 2 6   u n k n o w n   1   2   0 . 0 0 0 2   0 . 5 2 6 2   0 . 3 2 8 1   u n k n o w n   2   1   0 . 0 0 1   0 . 0 8 1 1   0 . 8 6 9 9   t ru s t e d   2   2   0 . 0 0 0 5   0 . 4 8 0 3   0 . 7 2 9 2   u n k n o w n   3   2   0 . 0 0 0 6   0 . 0 9 7   0 . 7 1 8 5   u n k n o w n   3   1   0 . 0 0 1 2   0 . 1 3 3   0 . 5 0 8 5   t ru s t e d   4   2   0 . 0 0 0 4   0 . 4 0 5 2   0 . 6 6 8   u n k n o w n   4   1   0 . 0 0 0 6   0 . 2 6 8 1   0 . 4 8 6 1   u n k n o w n   5   1   0 . 0 0 0 2   0 . 3 7 7 5   0 . 7 1 4 2   u n k n o w n   5   2   0 . 0 0 1   0 . 3 0 6 6   0 . 7 3 4 9   m a l i c i o u s       In  t h i s   w a y ,   a   da t a s e t   f r o m   O B S   n e t w o r k  c a n  b e   d ra w n  a n d   w i t h  a   f e w   l a b e l i n g   a nd   c a n  b e   us e d  f o r   t h e   p r o po s e d  m e t h o d.   I n  t hi s   w o r k,   w e   di d  n o t   p r o duc e   a   f ul l y   l a b e l e d  da t a s e t ,   n e i t h e r   ha d  w e   ge n e r a t e d    a   l a r ge   a m o unt   o f   da t a .   R a t h e r   w e   us e d  a   r e a dy m a de   da t a s e t   f r o m   U CI  M L   r e po s i t o r y   t o   de m o n s t ra t e     t h e   e ff e c t i v e n e s s   o f   o ur   m e t h o d.   T h e   a ut h o r s   o f   t h e   da t a s e t   b ui l t   t h e   da t a s e t   us i n g  t h e   a pp r o a c h   m e n t i o n e d  a b ov e .   T h e   r e a s o n  f o r   n o t   us i n g   n e w   a n d   s e l f - m a de   d a t a   i s   t ha t ,   w e   w e r e   n o t   a b l e   t o   f i n d  hum a n - e xpe r t s     t o   p r o pe r l y   l a b e l   a   l a r ge   O B S   n e t w o r k  d a t a s e t   w h i c h  i s   a   v e r y   c r i t i c a l   t a s k .   A n o t h e r  r e a s o n  i s   t h e   a b s e n c e     of   r e a l   l i f e   O B S   n e t w o r k  n e a r  us .     2. 4 .     B l o c k i n g   o f  m i s b e h av i n g  n o d e s   A f t e r   o b t a i n i n g   a   p a r t i a l l y   l a b e l e d  O B S   n e t w o r k  d a t a s e t ,   t h e   p r o po s e d  M S T   m e t h o d  w a s   a ppl i e d  fo l l ow i n g  t h e   s t e ps   o f   a l go r i t h m   2.   T hi s   gi v e s   a   f ul l y   l a b e l e d  da t a s e t   a n d   a   m o de l   t ra i n e d  o n   t ha t   d a t a s e t .     W e   m e n t i o n e d  e a rl i e r   t ha t   w e   c a t e go r i z e d  t h e   O B S   n e t w o r k  n o de s   i n t o   t hr e e   t y p e s :   M A L ICIO U S ’,   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Se m i - s up e r v i s e d   l e ar ni ng   appr o ac h   us i n g  m od i f i e d   s e l f - t r ai n i ng  al gor i t hm …   ( Md.   Kam r ul   H os s ai n )   4345   ' T R U S T E D '   a n d   ' S U S P ICIO U S ' .   If   a   n o de   i s   c l a s s i f i e d  a s   ‘M A L ICIO U S ’  by   o ur   m o de l ,   t h e   n o de   w i l l     b e   pr e v e n t e d  f r o m   s e n d i n g   a n y   pa c ke t   i n  f ut u r e .   A t   t h e   s a m e   t i m e ,   w e   c h a n ge   t h e   s t a t us   o f   t h a t   n o de     t o   ‘B l o c k e d’.   If   a   n o de   i s   c l a s s i f i e d  a s   ' T R U S T E D ' ,   w e   a l l o w   i t   t o   s e n d   p a c ke t s   a nd   s i m ul t a n e o us l y ,     w e   c h a n ge   t h e   s t a t us   o f   t ha t   n o de   t o   ‘T r us t e d’ .   If   a   n o de   i s   c l a s s i f i e d  a s   ' S U S P ICIO U S ' ,   w e   c h e c k  i f   i t s   c urr e n t   s t a t us   i s   ' S us p i c i o us '   o r   n o t .   If   y e s   t h e n  w e   pr e v e nt   i t   f r o m   s e ndi n g   pa c ke t   f o r   a   s pe c i f i e d  t i m e     a n d   c h a n ge   t h e   s t a t us   o f   t ha t   n o de   t o   ‘W a i t i n g’ .   O t h e r w i s e ,   w e   s e t   t h e   s t a t us   o f   t h e   n o de   a s   ' S us p i c i o us '     a n d  c o n t i n ue .   T h e n   t h e   n e xt   n o de   i s   v i s i t e d.   I n   t hi s   w a y ,   t h e   t ra i n e d  m o de l   c a n   b e   us e d  t o   c l a s s i fy   O BS   n e t w o r k  n o de s   a nd  c o un t e r   B H P   f l o o di n g   a t t a c k .   T h e   f l o w c h a rt   i n  F i gu r e   2   p r e s e n t s   t h e   r ul e s   t o   b l o c k   m i s b e h a v i n g  n o de s   i n  a n  a c t i v e   O B S   n e t w o r k.   N o t e ,   t h e   p r o c e s s   bo x  s h ow i n g  “ C i r c ul a rl y   i n c r e m e nt   i ”   m e a n s   t h a t ,   a f t e r   a   n o de   i s   c h e c ke d,   t h e   n e xt   n o de   w i l l   b e   c h e c ke d   a c c o r di ng  t o   t h e   a rra n ge m e nt   i n  t h e   gi v e n  n o de   s e t .   W h e n  a l l   t h e   n o de s   a r e   c h e c ke d,   i t   w i l l   r e t u rn  t o   t h e   f i rs t   n o de .   B e s i de s ,   w h e n  a   n o de   i s   s e n t   t o   w a i t i ng  s t a t e ,   a   c o unt e r  s h o ul d   b e   t h e r e   t o   c o un t   t h e   e n d   o f   w a i t i ng  t i m e ,   a f t e r  w h i c h ,   t h e   n o de ’s   s t a t us   s h o ul d   b e   l a b e l e d  a s   s us p i c i o us .   W e   di d   n o t   s h o w   t h e   t i m e   c o unt e r  i n  t h e   f l ow c h a r t .           F i gu r e   2 .   F l o w c h a r t   o f   b l o c ki n g  rul e s   f o r   m a l i c i o us   n o de   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   4 ,  A ugus t   2 020   :     43 40   -   4351   4346   3.   R ES U LTS   A N D   A N A L Y S I S   3. 1 .   D atas e ts   fo r   e v al u ati n g  p e r fo r m an c e   W e   c o m pa r e d   t h e   pe r f o r m a n c e   o f   o ur   p r o po s e d  a l go r i t hm   w i t h  t h e   b a s i c   s e l f - t r a i n i ng   a l go ri t hm     o n   s i x  c o m m o n l y   r e f e r r e d  d a t a s e t s   f r o m   U CI  m a c h i n e   l e a rn i ng  r e po s i t o r y   [18] .   T h e y   a r e :   a du l t   d a t a s e t ,     b r e a s t   c a n c e r   d a t a s e t ,   c a r  d a t a s e t ,   i ri s   d a t a s e t ,   g l a s s   d a t a s e t   a n d   b a l a n c e   da t a s e t .   T h e   a dul t   d a t a s e t   a nd  b r e a s t   c a n c e r  d a t a s e t   a r e   b i n a r y   c l a s s i f i c a t i o n   da t a s e t s   w hi l e   o t h e rs   a r e   m u l t i - c l a s s   da t a s e t s .   C a r  i s   f o ur   c l a s s   a nd  gl a s s   i s   s i x  c l a s s   c l a s s i f i c a t i o n   d a t a s e t   w h i l e   i r i s   a n d  b a l a n c e   a r e   t hr e e   c l a s s   c l a s s i f i c a t i o n   da t a s e t .   A l l   t h e s e   da t a s e t s   a r e   c l a s s i f i c a t i o n  d a t a s e t s   w i t h  n o   m i s s i n g   l a b e l s   o r   m i s s i n g  v a l ue s .   T o   t e s t   o ur  p r o po s e d  a l go r i t hm ,   w e   r e m o v e d  t h e   l a b e l s   o f   97%  da t a   i n  e a c h  da t a s e t   (e xc e pt   f o r   i r i s   d a t a s e t ,   f o r  w h i c h   w e   r e m o v e d  95%  l a b e l s ).   H e n c e ,   o n l y   3%  da t a   (f o r   i ri s ,   5%)  a r e   l a b e l e d  a n d  t h e   r e s t   9 7%  (f o r   i r i s ,   95 %)  a r e   u nl a b e l e d  o n   e a c h   of   t h e   da t a s e t s .   W e   s a v e d  t h e   de l e t e d  l a b e l s   s e pa r a t e l y   t o   a s s e s s   pe r f o r m a n c e .     3. 2 .     S e l e c ti o n   o f  c l as s i fi e r s   In  s e l f - t r a i n i ng   a l go ri t hm   (a l go ri t hm   1 ,   s a y   ‘S T ’) ,   f o r   a   s pe c i f i c   da t a s e t ,   w e   ra n  t h e   a l go ri t hm     s i x  t i m e s ,   e a c h  t i m e   w i t h   a   di f f e r e n t   b a s e   c l a s s i f i e r .   T h e   c l a s s i f i e r s   w e r e :   E xt ra   t r e e   c l a s s i f i e r  [19] ,  g ra d i e nt   bo os t i n g   c l a s s i f i e r  [20] ,  ga us s i a n   na i v e   b a y e s   [21] ,  l o gi s t i c   r e g r e s s i o n   c l a s s i f i e r   [2 1]   a n d  q ua d ra t i c   di s c r i m i na nt   a n a l y s i s   [22]   a nd  s uppo r t   v e c t o r   m a c h i n e   [ 21] .   W e   us e d  py t h o n   p r o g ra m m i ng  l a n g ua ge     a n d  a n   M L   l i b r a r y   c a l l e d  S c i ki t - l e a rn   [23]   f o r   i m pl e m e nt a t i o n   o f   t h e s e   c l a s s i f i e r s .   I n  p r o po s e d  m o di f i e d     s e l f - t r a i ni n g   a l go ri t hm   ( a l go r i t hm   2,   s a y   ‘M S T ’),   a t   t h e   f i r s t   s t a ge   o f   vo t i n g ,   w e   us e d  e i ght   c l a s s i f i e r s   w h i c h   i n c l ude s   t h e   c l a s s i f i e r s   m e n t i o n e d   a b o ve   e xc e pt   t h e   S u ppo rt   v e c t o r   m a c hi n e .   T h e   o t h e r   t hr e e   a r e :   R a ndo m   fo r e s t   c l a s s i f i e r  [2 1] ,   X G B oo s t   c l a s s i f i e r  [24 ,   2 5]   a n d   m ul t i - l a y e r   pe r c e pt r o n  c l a s s i f i e r  [21] .   A t   t h e   s e c o n d   s t a ge   o f   vo t i n g ,   t w o   o f   t h e   a b o ve   m e n t i o n e d  c l a s s i f i e r s   w e r e   r e m o v e d  a n d   t h e   r e m a i ni n g   s i x   w e r e   us e d.     T h e   t w o   r e m o ve d  w e r e :   E xt ra   t r e e   c l a s s i f i e r   a nd  R a n do m   f or e s t   c l a s s i f i e r .   T h e   r e a s o n   f o r   n o t   i n c l udi n g   t h e m   i n   t h e   s e c o n d  s t a ge   i s   t ha t   t h e   s t a n d a r d   de c i s i o n   t r e e   c l a s s i f i e r  p r o duc e s   unr e l i a b l e   p r o b a b i l i t y   e s t i m a t i o n  t o   i t s   pr e di c t i o n s   w h i c h   c a nn o t   b e   a n  a p p r o pri a t e   s e l e c t i o n   c r i t e ri o n  i n  s e l f - t r a i n i n g   [1 5] .   O n c e   t h e   M S T   a l go r i t hm   pr o duc e d  t h e   f i na l   t ra i ni n g   d a t a s e t ,   s i x   di f f e r e n t   c l a s s i f i e rs   w e r e   t r a i n e d  b y   i t .   W e   c h o s e   t h e   s a m e   s i x  c l a s s i f i e r s   a s   i n  S T   f o r   m a k i n g   v a l i d   c o m p a r i s o n   b e t w e e n   S T   a n d   M S T   m e t h o d.     3. 3 .     C o m p ar i s o n   m e tr i c s   W e   c h o s e   s i x  c o m m o n l y   r e f e r r e d  m e t r i c s   t o   a s s e s s   t h e   pe r f o r m a n c e   o f   M S T   a ga i n s t   S T   a l go r i t hm .   T h o s e   a r e :   a v e r a ge   p r e c i s i o n,   a r e a   u n de r   R O C  c ur v e ,   a c c ura c y ,   f 1 - s c o r e ,   p r e c i s i o n   a nd  r e c a l l .   S i n c e   t h e s e   m e t r i c s   f un c t i o n s   di f f e r e n t l y   f o r   b i na r y   a n d   m ul t i - c l a s s   da t a s e t ,   w e   c o m put e d  t h e m   s ui t a b l y .   P r e c i s i o n - r e c a l l   c u r v e   ( P R C )  i s   a   c o m m o n l y   us e d  m e t ri c   t ha t   s h o w s   t h e   t ra de of f   be t w e e n   r e c a l l     a n d  p r e c i s i o n .   It   i s   a   m e a s u r e   o f   h o w   m a n y   r e l e v a n t   r e s ul t s   a r e   f o un d.   T h e   l a r ge r   t h e   a r e a   u n de r   t h e   c u r v e   ( A U C ),   t h e   hi g h e r   t h e   r e c a l l   a nd  p r e c i s i o n.   A v e r a ge   p r e c i s i o n   [26]   e xp r e s s e s   a   s um m a r y   of   t h e   e nt i r e   A U C     a s   t h e   w e i gh t e d  a v e r a ge   o f   pr e c i s i o n   r e t u rn e d  a t   e a c h  t hr e s h o l d  i n  a   w a y   t h a t   t h e   w e i ght   b e c o m e s     t h e   di f f e r e n c e   i n   r e c a l l   f r o m   t h e   p r e v i o us   t hr e s h o l d .   I n  c a s e   of   m ul t i - c l a s s   c l a s s i f i c a t i o n,   t h e   l e a rn i ng  a l go ri t hm   i s   w r a pp e d  i n  a   o n e - vs - r e s t   f a s hi o n   t o   p r o duc e   b i na r y   c o m pa ri s o n s   f o r   e a c h  c l a s s .   T h e   P R C     w a s   t h e n   c o m put e d  a s   t h e   ‘ m i c r o   a v e r a ge ’  [27]   o f   t h e   r e c a l l   a n d  p r e c i s i o n   f o r   a l l   c l a s s e s .   A v e r a ge   p r e c i s i o n   ra n ge s   f r o m   0   t o   1,   t h e   b i gge r  t h e   b e t t e r.   A r e a   u n de r  t h e   r e c e i v e r   o pe r a t i n g   c h a ra c t e r i s t i c s   ( R O C - A U C )    pl o t   [28,   29]   i l l us t ra t e s   t h e   t ra de o ff   b e t w e e n   a   c l a s s i f i e r ’   s e n s i t i v i t y   a n d  s pe c i f i c i t y .   Re c e i ve r   o pe r a t i n g   c h a ra c t e ri s t i c s   ( R O C )  i s   a   p r o b a b i l i t y   c ur v e   t h a t   di s p l a y s   t h e   t r ue   po s i t i v e   r a t e   a n d   f a l s e   po s i t i v e   ra t e   o n    t h e   Y - a xi s   a n d  X - a xi s   r e s pe c t i v e l y .   T h e   hi g h e r   t h e   R O C - A U C ,   t h e   b e t t e r   t h e   m o de l ’s   c o r r e c t   p r e di c t i o n  a b i l i t y   i s .   F o r  m u l t i - c l a s s   da t a s e t   c l a s s i f i c a t i o n ,   o n e - vs - a l l   ( m a c r o   s c o r e )  [30]   s t ra t e gy   w a s   us e d.   R O C - A U C   ra n ge s   f r o m   0  t o   1,   t h e   b i gge r  t h e   b e t t e r.   A c c ur a c y   i s   t h e   ra t i o   of   c o rr e c t l y   pr e di c t e d  l a b e l s   t o   t h e   t o t a l   l a b e l s .   It   i s   e xp r e s s e d  i n   pe r c e nt a ge .   P r e c i s i o n,   f o r   t h e   b i na r y   l a b e l e d  da t a s e t ,   i s   t h e   ra t i o   o f   c o r r e c t l y   pr e di c t e d  po s i t i v e   l a b e l s   t o   t h e   t o t a l   p r e di c t e d   po s i t i v e   l a b e l s .   R e c a l l ,   f o r   t h e   b i na r y   l a b e l e d  da t a s e t ,   i s   t h e   ra t i o    of   c o r r e c t l y   pr e d i c t e d  po s i t i v e   l a b e l s   t o   t h e   t o t a l   o b s e r v a t i o n s   i n  a c t ua l   po s i t i v e   l a b e l .   F 1   S c o r e   r e t u rn s     t h e   w e i ght e d  a v e r a ge   o f   p r e c i s i o n  a nd  r e c a l l .   I n  c a s e   o f   m ul t i - c l a s s   da t a s e t ,   p r e c i s i o n,   r e c a l l   a n d   f 1  s c o r e     a r e   c o m put e d  di f f e r e n t l y .   W e   c a l c ul a t e   t h e   m e t r i c   f o r   e a c h  l a b e l   a n d  t h e n   c o m put e d  t h e i r   u n w e i gh t e d  m e a n  (m a c r o   a v e r a ge )  [31] .   T h e   v a l ue   o f   pr e c i s i o n,   r e c a l l   a n d   f 1  s c o r e   r a n ge   f r o m   0   t o   1 ,   t h e   b i gge r   t h e   b e t t e r.     3. 4 .     Ex p e r i m e n ta l   s e tti n gs   fo r   th e   p r o p o s e d   al go r i th m   T h e r e   a r e   s o m e   t u n i ng   p a r a m e t e r s   i n  a l go ri t hm   1   a n d   2 .   I n  a l go ri t hm   1  (c l a s s i c a l   s e l f - t r a i n i ng,   S T ) ,   c o n f i de n c e   t hr e s h o l d   H 1  i s   us e d   t o   s e l e c t   hi g h - c o n f i de n c e   p r e di c t i o n s   a t   e a c h  i t e ra t i o n .   I n  a l go r i t h m   2  (pr o po s e d  a l go r i t h m ,   M S T ) ,   f i r s t   s t a ge   ps e udo - l a b e l   a g r e e m e n t   t hr e s h o l d   V 1   w a s   us e d   t o   s e l e c t   d a t a   po i n t s   w h o s e   l a b e l s   w e r e   a g r e e d   upo n  by   V 1  m o de l s .   I n  t h e   s e c o n d  s t a ge ,   c l a s s i f i c a t i o n  c o n f i de n c e   t hr e s h o l d   H     w a s   us e d  t o   s e l e c t   da t a   po i nt s   t h a t   h a d   h i g h - c o n f i de n c e   p re di c t i o n s .   T h e   da t a   po i n t s   s e l e c t e d  i n  t hi s   s t e p    i s   f urt h e r   f i l t e r e d   us i ng  ps e udo - l a b e l   a g r e e m e nt   t hr e s h o l d  V 2  by   c h o o s i n g  o n l y   t h o s e   po i n t s   w h o s e   l a b e l s   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Se m i - s up e r v i s e d   l e ar ni ng   appr o ac h   us i n g  m od i f i e d   s e l f - t r ai n i ng  al gor i t hm …   ( Md.   Kam r ul   H os s ai n )   4347   w e r e   a g r e e d  upo n  by   V 2  m o de l s .   A l l   t h e   a b o ve   m e n t i o n e d  t hr e s h o l ds   h a v e   g r e a t   i m pa c t   o n   t h e   pe r f o r m a n c e     of   c o r r e s po n di ng  c l a s s i f i e r ,   i . e .   t h e   m o de l ’s   pe r f o r m a n c e   i s   s e n s i t i v e   t o   t h e   c h o i c e   o f   t hr e s h o l d  p a r a m e t e r s .   A l s o ,   pe r f o r m a n c e   v a ri e s   f r o m   d a t a s e t   t o   da t a s e t   b a s e d  o n  t h o s e   t hr e s h o l d   v a l ue s .     In  S T ,   t o   s e l e c t   t h e   c o n f i de n c e   t hr e s h o l d   H 1,   w e   fo l l ow e d  t h e   m e t h o d  s u gge s t e d  i n  [15 ] .   T ha t   i s ,     w e   t o o k  t o p  10   pe r c e nt   f r o m   t h e   hi g h - c o n f i de n c e   p r e di c t i o n s   a nd   us e d  t h e   m e a n  o f   t h e i r  p r o b a b i l i t y   e s t i m a t i o n  a s   t hr e s h o l d  H 1.   A l s o ,   t h e   v a l ue   f o r   m a xCo u n t   w a s   c h o s e n   a s   40  b a s e d  o n   t h o s e   w o r ks .   I n   M S T ,   V 1  i s   t h e   n um b e r  o f   c l a s s i f i e r s   n e e d  t o   a g r e e   f o r   s e l e c t i ng  a   d a t a   po i n t   f o r   n e xt   s t a ge .   V 1   c a n   b e   a n y   v a l ue   f r o m   0   t o   N   w h e r e   N   i s   t h e   n u m b e r   o f   a v a i l a b l e   c l a s s i f i e rs   i n  f i r s t   s t a ge .   V 1   s h o ul d   b e   c h o s e n   s uc h   t ha t     i t   y i e l ds   da t a   po i n t s   o f   a l l   t h e   po s s i b l e   l a b e l s .   A l s o ,   m a j o ri t y   po r t i o n   o f   t h e   u nl a b e l e d  da t a   po i nt s   s h o ul d    b e   o b t a i n e d  f o r   s e c o n d  s t a ge .   V a l ue   o f   V 1  s t a rt s   f r o m   N   a n d  s h o ul d   b e   r e duc e d  u nt i l   t h e   t w o   m e nt i o n e d   c o n di t i o n s   a r e   m e t .   H 2  i s   c o n f i de n c e   t hr e s h o l d,   i . e .   e s t i m a t e d  pr o b a b i l i t y   t hr e s h o l d  a n d   V 2  i s   l i ke   V 1  b ut     i t   i s   f o r   t h e   s e c o n d  s t a ge .   V 2  c a n   b e   a n y   v a l u e   f r o m   0  t o   M   w h e r e   M   i s   t h e   n u m b e r   o f   a v a i l a b l e   c l a s s i f i e r s     i n   s e c o n d  s t a ge .   V 2  a n d  H   s h o ul d  b e   a s   h i g h  a s   po s s i b l e .   T h e   c o m b i na t i o n   o f   H   a n d  V 2  s h o ul d   b e   s uc h   t ha t     i t   r e s ul t s   i n  da t a   po i n t s   w i t h  a l l   t h e   po s s i b l e   c l a s s - l a b e l s ,   i . e .   a t   l e a s t   o n e   da t a   po i nt   f r o m   e a c h  c l a s s   s h o ul d    b e   pr e s e n t   i n  o ut pu t .   T h e   d a t a   i n s t a n c e s   f o un d  f r o m   t h i s   s t a g e   i s   c o m b i n e d  w i t h  t h e   o r i g i n a l   t rue   l a b e l e d  da t a   fo r   p r e pa ri n g   f i na l   t ra i ni n g  da t a s e t .   V a l ue   o f   H 2  a nd  V 2  s h o ul d  s t a r t   f r o m   m a x i m u m   po s s i b l e   v a l ue .     If   de s i r e d  o ut put   i s   n o t   f o un d  w h e n   H 2  a n d  V 2  a r e   m a xi m um ,   t h e n   a t   f i r s t ,   V 2  s h o ul d  b e   de c r e m e nt e d  n u m e r i c a l l y .   B ut   V 2  s h o ul d  a l w a y s   b e   gr e a t e r   t ha n   ha l f   o f   t h e   a v a i l a b l e   c l a s s i f i e r s   i n   s e c o n d  s t a ge ,   i . e .   i f   M   c l a s s i f i e r s   a r e   a v a i l a b l e   i n  s e c o n d  s t a ge ,   t h e n  V 2   s h o ul d   b e   gr e a t e r  t h a n  M / 2.   N o w ,   i f   V 2   r e a c h e s   i t s   l o w e s t   pe r m i s s i b l e   v a l ue   b ut   de s i r e d  o ut pu t   i s   n o t   o b t a i n e d,   t h e n  w e   s h o ul d   r e duc e   t h e   v a l ue   o f   H 2  o n e   s t e p.     W e   t o o k  s t e p  s i z e   e qua l s   t o   0. 5 .   It   c a n  b e   c h o s e n   a t   w i l l ,   t h e   s m a l l e r  t h e   b e t t e r .   A f t e r  r e duc i n g   H 2,   w e   a ga i n  t u n e   V 2   b y   s t a r t i n g   i t   f r o m   i t s   m a xi m u m   v a l ue   (i . e .   M ) .   F o l l ow i n g   t h e   s t e ps   m e nt i o n e d   a b ov e ,   w e   t r y   t o   f i n d   V 2  t ha t   g i v e s   de s i r e d  o ut pu t .   I n  t hi s   w a y ,   w e   f i n d  a   c o m b i na t i o n  o f   H 2  a n d   V 2   t ha t   g i v e s   de s i r e d  o ut pu t ,     i . e .   i t   r e s ul t s   i n   d a t a   i n s t a n c e s   w i t h   a l l   t h e   po s s i b l e   c l a s s - l a b e l s .   T h e   da t a   i n s t a n c e s   fo un d  f r o m   t h i s   s t a ge ,     a r e   c o m b i n e d  w i t h  t h e   o r i g i n a l   t r ue   l a b e l e d  da t a   f o r   p r e pa ri ng  f i na l   d a t a s e t .     3. 5 .    R e s u l t   I n   T a b l e   2   t o   7 ,   w e   s um m a ri z e d  t h e   pe r f o r m a n c e   c o m pa r i s o n  b e t w e e n   S T   a nd  M S T   o n   s i x  c o m m o n l y   r e f e r r e d   d a t a s e t s .   I n  t h e   t a b l e s ,   t h e   f i r s t   c o l um n  h o l ds   t h e   na m e s   o f   t h e   c l a s s i f i e r s .   S T   i s   w r i t t e n     o n   b r a c ke t   t o   i n di c a t e   t h a t   t h e   c l a s s i f i e r   w a s   us e d  a s   b a s e   c l a s s i f i e r   f o r   a l go ri t hm   1   a n d   M S T   i n di c a t e   t ha t     t h e   c l a s s i f i e r  w a s   us e d  a s   f i n a l   c l a s s i f i e r   f o l l ow i n g   a l go ri t hm   2.       T a b l e   2 .   A du l t   da t a s e t   N a m e   o f   c l a s s i f i e r   M i c ro   a v g .   p r e c i s i o n   RO C - A U C   A c c u ra c y   F 1   S c o re   P re c i s i o n   Re c a l l   E x t ra   T re e (S T )   0 . 5 0 7   0 . 7 2 9   8 3 . 6 1 0   0 . 5 7 5   0 . 7 5 7   0 . 4 6 3   E x t ra   T re e (M S T )   0 . 6 4 9   0 . 8 5 3   8 2 . 9 0 5   0 . 5 9 3   0 . 6 9 0   0 . 5 1 9   G ra d i e n t Bo o s t ( S T )   0 . 7 4 0   0 . 8 9 0   8 2 . 6 8 6   0 . 4 7 3   0 . 8 6 9   0 . 3 2 5   G ra d i e n t Bo o s t ( M S T )   0 . 7 8 2   0 . 9 0 5   8 5 . 8 0 3   0 . 6 6 3   0 . 7 6 7   0 . 5 8 3   G a u s s i a n ( S T )   0 . 4 4 7   0 . 7 8 0   7 4 . 5 9 3   0 . 4 0 2   0 . 4 6 0   0 . 3 5 6   G a u s s i a n ( M S T )   0 . 6 3 9   0 . 8 3 8   8 1 . 1 8 9   0 . 5 5 6   0 . 6 3 9   0 . 4 9 2   L o g i s t i c R e g r e s s i o n ( S T )   0 . 6 7 9   0 . 8 4 6   8 1 . 7 9 7   0 . 4 5 7   0 . 7 9 9   0 . 3 2 0   L o g i s t i c R e g r e s s i o n ( M S T )   0 . 6 8 1   0 . 8 4 6   8 2 . 6 1 8   0 . 5 5 6   0 . 7 1 5   0 . 4 5 5   Q D A ( S T )   0 . 5 8 1   0 . 7 8 9   7 4 . 9 6 9   0 . 4 0 4   0 . 4 7 0   0 . 3 5 5   Q D A ( M S T )   0 . 6 5 8   0 . 8 5 0   7 9 . 4 3 5   0 . 4 4 4   0 . 6 2 9   0 . 3 4 3   S V M ( S T )   0 . 6 1 9   0 . 8 2 3   8 1 . 0 5 4   0 . 4 9 3   0 . 6 8 5   0 . 3 8 5   S V M ( M S T )   0 . 6 3 2   0 . 8 3 4   8 0 . 6 6 6   0 . 4 3 3   0 . 7 2 6   0 . 3 0 8       T h e   A dul t   da t a s e t   i s   a n  i m b a l a n c e d  b i na r y   da t a s e t   o f   48842  r o w s   w h e r e   1 1687   r o w s   a r e   o f   po s i t i ve   l a b e l   (' i n c o m e   e xc e e ds   50' )  a n d  r e s t   a r e   n e ga t i v e .   W e   t oo k  3%  l a b e l e d  da t a   f o r   o u r   e xpe ri m e n t   m a i nt a i n i ng  t h e   c l a s s   l a b e l   ra t i o .   F r o m   T a b l e   2,   w e   f i n d   t ha t ,   o u r  p r o po s e d  m e t h o d  (M S T )  o ut pe r f o r m e d  t h e   c l a s s i c a l     s e l f - t r a i ni n g   (S T )   i n  m o s t   o f   t h e   m e t ri c s   f o r   a l l   t h e   c l a s s i f i e r s ,   e xc e pt   f o r   S uppo r t   v e c t o r   c l a s s i f i e r   w hi c h  s h o w e d  pe r fo r m a n c e   s i m i l a r   t o   S T .   T h e   B a l a n c e   d a t a s e t   i s   a n  i m b a l a n c e d  m u l t i c l a s s   ( 3  l a b e l )  d a t a s e t   o f   625  r o w s   of   w h i c h   2 88  a r e   ‘L ’  l a b e l ,   288   a r e   ‘R ’  l a b e l   a n d   49   a r e   o f   ‘B ’  l a b e l .   W e   t o o k  3%  l a b e l e d  d a t a   f o r  o ur  e xpe r i m e nt   m a i nt a i n i ng    t h e   c l a s s   r a t i o .   F r o m   T a b l e   3,   w e   f i n d  t h a t   t h e   p r o po s e d  m e t h o d  (M S T )  o ut pe r f o r m e d  t h e   c l a s s i c a l     s e l f - t r a i ni n g   (S T )  i n   m o s t   o f   t h e   m e t ri c s   f o r   a l l   t h e   c l a s s i f i e r s .   T h e   B r e a s t   c a n c e r  d i a g n o s t i c   d a t a s e t   i s   a n  i m b a l a n c e d   b i na ry   da t a s e t   o f   569   r o w s   w h e r e   212   r o w s   a r e   o f   po s i t i v e   l a b e l   (‘m a l i g na n t   t u m o r' )   a nd  r e s t   a r e   n e ga t i v e .   W e   t o o k  3%  l a b e l e d  da t a   f o r   o ur  e xpe ri m e n t    m a i n t a i ni n g   t h e   c l a s s   ra t i o .   F r o m   T a b l e   4 ,   w e   f i n d   t h a t ,   t h e   p r o po s e d  m e t h o d  (M S T )   o ut pe r f o r m e d     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   4 ,  A ugus t   2 020   :     43 40   -   4351   4348   t h e   c l a s s i c a l   s e l f - t ra i ni n g   (S T )   i n  m o s t   o f   t h e   m e t r i c s   f o r   a l l   t h e   c l a s s i f i e r s ,   e xc e pt   f o r   G a us s i a n  N a i v e   B a y e s   a n d  L o gi s t i c   r e g r e s s i o n  (w h i c h  a r e   v e r y   c l o s e   t o   S T   i n   pe r f o rm a n c e ).       T a b l e   3 .   B a l a n c e   da t a s e t   N a m e   o f   c l a s s i f i e r   M i c ro   a v g .   p r e c i s i o n   RO C - A U C   A c c u ra c y   F 1   S c o re   P re c i s i o n   Re c a l l   E x t ra   T re e (S T )   0 . 7 4 9   0 . 7 5 0   7 4 . 7 9 4   0 . 5 2 2   0 . 5 1 4   0 . 5 4 0   E x t ra   T re e (M S T )   0 . 8 3 3   0 . 7 8 9   7 8 . 0 8 9   0 . 5 4 5   0 . 5 2 9   0 . 5 6 4   G ra d i e n t Bo o s t ( S T )   0 . 7 1 4   0 . 7 3 8   6 9 . 0 2 8   0 . 5 2 7   0 . 5 3 3   0 . 5 2 8   G ra d i e n t Bo o s t ( M S T )   0 . 8 7 0   0 . 8 2 9   7 7 . 7 5 9   0 . 5 5 4   0 . 5 6 6   0 . 5 6 8   G a u s s i a n ( S T )   0 . 6 6 8   0 . 6 9 9   6 3 . 4 2 7   0 . 4 3 8   0 . 4 2 7   0 . 4 5 8   G a u s s i a n ( M S T )   0 . 8 9 7   0 . 8 0 3   8 1 . 5 4 9   0 . 5 6 9   0 . 5 5 4   0 . 5 8 9   L o g i s t i c R e g r e s s i o n ( S T )   0 . 8 9 1   0 . 8 5 6   8 1 . 8 7 8   0 . 5 6 8   0 . 5 5 4   0 . 5 9 2   L o g i s t i c R e g r e s s i o n ( M S T )   0 . 9 0 8   0 . 8 5 8   8 2 . 8 6 7   0 . 5 7 7   0 . 5 5 7   0 . 5 9 9   Q D A   (S T )   0 . 7 5 2   0 . 7 6 9   6 8 . 3 6 9   0 . 4 6 6   0 . 5 1 5   0 . 4 9 4   Q D A   (M S T )   0 . 8 5 9   0 . 7 9 6   8 1 . 8 7 8   0 . 5 7 2   0 . 5 5 4   0 . 5 9 2   S V M ( S T )   0 . 8 1 2   0 . 8 0 1   7 0 . 6 7 5   0 . 5 7 2   0 . 6 0 0   0 . 5 7 0   S V M ( M S T )   0 . 9 1 8   0 . 8 8 4   8 3 . 3 6 1   0 . 6 7 1   0 . 6 7 7   0 . 6 6 7       T a b l e   4 .   B r e a s t   c a n c e r   d a t a s e t   N a m e   o f   c l a s s i f i e r   M i c ro   a v g .   p r e c i s i o n   RO C - A U C   A c c u ra c y   F 1   S c o re   P re c i s i o n   Re c a l l   E x t ra   T re e (S T )   0 . 9 6 9   0 . 9 6 4   9 1 . 4 8 6   0 . 9 3 1   0 . 9 4 6   0 . 9 1 6   E x t ra   T re e (M S T )   0 . 9 6 7   0 . 9 6 5   9 1 . 4 8 6   0 . 9 3 2   0 . 9 3 1   0 . 9 3 4   G ra d i e n t Bo o s t ( S T )   0 . 9 4 2   0 . 9 3 9   8 7 . 3 1 9   0 . 8 9 4   0 . 9 3 9   0 . 8 5 3   G ra d i e n t Bo o s t ( M S T )   0 . 9 4 3   0 . 9 3 9   8 9 . 8 5 5   0 . 9 1 7   0 . 9 4 2   0 . 8 9 3   G a u s s i a n ( S T )   0 . 9 8 9   0 . 9 8 1   9 3 . 2 9 7   0 . 9 4 6   0 . 9 5 3   0 . 9 3 9   G a u s s i a n ( M S T )   0 . 9 8 7   0 . 9 7 8   9 3 . 6 5 9   0 . 9 4 8   0 . 9 7 6   0 . 9 2 2   L o g i s t i c R e g r e s s i o n ( S T )   0 . 8 8 5   0 . 9 2 0   9 0 . 3 9 9   0 . 9 2 4   0 . 9 1 3   0 . 9 3 6   L o g i s t i c R e g r e s s i o n ( M S T )   0 . 8 7 9   0 . 9 1 6   8 9 . 6 7 4   0 . 9 1 8   0 . 9 0 9   0 . 9 2 8   Q D A   (S T )   0 . 8 4 3   0 . 8 6 3   8 3 . 5 1 4   0 . 8 7 3   0 . 8 4 2   0 . 9 0 8   Q D A   (M S T )   0 . 9 8 6   0 . 9 8 0   9 1 . 6 6 7   0 . 9 3 0   0 . 9 8 4   0 . 8 8 2   S V M ( S T )   0 . 7 4 7   0 . 8 0 7   8 7 . 8 6 2   0 . 9 0 8   0 . 8 6 4   0 . 9 5 7   S V M ( M S T )   0 . 8 0 0   0 . 8 6 5   8 9 . 1 3 0   0 . 9 1 4   0 . 9 0 9   0 . 9 1 9       T a b l e   5 .   C a r  da t a s e t   N a m e   o f   c l a s s i f i e r   M i c ro   a v g .   p r e c i s i o n   RO C - A U C   A c c u ra c y   F 1   S c o re   P re c i s i o n   Re c a l l   E x t ra   T re e (S T )   0 . 7 7 0   0 . 7 5 4   7 3 . 9 4 2   0 . 4 2 3   0 . 5 3 1   0 . 3 9 0   E x t ra   T re e (M S T )   0 . 8 2 6   0 . 8 0 2   7 7 . 3 4 0   0 . 4 2 6   0 . 4 9 7   0 . 4 0 4   G ra d i e n t Bo o s t ( S T )   0 . 8 4 4   0 . 8 2 7   7 6 . 1 4 8   0 . 4 3 0   0 . 4 5 1   0 . 4 3 2   G ra d i e n t Bo o s t ( M S T )   0 . 7 5 0   0 . 8 7 6   7 9 . 9 0 5   0 . 4 9 0   0 . 5 5 3   0 . 4 6 8   G a u s s i a n ( S T )   0 . 7 6 9   0 . 6 4 6   6 8 . 9 3 3   0 . 3 3 9   0 . 5 4 6   0 . 3 1 8   G a u s s i a n ( M S T )   0 . 7 9 5   0 . 6 8 3   7 0 . 5 4 3   0 . 2 8 5   0 . 4 5 1   0 . 2 9 6   L o g i s t i c R e g r e s s i o n ( S T )   0 . 7 6 4   0 . 7 1 9   7 0 . 0 0 6   0 . 2 0 6   0 . 1 7 5   0 . 2 5 0   L o g i s t i c R e g r e s s i o n ( M S T )   0 . 7 7 8   0 . 7 3 4   6 9 . 8 2 7   0 . 2 2 3   0 . 2 9 9   0 . 2 5 7   Q D A   (S T )   0 . 2 5 2   0 . 5 7 0   3 . 9 3 6   0 . 0 4 6   0 . 0 2 8   0 . 2 5 0   Q D A   (M S T )   0 . 6 0 6   0 . 6 3 8   6 3 . 0 8 9   0 . 2 9 2   0 . 3 6 5   0 . 3 2 3   S V M ( S T )   0 . 7 4 6   0 . 6 9 5   7 0 . 3 6 4   0 . 2 7 7   0 . 3 5 7   0 . 2 8 4   S V M ( M S T )   0 . 7 7 5   0 . 7 7 0   7 0 . 1 2 5   0 . 3 5 6   0 . 4 0 6   0 . 3 6 3       T h e   Ca r  d a t a s e t   i s   a   hi g hl y   i m b a l a n c e d  m ul t i c l a s s   ( 4   l a b e l )  da t a s e t   o f   1728   i n s t a n c e s   w h e r e   c l a s s   0   ha s   384   i n s t a n c e s ,   c l a s s   1   ha s   69   i n s t a n c e s ,   c l a s s   2   ha s   1210   i n s t a n c e s   a n d   c l a s s   3   ha s   65   i n s t a n c e s .   W e   t o o k   3%  l a b e l e d  da t a   f o r   o ur   e xpe ri m e nt   m a i nt a i n i ng  t h e   c l a s s   ra t i o .   F r o m   T a b l e   5 ,   w e   f i n d  t ha t ,   t h e   p r o po s e d   m e t h o d  (M S T )   o ut pe r f o r m e d   t h e   c l a s s i c a l   s e l f - t r a i n i ng   (S T )   i n  m o s t   o f   t h e   m e t r i c s   f o r   a l l   t h e   c l a s s i f i e r s ,   e xc e pt   fo r   G a us s i a n  N a i v e   b a y e s   c l a s s i f i e r   w h i c h  h a s   s i m i l a r  pe r f o r m a n c e   t o   t h e   S T .   In  T a b l e   6   t h e   r e s ul t   o n  G l a s s   d a t a s e t   i s   s h o w n .   T h e   G l a s s   d a t a s e t   i s   a   hi g h l y   i m b a l a n c e d   m u l t i c l a s s   (6  c l a s s   l a b e l s )  d a t a s e t   o f   214   i n s t a n c e s .   W e   t o o k  9%   l a b e l e d  da t a   (19   i n s t a n c e s )   f o r   o ur  e xpe r i m e nt   m a i n t a i ni n g   t h e   c l a s s   ra t i o .   F r o m   T a b l e   5,   w e   f i nd   t ha t   t h e   p r o po s e d  m e t h o d  (M S T )   o ut pe r f o r m e d    t h e   c l a s s i c a l   s e l f - t r a i n i ng  (S T )  i n  m o s t   o f   t h e   m e t ri c s   f o r   a l l   t h e   c l a s s i f i e r s .   In  T a b l e   7   t h e   r e s ul t   o n  I r i s   d a t a s e t   i s   s h o w n .   T h e   I r i s   d a t a s e t   i s   a   b a l a n c e d  d a t a s e t   o f   150   i n s t a n c e s   w i t h  t hr e e   c l a s s   l a b e l s ,   ha v i n g   50   i n s t a n c e s   f o r   e a c h  c l a s s .   W e   t o o k  5%  l a b e l e d  d a t a   f o r  o ur  e xpe ri m e nt   m a i n t a i ni n g   t h e   c l a s s   ra t i o .   F r o m   T a b l e   5,   w e   f i nd   t ha t   t h e   p r o po s e d  m e t h o d  (M S T )   o ut pe r f o r m e d    t h e   c l a s s i c a l   s e l f - t r a i n i ng  (S T )  i n  m o s t   o f   t h e   m e t ri c s   fo r   a l l   t h e   c l a s s i f i e r s ,   e xc e pt   f o r   Q ua d ra t i c   di s c r i m i na n t   a n a l y s i s   c l a s s i f i e r .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       Se m i - s up e r v i s e d   l e ar ni ng   appr o ac h   us i n g  m od i f i e d   s e l f - t r ai n i ng  al gor i t hm …   ( Md.   Kam r ul   H os s ai n )   4349   T a b l e   6 .   G l a s s   d a t a s e t   N a m e   o f   c l a s s i f i e r   M i c ro   a v g .   p r e c i s i o n   RO C - A U C   A c c u ra c y   F 1   S c o re   P re c i s i o n   Re c a l l   E x t ra   T re e (S T )   0 . 3 4 6   0 . 6 7 9   5 3 . 3 3 3   0 . 3 9 8   0 . 4 2 1   0 . 4 5 4   E x t ra   T re e (M S T )   0 . 5 4 3   0 . 8 1 1   6 0 . 0 0 0   0 . 5 6 4   0 . 5 7 7   0 . 5 8 5   G ra d i e n t Bo o s t ( S T )   0 . 4 6 1   0 . 6 9 3   4 9 . 7 4 4   0 . 3 3 3   0 . 4 7 8   0 . 3 2 5   G ra d i e n t Bo o s t ( M S T )   0 . 5 7 4   0 . 7 8 6   5 7 . 4 3 6   0 . 4 8 3   0 . 5 2 8   0 . 5 2 3   G a u s s i a n ( S T )   0 . 5 3 1   0 . 7 4 7   4 6 . 6 6 7   0 . 4 0 4   0 . 3 9 1   0 . 4 2 8   G a u s s i a n ( M S T )   0 . 5 4 2   0 . 7 5 8   4 9 . 7 4 4   0 . 4 9 3   0 . 5 9 1   0 . 4 9 0   L o g i s t i c R e g r e s s i o n ( S T )   0 . 3 6 7   0 . 7 3 1   4 5 . 6 4 1   0 . 2 7 9   0 . 2 7 4   0 . 3 2 5   L o g i s t i c R e g r e s s i o n ( M S T )   0 . 5 4 0   0 . 7 8 8   5 2 . 8 2 1   0 . 4 5 6   0 . 5 1 9   0 . 4 7 6   Q D A   (S T )   0 . 2 7 8   0 . 5 6 9   3 2 . 8 2 1   0 . 1 6 4   0 . 1 6 5   0 . 2 3 4   Q D A   (M S T )   0 . 5 4 3   0 . 6 6 2   5 3 . 3 3 3   0 . 4 0 5   0 . 6 2 1   0 . 4 0 9   S V M ( S T )   0 . 3 4 2   0 . 7 6 0   4 7 . 6 9 2   0 . 4 9 3   0 . 5 3 1   0 . 4 9 8   S V M ( M S T )   0 . 4 1 4   0 . 7 9 3   5 8 . 4 6 2   0 . 5 2 8   0 . 5 5 0   0 . 5 3 6       T a b l e   7 .   I ri s   d a t a s e t   N a m e   o f   c l a s s i f i e r   M i c ro   a v g .   p r e c i s i o n   RO C - A U C   A c c u ra c y   F 1   S c o re   P re c i s i o n   Re c a l l   E x t ra   T re e (S T )   0 . 8 3 0   0 . 9 1 8   8 8 . 8 1 1   0 . 8 8 6   0 . 9 0 8   0 . 8 8 9   E x t ra   T re e (M S T )   0 . 9 6 1   0 . 9 8 0   9 0 . 9 0 9   0 . 9 0 9   0 . 9 1 0   0 . 9 0 9   G ra d i e n t Bo o s t ( S T )   0 . 6 4 8   0 . 8 2 0   7 4 . 8 2 5   0 . 7 5 4   0 . 7 6 7   0 . 7 4 8   G ra d i e n t Bo o s t ( M S T )   0 . 8 3 6   0 . 9 6 5   7 9 . 0 2 1   0 . 7 9 6   0 . 8 1 3   0 . 7 9 0   G a u s s i a n ( S T )   0 . 3 5 9   0 . 6 5 3   3 5 . 6 6 4   0 . 2 2 2   0 . 7 7 9   0 . 3 6 1   G a u s s i a n ( M S T )   0 . 7 3 2   0 . 7 3 2   6 1 . 5 3 8   0 . 5 4 3   0 . 8 1 2   0 . 6 1 8   L o g i s t i c R e g r e s s i o n ( S T )   0 . 8 4 7   0 . 9 7 4   6 7 . 8 3 2   0 . 5 7 1   0 . 8 3 2   0 . 6 7 4   L o g i s t i c R e g r e s s i o n ( M S T )   0 . 9 2 6   0 . 9 8 9   8 9 . 5 1 0   0 . 8 9 4   0 . 9 0 7   0 . 8 9 6   Q D A   (S T )   0 . 8 8 8   0 . 9 5 3   8 3 . 9 1 6   0 . 8 3 8   0 . 8 3 9   0 . 8 3 8   Q D A   (M S T )   0 . 6 6 8   0 . 6 8 2   5 1 . 0 4 9   0 . 4 4 2   0 . 7 7 6   0 . 5 1 4   S V M ( S T )   0 . 8 7 1   0 . 9 5 0   8 7 . 4 1 3   0 . 8 7 0   0 . 8 9 4   0 . 8 7 3   S V M ( M S T )   0 . 9 8 4   0 . 9 7 9   8 8 . 1 1 2   0 . 8 7 9   0 . 8 9 3   0 . 8 8 2       3. 6 .    C h o o s i n g  fi n al   c l as s i f i e r   fo r   O B S   n e tw o r k   d a tas e t   c l as s i fi c a ti o n   In  F i g u r e   3   F1 - s c o r e s   f o r   t h e   s i x   c l a s s i f i e r s   (M S T )   i s   p r e s e nt e d  f o r   e a c h   da t a s e t .   T h e   f i n a l   c l a s s i f i e r  ' F '   i n  p r o po s e d  M S T   i s   t h e   c l a s s i f i e r  w h i c h   i s   t r a i n e d  by   t he   f i n a l   l a b e l e d  da t a s e t .   A f t e r   c a r e f ul   o b s e r v a t i o n    of   T a b l e   2   t o   T a b l e   7 ,   w e   s ugge s t   ' E xt ra   t r e e   c l a s s i f i e r '   t o   b e   t h e   f i na l   c l a s s i f i e r   (F )  f o r  M S T ,   t o   b e   us e d  f o r   O B S   n e t w o r k  da t a s e t   c l a s s i f i c a t i o n.   T h e   r e a s o n  f o r   c h o o s i n g  E x t r a   t r e e   i s   t ha t   t hi s   c l a s s i f i e r  o ut pe r f o r m e d   a l l   o t h e r  c l a s s i f i e r s   (i n  S T )   w h e n  us e d  a s   F   i n  M S T .   A l s o ,   f o r   s m a l l   s i z e d  d a t a s e t s   (gl a s s   a nd  i ri s ) ,   i t   pe r f o r m e d  b e t t e r   t ha n  o t h e r   c l a s s i f i e r s   (i n  M S T ).   M o r e o v e r ,   w e   w a n t   t o   ke e p  o u r  O B S   n e t w o r k  d a t a s e t   a s   s m a l l   a s   po s s i b l e .   T h e r f o r e ,   f o r   O B S   n e t w o r k  n o de   c l a s s i f i c a t i o n ,   t h e   f i n a l   c l a s s i f i e r   i s   s e l e c t e d  t o   b e   ' E xt ra   t r e e   c l a s s i f i e r '   f o r   M S T .           F i gu r e   3 .   F 1 - s c o r e s   o f   s i x  c l a s s i f i e r s   (M S T )       3. 7 .    C l as s i fy i n g  O B S   n e tw o r k   d atas e t   u s i n g  th e   p r o p os e d   al go r i th m   W e   fo un d  a n   O B S   n e t w o r k  da t a s e t   f r o m   U CI  m a c hi n e   l e a rni n g  r e po s i t o r y   w h i c h   w a s   m a de   us i n g   N CT U n s   n e t w o r k  s i m u l a t o r  s o f t w a r e .   It   ha s   10 75  l a b e l e d  i n s t a n c e s   a n d   t w o   t a rge t   c o l um n s .   I n  f i r s t   t a r ge t   c o l um n,   i t   ha s   t hre e   l a b e l s   f o r  t he   i ns t a nc e s :   B e ha v i ng ,   n ot - b e ha v i ng   a nd   po t e nt i a l l y   n o t - b e ha v i ng .   I n  t he   o t h e r  t a r ge t   c o l um n,   i t   ha s   f o ur   t y pe s   of   l a b e l i n g:   M i s b e h a v i n g - n o b l oc k,   m i s b e h a v i n g - w a i t ,   m i s b e ha v i ng - b l o c k  a n d   0 0 . 2 0 . 4 0 . 6 0 . 8 1 Ad ul t B a l a nc e C a nce r C a r Gl a s s I r i s Gr a d i en t B oost i n g Ga u s s i a nN a i v e B a y e s Log i s t i c R eg r es s i on Evaluation Warning : The document was created with Spire.PDF for Python.