I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   20 ,   N o .   3 ,  D e c e m b e r   20 20 ,   pp .   1435 ~ 1443   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 20 .i 3 . pp 143 5 - 1443     1435       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   Ou t l i e r   d e t e c t i o n   i n   W S N   b y   e n t r o p y   b a sed m a c h i n e     l e a r n i n g   a p p r o a c h       M an m o h an   S i n gh   Y ad av ,   S h i s h   A h am ad   D e pa r t m e n t   o f   C o m put e r   S c i e nc e   &   E ng i ne e r i ng   I nt e g r a l   U ni v e r s i t y ,   I ndi a     A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  M a r   1 ,   20 20   R e v i s e d  J un   3 ,   2020   A c c e pt e d  J un   28 ,   2020       E nv i r o nm e nt a l   d i s a s t e r s   l i ke   f l o o di ng ,   e a r t hq ua k e ,   e p i d e m i c s   e t c .     c a us e ’ s   s i g ni f i c a nt   c a t a s t r o phi c   e f f e c t s   o n  po pul a t i o n  o f   a l l   o v e r   t he   w o r l d .   W i r e l e s s   s e ns o r   ne t w o r k   ( W S N )   ba s e d  t e c hn i que s   h a v e   be c o m e   s i g ni f i c a nt l y   po pul a r   i n   s u s c e pt i b i l i t y   m o de l l i ng   o f   s uc h  c ha l l e ng i ng   di s a s t e r   d ue   t o   t he i r   g r e a t e r   s t r e ng t h  a nd  e f f i c i e nc y   i n  t he   pr e di c t i o n  o f   s uc h  t h r e a t s   o c c ur r i ng   e no r m o us l y   da y   b y   da y .   T hi s   pa pe r   de m o ns t r a t e s   t he   m u l t i p l e   m a c hi ne   l e a r n i ng - ba s e d   a p pr o a c h  t o   p r e d i c t   o ut l i e r   i n  s e n s o r   da t a   r e c o r ds   w i t h  t he   u s e   o f   ba gg i ng ,   boo s t i ng ,   r a n do m   s ubs p a c e ,   S V M   a nd  K N N   ba s e d  f r a m e w o r ks   f o r   o ut l i e r   pr e d i c t i o n  us i ng   a   W i r e l e s s   s e ns o r   n e t w o r k  da t a   r e c o r ds .   F i r s t   o f   a l l   t h e   a l g o r i t hm   f o l l o w s   t he   p r e   pr o c e s s i ng   o f   t he   da t a b a s e   t a ke n  f r o m   r e c o r ds   o f   14  s e n s o r   m o t e s   w i t h  pr e s e nc e   o f   o ut l i e r   due   t o   i nt r u s i o n.   S ubs e que nt l y   t he   s e g m e nt e d  d a t a ba s e   i s   c r e a t e d  f r o m   s e ns o r   pa i r s .     F i na l l y ,   t he   da t a   e n t r o py   i s   c a l c ul a t e d  a nd  us e d  a s   a   f e a t u r e   t o   de t e r m i n e   t he   pr e s e nc e   o f   o ut l i e r   us e d  d i f f e r e n t   a ppr o a c h.   R e s u l t s   s ho w   t ha t   t he   K N N   m o de l   h a s   t h e   hi g he s t   pr e d i c t i o n  c a p a bi l i t y   f o r   o ut l i e r   a s s e s s m e nt .       Ke y w or ds :   E n s e m b l e   E n t r o py   K - n e a r e s t   n e i g h b o r   O ut l i e r   S e n s o r   SVM   C opy r i gh t   ©   20 20   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M a n m o h a n  S i n g h  Y a da v ,     D e pa rt m e n t   o f   Co m put e r  S c i e n c e   &   E n gi n e e r i n g ,     Int e g r a l   U ni v e r s i t y ,   L uc kn o w ,   U . P . ,   I ndi a .     E - m a i l :   m a n _ m o ha n _100 @ r e di f f m a i l . c o m     1.   I N TR O D U C TI O N   O ut l i e r   due   t o   i nt r us i o n   i s   a n   e xt r e m e   p r o b l e m   i n   p r o t e c t i o n   a n d  a   t o p  h a s s l e   o f   s a f e t y   b r e a c h,   b e c a us e   a   s i n gl e   e xa m pl e   o f  O ut l i e r   c a n   b o rr o w   o r   de l e t e   i nfo r m a t i o n   f r o m   c o m put e r   a nd  n e t w o r k  s y s t e m   i n   a   f e w   s e c o n ds .   O ut l i e r   c a n   a l s o   ha r m   m a c h i n e   ha r dw a r e .   F u rt h e rm o r e ,   O u t l i e r   c a n  c a us e   l a r ge   l o s s e s   l e a di ng  t o   da t a   i n f e r i o r i t y   i n   c y be r   w a r f a r e .   T h e r e f o r e ,   O ut l i e r   de t e c t i o n   i s   i m po rt a nt   a n d  i t s   p r e v e n t i o n   i s   n e c e s s a r y .   D i f fe r e n t   O ut l i e r   de t e c t i o n  t e c hni que s   a r e   t o   b e   h a d,   b ut   t he i r   a c c ura c y   s t a y s   a s   di f f i c ul t y ;   a c c ur a c y   r e l i e s   upo n   o n   de t e c t i o n   a n d  f a l s e   a l a rm   r a t e .   T h e   p r o b l e m   o n   a c c ura c y   w i s h e s   t o   be   a ddr e s s e d  t o   l e s s e n   t h e   f a l s e   a l a rm s   r a t e   a n d  t o   boo m   t h e   de t e c t i o n   ra t e .   T h i s   b e l i e f   c h a n ge d  i n t o   t h e   i m pe t us   f o r   t hi s   r e s e a r c h   w o r k.     T h us ,   s uppo rt   v e c t o r   m a c h i n e   (S V M )  [1],   r a n do m   f o r e s t   (R F ),   K N N   e t c .   a r e   i m pl e m e nt e d  i n   t h i s   w o r k;   t h o s e   t e c hn i q ue s   w e r e   v e r i f i e d  pow e r f ul   i n   t h e i r   f u n c t i o na l i t y   t o  de a l   w i t h   t h e   c a t e go r y   t r o ub l e .   O ut l i e r   de t e c t i o n  m e c h a ni s m s   a r e   p r o ve n   o n   a   s t a n d a r d  da t a s e t .   T hi s   w o r k  us e d  t h e   N S L W S N   r e a l   t i m e   da t a s e t ,   t ha t ' s   a   s t e ppe d   fo r w a r d  s h a pe   a nd  i s   c o n s i de r e d  a   b e n c h m a r k  w i t h i n   t h e   a s s e s s m e n t   o f   o ut l i e r   de t e c t i o n   t e c hn i que s     [2,   3] .   T o da y   e v e r y t h i ng  i s   b a s e d  o n   da t a   e r a   o f   i n f o r m a t i o n   t e c hn o l o g y .   D a y   by   da y   t h e   da t a   i s   ge t t i n g   c os t l i e r  t h a n   t h e   go l d  b ut   a n y   da t a   ha s   v a l ue   i f   i t   i s   f r e e   o f   e r r o r s   o t h e r w i s e   t h e   a na l y s i s   w h i c h   i s   d r a w n   f r o m   t h e s e   da t a   f o r   t h e   pu rpo s e   of   c o m m e r c i a l   a nd  s o c i a l   w e l fa r e   m a y   r e s ul t   i n   f a l s e   p r e di c t i o n s .   H e n c e   t h e   m o de rn   a pp l i c a t i o n   l i ke   IO T ,   c l o ud,   W S N ,   pr e d i c t i o n   , e s t i m a t i o n   e t c   i n   de f e n c e   b i o m e di c a l ,     s pa c e   t e c h n o l o g y   a r e   ha n di c a p pe d  w i t h o ut   t h e   s uppo r t   o f   i nt e rm e di a t e   m e t h o ds   t ha t   f i n d  a n d  r e m o v e s   t h e   e rr o r,   n o i s e ,   di s t u r b a n c e ,   a n o m a l y   e t c   pr e s e n t   i n   t h e   d a t a .   T ha t   i s   w h y   s e v e r a l   p r e di c t i o n s   r e l a t e d  t o   w e a t h e r   m o n i t o ri n g,   s t o c k  m a r ke t   ra t e s ,   l a u n c h i n g  o f   s pa c e c r a f t s ,   di a g n o s i s   of   di s e a s e   g o e s   t hr o ug h   f a i l u r e s   b e c a us e   of   t h e   s m a l l   a m o unt   o f   di s t o r t i o n s   p r e s e n t   i n  t h e   da t a   r e c o r ds .   T h i s   pa pe r  f oc us   o n   t h e   p r o b l e m   r e l a t e d  t o   c h a l l e n ge s   t ha t   a r e   b e i n g   f a c e d  t o da y   due   t o   o ut l i e r s   i n  t h e   d a t a   r e c o r ds .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    IS S N : 2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   20 ,   N o .   3 ,  D e c e m be r   2 020   :     14 35   -   14 43   1436   M a n y   s t udi e s   a n d  w o r ks   a r e   r e po r t i n g  c o n t r i b ut i o n   t ha t   s h o w s   i n t e r e s t i ng  e nha n c e m e n t s   i n   t e rm s   of  t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   a c c ur a c y .   F o r   i n s t a n c e   t h e   a pp l i c a t i o n s   r e l a t e d  t o   t r e e   e n s e m b l e   pr o c e s s   c a s t i ng  t o   t ra n s f o r m e d  s us c e pt i b l e   c l a s s i f i e r s   i n t o   t h e   b e t t e r   r o b us t   o n e s .   I n   t h i s   a pp r o a c h,   e a c h   t r e e   i s   g r o w n   ra n do m l y   by   s o m e   t r a i ni n g  s e t   [4].   F r e u n d  b r o ug h t   a   b oo s t i n g  s e t   of  r ul e s   na m e d  a s   A da   b oo s t ,   w h i c h   h e   de s c r i b e d  a s   [5]:   “ de t e r m i ni s t i c   r u l e s   s e t s ” .   In   [6 ]  r a n do m n e s s   c h a n ge d  i n t o   a g a i n   us e d  t o   de ve l o p  t h e   t r e e s ,   t h e   s pl i t   b e c a m e   de s c r i b e d  a t   e v e r y   n o de   w i t h   t h e   a i d  o f   a t t e m pt i n g  t o   f i n d  t h e   hi g h - q ua l i t y   r a n do m   c h o i c e   o f  c a pa b i l i t i e s   i n s i de   t h e   t r a i n i ng  s e t .   H ow   b r o ugh t   t h e   ra n do m   s ub s pa c e ,   w h e r e i n   h e   r a ndo m l y   s e l e c t s   a   s ub s e t   of   ve c t o r s   o f   fe a t ur e s   t o   g r o w   e a c h   t r e e   [7] .   D i e t ri c h   de l i v e r e d  t h e   r a ndo m   s pl i t   s e l e c t i o n  i n  w h i c h   a t   e a c h  n o de ;   a   c ut   up  i s   r a n do m l y   de c i de d   o n   a m o n g  g r e a t   s pl i t s .   K   F o r   t h e s e   t e c h ni que s ,   a nd  l i ke   b a ggi n g ,   a   ra n do m   v e c t o r   s a m p l e d  t o   de v e l o p  a   t r e e   i s   c o m pl e t e l y   i n de pe n de n t   f r o m   t h e   p r e v i o us   ve c t o r s ,   b ut   i s   ge n e ra t e d  w i t h  t h e   e qua l   di s t r i b ut i o n.   R a n do m   c ut   up  s e l e c t i o n   a nd  i n t r o d uc i n g  ra n do m   n o i s e   i n t o   t h e   o ut   put s   bo t h   ga v e   b e t t e r   o ut c o m e s   t h a n  b a ggi n g .   N e v e r t h e l e s s ,   t h e   a l go r i t hm s   i m pl e m e nt i n g  a pp r o a c h e s   of   r e - w e i gh t i n g  t h e   t r a i ni n g  s e t ,   i n c l udi ng  A da   b oo s t   [8],   o ut pe r f o r m   t h o s e   t w o   t e c h ni que s .   T h e r e f o r e ,   B r e i m a n   [9]  c o m b i n e d  t h e   s t r e n g t h s   o f   t h e   m e t h o ds   t a r ge t e d  a b o ve   i n t o   t h e   ra n do m   fo r e s t   a l go ri t hm .   I n   t h i s   m e t h o d,   pe o pl e   a r e   ra n do m l y   s e l e c t e d  f r o m   t h e   t r a i n i ng  s e t   w i t h   r e pl a c e m e nt .   A t   e a c h   n o de ,   a   c ut   up  i s   c h o s e n   by   us i n g  de c r e a s i n g  t h e   d i s pe r s i o n   ge n e ra t e d  w i t h   t h e   a i d  o f   t h e   p re c e di n g  s t e p  a n d  t h e r e f o r e   de c r e a s i n g  t h e   e rr o r     f e e   [10].   T h e   r e s t   o f   t h e   pa pe r   i s   pr e p a r e d  a s   s pe c i f i c   un de r .   T h e   r e l a t e d  w o r k  i s   pr e s e nt e d  i n   S e c t i o n   II.     T h e   pr o po s e d  m o de l   of   O ut l i e r   de t e c t i o n   t o   w h i c h   d i f fe re n t   m a c h i n e   l e a rni n g  t e c hni que s   a r e   a pp l i e d  i s   de s c r i b e d  i n   S e c t i o n   III .   T h e   i m pl e m e n t a t i o n   a n d  r e s ul t s   a r e   di s c us s e d  i n   S e c t i o n  IV .   T h e   p a pe r   i s   c o n c l ude d  i n   S e c t i o n  V ,   w h i c h  p r o v i de s   a   s um m a r y   a n d   di r e c t i o n s   f o r   f ut u r e   w o r k.       2.   R ELA TED   WO R K   O ut l i e r   de t e c t i o n   i s   v e r y   i m po r t a nt   p a r t   f o r   s a f e t y   t oo l s   ha v i ng  a dv a n c e d  s e c ur i t y   us e s ,   o ut l i e r   de t e c t i o n   p r o c e s s   s c h e m e s ,   o ut l i e r  p r e v e n t i o n  s y s t e m s ,   a n d  de fe n c e   a ppl i c a t i o n s .   M a n y   s t ra t e gi e s   a r e   us e d,   b ut   t h e i r   o v e r a l l   pe r f o r m a n c e   s t i l l   po s s e s s e s   m ul t i p l e   l i m i t a t i o n s .   O u t l i e r   de t e c t i o n   r e l i e s   upo n   a c c ur a c y   a n d   i t   c a n   b e   e nh a n c e d  t o   de c r e a s e   t h e   f a l s e   a l a rm s   de t e c t i o n   ra t e .   T o   i m p r o v e   ov e r a l l   pe r f o r m a n c e ,   m u l t i l a y e r   t r e e   b a s e d  a ppr o a c h,   s uppo rt   v e c t o r   m a c h i n e   (S V M ),   a nd  ot h e r   s t ra t e gi e s   a pp l i e d  i n   t hi s   c urr e n t   w o r k.     S uc h   s t r a t e gi e s   h a v e   bo un de d  a ppl i c a t i o n s   a n d  a r e n' t   v e r s a t i l e   fo r   l a r ge   da t a   s e t s   i n   b i g  s y s t e m   a n d  n e t w o r k  da t a .   T h e   o ut l i e r   de t e c t i o n   i s   a pp l i e d  i n   s t u dy i n g  l a rge   t ra ff i c   da t a   n e t w o r ks   h e n c e   a n   e f f i c i e n t   c a t e go r y   a pp r o a c h   i s   n e c e s s a r y   t o   ov e r c o m e   t h e   c h a l l e n gi ng  i s s ue .   T h i s   p r o b l e m   i s   t a ke n   i nt o   c o n s i de ra t i o n   o n   t hi s   pa pe r.   W e l l - k n o w n   de v i c e   l e a rni n g  t e c hn i que s ,   pa rt i c ul a r l y ,   S V M ,   r a n do m   f o r e s t ,   a nd  e x t r e m e   l e a rni n g   m a c h i n e   (E L M )  a r e   c a rri e d  o ut .   T h e s e   s t r a t e gi e s   a r e   f a m o us   be c a us e   of  t h e i r   f un c t i o n a l i t y   i n   c a t e go r y .     T h e   k n o w - h o w   di s c ov e r y   a n d   d a t a   m i ni n g  s t a t i s t i c s   s e t   i s   us e d.   T h e   r e s ul t s   i n di c a t e   t ha t   p r e s e n t   a pp r o a c h  o ut pe r f o r m s   o t h e r   p r o c e s s e s   [11 ].   In   a   pa pe r   r a n do m   f o r e s t s   fo r   o pe r a t i ng  de v i c e s   di a g n o s t i c s   w i t hi n   t h e   pr e s e n c e   o f   a   v a ri a b l e   w i de   v a ri e t y   of   f un c t i o n s   i s   de m o n s t ra t e d.   W i r e l e s s   s e n s o r   n e t w o r k  a r e   v e r y   h e l pf ul   t o   c l e a r  m a n y   h a s s l e   b ut   m o r e   s ub j e c t e d  t o   f l a w s .   It   i s   o b s e r ve d  t ha t   di a g n o s t i c s   a t   t h e   s i n k   l e v e l   i s   i m po rt a nt   t o  qua n t i t y   a nd  t o   f urni s h   c a p a b i l i t i e s   a n d  t ha t   s o m e   po l i t i c s   l i ke   s c h e du l i n g   o r   f a c t s   a gg r e g a t i o n   m a y   be   de ve l o pe d  t h r o ug h o ut   t h e   n e t w o r k.   T h i s   p a pe r   e xpo s e d  t h a t   r a ndo m   f o r e s t s   a r e   r e l e v a nt   o n   t hi s   c o n t e xt ,   b e c a us e   of   t h e i r  f l e xi b i l i t y a n d   r o b us t n e s s   [12] .   A n o t h e r  r e s e a r c h  w o r k  o ffe r s   a   s i n gu l a r  h y b r i d  p r e d i c t i o n  t e c h ni que ,   s pe c i f i c a l l y ,   s e l f - t uni n g   l e a s t   s qua r e s   s uppo r t   v e c t o r   m a c hi n e   (S T L S S V M ).   It   i s   a   h y b r i d  t e c hni que   t ha t   m a ke s   us e   of   L S - S V M   a s   a   s upe r v i s e d - ga i ni n g  k n o w l e dge   of - b a s e d  t o t a l l y   pr e di c t o r  t o   b ui l d  a   c o rr e c t   i nput - o ut pu t   c o urt i n g   o f   t h e   da t a s e t .   P r e di c t i o n  a c c ura c y   of   t h e   S T - L S S V M   i s   c o m pa r e d  t o   o t h e r   de v i c e   ge t t i n g   t o   k n o w   m e t h o ds ,   pa r t i c ul a rl y ,   L S - S V M   a n d  B P N N   i n   t e r m s   o f   c o e ff i c i e n t   of   c o r r e l a t i o n   (R ),   m e a n   a b s o l ut e   e r r o r   (M A E ),     a n d  r o o t   m e a n   s qua r e   e rr o r s   (R M S E ).   Co m p a r i s o n s   s h o w e d   t ha t   t h e   S T - L S S V M   a c c o m pl i s h e d  h i g h e r   t ha n  LS - S V M ,   B P N N ,   a n d  N N   i n   t e rm s   o f   R ,   R M S E ,   a n d  M A E   [13].   M L   c l a s s   a l go ri t hm s   i n c l us i v e   of   K - n e a r e s t   n e i g h b o ur,   t r e e ,   S V M   a n d   N a i v e   B a y e s i a n   a r e   pe r f o r m e d  us i n g  r e a l   t i m e   da t a s e t .   B a ggi n g ,   b o o s t i n g,   a nd  ra n do m   f o r e s t   a r e   a pp l i e d  t o   ge n e r a t e   p r e di c t i o n   m o de l .   T he   a c c ur a c y   i s   t h e n   t a b ul a t e d.   B o o s t i n g  e n s e m b l e   ha s   t h e   h i g h   a c c ura c y   i n  t hi s   a r t i c l e   [14 ].   A   pa pe r   w a s   p r o po s e d  o n   a n  e n s e m b l e   f r a m e w o r k  t o   d i a gn o s e   di s e a s e   by   m e a n s   o f   o pt i m a l l y   e m pl oy i n g  a   c o upl e   of   c l a s s i f i e r s   pr i m a r i l y   b a s e d  o n   b a ggi n g   a n d  ra n do m   s ub s pa c e   t e c hn i que s .   T h e   p r o po s e d   f r a m e w o r k  c o m b i n e s   s e v e n   of   t h e   m a x i m um   a pp r o p r i a t e   a n d   h e t e r o ge n e o us   da t a   m i ni n g  s t ra t e gi e s ,   e a c h   w i t h  a   s e pa ra t e   s e t   of   s ui t a b l e   f un c t i o n s .   T h e   f r a m e w o r k  i s   de s i gne d  a s   i t   s h o ul d  b e   by   us i n g  de c i di ng  o n ,   f o r   e a c h   s ub - da t a s e t ,   t h e   m a x i m u m   s ui t a b l e   f e a t ur e   s e t   a nd  t h e   m o s t   c o r r e c t   c l a s s i f i e   [15] .  T h e   S uppo rt   v e c t o r   M a c hi n e   (S V M )  i s   a   f a m o us   t y pe   a ppr o a c h.   H ow e ve r ,   b e gi nn e r s   w h o   a r e n' t   a c qua i n t e d  w i t h   S V M   o f t e n   ge t   un s a t i s f a c t o r y   c o n s e que n c e s   s i n c e   t h e y   m i s s   s o m e   c l e a n   h o w e ve r   v a s t   s t e ps .   In   t h i s   gui de ,   w e   r e c o m m e n d  a n  e a s y   s y s t e m   w h i c h   us u a l l y   gi v e s   a f fo r da b l e   o ut c o m e s   [16].   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i   IS S N :   2502 - 4752       O ut l i e r   d e t e c t i o n  i n  W SN   by   e nt r op y   b as e d   m ac h i ne   l e ar n i ng   appr oa c h   ( Manm o han  Si ng h  Y ada v )   1437   In   M a c hi n e   L e a rni n g ,   a   r e c o r ds   s e t   i s   i m b a l a n c e d  w h i l s t   t h e   m a g n i f i c e n c e   pr o po rt i o n s   a r e   f a i rl y   s ke w e d.   Im b a l a n c e d  r e c o r ds   s e t s   a ri s e   a ut o m a t i c a l l y   i n  l o t s   o f   ut i l i t y   do m a i n s   a n d  po s e   a   c h a l l e n ge   t o   t r a d i t i o n a l   c l a s s i f i e r s .   W e   r e c o m m e n d  a   n e w   m e t h o d  t o   c on s t ruc t i n g  e n s e m b l e s   of   c l a s s i f i e r s   f o r   t w o - c l a s s   i m b a l a n c e d  s t a t i s t i c s   u n i t s ,   k n o w n   a s   R a n do m   B a l a n c e .   E a c h   m e m b e r   o f   t h e   R a n do m   B a l a n c e   e n s e m b l e   i s   t r a i n e d  w i t h   i n f o r m a t i o n   s a m pl e d  f r o m   t h e   t ra i ni n g  s e t   a nd  a ugm e nt e d  by   us i n g  s y n t h e t i c   t i m e s   r e c e i ve d   us i n g  S M O T E   [1 7].   T h e   n o v e l t y   w i t hi n   t h e   m e t h o d  i s   t h a t   t h e   p r o po r t i o n s   o f   t h e   t ra i n i n g   f o r   e a c h   e n s e m b l e   m e m b e r   a r e   c h o s e n   ra n do m l y .   T h e   i n s t i n c t   a t   t h e   b a c k  of   t he   a pp r o a c h   i s   t h a t   t h e   p r o po s e d  v a r i e t y   h e ur i s t i c   w i l l   m a ke   c e r t a i n   t ha t   t h e   e n s e m b l e   c a rr i e s   c l a s s i f i e r s   t h a t   a r e   s pe c i a l i z e d  f o r   e xc l us i v e   r unni n g   f a c t o r s   o n   t h e   R O C  a r e a ,   t h e r e by   m a i n  t o   l a r ge   A U C  c o m pa r e d  t o   di f fe r e nt   e n s e m b l e s   of   c l a s s i f i e r s .   E xpe r i m e nt s   ha v e   be e n   pe r f o r m e d  t o   t e s t   t h e   R a n do m   B a l a n c e   m e t h o d  by   us i n g   i t s e l f ,   a n d   a d di t i o na l l y   i n   c o m b i na t i o n   w i t h  po pul a r  e n s e m b l e   t e c hn i que s .   A s   a   r e s ul t ,   w e   pr o po s e   a   n e w   e n s e m b l e   a dv e n t   m e t h o d  k n o w n   a s   R B - Boo s t   w h i c h   c o m b i n e s   R a n do m   B a l a n c e   w i t h   A d a B oo s t . M 2.   T hi s   c om b i na t i o n   i n v o l v e s   e n f o r c i n g  ra n do m   e l e ga n c e   pr o po r t i o n s   i n   a d di t i o n   t o   e xa m pl e   r e - w e i gh t i ng.   E xpe ri m e n t s   w i t h   86  i m b a l a n c e d  r e c o r ds   s e t s   f r o m   t w o  w i de l y   r e c o gn i z e d  r e po s i t o r i e s   r e v e a l   t h e   ga i n  o f   t h e   R a n do m   B a l a n c e   a pp r o a c h  [18 ,   1 9].       3.   M ET H O D O L O G Y   3. 1 .       En s e m b l e   o f  c l as s i f i e r   In   e n s e m b l e   m e t h o d  c o n s i s t   o f   a ggr e ga t i o n   o f   m a c h i n e   l e a rni n g  a l go r i t hm s   us e d  t o   ge t   b e t t e r  pr e di c t i v e   r e s ul t   t h a n   o b t a i n e d  f r o m   a v a i l a b l e   i n di v i du a l   l e a rn i ng  a l go r i t h m s .   A n   e n s e m b l e   i s   a   s upe r v i s e d   w a y   ga i ni n g   k n o w l e dge   by   a l go r i t hm   [2 0].     3. 1 . 1.       B a ggi n g   Bo o t s t r a p  a gg r e g a t i ng  o r  b a ggi ng  i s   m a ki ng  us e   o f   t h e   i de nt i c a l   l e a rni n g   a l go ri t hm   t o   t r a i n   e a c h  l e a rn e r   o n   a   o n e - of - a - ki n d  s e t   o f  da t a .   N ’  s ub s e t s   o f  da t a   a r e   dr a w n   ra n do m l y   w i t h   t h e   r e pl a c e m e n t   f r o m   t h e   t r a i ni n g   da t a   N .   T h e   N ’  s ub s e t   o f   r e c o r ds   a r e   c h o s e n   i n  pa ra l l e l .   E a c h   o f   t h e   N ’   s ub s e t s   us e d  t o   t r a i n   a   m o de l   M .   T e s t   d a t a   X   i s   a pp l i e d  t o   e v e r y   of   t h e   M   m o de l s   f o r   p r e di c t i n g  Y .       3. 1 . 2 .   B o o s ti n g   Bo os t i ng  p r o c e s s   i s   s i m i l a r   t o   b a ggi n g  b ut   t h e   i t e ra t i o n s   a ppl i e d  t o   b e   s e que n t i a l ,   a n d  e v e r y   t i m e   n e w   c l a s s i f i e r   a pp l i e d  t o   ge t   b e t t e r  a c c u r a c y   of   pr e di c t i o n   o f   t h e   p r e v i o us   ge n e r a t i o n   c l a s s i f i e r .     3. 1 . 3.       R an d o m   S u b s p ac e   R a n do m   s ub s pa c e   a pp r o a c h   r e f e rr e d  t o   a   f e a t ur e   b a ggi n g.   It   po s s e s s e s   a n   e n s e m b l e   l e a rn i ng  kn o w l e dge   t ha t   a t t e m p t s   t o   l e s s e n   t h e   c o rr e l a t i o n   a m o ng  e s t i m a t o r s   by   m e a n s   o f   a s s oc i a t i n g   t h e m   o n  r a ndo m   s a m pl e s .   T h e   r a ndo m   s ub s pa c e   i n c l ude s   f un c t i o n s   l i ke   " a t t ri b ut e s " ,   " pr e d i c t o r s " ,   " u n b i a s e d  v a r i a b l e s "   s a m pl e d  ra n do m l y   w i t h   s ub s t i t u t e   [21].   A n   e n s e m b l e   of   m o de l s   i s   c o n s t r uc t e d  i n   t h i s   m e t h o d  b y     fo l l ow i n g   r ul e s :     a)   L e t   n u m b e r   o f   t r a i n i ng  po i nt s   a r e   N   a n d   t h e   f e a t u r e s   w i t h i n  t ra i ni n g  s e t   a r e   D .   b)   S a y   L   i s   n u m b e r   o f   i n di v i du a l   m o de l s   f o r   c o n s t r uc t e d   e n s e m b l e .   c)   F o r   e v e r y   m o de l   l ,   s e l e c t   n l   s uc h  t ha t   ( nl   <   N )  r e p r e s e n t s   n u m b e r   o f   i nput   po i n t s .   d)   F o r   e v e r y   m o d e l   l ,   c r e a t e   a   t ra i ni n g  da t a s e t   s uc h   t ha t   dl   f e a t ur e s   w i t h i n   D   w i t h   de s i r e d   r e pl a c e m e n t   a n d  t h e n   s t a rt   t h e   t ra i n  o f   t h e   m o de l .   F i na l l y   us e   t h e s e   e n s e m b l e   m o de l   a s   u n s e e n   po i n t ,   i n t e g ra t e   a l l   o ut put s   o f   i ndi v i dua l   m o de l s .     U s e   r a ndo m   s ub s pa c e   e n s e m b l e s   (S ub s pa c e )  fo r   b e t t e r  a c c ura c y .     3. 2 .       K - n e a r e s t  n e i gh b o u r s   T h i s   a l go r i t hm   i s   b a s e d  o n   di s t a n c e - b a s e d  c l a s s i f i e r s   s c h e m e .   T h e   c l a s s   l a b e l   of   a   n e w   da t a   i s   e qua l   t o   t h e   c l a s s   o f   t h e   n e a r e s t   n e i g h b o ur   f o un d  us i n g   s pe c i f i c   di s t a n c e   f o r m ul a e .   H e t e r o ge n e o us     E uc l i de a n - O v e r l a p   M e t r i c   (H E O M )  i s   a p pl i e d  f o r   di s t a n c e   m e a s u r e   t o   ge t   t h e   K - n e a r e s t   n e i g h b o ur s   [22 ].   H e r e   i s   s t e p  de s c r i b e d  t ha t   a r e   us e d  i n  K - n e a r e s t   n e i g h b o ur s   ( K N N )  a l go r i t h m :   a)   D e t e r m i n e   pa ra m e t e r  K   =   num b e r  o f   n e a r e s t   n e i g h b 0 u r s   b)   Ca l c ul a t e   t h e   d i s t a n c e   b e t w e e n   t h e   que r y - i n s t a n c e   a nd  a l l   t h e   t ra i ni n g   s a m pl e s   c)   S o r t   t h e   di s t a n c e   a nd  de t e rm i n e   n e a r e s t   n e i g h b o ur s   b a s e d  o n   t h e   K - t h  m i ni m u m   di s t a n c e   d)   G a t h e r   t h e   c a t e go r y   of   t h e   n e a r e s t   n e i g h b o ur s   e)   U s e   s i m pl e   m a j o ri t y   of   t h e   c a t e go r y   of   n e a r e s t   n e i g h b o ur s   a s   t h e   p r e di c t i o n   v a l ue   o f   t h e   Q ue r y   i n s t a n c e .       Evaluation Warning : The document was created with Spire.PDF for Python.
                    IS S N : 2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   20 ,   N o .   3 ,  D e c e m be r   2 020   :     14 35   -   14 43   1438   3. 3 .       S u p p o r t  v e c to r   m ac h i n e   S uppo r t   V e c t o r   M a c hi n e s   a r e   f o un d  t o   b e   ve r y   b e n e f i c i a l   a pp r o a c h   i n  a u t o m a t e d  c l a s s i f i c a t i o n   pr o c e s s .   It   h a s   l e s s   di ff i c ul t   t o   a ppl y   t h a n   N e ura l   N e t w o r ks   pr o c e s s   l e a r ni n g .   It   o ffe r s   a   c o o k boo k  a ppr o a c h  t h a t   h e l ps   t o   pr o v i de   r e a s o n a b l e   r e s ul t s .   T h e   us e r s   do   n o t   n e e d  t o   r e c o gn i z e   t h e   un de r l y i n g  c o n c e pt   i n   t h e  b a c k  of   S V M .   It   i n c l ude s   s e t t i ng  a p a r t   o f   r e c o r ds   i n t o   t r a i n i n g  a n d  t e s t i n g  o ut   s e t s .   T h e   t r a i n i ng  s e t   s a m p l e s   m us t   i n c l ude   o n e   t a rge t   v a l ue   ( k n o w n   a s   c l a s s   l a b e l s )  a nd  nu m e r o us   a t t ri b ut e s   (k n o w n   a s   f e a t u r e s   o r   o b s e r v e d   v a r i a b l e s ).   T h e   S V M   p r o v i de   a   m o de l   (b a s e d  t o t a l l y   a t   t h e   t ra i ni n g  da t a )   w h i c h   p r e d i c t s   t h e   t e s t   da t a   o f   t h e   t e s t   da t a   g i v e n   b e s t   t h e   c h e c k  da t a   a t t ri b ut e s   [23, 24].     3. 3 . 1.       S V M   c l as s i f i e r   d e s i gn   a)   A f t e r   ge t t i n g   t h e   e n t r o py   a n d   a n o m a l y   v a l ue s   S V M   f un c t i o n   a ppl i e d  o n  d a t a   v a r i a b l e s     b)   U s e   t h e   c l a s s i f i e r  f un c t i o n   f o r   t ra i ni n g  da t a s e t     S V M S t r uc t   =   s v m t r a i n ( E n t rpa l l ' , (A n o m a l y a l l > 0))   G r o up  =   s v m c l a s s i f y ( S V M S t r uc t , E nt r pa l l ' )   c)   c )  F i n d  t h e   pe r c e nt   o f   S V M   m o de l   a c c u r a c y     P e r c e n t   t r a i n i ng  a c c u r a c y = 100 - ∑  (o ut put   p r e di c t e d - A n a m o l y   v a l ue > 0)/ t o t a l   l e n g t h   o f   a n o m a l y   v a l ue )*100   d)   d)  U s e   t h e   c l a s s i f i e r  f un c t i o n   f o r   t e s t i n g   d a t a s e t     G r o up  =   s v m c l a s s i f y ( S V M S t r uc t , E nt r pa l l ' );   e)   e )  F i n d  t h e   pe r c e nt   o f   S V M   m o d e l   a c c u r a c y   f o r   t e s t i n g   d a t a s e t   P e r c e n t   t e s t i ng  a c c ura c y   = 100 - ∑  (o ut put   p r e d i c t e d - A n o m a l y   v a l ue > 0)/ t o t a l   l e n gt h   o f   a n o m a l y   v a l ue )*100       4.   P R O P O S ED   A LG O R I T H M   F O R   O U TLI ER   D ETEC TI O N   U S I N G   D I F F ER EN T  C LA S S I F I ER   4. 1 .       Lo ad   &  p r o c e s s   th e   d ata   v ar i ab l e s   a)   D a t a   s a m p l e   t i m e   i s   0. 5  s e c . ,   s e gm e n t   l e n g t h   t a ke n   o f   50   s a m pl e s   . T h e r e   a r e   fo ur t e e n   s e n s o r s   h e n c e   14x13= 182   s e n s o r  pa i r   i d   a r e   l a b e l l e d.   E a c h  p a i r  i d   d a t a   b e a rs   3127   s a m pl e   f o r   r e c o r d  t i m e   ha l f   h o ur  [21 ].   b)   S e n s o r   d a t a   Z   182x 3127  a n d  m o t i o n  da t a   M 1  x   3127   ( w h i c h   i s   a s   o ut l i e r   [0   o r   1])  i s   i m po r t e d  t o  a l go ri t hm .     c)   D i f fe r e n t   d i s t a n c e   fo r m u l a e   a r e   c o n s i de r e d  na m e d  as ‘c i t y b l o c k' ,   ' c h e by c h e v ' ,   ' m a ha l a n o b i s ' ,   ' m i n ko w s ki ' ,   ' e uc l i de a n ' ,   ' s e uc l i de a n' ,   ' s pe a rm a n ' ,   ' c o s i n e ' ,   ' h a m m i n g ' ,   ' j a c c a r d' .     4. 2 .       S e l e c t   s e n s o r   p ai r   P a i r   i d   o f   t w o   s e n s o r s   c o m m u n i c a t e   w i t h   e a c h  o t h e r  i s   s e l e c t e d  ra n do m l y   t o   m a ke   a   t ra i ni n g   d a t a .     4. 3 .       D at a  s e gm e n tati o n   a)   D a t a s e t   i s   b r o ke n   i n  s e gm e nt   o f   50  s a m p l e s   (t o t a l   s e gm e n t   a r e   62).   b)   M o t i o n   d a t a s e t   (o ut l i e r  da t a )  i s   a l s o   s e gm e nt e d.   c)   T o t a l   s e gm e nt   pe r  s e n s o r  p a i r  = f l o o r   [( t o t a l   s a m pl e )/   (s e gm e nt   l e n g t h )]   i . e .   62 .   d)   E n t r o py   i s   c a l c ul a t e d  o f   e a c h   s e gm e n t .     4. 4 .       En t r o p y  e v al u ati o n   a)   E a c h   s e gm e n t   e n t r o py   v a l ue   i s   i n p ut   o f   Cl a s s i f i e r   p r e d i c t o r  a l go r i t hm .   T h e   e qua t i o n   us e d  f o r   e nt r o p y   i s   b a s e d  o n   S h a nn o n   e nt r o p y   fo r m ul a e .   b)   E a c h   s e gm e n t   i t e r a t i v e l y   us e d  t o   ge t   i t s   e n t r o py   v a l ue .   c)   S e gm e n t s   e nt r o p y   s a v e d  a s   v a ri a b l e   ‘ E n t rpa l l ’ .   d)   O ut l i e r  da t a   s e gm e n t   a r e   s u m m e d   a nd  t a ke n   a s   o ut l i e r   l e v e l .   e)   W e   t a ke   ra n do m   p a i r  i d  a n d   a l l   t o t a l   6 20  d a t a   r e c o r de d  a r e   ge n e r a t e d  a s   t ra i ni n g   d a t a b a s e .     4. 5 .       C l as s i fi e r   m o d e l   d e v e l o p m e n t   a)   Cl a s s i f i e r  i s   t ra i n e d   by   us i n g   e n t r o py   da t a   v a l ue s   a s   i n pu t   v a ri a b l e   a n d   o ut l i e r  l e v e l   a s   o ut p ut .   b)   P r e di c t i o n   i na c c ura c y   o f  t ra i ni n g  &   t e s t i n g  d a t a   i s   c a l c ul a t e d.   D i f fe r e nt   p r e di c t i o n   m o de l s   a t   m ul t i p l e   pa r a m e t e r s .   c)   F i nd  t h e   pe r c e n t a ge   o f   pr e di c t i o n  a c c ura c y .   d)   F i nd  t h e   c r o s s   v a l i da t i o n  a c c u r a c y   f r o m   m o de l   t e s t i n g   s t a ge .         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i   IS S N :   2502 - 4752       O ut l i e r   d e t e c t i o n  i n  W SN   by   e nt r op y   b as e d   m ac h i ne   l e ar n i ng   appr oa c h   ( Manm o han  Si ng h  Y ada v )   1439   5.   R ES U LTS   A N D   D I S C U S S I O N   5. 1 .      A b o u t  th e   d atas e t :   D at a  c o l l e c ti o n   M e th o d   D e s c r i p t i o n   T h e   da t a   us e d  i n   t hi s   w o r k  i s   f r o m   a n   e xpe r i m e nt   a t   t h e   U ni v e r s i t y   of   M i c h i g a n.   It   c o m po s e   of   a   S e n s o r   ki t   k n o w n   a s   M ICA 2. S e n s o r s   i n   t h i s   k i t   a r e   L i ght ,   T e m pe ra t u r e ,   R H ,   P r e s s ur e ,   A c c e l e r a t i o n   e t c .     T h i s   e xpe ri m e n t   s e t up  c o n s i s t s   o f   14  s e n s o r   n o de s   r a n do m l y   de pl oy e d  i n s i de   a n d  o ut s i de   a   l a b   r o o m .   S e n s o r s   c o m m uni c a t e   by   b r o a dc a s t i n g  a n d  t h e   r e c e i v e d  s i gn a l   s t r e ngt h   (R S S )  i s   r e c o r de d  a s   t h e   vo l t a ge   m e a s u r e d.     14  x  13  i . e .   182  s e n s o r   p a i r s   r e c o r ds   of   R S S   m e a s ur e m e n t s   ov e r   a   30  m i n u t e   pe r i o d  i s   t a ke n   a t   a   s a m p l e   of  0. 5  s e c   t o   ge t   3191  t i m e   s a m p l e s .   D u r i ng  t h e   e xpe r i m e nt s   v o l un t e e r   w a l ke d  i nt o   a n d  o ut   o f   t h e   l a b   t o   c r e a t e   o ut l i e r   pa t t e rn s   i n  t h e   R S S   vo l t a g e   r e a do ut s .   A   w e b   c a m e ra   a l s o   us e d  t o   r e c o r d  a c t i v i t y .   T h e   o ri gi na l   r a w   da t a   i s   s t o r e d  i n   t h e   m a t r i x  ‘ da t a L i n e a r ’  (o f   s i z e   182  x  3191)  i n   t h e   f i l e   ‘da t a L i n e a r. m a t ’ .   T h e   g r o u n d  t r u t h   i s   r e c o r de d  i n   t h e   v e c t o r   ‘m o t i o n Co de ’  (of   s i z e   1  x  3191)   i n   t h e   f i l e   ‘m o t i o n Co de . m a t ’  D a t a l i n e a r   i s   s e n s o r   R S S   (vo l t s ),   M o t i o n   i s   A n o m a l y   (0  o r   1),   Z   i s   p r e pr o c c e d  da t a .   T o t a l   s e gm e nt   i s   3127 / 50  i . e .   62 ,   a n d  p a i r   i d  i s   a n y   t w o  s e n s o r   c o m m uni c a t e   e a c h   o t h e r   (l e t   pa i r i d= 60 ).   A t   a   p a r t i c u l a r   pa i r i d  (l e t   pa i ri d = 60)  da t a s e t   i s   di v i d e d  i n t o   s e gm e n t   (t o t a l   s e gm e n t   62 .   s i m i l a r l y   m o t i o n   da t a   (o ut l i e r  da t a )   i s   a l s o   b r o ke n   i n   e qu a l   s e gm e n t s   [ 25].     5. 2 .   En t r o p y   E n t r o py   a s   i t   r e l a t e s   t o   m a c h i n e   l e a rn i ng,   i s   a   m e a s u r e   o f   t he   ra n do m n e s s   i n   t h e   i n f o rm a t i o n  b e i n g   pr o c e s s e d.   T h e   h i g h e r   t h e   e n t r o py ,   t h e   ha r de r   i t   i s   t o   d r a w   a n y   c o n c l us i o n s   f r o m   t ha t   i n f o rm a t i o n.   F l i ppi ng  a   c o i n   i s   a n   e xa m p l e   of   a n   a c t i o n   t h a t   p r o v i de s   i n f o r m a t i o n   t h a t   i s   r a ndo m .   F o r   a   c o i n   t ha t   ha s   n o   a f f i n i t y   fo r   h e a ds   o r   t a i l s ,   t h e   o ut c o m e   of  a n y   n um b e r   o f  t o s s e s   i s   di ff i c ul t   t o   pr e di c t   [26,   27] .   T hi s   i s   t h e   e s s e n c e     of   e n t r o py .       E n t r o py   (p)  =   - ∑ ( ) ∗ ( ) ) = 1   (1)     a)   A f t e r   s e gm e nt a t i o n   w e   f i n d   o ut   t h e   s e gm e nt   e nt r o p y   w h i c h  i s   i n p ut   o f   di ff e r e n t   p r e di c t o r  m o de l s .   b)   E n t r o py = {   e 1,   e 2,   e 3, … ………e 62}   c)   A n o m a l y   da t a   i s   a l s o   s e gm e n t   w i s e .   d)   F i nd  t h e   s um m a t i o n   o f   s e gm e n t   w i s e   a n o m a l y   da t a .   e)   A n o m a l y   s e gm e n t   a r e   s u m m e d  a n d   s a v e d  a s   a n o m a l y   l e ve l .   F i gu r e   ( 1 )   r e p r e s e n t s   t h e   b l o c k  di a g ra m   o f   t h e   o ut l i e r  de t e c t i o n   s c h e m e s .   I n  F i gu r e   1   a l l   t h e   s e n s o r s   c o l l e c t e d   s i g n a l s   i n   v o l t a ge   f o r m   a s   da t a   f o r   p r o c e s s i n g.   T o   e s t i m a t e   t he   pr o b a b i l i t y   d e n s i t y   f un c t i o n   (P D F )  o f   a   da t a s e t   us i n g  da t a - s p l i t   t e c hn i q ue   di v i de   da t a   a s   s e gm e nt s .   T o   e s t i m a t e   t h e   e nt r o p y   of   t h e   da t a s e t .   T o   us e   di f fe r e n t   c l a s s i f i e r   m o de l   (K N N ,   S V M   e t c . ) .   T o   us e   t hi s   m e t r i c   t o   de t e c t   o ut l i e r .         F i gu r e   1 .   B l o c k  di a g r a m   r e p r e s e nt a t i o n  o f   a n o m a l y   de t e c t i o n   m o de l   us i ng  di f f e r e n t   c l a s s i f i e r s       5. 3 .       D at a  s e ts   u s e   fo r   t r ai n i n g,   v al i d at i o n   an d   te s t i n g   T h e   o r i g i n a l   r a w   da t a   i s   s t o r e d  i n  t h e   m a t ri x  ‘d a t a   L i ne a r ’  (o f   s i z e   182  x  31 91)  i n  t h e   f i l e   da t a L i n e a r . m a t ’  . O ut   o f   580762  o b t a i n   f r o m   d i f fe r e nt   c o m b i na t i o n   o f   14  s e n s o r   pa i r   i d  b ut   t hi s   v a l i d  da t a   i s   di v i de d  75%  d a t a   t a ke n   f o r   t ra i ni n g  pu r po s e   fo r   de ve l o p   a l l   t h e   m o de l   .   U n de r   t h e   t ra i ni n g  p r o c e s s   d e t e c t i o n   m o de l   i s   de ve l o p  a n d  e rr o r   i n   b e t w e e n   a c t ua l   a n d  c a l c ul a t e d   o ut put   i s   de t e r m i n e d.   V a l i d a t i o n   i s   pe r f o r m a n c e   a l o n g  w i t h   t h e   t ra i ni n g  us i ng  15%  da t a   t ha t   i s   n o t   u s e d  un de r  t h e   t ra i ni n g  pu r po s e .   T h e   e rr o r   i n   t h e   v a l i da t i o n  i s   us e d  t o   upda t e   t h e   m o de l   pa ra m e t e r s   f i na l l y   i f   t h e   m o de l   gi v e s   de s i r e d  l e v e l   of   o c c ur s   t h e n   t h i s   pe r f o r m a n c e   i s   f i n a l l y   r e - e v a l ua t e d  b y   us i n g   15%   r e m a i ni n g   t e s t i n g  da t a .       5. 4 .       R e s u l t  an al ys i s   R e s ul t   a na l y s i s   de m o n s t r a t e s   t h a t   t ra i ni n g   gi v e s   86%  a c c ur a c y   w i t h   2  n e a r e s t   n e i g h b o ur   f o r   s e uc l i de a n   di s t a n c e .   I n   t e s t i n g   78%   a c c ura c y   i s   ob t a i ne d  fo r   3  n e a r e s t   n e i g h b o ur   w i t h   s e uc l i de a n    di s t a n c e   t y pe .   In  F i gu r e   2   t h e   r e c e i v e   s i gn a l   s t r e n g t h   i n  v o l t a ge   a t   s e n s o r   n o de   i s   s h o w n   a t   y   a xi s   a n d   t h e   x  xi s   Evaluation Warning : The document was created with Spire.PDF for Python.
                    IS S N : 2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   20 ,   N o .   3 ,  D e c e m be r   2 020   :     14 35   -   14 43   1440   i s   t h e   t i m e   i n s t a n t s   i n   s e c o n ds .   I n   F i gu r e   2  w h e n   da t a   r e c e i v e d  f r o m   s e n s o r   w i t h   t i m e   30  m i n ut e s   a n d  t a ke   s a m pl e   o f   5  s e c o n ds .   I t   i s   a   pl o t   g ra p h  b e t w e e n   R e c e i ve d  s i gna l   s t r e n gt h   (R S S )   i n   v o l t a ge   w i t h  r e s pe c t   t o   t i m e   i n   s e c .   F i gur e   3 .   D u r i n g  t h e   m e a s u r i ng  pe ri o d,   s t ude n t s   w a l ke d  i nt o   a nd  o ut   of   l a b   a t   ra n do m   t i m e s ,   w h i c h   c a us e d  a n o m a l y   pa t t e rn s   i n   t h e   R S S I  m e a s u r e m e n t s .   I nt r ude r  m o t i o n  (a na m o l y )  r e p r e s e n t a t i o n   w i t h  r e s pe c t   t o  t i m e   s a m p l e s   (n) . W h e n e v e r   i n t r u de r   di s t u r b s   t h e   s e n s o r  w a v e s   t h e   i nt r us i o n   i s   m a rke d  a s   o n e   o t h e r w i s e   t h e   v a l ue   i s   z e r o .   W h e n e v e r   t hi s   f i gur e   t o uc h e s   h i g h  v a l ue   t h e   a n o m a l y   i s   e m b e dde d  i n   t h e   s i g na l   v o l t a ge   w a ve   fo r m .   In  F i gu r e   4   R S S   da t a   s e gm e nt s   p l o t   f o r   s e gm e nt   l e n g t h   o f   50  s a m pl e s ,   s e gm e nt   l e ngt h  i s   e qu a l   t o   a n y   v a l ue   de c i de d  t ha t   c a n   c o ve r   da t a   v a ri a t i o n   (l e t   L = 50)  T o t a l   s e gm e n t =     c / L   =   3127/ 50  =   62  , P a i r   i d =   i d   (i de nt i t y   n um b e r ))  o f   a n y   t w o   s e n s o r   c o m m uni c a t e   e a c h   o t h e r.   A t   a   pa rt i c ul a r   p a i r i d  ( l e t   pa i ri d= 60)  da t a s e t   i s   di v i de d  i nt o   s e gm e n t   w h i c h   i s   t o t a l   s e gm e n t   62  a nd  i s   s t or e d  i n   a n o t h e r   m a t r i x .   S i m i l a r l y   m o t i o n   da t a s e t   w h i c h   i s   k n o w n   a s   a n o m a l y   da t a   i s   a l s o   s e gm e n t   i nt o   62  s e gm e nt s .   I n   t h i s   f i gu r e s   s e gm e n t   1  t o   s e gm e n t   10   R S S   w a v e fo r m   i s   s h o w n   w i t h   r e s pe c t   t o   t i m e .   In   F i g u r e   5. a   w e   h a v e   s h ow n   t h e   c a l c ul a t e d  v a l ue   of   e n t r o py   fo r   e a c h   s e gm e n t   o f   a   s pe c i f i c   s e n s o r   pa i ri d  167 ,   i n   F i g u r e   5. b   fo r   s a m e   pa i r s   A na m o l y   l e v e l   w i t h   r e s pe c t   t o   a l l   s e gm e n t s   f o r   s e n s o r   pa i r i d  167. S i m i l a r   t o   t hi s   f i gur e   t h e   e n t r o py   v a l ue   of  a l l   t h e   s e gm e nt s   of   a l l   s e n s o r   pa i r s   i s   c a l c ul a t e d.   T h i s   e nt r o p y   of   s e gm e n t   i s   t a ke n   a s   i n pu t   a nd  n um b e r   o f   a n o m a l y   oc c ur r e d  du r i n g  t h a t   s e gm e nt   i s   t h e   a n o m a l y   l e ve l   un de r   t h a t   s e gm e n t   a nd  s h o w n   i n   F i gu r e   5 . b .               F i gu r e   2 .   R e c e i v e d  s i gna l   s t r e n gt h  v o l t a ge   w i t h  r e s pe c t   t o   t i m e   (s e c )       F i gu r e   3 .   I nt r ude r  m o t i o n   ( a n a m o l y )  r e pr e s e nt a t i o n   w i t h  r e s pe c t   t o   t i m e   s a m pl e s   ( n)             F i gu r e   4 .   R S S   da t a   s e gm e n t s   pl o t   f o r   s e gm e n t   l e n g t h   of   50  s a m pl e s     F i gu r e   5 .   a )  E nt r o p y   v a l ue   c a l c ul t e d  f o r   s e gm e nt   o f   s e n s o r   p a i ri d   167 ,   b )A n a m o l y   l e v e l   w i t h   r e s pe c t   t o   a l l   s e gm e n t   f o r   a n o n y m o us   s e n s o r   pa i ri d   167   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i   IS S N :   2502 - 4752       O ut l i e r   d e t e c t i o n  i n  W SN   by   e nt r op y   b as e d   m ac h i ne   l e ar n i ng   appr oa c h   ( Manm o han  Si ng h  Y ada v )   1441   If   da t a   s i z e   i s   i n c r e a s e   t h e n   a c c u r a c y   i s   h i g h   w i t h   ha m m i n g  di s t a n c e   &   n o .   o f  n e i g h b o r   i s   5.   T h e   t r a i ni n g  d a t a s e t   a c c ura c y = 94. 34  %  a nd  T e s t i n g  d a t a s e t   a c c ura c y = 89. 85% .  A f t e r   t h e   r e s ul t   a na l y s i s   i n   t r a i n i ng  a n a l y s i s ,   76. 22%   a c c ura c y   fo r   S V M   m o de l   a nd  K N N   m o de l   86%  a c c ura c y ,   w e   c o n c l ude   t ha t   K N N   i s   b e t t e r   t h a n   S V M   m o de l .   I n   t e s t i n g  a n a l y s i s ,   75. 19% ,   f o r   S V M   m ode l   a n d  K N N   m o de l   78%  a c c u r a c y ,   w e   c o n c l ude   t h a t   K N N   i s   b e t t e r  t ha n  S V M   m o de l .     T a b l e   1  s h o w s   t h e   s um m a r y   of   t h e   r e s ul t s   f o r   t h e   K N N   s c h e m e   a t   di f f e r e n t   d i s t a n c e   t y pe .   E v e r y   r o w   of   t a b l e   1a   s h o w s   t h e   pe r c e nt   de t e c t i o n   a c c u r a c y   fo r   t r a i ni n g  a n d   t e s t i n g   p r o c e s s   o n   a pp l y i n g  t h e   m o de l   de ve l o pm e n t   a t   d i f f e r e n t   a t t e m p t s .   F i r s t   c o l um n   s h o w s   t he   b e s t   n um b e r   o f  n e i g h b o ur   a t   w h i c h   h i g h e s t   a c c ur a c y   i n  t ra i ni n g   a nd  t e s t i n g   i s   o b s e r v e d  a t   s pe c i f i c   di s t a nc e   fo r m ul a e   t y pe .   T a b l e   2  s h o w s   t h e   s i m i l a r   r e s ul t s   f o r   K N N   b ut   o n   c o n s i de r i n g  t h e   l a r ge   s i z e   of   d a t a b a s e .   In   t h i rds   c a s e   t r a i n i ng  a n d  t e s t i n g  a c c u r a c y   i s   i m pr o v e d  b ut   t h e   m o de l   de v e l o pm e n t   t i m e   a nd  m e m o r y   r e qui r e m e n t   i s   h e a v i l y   i n c r e a s e d.   T a b l e   3  gi v e s   t h e   de t a i l s   o f  pe r c e n t a ge   t ra i ni n g  a c c ura c y   fo r   t h e   a ppl i c a t i o n   o f  S V M .   It   i s   a ppl i e d  fo r   di f fe r e nt   n u m b e r   o f  a t t e m pt s   t o   v a l i da t e   t h e   c o n s i s t e n c y   of  pe r fo r m a n c e .   It   i s   ob s e r v e d  t h a t   t h e   t r a i ni n g   a c c ur a c y   ob t a i n e d   t o   b e   75  t o   78%   a n d   t h e   t e s t i ng  a c c ur a c y   i s   73%   t o   76% .   T a b l e   4  i s   t h e   c o m pa r i s o n   t a b l e   f o r   a l l   t h e   5   m e t h o ds   a p pl i e d  f o r   de ve l o pi n g  t h e   a n o m a l y   de t e c t i o n   s c h e m e .   T h e s e   a r e   K N N ,   SVM,   B oo s t i n g ,   B a ggi ng  a n d  R a ndo m   S ub s pa c e   c l a s s i f i e r   b a s e d  de t e c t i o n   m e t h o ds   de ve l o pe d  fo r   s e gm e nt   e n t r o py   a s   i n pu t   p a ra m e t e r .   H i g h   a c c ura c y   i s   o b s e r ve d  fo r   t h e   K N N .       T a b l e   1 .     K N N   r e s ul t   o n  T r a i n i ng  a n d   t e s t i n g   da t a   a n a l y s i s     T a b l e   2 .   O b s e r v a t i o n  o n  T r a i n i ng  a n d   T e s t i ng  p r o c e s s   w i t h   l a r ge   d a t a s e t     (a )  A n a l y s i s   o f   T ra i n i n g   d a t a s e t   (b )  A n a l y s i s   o f   T e s t i n g   d a t a s e t   A n a l y s i s   T ra i n i n g   d a t a s e t   A n a l y s i s   o n   T e s t i n g   d a t a s e t   N o   o f   n e i g h bor   D i s t a n c e   t y p e   A c c u r a c y   (% )   N o   o f   n e i g h bor   D i s t a n c e   t y p e   A c c u r a c y   (% )   A t t e m p t   N e a r e s t   n e i g h bor   D i s t a n c e   t y p e   A c c u r a c y   (% )   N o   o f   a t t e m p t   N o   o f   n e i g h bor   D i s t a n c e   t y p e   A c c u r a c y   (% )   2   c h e b y c h e v   8 3 . 3 9   9   s p e a r m a n   7 6 . 8 9   1   6   j a c c a rd   9 4 . 3 4   1   5   H a m m i n g / j a c c a r d   8 9 . 8 / 8 5 . 1   2   e u c l i d e an   8 2 . 2 6   2   s p e a r m a n   7 6 . 3 2   2   6   j a c c a rd   9 4 . 3 4   2   5   H a m m i n g / j a c c a r d   8 9 . 8 / 8 5 . 1   2   e u c l i d e an   8 4 . 6 8   3   s e u c l i d e a n   7 7 . 7 4   3   6   j a c c a rd   9 4 . 5 4   3   5   H a m m i n g / j a c c a r d   8 9 . 8 / 8 5 . 1   2   s e u c l i d e a n   8 5 . 6 5   2   s p e a r m a n   7 6 . 7 2   4   6   j a c c a rd   9 4 . 3 4   4   5   H a m m i n g / j a c c a r d   8 9 . 8 / 8 5 . 1       T a b l e   3 .   O b s e r v a t i o n  o f   T r a i n i n g   a n d   T e s t i ng  pr o c e s s   us i n g   S V M     T a b l e   4 .   T o   c o m pa r e   t h e   e n t i r e   c l a s s i f i e r   a l go r i t hm   r e s ul t s     N o   o f   a t t e m p t   % c e n t   o f  T ra i n i n g   d a t a s e t   % c e n t   o f  T e s t i n g   d a t a s e t   Cl a s s i fi e r   %   a c c u ra c y   o f   T ra i n i n g   d a t a s e t   %   a c c u ra c y   o f  T e s t i n g   d a t a s e t   1   75   7 6 . 7 7   K -   N e a r e s t   N e i g h b o u r   8 5 . 6 5   7 7 . 7 4   2   7 5 . 6   7 5 . 5   K -   N e a r e s t   N e i g h b o u r  w i t h   l a rg e   d a t a s e t   9 4 . 3 4   8 9 . 8 5   3   76   73   S u p p o r t   V e c t o r  M a c h i n e s   7 6 . 2 2   7 5 . 1 9   4   76   7 5 . 6   Bo o s t e d   7 7 . 8   72   5   7 8 . 5   7 5 . 1   Ba g g e d   7 0 . 5   56               S u b s p a c e   7 8 . 5   72       F i gu r e   6  s h o w s   t h e   r e s ul t s   o b t a i n e d  a f t e r  a pp l y i n g  d i f fe r e nt   a n o m a l y   de t e c t i o n   s c h e m e   us i ng  t h e     K - NN,   SVM,   B oo s t i n g ,   B a gg i n g  a nd  s ub s pa c e   c l a s s i f i e r .   T h e   ve r t i c a l   a x i s   s h o w s   t h e   pe r c e n t a ge   a c c ura c y   o f  de t e c t i o n   s c h e m e   b a s e d  o n   e n t r o py   fe a t ur e .   T h e   num e ra l   v a l ue s   a r e   a l s o   a t t a c h e d  f o r   t ra i ni n g   a nd  t e s t i n g  s c h e m e .   It   ha s   b e e n   o bs e r v e d  i n   t h e   g ra p h   t ha t   t h e   K N N   s c h e m e   gi v e s   h i g h e s t   de t e c t i o n   a c c ura c y   a s   c o m pa r e d  t o   o t h e r  m e t h o ds .   It   i s   a b o ut   85%   a nd  a s   t h e   t ra i ni n g   d a t a   s i z e   i s   i n c r e a s e d  i t   c a n  go   u p  t o   94% .     Evaluation Warning : The document was created with Spire.PDF for Python.
                    IS S N : 2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   20 ,   N o .   3 ,  D e c e m be r   2 020   :     14 35   -   14 43   1442       F i gu r e   6 . Co m pa ri s o n s   o f   a l l   t h e   c l a s s i f i e r  a l go ri t hm   r e s ul t s       6.   C O N C LU S I O N   A   n o v e l   t e c h ni que   i s   de m o n s t ra t e d  o n   w i r e l e s s   s e n s o r   da t a s e t   di f fe r e n t   p r e di c t i o n   m o de l   l e a rni n g   m e t h o ds :   B a s e d  o n   t h e   i de a   o f   v a r y i n g  t h e   pa ra m e t e r s   o f   t h e   m o de l   a t t ri b ut e   c l a s s e s   a n d  a pp l i e d  i t   t o   de s i gn   a   n e w   pr e di c t i o n  m e t h o d.   D e s pi t e   t h e   s i m pl i c i t y   of   de v e l o p m e nt   a pp r o a c h   m ul t i p l e   m e t h o ds   ha v e   v a l i da t e d   w h e n   c o m pa r e d  w i t h   e a c h   o t h e r   i n   t e rm s   o f   t h e   p r e di c t i o n   a c c ura c y   o f   o ut l i e r   i n   s e n s o r   d a t a   i n c l u di n g   s e gm e n t   e nt r o p y   a s   i nput   f e a t u r e   s pe c i f i c a l l y   de v i s e d  fo r   da t a   c l a s s i f i c a t i o n .   S t udy   t h e   pe r f o r m a n c e   of   Boo s t i n g ,   B a ggi n g  T r e e ,   K N N ,   S V M   e t c   i n   us e   of  w i r e l e s s   s e n s o r   n e t w o r k  da t a   w i t h   o ut l i e r   c h a ra c t e ri s t i c s   due   t o   i n t rus i o n.   It   ha s   b e e n   p r o v e n   t o   h a v e   a   s t r o n g  i n f l ue n c e   o n   pe r f o r m a n c e   o f   c l a s s i f i c a t i o n .   I n   t e s t i n g  a n a l y s i s ,   75. 19%  a c c ur a c y   of   S V M   m o de l   a n d  78 %  a c c ura c y   o f  K N N   m o de l ,   w e   c o n c l ude   t ha t   K N N   i s   b e t t e r   t h a n   S V M   m o de l .   T h e   p r o b l e m s   w h i c h   a r e   f a c e d  i n   de t e c t i ng  o ut l i e r   i s   due   t o   ov e r l a pp i n g ,   n o i s y   s i gna l s   [28] ,   s m a l l   di s j o i n t s   o r   b o r de r l i n e   v a l ue s .   T h e s e   pr o b l e m s   a r e   m i ni m i z e d  w i t h   a dv a n c e d  p r e - p r o c e s s i n g  t e c hni que s .   T h e   e nt r o p y   fe a t ur e   b a s e d  o ut l i e r   de t e c t i o n   s t ra t e gy   i s   s uc c e s s f ul l y   i m pl e m e nt e d  o n   da t a   w i t h   s m a l l   d i s j o i n t s ,   us i ng  di f fe r e nt   s e l f   l e a r ni n g  t e c hni que s   s pe c i a l l y   K N N   a n d  S V M .   T h e   i de a s   i n   t hi s   a rt i c l e   m a y   f ur t h e r   b e   e xt e n de d  t o   m ul t i p l e - c l a s s   u n b a l a n c e d  p r o b l e m s   w i t h   o t h e r   c l a s s i f i e r s .   T h e s e   a pp r o a c h e s   a r e   p r e s e n t l y   de ve l o pe d  o n   s y s t e m a t i c   d a t a   r e c o r ds   b ut   i n  f ut u r e   s a m e   a l go r i t h m   m a y   b e   us e d   t o   r e m ov e   t h e   o ut l i e r s   i n   r e a l   t i m e   s i t u a t i o n s   w i t h   p r o pe r   h a r dw a r e   s e t up  fo r   t h e   c ha l l e n g i n g   e n v i r o n m e n t a l   c o n di t i o n s   f o r   w e a t h e r  m o n i t o r i ng  pu rpo s e .         A C K N O WL ED G E M EN TS   T h e   pr e s e nt   a rt i c l e   w o r k  w a s   s upp o r t e d  by   F a c ul t y   of   D o c t o r a l   S t ud i e s   a nd  R e s e a r c h   (D S R )  a n d  D e pa rt m e n t   o f   Co m put e r   S c i e n c e   &   E n g i n e e r i ng,   I n t e g ra l   U n i v e r s i t y ,   L uc kn o w   un de r  t h e   p r o c e s s i n g  o f  r e s e a r c h  m a n us c r i p t   c o m m u ni c a t i o n  n u m b e r   (IU / R   &   D / 201 9 - M CN 000773 ).       R EF ER EN C ES   [ 1]   H . W a ng ,   J .   G u ,   a nd  S . W a ng ,   “ A n  e f f e c t i v e   i nt r us i o n  de t e c t i o n  f r a m e w o r k  ba s e d  o n  S V M   w i t h  f e a t u r e   a ug m e nt a t i o n” ,   K now l . - B a s e d  Sy s t . ,   v o l .   136 ,   pp .   130 - 139 ,   do i :   10. 1016 / j . kno s y s . 2017 . 09 . 0 14 ,   N o v .   201 7 .   [ 2]   S .   T e ng ,   N . W u ,   H .   Z h u,   L .   T e ng ,   a ndW .   Z ha ng ,   “ S V M - DT - ba s e d   a da p t i v e   a nd  c o l l a bo r a t i v e   i nt r us i o n  de t e c t i o n” ,   I E E E / C A A   J .   A u t om a t i c a   Si ni c a , v o l .   5 ,   no .   1 ,   pp .   108 - 118 , do i :   10. 1 109/ J A S . 2017 . 7 5107 30 ,   J a n .   2018 .     [ 3]   I f t i kha r   A m a d  ,   M o hd.   B a s h e r i ,   M o hd.   J a v e d  I qba l   a nd  A ne e l   R a hi m ,   “ P e r f o r m a nc e   C o m pa r i s o n  o f   S uppo r t   V e c t o r   M a c hi n e ,   R a ndo m   F o r e s t ,   a nd   E x t r e m e   L e a r ni ng   M a c hi ne   f o r   I nt r u s i o n  D e t e c t i o n” ,   I E E E   ac c e s s ,  v o l .   6 ,   201 8.   [ 4]   Y a l i   A m i t   a nd   D o na l d   G e m a n ,   “ S h a pe   qu a nt i z a t i o n  a n d  r e c o g ni t i o n  w i t h   r a ndo m i z e d  t r e e s ” .   N e ur a l   C om p ut at i on ,  v o l .   9,   pp .   154 5 - 1588 ,   1997 .   [ 5]   N a s i r   S a e e d ,   T a r e q  Y .   A l - N a f f o ur i ,   M o ha m e d - S l i m   A l o ui n i ,   “ O ut l i e r   D e t e c t i o n  a n d  O pt i m a l   A nc h o r   P l a c e m e n t   f o r   3D   U nd e r w a t e r   O pt i c a l   W i r e l e s s   S e ns o r   N e t w o r ks   L oc a l i z a t i o n” ,   I E E E ,   pp .   0090 - 67 78,   2 018 .     [ 6]   L e o   B r e i m a n ,   “ U s i ng   a d a p t i v e   ba g g i ng   t o   de bi a s   r e g r e s s i o ns .   T e c hn i c a l   r e po r t ” ,   St at i c s   D e par t m e nt   U C B ,   1 999 .   [ 7]   V i c t o r   G a r c i a - F o n t ,   C a r l e s   G a r r i g ue s   a nd  H e l e na   R i f à - P o us ,   “ A   C o m pa r a t i v e   S t u dy   o f   A n o m a l y   D e t e c t i o n   T e c hni qu e s   f o r   S m a r t   C i t y   W i r e l e s s   S e ns o r   N e t w o r k s ” , w w w . m dpi . c o m / j o ur na l / s e ns o r s , Se ns o r s ,   v o l .   16 ,     p.   868 ,   201 6.   [ 8]   T ho m a s   G ,   D i e t t e r i c h.   “ A n  e xpe r i m e nt a l   c o m pa r i s o n  o f   t hr e e   m e t h o ds   f o r   c o ns t r uc t i ng   e n s e m b l e s   o f   de c i s i o n  t r e e s :   B a g g i ng ,   bo o s t i ng ,   a nd   r a ndo m i z a t i o n” .   M ac h i ne   L e ar ni ng ,  v o l .   40 ,   pp .   139 - 157 ,   200 0.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i   IS S N :   2502 - 4752       O ut l i e r   d e t e c t i o n  i n  W SN   by   e nt r op y   b as e d   m ac h i ne   l e ar n i ng   appr oa c h   ( Manm o han  Si ng h  Y ada v )   1443   [ 9]   Y .   F r e und   a n d  R .   S c ha pi r e .   “ E xpe r i m e n t s   w i t h   a   n e w   bo o s t i n g   a l g o r i t hm ” .   I n  P r oc e e di ngs   o f   t he   T h i r t e e nt h  I nt e r n at i on al   C on f e r e nc e   on   M ac h i ne   L e ar ni n g ,   pp .   148 - 15 6,   19 96 .   [ 10]   T i n  K a m   H o .   “ T he   r a ndo m   s u bs p a c e   m e t ho d  f o r   c o ns t r uc t i ng   de c i s i o n  f o r e s t s ” .   I E E E   T r a ns a c t i on s   on  P at t e r n   A nal y s i s   and   M ac hi ne   I n t e l l i ge nc e ,  v o l .   2 0,   no .   8,   p p.   83 2 - 844,   1 99 8.   [ 11]   W .   E l G h a z e l ,   C .   G uy e ux,   A .   F a r ha t ,   M .   H a ke m ,   K .   M e d j a h e r ,   N .   Z e r ho un i ,   a nd   J . M .   B a h i ,   “ R a ndo m   F o r e s t s   f o r   I ndus t r i a l   D e v i c e   F unc t i o ni ng   D i a g no s t i c s   U s i ng   W i r e l e s s   S e ns o r   N e t w o r ks ” , a r X i v: 1706. 0 8106v 1  [ c s . A I ] ,   201 7.   [ 12]   D o dd y , P r a y o g o  a nd  Y uda s   ,   “ O p t i m i z i ng   t he   P r e d i c t i o n  A c c ur a c y   o f   F r i c t i o n  C a pa c i t y   o f   D r i v e n  P i l e s   i n  C o he s i v e   S o i l   U s i ng   a   N ov e l   S e l f - T uni ng   L e a s t   S qua r e s   S up po r t   V e c t o r   M a c hi ne ” , H i ndaw i A dv anc e s   i n  C i v i l   E ng i ne e r i ng , ,  A r t i c l e   I D   6490169 ,   201 8 .   [ 13]   B .   E m i l   R i c ha r d  S i ng h  a nd  E .   S i v a s a n ka r ,   “ E n ha nc i ng   P r e di c t i o n  A c c ur a c y   o f   D e f a ul t   o f   C r e di t   U s i ng   E ns e m b l e   T e c hni qu e s ” , F i r s t   I nt e r na t i o na l   C o nf e r e nc e   o n  A r t i f i c i a l   I nt e l l i g e nc e a nd  C o g ni t i v e   C o m put i ng ,  A d v an c e s   i n   I nt e l l i ge nt   Sy s t e m s   and   C om p ut i ng   81 5, h t t ps : / / do i . o r g / 10. 1007 / 9 7 8 - 981 - 13 - 1580 - 0_ 41,   S p r i ng e r ,   2 019 .   [ 14]   S ha ke r   E l - S a pp a g h  ,   M o ha m m e d  E l m o gy ,   F a r m a n  A l i ,   T a m e r   A B U H M E D ,   S .   M .   R i a z u l   I s l a m   a nd   K y un g - S up  K w a k,   “ A   C o m pr e he ns i v e   M e d i c a l   D e c i s i o n – S u ppo r t   F r a m e w o r k  B a s e d  o n  a   H e t e r o g e ne o us   E ns e m b l e   C l a s s i f i e r   f o r   D i a be t e s   P r e di c t i o n”   , E l e c t r o ni c s   201 9 ,  v o l .   8,   p.   635;   do i : 10. 33 90/ e l e c t r o ni c s 806 0635 , 2 019 .   [ 15]   C hi h - W e i   H s u,   C h i h - C hung   C ha ng ,   a nd  C h i h - J e n  L i n ,   “ A   P r a c t i c a l   G u i d e   t o   S uppo r t   V e c t o r   C l a s s i _c a t i o n” ,   ht t p: / / w w w . c s i e . n t u . e d u. t w / ~ c j l i n  , A pr i l   15,   2 010 .   [ 16]   J o s e   F .   D i e z - P a s t o r   ,   J ua n  J .   R o dr i g ue z , C e s a r   G a r c i a - O s o r i o   ,   L ud m i l a   I .   K unc he v a ,   “ R a ndo m   B a l a nc e :   E ns e m bl e s   o f   v a r i a bl e   pr i o r s   c l a s s i f i e r s   f o r   i m ba l a nc e d  D a t a ” ,   j o ur na l   ho m e pa g e :   w w w . e l s e v i e r . c o m / l o c a t e / kno s y s ,   7  M a y   2015.   [ 17]   J .   S t e f a no w s k i ,   “ O v e r l a pp i ng ,   r a r e   e x a m pl e s   a nd  c l a s s   d e c o m po s i t i o n  i n  l e a r n i ng   c l a s s i f i e r s   f r o m   i m ba l a nc e d  d a t a ,   i n:   E m e r g i ng   P a r a d i g m s   i n   M a c hi ne   L e a r ni ng ” ,   Spr i nge r ,   pp .   2 77 - 3 06,   20 13.   [ 18]   C . E .   B r o d l e y ,   M . A .   F r i e dl ,   “ I de nt i f y i ng   m i s l a be l e d  t r a i n i ng   d a t a ” ,   J .   A r t i f .   I nt e l l .   R e s .  V o l .   1 1,   pp .   131 - 16 7,   19 99.   [ 19]   G . M .   W e i s s ,   “ T he   i m p a c t   o f   s m a l l   d i s j u nc t s   o n   c l a s s i f i e r   l e a r n i ng ,   i n:   D a t a   M i ni ng ” ,   Spr i n ge r ,   pp .   193 - 226 ,   201 0.   [ 20]   K .   N a pi e r a ł a ,   J .   S t e f a no w s k i ,   S .   W i l k,   “ L e a r ni ng   f r om   i m ba l a n c e d  da t a   i n  pr e s e nc e   o f   n o i s y   a nd  bo r de r l i n e   e xa m p l e s ,   i n:   R o ug h  S e t s   a nd   C u r r e nt   T r e n ds   i n   C o m put i ng ” ,   Sp r i n ge r ,   pp.   1 58 - 167 ,   2010 .   [ 21]   T .   J o ,   N .   J a pko w i c z ,   “ C l a s s   i m ba l a nc e s   v e r s us   s m a l l   d i s j unc t s ” ,   A C M   SI G K D D   E x p l or .   N e w s l e t t .  v o l .   6 ,   no .   1 ,    pp.   40 - 49 , 20 04 .   [ 22]   D .   W i l s o n,   “ A s y m pt o t i c   pr o pe r t i e s   o f   ne a r e s t   ne i g hbo r   r ul e s   us i n g   e di t e d  da t a ” ,   IE E E   T r an s .   Sy s t .   M a n  C y be r n .  v o l .   2,   no .   3 ,   p p.   40 8 - 421 , 201 6.   [ 23]   K .   G o w da ,   G .   K r i s hn a ,   “ T he   c o nde ns e d  n e a r e s t   ne i g hbo r   r u l e   us i n g   t he   c o nc e pt   o f   m ut ua l   ne a r e s t   n e i g hbo ur ho o d  ( c o r r e s p . ) ” ,   I E E E   T r an s .   I nf or m .   T he or y , v o l .   2 5,   no .   4,   p p.   48 8 - 490, 1979 .   [ 24]   J .   S t e f a no w s k i ,   S .   W i l k,   “ S e l e c t i v e   pr e - pr o c e s s i ng   o f   i m ba l a nc e d  da t a   f o r   i m pr o v i ng   c l a s s i f i c a t i o n  pe r f o r m a nc e ” ,   i n:   D at a   W ar e hous i n g  and   K now l e dge   D i s c o v e r y ,   Sp r i nge r ,   pp .   283 - 292,   200 8.   [ 25]   M a nm o ha n  s i ng h  y a da v ,   S hi s h  A hm a d ,   “ O ut l i e r   de t e c t i o n  i n   W i r e l e s s   s e ns o r   ne t w o r k s   d a t a   by   e nt r o py   ba s e d     K - N N   P r e di c t o r ” , I n t e r na t i o na l   J our nal   o f   I nn ov a t i v e   T e c hnol ogy   a nd  E x p l or i ng  E n gi ne e r i n g  ( I J I T E E ) ,   I S S N :   2278 - 3075,   v o l .   8 ,   no .   12,   O c t o be r   20 19 .   [ 26]   D r .   A a i s h a   M a k ka r ,   D r .   N e e r a j   K um a r ,   P r o f .   A hm e d  G h o ne i m ,   “ A n  E f f i c i e nt   S pa m   D e t e c t i o n  T e c hni q ue   f o r   I o T   D e v i c e s   us i ng   M a c hi n e   L e a r ni ng ”   I E E E   T r a ns a c t i ons   on  I ndu s t r i al   I n f o r m at i c s ,   D O I   10. 1 109 / T I I . 2020. 2 9689 27 , 202 0.   [ 27]   N a z i a   T a ba s s um ,   T a nv i r   A hm e d,   “ A   t he o r e t i c a l   s t u dy   o n  c l a s s i f i e r   e ns e m bl e   m e t ho ds   a n d  i t s   a pp l i c a t i o ns ” ,   I nt e r n at i on al   C on f e r e nc e   on   C om pu t i ng   f o r   Sus t a i na bl e   G l oba l   D e v e l opm e nt , I E E E ,  978 - 9 - 380 5 - 4421 - 2 / 16 ,   2016 .   [ 28]   G a r c i a - F o nt ,   V . ,   G a r r i g ue s ,   C . ,   a nd  R i f - P o us ,   H .   “ A   C o m pa r a t i v e   s t udy   o f   a nom a l y   de t e c t i o n  t e c hni que s   f o r   s m a r t   c i t y   w i r e l e s s   s e n s o r   n e t w o r k s ” ,   Se ns or s ,  v o l .   1 6,   no .   6 ,  p .   868 ,   201 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.