I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   15 ,   N o .   3 ,  S e pt e m b e r   2 01 9 ,   pp .   1411 ~ 1418   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 5 .i 3 . pp 141 1 - 1418             1411       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   B a t   a l g o r i t h m   a n d   k - m e a n s tec h n i q u e s  f o r   c l a ssi f i c a t i o n   p e r f o r m a n c e   i m p r o v e m e n t       R o z l i n i   M o h am e d ,   M u n i r ah   M o h d   Y u s o f,   N oo r h an i z a  W ah i d ,   N o r h an i f ah   M u r l i ,   M u h ai n i   O th m an   F a c ul t y   o f   C o m put e r   S c i e nc e   &   I nf o r m a t i o n  T e c hno l o gy ,   U ni v e r s i t i   T un   H us s e i n   O nn   M a l a y s i a ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  J a n  9,   20 19   R e v i s e d  M a r  2,   201 9   A c c e pt e d  M a r   18,   201 9       T hi s   pa p e r   pr e s e n t s   B a t   A l g o r i t hm   a nd  K - M e a n s   t e c hni que s   f o r   c l a s s i f i c a t i o n   pe r f o r m a nc e   i m p r o v e m e nt .   T he   o bj e c t i v e   o f   t hi s   s t udy   i s   t o   i nv e s t i g a t e   e f f i c i e nc y   o f   B a t   A l go r i t hm   i n  d i s c r e t e   d a t a s e t   a nd  t o   f i nd  t he   o pt i m um   f e a t u r e   i n  d i s c r e t e   d a t a s e t .   I n  t hi s   s t udy ,   o ne   t e c hni qu e   t ha t   c om pr i s e   t he   di s c r e t i z a t i o n  t e c hn i qu e   a nd   f e a t ur e   s e l e c t i o n  t e c hni que   ha v e   be e n  pr o po s e d.   O ur   c o nt r i bu t i o n  i s   i n  t w o   pr o c e s s   o f   c l a s s i f i c a t i o n:   pr e - pr o c e s s i ng   a nd   f e a t u r e   s e l e c t i o n  p r o c e s s .   F i r s t ,   t o   p r o po s e d  di s c r e t i z a t i o n  t e c hni q ue s   c a l l e d  a s   B k M D ,   w h e r e   w e   hy br i d  B a t   A l g o r i t hm   t e c hni que   a n d  K - M e a n s   c l a s s i f i e r .   S e c o nd,   t o   pr o po s e d  B kM D F S   a s   f e a t u r e   s e l e c t i o n  t e c hni q ue   w he r e   B a t   A l go r i t hm   i s   e m be d  i n t o   B kM D .   I n  o r de r   t o   e v a l ua t e   o ur   pr o po s e d  t e c hni que s ,   1 4  c o nt i nuo us   da t a s e t   f r o m   v a r i o us   a ppl i c a t i o ns   a r e   us e d  i n   e xpe r i m e nt .   F r o m   t he   e xp e r i m e n t ,   r e s u l t s   s ho w   t ha t   B k M D F S   o ut p e r f o r m s   i n   m o s t   pe r f o r m a nc e   m e a s ur e s .   H e nc e   i t   s ho w s   t h a t ,   B a t   A l g o r i t hm   ha v e   po t e nt i a l   t o   be   o ne   o f   t he   d i s c r e t i z a t i o n  t e c hn i qu e   a n d  f e a t u r e     s e l e c t i o n  t e c hn i qu e .     Ke y w or ds :   B a t   a l go ri t hm   Cl a s s i f i c a t i o n   D i s c r e t i z a t i o n   F e a t u r e   s e l e c t i o n     K - M e a n s   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   Ro z l i n i   B i n t i   M o ha m e d   F a c ul t y   of   Co m put e r   S c i e n c e   &   I n f o r m a t i o n   T e c hn o l o g y ,   U n i v e r s i t i   T u n   H us s e i n  O nn  M a l a y s i a ,   86400  P a r i t   R a j a ,   B a t u   P a ha t ,   J o h o r,   M a l a y s i a .   E m a i l :   r o z l i ni @ ut hm . e du . m y       1.   I N TR O D U C TI O N     Cl a s s i f i c a t i o n   i s   o n e   o f   t h e   i m po r t a n t   a r e a   i n   d a t a   m i n i ng.   T he   m a i n  p r o c e s s   i n   c l a s s i f i c a t i o n   a r e   p r e - pr o c e s s i n g  a nd  f e a t u r e   s e l e c t i o n .   T h e s e   p r o c e s s   m a y   i n f l ue n c e   t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e .   T h e r e   a r e   m a n y   w a y s   t o  pe r fo r m   p r e - p r o c e s s i n g  a nd  f e a t ur e   s e l e c t i on   i n c l u di n g  d i s c r e t i z a t i o n   du ri n g  p r e - p r o c e s s i n g  s t e p.   D i s c r e t i z a t i o n   i s   t h e   p r o c e s s   t o   t r a n s f o r m   t h e   c o n t i n uo us   v a l ue   i nt o   i n t e ge r   v a l ue   o r   k n o w n   a s     di s c r e t e   [1].   T h e   t e c hni que s   fo r   di s c r e t i z a t i o n   c a n   b e   c a t e go r i z e d  i n   t w o   p e r s pe c t i v e s ,   s upe r v i s e d  a n d  un s upe r v i s e d  [2].   T h e   go a l   o f   da t a   d i s c r e t i z a t i o n   i s   t o   de t e rm i n e   t h e   b e s t   s e t   o f   b r e a k  po i n t   t o   g r o up  t h e   d a t a .   B r e a k  po i n t   i s   a   l i m i t   o f   a n   i n t e r v a l   o f   i nt e ge r   v a l ue s .   I n   c l a s s i f i c a t i o n,   t h e   go a l   o f   di s c r e t i z a t i o n   i s   t o   m a ke   a   b e t t e r   c l a s s i f i c a t i o n   b y   y i e l di n g  hi g h e r   a c c ura c y   [3].   D i s c r e t i z a t i o n   c a n   a l s o   b e   us e f ul   fo r   da t a   c l e a n s i n g  t a s ks   i n c l udi ng  m i s s i ng  v a l ue   i m p ut a t i o n   a n d  c o rr u pt   d a t a   de t e c t i o n   (CD D ).   F r o m   G a r c í a - G i l   i n  2018  [4] ,     ha v e   pr o po s e   a   n e w   e n s e m b l e   m e t h o d  b a s e d  o n   P CA   fo r   t h e   di m e n s i o na l i t y   r e duc t i o n   s t e p  a n d  R a n do m   D i s c r e t i z a t i o n.   D i s c r e t i z a t i o n   a l s o   us e d  i n   m i s s i n g   v a l ue   i m p ut a t i o n  t e c hni que s   s uc h  a s   F IM U S   [5]  a n d  CD D   t e c hn i q ue s   s uc h   a s   CA IR A D   [6]  r e l y   o n   di s c r e t i z a t i o n   a l go r i t hm s .   S o m e   da t a   m i ni n g  t e c hni que s   r e qui r e   di s c r e t e   da t a   r a t h e r   t ha n  c o n t i nuo us   da t a   a n d  i t   i s   v e r y   i m po r t a nt   t o   ha v e   a l go ri t hm s   f o r   di s c r e t i z a t i o n  o f  c o n t i n uo us   da t a   [7] .     D i s c r e t i z a t i o n  a l go ri t hm s   ha v e   be e n   i n t e n s i v e l y   r e s e a r c h e d  a n d   h a v e   b e e n   de v e l o pe d  e m be dde d  w i t h   v a r i o us   t e c hni que s .   T h e   us e   o f   di s c r e t i z a t i o n   a l go ri t hm   ha s   b e e n   i n  di f f e r e n t   pu r po s e   a n d   a pp l i c a t i o n.     T h e r e   a r e   m a n y   a l go r i t h m   a r e   us e d  t o   pe r f o r m   d i s c r e t i z a t i o n   s uc h   a s   s t a t i s t i c a l   t e c hni que   b a s e d  o n   C hi - s qu a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   3 ,  S e pt e m b e r   2 019   :     1 4 1 1   -   1 4 1 8   1412   s t a t i s t i c   [ 8 ] ,  h e u ri s t i c   a l go ri t hm   [ 9 ,  10 ]   a n d  K - M e a n s   c l a s s i f i e r   [ 11] .   K - M e a n s   c l a s s i f i e r   w i t h   R o ugh   s e t   w a s   us e d  by   X i n g  e t   a l .   i n   [ 12 ]  t o   t ra n s f o r m   c o n t i n uo us   da t a   i n t o   c o n t i n uo us   da t a .   T a h i r   e t   a l .   i n   [ 13]  us i n g  K - M e a n s   i n  di s c r e t i z a t i o n  t e c hni que   t o   p r o po s e d  m e t h o d  t h a t   a b l e   t o   ge n e ra t e   b e t t e r   de t e c t i o n  ra t e   a n d   a c c ura c y .   F e a t u r e   s e l e c t i o n   c a n   l e a d  t o   ge t t i ng  go o d  c l a s s i f i c a t i o n   a c c ura c y .   F e a t u r e   s e l e c t i o n   i s   a   p r o c e s s   t o  i de nt i fy   t h e   r e l e v a n t   f e a t u r e   i n   d a t a s e t .   A f t e r   t h e   p r o c e s s ,   s e l e c t e d  f e a t ur e s   m i g ht   b e   po s s i b i l i t y   h a l f   of   t h e   s i z e   of   t h e   o r i g i n a l   f e a t u r e   da t a s e t .   B a t   A l go r i t hm   (B A )  i s   us e d  t o   f i n d  t h e   o pt i m a l   f e a t ur e s   i n   [1 4 ,  15] .   S i n c e ,   B A   i s   a   po w e r f ul   t e c hni que   t o   o pt i m i z e   t h e   n u m b e r   o f   f e a t u r e s ,   t h i s   a l go r i t h m   i s   c o m b i n e d  w i t h   a n o t h e r   t e c hn i q ue   s uc h   a s   r o ug h   s e t   [16,   17] .   B A ,   i s   o n e   of   t h e   S w a r m   I nt e l l i ge nt   a l go r i t h m   i ni t i a t e d  by   Y a n g  t ha t   m o r e   po w e r f ul   c o m pa r e   t o   t h e   o t h e r   e v o l ut i o n a r y   a l go r i t hm   [ 18].     N ow a da y s ,   m a n y   r e s e a r c h e r s   ha v e   e xt e n de d  t h e   o r i gi na l   B A   t o   s o l v e   di s c r e t e   pr o b l e m   s uc h   a s   [1 9]   i n   f a ul t   s y s t e m   di a g n o s i s   [20],   T ra v e l i ng  S a l e s m a n   P r o b l e m   (T S P )  [21] .  K r a us e   e t .   a l .   [22 ],   a l s o   a ppl i e d  b a t   t o   h a ndl e   di s c r e t e   p r o b l e m s .   In   2014 ,   N a k a m u r a   e t   a l .   [23 ],   i n t r o duc e d  b i n a r y   b a t   a l go ri t hm   t o   s o l v e   fe a t u r e   s e l e c t i o n   pr o b l e m s .   T h e   m a i n   i de a   i s   t o   a s s o c i a t e   e a c h   b a t   a   s e t   o f  b i n a r y   c o o r di n a t e s   t ha t   de n o t e   w h e t h e r   a  f e a t ur e   w i l l   be l o n g  t o   t h e   f i n a l   s e t   of   fe a t u r e s   o r   n o t .   S i n c e   t h e   pr o b l e m   i s   t o   s e l e c t   o r   n o t   a   gi v e n   fe a t ur e ,   t h e   b a t ’s   po s i t i o n   i s   t h e n   r e p r e s e n t e d  by   b i na r y   ve c t o r s .   E na c h e   a n d  S ga r c i u  i n   [24 ]  p r o po s e d  a   f e a t ur e   s e l e c t i o n   t e c hn i q ue   i n  t ra n s f o r m i ng  t h e   c o n t i n uo us   da t a   i nt o   di s c r e t e   d a t a   f o r   i n s t r uc t i o n   de t e c t i o n   a pp l i c a t i o n.     T h e   ob j e c t i ve   of   t h i s   s t udy   i s   t o   i n v e s t i ga t e   e ff i c i e n c y   of   B A   i n   di s c r e t e   da t a s e t   a nd  t o   f i n d  t h e   o pt i m u m   f e a t u r e   i n  di s c r e t e   da t a s e t .   I n   o r de r  t o   p r o v e   t h e   e ff i c i e n c y   of   BA ,   t h i s   s t udy   pr o po s e d  o n e   t e c hni que   t h a t   c o m pri s e   t h e   di s c r e t i z a t i o n   t e c hn i que   a n d   f e a t ure   s e l e c t i o n   t e c hni que   ha v e   be e n   pr o po s e d.     O ur  c o n t r i b ut i o n   i n   t w o   pr o c e s s   of   c l a s s i f i c a t i o n .   F i r s t ,   w e   c o n t ri b ut e   i n  p r e - p r o c e s s i n g  p r o c e s s   by   l o o k  t h e   b e n e f i t   of   K - M e a n s   a nd  B A   t e c h n i que .   B A   i s   a n   o pt i m i z a t i o n   t e c hn i q ue   w h i c h   i s   us e d  t o   s e l e c t   t h e   o pt i m a l   f e a t ur e   f r o m   a   d a t a s e t .   B ut ,   t h e   d r a w b a c k  of   B A   i s   n o t   c a pa b l e   t o   c o n v e r t   d a t a   i n t o   di s c r e t e .   S i n c e ,   K - M e a n s   c l a s s i f i e r   h a s   t h e   a b i l i t y   t o   di s c r e t i z e   t h e   da t a ,   B A   a n d  K - M e a n s   a r e   c o m b i n e d  a s   a   d i s c r e t i z a t i o n   t e c hni que ,   kn o w n   a s   B kM D .   S e c o n d,   w e   a ppl y   B A   a s   f e a t ur e   s e l e c t i o n  t e c hn i q ue   c a l l e d  a s   B kM D F S .   B kM D F S   i s   o n e   t e c hn i q ue   t ha t   c o m pri s e s   di s c r e t i z a t i o n  t e c hni que   (B kM D )  a n d   f e a t u r e   s e l e c t i o n   t e c hni que   (B A ).   T h e   p r o po s e d  t e c hn i q ue s ,   B kM D   B kM D F S   a r e   e v a l ua t e d  a nd  c o m pa r e d  w i t h  t h e   e xi s t i n g  t e c hn i que s   by   a ppl y i n g  t h e m   o n   s i m u l a t e d  i n   v a ri o us   a ppl i c a t i o n   da t a s e t s .   T h e   r e s ul t   s h o w   t ha t   t h e   p r o po s e d   t e c h ni que s   l e a ds   t o   c o n s i de r a b l y   b e t t e r   a c c ur a c y   r e s ul t s .   T h e   m e r i t   o f   t h i s   s t ud y   i s   h e uri s t i c   a n d  ra n do m   s e a r c h   t ha t   b a s e d   o n   a n  o b j e c t i v e   c r i t e ri o n  t o   f i nd  t h e   o pt i m i z e   f e a t u r e   i n  d a t a s e t .     L i t e ra t u r e   r e v i e w   t ha t   ha s   b e e n   do n e   a ut h o r   us e d  i n   t h e   c h a p t e r  " I n t r o duc t i o n "   t o   e xpl a i n   t h e   di f fe r e n c e   o f   t h e   m a n us c r i p t   w i t h   o t h e r   pa pe r s ,   t h a t   i t   i s   i nn o v a t i v e ,   i t   a r e   us e d  i n   t h e   c ha pt e r   " R e s e a r c h  T e c hn i que "   t o   de s c r i b e   t h e   s t e p  of   r e s e a r c h   a n d  us e d  i n   t h e   c h a p t e r   " R e s ul t s   a n d  D i s c us s i o n "   t o   s uppo r t   t h e   a n a l y s i s   of   t h e   r e s ul t s .   T h e   c o n c l us i o n   w i l l   b e   di s c us s e d  i n   t he   c h a p t e r   “ Co n c l us i o n ” .       2.   R ES EA R C H   T EC H N I Q U E     2. 1 .       D at as e t   an d   Ex p e r i m e n tal   S e tt i n gs   T h e r e   a r e   14  d a t a s e t s   w e r e   us e d  t o   v a l i da t e   s t u dy .   F e a t ur e s   i n   t h e s e   da t a s e t s   a r e   o f   n u m e r i c a l   o n l y   w h i c h   a r e   e a c h   da t a s e t   m us t   ha v e   m o r e   t ha n   h a l f   c o n t i nuo us   f e a t ur e s .   T h e   e xpe r i m e n t s   w e r e   c o n duc t e d  us i n g  14  da t a s e t s   f r o m   di f f e r e n t   a ppl i c a t i o n s ;   C r e di t   A pp r o v a l   (D s 1),   E c o l i   (D s 2) ,   H i l l   V a l l e y   (D s 3),     Im a ge   S e gm e n t a t i o n   (D s 4) ,   L i b ra s   M o v e m e n t   (D s 5),   P l a nt   S pe c i e s   (D s 6),   S t e e l   P l a t e s   F a ul t s   (D s 7),   U r b a nd  L a n d  (D s 8) ,   A ut o m o b i l e   (D s 9),   A b a l o n e   (D s 10),   Y e a s t   (D s 11),   W a v e fo r m   (D s 12),   Io n o s ph e r e   (D s 13)  a n d  W a t e r  T r e a t m e nt   (D s 14) .   T h e s e   da t a s e t s   c a l l e d  a s   o ri gi na l   d a t a s e t s   (O D S )  t ha t   o b t a i n e d  f r o m   U CI  M a c hi n e   L e a rn i ng  R e po s i t o r y   [U CI]  t ha t   pub l i c   a v a i l a b l e   f o r   r e s e a r c h .   N um b e r   o f   i n s t a n c e s   i n  da t a s e t   ra n ge s   f r o m   159   t o   5000.   D a t a s e t   v a r y   f r o m   8  t o   100   f e a t ur e s .   A l l   i n f o r m a t i o n   a b o ut   t h e   da t a s e t s   us e d  i n  t hi s   s t u dy   a r e   s h o w n   i n   T a b l e   1.   M e a n w hi l e ,   F i gu r e   1  i l l us t r a t e s   f r a m e w o r k  B kM D F S   t o   de m o n s t ra t e   h o w   t h i s   t e c hn i que   c a n   i n c o r po r a t e   t h e   di s c r e t i z a t i o n   a pp r o a c h   a n d   f e a t ur e   s e l e c t i o n   t e c hni que   t o   i m p r o v e   t h e   c l a s s i f i c a t i o n  pe r f o r m a n c e .   T hus ,   t hi s   s t udy   c a n  b e   s um m a r i z e d  i n   t hr e e   p ro c e s s   a s   f o l l ow s :   D i s c r e t i z at i on :   T h i s   i s   t h e   i n i t i a l   p r o c e s s   t h a t   t r a n s f o r m   o r i gi na l   d a t a s e t s   i n t o   di s c r e t e   da t a s e t s .     T w o   di s c r e t i z a t i o n  t e c hni que s   a r e   us e d;   K - M e a n s   a n d  B k M D .   E a c h   di s c r e t i z a t i o n   t e c hn i que   i s   a p pl i e d  t o  e a c h   da t a s e t .   A t   t h e   e n d  o f   di s c r e t i z a t i o n   p r o c e s s ,   t w o   di s c r e t i z e   da t a s e t s   a r e   c r e a t e d.   N o w ,   t hr e e   gr o up  o f  da t a s e t   w i l l   b e   us e d  i n   t h e   n e xt   p r o c e s s .   a)   O r i gi na l   da t a s e t   c a l l e d  a s   O D S .   b)   D i s c r e t i z e d  d a t a s e t   w i t h   K - M e a n s   a s   di s c r e t i z a t i o n  t e c hn i q ue   c a l l e d   a s   kM D S .   c)   D i s c r e t i z e d  d a t a s e t   w i t h   B kM D   a s   d i s c r e t i z a t i o n   t e c hn i que   c a l l e d   a s   B kM D S .     F e at ur e   s e l e c t i o n :   T hi s   pr o c e s s   w i l l   s e l e c t   t h e   o pt i m um   f e a t u r e   i n   e a c h   da t a s e t .   T w o  t e c h ni que s   a r e   us e d  w h i c h  a r e   I n f o r m a t i o n   G a i n  (IG )   a n d   B A .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       B at   al g or i t hm   and   k - m e ans   t e c h ni qu e s   f or   c l as s i f i c at i on   pe r f or m anc e   i m pr o v e m e nt   ( R oz l i ni   Moham e d )   1413   Cl as s i f i c a t i o n :   I n  t hi s   p a pe r ,   a c c u r a c y   a n d  s e n s i t i v i t y   pe r f orm a n c e   o f   c l a s s i f i e r s   o ve r   s e l e c t e d  f e a t ur e s   h a s   b e e n   m a de   t o   c o m pa r e   t h e   di s c r e t i z a t i o n   a n d  f e a t u r e   s e l e c t i o n   t e c hn i q ue s   by   c o m pa r i ng   t h e i r   pe r f o r m a n c e s   o n   o r i gi na l   a n d   di s c r e t e   da t a s e t s .   T w o   c l a s s i f i e r s   a r e   us e d  w h i c h   a r e   N a ï v e   B a y e s   (N B )  a n d   k - N e a r e s t   N e i gh b o r   ( kN N ).   E a c h  c l a s s i f i e r   i s   a ppl i e d  t o   e a c h   da t a s e t .         T a b l e   1 .   D a t a s e t   I n f o r m a t i o n ’s   #   D a t a s e t s   N u m b e r   O f   I n s t a n c e s   N u m b e r   O f   A t t ri b u t e s   1.   Cre d i t   A p p r o v a l   690   15   2.   E c o l i   336   8   3.   H i l l _ V a l l e y   606   100   4.   Im a g e   S e g m e n t a t i o n   210   19   5.   L i b ra s   M o v e m e n t   360   90   6.   P l a n t   S p e c i e s   1600   64   7.   S t e e l   P l a t e s   F a u l t s   1941   27   8.   U r b a n   L a n d   507   147   9.   A u t o m o b i l e   159   25   10.   A b a l o n e   4177   8   11.   Y e a s t   1484   8   12.   W a v e f o rm   5000   21   13.   Io n o s p h e r e   351   34   14.   W a t e r   T re a t m e n t   523   38           F i gu r e   1 .   F r a m e w o r k   o f   B kM D F S       2. 2 .       Bat - K - M e an s   D i s c r e ti z at i o n   Te c h n i q u e ,   Bk M D   In  B kM D ,   e a c h  o f   b a t   f l i e s   ra n do m l y   w i t h   a   v e l oc i t y i v ,  a t   po s i t i o n   a l s o   k n o w n   a s   s o l ut i o n   i x w i t h  v a r y i n g  f r e que n c y   o r   w a ve l e n gt h  a nd  l o udn e s s i A .   G e n e r a l l y ,   t he   f r e que n c y   c a n   b e   de s c r i b e d  a s   (1) . \       , m i n m a x m i n f f f f   (1)     w h e r e   1 , 0 i s   a   ra n do m   n u m b e r   d r a w n   f r o m   a   u ni f o r m   di s t r i b ut i o n   a n d  2 , 0 f   i s   a   m i ni m u m   a n d   m a x i m u m   v a l ue   o f   f r e que n c y .   T h e r e f o r e ,   t h e   v e l oc i t i e s   t i v   a n d  l o c a t i o n   t i x   c a n   b e   upda t e d  a c c o r di ng  t o   t h e   f o l l ow i n g    (2)  a n d  (3),   r e s pe c t i v e l y .       , * 1 1 i t i t i t i f v v v v   (2)     , 1 t i t i t i v x x   (3)     In  t hi s   r e s e a r c h ,   t h e   i ni t i a l   v a l ue   f o r A ,   i s   0 . 5.   T h e   a i m   o f   t hi s   t e c hn i q ue   i s   t o   s e a r c h e d  a n d  f i n d  i t s   pra y   de n o t e   a s   f e a t ur e   t ha t   c o nt r i b ut e   t o   hi g h e r   c l a s s i f i c a t i o n   pe r f o r m a n c e   by   c h a n g i n g  t h e   f r e que n c y ,   l o udn e s s   a n d  pul s e   e m i s s i o n  r a t e   r   by   a s s um pt i o n   t h e   b e s t   s o l ut i o n   i s   t h e   b a t   c a n   f i n d  t h e   b e s t   fe a t u r e   i n  o r de r   t o   s e l e c t   t h e   o pt i m a l   f e a t ur e   f r o m   da t a s e t .   B A   i s   us e d  t o   ge n e r a t e   a   s e t   of  c e n t r o i d ,   a i c c c C , , , 2 1   f o r   t h e   e a c h  da t a s e t   t ha t   de n o t e   by   (4) .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   3 ,  S e pt e m b e r   2 019   :     1 4 1 1   -   1 4 1 8   14 14   N u F i t ne s s 1 2 ^   (4)     w h e r e   u de n o t e   t h e   d a t a   i n   da t a s e t   a n d   N a t t ri b ut e   c a l l e d   a s   f e a t ure .     B A   o n l y   h a n dl e   i n   f i n di n g  t h e   o pt i m i z e   f e a t ur e s .   B u t ,   i n   d i s c r e t i z a t i o n   t h e   e s s e n t i a l   t hi n g  i s   r e v o l v i n g  t h e   c o n t i nuo us   do m a i n   i nt o   c o r r e s po n di ng  i nt e ge r  do m a i n.   D i s c r e t i z a t i o n   i s   t o   s e t   up  t h e   di s c r e t e   ra n ge   i nt e r v a l   c a l l e d  a s   b r e a kpo i n t s   f o r   c o n t i nuo us   a t t ri b ut e s   v a l ue s   i n   d a t a s e t .   A c c o r di n g  t o   t h e s e   b r e a kpo i nt s ,   t h e   c o nt i nuo us   a t t r i b ut e s   v a l ue s   a r e   a s s i g n e d   i nt o   i nt e ge r  v a l ue   s uc h   a s   0 , 1 , 2  a n d   3 .   K - M e a n s   w a s   de s c r i b e d  by   J .   M a c Q ue e n   i n   1 967  [26 ].   K - M e a n s   i s   a n  i t e ra t i v e   a l go r i t hm s   t ha t   b e gi n   w i t h   a   s e t   o f   k   r e f e r e n c e   po i n t   c a l l e d  a s   c e n t r o i d  [1 3].   F i r s t ,   d a t a   a r e   pa rt i t i o n e d  i nt o   k c l us t e r s .   A   d a t a   po i nt   x   b e c o m e   a   m e m b e r   o f   c l us t e r   k - t h   i f   kc i s   a   c e n t r o i d  r e f e r e n c e   c l o s e t   t o x .  T h e   p o s i t i o n s   o f   c e n t r o i d   r e f e r e n c e   a n d  t h e   a s s i g nm e n t   o f   t h e   da t a   po i n t s   t o   c l us t e r   i s   i t e ra t i v e   c o m put a t i o n   a nd  w i l l   b e   r e pe a t e d  u n t i l   t h e   o pt i m a l   s o l ut i o n   i s   o b t a i n e d.   K - M e a n s   c a n  b e   de f i n e   a s   ( 5) .     2 1 K k S i k j k c k x   (5)     w h e r e   K i s   t h e   n um b e r   o f   c l a s s   k ,   w h i c h   k G   i s   a   s e t   of   gr o up,   K k k k k G , , , 2 1 .  c k k   i s   t h e   c e n t r o i d  f o r   c o r r e s po n di ng  c l a s s ,   k - t h.   j x i s   j - t h   da t a   po i n t .     T h e   s t r e n g t h   o f   K - M e a n s   i s   a b l e   t o   t ra n s f o r m   f r o m   c o n t i nuo us   t o   di s c r e t e   v a l ue .   H ow e ve r ,   K - M e a n s   n o t   a b l e   t o   f i n d  t h e   o pt i m i z e   f e a t ur e s   i n   t h e   r e s pe c t i v e   da t a s e t .   S o ,   B A   i s   us e d  i n   o r de r   t o   c a t e r   t hi s   pr o b l e m .   In  o t h e r  w o r d,   K - M e a n s   a nd  B A   a r e   c o m pl i m e nt   t o   e a c h  o t he r ’s .       2. 3 .       B A   F e atu r e   S e l e c ti o n   Te c h n i q u e   E a c h   a t t r i b ut e   i n  da t a s e t   c o rr e s po n d  t o   f e a t u r e   i n  B A   a n d   e a c h   i n s t a n c e   i n  d a t a s e t   c o rr e s po n d  t o  n u m b e r   o f   B a t   i n   B A .   E a c h   i n s t a n c e   o r   B a t   ha v e   a   s e t   of   a t t r i b ut e s   o r   f e a t ur e s .   E a c h   f e a t u r e   h a s   t h e i r   o w n   po s i t i o n   t ha t   r e p r e s e n t e d  i n  b i na r y   b i t   s t r i ngs   w i t h   N   - l e n g t h,   w h e r e   N   i s   t h e   t o t a l   num b e r   o f   fe a t ur e s .   E a c h   b i t s   de n o t e s   a s   t h e   f e a t ur e   w h i c h   i s   ‘1’  r e p r e s e n t   t h e   s e l e c t e d  f e a t ur e   a n d  ‘0 ’  r e pr e s e nt   u n s e l e c t e d   f e a t ur e .   T h e   o b j e c t i ve   of   B A   i s   t o   f i n d  t h e   B a t   w i t h   m i ni m u m   gl o b a l   b e s t .   E a c h   b a t   w i l l   h a v e   t h e i r   o w n   l o c a l   b e s t   a n d  a   s e t   o f   b i n a r y   s t r i n g .   T hus ,   a   s e t   o f   b i n a r y   s t r i n g  w i t h   m i n i m u m   l o c a l   b e s t   be   w i nn e r .   T h i s   w i nn e r   i s   c a l l e d  a s   gl o b a l   b e s t .   It   m e a n s ,   t h e   s e l e c t e d  f e a t ur e   i s   c orr e s po n d i n g  t o   gl o b a l   b e s t .   F o r   i n s t a n c e ,   f r o m     T a b l e   2,   t h e r e   4  b a t s   i n   B A   c o rr e s po n d  t o   4  i n s t a n c e s   i n  da t a s e t   a n d  5  f e a t u r e s   i n   B A   c o r r e s po n d  t o   5   a t t ri b ut e s   i n   da t a s e t .   E a c h   b a t   w i l l   ha v e   t h e i r   o w n   l o c a l   b e s t .   T h e n,   a m o n g   t h e   4   l o c a l   b e s t ,   t h e   l o c a l   b e s t   =   0. 111   i s   t h e   m i ni m u m   l o c a l   b e s t   f r o m   b a t   num b e r  2 .   S o ,   t h e   w i nn e r  b a t   i s   b a t   n u m b e r   2   w i t h  g l o b a l   b e s t ,      =   0 . 111   a n d   t h e   s e l e c t e d  f e a t ur e ,    = { 2 , 4 , 5 } .       T a b l e   2 .   S e l e c t e d  F e a t u r e s   #   o f   fe a t u r e s ,   #   o f   b a t   1   2   3   4   5   L o c a l   b e s t   1   1   0   1   0   0   0 . 1 3 4   2   0   1   0   1   1   0 . 1 1 1   3   1   1   1   1   1   0 . 3 4 5   4   1   1   0   0   0   0 . 5 4 3       2. 4 .       C l as s i fi c at i o n   Cl a s s i f i c a t i o n   p r o c e s s   a r e   us e d  t o   m e a s u r e   t h e   q ua l i t y   of   s e l e c t e d  fe a t ur e   f r o m   o r i gi na l   da t a s e t   a n d   di s c r e t i z e   da t a s e t .   T h e r e   a r e   t w o   s upe r v i s e d  c l a s s i f i e r s   us e d:   N a ï v e   B a y e s   (N B )  a n d  k - N e a r e s t   N e i g h b o r   (kN N )  w i t h   t w o   pe r f o r m a n c e   m e a s u r e s   a c c ur a c y   a nd  s e n s i t i v i t y .   E a c h  c l a s s i f i e r s   i s   a pp l i e d  t o   e a c h  da t a s e t .       2. 5 .       P e r fo r m an c e   Ev al u ati o n   In   t h i s   s t udy ,   w e   pr o po s e   B kM D F S   t h a t   c o m pri s e s   di s c r e t i z a t i o n   t e c hni que   (B kM D )  a n d  f e a t ur e   s e l e c t i o n   t e c hn i que   (B A ).   T o   e v a l ua t e   B kM D F S ,   w e   us e d  t w o   c l a s s i f i e r s :   N a ï v e   B a y e s   (N B )  a n d  k - N e a r e s t   N e i gh b o r   (kN N )  w i t h   t w o  pe r f o r m a n c e   m e a s ur e s   a c c ur a c y   a n d  s e n s i t i v i t y .   F ur t h e rm o r e ,   a s   e v i de n t   t h e   c a pa b i l i t y   of   B A   a s   di s c r e t i z a t i o n   a nd  f e a t ur e   s e l e c t i o n   t e c hn i q ue s ,   t h e r e   6  o t h e r   t e c hn i que s   a s   s h o w n   i n  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       B at   al g or i t hm   and   k - m e ans   t e c h ni qu e s   f or   c l as s i f i c at i on   pe r f or m anc e   i m pr o v e m e nt   ( R oz l i ni   Moham e d )   1415   T a b l e   3  a r e   e m pl o y e d.   DPSO - R S   w a s   pr o po s e d  by   N oo rh a ni z a   i n   2010  [2 5].   D P S O - R S   w a s   de v e l o pe d  i n   o r de r  t o   i m p r o v e   P S O   t o   c a t e r   d i s c r e t e   d a t a   D P S O - R S   i s   hy b r i d  w i t h  R o ugh   S e t   t o   f i nd  t h e   o pt i m a l   f e a t u r e   s e l e c t i o n   p r o b l e m .   E a c h   d a t a s e t   i s   a pp l i e d  t o   e a c h   t e c hn i q ue   i n   T a b l e   3.   W e   ha v e   s e v e n   s e t   of   s e l e c t e d  fe a t u r e   fo r   e a c h  da t a s e t ,   t o t a l l y   98  s e t   s e l e c t e d  fe a t u r e s .   T h e n,   c l a s s i f i c a t i o n   p r o c e s s   a r e   us e d  t o   m e a s u r e   t h e   qu a l i t y   of   s e l e c t e d  f e a t ur e s .         T a b l e   3 .   Co m p a r i s o n  T e c hn i que s     T e c h n i q u e   D e s c ri p t i o n   BA O   Ba t   a l g o ri t h m   a s   a   fe a t u re   s e l e c t i o n   m e t h o d   a n d   u s i n g   O D S   d a t a s e t s .   IG O   In fo r m a t i o n   G a i n   a s   a   fe a t u re   s e l e c t i o n   m e t h o d   a n d   u s i n g   O D S   d a t a s e t s .   k M B   Ba t   a l g o ri t h m   a s   a   fe a t u re   s e l e c t i o n   m e t h o d   u s i n g   k M D S   d a t a s e t s .   k M IG   In fo r m a t i o n   G a i n   a s   a   fe a t u re   s e l e c t i o n   m e t h o d   u s i n g   k M D S   d a t a s e t s .   Bk M D F S   Ba t   a l g o r i t h m   a s   a   fe a t u re   s e l e c t i o n   m e t h o d   u s i n g   Bk M D S   d a t a s e t s .   Bk M D IG   In fo r m a t i o n   G a i n   a s   a   fe a t u re   s e l e c t i o n   m e t h o d   u s i n g   Bk M D S   d a t a s e t s .   D P S O - RS   D i s c r e t e   P a rt i c l e   S w a r m   O p t i m i z a t i o n   –   Ro u g h   S e t   t h a t   u s i n g   O D S   d a t a s e t s .       3.   R ES U LTS   A N D   A N A L Y S I S     T h e   e xpe r i m e nt s   c o n duc t e d  t o   a s s e s s   t h e   r o b us t n e s s   of   pr o pos e d  t e c h ni que   B kM D F S   t h a t   c o m pri s e d  t h e   di s c r e t e   t e c hni que   a n d  f e a t u r e   s e l e c t i o n   t e c hni que   t o ge t he r .   14  d a t a s e t s   f r o m   v a ri o us   do m a i n s   h a v e   b e e n   us e d  f o r   e xpe r i m e nt a l   e v a l u a t i o n   a s   s h o w n   i n   T a b l e   1 .     T a b l e   4  s h ow s   t h e   a c c ur a c y   fo r   N a ï v e   B a y e s   a n d  k - N e a r e s t   N e i g h b o r   c l a s s i f i e r s .   B kM D F S   t e c hn i q ue s   o ut pe r fo r m   5  o ut   o f  14  da t a s e t s   w h i c h   a r e   D s 1,   D s 3,   D s 5,   D s 10  a n d  D s 12  o f  t h e   N a ï v e   B a y e s   c l a s s i f i e r .   M e a n w hi l e ,   B kM D F S   t e c hn i que   o nl y   o ut pe r fo r m   i n   4  d a t a s e t s   c o m pa r e   t o   IG O   7  da t a s e t s   o f   t h e   k - N e a r e s t   N e i g h b o r  c l a s s i f i e r.     T a b l e   5  s h o w s   t h e   s e n s i t i v i t y   fo r   N a ï v e   B a y e s   a n d  k - N e a r e s t   N e i g h b o r   c l a s s i f i e r s .   B kM D F S   t e c hn i q ue s   o ut pe r f o r m   4  o ut   o f   14  da t a s e t s   w h i c h   a r e   D s 1,   D s 3,   D s 5  a nd  D s 12  o f   t h e   N a ï v e   B a y e s   c l a s s i f i e r s .   B kM D F S   t e c h ni que   o n l y   o ut pe r f o r m   i n   4  da t a s e t s   c om pa r e   t o   IG O   5  da t a s e t s   f o r   t h e   k - N e a r e s t     N e i gh b o r   c l a s s i f i e r .     F r o m   F i gu r e   2 ,   w e   fo c us   r e s ul t s   o n  t h e   b e s t   di s c r e t i z a t i o n  t e c hn i q ue   f o r   e a c h  da t a s e t ,   b e s t   c l a s s i f i e r  fo r   e a c h   d a t a s e t   a n d  b e s t   c o m b i na t i o n   o f   bo t h   f o r   e a c h   t y pe   of   da t a s e t .   A s   e v i de n t   s h o w s   i n   F i gu r e   2,   B kM D F S   o ut pe r fo r m   i n   a l l   pe r f o r m a n c e   m e a s ur e   f o r   N a ï v e   B a y e s   c l a s s i f i e r   i n   di s c r e t i z e   da t a s e t .     B ut ,   i n  s e n s i t i v i t y ,   B kM D F S   a l s o   o ut pe r f o r m   i n   k - n e a r e s t   n e i gh b o r   c l a s s i f i e r.       T a b l e   4 .   T h e   P e r f o r m a n c e   o f   A c c ur a c y     Da t a s e t   Na ïv e   B a y e s   k - Ne a r e s t  N e ig h b o r   B AO   I GO   k M B   k M I G   B k M DFS   B k M D I G   DPS O - RS   B AO   I GO   k M B   k M I G   B k M DFS   B k M D I G   DPS O - RS   Ds 1   0 . 6 2 8   0 . 7 8 3   0 . 7 3 3   0 . 7 5 2   0 . 8 5 2   0 . 8 4 2   0 . 8 0 8   0 . 6 0 9   0 . 8 2 7   0 . 7 3 3   0 . 7 5 6   0 . 8 0 9   0 . 8 4 9   0 . 8 0 4   Ds 2   0 . 6 9 4   0 . 9 6 2   0 . 4 9 4   0 . 6 5 6   0 . 7 76   0 . 6 5 6   0 . 9 6 2   0 . 7 0 4   0 . 9 3 2   0 . 5 9 7   0 . 6 8 9   0 . 7 2 1   0 . 6 8 9   0 . 9 2 8   Ds 3   0 . 5 1 5   0 . 5 1 9   0 . 2 5 3   0 . 2 5 3   0 . 5 2 2   0 . 2 5 3   0 . 5 1 9   0 . 5 8 9   0 . 5 8 4   0 . 4 9 6   0 . 4 9 6   0 . 5 9   0 . 4 9 6   0 . 5 8 6   Ds 4   0 . 6 1 9   0 . 7 8 1   0 . 6 5 1   0 . 5 9 9   0 . 7 3 2   0 . 6 0 3   0 . 7 7   0 . 7 7 1   0 . 8 9 4   0 . 6 2 9   0 . 6 5 1   0 . 8 4 7   0 . 6 5 1   0 . 8 8 6   Ds 5   0 . 6 2 6   0 . 6 4 7   0 . 4 7 9   0 . 3 7 1   0 . 6 6 1   0 . 3 4 5   0 . 6 5   0 . 8 1 6   0 . 8 6 5   0 . 6 3 8   0 . 5 9 1   0 . 8 7 1   0 . 4 1 2   0 . 8 6 7   Ds 6   0 . 7 8 5   0 . 8 4 9   0 . 0 8 6   0 . 0 7 9   0 . 7 8 8   0 . 3 7 2   0 . 8 6 1   0 . 6 4 4   0 . 7 5 3   0 . 0 9   0 . 0 8 3   0 . 6 6 6   0 . 2 4 2   0 . 7 4 7   Ds 7   0 . 6 1 6   0 . 6 6 7   0 . 5 0 5   0 . 5 4   0 . 6 4   0 . 6 2 3   0 . 6 1 6   0 . 6 4 2   0 . 7 1 3   0 . 5 5   0 . 5 6 6   0 . 7 2 4   0 . 5 7 5   0 . 6 7 9   Ds 8   0 . 7 6 1   0 . 8 3   0 . 3 3 2   0 . 1 6 9   0 . 8 2 4   0 . 5 6   0 . 6 1 3   0 . 7 5 1   0 . 8 1 6   0 . 2 5 1   0 . 1 2 7   0 . 7 5 9   0 . 5 0 7   0 . 6 7 3   Ds 9   0 . 4 8 6   0 . 5 6 2   0 . 0 9 1   1   0 . 4 9 4   0 . 5 0 7   0 . 5 6 9   0 . 7 1 7   0 . 8 5 5   0 . 0 9 1   1   0 . 7 8 6   0 . 5 5 7   0 . 7 9 9   Ds 1 0   0 . 1 8 2   0 . 1 9 7   0 . 0 7 6   0 . 1 1 4   0 . 1 9 8   0 . 1 8 1   0 . 1 9 2   0 . 1 9   0 . 1 9 9   0 . 0 6 2   0 . 1 3 8   0 . 2 0 5   0 . 2 2 4   0 . 1 9 7   Ds 1 1   0 . 5 1 7   0 . 5 9 1   0 . 2 3 9   0 . 2 3 3   0 . 5 4 4   0 . 4 2 1   0 . 5 1 4   0 . 4 8 7   0 . 5 2 4   0 . 3 3   0 . 1 9 5   0 . 4 9 7   0 . 5 3 2   0 . 5 0 4   Ds 1 2   0 . 8 3 1   0 . 8 4 1   0 . 6 5 3   0 . 7 1 1   0 . 8 5   0 . 4 7 7   0 . 8 3 2   0 . 7 4 5   0 . 7 8 5   0 . 5 8   0 . 6 8 4   0 . 8 9 6   0 . 6 9   0 . 7 6 4   Ds 1 2   0 . 7 8 8   0 . 8 4 2   0 . 7 8 4   0 . 8 1 3   0 . 8 5 5   0 . 8 6 2   0 . 8 4 5   0 . 8 9 6   0 . 8 7 1   0 . 8 2 9   0 . 8 0 9   0 . 8 6 7   0 . 8 6 3   0 . 8 6 6   Ds 1 4   0 . 6 1 3   0 . 7 3 9   0 . 3 5 1   0 . 5 6   0 . 7 2 5   0 . 5 6   0 . 7 2 3   0 . 5 6 3   0 . 6 9 9   0 . 3 2 6   0 . 5 2 2   0 . 6 3 3   0 . 5 2 2   0 . 6 7 9       T a b l e   4 .   T h e   P e r f o r m a n c e   o f   S e n s i t i v i t y     Da tas e t   Na ïv e   B a y e s   k - Ne a r e s t  N e ig h b o r   B AO   I GO   k M B   k M I G   B k M DFS   B k M D I G   DPS O - RS   B AO   I GO   k M B   k M I G   B k M DFS   B k M D I G   DPS O - RS   Ds 1   0 . 5 9 6   0 . 7 6 5   0 . 7 3 3   0 . 7 5 2   0 . 8 5 2   0 . 8 4 2   0 . 8 0 3   0 . 6 1   0 . 8 2 8   0 . 7 3 3   0 . 7 5 7   0 . 8 0 9   0 . 8 4 6   0 . 8 0 3   Ds 2   0 . 7 3 5   0 . 9 7 3   0 . 5 6 5   0 . 6 7   0 . 7 8 6   0 . 6 7   0 . 9 7 3   0 . 7 1 1   0 . 9 3 2   0 . 6 4   0 . 6 9 6   0 . 7 3 5   0 . 6 9 6   0 . 9 3 5   Ds 3   0 . 5 0 5   0 . 5 0 7   0 . 5 0 3   0 . 5 0 3   0 . 5 0 8   0 . 5 0 3   0 . 5 0 7   0 . 5 8 9   0 . 5 8 4   0 . 4 9 7   0 . 4 9 5   0 . 5 9 1   0 . 4 9 5   0 . 5 8 6   Ds 4   0 . 6 1 9   0 . 7 8 6   0 . 6   0 . 5 7 1   0 . 7 2 9   0 . 6 0 5   0 . 7 7 6   0 . 7 7 1   0 . 8 9 5   0 . 5 8 6   0 . 6 3 8   0 . 8 4 8   0 . 6 4 8   0 . 8 8 6   Ds 5   0 . 6 0 6   0 . 6 3 1   0 . 4 6 4   0 . 3 6 7   0 . 6 4 7   0 . 3 1 7   0 . 6 3 6   0 . 8 1 1   0 . 8 6 1   0 . 6 2 2   0 . 5 5 6   0 . 8 6 4   0 . 3 8 1   0 . 8 6 1   Ds 6   0 . 7 7 4   0 . 8 4 2   0 . 0 8 4   0 . 0 9 4   0 . 7 8 1   0 . 3 5 7   0 . 8 5 1   0 . 6 3 9   0 . 7 3 9   0 . 0 8 3   0 . 1 1 2   0 . 6 5 8   0 . 2 2 8   0 . 7 3 7   Ds 7   0 . 5 3 6   0 . 6 0 4   0 . 4 5 7   0 . 5 1 1   0 . 5 8   0 . 5 0 9   0 . 5 4 8   0 . 6 4 1   0 . 7 1 4   0 . 5 5 2   0 . 5 5 8   0 . 7 2 6   0 . 5 7 4   0 . 6 7 9   Ds 8   0 . 7 5   0 . 8 2 1   0 . 3 6 9   0 . 2 3 2   0 . 8 1 5   0 . 5 8 9   0 . 5 4 8   0 . 7 3 8   0 . 8 0 4   0 . 2 5   0 . 2 3 2   0 . 7 3 8   0 . 4 7 6   0 . 6 7 2   Ds 9   0 . 4 5 3   0 . 5 6 6   0 . 3 0 2   1   0 . 5 0 9   0 . 4 0 9   0 . 5 7 2   0 . 6 9 8   0 . 8 3 6   0 . 3 0 2   1   0 . 7 7 4   0 . 5 6   0. 7 7 4   Ds 1 0   0 . 2 3 3   0 . 2 4 1   0 . 1 5 6   0 . 1 5 5   0 . 2 3 6   0 . 2 0 4   0 . 2 3 2   0 . 1 9 2   0 . 2 0 1   0 . 0 5 3   0 . 1 5 5   0 . 2 0 7   0 . 2 5 8   0 . 1 9 8   Ds 1 1   0 . 5 3   0 . 5 7 9   0 . 3 3 7   0 . 3 3 6   0 . 5 5 1   0 . 3 7 1   0 . 5 3 1   0 . 4 8 6   0 . 5 2 2   0 . 3 4 2   0 . 3 3 7   0 . 4 9 9   0 . 5 2 4   0 . 5 0 4   Ds 1 2   0 . 8 1 4   0 . 8 1   0 . 5 5 1   0 . 6 4 9   0 . 8 4   0 . 3 6 8   0 . 8 0 6   0 . 7 4 6   0 . 7 8 5   0 . 5 8 4   0 . 6 8 5   0 . 8 89   0 . 6 9 1   0 . 7 6 4   Ds 1 2   0 . 7 9 8   0 . 8 2 6   0 . 7 7 5   0 . 8 0 3   0 . 8 4 3   0 . 8 6 3   0 . 8 2 9   0 . 8 9 5   0 . 8 6 3   0 . 8 2 1   0 . 7 9 8   0 . 8 6   0 . 8 6 3   0 . 8 5 8   Ds 1 4   0 . 6 2   0 . 7 3 4   0 . 3 0 4   0 . 5 2   0 . 7 1 7   0 . 5 0 5   0 . 7 2 1   0 . 5 8 5   0 . 7 1 3   0 . 5 0 9   0 . 5 1 4   0 . 6 5 2   0 . 5 2 8   0 . 6 9 4   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   3 ,  S e pt e m b e r   2 019   :     1 4 1 1   -   1 4 1 8   1416       F i gu r e   2 .   N u m b e r   o f   da t a s e t   w h e r e   e a c h   d i s c r e t i z a t i o n   t e c hni que   y i e l d  t h e   b e s t       4.   C O N C LU S I O N     T h e   ob j e c t i ve s   i n   t h i s   s t udy   i s   t o   i n v e s t i ga t e   e f f i c i e n c y   of   t h e   B A   a s   a   di s c r e t i z a t i o n   a n d  f e a t u r e   s e l e c t i o n   t e c hn i q ue s .   H ow e v e r ,   t h e   d ra w b a c k  o f   B A   i s   n o t   a b l e   t o   t ra n s f o r m   t h e   c o n t i n uo us   i nt o   di s c r e t e   v a l ue .   S o ,   w e   e m pl o y   K - M e a n s   t o   s o l ve   t h i s   pr o b l e m   a n d   pr o po s e d   t h e   di s c r e t i z a t i o n   t e c hn i que   n a m e l y ,   B kM D .   T h e n,   t o   p r o ve   t h e   c a pa b i l i t y   B A   a s   fe a t ur e   s e l e c t i o n ,   w e   i n t e g ra t e   B A   w i t h   B kM D   a nd  k n o w n   a s ,   B kM D F S .   A s   e v i de n t   s h o w   t h e   e f fe c t i ve n e s s   of   o ur   pr o p o s e d  t e c h ni que s ,   w e   r u n   t h e   e xpe r i m e nt   i n   14  da t a s e t s   f r o m   v a r i o us   a ppl i c a t i o n s .   T w o   c l a s s i f i e r   a r e   us e d  t o   m e a s u r e   t h e   qu a l i t y   of   s e l e c t e d  fe a t ur e   w i t h  B kM D F S   w h i c h   a r e   N a ï v e   B a y e s   a n d  k - N e a r e s t   N e i g h b o r .     In  t hi s   s t u dy ,   t h e   e xpe r i m e n t   ha s   de m o n s t ra t e d  t ha t   t h e   d i s c r e t i z a t i o n   a n d  B a t   a l go r i t hm   c a pa b l e   t o   c o r r e c t l y   pr e di c t   a   c l a s s   m e m b e r s h i p.   B kM D F S   a b l e   t o   i m pr o v e   c l a s s i f i c a t i o n   pe r f o rm a n c e   (a c c ur a c y   a n d  s e n s i t i v i t y )  i n   di s c r e t i z e   da t a s e t .   E v e n   t h o ug h   B kM D F S   o ut pe r f o r m   i n   m o s t   o f   t h e   c o m pa ri s o n   t e c hni que ,   b ut   t h i s   t e c hni que   s t i l l   c a nn o t   c o m pe t e   w i t h   b e n c h m a r k  t e c hni qu e ,   i n f o r m a t i o n   ga i n   (IG ) .   T h us ,   B kM D F S   h a v e   a   r o o m   f o r   i m p r o v e m e n t   i n   f ut u r e   r e s e a r c h .         A C K N O WL ED G E M EN TS   T h i s   p a pe r   h a s   b e e n   s uppo rt e d  by ,   F un d a m e n t a l   R e s e a r c h   G ra n t   S c h e m e   ( F R G S ),   U n i v e r s i t i   T u n   H us s e i n   O nn  M a l a y s i a   (U T H M )  (vo t   1612)  f o r   t h e   f i n a n c i a l   s uppo r t .         R EF ER EN C ES     [ 1]   S .   C .   T a n ,   “ I m p r ov i n g  A s s o c i a t i on  R u l e   M i n i ng  us i n g  c l u s t e r i ng - b as e d  di s c r e t i z a t i o n  of   num e r i c a l   dat a , ”   i n  I E E E   P r e s s ,   P r o c .   2018   I nt e r na t i o na l   C o nf e r e nc e   o n  I nt e l l i g e n t   a nd   I nnov a t i v e   C o m pu t i ng   A ppl i c a t i o ns ( I C O N I C ) ,   20 18,   pp.   1 - 5.   [ 2]   K .   L a v a ng na na nda ,   S .   C ha t t a na c ho t ,   " St u dy   o f   D i s c r e t i z at i on  M e t hod s   i n  C l a s s i f i c at i on , "   i n   I E E E   P r e s s ,   P r o c .   I nt e r na t i o na l   C o nf e r e nc e   o n  K no w l e dg e   a n d  S m a r t   T e c hno l o gy ,  2017,   pp . 50 - 55 .   [ 3]   K .   L a v a ng na na nda ,   a nd  S .   W a i w i ng ,   “ E f f e c t i v e ne s s   of   di f f e r e nt   pr e - pr o c e s s i ng  t e c hn i que s   o n  c l as s i f i c a t i on  o f   v ar i ou s   l e ngt h s   of   c ont r o l   c ha r t s   p at t e r ns , ”   P r o c e di a   C o m put e r   S c i e nc e ,   v o l .   69 ,   pp.   4 4 - 54,   20 15.   [ 4]   D.   G a r c í a - G i l ,   e t   a l . ,   “ P r i nc i p a l   c o m p o ne nt s   a na l y s i s   r a ndo m   di s c r e t i z a t i o n  e n s e m b l e   f o r   bi g   da t a , ”   K now l e dge - B as e d  S y s t e m s ,   v o l .   15 0,   pp .   166 - 17 4,   20 18 .   [ 5]   M . G .   R a hm a n,   a nd  M .   Z .   I s l a m ,   “ F I M U S :   A   f r a m e w o r k  f o r   i m put i ng   m i s s i ng   v a l ue s   us i ng   c o - a ppe a r a nc e ,   c o r r e l a t i o n  a nd   s i m i l a r i t y   a na l y s i s , ”   K now l e dge - B as e d  Sy s t e m s ,   v o l .   56 ,   pp .   3 11 - 3 27 ,   2014 .   [ 6]   M .   G .   R a hm a n,   e t   a l . ,   " C a i r a d:   A   c o - appe ar a nc e   bas e d  an al y s i s   f o r   i n c or r e c t   r e c o r ds   and  a t t r i bu t e - v a l ue s   de t e c t i o n , "   i n  N e ur a l   N e t w o r ks   ( I J C N N ) ,   T he   20 12  I nt e r na t i o na l   J o i nt   C o nf e r e nc e   o n.   B r i s b a ne ,   A us t r a l i a :   I E E E ,  2012 ,   pp.   1 - 10 .   [ 7]   M .   S a hu ,  e t   a l . ,   “ I m pac t   of   d i s c r e t i z a t i o n  o n  c l a s s i f i c a t i on   of   da t a   us i ng   di v i de   and   c o nque r   par a di gm , ”   i n  I E E E   P r e s s ,   P r o c .   I nt e r n a t i o na l   C o nf e r e nc e   o n  E l e c t r i c a l ,   E l e c t r o ni c s ,   a n d  O p t i m i z a t i o n  T e c hni q ue s ,   2016 ,   pp.     1596 - 160 2.   [ 8]   I .   S .   T ha s e e n  a nd  C .   A ,   “ I nt r us i o n  de t e c t i o n  m ode l   us i n g   f us i o n  of   C hi   s qua r e   f e a t ur e   s e l e c t i o n  a nd  m ul t i   c l a s s   S V M , ”   J our nal   K i ng  Sau d  U ni v e r s i t y   -   C om p ut e r   a nd  I nf or m at i o n   Sc i e nc e ,   vo l   29( 4) ,   pp.   462 – 4 72,   2017.   [ 9]   J . T a ng ,   e t   al . ,   “ M a x i m i z i ng   t he   s p r e a d  o f   i nf l ue nc e   v i a   t he   c o l l e c t i v e   i n t e l l i g e nc e   o f   di s c r e t e   ba t   a l g o r i t hm , ”   K now l e dge   B as e d  S y s t ,   v o l .   1 60 ,   p p.   88 - 10 3,   2018.   [ 10]   J .   L u,   e t   a l . ,   “ T he   c o nt i nuo us - d i s c r e t e   P S O   a l g o r i t hm   f o r   s ha p e   f o r m a t i o n  pr o b l e m   o f   m ul t i p l e   a g e nt s   i n  t w o   a nd   t hr e e   d i m e ns i o na l   s pa c e , ”   A pp l i e d  Sof t   C om pu t i ng ,   v o l .   67 ,   pp .   4 0 9 - 433,   2 018 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       B at   al g or i t hm   and   k - m e ans   t e c h ni qu e s   f or   c l as s i f i c at i on   pe r f or m anc e   i m pr o v e m e nt   ( R oz l i ni   Moham e d )   1417   [ 11]   D .   M a r y o n o ,   e t   a l . ,   “ I m p l e m e nt at i on   of   N um e r i c al   A t t r i bu t e   D i s c r e t i z a t i on  f or   O ut l i e r   D e t e c t i on   on  M i x e d  A t t r i bu t e   D at as e t , ”   i n  2 018  I nt e r na t i o na l   C o nf e r e nc e   o n  I nf o r m a t i o n  a nd  C o m m uni c a t i o ns   T e c hno l o gy   ( I C O I A C T ) ,   2018 ,   pp.   71 5 - 718.   [ 12]   X .   X i ng ,   e t   al . ,   “ C on t i nuo us   A t t r i bu t e   D i s c r e t i z a t i on  A l gor i t hm   of   R ough  Se t   ba s e d  on  k - m e ans , ”   i n  I E E E   P r e s s ,   P r o c .   2014   I E E E   W o r ks ho p  o n  A d v a nc e d  R e s e a r c h  a nd   T e c hno l o gy   i n  I ndus t r y   A ppl i c a t i o ns   ( W A R T I A ) ,   2014 ,     pp.   13 84 - 1387 .   [ 13]   H .   M .   T a hi r ,   e t   al . ,   “ O v i n g  K - M e ans   C l u s t e r i ng  u s i ng  d i s c r e t i z a t i o n  t e c h ni q ue   i n  N e t w or k   I nt r u s i o n  D e t e c t i on   Sy s t e m , ”   i n  C o m put e r   a n d  I nf o r m a t i o n  S c i e nc e s   ( I C C O I N S ) ,   2016  3r d  I nt e r n a t i o na l   C o nf e r e nc e ,   201 6,     pp.   24 8 – 25 2.   [ 14]   P .   S hr i v a s t a v a ,   e t   al . ,   “ A   s u r v e y   o f   na t ur e   i m s p i r e d  a l g o r i t hm s   f o r   f e a t ur e   s e l e c t i o n  t o   i de nt i f y   P a r ki ns o n’ s   d i s e a s e , ”   C om put e r   M e t hod s   a nd   P r ogr am s   i n   B i om e di c i ne ,   v o l .   13 9,   pp .   171 – 179 ,   2017 .   [ 15]   B .   Y a ng ,   e t   al .,   “ F e a t ur e   S e l e c t i o n  B a s e d  o n  M o di f i e d  B a t   A l g o r i t hm , ”   i n  I E I C E   T r ans ac t i o ns   on  I n f or m a t i on  a nd   Sy s t e m s .   E 100 . D .   2 017 ,   pp .   1 860 - 18 69.   [ 16]   R .   C he r uku ,   e t   al . ,   “ R S T - B a t M i n e r :   A   F uz z y   R ul e   M i n e r   I nt e g r a t i ng   R o u g h  S e t   F e a t ur e   S e l e c t i o n  a nd  B a t   O pt i m i z a t i o n  f o r   D e t e c t i o n  o f   D i a be t e s   D i s e a s e , ”   I n t e r na t i o na l   J o u r nal   of   E ng i ne e r i ng  &   T e c hno l ogy   A pp l i e d  S of t   C om put i ng ,   201 7.     [ 17]   H .   P a t e l   a nd  M .   S ha h,   “ R o ug h  s e t   f e a t u r e   s e l e c t i o n  us i ng   B a t   A l go r i t hm ” ,   I n t e r na t i ona l   J ou r na l   of   C om p ut e r   Sc i e nc e   a nd   M obi l e   C om p ut i ng , ”   v o l   5( 5) ,   pp .   3 12 - 321 ,   2016 .   [ 18]   X. - S .   Y a ng ,   “ A   N e w   M e t a h e u r i s t i c   B a t - I ns pi r e d  A l g o r i t hm , ”   N at u r e   I ns pi r e d  C oope r a t i v e   St r at e gi e s   f or   O pt i m i z at i on   ( N I C SO   201 0) ,   v o l .   28 4,   pp .   65 - 74 ,   2010 .   [ 19]   E .   O s a ba ,   e t   al . ,   “ A   di s c r e t e   a nd  i m pr ov e d  ba t   a l go r i t hm   f o r   s o l vi ng   a   m e di c a l   goods   di s t r i but i o n  pr o bl e m   w i t h   pha r m a c o l og i c a l   w a s t e   c o l l e c t i o n, ”   S w ar m   and  E v ol ut i onar y   C o m put at i on ,   vo l .   44,   pp.   273 - 286,   201 9.   [ 20]   H .   L i   a nd  S .   Y i n,   “ A n  i m pr o v e d  di s c r e t e   ba t   a l g o r i t hm   us e d  f o r   s y s t e m   f a ul t   d i a g no s i s , ”   J our nal   of   So f t w ar e   E ngi ne e r i n g ,   v o l .   11,   p p.   23 0 - 235,   2 017 .   [ 21]   Y .   S a j i   a n d   E .   R i f f i ,   “   A   nov e l   di s c r e t e   ba t   a l g o r i t hm   f o r   s o l vi ng   t he   t r a v e l l i ng   s a l e s m a n  pr o b l e m , ”   N e ur al   C om put i ng   an d  A pp l i c at i on s ,   v o l .   27 ,   p p.   18 53 - 1866 ,   201 5.   [ 22]   E .   O s a ba ,   e t   al . ,   “ A n  i m pr ove d  di s c r e t e   ba t   a l go r i t hm   f o r   s ym m e t r i c   a nd  a s y m m e t r i c   t r a v e l i n g   s a l e s m a n   pr o bl e m s , ”   E ngi n e e r i ng  A ppl i c at i ons   of   A r t i f i c i al   I nt e l l i ge nc e ,   vo l .   48 ,   pp .   59 – 71,   2016.   [ 23]   D .   R o dr i g ue s ,   e t   al . ,   “ A   w r a ppe r   a p pr o a c h  f o r   f e a t u r e   s e l e c t i o n  ba s e d  o n  ba t   a l g o r i t hm   a nd   O pt i m um   P a t h   F o r e s t , ”   E x pe r t   Sy s t e m s   w i t h   A pp l i c a t i o ns ,   v o l   4 1  ( 5) ,   pp .   225 0 - 2258 ,   2014 .   [ 24]   A .   C .   E na c he ,   e t   al . ,   “ I nt e l l i g e n t   f e a t u r e   s e l e c t i o n  m e t ho d  r o o t e d  i n   B i na r y   B a t   A l go r i t hm   f o r   i nt r us i o n  de t e c t i o n, ”   i n  I E E E   10 t h  J u ni l e e   I nt e r nat i on al   Sy m pos i um   on  A pp l i e d  C om put a t i ona l   I n t e l l i ge nc e   and  I n f or m at i c s ,   201 5,     pp.   51 7 - 521   [ 25]   W .   N o o r ha ni z a   e t   a l . ,   “ F e at ur e   Se l e c t i on   U s i ng  a  N ov e l   Sw ar m   I nt e l l i ge nc e   A l go r i t hm   w i t h  R o ugh  Se t s . ”   i n   P r o c e e di ng s   o f   t he   2010  I nt e r n a t i o na l   C o nf e r e nc e   o n  D a t a   M i ni n g   ( D M I N ' 10)   L a s   V e g a s ,   N e v a da ,   U S A   ( 2010) ,   2010 ,   pp.   2 94 - 300 .       B I O G R A P H I ES   O F   A U T H O R S       R o z l i ni   M o ha m e d  i s   a   l e c t u r e r   o n  i nf o r m a t i o n  t e c hno l o gy   i n  S o f t w a r e   E ng i ne e r i ng   de pa r t m e nt   a t   t he   U ni v e r s i t i   T un   H us s e i n  O n n  M a l a y s i a .   S he   ha s   pu bl i s h e d   a   num be r   o f   a r t i c l e s   a n d   pr o c e e di ng s   i n  da t a   m i ni ng .   H e r   r e s e a r c h  i n t e r e s t s   i nc l ude   c l a s s i f i c a t i o n,   he ur i s t i c   a l g o r i t hm ,   di s c r e t i z a t i o n  a n d  f e a t u r e   s e l e c t i o n.         M un i r a h  M o hd  Y us o f   ho l ds   a   M a s t e r   f r o m   U ni v e r s i t i   U t a r a   M a l a y s i a   a nd   he r   r e s e a r c h  i n t e r e s t s   a r e   i n  kno w l e dg e   ba s e d  s y s t e m ,   e xp e r t   s y s t e m ,   de c i s i o n  s uppo r t   s y s t e m   a n d  e - l e a r n i ng .   S he   i s   a   l e c t u r e r   o f   t he   S of t w a r e   E ng i n e e r i ng   D e pa r t m e nt   i n  U ni v e r s i t i   T un  H us s e i n  O n n  M a l a y s i a .     S he   ha s   t a ug ht   a   num be r   o r   c o ur s e s   i n  t he   f i e l d  o f   C o m put e r   S c i e nc e   a nd  ha s   w r i t t e n  a nd   publ i s he d   s e v e r a l   r e s e a r c h  p a pe r s   i n  he r   a r e a           Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   3 ,  S e pt e m b e r   2 019   :     1 4 1 1   -   1 4 1 8   1418     N oo r ha ni z a   W a h i d  i s   a n  A s s o c i a t e   P r o f e s s o r   i n  t he   F a c ul t y   o f   C o m put e r   S c i e nc e   a nd   I n f o r m a t i o n  T e c hno l ogy ,   U ni v e r s i t i   T u n  H us s e i n  O nn  M a l a y s i a .   S he   r e c e i v e d  he r   P hD   f r o m   t he   U ni v e r s i t y   of   S y dne y   i n  2011.   H e r   r e s e a r c h  i n t e r e s t s   a r e   i n  da t a   m i ni ng   a n d  s o f t   c o m put i ng   s pe c i f i c a l l y   i n  s w a r m   i nt e l l i g e nc e   a l g o r i t hm s .   S he   a l s o   i nt e r e s t e d  i n  m ul t i m e d i a   a ppl i c a t i o n   de v e l o pm e nt   i n  t he   a r e a   o f   v i r t ua l   r e a l i t y   a nd  a ug m e nt e d  r e a l i t y .   S he   i nv o l v e d  i n  t e a c hi ng   C o m put e r   S c i e nc e   a nd  M u l t i m e d i a   c o ur s e s   f o r   m o r e   t ha n  20  y e a r s .   S he   h a s   w r i t t e n  a n d   publ i s he d  r e s e a r c h  pa p e r s   i n  t he   a r e a   o f   da t a   m i n i ng ,   s o f t   c o m put i ng ,   a nd  m u l t i m e d i a .   S h e   a l s o   ha s   be e n  a ppo i n t e d  a s   r e v i e w e r s   i n   m a ny   c o nf e r e nc e s   a nd  j o ur n a l s .           N o r ha ni f a h  M u r l i   ho l ds   a   P hD   f r o m   A uc kl a nd  U n i v e r s i t y   o f   T e c hno l o gy   a nd  he r   r e s e a r c h   i nt e r e s t s   a r e   i n  m ul t i m e di a   a pp l i c a t i o n  de v e l o pm e n t ,   d a t a   m i n i ng ,   s pi k i ng   ne ur a l   n e t w o r k s   a nd   f M R I   d a t a   unde r s t a nd i ng   a nd  p r o c e s s i ng .   S he   i s   a   s e ni o r   l e c t u r e r   o f   t he   M u l t i m e d i a   D e pa r t m e nt   i n  U n i v e r s i t i   T u n  H us s e i n  O nn  M a l a y s i a .   S h e   ha s   t a ug ht   a   num b e r   o r   c o ur s e s   i n  t h e   f i e l d  o f   C o m put e r   S c i e nc e   a nd  ha s   w r i t t e n  a nd  p ub l i s he d  s e v e r a l   r e s e a r c h  pa p e r s   i n  t h e   a r e a   o f   da t a   m i ni ng   a nd   m u l t i m e d i a .         D r   M u ha i ni   O t hm a n  r e c e i v e d  h e r   B a c he l o r   i n  I nf o r m a t i o n  T e c hno l o gy   f r o m   N o r t he r n  U n i v e r s i t y   o f   M a l a y s i a ,   M a s t e r   i n  C o m put e r   S c i e nc e   f r o m   U ni v e r s i t y   o f   M a l a y a   i n  1999  a nd  20 06   r e s pe c t i v e l y   a nd  P hD   i n  C o m put e r   a n d  M a t he m a t i c a l   S c i e nc e   f r o m   A u c kl a nd   U ni v e r s i t y   of   T e c hno l o gy   i n  2015.   S he   i s   a   S e ni o r   L e c t ur e r   a t   F a c ul t y   of   C o m p ut e r   S c i e nc e   a nd  I nf o r m a t i o n   T e c hno l o gy ,   U ni v e r s i t i   T u n  H u s s e i n  O nn  M a l a y s i a   ( U T H M ) .   H e r   r e s e a r c h  i n t e r e s t s   i nc l ud e   P e r s o na l i s e d   P r e d i c t i v e   M o de l l i ng ,   S p i k i ng   N e ur a l   N e t w o r k s   a nd   t he   r e pr e s e nt a t i o n  o f   s pa t i a l   a nd  t e m po r a l   d a t a   i n  o nt o l o gy - ba s e d  s y s t e m s   f o r   pe r s o na l i s e d  de c i s i o n  s uppo r t .   M o r e   i nf o r m a t i o n  o n  D r   M uh a i n i   c a n  b e   f o und  on  F C S I T   w e b  s i t e :   ht t p: / / f s kt m . ut hm . e du . m y / v 6/ i nde x . ph p/ e n/                                                                       Evaluation Warning : The document was created with Spire.PDF for Python.