I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   16 ,   N o .   3 ,  D e c e m b e r   201 9 ,   pp .   1499 ~ 1507   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 3 . pp 149 9 - 1507             1499       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   A n n e a l i n g   s t r a t e g y   f o r   an   e n h a n c e   r u l e   p r u n i n g   t e c h n i q u e   i n   ACO - b a sed  r u l e   c l a ss i f i c a t i o n       H ayd e r   N as e r   K h r ai b e t  A L - B e h ad i l i 1 ,   K u   R u h an a  K u - M ah amu d 2 ,   R afi d   S agb an 3   1 C o m put e r   S c i e nc e   D e pa r t m e nt ,   S ha t t   A l a r a b   U ni v e r s i t y   C o l l e g e ,   I r a q   2  S c h o o l   of   C o m put i ng ,   U ni v e r s i t i   U t a r a   M a l a y s i a   ( U U M ) ,   M a l a y s i a   3 D e pa r t m e n t   o f   S o f t w a r e ,   U ni v e r s i t y   o f   B a b y l o n,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   F e b   2 1 ,   2 019   R e v i s e d  J un   28 ,   2019   A c c e pt e d  J ul   22 ,   201 9       A nt   c o l o n y   o pt i m i z a t i o n  ( A C O )   w a s   s uc c e s s f u l l y   a ppl i e d   t o   da t a   m i n i ng   c l a s s i f i c a t i o n  t a s k   t hr o ug h  a n t - m i ni ng   a l g o r i t hm s .   E x pl o r a t i o n  a nd   e xpl o i t a t i o n  a r e   s e a r c h  s t r a t e g i e s   t ha t   g ui de   t he   l e a r n i ng   pr o c e s s   o f   a   c l a s s i f i c a t i o n  m o de l   a nd   g e ne r a t e   a   l i s t   o f   r u l e s .   E xp l o i t a t i o n  r e f e r s   t o   t he   pr o c e s s   o f   i nt e ns i f y i ng  t he   s e a r c h  f o r   ne i g hbo r s   i n  g oo d  r e g i o ns ,   w he r e a s   e xpl o r a t i o n  a i m s   t o w a r d s   ne w   pr o m i s i ng   r e g i o ns   dur i ng   a   s e a r c h  pr o c e s s .   T he   e xi s t i ng   ba l a nc e   be t w e e n  e xp l o r a t i o n  a nd  e xp l o i t a t i o n  i n   t h e   r ul e   c o ns t r uc t i o n  p r o c e dur e   i s   l i m i t e d  t o   t he   r o ul e t t e   w h e e l   s e l e c t i o n  m e c ha ni s m ,   w hi c h  c o m pl i c a t e s   r u l e   g e ne r a t i o n.   T hus ,   l o w - c ov e r a g e   c om pl e x  r ul e s   w i t h   i r r e l e v a nt   t e r m s   w i l l   be   g e ne r a t e d .   T hi s   w o r k  pr o po s e s   a n  e nh a nc e m e nt   r ul e   pr un i ng   pr o c e dur e   f o r   t he   A C O   a l g o r i t hm   t ha t   c a n  be   us e d  i n  r ul e - ba s e d   c l a s s i f i c a t i o n.   T h i s   pr o c e dur e ,   c a l l e d  t he   a nne a l i ng   s t r a t e g y ,   i s   a n  i m pr o v e m e nt   o f   a nt - m i ni ng   a l g o r i t hm s   i n  t h e   r u l e   c o ns t r uc t i o n  pr o c e dur e .   P r e s e n t e d   a s   a   pr e - pr u ni ng   t e c hn i que ,   t h e   a nne a l i ng   s t r a t e gy   de a l s   f i r s t   w i t h  i r r e l e v a nt   t e r m s   b e f o r e   c r e a t i ng   a   c o m pl e t e   r ul e   t h r o ug h  a n  a nne a l i ng   s c he dul e .   T he   pr o po s e d  i m p r o v e m e nt   w a s   t e s t e d  t h r o ug h  be nc hm a r k i ng   e xpe r i m e nt s ,   a nd   r e s u l t s   w e r e   c o m pa r e d  w i t h  t ho s e   o f   f o ur   of   t he   m o s t   r e l a t e d  a nt - m i ni ng   a l g o r i t hm s ,   na m e l y ,   A nt - M i ne r ,   C A nt - M i n e r ,   T A C O - M i n e r ,   a nd   A nt - M i n e r   w i t h  hy br i d  p r un e r .   R e s u l t s   d i s pl a y   t ha t   o ur   pr o po s e d   t e c hni que   a c hi e v e s   be t t e r   pe r f o r m a nc e   i n  t e r m s   o f   c l a s s i f i c a t i o n  a c c ur a c y ,   m o de l   s i z e ,   a n d  c o m put a t i o na l   t i m e .   T he   p r o po s e d  a nn e a l i ng   s c he dul e   c a n  be   us e d   i n   o t he r   A C O   v a r i a nt s   f o r   di f f e r e n t   a ppl i c a t i o ns   t o   i m p r o v e   c l a s s i f i c a t i o n  a c c ur a c y .   Ke y w or d s :   D a t a   m i ni n g    M e t a h e uri s t i c   P a ra m e t e r  c o n t r o l     R ul e   i nduc t i o n   S w a r m - i n t e l l i ge n t     C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   H a y d e r   N a s e r   K hra i b e t   A L - B e h a di l i ,   Co m put e r  S c i e n c e   D e pa rt m e n t ,     S ha t t   A l a r a b   U ni v e r s i t y   Co l l e ge ,   I r a q .   E m a i l :   h a i de r872004 @ g m a i l . c o m       1.   I N TR O D U C TI O N     D a t a   m i n i ng  i n v o l ve s   m e t h o ds   us e d   a t   t h e   i n t e r s e c t i o n   o f  a   m ul t i di s c i pl i na r y   f i e l d,   a n d  i t   a i m s   t o   di s c ov e r   kn o w l e dge   f r o m   da t a b a s e s .   D a t a   m i ni n g  t a s ks   c a n   b e   c a t e go r i z e d  i nt o   c l a s s i f i c a t i o n,   c l us t e ri n g ,   r e g r e s s i o n ,   a nd  a s s o c i a t i o n  [1 - 4] .   Cl a s s i f i c a t i o n  i n v o l v e s   i n t r o duc i n g  a   c l a s s i f i c a t i o n   m o de l   f r o m   a   d a t a b a s e   by   f i n di ng  t h e   r e l a t i o n s hi p  b e t w e e n   da t a   a t t r i b ut e s   a n d  t he i r   c l a s s e s .   T hi s   m o de l   c a n   t h e n   b e   ut i l i z e d  t o   c l a s s i fy   t h e   c l a s s   v a l ue s   of   o t h e r   i n s t a n c e s .   E x a m pl e s   o f   c l a s s i f i c a t i o n   t a s ks   i n c l ude   i nt r us i o n  de t e c t i o n ,   m e di c a l   di a g n o s i s ,   ha n dw ri t t e n   di g i t   r e c o gn i t i o n ,   s pa m   e m a i l   de t e c t i o n,   a n d  b a n k rupt c y   de t e r m i na t i o n   [5 - 9] .  In   r e c e nt   y e a r s ,   t h e   f i e l d  o f   s w a rm   i nt e l l i ge n c e   (S I)  h a s   b e e n  de r i v e d  by   ob s e r v i n g  t h e   s w a r m i n g  b e ha v i o r   of  s o m e   a ni m a l s ,   s uc h   a s   a nt   c o l o n i e s ,   f l o c ki ng  b i r ds ,   a nd  f i s h  s c h o o l s   [10,   11] .   T h e   S I  f i e l d,   pa rt i c ul a r l y   a n t   c o l o n y   o pt i m i z a t i o n  (A CO ),   ha s   r e c e i ve d  w i de s pr e a d  a t t e nt i o n   i n  da t a   c l a s s i f i c a t i o n  t a s ks .   A CO   i s   a n  S I   m e t a h e u r i s t i c   a l go r i t h m   t h a t   i s   us e d  t o   s o l v e   c o m b i n a t o r i a l   o pt i m i z a t i o n   p r o b l e m s   [12] .   A CO   w a s   f i r s t   us e d  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   16 ,   N o .   3 ,  D e c e m be r   2 019   :     1 4 9 9   -   1 5 0 7   1500   t o   s o l v e   t h e   t r a v e l i n g  s a l e s m a n  p r o b l e m .   S i n c e   t h e n,   i t   ha s   w i de l y   b e e n   a pp l i e d  t o   v a ri o us   N P - ha r d  p r o b l e m s   s uc h   a s   v e h i c l e   r o ut i n g ,   qu a d ra t i c   a s s i g nm e nt ,   g ri d  c o m put i ng,   a nd  da t a   m i ni n g  [ 13 - 15] .   T h e   a n t   s y s t e m   (A S )   w a s   t h e   f i r s t   v e r s i o n   o f   A CO   a l go r i t h m   w hi c h   w a s   p r o po s e d  by   D o r i go   e t   a l .   i n   t h e   1990s .   A CO   us e s   t h e   s t i gm e r gy   m e t h o d  t o   f i n d  go o d  pa t h s   w h e n   s e a r c h i n g  f o r   a   s o l ut i o n   a n d  t h e n   de po s i t s   p h e r o m o n e s   t o   m a rk  t h e s e   pa t h s .   T h e   a m o u n t   o f  ph e r o m o n e s   l a i d  de pe n ds   o n   t he   di s t a n c e   a n d  t h e   s o l ut i o n   qua l i t y .   A s   e a c h   a nt   m o ve s   r a n do m l y ,   o t h e r   a n t s   c a n   de t e c t   p r e v i o us l y   v i s i t e d  pa t h s   a nd  de c i de   w h e t h e r   t o   v i s i t   t h e m .   T h e   ph e r o m o n e s   of   o t h e r   a nt s   a r e   t h e n   de po s i t e d  a l o n g  t h e s e   pa t h s .   T h e   p r o c e s s   i s   d e s c r i b e d  by   a   p o s i t i ve   f e e d b a c k  i t e r a t i o n  a nd  s t o c ha s t i c   b e ha v i o r .   T h e r e f o r e ,   i n d i r e c t   c o m m u ni c a t i o n   a m o n g   a nt s   p r o v i de s   t h e m   w i t h   t h e   a b i l i t y   t o   f i n d  t h e   o pt i m a l   s o l ut i o n   f o r   c o m pl e x  o pt i m i z a t i o n   p r o b l e m s .   In   a dd i t i o n ,   A CO   w a s   s uc c e s s f ul l y   a ppl i e d  t o   da t a   m i ni n g  c l a s s i f i c a t i o n   t a s ks ,   p a rt i c ul a rl y   t h r o ug h   t h e   A nt - Mi n e r   a l go r i t hm .   T hi s   a l go ri t hm ,   w h i c h   s i m ul a t e s   t h e   fo r a g i n g  b e h a v i o r   o f  a n t s ,   i s   c o n s i de r e d  o n e   of   t h e   m o s t   s u c c e s s f ul   S I   a l go ri t hm s   d ue   t o   i t s   c o m pe t i t i v e   a c c ura c y   c o m pa r e d  w i t h   o t h e r  w e l l - k n o w n   c l a s s i f i c a t i o n  a l go ri t hm s   [1 6] .  A nt - M i n e r   us e s   A CO   t e c hn i q ue s   t o   d i s c o ve r   c l a s s i f i c a t i o n  r u l e s ,   w h i c h   a r e   p r e s e nt e d  a s   IF   (c o n di t i o n s ) – T H E N   (c l a s s )  s t a t e m e nt s .   R ul e - b a s e d  c l a s s i f i c a t i o n   i nt r o duc e s   a n   u nde r s t a n d a b l e   m o de l   t o   t h e   us e r .   T h us ,   t h e   di s c ov e r e d  r u l e s   h a v e   n a t u ra l   l a n gu a ge   r e p r e s e n t a t i o n s   t h a t   a r e   e a s y   t o   i n t e r p r e t .   O v e r f i t t i n g  i s   a   p r o b l e m   t h a t   i s   f r e que nt l y   e n c o un t e r e d  w he n   de a l i n g  w i t h   rul e   c l a s s i f i c a t i o n   f o r   a   l a r ge   num b e r   o f   t e rm s .   R ul e s   a r e   pe r f e c t l y   f i t   a   pa rt i c ul a r  da t a s e t   f r o m   w hi c h  t h e y   a r e   c r e a t e d,   a nd  t h us ,   ha r d  t o   ge n e ra l i z e   t h o s e   r ul e s   t o   a   n e w   da t a s e t .   R ul e   p r u ni n g  i s   a   r o ut i n e   u t i l i z e d  i n   t h e   r u l e   di s c ov e r y   pr o c e s s   t o  a v o i d  o ve r f i t t i n g .   M a n y   pr u n i ng  m e t h o ds ,   s uc h   a s   pr e ,   po s t ,   a n d  h y b r i d  m e t h o ds ,   ha v e   b e e n   pr o po s e d  i n   A n t - M i n e r   l i t e ra t u r e s   t o   o m i t   i rr e l e v a n t   t e rm s   t ha t   do   n o t   g i v e   c o r r e c t   c l a s s i f i c a t i o n   [1 7] .   M o s t   of   t h e s e   a l go r i t hm s   a r e   b a s e d  o n   po s t - pr u ni n g ,   w h i c h   r e m o ve s   i rr e l e v a n t   t e rm s   a f t e r   t h e   r u l e s   a r e   e xpa nde d  t o   t h e i r   m a xi m u m   s i z e .   S ub s e que n t l y ,   t h e   qua l i t y   o f   a   r ul e   i s   m e a s u r e d  us i ng  a   qua l i t y   f un c t i o n.   If   t h e   qu a l i t y   c a n   b e   f ur t h e r   i m p r o v e d  by   s i m pl i fy i n g  t h e   r u l e ,   t h e n   s i m p l i f i c a t i o n   w i l l   b e   pe r f o r m e d  r e pe a t e dl y   un t i l   f ur t h e r   s i m pl i f i c a t i o n  w i l l   de gra de   t h e   qua l i t y   of   t h e   rul e   o r   o n l y   o n e   t e rm   i s   l e f t   i n   t h e   r ul e .   P o s t - p r u n i ng  m e t h o d  i s   c o n s i de r e d  a   time - c o n s um i n g ,   c o m pl e x,   a nd  c o s t l y   pr o c e s s   w h e n   t h e   t ra i ni n g  da t a s e t   c o n s i s t s   o f   a   c o n s i de ra b l e   a m o u n t   o f  a t t ri b ut e s   a n d  i n s t a n c e s   [18 ,   19] .   I n  a dd i t i o n,   po s t - p r u ni n g  i n c o r po ra t e s   g r e e dy   s e a r c h   b i a s e s   t o   r e m o ve   o n e   t e rm   a t   a   t i m e .   I n   c o n t ra s t ,   p r e - p ru n i n g  t e c hn i que s   e l i m i na t e   i rr e l e v a nt   t e rm s   b e f o r e   de ve l o pi n g  a   c o m pl e t e   r u l e .   T h e   s t o ppi n g  c r i t e r i a   a d d r e s s e s   unr e l a t e d  t e r m s   du r i n g   t h e   c o n s t r uc t i o n   p r o c e s s   (e . g. ,   t e r m s   a r e   n o   l o n ge r   s e l e c t e d  w h e n   t h e   i n f o rm a t i o n   m e a s u r e d  f o r   s o m e   t e rm s   do   n o t   e xc e e d  t h e   p r e de t e rm i n e d  v a l ue )  [20] .  T h e   l i m i t a t i o n   o f   pr e - p r u n i ng  t e c hn i q ue s   i s   t h e   d i f f i c ul t y   i n   s e l e c t i n g  t h e   a pp r o pri a t e   t hr e s h o l d  t o   o m i t   unr e l a t e d  t e rm s .   T h e   c o n s t ruc t i o n   rul e s   w i l l   u n de r f i t   t h e   da t a   w h e n   a   h i g h   t hr e s h o l d  v a l ue   i s   a p pl i e d .   Co n v e r s e l y ,   a   s m a l l   v a l ue   o f  t h e   t hr e s h o l d  w i l l   n o t   b e   a b l e   t o   ov e r c o m e   t h e   ov e r f i t t i n g  p r o b l e m .   T h e   t hr e s h o l d  v a l ue   i s   da t a - de pe n de n t ,   a n d  i t   c o n s i de r e d  v e r y   c ri t i c a l .   H e n c e ,   s e l e c t i n g  a n   u n s ui t a b l e   v a l ue   w i l l   f a i l   t o   o ve r c o m e   t h e   pr o b l e m   of   ov e r f i t t i n g.   A n o t h e r   s t u dy   h a s   p r o po s e d   a   h y b r i d  p r u n i ng  p r o c e dur e   t h a t   c o m b i n e s   po s t - p r u n i ng  a n d  p r e - p ru n i ng  b a s e d  o n   a   us e r - s pe c i f i e d  pa ra m e t e r   [ 21] .   T h e   pa ra m e t e r   de t e rm i n e s   t h e   a l l o w a b l e   n um b e r   o f   t e r m s   i n   a   r u l e .   P r e - p r u n i ng  i s   a ppl i e d  t o   e a c h   r u l e   t h a t   e xc e e ds   t h e   p r e de f i n e d  pa r a m e t e r  v a l ue .   T h e n,   t h e   n u m b e r   o f   t e r m s   i n  t h e   s e l e c t e d  rul e   i s   r e duc e d  t o   b e   e qua l   t o   t h a t   o f   t h e   pa ra m e t e r  v a l ue .   T h e r e a f t e r ,   t h e   o r i gi na l   A n t - M i n e r ’s   rul e   p r u n i ng  m e t h o d  w i l l   b e   a ppl i e d.   T h e   pa r a m e t e r   v a l ue   of   t h i s   m e c h a ni s m   i s   c r i t i c a l ,   a nd  a n y   m i s t a k e   r e l a t e d   t o   t hi s   v a l ue   m a y   l e a d  t o   a n  e xt r e m e l y   s i m pl e   m o de l   t ha t   do e s   n o t   c o n s i de r   t h e   i m pl i c i t   s t r uc t u r e   o f   t h e   d a t a . T h us ,   t h e   c l a s s i f i c a t i o n  m o de l   w i l l   b e   i n a p p r o pri a t e   a n d   pe r f o r m   po o r l y .   T h i s   i s   k n o w n   a s   u nde r f i t t i ng  p r o b l e m .   T h e   c urr e nt   s t udy   pr e s e n t s   a n  e nha n c e d  A n t - M i n e r  a l go r i t hm   c a l l e d  A CO - A nn e a l i n g ,   t h a t   us e s   a n  a nn e a l i n g  s t r a t e gy   t o   f i n d  a   t r a de - o f f   b e t w e e n   e xpl o ra t i o n   a n d   e xpl o i t a t i o n   i n   t h e   r ul e   c o n s t ruc t i o n  p r o g r e s s   a n d  p r e v e n t   t h e   i n c l us i o n   o f  un f i t   t e r m s .   T h i s   s t ra t e gy   i s   b a s e d  o n   a   n e w   pa r a m e t e r,   c a l l e d  Im po rt a n c e   R a t e   (IR ),   w h i c h   c o n t r o l s   t h e   s t r e n gt h  o r  i m po rt a n c e   o f   e a c h   t e r m   a dde d  t o   t h e   r u l e .   O u r  p r o po s e d  t e c h ni que   de a l s   w i t h   i rr e l e v a n t   t e rm s   du r i n g  l e a rni ng  i n s t e a d  o f   f i n di ng  a   c o m pl e t e   r ul e   a n d  t h e n   p r u ni n g  i t .   E a c h   a nt   i s   a s s i g n e d  i t s   o w n   IR   v a l ue   dur i ng  t h e   m o de l   l e a rni n g  p r o c e s s .   O v e r   t i m e ,   t h e   IR   v a l ue   i s   m o di f i e d  l i n e a rl y   t o  e n s u r e   di v e r s i t y .   O t h e r   t e rm s   t ha t   c a n   b e   a dde d  t o  t h e   rul e s   a r e   e xpl o r e d,   a n d  t h e   l e a rni n g  p r o c e s s   i s   pr e v e n t e d  f r o m   b e i n g  s t uc k  i n   l o c a l   o pt i m a .   F u rt h e rm o r e ,   t hi s   s t ra t e gy   r e duc e s   pos t - pr u ni n g   c o m put a t i o na l   c o m pl e xi t y   by   e l i m i n a t i n g  t h e   m a j o r i t y   of  un f i t   t e rm s   du ri n g  t h e   c o n s t ruc t i o n   p r o c e s s .   In   a dd i t i o n ,   t hi s   s t ra t e gy   ov e r c o m e s   t h e   pr e - p r u ni n g  l i m i t a t i o n   by   us i n g  dy na m i c a l l y   a dj us t e d  r e j e c t i o n   c r i t e ri a   du r i n g  t h e   l e a rn i ng  p r o c e s s   r a t h e r   t h a n  ke e pi n g   s uc h  c r i t e ri a   c o n s t a nt .       2.   EN H A N C ED   A N T - M I N ER   A LG O R I TH M   A nt - m i n i ng  r u l e - b a s e d  c l a s s i f i e r s   fo l l ow   t h e   A CO   v a r i a n t s .   T h e   v a ri a nt s   a r e   A S ,   a nt   c o l o n y   s y s t e m   (A CS ),   m a x – m i n   A S   (M M A S )  a l go r i t hm s   [2 2] .   T h e   f i r s t   de v e l o pe d  c l a s s i f i e r ,   k n o w n   a s   A nt - M i n e r,   i s   b a s e d  o n   t h e   w e l l - kn o w n   A S   a l go ri t hm .   S i n c e   t h e n,   n u m e r o us   c l a s s i f i e r s   h a v e   b e e n   de v e l o pe d.   A m o n g  t h e s e   i m p r o v e m e n t s ,   o n e   o f  t h e   m o s t   s uc c e s s f ul   i s   t h e   A n t m i ne r +   a l go ri t hm ,   w hi c h   i s   b a s e d  o n   t h e   M M A S   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nne al i ng  s t r at e gy   f or   an   e nh anc e   r u l e   pr un i ng   t e c hn i qu e   i n  A CO   .. .   ( H ay de r   Nas e r   Khr ai b e t   A L - B e hadi l i )   1501   s t ra t e gy .   O t h e r  c l a s s i f i e r s ,   s uc h   a s   A n t - M i n e r 2,   A n t - M i n e r 3,   a n d  A nt - M i n e r 4 ,   a r e   b a s e d  o n   A CS   [23 - 25] .   T h e   t hr e e   a f o r e m e n t i o n e d  A CO   v a r i a n t s   w e r e   de v e l o pe d  t o   e n h a n c e   b a l a n c e   b e t w e e n   e xpl o ra t i o n   a n d  e xpl o i t a t i o n  a n d  t o   pr o duc e   be t t e r   c l a s s i f i c a t i o n   r u l e s .   H ow e ve r ,   t h e   M M A S   c l a s s i f i e r   i s   e xp e n s i v e   i n   t e rm s   of   i t s   r ul e   c o n s t r uc t i o n   p r o c e dur e ,   a n d  i t s   l e a rn i ng  t i m e   i s   l o n ge r   t ha n   t h o s e   of   t h e   t w o   o t h e r   v a ri a nt s .   M M A S   a l s o   us e s   a   l e s s   a c c ura t e   h e u r i s t i c   f un c t i o n .   B y   c o n t ra s t ,   t h e   A CS - b a s e d  c l a s s i f i e r   i s   i m p r o v e d  by   us i n g  a n  a d a p t i v e - s t a t e   t ra n s i t i o n  s t r a t e gy   t o   de v e l o p  t h e   e xpl o r a t i o n  m e c ha n i s m ;   h o w e v e r ,   i t   do e s   n o t   e nha n c e   t h e   e xpl o i t a t i o n  s t ra t e gy .   D uri n g  t h e   l e a rni n g   p r o c e s s ,   a n   i m b a l a n c e   b e t w e e n   e xpl o r a t i o n   a n d  e xp l o i t a t i o n  a f f e c t s   t h e   l e a rni n g   m o de l ,   w h i c h   r e s ul t s   i n  a   n o n - o pt i m a l   r u l e   s e t .   T h e r e f o r e ,   t h e   p r e s e n t   s t udy   f oc us e s   o n   t h e   A n t - M i n e r  v a ri a nt ,   w h i c h  i s   a   p r o m i n e n t   A CO   c l a s s i f i c a t i o n   a l go r i t h m ,   f o r   di s c o v e r i ng  r u l e s   [26 ,   27] .   E xpl o i t a t i o n   a n d  e xpl o ra t i o n   a r e   t h e   p r i m a r y   s e a r c h   s t ra t e gi e s   t ha t   gu i de   t h e   r ul e   c o n s t r uc t i o n  pr o c e s s   i n   t h e   A nt - M i n e r   a l go r i t hm .   E xp l o i t a t i o n  r e f e r s   t o   t he   pr o c e s s   of   i n t e n s i fy i n g  t h e   s e a r c h   f o r   n e i g h b o r s   i n   go o d  r e gi o n s ,   w h e r e a s   e xpl o r a t i o n  t ra n s f e r s   t h e   s e a r c h  t o w a r d  n e w   pr o m i s i n g  r e g i o n s .   T h e r e f o r e ,   t h e   s uc c e s s   o f   t h e   A nt - M i n e r   a l go r i t h m   de pe n ds   o n   t h e   b a l a n c e   b e t w e e n   e xpl o i t a t i o n  a nd  e xpl o ra t i o n   t o   a rr i v e   a t   a n   o pt i m a l   gl o b a l   m o de l   du r i ng  t h e   l e a rn i ng  p r o c e s s   t h a t   c a n   b e   us e d  duri n g  c l a s s i f i c a t i o n.   A nt - M i n e r   s t a r t s   w i t h   hi g h   e xpl o r a t i o n   d ue   t o   t h e   ra n do m n e s s   of   t h e   s e l e c t i on   t e rm s   t ha t   m us t   b e   i n c l ude d  i n   t h e   rul e .   A f t e r  pr o duc i n g  a   s uf f i c i e n t   n u m b e r   o f   r ul e s ,   a nt s   n a rr o w   dow n   t h e   s e a r c h   t o   pr o m i s i ng  r e gi o n s   (e xpl o i t a t i o n ),   c o n t i n ue   w i t h   t h e   e xpl o i t a t i o n   r e s ul t s   i n   ge n e r a t i ng  t h e   s a m e   r ul e   s e t ,   a n d  t h e n   ge t   t r a p pe d  i n   l o c a l   o pt i m a .   T h e r e f o r e ,   t h e   a l go r i t hm   r e s t a r t s   t h e   s e a r c h   w i t h  ra n do m   t e rm   s e l e c t i o n.   A n   a nn e a l i n g   s t ra t e gy   i s   a   t e c hni que   us e d  t o   i m p r o v e   t h e   p e r f o r m a n c e   o f   t h e   A n t - M i n e r  c l a s s i f i e r  t hr o ugh  b e t t e r   b a l a n c e   b e t w e e n   e xpl o ra t i o n   a n d   e xpl o i t a t i o n   a n d  p r e v e n t i n g  t h e   i n c l us i o n   o f   i rr e l e v a n t   t e r m s .   D uri n g  r ul e   c o n s t r uc t i o n,   p r o b a b i l i t i e s   a r e   us e d  by   a n t s   t o   de t e r m i n e   t h e   pa t h s   i n   t ra v e l i n g  t hr o ug h   a   c o n s t r uc t e d  g ra p h.   A n t s   s t a rt   f r o m   a n  i ni t i a l   n o de   a n d  t he n   s e l e c t   t e rm s   o n   t h e   b a s i s   of   t h e   p r o b a b i l i t y   f un c t i o n.   A   pr o b a b i l i t y   f un c t i o n   i s   us e d  by   e a c h   a n t   t o   de t e r m i n e   t h e   i m po r t a n c e   a n d  s t r e n g t h   o f  t h e   t e r m   b e i n g  s e l e c t e d  w h i l e   c o n s t r uc t i n g   a   rul e .   T h e   p r o b a b i l i t y   f un c t i o n   o f   e a c h   t e r m   i s   c a l c ul a t e d  i n   a c c o r da n c e   w i t h   i t s   h e u r i s t i c   i n f o r m a t i o n   a nd  p h e r o m o n e   a m o unt .   T h us ,   o ur   p r o po s e d   m e t h o d  us e s   t h e   pa ra m e t e r  Im po rt a n c e   R a t e   (IR )  (F i gu r e   1,   L i n e   6)  a n d  a n   a nn e a l i n g   s c h e dul e   t o   de t e rm i n e   t h e   de g r e e   of   uph i l l   m o ve m e n t   a l l o w e d  dur i n g   a   m o de l ’s   l e a rni n g   p r o c e s s .   T h i s   a nn e a l i ng  s c h e du l e   i s   c r i t i c a l   f o r   t h e   c r e di b i l i t y   o f  t e rm s   a n d  a i m s   t o   f i n d  t h e   gl o b a l   o pt i m u m   f o r   a   gi v e n   c l a s s i f i c a t i o n   p r o b l e m .   T h e r e fo r e ,   IR   i s   a   pr e - p ru n i n g   c r i t e ri o n   t h a t   i s   r e s po n s i b l e   f o r   a dd i n g  o n l y   t h e   m o s t   i m po rt a nt   t e r m s   t o   e a c h   r u l e   (F i gu r e   1 ,   L i n e s   8  t o 13).   T h e   v a l ue   of   I R   l i n e a r l y   i n c r e a s e s   ov e r   t i m e ,   i . e . ,   f r o m   i t s   m i ni m u m   v a l ue   t o   i t s   m a xi m um   v a l ue ,   t o   e s c a p e   l o c a l   o pt i m a .   T h i s   s t r a t e g y   i n c r e a s e s   s e a r c h   di v e r s i t y   by   a s s i g n i ng  a   u n i que   v a l ue   t o   e a c h   a nt   i n  t h e   c o l o n y   (F i gu r e   1 ,   L i n e   20) .   A   h i g h - l e v e l   de s c r i pt i o n  o f   o ur   p r o po s e d   a l go r i t hm   i s   p r o v i de d  i n  F i gu r e   1.       1   T ra i n i n g S e t =   { a l l   T ra i n i n g   i n s t a n c e s } ;   2   In i t i a l Co n s t ru c t i o n Ru l e L i s t   = [];   3   W H IL E (T ra i n i n g S e t > M a x U n c o v e r e d I n s t a n c e s )   4   A n t I n d e x = 1 ;   C o n v e r g e n c e T e s t = 1 ;   5   In i t i a l i z e P h e ro m o n e ;   6   I n i ti a l i z e   I R t =   M i n i - V a l u e ;  / *   d e te r m i n e   th e   i m p o r ta n c e   o r   th e   s tr e n g th   o f  e a c h   te r m   * /   7   RE P E A T     8                                     W H I LE   (Te r m s N o t S e l e c te d = = Tr u e )    9                                                               I F   ( Th e P r o b a b i l i ty O fC h o s e n Te r m i j  i s   > =   I R t )    10                                                               TH EN   A d d Te r m ;    11                                                               EL S E   R e je c tTe r m F r o m I n c l u s i o n ;   12                                                               EN D   I F ;   13         EN D   W H I LE       14   Ru l e P ru n e ;   15   U p d a t e P h e r o m o n e ;   16   IF (Cu rr e n t Ru l e = P r e v i o u s Ru l e )   17   T H E N   Co n v e r g e n c e T e s t   =   C o n v e r g e n c e T e s t   +   1 ;   18   E L S E   C o n v e r g e n c e T e s t   =   1 ;   19   E N D   IF   A n t I n d e x   =   A n t I n d e x   +   1 ;     20   G r a d u a l l y I n c r e a s e P a r a m e te r   I R t ;   21   U N T IL ( A n t I n d e x > = A n t N o )O R(C o n v e r g e n c e T e s t > = Ru l e Co n v e rg e n c e N o )   22   S e l e c t Be s t Ru l e ;   23   A d d Be s t Ru l e   t o   D i s c o v e r e d Ru l e L i s t ;   24   T ra i n i n g S e t   =   T ra i n i n g S e t - { I n s t a n c e s S e t C o v e r e d B y Ru l e } ;   25   E N D - W H I L E     F i gu r e   1 .  H i gh - l e v e l   ps e ud o c o de   of   t h e   p r o po s e d  a l go ri t hm       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   16 ,   N o .   3 ,  D e c e m be r   2 019   :     1 4 9 9   -   1 5 0 7   1502   T h e   a nn e a l i n g   s t r a t e gy   s ugge s t s   i ni t i a l i z i n g  t h e   a l go ri t hm   w i t h   a   m i n i m u m   IR   v a l ue   t o   e xpl o r e   t h e   s e a r c h   s pa c e .   D u ri n g  t h e   l e a rni n g  p r o c e s s ,   e a c h   a nt   i s   a s s i g n e d  i t s   o w n   v a l ue   a n d  t e rm s   a r e   ra n do m l y   a dde d  t o   t h e   r u l e .   O v e r   t i m e ,   e xpl o i t a t i o n   b e c o m e s   e s s e n t i a l   f o r   t h e   l e a rn i ng  p r o c e s s   t o  f i n d  t h e   m o s t   i m po r t a n t   t e rm s   a nd  i n c l ude   t h e m   i n  t h e   c o n s t r uc t i o n   r u l e .   T h e   v a l ue   o f   I R   gra du a l l y   i n c r e a s e s   w h e n   o ur  de v e l o p e d   m e c h a ni s m   i s   us e d,   a s   p r e s e n t e d  i n   E q u a t i o n   (1) ,   t o   i n c r e a s e   t h e   pa ra m e t e r  f o r   t h e   n e x t   a n t .      = ( M a x ) ( )     (1)     ℎ    ( ) = − t   ln   ( )       w h e r e   IR   r e p r e s e n t s   t h e   i m po rt a n c e   o f   e a c h   t e rm   t h a t   w i l l   b e   s e l e c t e d;   M a x  i s   t h e   m a xi m u m   IR   v a l ue ;   F ( t )  i s   a   f un c t i o n   t ha t   i n c r e a s e s   t h e   IR   v a l ue   fo r   t h e   n e xt   a n t ;   a nd  a   a n d  t   a r e   t h e   num b e r   o f   a nt s   a nd  t h e   a nt   i n de x,   r e s pe c t i v e l y .   T h e   IR   pa ra m e t e r   ha s   m i ni m um   a n d  m a x i m u m   v a l ue s   a s   b ounda ri e s .   A nn e a l i n g  s t ra t e gy   pr o c e s s   i s   i l l us t r a t e d  i n   F i gu r e   2,   s t a rt i n g   w i t h   t h e   m i n i m u m   v a l ue .   O ur   s t udy   s h ow s   t h a t   t h e   m i ni m u m   v a l ue   o f   IR   i s   n e a rl y   a   n o n e nt i t y   (0. 0).   T h e n ,   a n   a nt   c o n s t r uc t s   t h e   r ul e ,   p r u n e s   i t ,   a nd  upda t e s   t h e   ph e r o m o n e   i n   a c c o r da n c e   w i t h   t h e   m i ni m u m   v a l ue .   T h e r e fo r e ,   t h e   a nn e a l i ng  s t r a t e gy   gra du a l l y   i n c r e a s e s   t h e   IR   v a l ue   fo r   t h e   n e xt   a nt   t o   a v o i d  f a l l i n g   i nt o   l o c a l   o pt i m a   b y   a l l ow i n g  t h e   s e l e c t i o n   o f   n o n - i m p r o v i n g  m o v e s   a s   o t h e r   t e r m s   t o   e xpl o r e   n e w   r ul e s .   O v e r   t i m e ,   t h e   s i g ni f i c a n c e   o f  t h e   IR   pa r a m e t e r   w i l l   i n c r e a s e   unt i l   i t   r e a c h e s   t h e   m a xi m um   v a l ue .   T h i s   p r o c e s s   i t e r a t e s   u n t i l   c o n v e r ge n c e   o c c ur s   o r  a l l   a nt s   d i s c ov e r   t h e i r  o w n   r ul e s .           F i gu r e   2 .  P r o c e s s   of   t h e   a nn e a l i n g   s t ra t e gy       3.   R ES EA R C H   M ET H O D   A   r e s e a r c h   m e t h o d  i s   a   s y s t e m a t i c   p r o c e s s   t ha t   a i m s   t o   s o l ve   a   pa r t i c ul a r   r e s e a r c h   p r o b l e m .   A   r e s e a r c h e r   s h o ul d  n o t   o n l y   kn ow   e xi s t i n g  r e s e a r c h   m e t h o ds / t e c hn i q ue s   b ut   a l s o   e v a l ua t i o n   c r i t e ri a   t ha t   m us t   b e   us e d.   T h e   c u rr e nt   s t udy   us e s   a   10 - f o l d  c r o s s - v a l i da t i o n   m e t h o d,   w h i c h   i s   c o n s i de r e d  t h e   b e s t   a pp r o a c h  i n  e v a l ua t i n g  t h e   pe r f o r m a n c e s   of  a l go r i t hm s   w h e n   de a l i n g  w i t h   da t a s e t s   of   v a r i o us   s i z e s   [28] .   T hi s   pr o c e dur e   ra n do m l y   di v i de s   a   da t a s e t   i n t o   10  a pp r o xi m a t e l y   e qua l l y   s i z e d  s ub s e t s   o r   pa r t i t i o n s .   T w o   m a j o r   s t a ge s   a r e   us e d  t o  b ui l d  t h e   c l a s s i f i c a t i o n   m o de l   du r i n g  t h e   l e a rni n g  pr o c e s s .   T h e   a l go ri t hm   i n   t h e   f i r s t   s t a ge   ut i l i z e s   ni n e   pa r t i t i o n s   i n   t h e   l e a rn i ng  p r o c e s s   t o   c o n s t r uc t   t h e   c l a s s i f i c a t i o n   m o de l   b a s e d  o n   a n t   c a p a b i l i t i e s .   M e a n w hi l e ,   i n   t h e   s e c o n d  s t a ge ,   t h e   c l a s s i f i c a t i o n   m o de l   i s   t e s t e d  w i t h   t h e   r e m a i ni n g  pa rt i t i o n   t h a t   w a s   n o t   us e d  by   t h e   a l go ri t hm .   T h i s   p r o c e dur e   i s   r e pe a t e d  t e n   ( 10 )  t i m e s .   F i gu r e   3  de pi c t s   t h e   v a l i da t i o n   o f   t h e   c l a s s i f i c a t i o n  m o de l   w hi c h  ha s   b e e n   a do pt e d  a nd  a da pt e d  f r o m   [2 9] .   T h e   pe r f o r m a n c e   o f   e a c h   r e pe t i t i o n   (1 0  t i m e s )  i s   s t a t i s t i c a l l y   c o m put e d  f o r   t hr e e   (3)   m e t r i c s :  c l a s s i f i c a t i o n   a c c ur a c y ,   m o de l   s i z e ,   a n d  e l a ps e d  c o m put a t i o na l   t i m e   (i n  s e c o n d).   T h e   c l a s s i f i c a t i o n   a c c u r a c y   i s   a l s o   a   m e a s u r e   f o r   e rr o r   w hi l e   m o de l   s i z e   c a n   b e   us e d  t o   a n a l y s e   t h e   m o de l   c o m pl e xi t y .   T h e n ,   t h e   o v e r a l l   pe r f o r m a n c e   i s   a v e ra ge d,   a nd  s t a n d a r d   de v i a t i o n   i s   c a l c u l a t e d  a s   s h o w n   i n  F i gu r e   4.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nne al i ng  s t r at e gy   f or   an   e nh anc e   r u l e   pr un i ng   t e c hn i qu e   i n  A CO   .. .   ( H ay de r   Nas e r   Khr ai b e t   A L - B e hadi l i )   1503       F i gu r e   3 .  V a l i da t i o n  p r o c e s s   fo r   c l a s s i f i c a t i o n   m o de l           F i gu r e   4 .  10 - f o l d  c r o s s - v a l i da t i o n  m e t h o d       4.   R ES U LTS   A N D   D I S C U S S I O N   W e   c o n duc t e d  s e ve r a l   e xpe r i m e nt s   us i n g  15  pub l i c l y   a va i l a b l e   be n c hm a rk  da t a b a s e s   f r o m   t h e   r e po s i t o r y   of   t h e   U n i v e r s i t y   o f  Ca l i f o r ni a ,   I r v i n e   (U CI)  [ 30]   t o   t e s t   a n d  s t udy   t h e   pe r f o r m a n c e   of   o ur   pr o po s e d  a l go ri t hm .   T h e s e   d a t a s e t s   a r e   w i de l y   us e d  i n   t h e   l i t e ra t u r e   o f   a n t - m i ni n g   a l go ri t hm s ,   a n d   t h e y   v a r y   i n   t h e i r  a t t ri b ut e   n u m b e r s   (i . e . ,   b e t w e e n   4  a n d  60).   I n   a ddi t i o n ,   a t t ri b ut e   n um b e r s   c o n s i s t   o f   c o n t i n uo us   a n d   c a t e go r i c a l   t y pe s .   T h e   da t a s e t s   a l s o   v a r y   i n  t e r m s   o f   i n s t a nc e   n um b e r  (w i t h i n  t h e   ra n ge   o f   148 – 8124)   a nd  t a r ge t   c l a s s   num b e r s .   T h e   m a j o r   c h a ra c t e r i s t i c s   o f   t h e   d a t a s e t s   a r e   s u m m a r i z e d  i n   T a b l e   1 .       T a b l e   1 .   M a j o r   F e a t u r e s   o f   t h e   D a t a s e t s   U s e d  i n   O u r   E xpe r i m e nt s   D a t a s e t s   N a m e   D e s c ri p t i o n   In s t a n c e s   n u m b e r   A t t ri b u t e s   N u m b e r   Cl a s s e s   N u m b e r   Ba l a n c e S c a l e   625   4   3   L j u b l j a n a   ( Br e a s t   Ca n c e r )   286   9   2   W i s c o n s i n   ( Br e a s t   Ca n c e r )   699   9   2   Cre d i t   (a )   690   15   2   Cre d i t   ( g )   1000   20   2   D i a b e t e s   d a t a s e t   768   8   2   Cl e v e l a n d   ( H e a r t )   303   13   5   S t a t l o g   ( H e a rt )   270   13   2   H e p a t i t i s   d a t a s e t   155   19   2   Io n o s p h e r e   d a t a   351   34   2   Iri s   ( f l o w e r )   150   4   3   L y m p h o g ra p h y   148   18   4   M u s h r o o m   8124   22   2   S e g m e n t   2310   19   7   S o n a r   208   60   2   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   16 ,   N o .   3 ,  D e c e m be r   2 019   :     1 4 9 9   -   1 5 0 7   1504   T h e   A n t - M i n e r   a l go r i t h m   do e s   n o t   w o r k   w i t h   c o n t i n uo us   f e a t u r e s   du r i n g   t h e   t ra i ni n g   p r o c e s s .   T h us ,   a   di s c r e t i z a t i o n   m e t h o d  i s   r e qu i r e d  t o   a dd r e s s   s uc h   a t t r i b u t e   t y pe s .   In   t h e   A n t - M i n e r   a l go r i t hm   l i t e ra t u r e ,   di s c r e t i z a t i o n   i s   pe r f o r m e d  e i t h e r   b e fo r e   t h e   r u l e   c o n s t r uc t i o n   p r o c e s s   [31]   o r   du r i ng  t h e   r ul e   ge n e ra t i o n  pr o c e s s   [32] .   In   o ur   e xpe r i m e nt ,   w e   us e   t h e   w e l l - kn o w n   C4. 5 - d i s c   m e t h o d  a s   a   pr e p r o c e s s i n g  s t e p.   T hi s   m e t h o d  h a s   a l s o   b e e n   us e d  i n   o t h e r   s t udi e s   o n   t h e   t h e   A n t - M i n e r   a l go r i t h m .   T h e   pr o po s e d  a l go r i t hm   i s   e v a l ua t e d  by   c o m pa r i ng  i t s   pe r f o rm a n c e   w i t h   t h o s e   of  t h e   A nt - M i n e r   a nd  o t h e r   r e l a t e d  a n t - m i n i n g   a l go r i t hm s ,   na m e l y ,   CA nt - M i n e r,   T A CO - M i n e r,   a n d  A n t - M i n e r   w i t h   h y b r i d  p ru n e r .   T h e   CA nt - M i n e r   c l a s s i f i c a t i o n   a l go r i t hm   i s   a n   e xt e n de d  v e r s i o n   o f  t h e   A n t - M i n e r   c l a s s i f i e r   t ha t   i nt e gra t e s   a n   e n t r o py   di s c r e t i z a t i o n   m e t h o d  t o   s pl i t   t h e   c o n t i n uo us   a t t ri b ut e s   duri n g  t h e   m o de l   t ra i ni n g  [ 33] .   I n  c o n t ra s t ,   T A CO - M i n e r   p r o v i de s   a   t hr e s h o l d  v a l ue   b a s e d  o n   t h e   i n f o r m a t i o n   g a i n   o f   e a c h   t e rm .   If   t h e   i n f o r m a t i o n  a s s o c i a t e d  w i t h   t h e   s e l e c t e d  t e r m   i s   b e l ow   t h e   t hr e s h o l d  v a l ue ,   t h e n   t h e   i n f o r m a t i o n   w i l l   b e   r e j e c t e d.   T h e   t hr e s h o l d  v a l ue   i s   c o n s i de r e d  a   p r e - p r u n i ng  c r i t e r i o n   t h a t   de t e r m i n e s   t h e   a c c e pt a n c e   o r   r e j e c t i o n   o f   t e r m s   [34] .   T h e   A n t - Mi n e r   w i t h   h y b r i d  p r u n e r   p r e s e n t s   a   n e w   h y b r i d  r ul e   p r u n e r   t h a t   c o m b i n e s   t h e   o r i gi na l   A n t - M i n e r ’s   r ul e   p r u n e r   w i t h   a   r ul e   p r u n e r   b a s e d  o n   i n f o r m a t i o n   ga i n   a n d  t h e   r   pa r a m e t e r .   T hi s   pa r a m e t e r   de t e r m i n e s   t h e   n um b e r   o f   t e r m s   a l l o w e d   i n   t h e   r u l e .   T h e   n e w   m e t h o d  w i l l   b e   a ppl i e d  t o   e a c h   r ul e   t h a t   e xc e e d s   t h e   n u m b e r   o f  t e r m s   i n   a   r u l e .   T hi s   n u m b e r   o f  t e r m s   i s   a   us e r  s pe c i f i e d  pa r a m e t e r .   T h e n,   t h e   num b e r   o f   t e r m s   i n   t h e   s e l e c t e d  r u l e   i s   r e duc e d  unt i l   i t   i s   e qu a l   t o   t h e   s pe c i f i e d   v a l ue .   T hi s   m e t h o d  i s   i m pl e m e n t e d  o n  t h e   b a s i s   of   i n f o r m a t i o n   ga i n   a n d  r o ul e t t e   w h e e l   f o r   s e l e c t i o n .   T h e r e a f t e r ,   t h e   p r o c e dur e   of   t h e   A n t - M i n e r ’s   o r i g i na l   r u l e   pr u n e r   i s   a p pl i e d  [21] .   T h e   e xpe ri m e n t s   h a v e   be e n   c o nduc t e d  us i n g  a   M a c B oo k  P r o   (2016)  w i t h   a   2 . 9  G H z   In t e l   Co r e   i 5  p r o c e s s o r   a n d  8  G B   2133  M H z   m e m o r y .   W e   h a v e   n o t   a t t e m p t e d  t o   o pt i m i z e   t h e   pa r a m e t e r s   o f   A CO - A nn e a l i n g  i n   t h e   e xpe r i m e nt s .  T h e   pa ra m e t e r   v a l ue s   f o r   t h e   A n t - M i n e r   c l a s s i f i e r s   a r e   a do pt e d  f r o m   R a ul   e t   a l .   (2016)  t o   e n s ur e   t ha t   e a c h   c l a s s i f i e r  w i l l   w o r k  w i t h   t h e   s a m e   pa ra m e t e r s ’   v a l ue s   a nd  t o   pr o v i de   a   f a i r  e v a l ua t i o n  o f   t h e   r e s ul t s   [35] .   T h e   pa ra m e t e r s   w e   us e d  fo r   t h e   A nt - M i n e r   c l a s s i f i e r s   a r e   a s   l i s t e d  i n  T a b l e   2.       T a b l e   2 .  E xpe r i m e nt   P a r a m e t e r s   P a ra m e t e r   D e s c ri p t i o n   V a l u e   NA   N u m b e r   o f  a n t s   i n   t h e   c o l o n y .   10   M CR   M i n i m u m   n u m b e r   o f  c a s e s   t h a t   e a c h   ru l e   m u s t   c o v e r .   5   M U C   M a x i m u m   o f   u n c o v e re d   c a s e s   b y   t h e   d i s c o v e re d   ru l e s .   10   RC   N u m b e r   o f  ru l e s   fo r  c o n v e rg e n c e .   10   NI   N u m b e r   o f  i t e ra t i o n s .   10       F i gu r e   5  di s pl a y s   t h e   c o m pa r i s o n   o f   t h e   c l a s s i f i c a t i o n   a c c ura c y   of   A CO - A n n e a l i n g  a l go r i t hm   w i t h  t h o s e   of   t h e   A n t - M i n e r ,   CA n t - M i n e r ,   T A CO - M i n e r ,   a n d   A nt - M i n e r   w i t h  h y b r i d  p ru n e r   a l go ri t hm s .   E a c h   c o l um n   i n   t h e   f i gur e   di s pl a y s   c l a s s i f i c a t i o n   a c c u r a c y   ob t a i ne d   t hr o ug h   10 - f o l d  c r o s s - v a l i da t i o n .   A m o n g  t h e   e v a l ua t e d  a l go r i t hm s ,   o u r   p r o po s e d  t e c hn i q ue   a c hi e v e s   t h e   hi g h e s t   c l a s s i f i c a t i o n   a c c ura c y   o n   11  da t a s e t s   (73%  o f   t h e   r e s ul t s ) ,   t h e r e by   i n di c a t i ng  t h a t   t h e   pe r f o r m a n c e   of   pr o po s e d  t e c hn i que   i s   a b ov e   a ve r a ge .             F i gu r e   5 .  Co m p a r i s o n  o f   t h e   c l a s s i f i c a t i o n   a c c ura c i e s   o f   di ff e r e n t   a nt - m i ni n g   c l a s s i f i c a t i o n   a l go r i t h m s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nne al i ng  s t r at e gy   f or   an   e nh anc e   r u l e   pr un i ng   t e c hn i qu e   i n  A CO   .. .   ( H ay de r   Nas e r   Khr ai b e t   A L - B e hadi l i )   1505   F i gu r e   6  s h o w s   t h e   pe r f o r m a n c e   e v a l ua t i o n   o f  t h e   a l go r i t hm s   b a s e d  o n   m o de l   s i z e   (a ve r a ge   num b e r  of   t e r m s   i n  a   r ul e ).   A ga i n,   t h e   10 - f o l d  c r o s s   v a l i da t i o n   ha s   b e e n   us e d  i n  t h e   e xpe r i m e n t .   T h e   o ve r a l l   r e s ul t s   s h o w   t h a t   t h e   m o de l   s i z e   di s c o ve r e d  by   T A CO - M i n e r   i s   s i m p l e r   o n   n i n e   da t a s e t s ,   w h e r e a s   o ur   p r o po s e d   t e c hn i q ue   r a nks   s e c o n d  pl a c e ,   w i t h   a   s i m p l e r   m o de l   s i z e   o n   s e v e n   da t a s e t s .   H ow e v e r ,   t h e   n o - f r e e - l u n c h  t h e o r e m   s t a t e s   t h a t   n o   a l go r i t hm   pe r f o r m s   b e s t   o n   a l l   d a t a s e t s   [36 ,   3 7] .           F i gu r e   6 .  Co m p a r i s o n  o f   m o de l   s i z e s   o f   di f fe r e n t   a n t - m i ni n g   c l a s s i f i c a t i o n  a l go ri t hm s       T a b l e   3   pr o v i de s   t h e   o ve r a l l   a v e r a ge   s t a t i s t i c a l   t e s t   r e s ul t s   fo r   c l a s s i f i c a t i o n   a c c ura c y ,   m o de l   s i z e ,   a n d  c o m put a t i o na l   t i m e   (i n   s e c o n d )  o n   a l l   t h e   da t a s e t s   us e d  i n   o u r   e xpe r i m e nt s .   I n   ge n e ra l ,   o ur   p r o po s e d   a l go ri t hm   pe r f o r m s   t h e   b e s t   for   c l a s s i f i c a t i o n   a c c ur a c y   a nd   c o m put a t i o na l   t i m e .   I n   a dd i t i o n ,   o ur  a l go ri t hm   a c hi e v e s   t h e   s e c o n d - b e s t   a v e r a ge   fo r   m o de l   s i z e   w h i c h   s h o w s   t h a t   t h e   c o m pl e xi t y   of   t h e   a l go t i rh m   i s   l o w e r   t h a n  A n t - M i n e r ,   CA nt - M i n e r   a n d   H y b r i d  P ru n e r  a l go ri t hm s .   F i gu r e   7  s h o w s   t h e   pl o t   o f   a v e r a ge   c l a s s i f i c a t i o n   a c c u r a c y   r a n k   a g a i n s t   t h e   a v e r a ge   m o de l   s i z e   r a nk.   A   l ow e r   a v e r a ge   ra n k  i ndi c a t e s   be t t e r   pe r f o r m a n c e   of   t h e   a l go ri t hm s .   T h e   r e s ul t   s h o w s   t h a t   o ur   p r o po s e d   a l go ri t hm   o ut pe r f o r m s   t h e   o t h e r   f o ur   c l a s s i f i c a t i o n   a l go r i t hm s   b a s e d  o n   i de a l   r a nk  b e t w e e n   t h e   m o de l   s i z e   a n d  c l a s s i f i c a t i o n   a c c u r a c y .   T r a de - o ff   b e t w e e n   c l a s s i f i c a t i o n  a c c ura c y   a n d  m o de l   s i z e   ha s   b e e n   c o n s i de r e d  i n  de ve l o pi n g  o ur   p r o po s e d  a l go r i t hm .   In   c o n t ra s t ,   t h e   m o s t   a c c ur a t e   c l a s s i f i c a t i o n   a l go r i t hm   r e qui r e s   m o r e   t e rm s   pe r   r ul e   t o   pr o duc e   b e t t e r   c l a s s i f i c a t i o n   a c c ur a c y   be c a us e   o ur   p r o po s e d  s t r a t e gy   a i m s   t o   f i n d  t h e   a pp r o pri a t e   p r u ni n g   c r i t e r i a   f o r   e a c h  da t a s e t   by   c o n s i de r i n g   c l a s s i f i c a t i o n   a c c ura c y .       T a b l e   3 .  T e s t   R e s ul t s   B a s e d  o n  A v e r a ge   P e r f o r m a n c e   o n  A l l   D a t a s e t s   D a t a s e t s   A n t - M i n e r   CA n t - M i n e r   T A CO   H y b r i d   P ru n e r   A CO - A n n e a l i n g   A v e ra g e   P r e d i c t i v e   A c c u ra c y   8 0 . 0 6   8 1 . 0 6   7 9 . 1 4   7 9 . 9 5   8 1 . 9 7   A v e ra g e   M o d e l   S i z e   1 0 . 0 9   9 . 8 7   8 . 2 3   1 0 . 0 4   8 . 7 3   A v e ra g e   C o m p u t a t i o n a l   T i m e   2 4 . 9 3   7 . 2 7   2 1 . 3 3   2 0 . 8 0   5 . 8 0           F i gu r e   7 .  Co m p a r i s o n  b e t w e e n   t h e   a v e r a ge d   c l a s s i f i c a t i o n  a c c ur a c y   r a nk  v s .   t h e   a v e ra ge d   c o m pl e xi t y   s i z e   ra n k   o f   t h e   a n t - m i ni n g   c l a s s i f i c a t i o n  a l go ri t hm s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   16 ,   N o .   3 ,  D e c e m be r   2 019   :     1 4 9 9   -   1 5 0 7   1506   5.   C O N C LU S I O N     A CO   i s   a n  S I  m e t a h e u r i s t i c   a l go r i t hm   us e d  t o   s o l v e   c o m pl e x  p r o b l e m s .   T h e   A n t - M i n e r  a l go r i t hm   i s   a   t y pi c a l   e xa m p l e   o f   A CO   fo r   c l a s s i f i c a t i o n .   T h e   s t r e n gt h  of   t h i s   a l go r i t h m   l i e s   i n   i t s   a b i l i t y   t o   pr o v i de   a   c o m pl e t e   c o m pr e h e n s i b l e   r e s ul t ,   w h i c h   i s   a   ke y   r e qui r e m e n t   i n   di f f e r e n t   a pp l i c a t i o n   do m a i n s ,   s uc h   a s   m e di c a l   di a g n o s i s   a n d  b a n k rupt c y .   In   t h i s   pa pe r,   w e   e l uc i da t e   t h e   i m po r t a n c e   o f   t h e   p r u ni n g   c o m po n e n t   o f   t h e   A n t - M i n e r   a l go r i t hm   a n d  d i s c us s   t h e   p ri m a r y   s t r a t e gi e s   (e xp l o i t a t i o n   a n d  e xpl o r a t i o n )  t ha t   gu i de   t h e   r ul e   c o n s t r uc t i o n   p r o c e s s .   W e   t h e n  m o di fy   t h e s e   s t r a t e gi e s   i n  a c c o r da n c e   w i t h  a n  o nl i n e   c o nt r o l   pa ra m e t e r,   w hi c h  v a r i e s   du ri n g  t h e   l e a rni n g   p r o c e s s   by   us i n g  a n  a nn e a l i ng  s t ra t e gy .   T hi s   m e t h o d,   w h i c h   i s   p r e s e nt e d  a s   a   p r e - pr u ni n g   t e c hni que ,   de a l s   w i t h   i rr e l e v a n t   t e r m s   b e fo r e   c r e a t i n g  a   c o m pl e t e   r ul e .   E xpe r i m e n t s   w e r e   c o n duc t e d  us i n g  pub l i c l y   a v a i l a b l e   be n c hm a r k i n g  da t a s e t s   f r o m   t h e   U CI  r e po s i t o r y .   R e s ul t s   i n di c a t e   t ha t   o ur   p r o po s e d   s t ra t e gy   i m pr o v e s   t h e   ov e r a l l   p e r f o r m a n c e   o f   t h e   A n t - M i n e r   c l a s s i f i e r   a l go r i t hm   a n d  y i e l ds   be t t e r   r e s ul t s   t ha n  CA nt - M i n e r,   T A CO - M i n e r,   a n d  A nt - M i n e r   w i t h   h y b r i d  prun e r   a l go r i t hm s .   F u r t h e r   r e s e a r c h   i s   r e qui r e d  t o   i m p r o v e   t h e   a d a pt a b i l i t y   of   t h e   p r o po s e d  pa r a m e t e r   v a l ue   us i n g  d i f fe r e nt   s e a r c h   s p a c e s   a nd  c o n s i de ri n g   f e e d b a c k  f r o m   t h e   r u l e   c o n s t r uc t i o n   p r o c e s s .   T h i s   m e c ha n i s m   i n v o l v e s   a s s i gni n g  r e w a rds ,   a n d   t h e   a c t i o n  o f  t h e   A n t - M i n e r   a l go r i t hm   m a y   de t e r m i n e   w h e t h e r  a   n e w   v a l u e   w i l l   p r e v a i l   i n  t h e   s e a r c h  s pa c e .       A C K N O WL ED G E M EN T   F un d i n g   f o r   t h i s   s t udy   i s   f r o m   t h e   M i ni s t r y   of   H i gh e r   E duc a t i o n   M a l a y s i a   u n de r   t h e   T r a n s d i s c i pl i na r y   R e s e a r c h  G ra n t   S c h e m e   (S / O   c o de   14163) .       R EF ER EN C ES     [ 1]   D .   M a r t e ns ,   e t   a l . ,   “ E di t o r i a l   s u r v e y :   S w a r m   i n t e l l i g e nc e   f o r   d a t a   m i ni ng , ”   M ac h.   L e ar n . ,   v o l .   82 ,   p p.   1 - 42 ,   201 1.   [ 2]   A .   G a v r i l o v s ki ,   e t   a l . ,   “ C h a l l e ng e s   a n d  O ppo r t un i t i e s   i n  F l i g ht   D a t a   M i n i ng :   A   R e v i e w   o f   t he   S t a t e   o f   t h e   A r t , ”   A I A A   I n f o t e c h  @  A e r o s pa c e ,   pp.   1 - 18 ,  201 6 .   [ 3]   A .   M .   J a b ba r   a nd  K .   K u - M a ha m ud,   “ A nt - ba s e d  s o r t i ng   a nd  A C O - ba s e d  c l u s t e r i ng   a ppr o a c he s :   A   r e v i e w , ”   I E E E   Sy m pos i um   on   C om p ut e r   A pp l i c a t i o ns   &   I ndu s t r i al   E l e c t r oni c s   ( I S C A I E ) ,  pp .   2 17 - 223 ,  201 8 .   [ 4]   M .   Z .   H o s s a i n,   e t   a l . ,   “ A   dy na m i c   K - m e a ns   c l us t e r i ng   f o r   da t a   m i n i ng , ”   I nd one s .   J .   E l e c t r .   E ng .   C om put .   S c i . ,   v o l .   13 ,   pp .   521 - 52 6,   20 19.   [ 5]   A .   M a r t i n,   e t   a l . ,   “ A n  A na l y s i s   o n  Q ua l i t a t i v e   B a nk r up t c y   P r e di c t i o n  R ul e s   u s i ng   A nt - M i ne r , ”   I n t .   J .   I n t e l l .   Sy s t .   A ppl . ,   v o l .   6,   pp .   36 - 44 ,   2014 .   [ 6]   H .   N .   K .   A l - be h a di l i ,   “ C l a s s i f i c a t i o n  A l g o r i t hm s   f o r   D e t e r m i n i n g   H a ndw r i t t e n  D i g i t , ”   I r aq  J .   E l e c t r .   E l e c t r on .   E ng. ,   v o l .   12 ,   pp .   96 - 102 ,   2016 .   [ 7]   M .   D ur g a d e v i   a nd  R .   K a l pa n a ,   “ M e d i c a l   di s t r e s s   pr e d i c t i o n  b a s e d  o n  C l a s s i f i c a t i o n  R u l e   D i s c ov e r y   us i ng   a nt - m i ne r   a l g o r i t hm , ”   P r oc .   2 017   11 t h   I nt .   C onf .   I nt e l l .   Sy s t .   C on t r o l .   I SC O   2 017 ,   p p.   88 - 92 ,   201 7.   [ 8]   D .   A l ba s hi s h ,   e t   a l . ,   “ A   hi e r a r c hi c a l   c l a s s i f i e r   f o r   m ul t i c l a s s   p r o s t a t e   hi s t o pa t ho l o gy   i m a g e   g l e a s o n  g r a di ng , ”   J .   I n f .   C om m un.   T e c hno l . ,   v o l .   2,   pp .   323 - 34 6,   20 18.   [ 9]   Y .   O ua d i d,   e t   a l . ,   “ H a n dw r i t t e n  t i f i na g h  c ha r a c t e r   r e c o g ni t i o n  us i ng   s i m pl e   g e o m e t r i c   s ha p e s   a n d  g r a phs , ”   I ndon e s .   J .   E l e c t r .   E ng.   C om put .   Sc i . ,   v o l .   1 3,   pp .   598 - 60 5,   20 19.   [ 10]   S .   B a s ha t h  a nd  A .   R .   I s m a i l ,   “ C o m pa r i s o n  o f   s w a r m   i nt e l l i g e nc e   a l g o r i t hm s   f o r   hi g h  di m e ns i o na l   o pt i m i z a t i o n  pr o bl e m s , ”   I ndo ne s .   J .   E l e c t r .   E ng .   C om pu t .   S c i . ,   v o l .   11 ,   pp .   3 00 - 3 07,   20 18.   [ 11]   Z .   A l   N ua i m i   a nd  R .   A bdul l a h,   “ N e ur a l   N e t w o r k  T r a i ni ng   U s i n g   H y br i d  P a r t i c l e - M o v e   A r t i f i c i a l   B e e   C o l o n y   A l go r i t hm   f o r   P a t t e r n   C l a s s i f i c a t i o n, ”   J .   I nf .   C om m un .   T e c h nol . ,   v o l .   2,   pp .   314 - 33 4,   20 17.   [ 12]   R .   S a g ba n,   e t   a l . ,   “ A C O   us t i c :   A   na t u r e - i ns p i r e d  e xp l o r a t i o n   i nd i c a t o r   f o r   a nt   c o l o n y   o pt i m i z a t i o n, ”   C i e n t .   W or l d  J . ,  2015 .   [ 13]   H .   J .   A .   N a s i r ,   e t   a l . ,   “ L o a d  ba l a nc i ng   us i ng   e nha nc e d  a n t   a l g o r i t hm   i n  g r i d  c o m put i ng , ”   P r oc e e di ngs   -   2n d   I nt e r n at i on al   C on f e r e nc e   on  C om p ut a t i ona l   I n t e l l i ge nc e ,   M o de l l i n g  and   S i m ul at i on ,   C I M Si m   201 0 ,  pp .   160 - 165 ,  2010 .   [ 14]   M .   D o r i g o   a nd   T .   S t ü t z l e ,   “ A nt   C o l o ny   O pt i m i z a t i o n ,”   C a m b r i dg e ,   M A ,   U S A ,   M I T   P r e s s ,   2 004 .   [ 15]   A .     M .   J a b ba r ,   “ C o nt r o l l i ng   t he   B a l a nc e   o f   E xp l o r a t i o n  a n d  E xpl o i t a t i o n  i n   A C O   A l go r i t hm , ”   J .   U n i v .   B aby l on ,   v o l .   26,   pp .   10 - 17 ,   2018 .   [ 16]   R .   P a r p i ne l l i ,   e t   a l . ,   “ D a t a   M i n i ng   W i t h  a n   A nt   C o l o n y   O pt i m i z a t i o n  A l g o r i t hm , ”   I E E E   T r a ns .   E v o l .   C om pu t . ,   v o l .   47,   pp .   321 - 33 2,   20 02.   [ 17]   H .   N .   K .   A l - be ha d i l i ,   e t   a l . ,   “ R u l e   pr u ni ng   t e c hni que s   i n  t he   a n t - m i ne r   c l a s s i f i c a t i o n  a l g o r i t hm   a nd  i t s   v a r i a n t s :   a   r e v i e w , ”   201 8  I E E E   Sy m p os i um   on   C om pu t e r   A ppl i c at i on s   &   I ndu s t r i al   E l e c t r on i c s   ( I SC A I E ) ,  pp .   78 - 84 ,  2 018 .   [ 18]   R .   S a i a n  a nd  K .   R .   K u - M a ha m ud,   “ A nt   c o l o n y   o pt i m i z a t i o n  f o r   r u l e   i nd uc t i o n  w i t h   s i m ul a t e d  a nn e a l i ng   f o r   t e r m s   s e l e c t i o n, ”   P r oc .   -   20 12  14 t h  I n t .   C o n f .   M o de l .   S i m ul at i on ,   U K Si m   2012 ,   pp.   3 3 - 38,   20 12.   [ 19]   F .   E .   B .   O t e r o ,   e t   a l . ,   “ A   ne w   s e que nt i a l   c ov e r i ng   s t r a t e gy   f o r   i nduc i ng   c l a s s i f i c a t i o n  r u l e s   w i t h  a n t   c o l o n y   a l g o r i t hm s , ”   I E E E   T r a ns .   E v o l .   C om p ut . ,   v o l .   17 ,   p p.   64 - 76 ,   201 3.   [ 20]   S .   T r i pa t hy ,   e t   a l . ,  “ M T A C O - M i ne r   :   M o di f i e d  T h r e s ho l d  A nt   C o l o n y   O pt i m i z a t i o n  M i ne r   f o r   C l a s s i f i c a t i o n  R ul e   M i n i ng , ”   E m e r g i ng   R e s e r c h   i n  C om pu t i n g,   I nf o r m a t i o n,   C om m u ni c at i on   and   A p pl i c a t i on ,   p p.   1 - 6 ,  2013 .   [ 21]   A .   C ha n  a nd  A .   F r e i t a s ,   “ A   ne w   c l a s s i f i c a t i o n - r ul e   p r un i ng   pr o c e dur e   f o r   a n  A nt   C o l o n y   A l go r i t hm , ”   I n t e r nat i o nal   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A nne al i ng  s t r at e gy   f or   an   e nh anc e   r u l e   pr un i ng   t e c hn i qu e   i n  A CO   .. .   ( H ay de r   Nas e r   Khr ai b e t   A L - B e hadi l i )   1507   C onf e r e nc e   on   A r t i f i c i a l   E v ol ut i on   ( E v o l u t i o n  A r t i f i c i e l l e ) ,   v o l .   3 87 1 ,   pp .   25 - 36 ,  2 006 .   [ 22]   H .   N .   K .   A l - be ha d i l i ,   e t   a l . ,   “ A nt   c o l o n y   o pt i m i z a t i o n  a l g o r i t hm   f o r   r ul e - ba s e d  c l a s s i f i c a t i o n:   I s s ue s   a nd  po t e nt i a l   s o l ut i o ns , ”   J .   T he or .   A pp l .   I nf .   T e c hno l . ,   v o l .   96 ,   pp .   7139 - 71 50 ,   20 18.   [ 23]   B .   L i u,   e t   a l . ,   “ C l a s s i f i c a t i o n  r ul e   d i s c o v e r y   w i t h  a nt   c o l o n y   o pt i m i z a t i o n  a l g o r i t hm , ”   I E E E   C om pu t a t i o nal   I nt e l l i ge nc e   B u l l e t i n ,   v o l .   743 5 ,   pp .   678 - 68 7 ,  20 04 .   [ 24]   L i u,   e t   a l . ,   “ D e ns i t y - B a s e d  H e u r i s t i c   f o r   R ul e   D i s c o v e r y   W i t h  A nt - M i ne r , ”   6 t h  A u s t r a l as .   J t .   W or k .   I n t e l l .   E v ol .   Sy s t . ,   pp .   1 - 6 ,   200 2.   [ 25]   B .   F a k ha r ,   “ A   N o v e l   M e t ho d  f o r   E xt r a c t i ng   C l a s s i f i c a t i o n  R ul e s   b a s e d  o n  A nt - M i ne r , ”   J .   M a t h .   C om pu t .   Sc i . ,   v o l .   8,   pp .   377 - 386 ,   201 4 .   [ 26]   J .   W a hi d   a n d  H .   F .   A .   A l - M a z i n i ,   “ C l a s s i f i c a t i o n  o f   C e r v i c a l   C a nc e r   U s i ng   A nt - M i ne r   f o r   M e di c a l   E x pe r t i s e   K no w l e dg e   M a na g e m e n t , ”   K now l e dge   M anage m e nt   I n t e r na t i ona l   C onf e r e nc e   ( K M I C e ) ,   201 8.   [ 27]   H .   N .   K .   A l - be ha d i l i ,   “ I nt e l l i g e n t   H y po t he r m i a   C a r e   S y s t e m   us i ng   A nt   C o l o n y   O pt i m i z a t i o n  f o r   R ul e s   P r e di c t i o n, ”   J .   U ni v .   B a by l on ,   v o l .   26 ,   pp .   4 7 - 56,   20 18 .   [ 28]   I .   M .   A nw a r ,   e t   a l . ,   “ A D R - M i ne r :   A n  a nt - ba s e d  d a t a   r e d uc t i o n  a l g o r i t hm   f o r   c l a s s i f i c a t i o n, ”   20 15  I E E E   C o ngr .   E v ol .   C om pu t .   C E C   20 15  -   P r oc . ,   pp .   515 - 521 ,   201 5.   [ 29]   R .   H .   A .   A l s a g he e r ,   e t   a l . ,   “ P o pu l a r   D e c i s i o n  T r e e   A l g o r i t hm s   o f   D a t a   M i n i ng   T e c hni que s :   A   R e v i e w , ”   I nt .   J .   C om put .   Sc i .   M ob .   C om pu t . ,   v o l .   6 ,   pp .   1 33 - 142 ,   201 7.   [ 30]   D .   D ua   a nd   T .   K a r r a ,   “ U C I   M a c hi n e   L e a r n i ng   R e po s i t o r y , ”   I r v i ne ,   C A :   U n i v e r s i t y   o f   C a l i f o r n i a ,   Sc ho o l   o f   I nf or m a t i on  and   C om p ut e r   Sc i e nc e ,   2017 .   A v a i l a bl e :   ht t p: / / a r c h i v e . i c s . uc i . e d u/ m l .   [ 31]   R .   S a i a n  a nd  K .   R .   K u - M a ha m ud ,   “ H y br i d  A nt   C o l o n y   O pt i m i z a t i o n  a nd   S i m ul a t e d  A nne a l i ng   f o r   R ul e   I nduc t i o n, ”   2011   U K Si m   5 t h   E ur .   Sy m p .   C om pu t .   M ode l .   S i m ul . ,   p p.   70 - 75 ,   201 1.   [ 32]   F .   O t e r o ,   e t   a l . ,   “ H a nd l i ng   c o nt i nuo us   a t t r i bu t e s   i n  a n t   c o l o n y   c l a s s i f i c a t i o n  a l g o r i t hm s , ”   200 9  I E E E   Sy m po s i um   on   C om put at i ona l   I n t e l l i ge nc e   and   D at a  M i n i ng ,   C I D M   2 009   -   P r oc e e di ng s ,  p p.   22 5 - 231 ,  2 009 .   [ 33]   F .   O t e r o ,   e t   a l . ,   “ c A nt - m i ne r :   A n  a nt   c o l o n y   c l a s s i f i c a t i o n  a l g o r i t hm   t o   c o pe   w i t h  c o nt i n uo us   a t t r i bu t e s , ”   I nt e r n at i on al   C on f e r e nc e   on   A n t   C o l o ny   O pt i m i z a t i o n  and   Sw ar m   I nt e l l i ge nc e ,   pp .   48 - 59 ,  2008 .   [ 34]   K .   T ha ng a v e l   a nd  P .   J a g a n a t h a n ,   “ R u l e   M i ni ng   A l g o r i t hm   w i t h  a   N e w   A nt   C o l o n y   O pt i m i z a t i o n  A l go r i t hm , ”   I nt .   C onf .   C om pu t .   I nt e l l .   M u l t i m e d.   A pp l .   I C C I M A   2007 ,   v o l .   1 ,   pp .   56 1 - 563,   20 07.   [ 35]   R .   R o bu,   e t   a l . ,   “ A   s t udy   o n  A nt   M i ne r   pa r a m e t e r s , ”   6 t h  I n t e r na t i ona l   C on f e r e nc e   on  I nf or m a t i on ,   I n t e l l i ge nc e ,   Sy s t e m s   an d  A ppl i c at i on s ,   2 016 .   [ 36]   D .   M a r t e ns ,   e t   a l . ,   “ C l a s s i f i c a t i o n  w i t h   a n t   c o l o n y   o pt i m i z a t i o n, ”   I E E E   T r ans .   E v o l .   C om pu t . ,   v o l .   11 ,   pp .   6 51 - 665 ,   2007 .   [ 37]   R .   P .   D a t t a   a nd  S .   S a ha ,   “ A ppl y i ng   r ul e - ba s e d  c l a s s i f i c a t i o n  t e c hn i que s   t o   m e di c a l   da t a ba s e s   :   a n  e m pi r i c a l   s t udy , ”   I nt .   J .   B us .   I n t e l l .   Sy s t .   E ng. ,   v o l .   1 ,   pp .   32 - 48,   2 016 .       B I O G R A P H I ES   O F   A U T H O R S           H a y de r   N a s e r   K hr a i be t :   r e c e i v e d  t he   B a c he l o r   i n  C o m pu t e r   S c i e n c e s   f r o m   S ha t t   A l - A r a b  U ni v e r s i t y   C o l l e g e ,   I r a q  i n  200 8.     H i s   M a s t e r ’ s   de g r e e   i n  I nf o r m a t i o n   T e c hno l o gy     f r o m     U ni v e r s i t y   U t a r a     M a l a y s i a   i n  20 11 .   S i nc e   2016 ,   h e   ha s   be e n  w o r ki ng   t o w a r d  t he   P h . D .   de g r e e   i n  I nf o r m a t i o n  T e c hno l o gy .   H i s   r e s e a r c h  i s   m a i n l y   f oc us e d  o n  de v e l o pm e nt   o f   r ul e - ba s e d  c l a s s i f i c a t i o n  t e c hni que s   ba s e d   o n  A nt   C o l o ny   O pt i m i z a t i o n.           K u  R uha na   K u - M a h a m ud:   S he   ho l ds   a   B a c he l o r   i n  M a t he m a t i c a l   S c i e nc e s   a n d  a   M a s t e r s   de g r e e   i n  C o m put i ng ,   bo t h  f r o m   B r a df o r d  U ni v e r s i t y ,   U ni t e d  K i n g do m   i n  1983  a nd  198 6  r e s pe c t i v e l y .   H e r   P hD   i n  C o m put e r   S c i e nc e   w a s   o bt a i ne d  f r o m   U ni v e r s i t i   P e r t a ni a n  M a l a y s i a   i n  1994 .   A s   a n  a c a de m i c ,   he r   r e s e a r c h  i nt e r e s t s   i nc l u de   a nt   c o l o n y   o pt i m i z a t i o n,   pa t t e r n   c l a s s i f i c a t i o n  a nd   v e hi c l e   r o ut i ng   pr o bl e m .       R a f i d  S a g ba n   ho l ds   a   B a c he l o r   i n  C o m put e r   S c i e nc e s   f r o m   U ni v e r s i t y   of   B a b y l o n,   I r a q  i n  1999  a nd  H i g he r   D i p l o m a   i n  D a t a   S e c ur i t y   f r o m   I r a qi   C o m m i s s i o n  f o r     C o m put e r s   a nd   I n f o r m a t i c s   i n  20 01 .   H i s   M a s t e r ’ s   de g r e e   a nd  P h. D   i n  I nf o r m a t i o n  T e c hno l ogy   a r e   bo t h  f r o m   U ni v e r s i t i   U t a r a   M a l a y s i a   i n  2015 .   R a f i d' s   r e s e a r c h  a n d   d e v e l o pm e nt   e xp e r i e nc e   i nc l ud e s   o v e r   13  y e a r s   i n  t he   A c a de m i a   a n d  I ndus t r y .   H e   w o r ks   i n  a   m ul t i - di s c i p l i n a r y   e nv i r o nm e nt   i nv o l v i ng   c o m put a t i o na l   i nt e l l i g e nc e ,   s w a r m   i nt e l l i g e n c e   a l g o r i t hm s ,   bus i ne s s   i nt e l l i g e nc e   a n d  w e b  de s i g n  a nd   de v e l o pm e n t .     Evaluation Warning : The document was created with Spire.PDF for Python.