IA E S   In t e r n a t i o n a l   J o u r n a l   o f   A r t i f i c i a l   In t e l l i g e n c e   ( IJ - AI )   Vo l .   8 , N o . 1 , M a r c h  2 0 1 9 , p p 77 ~ 86   IS S N :   2 2 5 2 - 8938 ,   DOI :   1 0 . 1 1 5 9 1 / i j a i . v 8 .i 1 .p p 77 - 86   r        77       Jou r n al   h om e page ht t p: / / i ae s co r e .c o m /o n lin e /in d e x .p h p /I J AI   An   i m p r o v e d   h y b r i d   f e a t u r e   s e l e c t i o n   m e t h o d   f o r   h u g e   di m e ns i o na l   da t a s e t s       F. R o s i t a   K a m a l a 1 P. R a n j i t   J e b a   T h a n g a i a h 2   1 De p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   B h a r a t h i a r   Un i v e r s i t y ,   I n d i a     2 De p a r t me n t   o f   I n f o r ma t i o n   T e c h n o l o g y ,   Ka r u n y a   In s t i t u t e   o T e c h n o l o g y   a n d   S c i e n c e s ,   In d i a         Ar t i c l e   I n f o     AB S T RACT     Ar t i c l e   h i s t o r y :   Re c e i v e d   N o v   2 5,   2018   Re v i s e d   F e b   1 ,   2 0 1 9   Ac c e p t e d   Fe b   2 2 ,   2 0 1 9       Hi g h   d i me n s i o n s   o f   d a t a   c a u s e   o v e r f i t t i n g   i n   ma c h i n e   l e a r n i n g   mo d e l s ,   can   le a d   to   r e d u c tio n   in   a c c u r a c y   dur i ng  c l a s s i f i c a t i on  of   i ns t a nc e s .   Va r i a b l e   s el ect i o n   i t h m o st   essen t i al   f u n ct i o n   i n   p r ed i ct i v an al y t i cs,   th a r e d u c e s   th e   d im e n s io n a lity w ith o u lo s in g   a n   a p p r o p r ia te   in f o r m a tio n   b y   s e le c tin g   a   fe w   s i g n i fi c a n t   fe a t u re s   o m a c h i n e   l e a rn i n g   p ro b l e m s .   T h e   m a j o t e c h n i q u e s   in v o lv e d   in   th is   p r o c e s s   a r e   f ilte r   a n d   w r a p p e r   m e th o d o lo g ie s W h ile   f ilte r s   me a s u r e   t h e   we i g h t   o f   f e a t u r e s   b a s e d   o n   t h e   a t t r i b u t e   we i g h t i n g   c r i t e r i o n ,   t he   wr a p p e r   a p p r o a c h   c o mp u t e s   t h e   c o mp e t e n c e   o f   t h e   v a r i a b l e   s e l e c t i o n   al g o r i t h m s.   Th e   w r a p p e r   a p p r o a c h   is   a c h ie v e d   b y   th e   s e le c tio n   o f   f e a tu r e   su b g r o u p b y   p r u n i n g   t h f eat u r sp ace  i n   i t sear ch   sp ace.   Th e   o b j e c t i v e   o f   th is   p a p e r   is   to   c h o o s e   th e   mo s t   fa v o u ra b l e   a t t ri b u t e   s u b s e t   fro m   t h e   n o v e l   s e t   of   f e a t ur e s ,   by  us i ng  t he   c om bi na t i on  m e t hod  t ha t   uni t e s   t he   m e r i t s   of   f i l t e r s   an d   w r ap p er s .   To   a c h i e v e   t h i s   o b j e c t i v e ,   a n   I m p r o v e d   H y b r i d   Fe a t u r e   Se l e c t i o n   (I H FS)   me t h o d   is   pe r f or m e t c r e a t e   w e l l - or ga ni z e l e a r ne r s .   Th e   re s u l t s   o t h i s   s t u d y   s h o w s   t h a t   t h e   I H FS  a l g o r i t h m   can   b u i l d   co m p et en t   bus i ne s s   a ppl i c a t i ons ,   w hi c ha ve   got   a   be t t e r   pr e c i s i on  t ha t ha t   of   t he   co n st r u ct ed   wh i c h   i s   s t a t e d   by  t he   pr e vi ous   hybr i va r i a bl e   s el ect i o n   al g o r i t h m s.   Ex p e r i m e n t a t i o n   w i t h   UC I   ( Un i v e r s i t y   o f   C a l i f o r n i a ,   I r v i n e )   re p o s i t o ry   d a t a s e t s   af f i r m s   th a th is   m e th o d   h a v e   g o b e tte r   p r e d ic tio n   pe r f or m a nc e ,   m or e   r obus t   t i nput   noi s e   a nd  out l i e r s ,   ba l a nc e s   w e l l   w i t t he   av ai l ab l f eat u r es,   w h en   pe r f or m e c om pa r i s on  w i t t he   pr e s e nt   a l gor i t hm s   in  th e  lite r a tu r e  r e v ie w .   Ke y wo r d s :   Fe a t u r e   s e l e c t i o n   Hy b r i d   a p p r o a c h   Ma c h i n e   l e a r n i n g   Ov e r f i t t i n g   Pr e d i c t i v e   a n a l y t i c s   Va r i a b l e   s e l e c t i o n   Co p y r i g h t   ©   2 0 1 9   In s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e   Al l   r i g h t s   r e s e r v e d .   Co r r e s p o n d i n g   Au t h o r :   Ro s i t a   K a m a l a   F ,   De p a r t m e n t   o f   C o m p u t e r   S c i e n c e ,   Bh a r a t h i a r   U n i v e r s i t y ,   Co i m b a t o r e ,   T a m i l   N a d u ,   I n d i a .   Em a i l :   r o s i t a k a m a l a @ g m a i l . c o m       1.   IN T R O D U C T IO N     Th e  m a c h i n e  l e a r n i n g  p r o b l e m s  u s e  t h e  t e r m  c u r s e  o f  d i m e n s i o n a l i t y  t o  r e f e r  a n   ex p o n en t i al   i n cr eas of   m or e   num be r   of   di m e ns i ons   of   f e a t ur e s   i a   m a t he m a t i c a l   s pa c e   [ 1] .   H i gh  di m e ns i ona l   da t a   i s   f ound  t be   m aj o r   p r o b l em   i d en t i f i ed   i n   s u p er v i s ed   an d   u n s u p er v i s ed   l ear n i n g .   H i g h   d i m en s i o n al i t y   o f t en   en t ai l s   h i g h   va r i a nc e ,   l e a di ng  t uns t a bl e   l e a r ni ng  out c om e s .   T pr oduc e   s t a bl e   l e a r ni ng  i s t a t i s t i c a l   m ode l s   of   hi ghe r   di m e ns i ons ,   a   l a r ge   num be r   of   s a m pl e s   a r e   r e qui r e d.   L a r ge r   vol um e s   r e s ul t   hi gh  va r i a nc e ,   c a us i ng  uns t a bl e   le a r n in g   o u tc o m e s L a r g e r   c a lc u la tio n   is   e n f o r c e d   f o r   d e a lin g   w ith   h ig h - di m e ns i ona l   da t a s e t s .   N ow a da ys ,   it  is   b e c o m in g   b i g   ch al l en g t o   d at s ci en t i s t s   an d   b u s i n es s   an al y s t s .   T h i n cr eas o f   f eat u r es   l ead s   t o   va r i ous   pr obl e m s   l i ke   noi s e ,   e r r or   a nd  ove r f i t t i ng  [ 2] .   I t   a l s l e a ds   t i nc r e a s e   i c om put i ng  c os t ,   s t or i ng  c os t   an d   m ak d at m i n i n g   ch al l en g i n g   t as k   i n   v ar i o u w a y s.   T h e   r e d u c t i o n   i n   c l a ssi f i c a t i o n   p e r f o r m a n c e   w i t h   num be r   of   f e a t ur e s   i s   s how i F ig u r e   1 T h e   m o s e f f e c tiv e   w a y   to   id e n tif y   r e le v a n f e a tu r e s   in   m a c h in e   le a r n in g   is   f e a tu r e   s e le c tio n T o   a c h ie v e   m o r e   a c c u r a te   p r e d ic tio n th e   c o n c e p o f   r e le v a n f e at u r es   i s   u s ed   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
        r                IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   77     86   78   mo r e   s t a b l e   l e a r n i n g   mo d e l s .   T h e s e   mo d e l s   a r e   e a s y   t o   u n d e r s t a n d   a n d   a p p l y .   F e a t u r e   s e l e c t i o n   ( F S )   i s   a   cr i t i cal   p r o ced u r t o   i d en t i f y   r el at ed   s u b s et s   o f   f eat u r es   f o r   m ak i ng  a c c ur a t e   pr e di c t i on  i l a r ge   di m e ns i ona l   da t a s e t s   [ 3] .   T he   m e r i t o f   v a r i a b l e   se l e c t i o n   a r e   m u l t i f o l d   a n d   a p p l i c a t i o n   d e p e n d e n t .           Fi g u r e   1 .   Cl a s s i f i c a t i o n   p e r f o r m a n c e   V s   D i m e n s i o n a l i t y   o f   f e a t u r e s       1. 1 .   Ba c k g r o u n d   Va r i a b l e   s e l e c t i o n   p o s t u l a t e s   o f   a l g o r i t h m s   a r e   b r o a d l y   c l a s s i f i e d   i n t o   t h r e e   c a t e g o r i e s   t o   m e a s u r e   re l e v a n c e   a n d   re d u n d a n c y   o fe a t u re s .   T h e y   a re   fi l t e r,   w ra p p e r,   a n d   h y b ri d   m e t h o d s .   F i l t e m e t h o d s   a d o p t   a   me a s u r e   o f   s t a t i s t i c s   t o   a l l o c a t e   a   c o u n t   f o r   e a c h   a n d   e v e r y   f e a t u r e s   l i k e   n u me r i c a l   o r   c o n t i n u o u s ,   n o mi n a l   o r   di s c r e t e   a nd  c l a s s   l a be l   va l ue s .   B a s e d   on  t he   c ount ,   t he   f e a t ur e s   a r e   r a nke a nd  e i t he r   pr e f e r r e t be   ke pt   or   el i m i n at ed   f r o m   t h d at as et .   T h i s   i s   s eem ed   t o   b v er y   s i m p l an d   s cal as   t h n u m b er   o f   s am p l es   an d   di m e ns i ons   i nc r e a s e .   Th e   f i l t e r s   a r e   s e l e c t e d   a s   t h e   m o s t   p r o d u c t i v e   m e t h o d   i n   c o mp a r i s o n   w i t h   w r a p p e r   a n d   em b ed d ed   m et h o d s   h av i n g   l ear n i n g   i n d ep en d en ce,   eas o f   i m p l em en t at i o n ,   g o o d   g en er al i zat i o n   ab i l i t y   an d   be t t e r   c om put a t i ons   [ 3] .   T he   l i m i t a t i on  of   f i l t e r   m e t hods   i s   t he   f e a t ur e s   a r e   c a l c ul a t e one   by  one .   I t   a l s ig n o r e s  th e  a s s o c i at i o n   am o n g   f eat u r es   an d   o v er l o o k s   t h co l l ab o r at i o n   w i t h   t h l ear n er .   Th e   c h o i c e   o f   a   f e a t u r e   s u b s e t   i s   p e r f o r m e d   i n   w r a p p e r   m e t h o d s   a s   a   s e a r c h   p r o b l e m   [ 4 ] .   S e a r c h i n g   re fe rs   t o   g l o b a l   a n d   l o c a l   s e a rc h .   G l o b a l   s e a rc h   s e a rc h e s   d i s t i n c t i v e   a re a s   i n   t h e   s e a r ch   s p ace,   an d   s ear ch i n g   in   th e   lo c a s e a r c h   s p a c e   is   lo c a s e a r c h A   b r o a d   c la s s if ic a tio n   o f   s u b s e e x a m in a tio n   a p p r o a c h e s   m a y   b e   sy st e m a t i c   su c h   a a   B F S ( B e st   F i r st   S e a r c h )   a n d   a   st o c h a st i c   se a r c h ,   su c h   a r a n d o m   h i l l   c l i m b i n g   a l g o r i t h m ,   br a nc a nd  bound,   an d   ev o l u t i o n ar y   m et h o d s .   T h k i n d s   o f   g r eed y   s e ar ch   s t r at eg i es   ar h eu r i s t i cs .   Th e y   a r e   f o r w a r d   s t e p w i s e   s e l e c t i n g   o p t i o n ,   w h i c h   i n c l u d e s   v a r i a b l e s   g r a d u a l l y   i n t o   i n c r e a s i n g   f e a t u r e   su b se t a n d   b a c k w a r d   st e p w i se   e l i m i n a t i n g   o p t i o n   b e g i n f r o m   a l l   v a r i a b l es   a nd  gr a dua l l r e m ove   t he   mi n i mu fa v o u ra b l e   o n e s   [4 ].   A m o n g   a l l ,   g re e d y   s e a rc h   m e t h o d s   a re   m o re   a d v a n t a g e o u s   c o l l e c t i v e l y   a n d   st r o n g   a g a i n st   o v e r f i t t i n g .   B u t ,   t h e   w r a p p e r   m e t h o d   i n t e r a c t w i t h   a   c l a ssi f i e r .   I t   u su a l l y   e v a l u a t e t h e   f e a t u r e co n j o i n t l y   a nd  c ons i de r s   t he   c ont i nge nc a m ong  t he m   t s e l e c t   t he   m os t   i de a l   f e a t ur e s   a ga i ns t   t he   e xi s t i ng  fe a t u re s   s e t .   D i s a d v a n t a g e s   o w ra p p e rs   e n t a i l   m o re   e x p e n s e   c o m p u t a t i o n a l l t ha t he   r e s t   of   t he   m e t hods .   It   c o n s u m e s   m o re   t i m e ,   m o re   v u l n e ra b l e   t o   c a u s e   o v e rfi t tin g a n d   m o r e   le a r n in g   d e p e n d e n c y F o r   th is   r e a s o n hybr i m e t hods   a r e   a dopt e t e nha nc e   t he   s e a r c a l gor i t hm .   H ybr i s t r a t e gi e s   a r e   m or e   or   l e s s   r e l a t e t t he   wr a p p e r   s t r a t e g i e s .   Hy b r i d   m e t h o d s   c o n s i d e r   t h e   g o o d   c h a r a c t e r i s t i c s   o f   m o r e   t h a n   o n e   t e c h n i q ue   a r e   j oi ne to   im p r o v e   th e   s ig n if ic a n c e   o f   th e s e   te c h n iq u e s   [ 5 ] T h e y   le a r n   w h ic h   f e a tu r e s   c o n tr ib u te   th e   b e s to   th e   pr e c is io n   of   t he   m ode l ,   w he t he   m ode l   i s   c ons t r uc t e d.   F e a t ur e   s ubs e t s   a r e   e nha nc e by  c e r t a i goodne s s   cr i t er i a.   F eat u r es   ar s el ect ed   dur i ng  t r a i ni ng,   but   i t   i s   done   s e pa r a t e l i w r a ppe r s .   T he   t r a i ni ng  da t a   i s   us e in   a   b e tte r   w a y   to   e v a lu a te   s u b s e ts   b y   n o r e q u ir in g   a   s e p a r a te   v a lid a tio n   se t .   T h i m e t h o d   a l so   su p p o r t s   fa s t   t ra i n i n g .     1. 2.    Ob j e c t i v e s   In   c o n c e p t u a l   l e v e l ,   t h e   c o n c e p t   le a r n in g   ta s k   is   d iv id e d   in to   tw o   s u b ta s k s S e le c tio n   o f   f e a tu r e s   a n d   de c i s i on  a bout   f e a t ur e   c om bi na t i on.   I t hi s   obs e r va t i on,   t he   obj e c t i ve   of   t hi s   pa pe r   i s   out l i ne a s   be l ow .   -   To   b u i l d   u p   a   p r o p o s e d   m e t h o d o l o g y   w i t h   t h e   h y b r i d   f r a m e w o r k   o f   f i l t e r s   a n d   wr a p p e r   a n d   t o   p e r f o r m   ex p er i m en t s   t o   ev al u at t h p er f o r m an ce  o u t co m es   f o r   co n t i n u o u s ,   cat eg o r i cal   an d   h y b r i d   d at a.   -   To   g e t   r i d   o f   f e a t u r e s   w h i c h   a r e   o f   i r r e l e v a n t   a n d   r e d u n d a n t .   -   To   r e d u c e   e r r o r   a n d   t o   b o o s t   t h e   a c c u r a c y   o f   c l a s s i f i c a t i o n   r e s u l t s   -   To   s e l e c t   s u b s et   o f   o p t i m al   f eat u r es   f r o m   t h en t i r s et .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   h y b r i d   f e a t u r e   s e l e c t i o n   m e t h o d   f o r   h u g e   d i m e n s i o n a l   d a t a s e t s   ( F. Ro s i t a   K a m a l a )   79   1. 3     Li t e r a t u r e   R e v i e w     Th e   b e n e f i t s   o f   f e a t u r e   s e l e c t i o n   m e t h o d s   i n c l u d e   g o o d   i n t e r p r e t a b i l i t y   o f   m o d e l s ,   t a k e   v e r y   s h o r t   tr a in in g   c o m p u ta tio n   tim e   a n d   r e d u c e   o v e r f ittin g   b y   im p r o v e d   g e n e r a liz at i o n   i n   cl a ssi f i c a t i o n   m o d e l s.   In   t h e   m o s t   re c e n t   d e c a d e s ,   s e v e ra l   h y b ri d   t e c h n i q u e s   b a s e d   o n   P a rt i c l e   S w a rm   O p t i m i z a t i o n   (P S O h a v e   be e put   f or w a r d,   w i t be t t e r   out c om e s .   A   c om bi na t i on  m e t hod  i nvol vi ng  P S O   a nd  A C O   (A n t   Co l o n y   O p t i m i z a t i o n )   w a s   a d o p t e d   i n   [ 6 ] . T h i s   h ybr i m e t hod  ove r c om e s   t he   de m e r i t s   of   P S O ,   by  not   co n v er t i n g   t h n o m i n al   i n t o   b i n ar y   an d   g et   r i d   o f   t h p r ep r o ces s i n g   p h as e. T h i s   al g o r i t h m   w as   m o d i f i ed   t o   PSO / A C O 1   f o r   o p t i m i z i n g   b o t h   t h e   c o n t i n u o u s   a n d   n o m i n a l   a t t r i b u t e s   a n d   PSO / A C O 1   f o r   m a n a g i n g   co n t i n u ous   da t a .   T he s e   m e t hods   pr ove   be t t e r   pe r f or m a nc e   i ge ne r a t i ng  s m a l l   a nd  s i m pl e   r ul e   s e t s .   N e kka   su g g e st e d   a   h y b r i d   se a r c h   m e t h o d   b y   t h e   c o m b i n a t i o n   o f   H a r m o n y   S e a r c h   A l g o r i t h m   ( H S A )   a n d   S t o c h a st i c   Lo c a l   S e a r c h   ( S LS )   f o r   l e a r n i n g   p r o b l e m s   i n   m a c h i n e   l e a r n i ng  [ 7] .   T hi s   w r a ppe r   a l gor i t hm   us e s   S uppor t   V ect o r   M ach i n ( S V M )   cl as s i f i er .   Th e   e x p e r i m e n t a t i o n   o u t c o m e s   v i n d i c a t e   t h a t   H S A - SL i s   g i v i n g   b e t t e r   re s u l t s   t h a n   H S A   a n d   G e n e t i c   A l g o ri t h m   (G A ).   A b d u l l a h   S a e e d   G h a re b   e t   a l .   p ro p o s e d   a   h y b ri d   m e t h o d o l o g y   to   im p ro v e   t h e   c ro s s o v e a n d   m u t a t i o n   o p e ra t o rs   o G A   i n   c o n s i d e ra t i o n   o t h e   b e n e fi t s   o fi l t e t e c h n i q u e s   [8 ].   In   t h e   n e x t   s t e p ,   s u b s e t s   o d i ffe re n t   s i z e s   a n d   i m p o rt a n c e   w e re   d e v e l o p e d   u s i n g   h y b ri d   a p p ro a c h e s .   Hy b r i d   a p p r o a c h e s   p r o v e d   a n   e f f e c t i v e   i m p r o v e m e n t   in   te r m s   o f   p e r f o r m a n c e   a n d   tim e A f e f   B e n   B r a h im   e al .   s u g g es t ed   f i l t er   w r ap p er   h y b r i d   m et h o d   b y   s el ect i n g   f ew   n u m b er   o f   f eat u r es   i n   t h f i l t er   p h as e,   b as ed   on  i ns t a nc e   l e a r ni ng  [ 9] .   I t he   s e c ond  pha s e ,   a   c oope r a t i ve   s ubs e t   s e a r c w a s   us e a s   a   w r a ppe r   a nd  cl as s i f i cat i o n   al g o r i t h m .   E x p er i m en t at i o n   w i t h   can cer   d at as et s   p r o v ed   t h at   t h h y b r i d   m et h o d   o u t p er f o r m s   t h st a t e - of - th e - ar t   al g o r i t h m s .     Tw o   h y b r i d   F S   a l g o r i t h m s ,   w h i c h   a r e   s i m p l e   a n d   e f f i c i e n t   c o m b i n e   t h e   w r a p p e r   m e t h o d   u s i n g   a   Bi n a r y   D i f f e r e n t ia E v o lu tio n   ( B D E )   a lg o r ith m   b y   A p o llo n e a [ 1 0 ] E x p e r im e n ta tio n s   w ith   m ic r o a r r a y   da t a s e t s   l e s s e t he   qua nt i t of   t he   c hos e f e a t ur e s   e f f e c t i ve l y,   r e s ul t i ng  a   be t t e r   a c c ur a t e   c l a s s i f i e r s   t ha i t he   ma j o r i t y   o c c a s i o n s   a n d   r o b u s t n e s s .   E z g i   e t   a l .   s u g g e st e d   a   h y b r i d   m e t h o d   b y   c o m b i n i n g   a r t i f i c i a l   b e e   c o l o n y   opt i m i z a t i on  m e t hod  w i t di f f e r e nt   e vol ut i on  a l gor i t hm s   f or   c l a s s i f i c a t i on  ta s k   in   f e a tu r e   s e le c tio n   [ 1 1 ] .   Th i s   s t u d y   r e v e a l s   t h a t   t h e   h y b r i d   m e t h o d   e n h a n c e s   t h e   c l a s s i f i c a t i o n   r e s u l t s   a n d   r u n   t i m e .   A   tw o  s te p  s tr a te g y   is   w e ll - lik e d   in   f e a tu r e   s e le c tio n   o n   la r g e   d im e n s io n s   o f   d a ta b y   e m p lo y in g   f ilte r s   to   m in im iz e   th e   di m e ns i ons   of   f e a t ur e s .   A   f ur t he r   t w o - pha s e   i w hi c G a i R a t i w a s   a dopt e a s   a   f i l t e r   t c hoos e   t he   be s t   sc o r e d   d i m e n si o n a n d   c o m b i n e w i t ba c kw a r e l i m i na t i on  a l gor i t hm   pr i or   t e xe c ut i ng  P S O   by  R os i t a   e t   al .   O u t co m es   v i n d i cat t h at   t h i s   m et h o d   p r o d u ced   b et t er   cap ab i l i t y   f o r   t h n u m er i cal   d at as et s   b u t   n o t   f o r   nom i na l   a nd  m i c r oa r r a da t a s e t s   w i t m or e   e xe c ut i on  t i m e   [ 12] .   H ui j ua L et   al .   s u g g es t ed   h y b r i d i zed   F S   al g o r i t h m   u s i n g   m u t u al   i n f o r m at i o n   m ax i m i zat i o n   an d   ad ap t i v g en et i al g o r i t h m   co m b i n at i o n   f o r   g en d at to   e n h a n c e   th e   M I M A G A   a lg o r ith m   b y   e m p lo y in g   f o u r   c la s s if ie r s E x p e r im e n ta tio n   v in d ic a te s   th a th e   accu r acy   r at es   f o r   al l   d at as et s   p r o v ed   t o   b h i g h er   t h an   8 0 % ,   w he de m ons t r a t e t he   r obus t ne s s   of   t he   a l gor i t hm   [1 3 ].   M o h a m e d   e t   a l .   a d o p t e d   a   H y b ri d   B i n a ry   B a t   E n h a n c e d   P a rt i c l e   S w a rm   O p t i m i z a t i o n   Al g o r i t h m   wi t h   b a t   a l g o r i t h m   a n d   e n h a n c e d   P S f o r   p e r f o r m a n c e   i m p ro v e m e n t s   i n   UC I   da t a s e t s   [ 14] .   To   e n h a n c e   t h e   k - Ne a r e s t   Ne i g h b o u r   c l a s s i f i e r ( k NN) ,   P S i s   u p d a t e d   wi t h   th e   n o v e f itn e s s   f u n c tio n   [ 1 5 - 16] .   Th e   o u t c o m e s   h a v e   p r o v e d   h i g h e r   a c c u r a c y   o f   v e r y   s m a l l   f e a t u r e   s u b s e t s .   Li t e r a t u r e   s t u d y   r e v e a l s   t h a t   d i f f e r e n t   h y b r i d   m e t h o d s   h av b een   p r o p o s ed   n o t   o n l y   t o   s o l v f eat u r se l e c t i o n   i ssu e b u t   a l so   t o   r e so l v e   o p t i m i z a t i o n   p r o b l e m s.   C o n se q u e n t l y ,   t h i p a p e r   p r o p o se a   m e t h o d o l o g y   of   t he   hybr i f r a m e w or by  c om bi ni ng  t he   m e r i t s   of   f i l t e r   a nd  w r a ppe r   m e t hods   f or   F S   pr obl e m s   i m a c hi ne   le a r n in g I n   th is   p a p e r th e   f ilte r s   c h s q u a r e F - st a t i st i c ,   a n d   m u t u a l   i n f o r m a t i o n ,   a n d   w r a p p e r   P S O   a r e   ev al u at ed .   T h p r o p o s ed   m et h o d o l o g y   p r o v es   b et t er   o u t co m es   ag ai n s t   s t at o f   t h ar t   o f   t h f i el d   m en t i o n ed   in   th e   lite r a tu r e   s u r v e y   u s in g   U C I   a n d   m ic ro a rra y   d a t a s e t s .   T h e   re s u l t s   o b t a i n e d   p ro v e   t h a t   t h e   m e t h o d   IH F S   is   f o u n d   to   b e   th e   b e s r e g a r d in g   a c c u r a c y a n d   c o m p u ta tio n   tim e   w h e n   c o m p a r e d   w ith   th e   v a r ie ty   o f   m e th o d s   in   th e   e x is tin g   lite r a tu r e H o w e v e r if   its   a c c u r a c y   o f   c la s s if ie r s   is   im p r o v e d   w it t he   r un  t i m e ,   i t   i s   c ons i de r e as   t h t o p   b es t   an d   r es u l t i n g   b et t er   i m p r o v em en t s   f o r   b i g g er   d i m en s i o n s .   Th e   o r g a n i z a t i o n   o f   t h i s   p a p e r   i s   a s   fo l l o w s .   T h e   d e t a i l e d   re p re s e n t a t i o n   o t h e   p ro p o s e d   h y b ri d   fra m ew o r k   i s   o u t l i n ed   i n   s ect i o n   2 .   Th e   e x p e r i m e n t a t i on  out c om e s   of   t he   pr opos e m e t hod  a nd  t he   c om pa r a t i ve   s t udy  w i t t he   r e l e va nt   w or ks   ar o u t l i n ed   i n   s ect i o n   3 .   I n   t h l as t   p ar t ,   t h co n cl u d i n g   o b s er v at i o n s   an d   t h i n f o r m at i o n   f o r   f u t u r s co p ar pr e s e nt e i s e c t i on  4.       2.   ME T H O D   A N D   MA T E R I A L S   2. 1 .  M e t h o d s   o f   Th e   Pr o p o s e d   W o r k     In   t h i s   p a p e r,   a   h y b ri d   m e t h o d   i s   fo rm u l a t e d   fro m   C h i   s q u a re ,   F - St a t i s t i c ,   m u t u a l   i n f o r m a t i o n ,   a n d   PSO   a l g o r i t h m s   t o   f i n d   s o l u t i o n s   f o r   FS   pr obl e m s   i m a c hi ne   l e a r ni ng  t a s ks .       Evaluation Warning : The document was created with Spire.PDF for Python.
        r                IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   77     86   80   2. 1. 1.   Ch i - Squa r e   T e s t ( C H I )   CH I   c o m p u t e s ,   h o w   th e   o b s e r v e d   f r e q u e n c y   d a ta   v a lu e s   f its   w e ll  w ith   th e   e x p e c te d   f r e q u e n c y   d a ta   va l ue s   of   i nde pe nde nt   va r i a bl e s .   S o,   i t   i s   na m e a   " goodne s s   of   f i t "   t e s t   [1 7 ] T h e   c h s q u a r e   a ttr ib u te   w e ig h ope r a t or   m e a s ur e s   t he   a t t r i but e s   w e i ght   r e ga r di ng  t he   l a be l   a t t r i b ut e   by  m e a ns   of   t he   c hi   s qua re   s t a t i s t i c .   If  t h e   a t t ri b u t e   w e i g h t   i s   h i g h e r,   t h e   a t t ri b u t e s   a re   c o n s i d e re d   m o re   re l e v a n t .   N o rm a l l y ,   t h e   C H s u m   u p   t h e   sq u a r e o f   t h e   d i sc r e p a n c i e b e t w e e n   t h e   e x p e c t e d   o c c u r r e n c e   a n d   t h e   o b se r v e d   o c c u r r e n c e ,   t o   t h e   e x p e c t e d   fre q u e n c y   o o u t c o m e s   [1 8 ] T h e   C H I   te s is   a   n o n p a r a m e tr ic   s to c h a s tic   p r o c e d u r e T h e r e   a r e   s o m e   ad v an t ag es   o f   n o n p ar am et r i t ech n i q u es .   I t   i s   f ai r l y   eas y   t o   co m p u t e.   I t   m eas u r es   d at o n   t h b as i s   o f   cl as s i f i cat i o n .   T he   C H I   te s can   o n l y   b ap p l i ed   f o r   l ab el s   o f   cat eg o r i cal   v ar i ab l es .   He n c e ,   th is   s tu d y   h a s   ta k e n   C H I   to   ach i ev b et t er   r es u l t s .     2. 1. 2.     - St a t i s t i c   St a t i s t i c   i s   a   t e s t   i n   s t a t i s t i c s   i n   t h a t   u n d e r   t h e   n u l l   h y p o t h e s i s ,   t h e   t e s t   d a t a   h a v e   d i s t r i b u t i o n .   On e   can   m eas ur e   i t ,   i f   t he   di m e ns i on  i s   num e r i c   [ 1 9 ].   H o w e v e r,   t h e   c l a s s   h a v i n g   o n e   o C   d i s t i n c t   n o m i n a l   va l ue s   i s   m e nt i one be l ow .      2 / ) (  ) ) / )   (1 )     W he r e   P c   -   th e   s a m p le   in d ic e s   p a r titio n   { 1 ,2 ,3 ,....n } ,   be l ongi ng   to   th e   p a r titio n   in d e x e d   b y   c a n d   =   Th i s   f o r m u l a   c o r r e s p o n d s   to   th e   f r a c tio n   o f   th e   v a r ia tio n   a m id   c lu s te r s   a n d   th e   me a n   v a r i a n c e   i n s i d e   t h e   c l u s t e r s .   L a r g e r   r e l e v a n c e   i mp l i e s   h i g h   v a l u e d .     2. 1. 3.     Mu t u a l   In f o r m a t i o n ( M I)   MI   c o m p u t e s   t h e   f r e q u e n t   i n f o r m a t i o n   a m i d   a n y   t w o   f e a t u r e s   t h a t   a r e   a r b i t r a r y   i n   n a t u r e ,   i f   b o t h   t h e   di m e ns i on  a nd  t he   c l a s s   ha v e   nom i na l   va l ue s   [ 20 ].   L a rg e v a l u e s   s h o w   s u p e ri o s i g n i fi c a n c e .   d i m e n s i o n   s e t   D   { d 1 ,   d 2 ,.....d n of   a e xa m pl e   s e t   of   di m e ns i ons ,   t he   di m e ns i on  r e duc t i on  pr oc e s s   e s t a bl i s he s   a   s ubs e t   P   wi t h   k   d i m e n s i o n s ,   wh e r e   k     n   a n d   P D.   T h e r e f o r e ,   P   t h e   s u b s e t   s h o u l d   y i e l d   e q u a l   o r   s u p e r i o r   a c c u r a c y   o f   cl as s i f i er s   w h en   co m p ar ed   t o   t h o r i g i n al   d i m en s i o n   s et .   S p eci f i cal l y th e   d im e n s io n   r e d u c tio n   d e f in e s   th e   su b se t   o f   d i m e n si o n t h a t   i m p r o v e M I   w i t h   a n   out put   c l a s s   C   i s   M I   ( P ,   C)   [ 3 ] .     MI ( X ,   Y)   =   H( Y)     H( Y| X)   (2 )     wh e r e   e n t r o p y   H(   ) ,   a n d   a r e   r a n d o m   v a r i a b l e s   [2 1 ] .   De f i n i t i o n   1 .   Di m e n s i o n   s i g n i f i c a n c e :   Di m e n s i o n   d i   is   m o r e   s ig n if ic a n to   th e   o u tp u c la s s   C   th e n di m e ns i on  d j   in  th e  p e r s p e c tiv e  o f  th e  c h o s e n  s u b s e t P  w h e n ,       MI   ( d i , P ;C )  >  M I  ( d j ,   P; C ) .     (3 )     2. 1. 4.     PS O   Th e   w r a p p e r   PSO   i s   se l e c t e d   o n   a c c o u n t   o f   a   n u m b e r   o f   m e r i t o u t l i n e d   a b e l o w .   -   PSO   i s   a n   ev o l u t i o n ar y   m et h o d   b as ed   o n   p o p u l at i o n .   -   Un l i k e   m a n y   c o n v e n t i o n a l   t e c h n i q u e s ,   i t   i s   a n   a l g o r i t h m   wi t h   f e we r   d e r i v a t i o n s   an d   l o w   co m p u t at i o n   tim e .   -   It   i s   fl e x i b l e   t o   i n t e g ra t e   w i t h   a d d i t i o n a l   o p t i m i z a t i o n   t e c h n i q u e s   t o   fo rm u l a t e   h y b ri d   m e t h o d s .     In   1 9 9 5 ,   Ja m e K e n n e d y   a n d   R u sse l l   E b e r h a r t   d e v e l o p e d   P S O ,   a f t e r   b e i n g   e n t h u se d   b y   t h e   b i o l o g i st   Fr a n k   H e p p n e r ' s   s t u d y   o f   t h e   b i r d   f l o c k i n g   b e h a v i o u r   [ 22 ].   P S O   i s   a   m e t h o d o l o g y   t o   d i s c o v e s o l u t i o n s   t o   pr obl e m s   a nd  s pe c i f i e a s   a   l oc us   i a   s ol ut i on  s pa c e   of   di m e ns i ons .   A   c l us t e r   of   a r bi t r a r s pe c ks   (s o l u t i o n s i n i t i a l i z e s   P S O   s e a rc h   fo o p t i m u m   v a l u e s ,   b y   mo d i f y i n g   p r o p a g a t i o n s .   A   l a r g e   n u mb e r   o f   pa r t i c l e s   a r e   c hos e i nt a c t i on  t hr ough  t hi s   s pa c e   r a ndom l y.   T he e xa m i ne   t he   " f i t ne s s "   of   t he s e   pa r t i c l e s   an d   t h ei r   ne i ghbour s   i e a c i t e r a t i on  t " e m ul a t e "   t hr i vi ng  ne i ghbour s   by  a dva nc i ng  t ow a r ds   t he m   [ 12 ].   Th e r e   a r e   d i f f e r e n t   m e t h o d s   t o   g r o u p   p a r t i c l e s   i n t o   c h a l l e n g i n g   s e m i - in d e p e n d e n f lo c k s   o r   a   s in g le   g lo b a fl o c k ,   i n c l u d i n g   a l l   t h e   p a rt i c l e s   t h a t   b e l o n g .   T h i s   s e em s   t o   b v er y   ef f ect i v acr o s s   t h d i f f er en t   p r o b l em   dom a i ns .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   h y b r i d   f e a t u r e   s e l e c t i o n   m e t h o d   f o r   h u g e   d i m e n s i o n a l   d a t a s e t s   ( F. Ro s i t a   K a m a l a )   81   2. 2 . T h e   Pr o p o s e d   IH F S   Al g o r i t h m .   Th e   p o w e r s   o f   f i l t e r s   a n d   w r a p p e r s   a r e   c o m b i n e d   i n   t h e   i m p r o v e d   h y b r i d   Fe a t u r e   Se l e c t i o n   al g o r i t h m   [ 5 - 14] A   n o v e f r a m e w o r k n a m e d   th e   I m p r o v e d   H y b r id   Fe a t u r e   Se l e c t i o n   (IH F S M e t h o d   i s   de ve l ope d T h e   p r o p o s e d   I H F S   a lg o r ith m ' s   p s e u d o c o d e   is   s u m m a r iz e d   in   F ig u r e   2 .   Li n e s   1 - 22  a c c ount   f or   t he   pha s e - of   I H F S .   I t he   f i r s t   pha s e ,   th e   tw o   f ilte r   m e th o d s   a r e   s e le c te d   a s   th e   in itia p a r titio n to   e lim in a te   th e   mo s t   u n n e e d e d   o r   e x t r a n e o u s   f e a t u r e s .   C h i   s q u a r e ( C H I ) ,   F   - St a t i s t i c ( FSt a t ) ,   a n d   M u t u a l   I n f o r m a t i o n   ( M I )   a r e   th e   c e n tr a p a r o f   in itia s e le c tio n T h e s e   w e ig h tin g   f u n c tio n s   a r e   s e le c te d b a s e d   o n   th e   ty p e s   o f   d a ta   at t r i b u t es   l i k n u m er i cal   o r   co n t i n u o u s ,   nom i na l   or   di s c r e t e   a nd  c l a s s   l a be l   va l ue s   l i ke   F S t a t   f or   num e r i c   di m e ns i ons   a nd  M I   f or   nom i na l   di m e ns i ons .   T he   m e t hods   out l i ne a bove ,   e va l ua t e   t he   i m por t a nc e   of   t he   fe a t u re s   b y   e v a l u a t i n g   fo e v e ry   fe a t u re   o t h e   d a t a s e t ,   t h e   i m p o rt a n c e   o t h e   fi l t e m e t hod  w i t r e f e r e nc e   t th e   c la s s   la b e l.  T h e   w e ig h ts   o f   f e a tu r e s   w h ic h   c o n te n te d   th e   p r e c is e   c o n d itio n   w ith   r e f e r e n c e   to   th e   w e ig h ts   o f   in p u f e a tu r e s   a r e   s e le c te d   f o r   th e   d a ta s e ts T h e   f ir s s e le c tio n   f hi gh   is   d o n e   b y   C H I Th e   s e c o n d   s e l e c t i o n   f 1   or   f 2   is   d one   by  e i t he r   F S t a t   or   M I .   F r om   a l l   e xi s t i ng  f e a t ur e s ,   t he s e   f e a t ur e s   a r e   m e a s ur e a s   t he   m os t   r e l e va nt   la b e a s s o c ia te d   f e a tu r e s T o   a r r iv e   a b e tte r   r e s u lts th e   f r a m e w o r k   is   to   s u c c e s s f u lly   c o n jo in   th e   tw o   v a r ia b le   su b se t s,   w h i c h   e l i m i n a t e t h e   f r e q u e n t   fe a t u re s   o b o t h   t h e   s e t s .   T h u s   v a ri a b l e   s e l e c t i o n   i s   a c h i e v e d   t o   l e sse n   th e   d im e n s io n   o f   fe a t u re s .   Th e   t w o   r e s u l t a n t   f e a t u r e   s u b s e t s   o f   t h e   f i r s t   p h a s e   h a v e   u n d e r g o n e   a   c o m b i n a t i o n   mo d e l   t o   r e mo v e   unr e l a t e f e a t ur e s   an d   o v er f i t t i n g   f o r   t h f i n et u n ed   p r ep ro c e s s e d   fe a t u re   s u b s e t .   A   m e rg e   pr oc e dur e ,   f or   e xa m pl e   t he   uni on  i s   opt e d.   A s   a out c om e ,   t he   num be r   of   f e a t ur e s   a r e   e l i m i na t e t a ap p r eci ab l m an n er .   T h u s ,   t h p r el i m i n ar y   p r ep r o ces s i n g   s t ep   i s   p er f o r m ed   f o r   U C I   an d   m i cr o ar r ay   re p o s i t o ry   d a t a s e t s .   B y   co m b i n i n g   t h r es u l t an t   p r ep r o ces s ed   f eat u r s u b s et s   i s   n o t   an   ex cel l en t   ch o i ce  as   t h re m o v a l   o re d u n d a n c y   w i l l   l e a d   t o   a n   i m p ro v e m e n t   o a c c u ra c y .           In p u t :   Se t   o f   f e a t u r e s   ={ f i , i =  1 .....n }     C: Cl a s s   l a b e l s .   Ou t p u t :   Se l e c t e d   f e a t u r e s   1. S   {}   2. F or   each   f i   in  F   3. W e i ght ( f i =   F i n d   C h i (f i ,C )   4. E nd  f or   5. S or t   w e i ght   i a c c or da nc e   w i t w e i ght .   6. f hi gh   C h o o s e   f e a t u r e s   w i t h   m o r e   w e i g h t .   7. A ppe nd  f hi gh   to  S . ( S S     {f hi gh })   8.   i f   F   i s N um e r i c   9.   F or   e a c f i   in  F     10.   W e i ght ( f i =   F i n d   F S t a t (f i ,C )  u s in g   Eq n ( 1 ) .   11.   E nd  f or   12.   S or t   w e i ght   i a c c or da nc e   w i t w e i ght .   13.   f 1   C h o o s e   f e a t u r e s   w i t h   m o r e   w e i g h t .   14.   A ppe nd  f 1   to  S . ( S S     {f 1 })   15.   e l s e   i f   F   i s N om i na l   16.   F or   e a c f i   in  F     17.   W e i ght ( f i =   F i n d   M I(f i , C )  u s in g  E q n  2 .   18.   E nd  f or   19.   S or t   w e i gh t in  a c c o r d a n c e  w ith  w e ig h t.   20.   f 2   C h o o s e   f e a t u r e s   w i t h   m o r e   w e i g h t .   21.   A ppe nd  f 2   to  S . ( S S   {f 2 })   22.   E nd  i f   23.   D i vi de   S   i nt da t a s e t s   f or   t r a i ni ng  a nd  t e s t i ng.   Sw a r m   i n i t i a l i z e d .   24.   S pe c i f t he   m a xi m um   i t e r a t i ons   I max   25.   F or   t he   f e a t ur e   s e t   S   ge n er at p ar t i cl es  P   t h ei r   pos i t i ons   P os ( m ,   n)   a nd  ve l oc i t V e l ( m ,   n)   26. C om put e   t he   m a xi m um   i m pe da nc e   pe a ma x _ i mp e d ( m)   c o r r e s p o n d i n g   t o   p a r t i c l e s .   27.   D e s c r i be   t he   be s t   l oc a l   pa r t i c l e   l _be s t   a nd  f i nd  t he   be s t   gl oba l   pa r t i c l e   g_be s t .   28. W hi l e   (   t     I m a )   29.   F or   e a c pa r t i c l e   m   =   :   P   30.   U pda t e   i ne r t i a   w e i ght   ω ,   ve l oc i t y,   pos i t i on.   31.   ω   =   ( ω m   -   ω f I max   - 1/   I max     //  ω   to  m a n a g e  th e  in f lu e n c e  o f  th e  p r e c e d in g  v e lo c itie s   on  t he   pr e s e nt   ve l oc i t y.   32.   V e l ( m ,   n)   =   ω ( t )   V e l ( m ,   n) + C 1 r 1 (l _ b e s t (m ,   n - Po s ( m ,   n ) + C 2 r 2 (g _ b e s t -   Po s ( m ,   n )   C 1   - co g n i zan ce  f act o r   f o r   l ear n i n g ,   C 2   - So c i a l   f a c t o r   f o r   le a r n in g , r 1 , r 2   -   Un i f o r ml y   g e n e r a t e d   r a n d o n u mb e r s   in  th e  r a n g e [ 0 , 1 ] .   33.   P os ( m ,   n)   =   P os ( m ,   n) + V e l ( m ,   n)   34.   W i t hi t he   l ow e r   a nd  uppe r   bounds   l i m i t   t he   pos i t i ons   a nd  ve l oc i t y   35.   E nd  f or   36.   U pda t e   l _be s t ( m ,   n)   a nd  g_be s t ( m ,   n)   a c c or di ngl y.   37.   t   t   + 1   38.   E nd  w hi l e   39.   R e t ur t he   be s t   pa r t i c l e   a s   s ol ut i on.   40.   C r os s   V a l i da t i on( C V )   f or   t he   num be r   of   ne a r e s t   ne i ghbor s   k m i an d   k max   41.   T r a i ni ng  s e t   ha vi ng  C V   w i t va l ue s   1, 2, 3, . . . . . V .   42.   F or   e a c   [k min ,   k max ]   43.   C om put a t i on  of   a ve r a ge   e r r or   r a t e                   V   CV k       e v   /V                 v= 1     44.   e v   -   er r o r   r at e,   O p t i m al   k   =   ar g   { m i n   C V k : k m i     k max }   45.   C l a s s i f i c a t i on  r e s ul t s   pr e di c t i on  pe r f or m a nc e   f or   S   as   fi n a l   s e l e c t e d   s u b s e t   o fe a t u re s .     Fi g u r e   2 .   T h e   p s e u d o c o d e   o f   t h e   p r o p o s e d   I H FS  a l g o r i t h m       Li n e s   2 3 - 39  c or r e s pond  t a   s e c ond  pha s e   of   t he   P S O   w r a ppe r   a ppr oa c t e xpl or e   f or   t he   opt i m a l   fe a t u re   s u b s e t   i n   t h e   fe a t u re   s p a c e   S .   E v e ry   p a rt i c l e   i s   n e e d   t o   b e   m o d i fi e d   b y   t h e   t w o   " fi n e s t "   v a l u e s   fo e a c h   Evaluation Warning : The document was created with Spire.PDF for Python.
        r                IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   77     86   82   ite r a tio n T h e   p a r tic le   s w a r m   o p tim iz e r   tr a c e s   th e   s u b s e q u e n th e   be s t   r e s ul t   a t t a i ne unt i l   now   by  a   f e w   el em en t s   i n   t h p o p u l at i o n   ar r ef er r ed   g b es t ,   g l o b al l y   b es t .   W h en ev er   s p eck s   p ar t i ci p at as   t o p o l o g i cal   ne i ghbour s   i t he   popul a t i on,   t he   f i ne s t   r e s ul t   i s   c a l l e l be s t ,   l oc a l l be s t .   T he   opt i m a l   s ear ch   u s i n g   P S O   w i t h   im p r o v e m e n in   V e lo c ity   V e l( m n )   a n d   th e   s e a r c h   s p a c e   P o s ( m n )   o f   e v e r y   p a r tic le   is   g iv e n   in   lin e s   3 2 - 33.   Fi n a l l y ,   L i n e s   4 0 - 45  c or r e s pond  t t he   c ons e que nt i a l   f e a t ur e   s e t   i s   a ppl i e by  a dopt i ng  10  f ol C r os s   Va l i d a t i o n ( C V)   a n d   s t r a t i fi e d   s a m p l i n g   t o   a d v a n c e   t h e   c l a s s i fi e rs   a c c u ra c y .   T h i s   i s   t h e   e x c e l l e n t   t u n i n g   s t e p   to   y ie ld   th e   f in e s f e a tu r e   s e t.   IH F S   i s   v e ry   e ffi c i e n t   i n   e l i m i n a t i n g   t h e   i rre l e v a n t   a n d   u s e l e s s   fe a t u re s .   Be c a u s e ,   t h e   m a j o r i t y   o f   t h e   i n s i g n i f i c a n t   f e a t u r e s   a r e   r u l e d   o ut ,   s ubs e que nt   t t he   f i r s t   s t e of   t he   f i l t e r   me t h o d .   I t   a l s o   e l i mi n a t e s   t h e   e x p o n e n t i a l   c a l c u l a t i o n   p r o b l e o f   w r a p p e r   a p p r o a c h   i n   t h e   su b se q u e n t   st e p .   Th e   e x p e r i m e n t a l   r e s u l t s   r e c o m m e n d   t h a t   t h e   I H F S   w o r k s   w e l l   o n   a n   e x t e n s i v e   r a n g e   o f   p r o b l e m s .       2. 3   k - Ne a r e s t   Ne i g h b o u r   Cl a s s i f i c a t i o n   ( k - NN)   On e   o f   t h e   m o s t   c o m m o n   n o n p a r a m e t r i c   m e t h o d s   i s   t h e   k - NN[ 1 5 ] T h e   o n e   a n d   o n ly   p a r a m e te r k   is   th e   q u a n tity   o f   n e a r b y   n e ig h b o u r s c a n   b e   d e te r m in e d   a n d   im p le m e n te d   e a s ily T h e   k e y   p e r f o r m a n c e   o f   th e   cl as s i f i cat i o n   pr oc e s s   i s   t he   num be r   of   ne a r by  ne i ghbour s .   k - NN  c a l c u l a t e s   t h e   m i n i m u m   d i s t a n c e   c a l l e d   Eu c l i d e a n   d i s t a n c e ,   i s   a   n e w   e n t i t y   o f   t e s t   s a m p l e s   f r o m   t h e   t r a i n i n g   s a m p l e s   [ 16 ].   T o   e n h a n c e   t h e   l e a rn i n g   pe r f or m a nc e ,   t he   va r i a bl e   m us t   be   m odi f i e i a c c or da nc e   wi t h   t h e   v a ri o u s   d a t a s e t s   d i s t i n c t i v e n e s s .   To   c l a s s i f y   n   s a m p l e s ,   t h e y   a r e   s u b d i v i d e d   i n t o   o n e   t e s t   i n s t a n c e   a n d   n - t r a i ni ng  i ns t a nc e s   i e ve r i t e r a t i ve   pr oc e s s   of   e va l ua t i on.     Th e   s u b s e q u e n t   s t e p s   a r e   r e q u i r e d   t o   p e r f o r m   k - NN.   -   Se l e c t i n g   k :   A f t e r   s o m e   i t er at i o n s ,   k   v al u i s   as cer t ai n ed   b y   t h f i n es t   r es u l t .   -   Ca l c u l a t i n g   D i s p l a c e m e n t :   E u c l i d e a n   d i s t a n c e   m e t h o d   i s   a d o p t e d .   -   So r t i n g   d i s t a n c e   i n   a s c e n d i n g   o r d e r :   T h e   m i n i m u m   k   d i s t a n c e s   a r e   f o u n d   b y   t h e   d i s t a n c e   s o r t e d   i n   as cen d i n g   o r d er .         3.   RE S UL T S   A ND  ANAL YS I S     To   a s s e s s   t h e   p r o p o s e d   m e t h o d o l o g y ,   a n   a n a l y s i s   i s   p e r f o r m e d   p r a g m a t i c a l l y .   To   a c c o m p l i s h   an al y s i s ,   an   o p er at i o n al   v er s i o n   o f   t h p r o p o s ed   al g o r i t h m   w as   ex ecu t ed   in   J a v a w ith   th e   R a p id M in e r   te c h n o lo g y I n   tu r n   to   r e a c h   th e   b e s e v a lu a tio n   o f   th e   f itn e s s   fu n c t i o n ,   a   1 0   fo l d   s t ra t i fi e d   C V   m e t h o d   i s   fo l l o w e d   i n   a l l   c l a s s i fi e rs .     3. 1.   D at as e t s   an d   Pa r a m e t e r   S e t t i n g   In   t h i s   s t u d y ,   ei g h t   da t a s e t s   a r e   us e f r om   U C I   r e pos i t or [ 2 3 t o   c o n fi rm   t h e   s u c c e s s ,   a n d   e ffi c i e n c y   of   t he   a l gor i t hm s   i s   de s c r i be i T a bl e   1.   Th e   e x p e r i m e n t s   a r e   a c c o m p l i s h e d   o n   d a t a s e t s   w i t h   m o r e   t h a n   3 0   fe a t u re s .   T h e   a l g o ri t h m   IH F S   i s   a l s o   e x p e ri m e n t e d   w i t h   s i x   w e l l - know m i c r oa r r a da t a s e t s   [ 2 4 s u m m a ri z e d   br i e f l i T a bl e   2.       Ta b l e   1 .   Ex p e r i m e n t a l   d a t a s e t   i n f o r m a t i o n .   Da t a s e t s   #S   #F e a t ur e s   #C   To t a l   Nu me r i c   No mi n a l   Gl a s s   214   9   9   0   6   So n a r   208   60   60   0   2   Ve h i c l e   846   18   18   0   4   Io n o s p h e re   (Io n o )   351   34   34   0   2   Ch e s s   3196   36   0   36   2   Sp l i c e   3190   61   0   61   3   He p a t i t i s   155   19   6   13   2   Ly m p h   148   18   3   15   4   #S   ( N o.   of   S a m pl e s )   #C   ( N o.   of   Cl a s s e s )     Ta b l e   2 .   H i g h   d i m e n s i o n a l   mi c r o a r r a y   d a t a s e t s .   Da t a s e t s   #G e ne s   #S   #C   Ov a r i a n   C a n c e r   (O v a ri a n )   15154   253   2   ML L   12582   72   3   Le u k e m i a 2 C   (L e u k - 2C )   7129   72   2   Lu n g   C a n c e r   (L u n g )   12533   181   2   CN S   7129   60   2   (L e u k - 4C )   7129   72   4   #S   ( N o.   of   S a m pl e s )     #C   ( N o.   of   C l a s s e s )         Th e   s e t t i n g   o f   p a r a m e t e r s   f o r   P S O   i s   a s   f o l l o w s .   P o p u l a t i o n   s i z e   i s   1 0 0 .   U p p e r   l i m i t   n u m b e r   o f   ge ne r a t i ons   i s   30.   T he   pa r a m e t e r s   l i ke   i ne r t i a   w e i ght ,   l oc a l   be s t   w e i ght   a nd  gl oba l   be s t   w e i ght   a r e   s e t   t 1. 0.   Dy n a m i c   i n e r t i a   we i g h t   i s   t r u e   s o   t h a t   t h e   i n e r t i a   we i g h t   i s   e n h a n c e d   d u r i n g   e x e c u t i o n . T o   e v a l u a t e   t h e   le a r n in g   m o d e l,  e x p e r im e n ts   a r e   c o n d u c te on  a l l   i ns t a nc e s   w i t 10  -   fo l d   C V   a n d   a d o p t e d   a   k - NN  t e c h n i q u e   to   a c h ie v e   a   b e tte r   p e r f o r m a n c e I n   k N N   c la s s if ie r m e a s u r e   ty p e   is   th e   ' M ix e d   M e a s u r e '   a n d   m ix e d   m e a s u r e   is  th e  ' M ix e d  E u c lid e a n  D is ta n c e ' .     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   h y b r i d   f e a t u r e   s e l e c t i o n   m e t h o d   f o r   h u g e   d i m e n s i o n a l   d a t a s e t s   ( F. Ro s i t a   K a m a l a )   83   3. 2.   P e r f or m an c e   An a l y s i s     Th e   C V   m a i n t a i n s   a n   a ppa r e nt   a m ount   of   da t a   f or   t e s t in g   an d   u s t h r es t   f o r   t r ai n i n g .   T h n   f o l d   CV   cl as s i f i es   t h s am p l d at t o   n   r o u g h l y   eq u al   d i v i s i o n s ,   o n i s   u s ed   f o r   t es t i n g ,   an d   t h r es t   f o r   t r ai n i n g .   T h u s ,   th e   C V   b r in g s   a ll  in s ta n c e s   to   p a r tic ip a te   b o th   in   tr a in in g   a n d   te s tin g   m o d e ls .   Cl a s s i f i c a t i o n   p e r f o r m a n c e   i s   be s t   i nt e r pr e t e by  a a ppr opr ia te ly   n a m e d   to o c a lle d   th e   c o n f u s io n   m a tr ix   [ 25 ].   T h e   c l a s s i fi e a c c u ra c y   c a n   be   vi e w e i one   of   f our   pos s i bl e   w a ys .   T he a r e   T P   ( T r ue _P os i t i ve ) ,   F P   ( F a l s e _P os i t i ve ) ,   F N   (F a l s e _ N e g a t i v e a n d   T N   (T ru e _ N e g a t i v e ).   Th e   a c c u r a c y   o f   t h e   p r o p o s e d   I H F S   a l g o r i t h i s   c o mp a r e d   w i t h   th e   tr a d itio n a m et h o d s   o f   f eat u r s el ect i o n   i n   F ig u r e   3 Th e   r e s u l t s   o f   f i t n e s s   f u n c t i o n s   P r e c i s i o n ( P r ) ,   a n d   Re c a l l ( Rc )   o f   t h e   I H F S   w i t h   d i f f e r e n t   c o m b i n a t i o n s   a r e   s h o w n   i n   F ig u r e   4 .   Sp e c i f i c i t y   i s   T N / ( T N +FP) .   Pr e c i s i o n   i s   T /   ( T FP ).   R e c a l l   i s   a l s o   g i v e n   b y   T P   /   (T P   +   F N ).   A c c u ra c y   =   [T P   +   T N ]/ [T P   +   F P   +   T N   +   FN ] .   Th e   re s u l t   of   t hi s   st u d y   in   F ig u r e   3   de pi c t s   th e   m o s s ig n if ic a n o u tc o m e s   of   t he   pr opos e a l gor i t hm .   In   al m o s t   al l   d at as et s   t h e   accu r acy   of   t he   pr opos e d   st u d y   sh o w a n   e n or m ous   i m pr ove m e nt   t ha t he   t r a di t i ona l   fi l t e m e t h o d s   C H I,   FSt a t ,   M I ,   a n d   w r a p p e r   PSO .   De p e nd  on  t he   out c om e s   obt a i ne i F ig u r e   4 th e   pr os pe c t i ve   m e t hod  IH F S   is   f o u n d   to   b e   th e   b e s in   te r m s   o f   p r e c is io n   a n d   r e c a ll  in   c o m p a r is o n   w ith   th e   di f f e r e nt   t r a di tio n a me t h o d s   in   th e   lite r a tu r e   lik e   CH I ,   FSt a t ,   M I ,   a n d   w r a p p e r   PSO   an d   y i el d s   m as s i v im p r o v e m e n t.           Fi g u r e   3 . A c c u r a c y  C o m p a r is o n  o f  th e  f r a m e w o r k  I H F S  w ith  f ilte r s  a n d  w r a p p e r s .             Fi g u r e   4 . C o m p a r a tiv e  s tu d y  o f  P r e c is io n , a n d  R e c a ll  o f  th e  I H F S  w ith   tr a d itio n a l e x is tin g  m e th o d s .       3. 3.     An a l y s i s   o f   Pe r f o r m a n c e   M e a s u r e   A s   K a p p a   Co h e n s   K a p p a   s t a t i s t i c   i s   s t a t i s t i c a l l y   s t r o n g   [ 2 6 ].   It   i s   c o n s i d e re d   a s   o n e   o t h e   e v a l u a t i o n   m e a s u re s   in   c la s s if ic a tio n   p e r f o r m a n c e I is   s u p p o r tiv e   a n d   a c c e p ta b le   to   te s t,  a s   a n   e v a lu a tio n   m e a s u r e   o f   th e   v a r ia b le   se l e c t i o n   m e t h o d s.   T h u s,   t h e   K a p p a   c o e f f i c i e n t   i b e n e f i c i a l ,   an d   i t   u s es   s m al l er   n u m b er   o f   at t r i b u t es .   Th e   p r o p o s e d   I H F S   p e r f e c t l y   a g r e e s   w i t h   t h e   a b o ve - me n t i o n e d   K a p p i n t er p r et at i o n   i s   r ep r es en t ed   in   T a b le   3.   Ka p p a   a s   a n   e f f i c i e n c y   m e a s u r e ,   e n h a n c e s   t h e   s t r e n g t h   o f   t h e   f e a t u r e   s e l e c t i o n   s t r a t e g i e s .   T h i s   i s   be c a us e   K a ppa   puni s he s   r a ndom ne s s   a nd  not   pe r f or m a nc e .   T he   noi s f e a t ur e s   t ha t   do  not   a f f e c t   t he   co r r ect   le a r n in g   r a te b u im p a c K a p p a T h e r e f o r e ,   Ka p p a   i s   t h e   m o s t   a p p r o p r i a t e   m e a s u r e ,   wh i c h   s e l e c t s   t h e   s u b s e t s   0 50 100 150 P r e c i s i o n ( %) Si g ni f i c a nc e   m e a s ur e   P r e c i s i o IH F S Fi l t e r ( F - S t at / M I ) Fi l t e r ( C H I ) PS O 0 50 100 150 Gl a s s So na r Ve h i c l e Io n o Ch e s s Spl i c e He p a t i t i s Ly m p h Ov a r i a n ML L Le u k - 2C Lu n g   CNS Le u k - 4C R e c a l l ( %) Si g ni f i c a nc e   m e a s ur e   R e c a l l   IH F S Fi l t e r ( F - S t at / M I ) Fi l t e r ( C H I ) PS O Evaluation Warning : The document was created with Spire.PDF for Python.
        r                IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   77     86   84   of   s m a l l e r   s i z e   a nd  doe s   not   i nc l ude   t he   noi s f e a t ur e s .   A   K a ppa   of   a   l i m i t   f r om   0. 81  t 0. 99  e nt a i l s   a l m os t   a id e a l a g r e e m e n t. I d e a l a g r eem en t   w o u l d   eq u at t o   K ap p o f   one .     3. 4.     MA E   ( Me a n   A b s o l u t e   E r r o r )   a n d   R MS E   ( R o o t   Me a n   S q u a r e d   E r r o r )   a n a l y s i s   Th e   t w o   e r r o r   m e a s u r e s   M A a n d   R M S e s t i m a t e   t h e   a c c u r a c y   p r e d i c t i o n   [2 7 ] M A E   is   d e f in e d   a s   th e   m e a n   o f   th e   d if f e r e n c e   o f   tw o   p o in ts   lik e   a ct u al   an d   f i t t ed   p o i n t s .   I t   can   t ak v al u es   f r o m   zer o   t o   i n f i n i t y .   Th e   i d e a l   f i t   i s   p r e v a i l e d   i f   M A i s   z e r o .   R M S i s   a   m e a s u r e   o f   e r r o r   i n   a b s o l u t e   v a l u e .   I t   c a l c u l a t e s   t h e   d if f e r e n c e   s q u a r e   o f   p o s itiv e   a n d   n e g a tiv e   d e v ia tio n s   to   c a n c e o n e   a n o th e r   o u t.  T he   l e a s t   va l ue   of   R M S E   im p lie s  a  m o d e l o f  g o o d  s ig n if ic a n c e .   Ta b l e   4   d e p i c t s   t h e   M A a n d   R M S o u t c o m e s .     3. 5.     Co m p a r a t i v e   An a l y s i s   o T h e   P r o p o s e d   W o r k   T o   St a t e - o f - Th e - Ar t   Fe a t u r e   S e l e c t i o n   M e t h o d s   In   s u m m a ry ,   t h e   o u t c o m e s   i n   T a b l e   5   a n d   T a b l e   6   w e l l   v a l i da t e   t he   e f f i c i e nc of   I H F S   i t e r m s   of   accu r acy   an d   C P U   t i m r es p ect i v el y   f o r   U C I   an d   l ar g e - sc a l e   m i c r o a r r a y   d a t a se t s. T h e   d a t a se t s'   a c c u r a t e n e ss  ach i ev ed   b y   t h i s   f r am ew o r k   i s   co m p ar ed   i n   T ab l 5   w i t h   t h r es u l t s   d i r ect l y   t ak en   f r o m   each   o f   t h al g o r i t h m s   of  t he  m os t  r e l e va nt  w or ks  i n t he  r e c e nt  l i t e r a t ur e .  I n gl a s s ,  s ona r ,  ve hi c l e ,  a nd i onos phe r e  da t a s e t s   (n u m e ri c a l ),   t h e   p ro p o s e d   IH F S   o u t p e rfo r ms   t h e   r e l e v a n t   s t u d y   o f   [ 2 8 ,   2 1 ,   3 3 ,   12]   by  obt a i ni ng  t he   m os t   co m p et i t i v r es u l t s   i n   t er m s   o f   accu r acy   an d   C P U   tim e I n   c h e s s   d a ta s e b o th   th e   a c c u r a c y   a n d   r u n   tim e   a r e   not   s upe r i or   ove r   t he   r e s ul t s   obt a i ne i [ 21] .   E ve t hough  t he   F S S M C   m e t hods   i [ 31]   gi vi ng  s i gni f i c a nt   co m p u t at i o n   t i m f o r   s p l i ce  d at as et ,   t h p r o p o s ed   I H F S   o u t p er f o r m s   t h accu r acy   o f   t h F S S M C   me t h o d s   wi t h   C 4 . 5 ,   a n d   NB   c l a s s i f i e r s .   T h e   a c c u r a c y   o f   I HF S   a l s o   o u t p e r f o r m s   t h e   e n s e m b l e   c l a s s i f i e r   R C R F   m e t h o d   us e i [ 34]   f or   s pl i c e   da t a s e t .       Ta b l e   3 . K a p p a  C o e f f ic ie n t o f  I H F S .   Da t a s e t s   Ka p p a   Gl a s s   0. 985   So n a r   0. 954   Ve h i c l e   0. 965   Io n o   1. 0   Ch e s s   0. 924   Sp l i c e   0. 952   He p a t i t i s   0. 961   Ly m p h   1. 0   ML L   1. 00   CN S   0. 75   Ov a r i a n   1. 0   Le u k - 2C   1. 0   Lu n g   1. 0   Le u k - 4C   1. 0     Ta b l e   4 . M A E  a n d  R M S E  in  m ik r o   Da t a s e t s   MA E   RM S E   Gl a s s   0. 006   0. 108   So n a r   0. 056   0. 154   Ve h i c l e   0. 032   0. 224   Io n o   0. 000   0. 000   Ch e s s   0. 063   0. 83   Sp l i c e   0. 044   0. 112   He p a t i t i s   0. 000   0. 000   Ly m p h   0. 000   0. 000   ML L   0. 000   0. 000   CN S   0. 500   0. 289   Ov a r i a n   0. 000   0. 000   Le u k - 2C   0. 000   0. 000   Lu n g   0. 000   0. 000   Le u k - 4C   0. 000   0. 000         Ev e n   t h o u g h   t h e   m e t h o d s   u s e d   i n   [ 2 8 - 29]   c oul gi ve   be t t e r   accu r acy   f o r   h ep at i t i s   d at as et ,   t h er i s   n o   si g n i f i c a n c e   i n   c o m p u t a t i o n   t i m e .   B u t   t h e   p r o p o se d   I H F S   g i v e si g n i f i c a n t   r e su l t i n   t e r m o f   b o t h   a c c u r a c y   an d   r u n   t i m f o r   h ep at i t i s   d at as et .   I n   l y m p h ,   L eu k em i 2 C   an d   M L L   d at as et s   ev en   t h o u g h   t h ex i s t i n g   me t h ods   i [ 29]   c oul gi ve   s i m i l a r   r e s ul t s   f or   a c c ur a c but   c oul not   gi ve   be t t e r   r e s ul t s   i t e r m s   of   C P U   t i m e   an d   t h p r o p o s ed   I H F S   i s   s u p er i o r   i n   t er m s   o f   r u n   t i m f o r   t h es d at as et s .   I n   O v ar i an   can cer   d at as et   ev en   th o u g h   th e   e x is tin g   m e th o d s   u s e d   in   [ 3 0 ]   a n [ 10]   c oul gi ve   c om pe t i t i ve   r e s ul t s   f or   a c c ur a c but   c oul not   gi ve   be t t e r   r e s ul t s   i t e r m s   of   C P U   t i m e .   I C N S   da t a s e t   t he   a c c ur a c i s   not   s i gni f i c a nt   t ha e xi s t i ng  m e t hods   of   [ 32]   but   t he   I H F S   m e t hod  s how s   s i gni f i c a nt   i m pr ove m e nt   i c om put i ng  t i m e   ove r   th e   m e th o d s   in   [ 2 9 ] Th o u g h   t h e   m e t h o d s   u s e d   i n   [ 5 ]   c o u l d   g i v e   b e t t e r   r u n   t i m e   f o r   l u n g   d a t a s e t ,   t h e r e   i s   n o   s i g n i f i c a n c e   i n   accu r acy .   B u t   t h p r o p o s ed   I H F S   g i v es   s i g n i f i can t   r es u l t s   f o r   l u n g   d at as et   i n   t er m s   o f   b o t h   accu r acy   an d   r u n   tim e I n   L e u k e m ia   4 C   mi c r o a r r a y   d a t a s e t s   t h e   p r o p o s e d   I H F S   o u t p e r f o r ms   t h e   r e l e v a n t   s t u d y   i n   [ 2 9 ]   b y   obt a i ni ng  t he   be s t   c om pe t i t i ve   r e s ul t s   i t e r m s   of   a c c ur a c a nd  C P U   t i m e .   As   s h o wn   fro m   T ab l 5   t h at ,   o u t   o f   1 4   d at as et s   t h p r o p o s ed   m et h o d   s h o w s   s i g n i f i can t l y   b et t er   o n   tw e lv d at as et s   an d   w o r s o n   t w o   d at as et s   i n   t er m s   o f   accu r acy .   I n   t er m s   o f   co m p u t i n g   t i m e,   t h p r o p o s ed   me t h o d   h a s   t e n   s i g n i f i c a n t l y   b e t t e r   r e s u l t s ,   t w o   w o r s e   r e s u l t s   (c a t e g o ri c a l a n d   n o   s i g n i fi c a n t   d i ffe re n c e   o n   tw o   r e s u lts   (l u n g   a n d   H e p a t i t i s ).   T h e   s u c c e s s   of   I H F S   c oul be   a t t r i but a bl e   t i t s   a bi l i t t i de nt i f s t r ongl re l e v a n t   fe a t u re s .   T h e s e   fe a t u re s   i n c re a s e   t h e   l i k e l i h o o d   t o   a s c e rt a i n   a n   o p t i m a l   fe a t u re   s u b s e t .   E v e n   t h o u g h   th e   a c c u r a c ie s   o f   th e   p e r f o r m a n c e   o f   th e   c la s s if ie r   f o r   m ic r o a r r a y   d a ta s e ts   a r e   ve r y c om pe t i t i ve  i n T a bl e  5,  t he   st r e n g t h   o f   t h e   I H F S   a l g o r i t h m   c a n   b e   v i n d i c a t e d   i n   T a b l e   6   b y   t h e   r a p i d   c o m p u t a t i o n   t i m e   o f   t h e   m i c r o a r r a y   da t a s e t s   t ha t he   s t a t e - of - th e - ar t   w o r k s   i n   t h r ecen t   s t u d y ,   p r o v es   t h i m p r o v ed   p er f o r m an ce  o f   t h fra m e w o rk   IH F S . O v e r a ll, th e  I H F S  h a d  th e  b e s t p e r f o r m a n c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   h y b r i d   f e a t u r e   s e l e c t i o n   m e t h o d   f o r   h u g e   d i m e n s i o n a l   d a t a s e t s   ( F. Ro s i t a   K a m a l a )   85   Ta b l e   5 .   Co m p a r a t i v e   a n a l y s i s   o f   t h e   f r a m e w o r k   I H F S   t o   t h e   m o s t   a p p r o p r i a t e   w o r k s .   Da t a s e t s   IH F S   %   Re s u l t s   o b t a i n e d   f r o m   t h e   l i t e r a t u r e   ( Th e   m o s t   e x c e l l e n t   r e s u l t s   a r e   s h o w n   i n   b o l d )   Me t h o d o l o g y   &   A c c u r a c y   Me t h o d o l o g y   &   A c c u r a c y   Me t h o d o l o g y   &   A c c u r a c y   Gl a s s   98. 84   [ 28 ] MA + S V M opt i m i z e d   85. 98   [3 3 ]IE M   85. 56   [ 28 ] MA + S V M de f a ul t   76. 63   So n a r   97. 62   [ 28 ] MA + S V M opt i m i z e d   97. 11   [ 12 ]H F S M   97. 13   [ 21 ]P S O P G 3   87. 3   Ve h i c l e   94. 99   [ 21 ]P S O In i 2   87. 99   [ 21 ]P S O In i 3   87. 8   [ 28 ]   MA + S V M opt i m i z e d   83. 33   Io n o   100   [ 28 ] MA + S V M opt i m i z e d   96. 74   [ 21 ]P S O P G 2   95. 24   [ 21 ]P S O In i 2   94. 29   Ch e s s   96. 64   [ 21 ]P S O E - DT   99. 44   [3 3 ]B P N N   99. 28   [ 21 ]P S O M I - KNN   95. 62   Sp l i c e   98. 75   [ 34] RCRF   96. 48   [ 31 ]F S S M C + C 4 . 5   88. 4   [ 31 ]F S S M C + N B   95. 6   He p a t i t i s   100   [ 28 ]   MA + S V M opt i m i z e d   100   [ 29 ]S V E G A - ANN   99. 81   [ 29 ]S V E G A - KNN   88. 45   Ly m p h   100   [ 29 ]S V E G A - ANN   100   [ 29 S V E G A - SV M   87. 32   [ 29 ]S V E G A - KNN   91. 56   ML L   100     [2 9 ] SV EG A - KNN   100   [ 29 ]S V E G A - NB   100   [ 29 ]S V E G A - SV M   98. 61   CN S   91. 67   [ 32 ]M F + G A + T S   99. 33   [ 29]   SV EG A - SV M   93. 35   [ 29 ]S V E G A - ANN   95   Ov a r i a n     100   [ 10 ] BD E - SV M Ra n k   100   [ 30 ]   IW S S 3 (1 N N )   100   [3 0 ]   IW S S 3 ( 3 NN)   99. 2   Le u k - 2C   100   [ 29 ]S V E G A - NB   100   [ 32 ]M F + G A + T S   99. 50   [ 29 ]S V E G A - SV M   97. 2   Lu n g     100   [ 32 ]M F + G A + T S   99. 17   [ 10 ]B D E - SV M   98. 7   [ 10 ]B D E - KNN Ra n k   98. 7   Le u k - 4C   100   [ 29 S V E G A - NB   97. 22   [ 29 ]S V E G A - SV M   98. 86   [ 29 ]S V E G A - ANN   98. 61       Ta b l e   6 .   Co m p a r i s o n s   o n   c o m p u t a t i o n a l   t i m e   ( i n   S e c o n d s )   t o   t h e   m o s t   r e l e v a n t   w o r k s .   Da t a s e t s   IH F S   (S e c )   Re s u l t s   o b t a i n e d   f r o m   t h e   l i t e r a t u r e   ( i n   S e c o n d s )   T h e   b e s t   r e s u l t s   a r e   s h o w n   i n   b o l d .   Me t h o d o l o g y   &   C P U   t i m e   Me t h o d o l o g y   &   C P U   tim e   Me t h o d o l o g y   &   C P U   t i m e   Gl a s s   4   [2 8 ]M A + S V M de f a ul t   80. 91   [ 28 ]S L S + S V M   61. 14   [ 28 ]G A + S V M   70. 79   So n a r   7   [2 8 ]M A + S V M opt i m i z e d   126. 12   [ 21 ]P S O In i 1   18   [ 21 ]P S O P G 2   25. 2   Ve h i c l e   17   [2 8 ]M A + S V M opt i m i z e d   153. 26   [ 12 ]H F S M   46. 98   [ 21 ]S P E A 2   331. 8   Io n o   9   [ 21 ]P S O In i P G   42. 6   [ 21 ]P S O P G 2   52. 8   [ 21 ]N S G A IF   63. 6   Ch e s s   132   [2 8 ]M A + S V M opt i m i z e d   176. 3   [ 21 ]N S G A IIE   17. 78   [ 21 ]P S O E   ( α =0 . 5 )   256. 17   Sp l i c e   131   [ 31 ]F S S M C   25. 7   [ 31 ]R e l i e f   164   [ 31 ]R e l i e f - RS   18. 4   He p a t i t i s   1   [2 8 ]M A + S V M opt i m i z e d   22. 79   [ 29 ]S V E G A - ANN   2 . 4 6   [ 29 ]S V E G A - K NN   .5 9   Ly m p h   1   [ 28 ]S L S + S V M   53. 31   [ 28 ]G A + S V M   98. 90   [2 8 ]M A + S V M de f a ul t   122. 31   ML L   68   [ 29 ]S V E G A - SV M   240. 4   [ 29 ]S V E G A - ANN   288. 3   [ 29 ]S V E G A - J4 8   390. 1   CN S   15   [ 29 ]S V E G A - SV M   67. 1   [ 29 ]S V E G A - KNN   71. 16   [ 29 ]S V E G A - NB   80. 2   Ov a r i a n   70   [ 30 ] IW S S 2 (1 N N )   426. 4   [ 30 ]S F S (1 N N )   678. 5   [3 0 ]IW S S 2 (3 N N )   754. 6   Le u k - 2C   10   [ 29 ]S V E G A - SV M   112. 5   [ 29 ]S V E G A - NB   150   [ 29 ]S V E G A - J4 8   312. 6   Lu n g     59   [ 5 ]L F S   1. 26   [ 5 ]F C B F   1. 68   [ 5 ]H C   10. 92   Le u k - 4C   8   [ 29 ]S V E G A - SV M   234. 3   [ 29 ]S V E G A - NB   272   [ 29 ]S V E G A - J4 8   399. 7       4.   CO NCL US I O N     Th e   I H F S   i s   e x p l o r e d   i n   v i e w   o f   t h e   ad v an t ag es   of   bot f e a t ur e   s e l e c t i on  m e t hods   l i ke   f i l t e r s   a nd  wr a p p e r s   r e s p e c t i v e l y .   d r a s t i c   e x p e r i m e n t a l   s t u d y   wa s   c o n d u c t e d   wi t h   d a t a s e t s   o f   UC I   a n d   m i c r o a r r a y   re p o s i t o ry   w i t h   m o re   fe a t u re s .   Th e   p e r f o r m e d   o u t c o m e s   a r e   c o m p a r e d   t o   me a s u r e   th e   e f f e c tiv e n es s   o f   t h pr opos e I H F S   a l gor i t hm .   T he   c om pe t e nc e   of   t he   I H F S   de t e r m i ne s   t he   be s t   pos s i bl e   f e a t ur e   s ubs e t s   w i t ut m os t   e f f i c i e nc y,   i c om pa r i s on  w i t ot he r   di ve r s e   up - to - da t e   F S   m e t hodol ogi e s   of   t he   pr ove r e s e a r c fi n d i n g s   w i t h   s i m i l a d a t a s e t s .   In   v i e w   of   t hi s   s t udy,   t he   I H F S   ha s   i m pr ove t he   c l a s s i f i e r   a c c ur a c a nd  co m p u t at i o n al   t i m e.   T h s t u d y   f i n d i n g s   ar v er y   n o t ew o r t h y   an d   h av o b t ai n ed   h i g h l y   co m p et i t i v me t h o d o l o g y   i n   f e a t u r e   s e l e c t i o n   p r o b l e ms ,   i mp l y i n g   a   b e t t e r   p e r f o r ma n c e .   F o r   f u t u r e   s t u d i e s ,   th is   f r a m e w o r k   can   al s o   b pr ogr e s s e d   to   d if f e r e n ty p e s   o f   d im e n s io n   s u b s e ts   o f   im a g e s te x a n d   m e d ic a d a ta s e ts I H F S   c a n   al s o   b cu s t o m i zed   t o   m ak h y b r i d i zat i o n   w i t h   o t h er   P S O   t ech n i q u es .       RE F E RE NCE S   [1 ]   Ri c h a r d   E r n e s t   Be l l m a n ,   " D y n a m i c   P r o g r a m m i n g , "   Co ur i e r   D ove r   P ubl i c a t i ons ,   2003.   [2 ]   B. S .   E v e r i t t ,   a n d   A . S k r o n d a l , " Ca m b r i d g e   D i c t i o n a r y   o f   S t a t i s t i c s , " Ca m b r i d g e   U n i v e r s i t y   P r e s s 2010.   [3 ]   A. Gu y o n ,   a n d   E l i s s e e f f ,   " An   i n t r o d u c t i o n   t o   v a r i a b l e   a n d   f e a t u r e s   s e l e c t i o n , "   J.   o f   M a ch .   L ea rn .   R es .,  v o l.3 pp. 1157 1182,   2003.   [4 ]   R. K o h a v i ,   a n d   G H . J o h n ,   " W r a p p e r s   f o r   f e a t u r e   s u b s e t   s e l e c t i o n , "   Ar t i f .   I n t e l l . ,   vol .   97( 1 - 2) ,   pp.   273 324,   1997.   [5 ]   Pa b l o   B e r m e j o J o s e   A   G a m e z a n d   J o s e   M   P u e r ta " A   G R A S P   a lg o r ith m   f o r   f a s h y b r id   ( f ilte r - wr a p p e r )   f e a t u r e   su b set   sel ect i o n   i n   h i g h - di m e ns i ona l   da t a s e t s , "   Pa t t e r n   Re c o g n .   Le t t . ,   vol .   32,   pp.   701 711,   2011.   [6 ]   N.   Ho l d e n ,   a n d   A.   F r e i t a s ,   " Hy b r i d   P S O/ AC a l g o r i t h f o r   d i s co v er i n g   cl assi f i cat i o n   r u l es  i n   d at m i n i n g , Hi n d a w i   P u b l i s h i n g   C o r p o r a t i o n   J o u r n a l   o f   A r t i f i c i a l   E v o l u t i o n   a n d   A p p l i c a t i o n s   V o l .   2 0 0 8 A r tic le   I D   3 1 6 1 4 5 1 1   pa ge s ,   2008.   [7 ]   M.   N e k k a a   a n d   D .   B o u g h a c i ,   " H y b r i d   h a r m o y   s e a r c h   c o m b i n e d   w i t h   s t o c h a s t i c   l o c a l   s e a rc h   fo fe a t u re   s e l e c t i o n , "   Ne u r a l   P r o c e s s i n g   L e t t e r s , p p .1 - 22,   2015.   [8 ]   Ab d u l l a h   S a e e d   Gh a r e b ,   Az u r a l i z a   Ab u   B a k a r ,   Ab d u l   R a z a k   Ha md a n ,   " Hy b r i d   f e a t u r e   s e l e c t i o n   b a s e d   o n   e n h an ced   ge ne t i c   a l gor i t hm   f or   t e xt   c a t e gor i z a t i on ,"   Ex p e r t   S y s t e m s   w i t h   Ap p l i c a t i o n s vol . 4 9 , p p . 3 1 - 47,   2016.   Evaluation Warning : The document was created with Spire.PDF for Python.
        r                IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   77     86   86   [9 ]   Af e f   B e n   B r a h i m,   M o h a me d   L i ma m " A   h y b r id   f e a tu r e   s e le c tio n   m e th o d   b a s e d   o n   in s ta n c e   le a r n in g   a n d   co o p er at i v su b set   sear ch , Pa t t e r n   Re c o g n i t i o n   Le t t e r s vol . 6 9 , p p . 2 8 - 34,   2016.   [1 0 ]   Ap o l l o n i ,   Gu i l l e r mo   L e g u i z a n ,   a n d   E n r i q u e   Al b a ,   " T wo   h y b r i d   wr a p p e r - fi l t e fe a t u re   s e l e c t i o n   a l g o ri t h m s   ap p l i ed   t o   h i g h - di m e ns i ona l   m i c r oa r r a e xpe r i m e nt s , "   Ap p l .   S o f t .   C o m p u t . ,   vol .   38,   pp.   922 932,   2016 .   [1 1 ]   Ez g i   Zo r a r p a c ı a n d   Se l m a   A y s e   O z e l ,   " A   h y b r i d   a p p r o a c h   o f   d i f f e r e n t i a l   e v o l u t i o n   a n d   a r t i f i c i a l   b e e   c o l o n y   f o r   fe a t u re   s e l e c t i o n ,"   Ex p e r t   S y s t e m s   W i t h   A ppl i c at i ons ,   vol . 62 , p p . 9 1 - 103 2016.   [1 2 ]   F.   R o s i t a   K a m a l a ,   a n d   D r .   R a n j i t   J e b a   Th a n g a i a h   P,   " A   p r o p o s e d   t w o   p h a s e   h y b r i d   f e a t u re   s e l e c t i o n   m e t h o d   u s i n g   ba c kw a r E l i m i na t i on  a nd  P S O , "   In t .   J .   o f   A p p l .   E n g .   R e s ,   vol .   11( 1) ,   pp.   77  -   83,   2016.   [1 3 ]   Hu i j u a n   L u ,   J u n y i n g   C h e n ,   Ke   Ya n ,   Qu n   J i n ,   a n d   Z h i g a n g   Ga o ,   " h y b r i d   f e a t u r e   s e l e c t i o n   a l g o r i t h f o r   g e n e   ex p r essi o n   d at cl assi f i cat i o n , N eu r o co m p u t i n g ,   v o l .   2 5 6 ,   p p .   5 6 - 62,   2017.   [1 4 ]   Mo h a m e d   A .   T a w h i d ,   a n d   K e v i n   B .   D s o u z a ,   " H y b r i d   B i n a r y   B a t   E n h a n c e d   P a r t i c l e   S w a r m   O p t i m i z a t i o n   Al g o r i t h f o r   s o l v i n g   f e a t u r e   s e l e c t i o n   p r o b l e ms "   Ap p l i e d   C o m p u t i n g   a n d   I n f o r m a t i c s   (A rt i c l e   i n   P re s s O p e n   Ac c e s s ,   Ap r i l   2 0 1 8 .   [1 5 ]   De b o j i t   B o r o ,   Dh r u b a   K.   Bh a t t a c h a r y y a ,   Pa r t i c l e   Sw a r m   O p t i m i z a t i o n   b a s e d   K N N   f o r   i m p r o v i n g   K N N   a n d   en sem b l cl assi f i cat i o n   p er f o r m an ce, In t e r n a t i o n a l   j o u r n a l   o f   i n n o v a t i v e   c o m p u t i n g   a n d   a p p l i c a t i o n s (IJ IC A ) v o l.  6( 3/ 4) ,   pp. 145 - 162,   2015.   [1 6 ]   M.   J a b b a r   " A   P r e d i c t i o n   o f   h e a r t   d i s e a s e   u s i n g   k   n e a r e s t   n e i g h b o r   a n d   p a r t i c l e   s w a r m   o p t i m i s a t i o n , "   Bi o m e d i c a l   Re s e a r c h , v o l. 2 8 ( 9 ) , p p . 4 1 5 4 - 4158,   2017.   [1 7 ]   P.   E.   G r e e n w o o d ,   a n d   M .   S.   N i k u l i n ,   " A   g u i d e   t o   c h i - sq u ar ed   t est i n g , Jo h n   W i l ey   &   S o n s,   N ew   Y o r k ,   1 9 9 6 .   [1 8 ]   H.   O.   L a n c a s t e r ,   " T h e   c h i - sq u ar ed   d i st r i b u t i o n , Jo h n   W i l ey   &   S o n s,   N ew   Y o r k ,   1 9 6 9 .   [1 9 ]   Pa u l   J .   La v r a k a s , " E n c y c lo p e d ia  o f  S u r v e y  R e s e a r c h  M e th o d s ,"  S A G E  P u b lic a tio n s , 2 0 0 8 .   [2 0 ]   Ch r i s t o p h e r   D .   Ma n n i n g ,   P r a b h a k a r   R a g h a v a n ,   H i n r i c h   S c h u t z e , " A n   I n t r o d u c t i o n   t o   I n f o r m a t i o n   Re t r i e v a l , " Ca m b r i d g e   U n i v e r s i t y   P r e s s , 2 0 0 8 .   [2 1 ]   Bi n g   X u e ,   " P a r t i c l e   S w a r m   O p t im is a tio n   f o r   F e a tu r e   S e le c tio n   in   C la s s if ic a tio n ,"   Ph . D   Th e s i s ,   Vi c t o r i a   U n i v e r s i t y   of   W e l l i ngt on , W e llin g to n , 2 0 1 4 .   [2 2 ]   J.   K en n ed y ,   an d   R .   C .   E b er h ar t ,   "P ar t i cl sw ar m   o p t i m i zat i o n , i n   Pr o c .   o f   I EEE  I n t .   C o n f .   o n   N e u r a l   N e t w o r k s Pe r t h , 2 7   N o v e m b e r - D e c e m be 1 9 9 5 ,   1 9 9 5 ,     p p .   1 9 4 2 1948.   [2 3 ]   M.   L i c h m a n ,   " U C I   Ma c h i n e   L e a r n i n g   R e p o s i t o r y "   I r v i n e ,   C A :   U n i v e r s i t y   o f   C a l i f o r n i a ,   S c h o o l   o f   I n f o r m a t i o n   a n d   Co m p u t e r   S c i e n c e .   h t t p : / / a r c h i v e . i c s . u c i . e d u /   m l .   L a s t   v i s i t   J u l y   2 0 1 8 .   [2 4 ]   Zh u z x .   M i c r o a r r a y   D a t a s e t s   i n   We k a   A R F F   f o r m a t h ttp ://  c s s e .s z u .e d u .c n   s ta f f   z h u z x   D a ta s e ts .h tm ( 8   J u ly   2018,   da t e   l a s t   a c c e s s e d) .   [2 5 ]   V.   S t e h ma n ,   a n d   S t e p h e n ,   " S e l e c t i n g   a n d   i n t e r p r e t i n g   me a s u r e s   o f   t h e ma t i c   c l a s s i f i c a t i on  a c c ur a c y, "   Re m o t e   Se ns i ng  of   E nv i r onm e nt , v o l. 6 2 ( 1 ) , p p . 7 7 89,   1997.     [2 6 ]   An t h o n y   Vi e r a   J . ,   a n d   J o a n n e   Ga r r e t t   M . ,   " Un d e r s t a n d i n g   I n t e r   o b s e r v e r   Ag r e e me n t :   T h e   Ka p p a   S t a t i s t i c , "   Re s .   Se r i e s .   F am i l y   M e di c i ne ,   vol .   37(   5) ,   pp.   360  -   363,   2005.   [2 7 ]   Wi l l m o t t ,   C o r J M a ts u u r a K e n ji,  " A d v a n ta g e s   o f   th e   m e a n   a b s o lu te   e r r o r   ( M A E )   o v e r   th e   r o o m e a n   s q u a r e   e r r o r   (R M S E i n   a s s e s s i n g   a v e ra g e   m o d e l   p e rfo rm a n c e , " Cl i m a t e   R e s e a r c h , v o l 3 0 , p p  7 9 82,   2005.   [2 8 ]   Me s s a o u d a   N e k k a a ,   a n d   D a l i l a   B o u g h a c i ,   " A   m e m e t i c   a l g o r i t h m   w i t h   s u p por t   ve c t or   m a c hi ne   f or   f e a t ur e   s e l e c t i on  an d   cl assi f i cat i o n , Me m e t i c   C o m p u t . ,   vol .   7,   pp.   59 73,   2015.   [2 9 ]   S. Sa s i k a l a ,   S.   A p p a v u   a l i a s   B a l a m u r u g a n ,   a n d   S.   G e e t h a ,   " A   n o v e l   a d a p t i v e   f e a t u r e   s e l e c t o r   f o r   s u p e r v i s e d   cl assi f i cat i o n , In f o r m a t i o n   P r o c e s s i n g   L e t t e rs , v o l. 1 1 7 , p p . 2 5     34,   2017.   [3 0 ]   Ai g u o   W a n g ,   Ni n g   An ,   Gu i l i n   C h e n ,   L i a n   L i ,   a n d   Gi l   Al t e r o v i t z ,   " Ac c e l e r a t i n g   wr a p p e r - ba s e f e a t ur e   s e l e c t i on  wi t h   K - ne a r e s t - ne i ghbour ,"  K n o w l. - Ba s e d   S y s t . , v o l. 8 3 , p p . 8 1 91,   2015.   [3 1 ]   Yu e   Hu a n g ,   P a u l   J .   M c C u l l a g h ,   a n d   No r ma n   B l a c k ,   " An   o p t i mi z a t i o n   o f   R e l i e f F   f o r   c l a s s i f i c a t i o n   i n   l a r g e   da t a s e t s , "   Da t a   a n d   K n o w l .   E n g . ,   vol .   68,   pp.   1348 1356,   2009.   [3 2 ]   Ed m u n d o   B o n i l l a - Hu e r t a ,   Al b e r t o   He r n a n d e z - Mo n t i e l ,   R o b e r t o   Mo r a l e s - Ca p o r a l ,   a n d   M a r c o   A r j o n a - Lo p e z ,   "H y b r i d   F r am ew o r k   U si n g   M u l t ip le - Fi l t e r s   a n d   a n   Em b e d d e d   A p p r o a c h   f o r   a n   Ef f i c i e n t   Se l e c t i o n   a n d   Cl a s s i f i c a t i o n   o f   M i c r o a r r a y   D a t a , "   IE E E / A C M   T r a n s a c t i o n s   o n   C o m p u t a t i o n a l   B i o l o g y   A n d   B i o i n f o r m a t i c s   Ja n u a ry/ F eb ru a ry , v o l.1 3 ( 1 ) , p p . 1 2 - 26,   2016 .     [3 3 ]   Ku n g - Jen g   W an g ,   A n g el i M el an i   A d r i an ,   Ku n - Hu a n g   C h e n ,   Ku n g - Mi n   Wa n g ,   " A n   i m p r o v e d   e l e c t r o m a g n e t i s m - lik e   m e c h a n is m   a lg o r ith m   a n d   its   a p p lic a tio n   to   th e   p r e d ic tio n   o f   d ia b e te s   m e llitu s ,"   Jo u rn a l   o f   B i o m ed i ca l   In f o r m a t i c s , v o l. 5 4 , p p . 2 2 0 229,   2015.   [3 4 ]   Jo aq u i n   A b el l an ,   C ar l o J.   M an t as,   Jav i er   G .   C ast el l an o ,   S er af i n   M o r al - Ga r c i a ,   " I n c r e a s i n g   d i v e r s i t y   i n   r a n d o fo re s t   l e a rn i n g   a l g o ri t h m   v i a   i m p re c i s e   p ro b a b i l i t i e s " ,   Ex p e r t   S y s t e m s   W i t h   Ap p l i c a t i o n s v o l.  9 7 p p 2 2 8 243,   2018.   Evaluation Warning : The document was created with Spire.PDF for Python.