I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   4 1 ,   N o .   3 M a r c 20 2 6 ,   pp.   10 82 ~ 10 94   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 4 1 . i 3 . pp 108 2 - 1094             1082       Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   FGM PSO :   a   h y b r i d   f i r e f l y - g r a d i e n t - M OPS f r a m e w o r k   f o r   h i g h - d i m e n si o n a l   f e a t u r e   sel e c t i o n       A l w atb e n   Bato u l   R as h e d   D e p a rt m e n t   o I n f o r m a t i o n   T e c h n o l o g y ,   C o l l e g e   o f   C o m p u t e r ,   Q a s s i m   U n i v e r s i t y ,   Bu ra y d a h ,   S a u d i   A ra b i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J ul   19,   20 25   R e v i s e J a n   30,   202 6   A c c e pt e M a r   4,   2026       W he w o r k i ng   w i t h   hi g h - di m e n s i o na l   da t a s e t s ,   s e l e c t i ng   t he   m o s t   r e l e v a nt   f e a t u r e s   i s   e s s e n t i a l   f o r   i m pr o v i ng   bo t m o de l   c l a r i t y   a nd  p r o c e s s i ng   e f f i c i e nc y ,   a l l   w hi l e   ke e pi ng   pr e di c t i v e   a c c ur a c y   i nt a c t .   I r e s po ns e   t o   t hi s   c ha l l e ng e ,   t he   s t udy   i nt r o duc e s   f i r e f l y - g r a di e n t - m ul t i - o bj e c t i v e   pa r t i c l e   s w a r m   o pt i m i z a t i o ( F G M P S O ) ,   a a dv a nc e hy br i t e c hn i qu e   t h a t   bl e nds   t he   f i r e f l y   a l g o r i t hm ,   g r a di e n t   de s c e nt   ( G D ) ,   a n d   m ul t i - o bj e c t i v e   pa r t i c l e   s w a r m   o p t i m i z a t i o ( M O P S O ) .   T hi s   a ppr o a c i s   s pe c i f i c a l l y   de s i g ne d   t o   i de n t i f y   a n   o pt i m a l   s u bs e t   o f   f e a t u r e s   t h a t   ba l a nc e s   di m e ns i o na l i t y   r e duc t i o w i t s t r o ng   c l a s s i f i c a t i o pe r f o r m a nc e .   T he   m e t ho w a s   e v a l ua t e d   o e i g ht   be nc hm a r k   da t a s e t s   a nd   c o m pa r e d   a g a i n s t   m u l t i p l e   P S O - ba s e f e a t u r e   s e l e c t i o t e c hn i qu e s .   T he   e m p i r i c a l   r e s ul t s   de m o ns t r a t e d   t h a t   F G M P S O   c o ns i s t e n t l y   a c hi e v e s upe r i o r   o r   c o m pe t i t i v e   c l a s s i f i c a t i o a c c ur a c y   w hi l e   s e l e c t i ng   s i g ni f i c a nt l y   f e w e r   f e a t ur e s .   N o t a b l y ,   i n   s e v e r a l   d a t a s e t s ,   F G M P S O   no t   o nl y   r e duc e d   d i m e ns i o na l i t y   but   a l s o   o ut pe r f o r m e o t he r   m e t ho ds   i n   t e r m s   o f   c l a s s i f i c a t i o n   a c c ur a c y .   T hi s   e f f i c i e nc y   i s   a t t r i but e t o   t he   i nt e l l i g e nt   e xp l o r a t i o o f   t h e   s e a r c s pa c e   by   t he   f i r e f l y   a l g o r i t hm ,   r e f i n e m e n t   v i a   GD ,   a nd  e f f e c t i v e   t r a de - o f f   o pt i m i z a t i o e na b l e by   M O P S O .   T he   f i n di ng s   s ug g e s t   t h a t   F G M P S O   i s   a   r o bu s t   a nd   s c a l a b l e   s o l ut i o f o r   f e a t u r e   s e l e c t i o n,   pa r t i c ul a r l y   s u i t a b l e   f o r   c o m pl e x   a nd   hi g h - di m e ns i o na l   da t a s e t s .   I t s   a da p t a bi l i t y ,   c o n v e r g e nc e   s pe e d,   a n b a l a nc e   be t w e e n   di m e n s i o na l i t y   r e duc t i o a nd   a c c ur a c y   po s i t i o i t   a s   a   v a l u a b l e   t o o l   i n   m o de r m a c hi ne   l e a r ni ng   pi pe l i n e s .   Ke y w or d s :   F e a t u r e   s e l e c t i o n   F i r e f l y   a l go r i t hm   G ra di e n t   de s c e n t   H i gh - di m e n s i o na l   da t a   M ul t i - o bj e c t i v e   o pt i m i z a t i o n   P a rt i c l e   s w a r m   o pt i m i z a t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A l w a t b e n   B a t o ul   R a s h e d   D e pa rt m e n t   o f   In f o r m a t i o n   T e c hn o l o g y ,   Co l l e ge   o f   Co m put e r,   Q a s s i m   U n i v e r s i t y   B ur a y da h,   S a udi   A r a b i a   E m a i l :   b w t b a n@ qu. e du . s a       1.   I N TR O D U C TI O N   F e a t u r e   s e l e c t i o i s   a   c ruc i a l   s t e t h a t   h e l ps   m a c h i n e   l e a rn i n g   m o de l s   i de v e l o pm e n t ,   e s pe c i a l l y   w h e n   de a l i ng  w i t da t a s e t s   t h a t   c o nt a i n   a o ve r w h e l m i n g   n um b e o f   fe a t u r e s .   I t s   p ri m a r y   pur po s e   i s   t o   i de nt i fy   t h e   m o s t   r e l e v a nt   a t t r i b ut e s   t h a t   i m p r o v e   pr e di c t i o n   qu a l i t y   w h i l e   r e m o v i n n o i s y   o r   r e du n d a n t   i n f o r m a t i o t ha t   do e s   n o t   ge n e ra l i z e   w e l l   a c r o s s   m o de l s   [ 1].   E l i m i na t i ng  u nn e c e s s a r y   fe a t ur e s   m a ke s   t h e   m o de l   s i m pl e r   a n d   c o m m o nl y   e n ha n c e s   i t s   pe r f o r m a n c e .   F e a t u r e   s e l e c t i o a l s o   a c c e l e r a t e s   c o m put a t i o n   a n d   i m p r o v e s   a c c ur a c y   by   r e duc i n da t a s e t   d i m e n s i o n a l i t y   a n r e m o v i n i rr e l e v a nt   v a r i a b l e s   [2].   T hi s   i m po rt a n c e   b e c o m e s   e v e n   m o r e   e v i de n t   i h i g h - di m e n s i o na l   m a c hi n e   l e a rni n g   t a s ks ,   w h e r e   a n   e xc e s s i v e   n um b e of  f e a t ur e s   c a b ur de l e a rni n g   a l go ri t hm s .   F u rt h e r m o r e ,   t h e   c h o i c e   of   f e a t ur e   s e l e c t i o s t ra t e gy   s i gni f i c a nt l y   a f fe c t s   r e s ul t s ,   a s   m e t h o ds   s uc a s   w ra ppe r   a n d   e m b e dde a ppr o a c h e s   de pe n d   h e a v i l y   o n   t h e   l e a rni n g   m o de l   a n m a y   n o t   ge n e ra l i z e   w e l l   t o   o t h e r   c l a s s i f i e r s   [3 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       F G MP SO h y br i d   f i r e f l y - gr a di e nt - MO P SO   f r am e w or k   …  ( A l w at be B at oul   R as h e d )   1083   R e c e n t   s t ud i e s   h a v e   hi g h l i g ht e t h e   i n c r e a s i n g   i m po r t a nc e   of   f e a t ur e   s e l e c t i o n   a c r o s s   di v e r s e   do m a i n s ,   i n c l ud i n g   h e a l t h c a r e   a nd   f i na n c e ,   n o t   o n l y   fo r   r e duc i n g   c o m put a t i o n a l   b ur de n   b ut   a l s o   f o r   i m p r o v i n g   i nt e r p r e t a b i l i t y   a nd  de c i s i o n - m a ki n g   [4] .   B y   fo c u s i ng  o t h e   m o s t   m e a ni n gf ul   a t t r i b ut e s ,   m a c hi n e   l e a rn i ng  m o de l s   c a n   i de nt i fy   m o r e   a c c ur a t e   a n i n s i g ht f ul   p a t t e rn s .   F e a t u r e   s e l e c t i o n   m e t h o ds   a r e   ge n e r a l l y   c a t e go r i z e d   i nt o   t hr e e   g r o ups :   f i l t e r,   w ra ppe r ,   a nd  e m b e dde t e c hni que s   [5] .   H ow e ve r ,   e a c g r o up  ha s   l i m i t a t i o n s ,   s uc h   a s   h i g h   c o m put a t i o n a l   c o s t   o r   t h e   r i s of   r e m o v i n s ub t l e   b ut   i n f o r m a t i v e   f e a t ur e s   i c o m pl e da t a s e t s .   F i l t e m e t h o ds   e v a l ua t e   f e a t u r e s   i n de pe nd e n t l y   of   a n y   c l a s s i f i e r .   T h e y   a r e   c o m put a t i o na l l y   e ff i c i e n t   b ut   o f t e n   o v e r l o o i n t e r a c t i o n s   a m o n g   f e a t u r e s .   W r a p pe m e t h o ds - s uc a s   s e que nt i a l   f o r w a r d   s e l e c t i o n   (S F S )   a nd   s e que n t i a l   b a c kw a r d   s e l e c t i o (S B S )   e v a l ua t e   s ub s e t s   us i n g   a   c l a s s i f i e a n d   t y pi c a l l y   y i e l hi g h e r   a c c u r a c y ,   b ut   t h e y   a r e   c o m put a t i o n a l l y   e xpe n s i v e   a n d   p r o n e   t o   o v e r f i t t i n [6].   E m b e dde d   m e t h o ds   i n t e g ra t e   f e a t u r e   s e l e c t i o n   i n t o   t h e   l e a rni n g   p ro c e s s   i t s e l f .   A s   a   r e s ul t   o f   t h e s e   l i m i t a t i o n s ,   r e s e a r c h e r s   a r e   i n c r e a s i n g l y   e xpl o r i ng  m o r e   a d a pt i v e   t e c hn i que s   s uc h   a s   pa rt i c l e   s w a rm   o pt i m i z a t i o n   (P S O ),   w h i c p r o v i de s   gr e a t e f l e xi b i l i t y   a n d   e ff e c t i v e n e s s   fo r   c o m pl e f e a t u r e   s e l e c t i o n   t a s ks   [7].   H ow e ve r ,   e xi s t i n g   P S O   v a r i a n t s   s t i l l   f a c e   c h a l l e nge s :   s t a n d a r B i na r y   P S O   m a y   c o n v e r ge   pr e m a t u r e l y   due   t o   l ow   di v e r s i t y ,   s i gm o i d - b a s e i m p r o v e m e nt s   m a y   s t r u ggl e   t o   b a l a n c e   e xpl o ra t i o a n d   e xpl o i t a t i o [8] ,   a nd   qua nt u m - i n s p i r e d   P S O   a pp r o a c h e s   c a s o m e t i m e s   b e c o m e   un s t a b l e   o s l o w   [9].   O t h e r   P S O   v a ri a nt s   s uc a s   U n i f i e B i na r y   P S O   a n d   Co o pe r a t i v e   P S O   [1 0]   p r o v i de   i m p r o v e di v e r s i t y   b ut   o f t e n   r e qui r e   c o m pl e s y n c hr o n i z a t i o n .   S i m i l a rl y ,   c a t   s w a rm   o pt i m i z a t i o n   ( CS O [11 o f fe r s   a   b a l a n c e   b e t w e e n   gl o b a l   a nd  l o c a l   s e a r c b ut   c a b e   s e n s i t i v e   t o   p a ra m e t e s e t t i ngs   a n d   s l o w   i n   c o n v e r ge n c e .   T h e   pe r f o r m a n c e   di f fe r e n c e s   b e t w e e n   c l a s s i c a l   w ra ppe r   m e t h o ds   a r e   i l l us t ra t e i n   F i g u r e   1,   w hi c h   hi g hl i g ht s   t h e   l i m i t a t i o n s   o f   t ra d i t i o n a l   a pp r o a c h e s   w h e de a l i n g   w i t h   h i g h - di m e n s i o na l   d a t a .   T o   a dd r e s s   t h e s e   ga ps ,   w e   pr o po s e   a   n e w   h y b r i f e a t u r e   s e l e c t i o n   m e t h o c a l l e f i r e f l y - gr a di e n t - m ul t i - o b j e c t i ve   pa rt i c l e   s w a r m   o pt i m i z a t i o n   ( F G M P S O ).   It   c o m b i n e s   t h e   g l o b a l   e xpl o r a t i o o f   t h e   f i r e f l y   a l go ri t hm   (F A ),   t h e   l o c a l   f i n e - t u ni n g   a b i l i t y   of   gr a d i e n t   de s c e n t   (G D ),   a nd  t h e   d i v e r s i t y - pr e s e r v i ng  na t u r e   of  m ul t i - o b j e c t i ve   pa rt i c l e   s w a rm   o pt i m i z a t i o (M O P S O ).   O u r   a pp r o a c h   a i m s   t o   s e l e c t   a   c o m pa c t   s e t   o f   f e a t ur e s   w i t h o ut   s a c ri f i c i ng  c l a s s i f i c a t i o n   pe r f o r m a n c e .   W e   e v a l ua t e   i t   o n   e i g h t   b e n c hm a rk   da t a s e t s   a n d   c o m pa r e   i t   w i t s i e x i s t i ng  P S O - b a s e F S   m e t h o ds ,   a s   w e l l   a s   w i t c l a s s i c a l   g r e e dy   t e c h ni que s   l i ke   S F S   a n d   S B S .           F i gu r e   1 .   T h e   pe r f o r m a n c e   e v a l ua t i o n   o f   w r a ppe r   m e t h o ds       2.   M ET H O D   T h e   F G M P S O   a l go r i t hm   FGMPSO   i nt e g r a t e s   t hr e e   c o m pl e m e nt a r y   o pt i m i z a t i o s t ra t e gi e s   t o   s t r e n g t h e t h e   f e a t u r e   s e l e c t i o n   p r o c e s s :   M O P S O ,   t h e   FA ,   a n d   GD .   F e a t u r e   s e l e c t i o n   i s   e s pe c i a l l y   c r i t i c a l   i hi g h - d i m e n s i o na l   l e a rni n g   p r o b l e m s ,   a s   i t   r e m o ve s   r e du nda nt   o i rr e l e v a n t   a t t r i b ut e s   a n d   i m p r o v e s   c l a s s i f i e r   pe r f o r m a n c e   by   fo c us i n t h e   m o de l   o t h e   m o s t   i n f o r m a t i v e   f e a t u r e s   [1 ],   [ 2],   [ 5].   I F G M P S O ,   e a c c a n d i da t e   s o l ut i o i s   e n c o de a s   a   b i n a r y   v e c t o r ,   w h e r e   a   v a l ue   o f   1”   r e p r e s e nt s   a   s e l e c t e f e a t ur e   a n d   0”   i n di c a t e s   e xc l us i o n.   T h e   o pt i m i z a t i o n   b e gi n s   w i t M O P S O ,   w h i c s i m ul t a n e o us l y   m i ni m i z e s   c l a s s i f i c a t i o e rr o a n d   t h e   t o t a l   n u m b e r   o f   s e l e c t e f e a t ur e s ,   p r o duc i ng  a   P a r e t o - o pt i m a l   b a l a n c e   b e t w e e n   a c c u r a c y   a n d   di m e n s i o na l i t y   [12] - [2 4].   To   r e duc e   t h e   ri s k   o f   p r e m a t u r e   c o n v e r ge n c e   a n d   t o   e nha n c e   g l o b a l   d i v e r s i t y ,   t h e   F i r e f l y   A l go r i t hm   i s   i n c o r po r a t e a s   a   s e c o n da r y   e xpl o r a t i o n   m e c ha n i s m .   F A   us e s   a   b r i g h t n e s s - b a s e d   a t t ra c t i o n   m o de l   t h a t   e n c o ura ge s   s o l ut i o n s   w i t b e t t e f i t n e s s   t o   gu i de   w e a ke r   o n e s   t o w a r d   m o r e   p r o m i s i n g   r e gi o n s   o f   t h e   s e a r c s pa c e   [ 23].   I t h e   f i n a l   r e f i n e m e n t   s t a ge ,   GD   a dj us t s   f e a t ur e   i m po r t a n c e   by   a n a l y z i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   4 1 ,   N o .   3 M a r c h   20 2 6 :   1082 - 1 094   1084   t h e   g ra di e n t   o f   p r e di c t i o e rr o r,   t h e r e by   f i n e - t u n i n g   t h e   m o s t   pr o m i s i n g   c a n d i da t e   s ub s e t s   a nd  i m p r o v i n l o c a l   c o n v e r ge n c e   b e h a v i o r   [2 0].   By   c o m b i n i n g   b r o a p o pul a t i o n - b a s e e xpl o r a t i o n   w i t h   t a rge t e l o c a l   r e f i n e m e nt ,   F G M P S O   i s   c a pa b l e   o f   i de nt i fy i n g   hi g hl y   e f fe c t i v e   fe a t ur e   s ub s e t s   e v e n   i c o m pl e x,   h i g h - di m e n s i o na l   s e a r c s pa c e s .   T hi s   h y b r i di z a t i o n   e n a b l e s   t h e   a l go r i t hm   t o   o ut pe r f o r m   c l a s s i c a l   w ra ppe r   m e t h o ds   a n d   c o n v e n t i o n a l   P S O   v a r i a n t s   i b o t s t a b i l i t y   a n d   s e l e c t i o qu a l i t y   [7] - [9] .   T h e   c o m pl e t e   w o r kf l ow   o f   t h e   pr o po s e F G M P S O   f r a m e w o r i s   i l l us t r a t e i F i g u r e   2,   hi g h l i g ht i n g   t h e   c o o r di na t e r o l e s   o f   M O P S O ,   F i r e f l y - b a s e gl ob a l   e xpl o ra t i o n,   a n d   GD   r e f i n e m e nt .           F i gu r e   2 .   T h e   f ra m e w o r o f   pr o po s e F G M P S O   a ppr o a c h       A l go r i t h m   1   s u m m a r i z e s   t h e   o v e r a l l   w o r kf l ow   of   t h e   p r o po s e F G M P S O   f r a m e w o r k,   w hi c i s   e v a l ua t e i t h e   s ub s e q ue nt   e xpe ri m e n t a l   s e c t i o n   t o   de m o n s t ra t e   i t s   e f fe c t i ve n e s s   i n   hi g h - d i m e n s i o n a l   f e a t u r e   s e l e c t i o n   t a s ks .     A l go r i t h m   1 :   ps e udo - c o de   o f   F G M P S O   A l go r i t h m   f o r   F e a t u r e   S e l e c t i o n   Input: Dataset D, population size N, max iterations T   Output: Optimal feature subset S*    1. Initialize population of particles P with binary feature vectors    2. Evaluate fitness of each particle using classifier accuracy and feature count   3. Store personal best pi and global best g for each particle    4. For t = 1 to T do:    a. For each particl e i in P do:    i. Update velocity vi using MOPSO velocity equation    ii. Update position xi using velocity and binary conversion    iii. Evaluate fitness of new position    iv. Update personal best pi if current fitness is better    b. Update global best g from pe rsonal bests    c. Apply Firefly Algorithm to refine best particles    d. For each selected solution xi do:    i. Apply Gradient Descent to minimize error rate    ii. Update position xi using gradient updates    e. Store non - dominated solutions in Pareto front    5. R eturn best solution S* from Pareto front     2. 1 .     A d d i ti o n al   i m p l e m e n tati o n   d e t ai l s   o th e   F G M P S O   p r o c e d u r e :   T o   e n s u r e   c l a ri t y   i n   t h e   a l go r i t h m i c   w o r kf l ow ,   e a c m o dul e   of   t h e   p r o po s e F G M P S O   pr o c e dur e   i s   de s c r i b e i n   g r e a t e r   de t a i l   b e l ow :   -   Ini t i a l i z a t i o n:   T h e   p r o c e s s   b e gi n s   b y   i ni t i a l i z i n g   a   po pul a t i o o f   pa rt i c l e s ,   e a c e n c o de a s   a   b i na r y   v e c t o r   of   l e n g t d ,   r e p r e s e n t i ng   t h e   s e l e c t i o n   o r e j e c t i o n   o f   e a c f e a t u r e .   A l go r i t h m i c   p a ra m e t e r s   i n c l ud i n i n e rt i a   w e i gh t   ( ω ) ,   c o gn i t i v e   a n d   s o c i a l   c o e ff i c i e n t s   (C 1,   C 2),   F i r e f l y   a t t ra c t i v e n e s s   ),   l i g h t   a b s o r pt i o c oe ff i c i e n t   ) ,   ra n do m   s t e s i z e   (α) ,   a n d   t h e   g ra d i e nt   de s c e n t   l e a rni n g   r a t e   (η)   a r e   i n i t i a l i z e f o l l o w i n b e n c h m a r k   v a l ue s   r e po rt e i t h e   l i t e ra t u r e .   T h i s   e n s u r e s   a   b a l a n c e e xpl o ra t i o n   e xpl o i t a t i o n   ra t i o   a t   t h e   s t a r t   o f   t h e   s e a r c h.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       F G MP SO h y br i d   f i r e f l y - gr a di e nt - MO P SO   f r am e w or k   …  ( A l w at be B at oul   R as h e d )   1085   -   F i t n e s s   e v a l ua t i o n :   E a c pa rt i c l e   i s   e v a l ua t e us i n g   t h e   m ul t i - o b j e c t i ve   f i t n e s s   f un c t i o t ha t   s i m ul t a n e o us l y   m i ni m i z e s   t h e   num b e r   o f   s e l e c t e f e a t ur e s   a n d   t h e   c l a s s i f i c a t i o e rr o r .   T h e   f i t n e s s   v a l ue s   a r e   c o m put e us i n g   a   r a ndo m   f o r e s t   c l a s s i f i e r ,   e n s u r i n g   c o n s i s t e n t   e v a l ua t i o n   a c r o s s   i t e ra t i o n s .     A   do m i na n c e   c h e c i s   a pp l i e d   t o   de t e rm i n e   w h e t h e r   a   s o l ut i o s h o ul b e   a dde d   t o   t h e   e x t e rna l   a r c hi v e .   -   MOPSO  u pda t e :   D u ri n t h e   M O P S O   pha s e ,   e a c pa rt i c l e   u pda t e s   i t s   v e l oc i t y   a n po s i t i o n   a c c o r di n t o   b i n a r y   t ra n s f e r   f un c t i o n s .   T h e s e   f un c t i o n s   c o n v e r t   c o n t i n uo u s   v e l o c i t i e s   i n t o   p r o b a b i l i t i e s ,   w hi c h   a r e   t h e n   us e t o   f l i b i t s   i n   t h e   f e a t ur e   v e c t o r .   T hi s   m e c h a ni s m   e n s u r e s   pr o pe r   b i n a r y   b e h a v i o r   a n d   h e l ps   m a i nt a i di v e r s i t y   w i t h i t h e   s w a rm .   -   F i r e f l y   m o ve m e n t :   I t hi s   s t a ge ,   pa rt i c l e s   b e ha v e   l i ke   f i r e f l i e s ,   w h e r e   e a c pa rt i c l e   i s   a t t ra c t e t o   b ri g h t e r   (i . e . ,   m o r e   o pt i m a l )   s o l ut i o n s .   T h e   m o v e m e n t   i s   de t e rm i n e b y   t h e   a t t ra c t i v e n e s s   f u n c t i o β ·e ^ ( γ r ² ) ,   e n s u r i ng  t ha t   p a r t i c l e s   c l o s e r   t o   s t r o n s o l ut i o n s   m o v e   m o r e   de t e rm i ni s t i c a l l y   w h i l e   di s t a n t   p a r t i c l e s   e xpl o r e   m o r e   w i de l y .   R a n do m   pe rt u r b a t i o us i ng   α   a d ds   s t o c h a s t i c   v a ri a t i o t ha t   i m p r o v e s   e s c a pe   f r o m   l o c a l   m i n i m a .   -   G ra di e n t   d e s c e n t   r e f i n e m e n t :   F o r   t o p - pe r f o r m i ng  s o l ut i o n s ,   GD   i s   a pp l i e t o   r e f i n e   f e a t u r e   w e i gh t s .   U s i n g   a   de c a y i n g   l e a rni n g   ra t e ,   G D   g r a d ua l l y   r e duc e s   t h e   i n f l ue n c e   o f   poo r l y   c o n t r i b ut i ng  f e a t u r e s .   O v e r   t i m e ,   t h i s   c o m po n e nt   f i n e - t u n e s   l o c a l   s e a r c by   s upp r e s s i n g   n o i s y   o r   i rr e l e v a n t   a t t ri b ut e s ,   r e i n f o r c i n g   c o n v e r ge n c e   t o w a r m o r e   d i s c r i m i na t i v e   f e a t ur e   s ub s e t s .   -   A r c h i v e   u pda t e :   T h e   n o n - do m i na t e a r c h i v e   i s   u pda t e a t   e v e r y   i t e r a t i o n .   P a r e t o   do m i na n c e   r ul e s   a r e   us e t o   de t e rm i n e   w hi c s o l ut i o n s   a r e   p r e s e r v e d.   T h e   a r c hi v e   i s   f ur t h e r   o r ga ni z e d   us i n g   c r o w di n d i s t a n c e   t e n s u r e   d i v e r s i t y   a l o n g   t h e   P a r e t o   f r o n t .   T hi s   c o m po n e nt   gu a r a nt e e s   t ha t   t h e   a l go ri t hm   m a i nt a i n s   a   w e l l - b a l a n c e s e t   o f   s o l ut i o n s   r e p r e s e n t i n g   di f f e r e n t   t ra de - o ff s   be t w e e n   a c c u r a c y   a n d   di m e n s i o na l i t y .   -   St o ppi ng  c r i t e r i o n:   T h e   a l go ri t hm   t e r m i n a t e s   w h e t h e   m a xi m u m   n u m b e r   o f   i t e ra t i o n s   ( T )   i s   r e a c h e d .     A t   t hi s   po i nt ,   t h e   f i n a l   a r c hi v e   c o n t a i n s   t h e   P a r e t o - o pt i m a l   f e a t u r e   s ub s e t s   di s c ov e r e duri n t h e   s e a r c h.   T h e   b e s t   s ub s e t   i s   s e l e c t e b a s e o n   a c c ura c y   o r   t h e   de s i r e t ra de - o ff   s pe c i f i e by   t h e   us e r .   T h i s   ps e udo   c o d e   pr o v i de s   a   hi g l e v e l   r e pr e s e nt a t i o o f   t h e   F G M P S O   a l go r i t h m   f o r   f e a t u r e   s e l e c t i o n .   F G M P S O   i s   s e l e c t e due   t o   i t s   a b i l i t y   t o   a c h i e v e   a   hi g c l a s s i f i c a t i o a c c ura c y   w h i l e   m i ni m i z i n g   t h e   n u m b e r   o f   f e a t ur e s   s e l e c t e d,   a dd r e s s i n g   a   c o m m o l i m i t a t i o o f   o t h e f e a t u r e   s e l e c t i o m e t h o ds .   T r a d i t i o n a l   m e t h o ds   o f t e n   e i t h e r   s e l e c t   a e xc e s s i ve   n u m b e r   o f   fe a t ur e s   o di s c a rd  i m po rt a nt   o n e s .     T h e   F G M P S O   a l go ri t hm   i n t e g ra t e s   t hr e e   po w e r f ul   t e c hni que s :   t h e   F A ,   G D ,   a n d   M O P S O .   F A   a i ds   i n   e xpl o r i n g   a   b r o a ra n ge   o f   fe a t u r e   s ub s e t s ,   G D   f i n e - t u n e s   t he   f e a t ur e   s e l e c t i o p r o c e s s   by   a dj us t i n g   w e i ght s ,   a n M O P S O   i de n t i f i e s   t h e   m o s t   o pt i m a l   f e a t ur e   s ub s e t s .     2. 2 .     M ath e m ati c al   m o d e l i n g   O n c e   t h e   i n i t i a l   po pul a t i o i s   e n c o de d,   t h e   M O P S O   m e c h a ni s m   i s   f i r s t   a ppl i e t o   e xpl o r e   t h e   s e a r c s pa c e   a n e v a l u a t e   t h e   t ra de - o ff   be t w e e n   a c c ur a c y   a n d   f e a t ur e   r e duc t i o n.   E a c h   p a r t i c l e   upd a t e s   i t s   v e l o c i t y   a n po s i t i o n   b a s e o n   i t s   i n d i v i dua l   e xpe ri e n c e   a n d   t h e   g l ob a l   b e s t   s o l ut i o n s ,   f o l l ow i n t h e   s t a n d a r P S O   upda t e   r ul e s   [7 ] - [9] :     + 1 = + 1   ( 0 , 1 ) ( ) + 2   ( 0 , 1 ) ( )   (1)     + 1 = + + 1   (2)     w h e r e   i s   t h e   pa rt i c l e ’s   v e l o c i t y ,   i s   i t s   po s i t i o n,   a nd   de n o t e   t h e   pe r s o na l   a n d   g l o b a l   b e s t s ,   r e s pe c t i v e l y ,   a n d   , 1 , 2 a r e   c o n t r o l   p a r a m e t e r s   t h a t   r e gul a t e   t h e   b a l a n c e   b e t w e e e xpl o r a t i o a n d   e xpl o i t a t i o n.   T o   f u r t h e r   i m p r o v e   gl o b a l   s e a r c c a pa b i l i t y   a n d   p r e v e n t   p r e m a t u r e   c o n v e r ge n c e ,   t h e   F A   i s   i n c o r po ra t e d   a f t e t h e   M O P S O   ph a s e .   F A   m o v e s   a   f i r e f l y   t o w a r a   m o r e   a t t ra c t i v e   f i r e f l y   b a s e o n   b r i g ht n e s s   a n d i s t a n c e   a c c o r di n t o   [23] :     + 1 = +  2 ( ) +   ( 1 , 1 )   (3)     w h e r e   i s   t h e   a t t ra c t i v e n e s s   c o e ff i c i e n t ,   c o n t r o l s   l i g ht   a b s o r pt i o n,    i s   t h e   di s t a n c e   b e t w e e n   f i r e f l i e s ,   a n d   i n t r o duc e s   c o n t r o l l e ra n do m   pe rt u r b a t i o n s .   F o l l o w i n M O P S O   a nd  F A ,   G D   i s   e m pl oy e t o   r e f i n e   pr o m i s i n g   s o l ut i o n s   a nd  a dj us t   f e a t u r e   w e i ght s   b a s e o t h e i c o n t ri b ut i o t o   r e duc i n g   t h e   c l a s s i f i c a t i o n   e rr o [20].   T h e   G D   up da t e   r ul e   i s   de f i n e a s :     + 1 = ( )   (4)     w h e r e   r e p r e s e n t s   t h e   w e i g h t   o f   fe a t ur e   i s   t h e   l e a rni n g   ra t e ,   a nd  ( ) i s   t h e   l o s s   f un c t i o n .   T hr o ugh  i t e ra t i v e   upda t e s ,   f e a t u r e s   w i t h   m i n o i n f l u e n c e   o n   c l a s s i f i c a t i o n   a c c ura c y   r e c e i ve   l ow e r   w e i gh t s   a nd  a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   4 1 ,   N o .   3 M a r c h   20 2 6 :   1082 - 1 094   1086   pr o g r e s s i v e l y   r e m ov e d.   F G M P S O   r e pe a t s   t h e s e   s t e ps   i t e ra t i v e l y   M O P S O   fo r   gl o b a l   s e a r c h,   F A   f o r   di v e r s i t y   e nh a n c e m e n t ,   a nd  G D   f o r   l o c a l   r e f i n e m e nt   t o   ge n e ra t e   a   P a r e t o - o pt i m a l   s e t   o f   s o l ut i o n s   t ha t   s i m u l t a n e o us l y   m i ni m i z e   d i m e n s i o n a l i t y   a n d   m a xi m i z e   c l a s s i f i c a t i o a c c ura c y .   T o   gui de   t h e   o pt i m i z a t i o p r o c e s s ,   a   dy n a m i c   m ul t i - o b j e c t i ve   f i t n e s s   f un c t i o i s   de f i n e a s :      = 1 ( Nu m b e r   o f   F e a tu r e s T o tal  F e a tu r e s ) + 2 ( 1  )   (5)     w h e r e   1 a n d   2 a r e   a d a pt i v e   w e i gh t s   t ha t   s hi f t   e m p h a s i s   d u ri n g   o pt i m i z a t i o n.   I ni t i a l l y ,   t h e   a l go ri t hm   pri o r i t i z e s   r e duc i ng  t h e   n u m b e r   o f   f e a t ur e s ;   a s   t h e   s e a r c p ro gr e s s e s ,   t h e   f o c us   gr a dua l l y   t ra n s i t i o n s   t o w a r m a x i m i z i n g   p r e di c t i o n   a c c ura c y ,   e na b l i n g   a   b a l a n c e a n d   r o b us t   f e a t ur e   s e l e c t i o p r o c e s s   [12],   [24 ].     2. 3 .     C o n v e r ge n c e   b e h av i o r   o F G M P S O   T h e   c o n v e r ge n c e   b e h a v i o o f   t h e   p r o po s e F G M P S O   a l go r i t hm   i s   s uppo r t e b y   t h e   c o m pl e m e n t a r y   r o l e s   o f   i t s   t hr e e   i nt e g r a t e d   c o m po n e nt s .   M O P S O   p r o v i de s   a   P a r e t o - d ri v e n   s e a r c h   m e c ha n i s m   i n   w hi c n o n - do m i n a t e d   s o l ut i o n s   a r e   p r e s e r v e i a e xt e rna l   a r c h i v e ,   a l l o w i n t h e   s w a rm   t o   g r a dua l l y   c o n ve r ge   t o w a r d   t h e   t rue   P a r e t o   f r o n t .   T h e   F i r e f l y   A l go r i t h m   e nha n c e s   gl ob a l   e xpl o r a t i o by   di r e c t i n g   s o l ut i o n s   t o w a r b r i g h t e r   i n d i v i dua l s ,   t h e r e by   r e duc i n t h e   ri s o f   pr e m a t u r e   s t a g na t i o n.   GD   f u r t h e r   a c c e l e r a t e s   l o c a l   c o n v e r ge n c e   by   r e f i n i n g   s o l ut i o n s   w i t hi p r o m i s i ng  r e g i o n s   o f   t h e   s e a r c h   s p a c e .   Co l l e c t i v e l y ,   t h e s e   m e c h a ni s m s   e n s u r e   t ha t   t h e   po pul a t i o n   m a i n t a i n s   d i v e r s i t y   i n   t h e   e a rl y   s t a ge s   of   t h e   s e a r c h   a n g ra du a l l y   s h i f t s   t o w a r e xp l o i t a t i o a s   i t e r a t i o n s   p r o g r e s s .   T hi s   a da p t i v e   b a l a n c e   e n a b l e s   F G M P S O   t o   c o n v e r ge   m o r e   r e l i a b l y   t h a s i ngl e - s t a ge   P S O   v a r i a n t s ,   p a r t i c ul a r l y   i hi g h - d i m e n s i o na l   a nd  m ul t i m o da l   l a n ds c a pe s .     2. 4 .     Co m p u tati o n al   c o m p l e x i ty  an al ys i s   T h e   c o m put a t i o n a l   c o m pl e xi t y   of   t h e   p r o po s e F G M P S O   a l go r i t hm   i s   go v e r n e d   by   t h e   c o m b i n e c os t   o f   i t s   t hr e e   i nt e g r a t e d   o pt i m i z a t i o c o m po n e n t s :   M O P S O ,   t h e   F A ,   a n G D .   L e t   de n o t e   t h e   po pul a t i o s i z e ,   t h e   n u m b e r   o f   i t e r a t i o n s ,   a n d   t h e   di m e n s i o n a l i t y   (n u m b e o f   fe a t ur e s ).   M O P S O   S t a ge   I n   M O P S O ,   e a c h   p a r t i c l e   upda t e s   i t s   v e l o c i t y   a n po s i t i o n   by   e v a l ua t i n b o t pe r s o n a l   a n d   gl o b a l   b e s t   e xpe r i e n c e s ,   a o pe r a t i o n   t h a t   r e qu i r e s   ( )   t i m e   pe pa rt i c l e   pe r   i t e r a t i o n   [7] - [9] .   T h e r e f o r e ,   t h e   c o m put a t i o na l   c o s t   o f   t h e   M O P S O   p ha s e   i s :     M O P S O = ( )   (6)     -   F i r e f l y   a l go r i t hm   s t a ge   In  F A ,   e a c f i r e f l y   c o m pa r e s   i t s   b ri g ht n e s s   w i t h   e v e r y   o t h e f i r e f l y   t o   de t e r m i n e   m o v e m e n t   t o w a r m o r e   a t t ra c t i v e   s o l ut i o n s .   T h i s   p a i r w i s e   c o m pa ri s o n   r e s u l t s   i a   qu a d ra t i c   i n t e ra c t i o c o m pl e xi t y   [23]:     FA = ( 2 )   (7)     -   G ra di e n t   de s c e n t   r e f i n e m e n t   GD   pe r f o r m s     i t e r a t i v e   w e i gh t - upda t e   s t e ps   f o r   e a c s e l e c t e s o l ut i o n ,   w h e r e   e a c u pda t e   r e qui r e s   e v a l ua t i n g   t h e   g ra di e n t   o f   t h e   l o s s   f un c t i o w i t h   r e s pe c t   t o   t he   f e a t ur e   w e i ght s   [2 0]:     GD = ( )   (8)     -   O v e r a l l   Co m pl e xi t y   of   F G M P S O   By   c o m b i n i ng  t h e   t hr e e   s t a ge s ,   t h e   t o t a l   c o m put a t i o na l   c o m pl e xi t y   of   t h e   p r o po s e h y b r i a l go r i t h m   b e c o m e s :     F G M P S O = ( ) + ( 2 ) + ( )   (9)     In  p ra c t i c e ,   s i n c e   a n d   a r e   t y pi c a l l y   m uc h   s m a l l e r   t h a t h e   di m e n s i o n a l i t y   ,   t h e   do m i n a nt   t e r m   i s :     F G M P S O ( )   (10)     T h i s   de m o n s t ra t e s   t ha t   a l t h o ug F G M P S O   i nt r o duc e s   a ddi t i o n a l   c o m put a t i o na l   s t e ps   c o m pa r e d   t o   c l a s s i c a l   P S O   v a ri a nt s ,   i t   r e m a i n s   c o m put a t i o na l l y   f e a s i b l e   fo r   h i g h - di m e n s i o na l   da t a s e t s .   M o r e   i m po r t a nt l y ,   t h e   h y b r i d   c o m b i n a t i o o f   s w a r m - b a s e e xpl o ra t i o a nd  g ra di e n t - b a s e r e f i n e m e nt   y i e l ds   i m p r o v e d   o pt i m i z a t i o s t a b i l i t y   a n d   s upe r i o s e a r c pe r f o r m a n c e   i n   c o m pl e f e a t u r e - s e l e c t i o n   s c e na ri o s   [7],   [12] ,   [24] .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       F G MP SO h y br i d   f i r e f l y - gr a di e nt - MO P SO   f r am e w or k   …  ( A l w at be B at oul   R as h e d )   1087   2. 5 .     P e r fo r m an c e   o n   d i ff e r e n d atas e ts   T h i s   s t udy   e v a l ua t e s   t h e   pe r f o r m a n c e   o f   t h e   p r o po s e F G M P S O   a l go ri t hm   us i n g   e i g h t   w i de l y   a do pt e b e n c hm a r k   da t a s e t s   o b t a i n e f r o m   t h e   U CI  m a c h i n e   l e a rni n g   r e po s i t o r y   [25],   [26] .   T h e s e   d a t a s e t s   S o n a r ,   M a de l o n,   H i l l - V a l l e y ,   Is o l e t 5,   L S V T ,   M us k1,   U rb a n ,   a n d   M o v e m e n t   c o ve r   a   b r o a d   ra n ge   o di m e n s i o na l i t i e s   a n d   s a m pl e   s i z e s ,   m a k i n g   t h e m   s ui t a b l e   f o r   a s s e s s i n g   f e a t u r e   s e l e c t i o n   m e t h o ds   u nde di v e r s e   c o n di t i o n s .   T h e   ke y   c h a ra c t e r i s t i c s   o f   t h e s e   da t a s e t s   a r e   s u m m a r i z e i n   T a b l e   1 .       T a b l e   1 .   C ha ra c t e ri s t i c s   o f   t h e   b e n c hm a rk  d a t a s e t s   us e i n   t h i s   s t udy   D a t a s e t   In s t a n c e s   F e a t u r e   Cl a s s e s   D e s c ri p t i o n   S o n a r   208   60   2   Cl a s s i fi e s   s o n a s i g n a l s   b o u n c e d   o ff  m e t a l   c y l i n d e r s   v s .   r o c k s .   H i l l V a l l e y   1 , 2 1 2   100   2   T i m e - s e r i e s - l i k e   d a t a   d i s t i n g u i s h i n g   b e t w e e n   h i l l   a n d   v a l l e y   p a t t e r n s .   Is o l e t 5   7 , 7 9 7   617   26   S p o k e n   l e t t e r s   o f   t h e   a l p h a b e t   c a t e g o ri z e d   i n t o   2 6   c l a s s e s .   L S V T   126   310   2   A c o u s t i c   fe a t u re s   f ro m   s u s t a i n e d   v o w e l s   s p o k e n   b y   i n d i v i d u a l s   w i t h / w i t h o u t   v o i c e   d i s o r d e r s .   M U S K   1   476   166   2   M o l e c u l e s   l a b e l e d   a s   m u s k s   o n o n - m u s k s   b a s e d   o n   c h e m i c a l   d e s c ri p t o r s .   U R B A N   2000   10   2   A u d i o   c h a ra c t e ri s t i c s   o u rb a n   a n d   n o n - u r b a n   e n v i r o n m e n t s .   M A D E L O N   2000   500   2   S y n t h e t i c   d a t a s e t   fo fe a t u r e   s e l e c t i o n   e v a l u a t i o n   w i t h   a   m i x   o f   r e l e v a n t ,   re d u n d a n t ,   a n d   i rr e l e v a n t   fe a t u r e s .   M O V E M E N T   2000   90   2   Cl a s s i fi e s   p e o p l e s   m o v e m e n t   i n t o   'm o v i n g a n d   'n o t   m o v i n g '   c l a s s e s .       T h e   da t a s e t s   us e i t hi s   s t udy   v a r y   s u b s t a nt i a l l y   i n   t e rm s   of   di m e n s i o na l i t y ,   n um b e o f   s a m p l e s ,   a n d   c l a s s   di s t ri b ut i o n .   T h i s   di v e r s i t y   pr o v i de s   a   r o b us t   t e s t i n g   e n v i r o nm e nt   f o r   e v a l ua t i n g   t h e   ge n e r a l i z a t i o c a pa b i l i t y   of   di ff e r e n t   f e a t u r e   s e l e c t i o n   a l go r i t hm s   a c r o s s   h e t e r o ge n e o us   r e a l - w o r l c o n di t i o n s .   P r i o r   t o   a n a l y s i s ,   a l l   da t a s e t s   w e r e   n o rm a l i z e t o   t h e   [ 0 , 1 ]   r a nge   us i n g   M i n M a s c a l i n g   t o   e n s u r e   c o m pa r a b l e   f e a t u r e   s c a l e s .   M o de l   pe r f o r m a n c e   w a s   a s s e s s e us i n a   5 - f o l c r o s s - v a l i da t i o p r o c e dur e ,   a n a   R a n do m   F o r e s t   c l a s s i f i e r   c o n f i gu r e w i t h   de f a ul t   pa ra m e t e r s   a nd  a   f i xe r a ndo m   s e e (42)   s e r v e a s   t h e   e v a l ua t i o n   m o de l   t o   m a i n t a i c o n s i s t e n t   e xpe r i m e n t a l   c o n di t i o n s .   T o   b e n c h m a r k   t h e   e f fe c t i ve n e s s   o f   t h e   p r o po s e m e t h o d,   F G M P S O   w a s   c o m pa r e a ga i n s t   a   c o m pr e h e n s i v e   s e t   o f   c l a s s i c a l   a n d   m e t a h e u r i s t i c   f e a t ur e   s e l e c t i o n   a pp r o a c h e s .   T h e   c o m pa r a t i v e   m e t h o ds   i n c l u de s t a n da rd  b i na r y   P S O   (S B P S O [7],   i m p r o v e s i gm o i d - b a s e d   P S O ,   q ua nt um - b e h a v e b i na r y   P S O   (Q B P S O [9] ,   u ni f i e b i n a r y   P S O   (U B P S O [17],   co o pe r a t i v e   P S O   (CP S O [1 0],   a n d   c a t   s w a rm   o pt i m i z a t i o i b o t c l a s s i c a l   a n d   a d a pt i v e   v a ri a nt s   (CS O (C)   a n d   CS O (A ))   [1 1].   A ddi t i o n a l l y ,   t w o   gr e e d y   w r a ppe r   m e t h o ds   S F S   a n S B S   w e r e   i m p l e m e n t e us i ng  t h e i s t a nda r d   c o n f i gur a t i o n s   i W e ka .   A l l   m e t a h e u r i s t i c   b a s e l i n e s   w e r e   pa ra m e t e r i z e f o l l ow i n g   e s t a b l i s h e l i t e r a t u r e   gui de l i n e s   a n v a l i da t e t hr o ug h   p r e l i m i na r y   pi l o t   ru n s .   U n l e s s   s pe c i f i e o t h e r w i s e ,   e a c a l go r i t hm   w a s   e xe c ut e w i t h   a   po pul a t i o n   s i z e   o f   30  o ve r   50  i t e ra t i o n s .   T he   pr o po s e F G M P S O   f r a m e w o r i n t e g r a t e s   t hr e e   c o m pl e m e n t a r y   o pt i m i z a t i o s t r a t e gi e s   F A ,   G D ,   a n d   M O P S O   e a c c o n t ri b ut i n g   d i s t i n c t   s t r e n gt h s   w i t hi t h e   h y b r i s e a r c m e c h a ni s m .   F A   w a s   i m p l e m e nt e us i ng  2 f i r e f l i e s   o ve r   50   ge n e ra t i o n s   w i t dy n a m i c   a t t ra c t i v e n e s s   a n d   r a ndo m i z e m o v e m e n t   o pe ra t o r s   t o   e nha n c e   gl o b a l   e xpl o ra t i o n   [ 23] .   G D   w a s   a pp l i e f o r   100  r e f i n e m e nt   i t e r a t i o n s   w i t a   de c a y i n l e a rn i ng  ra t e   b e gi nni n g   a t   0. 1   t o   a dj us t   f e a t ur e   w e i gh t s   a nd  m i ni m i z e   c l a s s i f i c a t i o n   e rr o [20] .   F i na l l y ,   M O P S O   e m pl oye b i n a r y   e n c o di n a n do m i n a n c e - b a s e s o r t i n g   w i t 40  pa rt i c l e s   a nd  5 i t e r a t i o n s   t o   j o i n t l y   o pt i m i z e   f e a t u r e   s ub s e t   c o m pa c t n e s s   a nd  p r e d i c t i v e   pe r f o r m a n c e   [12],   [24] .     2. 6 .     O p t i m i z at i o n   al go r i th m   p ar am e te r   tu n i n g   T a b l e   r e p r e s e n t   a l l   t y pe   of   a l go r i t hm s   i m p l e m e nt e w i t h   50  i t e ra t i o n s   a nd  e a c h   a l go ri t hm   t u n i ng  s e t t i n i s   m e n t i o n e d   i i t .       T a b l e   2 .   a l l   t y pe   of   a l go ri t hm s   A l g o ri t h m   P o p u l a t i o n   s i z e   It e ra t i o n s   A l g o ri t h m   S BP S O   30   50   In e rt i a   =   0 . 7 ,   c 1 = c 2 = 1 . 4 9   IS BP S O   30   50   λ= 1 . 0 ,   σ = 0 . 5 ,   S - s h a p e   T F   U B P S O   30   50   A d a p t i v e   t ra n s fe r   s t ra t e g y   Q BP S O   30   50   Q u a n t u m   p o t e n t i a l   w e l l   s t ra t e g y   CP S O   3 0   (5   p e r   g r o u p )   50   6   s u b - s w a r m s   CS O (C/ A )   30   50   S e e k i n g   m e m o r y   p o o l   =   5   F G M P S O   30   50   F i r e f l y   +   G D   +   M O P S O   h y b ri d   S F S ,   S B S   ----   ----   W e k a   d e f a u l t       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   4 1 ,   N o .   3 M a r c h   20 2 6 :   1082 - 1 094   1088   A l l   e xpe ri m e n t s   w e r e   c o n duc t e us i n g   P y t h o o a   s t a n d a r d   w o r ks t a t i o e qu i ppe w i t a I nt e l   Co r e   i 5   p r o c e s s o r   a n d   G B   o f   R A M .   T h e   i m pl e m e n t a t i o ut i l i z e s e v e r a l   s c i e n t i f i c   c o m put i n g   l i b r a ri e s ,   i n c l udi ng  N u m P y   a n P a n d a s   f o r   da t a   m a n i pul a t i o n ,   S c i ki t - l e a rn  f o r   p r e p r o c e s s i n g ,   n o r m a l i z a t i o n ,   c r o s s - v a l i da t i o n,   a n c l a s s i f i e r   e v a l u a t i o n ,   P y S w a r m s   f o r   P S O - b a s e b a s e l i n e   m e t h o ds ,   a n c us t o m   P y t h o m o dul e s   f o r   i m pl e m e n t i n g   t h e   f i r e f l y   a l go r i t hm   a n d   GD   c o m po n e n t s .   A   f i xe r a ndo m   s e e (42)   w a s   a pp l i e a c r o s s   a l l   r u n s   t o   e n s u r e   r e p r o duc i b i l i t y .   T h e   o pt i m i z a t i o pr o c e s s   us e a   dy n a m i c   m u l t i - o bj e c t i v e   f i t n e s s   f un c t i o i w h i c h   t h e   w e i gh t i n g   f a c t o r s   w e r e   a da pt i v e l y   a dj us t e t hr o ug h o ut   t h e   s e a r c h   i ni t i a l l y   pr i o r i t i z i n g   f e a t ur e   m i n i m i z a t i o n   a n g r a du a l l y   s h i f t i n g   e m p ha s i s   t ow a r m a xi m i z i n g   c l a s s i f i c a t i o n   a c c ura c y   a s   o pt i m i z a t i o p r o gr e s s e d.   T h e   f i na l   f e a t u r e   s ub s e t   w a s   ob t a i n e by   s e l e c t i n t h e   m o s t   s t a b l e   f e a t u r e s   c o n s i s t e n t l y   i de n t i f i e a c r o s s   t h e   t hr e e   i nt e g r a t e c o m po ne n t s   o f   F G M P S O   M O P S O   e xpl o r a t i o n,   f i r e f l y - b a s e e n h a n c e m e n t ,   a n d   GD   r e f i n e m e nt   t h e r e by   e n s u r i n g   r o bus t n e s s   a n d   r e l i a b i l i t y   o f   t h e   s e l e c t e f e a t ur e   s e t .       3.   R ES U LTS   T h i s   s e c t i o p r e s e n t s   a   c o m pr e h e n s i v e   e v a l ua t i o o f   t h e   p r o po s e F G M P S O   m e t h o i n   c o m pa ri s o t o   s e v e r a l   b e n c hm a r k   P S O - b a s e f e a t u r e   s e l e c t i o n   a l go r i t hm s ,   i n c l ud i n g   IS B P S O ,   S B P S O ,   U B P S O ,   Q B P S O ,   CS O   v a ri a nt s ,   a nd  CP S O .   T h e   c o m pa ri s o f oc us e s   o n   t w o   c r i t i c a l   m e t r i c s :   t h e   num b e o f   s e l e c t e f e a t ur e s   a n t h e   m e a n   c l a s s i f i c a t i o n   a c c ura c y   a c h i e v e a c r o s s   m ul t i p l e   da t a s e t s .   F G M P S O   c o n s i s t e nt l y   de m o n s t r a t e s   t h e   a b i l i t y   t o   s e l e c t   s i g n i f i c a n t l y   f e w e r   f e a t ur e s   w i t h o ut   c o m pr o m i s i n g ,   a n d   i m a n y   c a s e s   i m p r o v i n g,   c l a s s i f i c a t i o n   pe r f o r m a n c e .   T hi s   r e duc t i o n   i f e a t ur e   di m e n s i o na l i t y   hi g hl i g ht s   t h e   m e t h o d’s   e f f i c i e n c y   i r e m o v i n g   r e du n da nt   o i rr e l e v a n t   da t a ,   w hi c h   i t u rn   e nh a n c e s   c o m put a t i o n a l   s pe e a n d   m o de l   i n t e r p r e t a b i l i t y .   T a b l e   3   i A P P E N D IX   p r e s e n t s   a   c o m pa ra t i v e   a n a l y s i s   of   F G M P S O   a n d   t h e   b e n c hm a rk  m e t h o ds .   T h e   c o l um F e a t u r e s   i n di c a t e s   t h e   n um b e o f   f e a t ur e s   s e l e c t e d,   w h i l e   A c c ur a c y   de n o t e s   t h e   a v e r a g e   c l a s s i f i c a t i o a c c u r a c y   ob t a i n e d.   O v e r a l l ,   t h e   r e s ul t s   c l e a r l y   i n d i c a t e   t ha t   F G M P S O   c o n s i s t e nt l y   o ut pe r f o r m s   t h e   c o m pa r e m e t h o ds   by   a c h i e v i n g   hi g h e r   c l a s s i f i c a t i o n   a c c ura c y   w i t a   s i g n i f i c a nt l y   s m a l l e num b e o f   s e l e c t e fe a t ur e s   a c r o s s   m o s t   b e n c hm a rk  da t a s e t s .   T h e   r e s ul t s   s h o w   t ha t   a c r o s s   e i g ht   di v e r s e   d a t a s e t s ,   F G M P S O   e i t h e r   a t t a i n s   t h e   hi g h e s t   a c c u r a c y   o r   r e m a i n s   c o m pe t i t i v e   w i t h   o t h e m e t h o ds   w h i l e   m a i nt a i n i ng  a   s ub s t a n t i a l l y   s m a l l e r   f e a t u r e   s ub s e t .   T hi s   b a l a n c e   b e t w e e n   a c c ura c y   a n d i m e n s i o na l i t y   r e duc t i o n   u n de r s c o r e s   t h e   e ff e c t i v e n e s s   o F G M P S O ’s   m ul t i - o b j e c t i v e   o pt i m i z a t i o f r a m e w o r k.   T h e   m e t h o d’s   i nt e g r a t i o o f   h e u ri s t i c   s e a r c v i a   t h e   F i r e f l y   A l go r i t hm ,   r e f i n e t hr o ug h   GD   a nd  gu i de b y   M O P S O ,   a l l o w s   fo r   s upe r i o c o n v e r ge n c e   b e h a v i o a nd  e ffe c t i ve   na v i ga t i o o f   t h e   f e a t u r e   s e a r c h   s p a c e .   T o   f urt h e r   a s s e s s   t h e   ge n e ra l i z a t i o n   c a pa b i l i t y   of   t h e   pr o po s e F G M P S O   a l go r i t h m ,   a dd i t i o n a l   e xpe r i m e nt s   w e r e   c o n duc t e us i n s up po r t   v e c t o r   m a c h i n e   (S V M ),   k - n e a r e s t   n e i g h b o r s   (K N N ),   a n d   a   s ha l l o w   n e u ra l   n e t w o r (N N ).   T h e s e   c l a s s i f i e r s   r e p r e s e n t   m a rgi n - b a s e d,   di s t a n c e - b a s e d,   a n d   n e u ra l   m o de l s .   A c r o s s   a l l   da t a s e t s ,   F G M P S O   m a i n t a i n e d   s t r o n g   pe r f o r m a n c e   a n d   co n s i s t e n t l y   s e l e c t e c o m pa c t   f e a t u r e   s ub s e t s .   O n   a v e r a ge ,   a c c u r a c y   i m p r o v e by   3 7%  us i n g   S V M     a n 2 5%  us i n K N N ,   w h i l e   N N   a c h i e v e t h e   hi g h e s t   s t a b i l i t y   o n   h i g h - d i m e n s i o na l   da t a s e t s .   T h e s e   f i n d i n gs   de m o n s t r a t e   t ha t   F G M P S O   ge n e ra l i z e s   w e l l   a c r o s s   di f f e r e n t   c l a s s i f i c a t i o m o de l s .           F i gu r e   3 .   F e a t u r e   a nd  a c c ura c y   a n a l y s i s   o f   a l l   8   a l go ri t hm s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       F G MP SO h y br i d   f i r e f l y - gr a di e nt - MO P SO   f r am e w or k   …  ( A l w at be B at oul   R as h e d )   1089   F i gu r e   3   p r e s e n t s   a   c o m pr e h e n s i v e   c o m pa r i s o o f   e i g h t   f e a t u r e   s e l e c t i o m e t h o ds   a c r o s s   e i g ht   b e n c h m a r da t a s e t s :   S o n a r,   M o v e m e n t ,   H i l l v a l l e y ,   M a de l o n,   U r b a n,   M us k1 ,   L S V T ,   a n d   Is o l e t 5.   E a c h   c ha r t   i l l us t r a t e s   a   s c a t t e r   pl o t   w h e r e   t h e   h o ri z o nt a l   a x i s   r e p r e s e nt s   t h e   n u m b e o f   fe a t u r e s   s e l e c t e d,   a n d   t h e   v e r t i c a l   a xi s   i n di c a t e s   t h e   c o r r e s po n d i n c l a s s i f i c a t i o n   a c c u r a c y   a c h i e v e by   e a c h   m e t h o d.   T h e s e   v i s ua l   s um m a ri e s   unde r s c o r e   t h e   f u n d a m e n t a l   t e n s i o i f e a t u r e   s e l e c t i o n:   r e d uc i n g   t h e   di m e n s i o na l i t y   of   da t a   w h i l e   s t r i v i n g   t o   m a i n t a i n,   o r   e v e n   i m p r o v e ,   t h e   m o de l ’s   p r e di c t i v e   c a pa b i l i t y .   F G M P S O   c o n s i s t e nt l y   s e l e c t s   s i g n i f i c a nt l y   f e w e r   f e a t u r e s   c o m pa r e d   t o   o t h e m e t h o ds ,   o f t e n   a c hi e v i n g   c o m pa ra b l e   o s upe r i o a c c ura c y .   F o r   e x a m p l e ,   o n   t h e   S o n a d a t a s e t ,   F G M P S O   s e l e c t e o n l y   f e a t ur e s ,   s ub s t a n t i a l l y   f e w e r   t ha t h e   11   t o   26   f e a t u r e s   c h o s e by   c o m pe t i n g   m e t h o ds ,   w hi l e   m a i n t a i ni n g   a n   a c c ur a c y   of   80%.   T hi s   de m o n s t ra t e s   F G M P S O ’s   a b i l i t y   t o   e f fe c t i ve l y   r e duc e   di m e n s i o n a l i t y   w i t h o ut   s a c r i f i c i n g   p r e di c t i v e   pe r f o r m a n c e .   R un t i m e   a nd  m e m o r y   us a ge   a na l y s i s ,   t o   a s s e s s   t h e   c o m put a t i o na l   e ff i c i e n c y   of   t h e   p r o po s e d   F G M P S O   a l go ri t hm ,   r u nt i m e   a n d   m e m o r y   us a ge   w e r e   r e c o r de a c r o s s   a l l   da t a s e t s .   A l l   e xpe ri m e nt s   w e r e   c o n duc t e o n   a   s t a nda r d   m a c h i n e   e qui ppe w i t a n   I nt e l   Co r e   i 5   p r o c e s s o r   a nd  8   G B   o f   R A M .   D e s pi t e   c o m b i n i ng  t hr e e   o pt i m i z a t i o c o m po n e nt s ,   F G M P S O   de m o ns t ra t e d   c o m pe t i t i v e   c o m put a t i o na l   pe r f o r m a n c e .   A c r o s s   t h e   e i g ht   b e n c hm a rk  da t a s e t s ,   t h e   a v e ra ge   ru n t i m e   o ve rh e a d   o f   F G M P S O   w a s   a pp r o xi m a t e l y   12 18%   h i g h e r   t ha n   s i ngl e - s t a ge   P S O   v a ri a nt s .   T hi s   i n c r e a s e   i s   e xpe c t e due   t o   t h e   a ddi t i o n a l   r e f i n e m e n t   s t e ps   i n t r o duc e by   t h e   f i r e f l y   a l go r i t hm   a nd  GD .   H ow e v e r ,   t h i s   o v e rh e a i s   c o m pe n s a t e by   t h e   s i g ni f i c a nt   r e duc t i o n s   i f e a t u r e   d i m e n s i o n a l i t y   a n d   i m p r o v e m e n t s   i p re di c t i o n   a c c ura c y .   M e m o r y   us a ge   r e m a i n e m o de r a t e   a nd  s t a b l e   t hr o ug h o ut   t he   e xpe r i m e nt s ,   w i t pe a k   c o n s um p t i o n   n o t   e xc e e di n 1. 2   G B .   Co m pa r e d   t o   CP S O   a nd  Q B P S O ,   F G M P S O   r e qu i r e 1 0 15%   l e s s   m e m o r y ,   a t t ri b ut e t o   i t s   c o m pa c t   b i na r y   r e p r e s e n t a t i o n   a n e a r l y   c o n v e r ge n c e   b e h a v i o r .   T h e s e   f i n d i n gs   c o n f i r m   t ha t   t h e   h y b r i s t ruc t u r e   o f   F G M P S O   i s   c o m put a t i o na l l y   fe a s i b l e   a nd  e f f i c i e n t ,   p r o v i di n g   i m p r o v e o pt i m i z a t i o pe r f o r m a n c e   w i t h o ut   i m po s i n g   e xc e s s i ve   c o m put a t i o n a l   c o s t .       4.   DISCUSSIO N   4. 1 .     F i n d i n gs   an d   e x p l an ati o n   T h e   p r o po s e F G M P S O   a l go r i t h m   de m o n s t ra t e s   i t s   e f fe c t i ve n e s s   a s   a   c o m pe t i t i v e   f e a t ur e   s e l e c t i o n   a pp r o a c i hi g h - di m e n s i o n a l   da t a s e t s .   F G M P S O   a c hi e ve s   a   s t r o n g   b a l a n c e   b e t w e e n   c o m pa c t   f e a t u r e   s e l e c t i o n   a n r e l i a b l e   c l a s s i f i c a t i o n   r e s ul t s   by   c o m b i n i n t h e   s t r e n g t h s   o f   t h e   f i r e f l y   a l go r i t hm GD ,   a n a   m ul t i - o b j e c t i ve   P S O   f r a m e w o r k.   T hi s   h y b r i a pp r o a c h   c o ns i s t e nt l y   r e duc e s   t h e   n u m b e r   o f   c h o s e n   f e a t u r e s   w i t h o ut   s a c r i f i c i n g   a c c u r a c y .   In   do i n g   s o ,   i t   t a c kl e s   o n e   o f   m a c hi n e   l e a rni n g’s   c o r e   c h a l l e n ge s :   l o w e r i n g   da t a   di m e n s i o na l i t y   w h i l e   p r e s e r v i n g ,   i f   n o t   e nha n c i ng,   t h e   m o de l ’s   p r e di c t i v e   po w e r .   T h e   c o m pa r a t i v e   r e s ul t s   r e i n f o r c e   F G M P S O ’s   s upe r i o ri t y   ove r   t r a d i t i o n a l   P S O - b a s e m e t h o ds ,   s uc a s   IS B P S O ,   S B P S O ,   a n d   CP S O .   N o t a b l y ,   F G M P S O   a c hi e ve t h e   hi g h e s t   a c c ura c y   o n   f i v e   of   t h e   e i g ht   da t a s e t s   a nd  s i g n i f i c a n t l y   r e duc e t h e   f e a t u r e   c o unt   a c r o s s   a l l   d a t a s e t s .   F o r   i n s t a n c e ,   i t h e   H i l l v a l l e y   da t a s e t ,   F G M P S O   s e l e c t e 16  f e a t u r e s   w i t a a c c ura c y   of   60%,   o ut pe r f o r m i ng  a l l   o t h e m e t h o ds   t ha t   s e l e c t e up   t 43  f e a t u r e s   b ut   a c h i e v e o n l y   50 51%  a c c ura c y .   T h i s   s ugge s t s   t ha t   F G M P S O   n o t   o nl y   r e duc e s   c o m put a t i o na l   c os t   b ut   a l s o   e nha n c e s   t h e   c l a s s i f i e r ’s   ge n e r a l i z a t i o n   a b i l i t y   by   foc us i n g   o n   m o r e   i n f o rm a t i v e   f e a t ur e s .   F r o m   t h e   pe r s pe c t i v e   of   pr e v i o us   s t udi e s ,   t ra d i t i o n a l   P S O   v a r i a nt s   o f t e n   s t r ugg l e   w i t h   c o n v e r ge n c e   i s s ue s   a nd  pr e m a t u r e   s t a g n a t i o i l o c a l   o pt i m a   w h e de a l i n g   w i t l a rge   s e a r c s pa c e s .   F G M P S O   a dd r e s s e s   t h i s   l i m i t a t i o t hr o ug i t s   h y b r i d   de s i g n :   t h e   F i r e f l y   A l go r i t h m   e na b l e s   di v e r s e   e xpl o ra t o r y   s e a r c h ,   w hi l e   GD   e n s u r e s   l o c a l   r e f i n e m e nt ,   a nd  M O P S O   h e l ps   b a l a n c e   t h e   t r a de - off   be t w e e n   t h e   t w o   ob j e c t i ve s   a c c ur a c y   a n d   f e a t ur e   r e duc t i o n.   T hi s   i nt e g r a t i o i m p r o v e s   b o t h   c o n v e r ge n c e   s pe e a n d   s o l ut i o q ua l i t y ,   a s   o b s e r v e i n   c o n s i s t e n t   pe r f o r m a n c e   a c r o s s   di v e r s e   d a t a s e t s   s uc a s   M us k 1,   L S V T ,   a n d   Is o l e t 5.   T h e   f i n di ngs   a l s o   h i g h l i g h t   F G M P S O ’s   v e r s a t i l i t y   a c r o s s   di ff e r e n t   da t a s e t   t y pe s ,   pa r t i c ul a rl y   t h o s e   c h a ra c t e ri z e b y   h i g h   f e a t u r e   r e du nda n c y ,   s uc h   a s   M a de l o n   a nd  Is o l e t 5.   T h i s   f l e xi b i l i t y   po i n t s   t o   t h e   a l go ri t hm ’s   r o b us t n e s s   w h e a pp l i e d   t o   c o m pl e x,   r e a l - w o r l d   pr o b l e m s ,   ra n g i n f r o m   b i o m e di c a l   a na l y s i s   a n t e xt   c l a s s i f i c a t i o n   t o   i m a ge   r e c o gn i t i o n,   w h e r e   da t a s e t s   o f t e n   c o nt a i n   t h o us a n ds   o f   fe a t ur e s   a n i n t ri c a t e   v a r i a b l e   r e l a t i o n s hi ps .   U nl i ke   e xi s t i ng   h y b r i d   P S O - b a s e f e a t ur e   s e l e c t i o a pp r o a c h e s   s uc a s   P S O F A ,   PSO G W O ,   o r   P S O G D ,   w h i c h   t y pi c a l l y   fo c us   o n   e nh a n c i n e i t h e r   e xpl o r a t i o o r   l o c a l   e xpl o i t a t i o n   i n de p e n de n t l y ,   t h e   p r o po s e F G M P S O   f r a m e w o r a do pt s   a   c o o r di n a t e i nt e g r a t i o s t ra t e gy .   S pe c i f i c a l l y ,   F i r e f l y - b a s e e xpl o r a t i o n   i s   e m p l oy e t o   e nh a n c e   po pul a t i o n   d i v e r s i t y   a nd  a v o i p r e m a t u r e   c o n v e r ge n c e ,   fo l l ow e by   s e l e c t i ve   GD   r e f i n e m e n t   t o   i m p r o v e   l oc a l   s e a rc h   a r o un d   p r o m i s i ng  s o l ut i o n s ,   w h i l e   a   P a r e t o - b a s e m ul t i - o b j e c t i v e   m e c h a n i s m   s i m ul t a n e o us l y   b a l a n c e s   c l a s s i f i c a t i o a c c ura c y   a n d   f e a t u r e   r e duc t i o n.   T hi s   t i g ht l y   c o upl e o pt i m i z a t i o s e que n c e   di s t i n gui s h e s   F G M P S O   f r o m   c o n v e n t i o na l   h y b r i m o de l s   a nd  c o n t ri b ut e s   t o   i t s   s upe r i o pe r f o r m a n c e   o hi g h - d i m e n s i o na l   da t a s e t s .   T o   f ur t h e v a l i da t e   t h e   s t a t i s t i c a l   s i g n i f i c a n c e   o f   t h e   o bs e r v e pe r f o r m a n c e   i m p r o v e m e n t s ,   a   W i l c o xo n   s i g n e d - r a n k   t e s t   w i t h   a   s i g n i f i c a n c e   l e v e l   of   α  =   0 . 05  w a s   c o n duc t e us i ng  c l a s s i f i c a t i o a c c ura c y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   4 1 ,   N o .   3 M a r c h   20 2 6 :   1082 - 1 094   1090   a c r o s s   t h e   b e n c h m a r da t a s e t s .   T h e   t e s t   r e s ul t s   i ndi c a t e   t ha t   t h e   i m p r o v e m e n t s   a c h i e v e by   F G M P S O   ov e r   c o m pe t i n g   f e a t u r e   s e l e c t i o n   m e t h o ds   a r e   s t a t i s t i c a l l y   s i g ni f i c a nt   (p   <   0. 0 5),   c o n f i r m i n g   t h a t   t h e   pe r f o r m a n c e   ga i n s   a r e   n o t   due   t o   r a ndo m   v a ri a t i o b ut   a r e   a t t ri b ut e t o   t h e   p r o po s e h y b r i d   m ul t i - o b j e c t i ve   o pt i m i z a t i o n   f r a m e w o r k.     4. 2 .     C o m p ar i s o n   w i th   p r e v i o u s   s tu d i e s   T h e   e m pi ri c a l   r e s ul t s   o b t a i n e by   F G M P S O   c a n   b e   b e t t e r   u nde r s t o o w h e n   c o n t r a s t e w i t h   p r e v i o u s   f e a t ur e   s e l e c t i o a pp r o a c h e s   r e po r t e i t h e   l i t e r a t u r e .   C l a s s i c a l   f i l t e r   a n d   w ra ppe r - b a s e m e t h o ds ,   s uc h   a s   t h o s e   s ur v e y e i n   [2],   [ 3],   [5] ,   o f t e n   a c h i e v e   r e a s o n a b l e   c l a s s i f i c a t i o a c c u r a c y   b ut   t e n d   t o   r e t a i a   r e l a t i v e l y   l a r ge   p r o po r t i o o f   t h e   o ri gi na l   f e a t ur e s ,   w h i c h   l i m i t s   t h e i us e f ul n e s s   i h i g h - di m e n s i o na l   s e t t i ngs .   R e c e n t   m e t a h e u r i s t i c - b a s e f e a t ur e   s e l e c t i o n   a l go ri t hm s ,   i n c l u di n g   b i n a r y   P S O   v a r i a nt s   a n h y b r i P S O   f r a m e w o r ks   [7],   [1 6],   [17] ,   [26] ,   ha v e   i m p r o v e t h e   t ra de - o ff   b e t w e e n   a c c ur a c y   a n di m e n s i o na l i t y   r e duc t i o n ;   h o w e v e r ,   t h e y   f r e que n t l y   s uffe r   f r o m   p r e m a t u r e   c o n v e r ge n c e   a nd  i n s t a b i l i t y   a c r o s s   di f f e r e n t   d a t a s e t s .   I c o n t ra s t ,   t h e   pr o po s e F G M P S O   c o n s i s t e n t l y   a c h i e v e s   a   hi g h e r   r e duc t i o n   ra t e   i n   t h e   n um b e o f   s e l e c t e f e a t ur e s   w h i l e   m a i n t a i ni n g   o i m p r o v i n g   a c c ur a c y   o n   m o s t   o f   t h e   b e n c hm a r k   d a t a s e t s   us e i t hi s   s t udy .   T h i s   i ndi c a t e s   t ha t   c o m b i n i ng  M O P S O   w i t F i r e f l y - b a s e e xpl o r a t i o n   a n GD   r e f i n e m e nt   y i e l ds   a   m o r e   b a l a n c e a nd  r o b us t   s e a r c h   p r o c e s s   t ha s i n g l e - s t a ge   P S O - b a s e a l go ri t hm s .   F urt h e rm o r e ,   s w a rm -   a nd  na t u r e - i n s pi r e d   a l go r i t hm s   s uc a s   G r e y   W o l f   O pt i m i z e a n d   r e l a t e h y b r i m e t h o ds   h a v e   s h o w n   p r o m i s i ng  pe r f o r m a n c e   i n   f e a t u r e   s e l e c t i o n   t a s ks   [23] ,   y e t   m a n y   of   t h e s e   a pp r o a c h e s   s t i l l   f o c us   o n   s i n gl e - o b j e c t i ve   fo r m u l a t i o n s   o r e l y   o n   f i xe w e i gh t i n g   s c h e m e s   b e t w e e n   a c c u r a c y   a n s ub s e t   s i z e .   B y   e m pl oy i n a   dy n a m i c   m ul t i - o b j e c t i ve   f i t n e s s   f un c t i o n   a n i n t e g r a t i ng  c o m pl e m e n t a r y   s e a r c h   m e c h a ni s m s ,   F G M P S O   a dd r e s s e s   t h e s e   l i m i t a t i o ns   a n p r o v i de s   a   m o r e   f l e xi b l e   o pt i m i z a t i o n   f r a m e w o r k.   T h e   c o m pa ra t i v e   r e s ul t s   t h e r e f o r e   po s i t i o n   F G M P S O   a s   a   c o m pe t i t i v e   a l t e rna t i v e   t o   e xi s t i n g   PSO -   a n G W O - b a s e fe a t u r e   s e l e c t i o n   t e c hni que s ,   p a r t i c ul a r l y   i n   c o m pl e x,   hi g h - di m e n s i o n a l   do m a i n s   w h e r e   b o t h   p r e di c t i v e   pe r f o r m a n c e   a n d   m o de l   c o m pa c t n e s s   a r e   c r i t i c a l .     4. 3 .     S c o p e   an d   i m p l i c ati o n   T h i s   r e s e a r c c o nt r i b ut e s   t o   t h e   g r o w i n g   b o d y   of   w o r o h y b r i d   m e t a h e u r i s t i c   a p p r o a c h e s   f o r   f e a t ur e   s e l e c t i o n ,   e s pe c i a l l y   i n   hi g h - d i m e n s i o n a l   s e t t i ngs .   T h e   i nt e gra t i o n   o f   b i o - i n s pi r e a l go ri t hm s   w i t c l a s s i c a l   o pt i m i z a t i o n   (i . e . ,   G r a di e n t   d e s c e n t p r o v i de s   a   b l ue pr i nt   f o r   de s i g ni n f ut u r e   h y b r i f r a m e w o r ks   t h a t   c a a dd r e s s   b o t h   e xpl o r a t i o a nd  e xp l o i t a t i o c h a l l e n ge s   i f e a t u r e   s e l e c t i o n .   M o r e ov e r ,   F G M P S O ’s   a b i l i t y   t o   m a i n t a i n   o r   e nh a n c e   m o de l   pe r f o r m a n c e   w i t h   s i g ni f i c a n t l y   f e w e r   f e a t ur e s   ha s   p ra c t i c a l   i m p l i c a t i o n s   f o do m a i n s   w h e r e   c o m put a t i o na l   r e s o ur c e s   a r e   l i m i t e d   o i nt e r p r e t a b i l i t y   i s   e s s e n t i a l .   I f i e l ds   s uc h   a s   h e a l t h c a r e   d i a g n o s t i c s ,   r e duc i n g   f e a t u r e   s p a c e   n o t   o nl y   a c c e l e r a t e s   p r o c e s s i n b ut   a l s o   s i m pl i f i e s   de c i s i o n - m a ki n g   f o r   c l i ni c i a n s   a nd  do m a i n   e xpe rt s .     4. 4 .     S i gn i f i c an c e   o th e   f i n d i n gs   T h e   f i n d i n gs   o f   t hi s   s t udy   de m o n s t r a t e   t h e   p r a c t i c a l   v a l ue   a nd  r o b us t n e s s   of   t h e   p r o po s e F G M P S O   a l go ri t hm   c o m pa r e w i t e xi s t i n g   f e a t u r e   s e l e c t i o t e c hn i que s .   T h e   a b i l i t y   of   F G M P S O   t o   c o n s i s t e nt l y   r e duc e   t h e   d i m e n s i o n a l i t y   of   h i g h - di m e n s i o n a l   da t a s e t s   w h i l e   m a i n t a i ni n g   o i m p r o v i n g   c l a s s i f i c a t i o a c c ur a c y   i s   pa r t i c ul a rl y   s i gni f i c a nt   f o r   r e a l - w o r l a ppl i c a t i o n s   w h e r e   c o m put a t i o na l   e f f i c i e n c y   a n d   m o de l   i n t e r p r e t a b i l i t y   a r e   e s s e n t i a l .   U nl i ke   t r a di t i o na l   P S O - b a s e m e t h o ds ,   w h i c o f t e n   s uf f e r   f r o m   p r e m a t u r e   c o n v e r ge n c e ,   F G M P S O   i n t e g r a t e s   g l o b a l   e xpl o ra t i o ( t hr o ugh  M O P S O ),   l o c a l   r e f i n e m e nt   (t hr o ug F A ) ,   a n d   gra di e nt - b a s e f i n e - t u ni n g   (t hr o ug h   G D ) ,   e na b l i n i t   t o   i de n t i fy   m o r e   c o m pa c t   a n d   i n f o r m a t i v e   f e a t ur e   s ub s e t s .   T h i s   d i r e c t l y   i m p r o v e s   m o de l   pe r f o r m a n c e ,   r e duc e s   t ra i ni n g   t i m e ,   a nd  m i ni m i z e s   o v e r f i t t i n g .   T h e   r e s ul t s   h i g h l i g h t   t ha t   t h e   h y b r i m e c ha n i s m   o f   F G M P S O   pr o v i de s   a   m o r e   b a l a n c e o pt i m i z a t i o p r o c e s s   m a k i n i t   hi g hl y   s ui t a b l e   fo r   c o m pl e do m a i n s   s uc h   a s   b i o i nf o r m a t i c s ,   m e di c a l   di a g n o s i s ,   c y b e r - s e c ur i t y ,   a nd  l a r ge - s c a l e   p a t t e rn  r e c o gn i t i o t a s ks   w h e r e   a c c ur a c y   a n d   f e a t ur e   c o m pa c t n e s s   a r e   e qua l l y   i m po rt a nt .     4. 5 .     F u t u r e   r e s e a r c h   d i r e c t i o n s   W h i l e   F G M P S O   ha s   s h o w n   p r o m i s i n g   r e s ul t s ,   s e v e r a l   a v e n ue s   r e m a i f o f ut u r e   e xp l o ra t i o n :   S c a l a b i l i t y   t o   ul t ra - h i g di m e n s i o na l   da t a :   T e s t i ng   t h e   a l go r i t hm   o d a t a s e t s   w i t t e n s   o f   t h o us a n ds   o f e a t ur e s ,   s uc h   a s   ge n e   e xp r e s s i o n   da t a ,   c o ul f ur t h e r   v a l i d a t e   i t s   r o b us t n e s s .   Cl a s s i f i e r - i n de pe n de n c e :   F ut u r e   w o r c o ul d   i n v o l v e   e v a l ua t i n g   F G M P S O   w i t m u l t i pl e   c l a s s i f i c a t i o m o de l s   (e . g . ,   S V M ,   r a ndo m   f o r e s t K N N t o   a s s e s s   m o de l - a g n o s t i c   b e h a v i o r.   D y n a m i c   f e a t ur e   s e l e c t i o n :   E xt e n d i n F G M P S O   t o   ha n d l e   s t r e a m i ng   da t a   o t i m e - s e ri e s   d a t a   c o ul b r o a de i t s   a pp l i c a b i l i t y   i o n l i n e   l e a rn i ng   s c e n a ri o s .   T h e o r e t i c a l   c o n v e r ge n c e   a na l y s i s :   A   f o r m a l   m a t h e m a t i c a l   a n a l y s i s   of   t he   c o n v e r ge n c e   b e h a v i o o f   t h e   h y b r i d   F G M P S O   f r a m e w o r w o ul de e pe n   t h e o r e t i c a l   u n de r s t a n di ng  a n d   i m p rov e   t r us t   i i t s   l o n g - t e rm   pe r f o r m a n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       F G MP SO h y br i d   f i r e f l y - gr a di e nt - MO P SO   f r am e w or k   …  ( A l w at be B at oul   R as h e d )   1091   5.   C O N C LU S I O N   T h i s   pa pe p r e s e n t e d   F G M P S O ,   a   h y b r i f e a t u r e   s e l e c t i o f ra m e w o r t ha t   i nt e g r a t e s   m u l t i - o b j e c t i ve   P S O ,   f i r e f l y - b a s e e xpl o r a t i o n ,   a nd  GD   r e f i n e m e n t   t o   a dd re s s   t h e   c h a l l e n ge s   i nh e r e nt   i hi g h - d i m e n s i o n a l   c l a s s i f i c a t i o t a s ks .   T h e   e xpe ri m e n t a l   r e s ul t s   o b t a i n e f ro m   e i g h t   b e n c h m a rk  da t a s e t s   c o n f i r m   t ha t   t h e   pr o po s e m e t h o c o n s i s t e n t l y   a c h i e v e s   s upe r i o r   pe r f o r m a n c e   w h e n   c o m pa r e w i t e s t a b l i s h e P S O   v a r i a nt s   a n c l a s s i c a l   w ra ppe r - b a s e a pp r o a c h e s .   F G M P S O   n o t   o nl y   i m pr o v e s   c l a s s i f i c a t i o n   a c c u r a c y   b ut   a l s pr o duc e s   s ub s t a nt i a l l y   s m a l l e r   f e a t u r e   s ub s e t s ,   de m o n s t ra t i n g   i t s   a b i l i t y   t o   b a l a n c e   p r e di c t i v e   pe r f o r m a n c e   a n m o de l   c o m pa c t n e s s .   T h e   h y b r i d   s t r uc t u r e   o f   F G M P S O   e ff e c t i v e l y   m i t i g a t e s   ke y   l i m i t a t i o n s   r e po rt e i n   t h e   l i t e ra t u r e ,   i n c l udi ng  p r e m a t u r e   c o n v e r ge n c e ,   i n s uf f i c i e n t   e xpl o r a t i o i l a r ge   s e a r c h   s p a c e s ,   a n d   t h e   i n s t a b i l i t y   o f   s i n gl e - s t a ge   P S O   v a r i a nt s   a c r o s s   h e t e r o ge n e o us   da t a s e t s .   By   e m pl o y i n a   dy n a m i c   m ul t i - o b j e c t i ve   fo r m u l a t i o n,   t h e   a l go ri t hm   a da p t s   i t s   s e a r c b e h a v i o o v e r   t i m e ,   e na b l i n g   e f f i c i e n t   c o n v e r ge n c e   t o w a r hi g h - qua l i t y   P a r e t o - o pt i m a l   s o l ut i o n s .   T h e   f i n di ngs   o f   t h i s   s t udy   i n di c a t e   t h a t   F G M P S O   off e r s   a   s c a l a b l e   a n d   c o m put a t i o n a l l y   e ff i c i e n t   s o l ut i o n   s u i t a b l e   fo r   a   w i de   ra n ge   o f   m a c h i n e   l e a rn i ng  a p pl i c a t i o n s   i n v o l v i n c o m pl e a n d   r e du n d a n t   f e a t u r e   s pa c e s .   F u t u r e   r e s e a r c m a y   e xpl o r e   a d a pt i v e   pa r a m e t e r   c o nt r o l ,   c l a s s i f i e r - i n de pe n de n t   e xt e n s i o n s ,   a n d   t h e   a pp l i c a t i o o f   F G M P S O   t o   u l t ra hi g h - d i m e n s i o n a l   do m a i n s   s uc a s   ge n o m i c s ,   t e x t   m i ni n g ,   a n d   s t r e a m i n g   d a t a   e n v i r o n m e nt s .   In  s u m m a r y ,   F G M P S O   p r o v i de s   a   r o b us t   a n d   ge n e r a l i z a b l e   o pt i m i z a t i o f ra m e w o r t ha t   a dv a n c e s   t h e   s t a t e   o f   t h e   a rt   i f e a t u r e   s e l e c t i o a nd  c o nt r i b ut e s   a   m e a n i n gf ul   s t e p   t o w a r d   m o r e   i nt e l l i ge nt ,   c o m pa c t ,   a n r e l i a b l e   l e a rn i ng  s y s t e m .       A C K N O WL ED G M EN TS   t h a nk   t h e   D e pa r t m e n t   o f   I n f o r m a t i o T e c hn o l o g y ,   Co l l e ge   of   Co m put e r ,   Q a s s i m   U n i v e r s i t y ,   B ur a y da h,   S a udi   A r a b i a   f o r   s uppo r t i n g   t hi s   r e s e a r c pa pe r.         F U N D I N G   I N F O R M A TI O N   T h e   a u t h o de c l a r e s   t h a t   n o   e xt e rna l   f un d i n g   w a s   r e c e i v e for  t hi s   r e s e a r c h.       A U TH O R   C O N TR I B U TI O N S   S TA T EM EN T   T h i s   j o urna l   us e s   t h e   Co n t ri b ut o R o l e s   T a xo n o m y   (CR e di T t o   r e c o gn i z e   i n d i v i dua l   a ut h o c o n t ri b ut i o n s ,   r e duc e   a ut h o r s hi p   di s pu t e s ,   a n d   f a c i l i t a t e   c o l l a bo r a t i o n.     N am e   o A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   A l w a t b e n   B a t o ul   R a s h e d                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r m a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u rc e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra ft   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         D A TA   A V A I LA B I LI T Y   T h e   da t a   s uppo r t i ng  t h e   f i n di ngs   o f   t h i s   s t udy   a r e   a v a i l a b l e   f r o m   t h e   c o rr e s po n di ng  a u t h o r   upo r e a s o na b l e   r e que s t .       R EF ER EN C ES   [1 ]   M .   K u h n   a n d   K .   J o h n s o n ,   A p p l i e d   p r e d i c t i v e   m o d e l i n g .   N e w   Y o r k ,   N Y :   S p ri n g e N e w   Y o rk ,   2 0 1 3 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 6 1 4 - 6 8 4 9 - 3.   [2 ]   J .   T a n g ,   S .   A l e l y a n i ,   a n d   H .   L i u ,   D a t a   Cl a s s i f i c a t i o n .   Ch a p m a n   a n d   H a l l / CR C,   2 0 1 4 .   d o i :   1 0 . 1 2 0 1 / b 1 7 3 2 0 .   [3 ]   G .   C h a n d ra s h e k a a n d   F .   S a h i n ,   A   s u rv e y   o n   fe a t u r e   s e l e c t i o n   m e t h o d s ,   Co m p u t e r s   a n d   E l e c t r i c a l   E n g i n e e r i n g ,   v o l .   4 0 ,     n o .   1 ,   p p .   1 6 2 8 ,   J a n .   2 0 1 4 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p e l e c e n g . 2 0 1 3 . 1 1 . 0 2 4 .   [4 ]   A .   Ba n s a l ,   V .   K .   L o h a n ,   M .   K h a n n a ,   a n d   S .   A g n i h o t ri ,   A   n o v e l   e ff i c i e n t   a p p ro a c h   fo fe a t u r e   s e l e c t i o n   fo r   e n h a n c e d   p e r fo r m a n c e   i n   b r e a s t   c a n c e r   p r e d i c t i o n ,   i n   A d v a n c e d   Ne t w o r k   T e c h n o l o g i e s   a n d   In t e l l i g e n t   Co m p u t i n g ,   2 0 2 5 ,     p p .   4 7 8 4 8 8 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 031 - 83793 - 7_30.   [5 ]   Y .   S a e y s ,   I.   I n z a ,   a n d   P .   L a rra ñ a g a ,   A   r e v i e w   o fe a t u re   s e l e c t i o n   t e c h n i q u e s   i n   b i o i n fo r m a t i c s ,   B i o i n f o r m a t i c s ,   v o l .   2 3 ,   n o .   1 9 ,   p p .   2 5 0 7 2 5 1 7 ,   O c t .   2 0 0 7 ,   d o i :   1 0 . 1 0 9 3 / b i o i n fo r m a t i c s / b t m 3 4 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.