I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   8 ,   No .   4 ,  A u g u s t  201 8 ,   p p .   2 3 3 8 ~ 2 3 5 0   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v8 i 4 . p p 2 3 3 8 - 2350     2338       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Feature  Selec tion  Appro a ch b a sed  o n F irefly  Alg o rit h m  and  Chi - squa re       E m a d M o ha m ed  M a s hh o ur 1 ,   E na s   M .   F .   E l H o ub y 2 ,   K ha led   T a w f ik   Wa s s if 3 ,     A k ra m   I .   Sa la h 4   1 Co m p u ter  S c ien c e   De p a rtm e n t ,   M o d e r n   A c a d e m y   f o r  Co m p u ter S c ien c e ,   Ca iro ,   Eg y p t   2 S y st e m s &   In f o r m a ti o n   De p a rtme n t - En g in e e rin g   Div isio n ,   Na ti o n a l  Re se a rc h   Ce n tre,  G iz a ,   Eg y p t   3 Co m p u ter  S c ien c e   De p a rtm e n t ,   F a c u lt y   o f   Co m p u ters   a n d   In f o rm a t io n ,   Ca iro   U n iv e rsity ,   G iza ,   Eg y p t   4 Co m p u ter  S c ien c e   De p a rtm e n t ,   F a c u lt y   o f   Co m p u ters   a n d   I n f o rm a ti o n ,   Ca i ro   Un iv e rsit y ,   G iz a ,   Eg y p t       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 3 0 ,   2 0 1 7   R ev i s ed   Dec   2 2 ,   2 0 1 7   A cc ep ted   Dec   2 9 ,   2 0 1 7     Dim e n sio n a li ty   p ro b lem   is  a   w e ll - k n o w n   c h a ll e n g in g   issu e   f o r  m o st   c las si f iers   in   w h ich   d a tas e ts  h a v e   u n b a lan c e d   n u m b e r  o f   sa m p les   a n d   f e a tu re s.  F e a tu re s  m a y   c o n tain   u n re li a b le   d a ta  w h ich   m a y   lea d   t h e   c las si f ica ti o n   p ro c e ss   to   p ro d u c e   u n d e sira b le  re su lt s.  F e a tu re   se lec ti o n   a p p ro a c h   is  c o n si d e re d   a   so l u ti o n   f o r  th is  k in d   o f   p ro b lem s.  In   th is  p a p e ra n   e n h a n c e d   f iref l y   a lg o rit h m   is  p ro p o se d   to   se rv e   a s  a   f e a tu re   se lec ti o n   s o lu ti o n   f o r  re d u c in g   d im e n sio n a li ty   a n d   p ick in g   th e   m o st  in f o rm a ti v e   f e a tu re s  to   b e   u se d   in   c las sif ica ti o n .   T h e   m a in   p u r p o se   o f   th e   p ro p o se d m o d e l  is  to   im p ro v e   th e   c las sif ica ti o n   a c c u ra c y   th ro u g h   u si n g   th e   se le c ted   f e a tu re s  p ro d u c e d   f ro m   th e   m o d e l,   th u s  c las sif ica ti o n   e rr o rs  w il l  d e c re a se .   M o d e li n g   f ire f l y   in   th is  re se a rc h   a p p e a rs  th ro u g h   sim u latin g   f ire f l y   p o siti o n   b y   c e ll   c h i - sq u a re   v a lu e   w h ich   is  c h a n g e d   a f ter  e v e r y   m o v e ,   a n d   si m u latin g   f ir e f l y   in ten sity   b y   c a lcu latin g   a   se t  o f   d if f e r e n t  f it n e ss   f u n c ti o n sa s  a   w e ig h t  f o r  e a c h   fe a tu re .   K - n e a re st  n e ig h b o r  a n d   Disc rim in a n t  a n a ly sis  a re   u se d   a s  c las si f iers   to   tes t  th e   p ro p o se d   f iref l y   a lg o rit h m   in   se le c ti n g   f e a tu re s.  Ex p e rime n tal  re su lt s  sh o w e d   th a t  th e   p r o p o se d   e n h a n c e d   a lg o rit h m b a se d   o n   f iref l y   a lg o rit h m   w it h   c h i - sq u a re   a n d   d if f e r e n t  f it n e ss   f u n c ti o n s  c a n   p ro v id e   b e tt e r  re su lt s  th a n   o th e rs.   Re su lt s sh o w e d   th a t  re d u c ti o n   o f   d a tas e t  is  u se f u l  f o r  g a in in g   h ig h e r  a c c u ra c y   in   c las sif ica ti o n .   K ey w o r d :   C h i - s q u ar e   Featu r e  s elec t io n   Fire f l y   alg o r it h m   Fit n e s s   f u n ctio n   S w ar m   i n telli g e n ce   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   E m ad   Mo h a m ed   Ma s h h o u r ,    C o m p u ter   s cien ce   d ep ar t m e n t ,   Mo d er n   A ca d e m y   f o r   C o m p u t er   Scien ce ,   C air o ,   E g y p t .   E m ail:  e_ m a s h h o u r @ h o t m a il. co m       1.   I NT RO D UCT I O N   A   h u g e  d i m e n s io n alit y   p r o b le m   is   a  k i n d   o f   p r o b lem   th a t   ap p ea r s   in   d ataset   s w h ich   n ee d s   to   b e   s i m p li f ied   o r   r ed u ce d .   It   co n tain s   a   lar g e  n u m b er   o f   f ea t u r es   a g ain s t  s m al l  n u m b er   o f   s a m p les.  A  lar g e   n u m b er   o f   f ea tu r e s   ar e  co n s id er ed   a  h u g e   ch a llen g e   f o r   a n y   class if icatio n   p r o ce s s .   Us in g   th e  w h o le  f ea t u r e s   w il l e n f o r ce   t h e  cla s s i f ier   to   es ti m ate   u n s ee n   d ata  w it h   a  p r e - k n o w led g e  o f   u n d esira b le  f ea t u r es,  w h ic h   i n   t u r n   w il l  p r o d u ce   a  p o o r   p er f o r m an ce   f o r   an y   cla s s i f ier   [ 1 ] .   Featu r e  s elec tio n   ca n   b e   u s ed   f o r   r ed u ci n g   d i m en s io n al it y   o f   d ata s ets,  i n   o r d er   to   r ed u ce   co m p u tat io n   ti m e,   co s t   an d   cla s s i f ic atio n   er r o r .   Ma n y   r esear ch er s   u s ed   s ta tis tica l  tech n iq u es  f o r   f ea tu r e  s elec ti o n ,   b u t  f e w   o f   th e m   ap p l y   s w ar m   i n telli g e n ce   alg o r ith m s   f o r   f ea tu r e  s elec tio n .   A p p l y i n g   s w ar m   i n telli g e n c e  alg o r ith m s   b ec a m e  a  m o ti v a tio n   f o r   r esear ch er s   to   s o lv e  d im e n s io n alit y   p r o b le m s   d u e  to   its   ca p ab ilit y   f o r   s elec ti n g   t h e  m o s t  ap p r o p r iat e  f ea tu r es  u s ed   f o r   class i f icati o n .   S w ar m   i n tel lig e n ce   ap p r o ac h   ap p ea r ed   in   1 9 8 9   b y   Ger r ad o   an d   J in g   w a n g   [ 2 ] .   I t  w as   i n s p ir ed   b y   th e   m u tu al   b eh a v io r   th at  ap p ea r s   o n   n at u r e,   in c lu d i n g   w ater   an d   o th er   cr ea tu r es  s u c h   as  i n s e cts.  I n   t h is   k i n d   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     F ea tu r e  S elec tio n   A p p r o a ch   b a s ed   o n   F ir efly  A lg o r ith m  a n d   C h i - s q u a r e   ( E ma d   Mo h a med   Ma s h h o u r )   2339   ap p r o ac h   ea ch   in d iv id u al  o r   in s ec t is ca lled   an   a g e n t.  E ac h   a g en t  w o r k s   i n d ep en d en tl y   i n   a   t y p e  o f   co lo n y ,   b u t  th is   b eh a v io r   is   co n tr o lled   b y   ce r tain   r u les.  T h e y   co o p er ate  w it h   o th er s   i n   o r d er   to   f i n i s h   a   ce r tain   tas k .   T h ese   ag en t s   ar e  co n s id er ed   to   b e  a   p o p u latio n   th at  i n ter ac ts   w it h   ea ch   o th er   in   d if f er e n t  w a y s   ac co r d in g   to   th e  t y p e   o f   th e  i n s ec t.  Fo r   ex a m p le,   p h er o m o n e  i f   a m o n g   an ts ,   w a g g le  d an ce   a m o n g   b ee s   to   id en tify   s o u r ce   o f   f o o d   an d   d is tan ce ,   i n ten s it y   an d   f l ash i n g   lig h t  a m o n g   f ir e f lie s .   Fo r m u la tin g   an d   s i m u lati n g   s w ar m   in te lli g en ce   b eh av io r   d ep en d   o n   th e  n a tu r e   o f   th e  p r o b lem   b ei n g   s o lv ed .   I n   t h is   p ap er   a  w ell - k n o w n   s w ar m   in telli g en ce   al g o r ith m   ca lled   f ir ef l y   [ 3 ]   i s   u s ed   f o r   f ea tu r e   s elec tio n .   T h e  f ir e f l y   al g o r ith m   p r o v ed   its   ca p ab ilit y   to   s o lv e  co m p lex   o p ti m izatio n   p r o b le m s .   An   en h a n ce d   f ir ef l y   al g o r ith m   i s   p r o p o s ed   i n   th i s   p ap er   to   r ed u ce   f ea tu r es   an d   s elec t  th e  m o s t  i n f o r m ati v e  f ea t u r es  f o r   th e   class i f icatio n   p r o ce s s .   T h e  m o d i f icat io n s   f o r   th e  s ta n d ar d   f ir ef l y   alg o r it h m   ar e  r ep r esen ted   th r o u g h   co n s id er in g   th e  p o s it io n   o f   f ir ef l y   a s   ch i - s q u ar e  v al u e  as s ig n ed   f o r   ea ch   v al u e  i n   th e  f ea t u r e  v ec to r .   A n d   a  s et   o f   d if f er e n t  f it n e s s   f u n ctio n s   s u ch   as  R o s e n b r o ck ,   Sp h er e,   Ack le y   [ 4 ] ,   Xin - Sh e  y a n g ,   r astrig i n ,   s ch w e f el,   an d   Salo m o n   [ 5 ]   ar e  u s ed   to   r e p r esen t  i n ten s it y   o f   f ir e f lie s .   T h e  p er f o r m an ce   o f   t h e  p r o p o s ed   m o d el  is   test ed   u s i n g   t h e  K - Nea r est  Ne ig h b o r   ( K - NN)   [ 6 ]   an d   Dis cr i m i n a n t  An al y s i s   ( D A )   [ 7 ]   class i f i er s   to   m ea s u r e  t h e   class i f icatio n   ac cu r ac y   u s in g   t h e  s elec ted   f ea tu r es.   D if f er en t  tec h n iq u e s   h a v e  b ee n   ap p lied   f o r   f ea tu r e  s elec tio n   an d   class i f icat io n   in   m an y   lit er atu r es.  A   n u m b er   o f   r elate d   r esear ch es  w h ic h   ap p lied   f ea tu r e  s elec ti o n   tech n iq u es  a n d   class if ica ti o n   ar e  h ig h li g h ted .   Sin atab a k h i   et  a l .   [ 8 ]   p r o p o s ed   a  tech n iq u e  f o r   r ed u cin g   h ig h   d i m e n s io n alit y   i n   d atase ts .   A n   u n s u p er v i s ed   g en e   s elec t io n   tec h n iq u e   w a s   i n tr o d u ce d   to   b e  ap p lied   o n   m icr o ar r a y   d ataset s   s u c h   a s   S R B C T ,   C o lo n ,   p r o s tate  tu m o r ,   leu k e m ia  an d   lu n g .   T h e  p r o p o s ed   tech n iq u e  u tili ze d   an t  co lo n y   o p ti m i za tio n   alg o r ith m   to   m i n i m ize  t h e  r ed u n d an c y   b et w ee n   g e n es  a n d   i n cr ea s e  r ele v an ce   o f   g en e s .   T h e y   tr ied   v ar i an t  f it n es s   f u n ct io n s   th at  m a y   i m p r o v e  th e  cla s s i f ic atio n   r ate  an d   s elec t  lo w er   n u m b er   o f   g e n es.  T h e y   co m p ar e d   th eir   r esu lt s   w it h   d if f er e n t  u n s u p er v is ed   a n d   s u p er v is ed   g e n e  s elec tio n   m et h o d s ,   clas s i f icatio n   ac cu r ac y   h as  b ee n   m ea s u r ed   b ase d   o n   th r ee   d if f er en t  clas s i f ier s   w h ich   ar e  s u p p o r t  v ec to r   m ac h i n e,   n aï v e  B ay e s   an d   d ec is io n   tr ee .   Sh ar m a   A lo k   et   a l .   [ 9 ]   in tr o d u ce d   a  te ch n iq u e  f o r   f ea tu r e  s elec tio n   b ased   o n   f i x ed   p o in t   alg o r it h m .   T h e y   ap p lied   t h eir   tech n iq u e  o n   h u m a n   ca n ce r   d atasets   u s in g   m icr o ar r a y   g e n e   ex p r ess io n .   T h e  u s a g e  o f   f ix ed   p o in t  alg o r it h m   in co r p o r ated   w it h   P C A   ( p r in cip al  co m p o n e n t  an al y s is )   d o esn ’ t  n ee d   class   lab els  f o r   f ea t u r e  v ec to r s .   On   co n tr ar y   an   e ig e n v ec to r   is   co m p u ted   b y   m u ltip l y i n g   co v ar i an ce   m a tr ix   i ter ativ el y   to   s e le ct  th e  d esire d   g e n es.   T h ey   ap p lied   th eir   tech n iq u e   o n   t h r ee   p u b lic  d ata s ets   w h ich   ar e  SR B C T ,   AL L   a n d   A M L ,   an d   t h e y   u s ed   J 4 . 8   an d   NB   f o r   class i f ica tio n .   C h i n n as w a m y   A r u n k u m ar   a n d   R a m ak r i s h n a n   Sri n i v asa n   [ 1 0 ]   p r o p o s ed   a   tech n iq u e  f o r   d ev elo p in g   f ea t u r e  s elec tio n   p r o ce s s   to   r ed u ce   h i g h   d i m e n s io n alit y   d atase ts .   T h eir   tech n iq u e   co m b i n ed   co r r elatio n   co ef f ici en t  w it h   p ar ticle  s w ar m   o p ti m izatio n ,   in   w h ic h   co r r elatio n   co ef f icie n t  w a s   u s ed   d u e  to   it s   ca p ab ilit y   to   d ete ct  r elatio n s h ip   b et w ee n   g e n e s .   P ar ticle  s w ar m   o p t i m izati o n   w as   u s ed   a s   a   s ea r ch i n g   tec h n iq u e  f o r   th e  m o s t  v al u ab le  g e n es.  T h e y   ap p l ied   th eir   tech n iq u e  o n   t h r ee   m icr o ar r a y   d ataset s   w h ic h   ar e  SR B C T ,   L y m p h o m a  an d   ML L .   E x tr e m e  lear n i n g   m ac h i n es  clas s i f ier   w a s   u s ed   as  a  class if ier   f o r   ev alu a tin g   th e   f ea tu r e   s elec t i o n   p r o ce s s .   T h e y   co m p ar ed   t h eir   r es u lt s   w i th   d if f er e n t  cla s s i f ier s   s u ch   as   j 4 8 ,   r an d o m   f o r est,  r an d o m   tr ee ,   d ec is io n   s t u m p   a n d   g en et i c  p r o g r a m m in g .   P ar v ee n   An is th a n a  et   a l .   [ 1 1 ]   p r o p o s ed   a  f ea tu r e  s elec tio n   m eth o d   to   eli m i n ate  r ed u n d an t  a n d   ir r elev an t  f ea t u r es  f r o m   d at asets   a n d   i m p r o v e   class i f icatio n   ac c u r ac y .   P r in cip al  co m p o n e n t  a n al y s i s   ( P C A ) ,   r o u g h   P C A ,   u n s u p er v i s ed   q u ic k   r ed u ct s   alg o r ith m   a n d   e m p ir ical  d is tr i b u tio n   r an k i n g   ar e  u s ed   f o r   f ea tu r e  s elec tio n   p r o ce s s .   Fi v e   d atasets   ar e  test ed   f o r   th eir   tech n iq u es  w h ic h   ar e  lu n g   ca n ce r ,   b r ea s t  ca n ce r ,   d iab etes,  h ea r t  an d   ec o li.  A   n u m b er   o f   class if ier s   w er e  u s ed   s u c h   a s   J R ip ,   J 4 8 ,   R B FN,  Naï v e  B a y e s ,   d ec is io n   tab le  a n d   k - s tar .   K G  Sri n iv a s a  et   a l .   [ 1 2 ]   in tr o d u ce d   a  tech n iq u e  f o r   ex tr ac tin g   in f o r m ati v e  f ea tu r es  f o r   class if icatio n   u s in g   f u zz y   c - m ea n s   clu s ter in g .   T h e  clu s ter   ce n ter   is   cr ea ted   s u c h   th a t  it  is   clo s er   to   f ea tu r es  w ith   g r ea ter   m e m b er s h ip .   Fo u r   d atasets   w er e   test ed   u s in g   t h eir   tec h n iq u e,   s u ch   a s   p h y s ic s ,   s o n ar ,   d er m a to lo g y ,   a n d   w av e f o r m   d ata s ets.  T w o   clas s i f ier   w er e   u s ed   w h ic h   ar e  SVM  a n d   Ar tif icial  Neu r al  Net w o r k   ( ANN) .   Me i - L i n g   H u an g   et  a l .   [ 1 3 ]   in tr o d u ce d   a  f r a m e w o r k   f o r   s o l v i n g   t h e  p r o b le m   o f   d ata  d i m en s io n ali t y   b y   ap p l y i n g   f ea t u r e  s elec t io n   p r o ce s s   o n   d atasets .   T h ey   co m b i n ed   SVM  w ith   r ec u r s iv e  f e at u r e  eli m i n atio n   ap p r o ac h .   A   m et h o d   ca lled   tag u c h i  p ar a m e ter   o p tim izatio n   h as  b ee n   u s ed   f o r   id en tify in g   t h e  p ar a m eter   v alu e.   T h e y   u s ed   t w o   p u b lic  d atasets   w h ich   ar e   d er m ato lo g y   an d   zo o   d ataset.   Han y   M.   Har b   a n d   A b ee r   S.  Desu k y   [ 1 4 ]   tr ied   to   in v en t  a  m et h o d   f o r   r ed u ci n g   f ea t u r es .   T h e y   u s ed   p ar ticle  s w ar m   o p ti m izat io n   f o r   i m p le m en tin g   f ea t u r e  s elec tio n   m et h o d ,   th r ee   m ed ical   d atasets   w er e   u s ed :   d er m ato lo g y ,   b r ea s t c a n ce r   a n d   h ea r t   s ta tlo g   d ataset s .   P SO   is   u s ed   a  s e ar ch in g   m et h o d   f o r   f ea t u r es  a n d   C FS   i s   u s ed   f o r   m ea s u r i n g   th e   u s ef u l n es s   o f   ea ch   f ea tu r e.   F iv e  c lass if ier s   w er e  u s ed   f o r   ev alu a tin g   f ea t u r es  w h ich   ar e  NB ,   B ay esia n ,   r ad ial  b asis   f u n ctio n   n et w o r k   ( R B F),   d ec is i o n   T r ee   an d   K - NN.   T h ey   co m p ar ed   th e ir   tech n iq u e  w it h   g en et ic  alg o r it h m   an d   d if f er e n t  co m b i n at io n   b et w ee n   P SO  an d   d if f er en t   class i f ier s .  P in ar   y ild ir i m   [ 1 5 ]   p r o p o s ed   d if f er en t  co m b in at io n s   o f   f ea t u r e  s ele ctio n   m eth o d s   a n d   class i f icatio n   tec h n iq u es  to   s elec t  in f o r m at iv e  f ea t u r es  f r o m   h ig h   d i m e n s io n alit y   d atas et.   I n   t h is   r esear c h   f ea t u r e  s elec tio n   m e t h o d s   s u c h   as   C f s   S u b s et   E v al,   P r in ci p al  C o m p o n e n ts ,   C o n s i s ten c y   Su b s e t   E v a l,  I n f o   Gain   Attr ib u te   E v a l,  O n e   R   A ttrib u te   E v al   an d   R elie f   Att r ib u te   E v a l  w er e  co m p ar ed .   Hep atitis   d ata s et  w a s   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :  2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 3 8   –   2 3 5 0   2340   u s ed   a s   a  ca s e  s tu d y   d u e   to   it s   s er io u s   h ea lt h   p r o b le m .   Fo u r   d if f er e n t   clas s if ier s   w er e  u s ed   w h ic h   ar e  J 4 8 ,   NB ,   I B K  an d   d ec is io n   tab le .   Na n c y   P  et  a l .   [ 1 6 ]   in tr o d u ce d   a  s t u d y   to   ex p lo r e  a  s et  o f   f e atu r e  s e lectio n   an d   class i f icatio n   m e th o d s   ap p lie d   o n   h ep atitis   d ata s et.   Fo r   f e atu r e  s elec tio n   f is h er   f i lter in g ,   r elief   f i lter i n g   a n d   s tep   d is c  w er e  u s ed .   Fo r   cla s s i f icatio n   m o r e  t h a n   1 0   clas s if ica tio n   al g o r ith m s   h as  b ee n   u s ed ,   n u m b er   o f   f ea t u r es  s elec ted   f o r   th r ee   m e th o d s   w as  6   f o r   f i s h er   f ilter i n g ,   9   f o r   r elief   f i lter in g   a n d   4   f o r   s tep   d is c .   Sm ita   C h o r m u n g e   an d   Su d ar s o n   J en a   [ 1 7 ]   p r o p o s ed   a  f ea tu r e  s ele ctio n   al g o r ith m   b ased   o n   i n f o r m atio n   g ai n . T h e y   ap p lied   a  f ilter   m et h o d   an d   t h en   ap p lied   i n f o r m atio n   g ai n   m ea s u r e  f o r   th e  s u b s et  p r o d u ce d .   T w o   d i f f er e n t   class i f ier s   w er e  u s ed   Naïv e  b a y es  a n d   I B K  an d m ed ical  d atasets   w er e  u s ed   a s   a  ca s e  s t u d y   s u ch   a s   S R B C T .   Hig h   p er ce n tag e  w a s   p r o d u ce d   b y   I n f o r m atio n   g ai n   co m p ar ed   w it h   R elie f   a n d   C HI - s q u ar e   m eth o d s .     R esear ch er s   f r o m   [ 8 ]   to   [ 1 7 ]   ar e  u s i n g   o n e   o r   m o r e  o f   o u r   d atasets ,   t h er ef o r e,   a  co m p ar i s o n   o f   o u r   r esu lt s   w ith   t h e  ab o v e   r esea r ch es  w ill   b e  co n d u cted   an d   d em o n s tr ated   in   s ec tio n   5 . 1 .   Featu r e  s elec tio n   s o lu tio n   w as  ap p lied   o n   d i f f er en t  k in d s   o f   d atase ts ,   f o r   ex a m p le  in   Si n g h   an d   C h h i k ar a  [ 1 8 ]   p r o p o s ed   a  m o d el   f o r   d etec tin g   f ea t u r es  o f   i m ag es  e x tr ac ted   f r o m   d is cr ete   w a v elet  tr an s f o r m   ( DW T )   a n d   d is cr ete  co s in e   tr an s f o r m   ( DC T )   u s i n g   f ir ef l y   a lg o r it h m   co m b i n ed   w it h   SVM  class if ier .   W h il s t  L o n g   Z h a n g   et  a l .   [ 1 9 ]  d etec ted   th e  m o s t   i n f o r m ati v e  f ea t u r es   in   m ed ical  d atase t s   u s i n g   f ir ef l y   alg o r it h m   b as ed   o n   d is ta n ce   w it h   m u tu al  i n f o r m atio n   cr iter io n .   T h ey   u s ed   K - NN  an d   SVM  as  class i f ier s   to   m ea s u r e  th e  p er f o r m a n ce   o f   t h e   p r o p o s ed   tech n iq u e .  V.   S u b h a  an d   D.   Mu r u g an   [ 20 ]   in tr o d u ce d   a  tech n iq u e  f o r   s o lv in g   t h e  h i g h   d i m en s io n al it y   p r o b le m   f o r   ca r d io to co g r am   ( C T G)   d ata.   Fire f l y   alg o r it h m   w as  u s ed   w i t h   a  n o v e l  ap p r o ac h   ca lled   o p p o s itio n   b ase  lear n in g   ( OB L ) .   E n n y   I   Sela,   et   a l   [ 21 ]   ex tr ac t  f ea tu r es  f r o m   X - R a y   i m a g es,   r esear ch er s   d ev elo p ed   an   alg o r ith m   to   e x tr ac t  f ea t u r e  o f   i m a g es  p r o d u ce d   f r o m   h u m an   b o d y .   Sa m p le s   ex tr ac ted   ar e  f o r   X - R a y   d en ta l  b o n e  to   id en t if y   w o m e n   w it h   lo w   s k ele tal  B MD ,   J 4 . 8   is   u s ed   to   ev al u ate  t h e   f ea t u r es  e x tr ac ted   f r o m   f ea tu r e  s elec tio n   alg o r it h m ,   r esu lts   p r o v ed   th at  t h eir   tech n iq u e  ac h iev e   h i g h   ac c u r ac y ,   s en s iti v it y ,   a n d   s p ec if icit y .   Ad i   Su r y ap u tr a   P ar a m ita   [ 2 2 ]   p r o p o s ed   an   alg o r ith m   f o r   f ea t u r e  s elec tio n   ap p lied   o n   in ter n et  tr a f f ic  d ata.   T h e y   u s ed   P C A   f o r   ex tr ac tin g   d is cr i m i n an t  f ea t u r es  in   d ata.   Fu zz y   c - m ea n   i s   u s ed   to   i m p r o v e  K - N N  class i f ier   p er f o r m a n ce .   B y   d is tr ib u ti n g   a n d   g r o u p in g   d ata  in to   clu s ter s .   R es u lts   p r o v ed   th at   w h e n   u s in g   P C A   as  a  f ea t u r e  s elec tio n   s o lu t io n   w it h   K - NN  a n d   f u zz y   C - Me an ,   i t  o u tp er f o r m   o th er   tech n iq u es.   T h e  r em ai n d er   o f   th e  p ap er   is   o r g an ized   as  f o llo w s :  Sec tio n   2   r ev ie w s   ar ti f icial  f ir ef l y   al g o r ith m   i n   g en er al.   Sect io n   3   p r esen ts   t h e  p r o p o s ed   s o lu tio n   i n   th i s   r es e ar ch   f o llo w ed   b y   th e  e n h an c ed   f ir ef l y   alg o r it h m .  Sectio n   4   p r ese n ts   r es u lts   an d   an al y s i s .   Sect io n   5   p r ese n ts   e x p er i m e n t  d is c u s s io n   f o llo w e d   b y   a  co m p ar ati v e   tab le  th at  co m p ar es o u r   ap p r o ac h   w it h   o th er   r esear ch e s .   Sec tio n   6   p r esen ts   co n cl u s io n   &   f u tu r e  w o r k .       2.   ARTI F I CI AL   F I R E F L Y  AL G O RI T H M   Fire f l y   al g o r ith m   is   co n s id er e d   to   b e  a  m eta - h e u r is t ic  alg o r i th m   th a t  w as  i n s p ir ed   b y   t h e  b eh av io r   o f   f las h i n g   li g h ts   o f   r ea l  f ir ef lies .   T h e   alg o r ith m   p er f o r m an ce   is   b ased   o n   t h e  r ea l  b eh a v io r   o f   f ir ef lies   th at   r elies   o n   th e  attr ac tio n   b et w ee n   a  f ir ef l y   a n d   an o th er   o n   b asis   o f   th eir   b r ig h tn e s s .   Fo r m u lat in g   t h e  r ea l  f ir e f l y   b eh av io r   in to   an   al g o r ith m   m u s t  f o llo w   t h r ee   r u les  w h ic h   g o v er n   h o w   t h e  r ea l  f ir e f lie s   ac t  in   r ea l  s p ac e.   T h ese  r u les ar e   as f o llo w s :   a.   T h e  f ir ef l y   is   a  u n i s ex .   So ,   all  th e  f ir ef lie s   w ill b e  attr ac ted   t o   ea ch   o th er   r eg ar d less   o f   t h ei r   s ex .   b.   A ttra ct iv e n es s   is   p r o p o r tio n al  to   b r ig h tn es s .   T h er ef o r e,   f o r   an y   f las h   lig h ti n g   b et w ee n   t w o   f ir e f lie s ,   th e   less   b r i g h t   o n e   w ill   m o v e  to   th e   b r ig h ter   o n e.   T h e  at tr ac tiv e n ess   d ec r ea s es  a s   t h e   d is tan ce   i n cr ea s e s   b et w ee n   t w o   f ir ef lie s .   T h e  f ir ef lies   w ill  m o v e  r a n d o m l y   i n   ca s e  th er e  i s   n o t  a  f ir ef l y   t h at   is   b r ig h ter   th a n   th e  o th er .     c.   Fire f l y   b r i g h t n e s s   is   i n f lu e n ce d   o r   d eter m in ed   b y   th e  lan d s ca p e  o f   th e  f i tn e s s   f u n ctio n .   I n   t h e   ma x i m izatio n   p r o b le m ,   b r ig h t n es s   ca n   s i m p l y   b e  p r o p o r tio n al  to   th e  v al u e  o f   t h e  f i tn e s s   f u n ctio n   [ 23 ].   T h e  f ir ef l y   a lg o r it h m   r elies   o n   t w o   i m p o r tan t  f ac to r s :   t h e  lig h t  in te n s it y   a n d   th e   attr ac tiv e n ess   b et w ee n   f ir e f lies   [ 24 ] .   L ig h t  in ten s it y   v ar ies  i n   ea ch   s o u r ce   ac co r d in g   to   th e  b r ig h t n ess   o f   th e  f ir e f l y ,   w h ic h   is   r ep r esen ted   an d   ca lc u lated   w i t h   a  k i n d   o f   f itn e s s   f u n ctio n .   B r ig h t n es s   t h at   r elies  o n   li g h t  i n ten s it y   d eter m in e s   attr ac tiv e n es s .   Attr ac tiv e n es s   o f   ea ch   f ir ef l y   is   ca lc u lated   u s in g   t h e  f o llo w in g   E q u a tio n   ( 1 )   [ 2 4 ] .       ( r )   =                                ( 1 )     W h er e  β 0   r ep r esen t s   t h e  attr a ctiv e n ess   at  d is ta n ce   ( r )   =0   an d   s o m e ti m es  f o r   m at h e m at ical  co m p u ta tio n   i s   co n s id er ed   as  1 .   γ   s y m b o l  r ep r esen ts   h o w   m u c h   t h e  lig h t  ab s o r p tio n   is . r   is   th e  d is ta n ce   b et w ee n   a n y   t w o   f ir ef lies   i   a n d   j   at   d if f er e n t  p o s itio n s .   Fire f l ies  ar e  a l w a y s   in   m o v i n g   s tat u s   f r o m   p o s itio n   to   p o s itio n .   A cc o r d in g   to   t h e  f ac t  o f   attr a ctiv e n ess   b et w ee n   f ir ef lie s   i s   r elate d   to   th e  d is tan ce   b et w ee n   t h e m .   He n ce ,   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     F ea tu r e  S elec tio n   A p p r o a ch   b a s ed   o n   F ir efly  A lg o r ith m  a n d   C h i - s q u a r e   ( E ma d   Mo h a med   Ma s h h o u r )   2341   d is tan ce   b et w ee n   an y   t w o   f ir ef lies   i   an d   j   i s   co m p u ted   t h r o u g h   a  w ell - k n o w n   d is ta n ce   la w   ca lled   E u clid ea n ,   w h ic h   is   ca lc u lated   as  f o llo w s   [ 24 ]:                            √ ∑                                                 ( 2 )     W h er e  d   r ep r esen ts   t h e  d i m e n s io n alit y   o f   t h e  p r o b le m ,   an d   x i, k   is   th e  k th   co m p o n e n t  o f   t h e  p o s itio n   o f   f ir e f l y   i .  Af ter   ca lc u lati n g   t h e  d is ta n ce   b et w ee n   th e  t w o   f ir e f lies ,   s u p p o s e  th e  f ir e f l y   i   is   le s s   b r ig h t n es s   th a n   f ir ef l y   j ,  s o   th e   attr ac ti v en e s s   b et w ee n   t h e m   o cc u r s   w h ile  m o v in g   t h e  f ir e f l y   i   to   t h e  f ir e f l y   j.  T h e  f o llo w i n g     E q u atio n   ( 3 )   [ 2 4 ]   co n tr o ls   th is   k in d   o f   m o v e m e n t a n d   it i s   r ep r esen ted   as f o llo w s :                                   (          )                                                     ( 3 )     w h er e  t  r ep r esen ts   th e  n u m b er   o f   iter atio n s ,   a n d   th e  co e f f ici en t  α  r ep r esen ts   a  r a n d o m   n u m b er   co n tr o llin g   t h e  s ize  o f   t h e  r an d o m   w al k ,   an d   r a n d   r ep r esen ts   a  r an d o m   n u m b er   g en e r ato r   w h ich   f all s   b et w ee n   [ 0 , 1 ] .   T h e   f ir ef l y   w it h   lo w   b r i g h tn e s s   m o v es  to   th e   h ig h er   o n e   a f ter   c o n s id er in g   t h r ee   ter m s   [ 24 ] .   T h e  f ir s t   ter m   is   t h e  cu r r en t  p o s itio n   o f   t h e  lo w   b r ig h tn e s s   f ir e f l y .   Seco n d   ter m   is   th e  m o v e m e n t  to w ar d   th e  f ir ef l y   w it h   h i g h er   br ig h t n es s   b y   th e  attr ac tio n   co ef f icie n t  β.   F in al l y ,   t h e  last   ter m   is   a  k i n d   o f   r an d o m   w a lk   ca lcu la ted   b y   a   r an d o m   g e n er ato r   m u ltip lied   b y   α.       3.   P RO P O S E D  M E T H O DS   3 . 1 .   P ro po s ed  f ra m ew o rk   o f   f iref ly   ba s ed  f ea t ure  s elec t io n   I n   th i s   r esear ch ,   a  f r a m e w o r k   h as  b ee n   d ev elo p ed   to   s elec t  th e  m o s t  i n f o r m ati v e  s u b s et  o f   f ea t u r es   f r o m   d i f f er en t  d ata s ets  b ase d   o n   f ir e f l y   al g o r ith m .   T h e  u s ed   f ir e f l y   alg o r it h m   h as  b ee n   m o d i f ied   an d   co m b i n ed   w it h   d i f f er e n t  tec h n iq u e s   to   i m p r o v e  f ea tu r e  s el ec tio n   p r o ce s s   w h ic h   i n   t u r n   m a y   ac h ie v e  h i g h e s t   class i f icatio n   ac c u r ac y   a s   p o s s ib le.   T h e  m o d i f ied   f ir ef l y   alg o r ith m   i s   b ased   o n   an   as s u m p tio n   th at   ea c h   d ataset  co n tai n s   a  n u m b er   o f   f ea tu r es  n   an d   a  n u m b er   o f   s a m p les  d.   E ac h   f ea tu r e  i   is   a  v e cto r   o f   v alu e s   ( V i , k ) ,   w h er e  ( k=1 , 2 , 3 , …. d )   f o r   d if f e r en t  s a m p le s   S =( s 1 ,s 2 ,s 3 ,…..,s d, ) ,   ( i= 1 , 2 , 3 , …, n )   fo r   d iffer en t  fea tu r es .   Mo d elin g   f ea t u r es  to   f ir ef lie s   is   r ep r esen ted   b y   cr ea tin g   n   f ir ef lies   f 1 ,   f 2 ,   f 3 ,   f 4 …f n .  Fo r   e ac h   cr ea ted   f ir ef l y   (f i, ) , ( i=1 , 2 , 3 , …. , n ) ,   a  v ec to r   ( x i, k )   o f   ch i - s q u ar e  v al u es   is   ca l cu lated   a s   a  m ap p in g   v ec to r   t o   th e  co r r esp o n d i n g   v ec to r   ( V i , k )   in   t h e  o r i g in a l  d ataset  to   r ep r esen t  f ir ef l y   p o s itio n ,   w h er e  ( k=1 , 2 , 3 , …. d )   to   r ep r esen t  a  s et  o f   d if f er e n t  p o s itio n s   f o r   a  f ir e f l y /f ea t u r e  in   d i f f er e n t  s a m p les.  T h is   r esear ch   ai m s   to   ap p ly   t h e  f ir ef l y   f r a m e w o r k   o n   m icr o ar r ay s   d atase ts   a n d   o th er   k i n d   o f   d ataset s   b y   s i m u lati n g   e x is ti n g   f ea t u r es  a s   a   n u m b er   o f   f ir ef l ies,   ea ch   f ir ef l y   ( f ea t u r e)   h as   its   o w n   p o s itio n   an d   i n te n s it y .   D y n a m ic   p ar a m eter s   s u ch   a s   γ ,   α ,   β,  n u m b er   o f   iter atio n s   a n d   p o p u latio n   s ize   ( n p o p )   h av e  b ee n   d eter m i n e d   b y   d i f f er en t  e x p er i m e n t s   to   ac h ie v e  t h e  h ig h es t  p er f o r m a n ce   f o r   f ea t u r e  s elec tio n   an d   cla s s i f icatio n . T h e  p r o p o s ed   f r am e w o r k   i n   t h is   r es ea r ch   co n tai n s   s i x   p h ases   w h ic h   ar e  as   f o llo w   ( 1 )   p r e - p r o ce s s in g   p h ase  i s   r e s p o n s ib le  f o r   d ataset  f iltra tio n   f r o m   n o is y   d ata,   se ar ch i n g   f o r   m is s ed   v al u es   in   d atasets   a n d   f illi n g   it  w i th   r el iab le  v al u es;  ( 2 )   r an k i n g   p h as e  is   r esp o n s ib le  f o r   s o r tin g   th e  o r ig i n al  d ataset  in   d escen d i n g   o r d er   ac co r d i n g   to   its   e v alu a tio n   v a lu e;  ( 3 )   f ir ef l y   p o s itio n   ca lcu latio n   p h a s e  i s   f o r   d eter m in in g   f i r e f l y   p o s itio n   v a l u es  f o r   d i f f er e n t  f ir e f lies ;  ( 4 )   f ir ef l y   in te n s it y   ca lcu latio n   p h a s e  i s   r esp o n s i b le  o f   ca lc u lati n g   i n te n s it y   v alu es   f o r   d i f f er en t   f ir e f lie s ;  ( 5 )   f ir ef l y   p r o ce s s in g   p h ase  i s   u s ed   f o r   s elec ti n g   th e  h i g h e s t  i n f o r m ati v e  f ea t u r es  f r o m   t h e  r an k ed   f ea tu r e s   t h r o u g h   ap p l y i n g   th e   m o d i f ied   f ir ef l y   alg o r it h m ,   an d   f in a ll y   ( 6 )   class i f icatio n   p h a s e  f o r   e v alu a tin g   t h e  ab ili t y   o f   s elec ted   f ea tu r e s   i n   class i f icatio n .   I f   th e  clas s i f ica tio n   ac cu r ac y   i s   ac ce p tab le,   th en   a  s et  o f   f ea t u r es  ar e  s u i tab le  to   class i f y   f u t u r e   u n s ee n   d ata,   o t h er w is e  t h e  p r o ce s s   is   r ep ea ted   w ith   o t h er   c r iter ia  s u c h   as  o t h er   r an k in g   m et h o d s ,   o r   f itn e s s   f u n ctio n   to   i m p r o v e  t h e  ac c u r ac y .   T h e  p r o ce s s   co n t in u es   u n til  r ea c h i n g   th e   cr iter ia  t h at  ac h iev e   t h e  h ig h es t   p o s s ib le  ac cu r ac y .   T h e  f o llo w i n g   s ec tio n s   d is cu s s   d i f f er e n t  f r a m e w o r k   p h a s es :     3 . 1 . 1 .   P re - pro ce s s ing   ph a s e   Hu g e  d atasets   o f te n   s u f f er   f r o m   n o is y   a n d   m i s s ed   d ata   v al u es  t h at  m a y   af f ec t  a n y   class i f ier   n eg at iv el y .   I n   t h i s   r esear ch   t h e  u s ed   d atasets   s u f f er   f r o m   m i s s ed   v al u es ;  th i s   p r o b le m   m a y   lead   an y   clas s i f ier   to   u n r eliab le  r esu lt s .   I n   th is   p h ase,   ea ch   f ea tu r e  h a s   b ee n   s ca n n ed   f o r   d if f er en t  d atasets   s e ar ch in g   f o r   m i s s ed   v alu e s ; a n d   f illi n g   it b y   co n s id er in g   t h e  av er a g e  v al u e  o f   t h e  w h o le  f ea t u r e  v ec to r .     3 . 1 . 2 .   Ra n k ing   p ha s e   I n   th i s   p h a s e,   d if f er en t  s tati s tical  ap p r o ac h es  h a v e  b ee n   u s ed   to   r an k   t h e  f ea t u r es.  A   v alu e  i s   ca lcu lated   f o r   ea ch   f ea t u r e  ac co r d in g   to   a  s p ec if ic   cr iter io n   to   r an k   t h e m .   I n   th i s   r esear c h ,   T - test   an d   r elie f f   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :  2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 3 8   –   2 3 5 0   2342   tech n iq u es  w er e  u s ed   to   r an k   th e  p r e - p r o ce s s ed   d ataset  to   p ick   th e  h i g h e s t  r an k ed   f ea t u r e s   f ir s t.  T h e  r an k ed   f ea t u r es  b y   th e   t w o   d if f er e n t  t ec h n iq u es  ar e  in tr o d u ce d   to   t h e  s u b s eq u en t  p h a s es.  I n   ca s e  o f   h u g e  d atase t  s u c h   as  m icr o ar r a y s ,   t h e  h i g h e s t  r a n k ed   f ea t u r es  w h ich   ar e  t h e  m o s t  in f o r m ati v e  f ea t u r es  ar e  s e lect ed   as  ca n d id ate  f o r   f ir ef l y   p r o ce s s i n g .     3 . 1 . 2 . 1 .   T - t est  m et ho d   T - test   is   co n s id er ed   as  a   well - k n o w n   r a n k i n g   f ea t u r e  m et h o d .   T - test   is   u s ed   to   m ea s u r e  t h e  d if f er e n ce   b et w ee n   t w o   Ga u s s ian   d is tr ib u tio n s .   T h e  s tan d ar d   T - test   is   u s ed   to   r an k   d ata s ets   w it h   t w o   cla s s es ;   in   t h e  ca s e  o f   t h is   r esear c h   t h e   d atasets   m a y   v ar y   to   b e  m u lti   class   d atase ts .   A   m o d if icat io n   w as  d o n e  b y   [ 2 5 ]  in   o r d er   to   ca lc u late   th e   d if f er en ce   b et w ee n   o n e   clas s   a n d   t h e  ce n ter   o f   all   clas s es.   C alc u latio n s   ar e   f o r m u lated   th r o u g h   E q u atio n s   ( 4 ) - ( 8 )   [ 2 5 ] .     TS i =ma x { |   ̅        ̅           |                     }               ( 4 )     W h er e       ̅      ∑   ̅        ⁄                         ( 5 )       ̅     ∑        ⁄                           ( 6 )                     ∑ ∑ (          ̅    )                           ( 7 )           √       ⁄       ⁄                 ( 8 )     3 . 1 . 2 . 2 .   RE L I E F F   m et ho d   R elie f f   i s   a  k in d   o f   m eth o d   w h ic h   ca n   b e  u s ed   f o r   f ea t u r e  r an k i n g .   I t  ev al u ates  ea c h   f ea tu r e  an d   ass i g n s   a  k i n d   o f   w ei g h t  f o r   e ac h   f ea t u r e .   T h is   w ei g h t  i s   as s ig n ed   ac co r d in g   to   th e  ca p ab ilit y   f o r   th i s   f ea t u r e  to   d is ti n g u is h   b et w ee n   clas s es .   R E L I E FF   tech n iq u e  i s   u s ed   f o r   b in ar y   a n d   m u lticlas s   p r o b le m s .   T h is   m et h o d   is   m o r e  r o b u s t a n d   ca n   d ea l  w i th   in co m p lete  an d   n o is y   d ata  [ 2 6 ].     3 . 1 . 3 .   F ire f ly   po s it io n c a lcula t io n pha s e   T h e  ch an g i n g   o f   p o s itio n   i n   f ir ef lies   r elie s   o n   th e  i n te n s it y   an d   th e  m o v e m e n t  o f   t h e  lo w   i n te n s it y   f ir ef l y   to   t h e  h i g h e s t  i n te n s it y   o n e.   I n   th i s   r esear c h ,   th e  f i r ef l y   p o s it io n   w i ll  b e  r ep r esen ted   u s in g   ce l l  ch i - s q u ar e  [ 2 7 ] .   I n   th is   p h ase,   d eter m i n in g   p o s itio n s   f o r   d if f e r en t  f ea t u r es  ƒ i  ( w h er e  i=1 ,   2 …,   n )   is   d o n e  b y   ca lcu lati n g   n   ce ll  c h i - s q u ar e  v ec to r s   x i.  E ac h   f ea t u r e  v ec to r   v alu e  V i, k   i s   as s i g n ed   a  r elev a n t  v ec to r   v alu e  x i, k   o b tain ed   b y   ca lc u lati n g   ch i - s q u ar e  f o r   ea ch   f ea t u r e  v al u e  i n   v ec to r   V i, k .   T h e  cr ea ted   ch i - s q u ar e  v ec to r s   ar e  to   r ep r esen t  th e  p o s itio n   v al u es  o f   th e  f ir ef l ies.  T h is   is   d o n e  b y   m ea s u r i n g   ea ch   tab le  ce ll  an d   test s   w h et h er   it  i s   d if f er e n t f r o m   its   e x p ec ted   v al u e  th r o u g h o u t t h e  w h o le  d atas et  u s i n g   E q u atio n   ( 9 )   [ 2 7 ].     x 2 = ∑ ( (V i - E i   ) 2 /E i )                 ( 9 )     W h er e  ( Vi)   is   t h e  o b s er v ed   v a lu e  i n   t h e  f ea t u r e  v ec to r ,   an d   ( E )   s tan d s   f o r   t h e  e x p ec ted   v al u e  f o r   ea ch   ce l l  o r   v alu e  i n   t h e  f ea tu r e  v ec to r .     3 . 1 . 4 .   F ire f ly   inte ns it y   ca lcula t io n pha s e   I n   th is   p h ase,   ea c h   f ir ef l y   ( f i )   is   as s ig n ed   a  li g h t  i n te n s i t y   v a lu e  ( L i )   ca lcu lated   b y   a  f it n es s   f u n ct io n .   I n ten s it y   is   u s ed   to   co m p ar e  b et w ee n   f ir ef l ies  i n   o r d er   to   d e cid e  w h ich   h a v e  th e  lo w er   i n t en s it y   to   m o v e  w i t h   a  co n tr o lled   m o v e m en t  u s i n g   E q u atio n   ( 3 ) .   T h e  f ir ef l y   w it h   lo w er   i n ten s it y   u p d ates   i t’ s   i n ten s it y   a f ter   ea ch   m o v e m e n t  t h r o u g h   a  s e t  o f   it er atio n s .   I n   t h is   r e s ea r ch   s ev en   d i f f er e n t  f it n es s   f u n ctio n s   h av e   b ee n   tr ied   to   r ep r esen t  i n te n s it y ,   t h e   g o al   o f   u til izin g   m o r e  t h a n   f it n es s   f u n ct io n   is   to   s ea r c h   f o r   t h e  b est  f it n es s   f u n ct io n   th at  ca n   s i m u late  f ir ef l y   in te n s it y   to   h elp   in   s elec ti n g   th e   m o s t  in f o r m ati v e  f ea t u r es  t h at  ca n   b e  u s ed   to   m i n i m ize  clas s i f icatio n s   er r o r s ,   T a b le   1   r ev ie w s   t h e  u s ed   f it n ess   f u n ctio n s .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     F ea tu r e  S elec tio n   A p p r o a ch   b a s ed   o n   F ir efly  A lg o r ith m  a n d   C h i - s q u a r e   ( E ma d   Mo h a med   Ma s h h o u r )   2343   T ab le  1 .   Dif f er en t  F itn e s s   F u n ctio n s   u s ed   f o r   Si m u lati n g   F ir ef l y   I n te n s it y   Fi t n e ss F u n c t i o n   Eq u a t i o n   R o se n b r o c k   [ 4 ]   ƒ R o s e n b r o c k   (x 1 , …. . ,   x n )   = ∑ (                                           )                 ( 1 0 )   A c k l e y   [ 4 ]   ƒ( 〈                 〉 ) = 2 0 + e - 2 0 e x p (         √     ∑               )         (     ∑                          )   ( 1 1 )   S p h e r e   [ 4 ]   S p h e r e   ( x 1 , …. . ,   x n )   =   ∑                         ( 1 2 )   R a st r i g i n   [ 5 ]   ƒ ( x )   = 1 0 n + ∑                                                 ( 1 3 )   S a l o mo n   [ 5 ]   ƒ ( x )   = - c o s (     √ ∑               )         √ ∑               +1         ( 1 4 )   S c h w e f e l   [ 5 ]   ƒ ( x )   = 4 1 8 . 9 8 2 9 d - ∑                     √ |     |           ( 1 5 )   X i n - S h e   Y a n g   [ 5 ]   ƒ ( x )   = -   ∑ |     |                     ∑                           ( 1 6 )       3 . 1 . 5 .   F iref ly   pro ce s s ing   ph a s e   I n   th i s   p h ase,   t h e  f ir e f l y   alg o r ith m   is   ap p lied   as  a  f ea t u r e  s e lectio n   p r o ce s s .   T h e  p r o ce s s   b eg in s   w it h   co m p ar i n g   t w o   r a n d o m   f ir e f li es  in te n s it y   w i th   ea c h   o th er ,   t h e  o n e  w it h   lo w er   lig h t  i n te n s it y   w ill  m o v e  to   th e   h ig h er   f ir e f l y ,   d is ta n ce   ( r )   b et w ee n   th e m   w ill   b e  ca lcu la ted   u s i n g   E q u a tio n   ( 2 ) ,   th e  attr ac tio n   v al u e  i s   ca lcu lated   u s i n g   E q u atio n   ( 1 ) ,   th e  n e w   p o s itio n   ( x i )   f o r   th e  l o w er   f ir ef l y   i s   ca lc u lated   u s i n g   E q u atio n   ( 3 ) ,   an d   f i n all y   n e w   i n ten s it y   w i ll  b e  u p d ated   th r o u g h   ca lcu la tin g   f itn es s   f u n ctio n ,   t h is   tas k   r elie s   o n   t w o   i m p o r tan t   f ac to r s :     a.   Fire f l y   in ten s it y ,   th e  li g h t in te n s it y   p r o d u ce d   f r o m   ea ch   f ir e f l y   in   s p ac e.   b.   Fire f l y   p o s itio n ,   t h e  p o s itio n   o f   th e  f ir e f l y   i n   s p ac e,   it  k ee p s   ch an g i n g   ac co r d in g   to   s o m e  f a cto r s   T h is   p r o ce s s   co n tin u e s   f o r   a   n u m b er   o f   iter atio n s   o r   g e n er atio n s   s p ec if ied   b y   th e  u s er .   I n   th e s e   iter atio n s ,   t h e  f ir ef l y   ar e  al w a y s   i n   m o v i n g   s tat u s   f r o m   p o s itio n   to   p o s itio n   w h er e  th e  lo w er   l i g h t  in ten s it y   w il l  m o v e   to   t h e  h i g h er   f ir e f l y .   Af ter   t h at   th e   h ig h es t  r an k ed   f ea t u r es   ar e  i n tr o d u ce d   to   th e   clas s i f ier   in cr e m e n tall y   s tar tin g   f r o m   th e  h ig h er   i n ten s it y   ( m o s t  i n f o r m ati v e)   u n til  r ea c h in g   t h e  h ig h est  p o s s ib le   ac cu r ac y .         3 . 1 . 6 .   Cla s s if ica t i o n pha s e   I n   th e  class if ica tio n   p h ase  t h e  f ir ef lies   ( f ea t u r es)  p r o d u ce d   f r o m   t h e  p r ev io u s   p h a s e  ar e  ex p o s ed   to   a  class i f ier .   Di f f er en t   m ac h i n e   lear n i n g   tec h n iq u es  ca n   b e  u s ed   a s   cla s s i f ier s ;  i n   t h i s   r esear ch   K - n ea r est   n eig h b o r   ( KNN)   an d   d is cr i m i n an t a n al y s i s   ( D A )   ar e  u s ed .       3 . 1 . 6 . 1 .   K - nea re s t   neig hb o r  cla s s if ie r   K - n ea r est  n ei g h b o r   ( K - NN)   ap p r o ac h   is   co n s id er ed   as  a   n o n - p ar a m etr ic  lear n i n g   al g o r ith m .   No n   p ar am etr ic  al g o r ith m   m ea n s   it  d o esn ’ t  n ee d   to   ass u m e  a n y   d ata  d is tr ib u tio n   [ 6 ] .   T h e  K - NN  alg o r ith m   is   o n e   o f   th e  s i m p le s t  m ac h i n e  lear n i n g   al g o r ith m s   a n d   it  is   co n s id er ed   as  in s ta n ce - b ased   lear n in g ,   w h er e  t h e  u n s ee n   d ata  h as  b ee n   c lass if ied   b ased   o n   tr ain i n g   d ataset  s to r ed   b ef o r e.   T h e  alg o r ith m   r elie s   o n   t h e  d is ta n ce   b et w ee n   th e  tr ai n i n g   d ataset  a n d   t h e  u n s ee n   o r   t h e  tes tin g   d ata s et,   t h e  d is ta n ce   i s   ca lc u lated   b y   a   k i n d   o f   s i m ilar it y   m ea s u r e,   s u c h   as t h e  E u c lid ea n   d is ta n ce ,   co s in e  s i m ilar it y   o r   th e  Ma n h atta n   d is ta n ce .     3 . 1 . 6 . 2 .   Dis cr i m i na nt  a na ly s is   cla s s if ier   Dis cr i m in a n t a n al y s i s   is   a n   ap p r o ac h   u s ed   f o r   cl as s if icatio n ,   w h er e  t w o   o r   m o r e  g r o u p s   ar e  k n o w n   a s   a   p r io r i   an d   o n e  o r   m o r e  n e w   o b s er v atio n s   ar e  cla s s i f ied   in t o   o n e  o f   th e  k n o w n   g r o u p s   b a s ed   o n   th e  m ea s u r ed   ch ar ac ter is tic s .   I t  i s   u s ed   to   p r ed ict  th e  m e m b er s h ip   o f   a   s a m p le  to   a   g r o u p   b ased   o n   a   s et  o f   i n d ep en d en t   v ar iab les.  T h e  p r o ce s s   o f   d is cr i m i n a n t  a n al y s is   r el ies  o n   co m p u tin g   t h e  r elatio n s h i p   o f   v ar iab les  b y   m i n i m izi n g d i s tan ce   t h e  w it h i n   class   d is ta n ce   an d   m a x i m izi n g   t h e  b et w ee n   clas s   d is tan ce   s i m u lta n eo u s l y ,   to   ea r n   th e  h ig h es t c lass   d i s cr i m i n atio n   r a te  [ 7 ] .   T h e  f r a m e w o r k   in cl u d i n g   d if f er en t  p h ases   f o r   s e lecti n g   th e  h ig h e s t  b est  i n f o r m ati v e   s u b s e t  o f   f ea t u r es u s in g   f ir ef l y   i s   ill u s tr a ted   in   Fig u r e   1 .    Fig u r e  2   s h o w s   p s e u d o   co d e  t h at  in teg r ate s   th e  d i f f er e n t ste p s   f o r   s elec tin g   f ea t u r es a n d   f i n d in g   th e  b est in f o r m ati v e  f ea tu r es  s u b s et  u s i n g   th e  p r o p o s ed   f ir ef l y   f r a m e w o r k .     Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :  2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 3 8   –   2 3 5 0   2344     Fig u r e  1 .   T h e  p r o p o s ed   f ir ef l y   f r a m e w o r k   f o r   p ick i n g   i n f o r m ativ e  f ea tu r e s           Fig u r e  2 .   Sh o w s   p s e u d o   co d e  1   o f   th e  m o d if ied   f ir e f l y   al g o r i th m       4.   RE SU L T S AN D  AN AL Y SI S   T h e  p r o p o s ed   alg o r ith m   h a s   b ee n   test ed   u s i n g   f o u r   p u b lic   b en ch m ar k   d atasets .   T h e  d es cr ip tio n   o f   th ese   d ataset s   i s   s h o w n   i n   T ab le  2 .   Data s et s   u s ed   ar e   S R B C T   m icr o ar r ay   ca n ce r   d ata s et  an d   it  h as   b ee n   o b tain ed   f r o m   t h e  GE MS  w e b s ite  ( w ww . g e m s - s y s te m . o r g ) .   T h e  th r ee   o th er   d atasets   ( L u n g ,   Hep atiti s ,   an d   Der m ato lo g y )   h a v e  b ee n   o b tain ed   f r o m   t h e  U n iv er s it y   o f   C ali f o r n ia  at  I r v in e  ( UC I )   m ac h i n e  lear n in g   r ep o s ito r y   [ 28 ] .   Data s ets ar er an d o m l y   d i v id ed   in to   7 5 % f o r   t r ain in g   a n d   2 5 % f o r   test in g .   Af ter   ap p l y in g   th e  p r ep r o ce s s in g   a n d   r an k i n g   p h ase  o n   th e  in p u t   d ataset,   a  p o o l  co n tain in g   a  s et  o f   f ea t u r es  f o r   ea ch   d ataset   r an k ed   b y   t - test   o r   r elief f   is   co n s tr u cted   f ir s t,   an d   th e n   e x p o s ed   to   th e   m o d i f ied   f ir ef l y   alg o r it h m   e x p er i m e n te d   w i th   d if f er en t   f itn e s s   f u n cti o n s .   T h e  o u tp u t  o f   t h e  f ir ef l y   p r o ce s s in g   p h a s e  is   th e  h ig h es t  r an k ed   f ea t u r es  s u b s et.   T h ese  f ea t u r es  ar e  p ass e d   f ea tu r e  b y   f ea t u r e  to   t h e  cl ass i f ier   i n   o r d er   to   ev alu a te  f ea t u r es.  C las s i f icati o n   r ate  is   m o n ito r ed   u n til  t h e  class if icatio n   ac cu r ac y   h ad   b ee n   im p r o v ed   as  In p u t :   M a t r i x   M   ( d ,   n ) ,   M   i s   t h e   o r i g i n a l   d a t a se t   m a t r i x ,   w h e r e   d   n u mb e r   o f   sam p l e s &   n   n u mb e r   o f   f e a t u r e s   Ou t p u t :   M a t r i x   S   ( d ,   r ) ,   S   i s a   r e d u c e d   m a t r i x   d a t a se t ,   w h e r e   d   n u mb e r   o f   s a mp l e s &   r   r e d u c e d   n u m b e r   o f   f e a t u r e s         S t e p   1 :   R a n k   f e a t u r e s u si n g   t - t e st   /   r e l i e f f   f o r   t h e   o r i g i n a l   d a t a se t   M .   S t e p   2 :   I n i t i a l i z e   p a r a me t e r s:             N u mb e r   o f   i t e r a t i o n s  t      L i g h t   a b so r p t i o n   c o e f f i c i e n t         A t t r a c t i o n   c o e f f i c i e n t         R a n d o m i z a t i o n   p a r a me t e r   α     ( n p o p )   n u m b e r   o f   f i r e f l i e s c o n si d e r e d   i n   sp a c e   S t e p   3 :   S i m u l a t e   f e a t u r e s a s f i r e f l i e s,  w h e r e   e a c h   f i r e f l y   i s re p r e se n t e d   b y   a   v e c t o r   o f   v a l u e s (o r i g i n a l   v a l u e s fo r   e a c h   f e a t u r e )   S t e p   4 :   A ssi g n   p o si t i o n   v a l u e s fo r   e a c h   f i r e f l y ,   b y   c a l c u l a t i n g   c e l l   C h i - s q u a r e   f o r   e a c h   v a l u e   e x i st e d   i n   e a c h   f e a t u r e   i n   t h e   d a t a se t .   S t e p   5 :   I n i t i a l i z e   i n t e n si t y   v a l u e   f o r   e a c h   f i r e f l y ,   t h r o u g h   c a l c u l a t i n g   o n e   o f   t h e   f o l l o w i n g   f i t n e ss fu n c t i o n s:       R o se n b r o c k     S p h e r e     A c k l e y       R a st r i g i n     S c h w e f e l     S a l o mo n     X i n - S h e   y a n g   I n i t i a l i z e   d i st a n c e   r = 0 .   ( D i st a n c e   b e t w e e n   f i r e f l i e s) .   S t e p   6 :   W h i l e   ( l o o p   <   n u m b e r   o f   i t e r a t i o n s)   I f   i n t e n si t y   ( f i r e f l y i )   <   i n t e n si t y   ( f i r e f l y j )   C a l c u l a t e   d i st a n c e   ( r )   b e t w e e n   t h e m.   C a l c u l a t e   a t t r a c t i o n   b a se d   o n   d i st a n c e .     C a l c u l a t e   t h e   mo v e me n t   o f   t h e   l o w   i n t e n si t y   f i r e f l y   u si n g .     C a l c u l a t e   n e w   c h i - s q u a r e   v a l u e s a s  n e w   p o si t i o n s   f o r   t h e   mo v e d   f i r e f l y .   A f t e r   c h a n g i n g   p o si t i o n ,   i n t e n s i t y   i s r e c a l c u l a t e d   f o r   t h e   mo v e d   f i r e f l y   u si n g   f i t n e ss f u n c t i o n .   R a n k   f i r e f l i e s a c c o r d i n g   t o   t h e   i n t e n s i t y .   C o n si d e r   t h e   n e x t   f i r e f l i e s t o   c o mp a r e .   En d   w h i l e   S t e p   7 :   R e p e a t   R e p e a t   ( s t e p   1   t o   s t e p   6 )   w i t h   d i f f e r e n t   c o m b i n a t i o n   u n t i l   a c c u r a c y   i s  a c c e p t a b l e .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     F ea tu r e  S elec tio n   A p p r o a ch   b a s ed   o n   F ir efly  A lg o r ith m  a n d   C h i - s q u a r e   ( E ma d   Mo h a med   Ma s h h o u r )   2345   p o s s ib le  w it h   t h e  m o s t i n f o r m ativ e  f i r e f lies   ( f ea t u r es).   T w o   r an k i n g   m eth o d s   h a v e  b ee n   te s ted   w h ic h   ar e  t - te s t  an d   r elief f ,   s e v en   d i f f er e n t  f it n es s   f u n ctio n s   h a v e  b ee n   tr ied   w it h   th e  f ir e f l y   p r o ce s s i n g   to   r ep r esen t  in te n s it y ,   an d   t w o   d i f f er e n t  clas s i f ier s   K - NN  a n d   d is cr i m i n a n t  an al y s is   ( DA )   a r e  u s ed   to   ev al u ate  s el ec ted   f ea tu r es.  T h e   n ex t  s ec tio n s   w ill  d e m o n s tr ate   r esu lts   p r o d u ce d   f r o m   ap p l y i n g   f ir e f l y   f r a m e w o r k   w it h   d if f er en t  co m b in at io n s   o f   r an k i n g   m e th o d s ,   f it n es s   f u n ct io n s ,   an d   cla s s i f ier s   o n   d atasets . O u r   e x p er i m e n t  h as  b ee n   ap p lied   o n   f o u r  d if f er e n t  d atase ts ,   s u c h   a s   s m all  r o u n d   b l u e  ce l l  t u m o r s   ( S R B C T )   w h ich   co n tai n s   4   d if f er en t  t u m o r s .   L u n g   d ataset  co n tai n s   th r ee   d i f f er e n t  cla s s   lab el s .   Hep atitis   d ataset  co n tai n s   t w o   clas s es  ( li v e,   d ie) .   Der m a to lo g y   d ataset  is   a  k i n d   o f   d ataset  t h a t su f f er   f r o m   d if f er en tial d iag n o s is   o f   er y th e m ato - s q u a m o u s   d is ea s es .I t c o n ta in s   6   d if f er en t c la s s   lab els.        T ab le  2.   Dif f er en t  Data s ets  u s ed   in   t h e  E x p er i m en ts   D a t a se t   D a t a se t   t y p e   # c l a sse s   # f e a t u r e s   S a mp l e s   R e so u r c e   T h e   smal l   r o u n d   b l u e   c e l l   t u mo r s (S R B C T )   M i c r o a r r a y   4   2 3 0 8   83   G EM S   w e b si t e   ( w w w . g e ms - s y st e m.o r g )   L u n g   M e d i c a l     3   56   32   h t t p s: / / a r c h i v e . i c s. u c i . e d u / ml / d a t a se t s / L u n g + C a n c e r   H e p a t i t i s   M e d i c a l     B i n a r y   c l a ss   19   1 5 5   h t t p s: / / a r c h i v e . i c s. u c i . e d u / ml / d a t a se t s / H e p a t i t i s   D e r mat o l o g y   M e d i c a l     6   35   3 6 6   h t t p s: / / a r c h i v e . i c s. u c i . e d u / ml / d a t a se t s / D e r mat o l o g y         4 . 1 .   Resul t s   f o r  SRB CT   d a t a s et   T h is   s ec tio n   d e m o n s tr ate s   th e  r esu lts   o f   ap p l y in g   t h e  p r o p o s ed   f r am e w o r k   o n   SR B C T   d ataset.     T ab le  3   s h o w s   a   co m p ar is o n   a m o n g   d i f f er e n t  f it n es s   f u n cti o n s   w it h   b o th   clas s i f ier s   K - N N  an d   D A ,   a n d   w it h   b o th   r an k in g   m et h o d   t - test   a n d   r elief f .   I t   s h o w s   t h at u s i n g   r an k i n g   m et h o d   t - te s t  w i th   r o s en b r o ck   f u n ctio n   ev alu a ted   b y   clas s i f ier   K - NN  i s   th e  b es t c o m b i n atio n   f o r   i m p r o v in g   clas s i f i ca tio n   ac c u r ac y .   I n   w h ic h   it  u s es 4   g en e s   o n l y   to clas s i f y   u n s ee n   d ata,   w it h   clas s if icatio n   ac cu r ac y   r ea ch ed   its   h i g h er   v alu e  1 0 0 %.  W h ile  u s i n g r elief f   w i th   K - N N,   th e  h ig h e s t  clas s i f icatio n   ac c u r ac y   r ea ch ed   9 5 %  b y   7   g e n es  u s in g   Xi n - s h e  y a n g   f it n es s   f u n ctio n .         T ab le  3 .   C lass if icatio n   A cc u r a c y   f o r   ea ch   f it n es s   Fu n ctio n   with   d if f er e n t Cl a s s i f ier s   u s i n g   T - T est an d   R elief f   f o r   SR B C T   d ataset  in   ( %)   R a n k i n g   me t h o d   F i t n e ss  F u n c t i o n   A c k l e y   R o se n b r o c k   S p h e r e   X i n - s h e   y a n g   R a st r i g i n   S a l o mo n   S c h w e f e l   c l a ssi f i e r     # f e a t u r e   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   T - t e st   1   55   55   55   55   55   55   50   60   55   60   55   60   45   35   2   90   80   90   80   90   80   75   85   55   65   55   65   45   30   3   90   80   90   95   90   80   80   80   75   75   60   80   50   50   4   85   90   95   1 0 0   85   90   80   75   80   80   85   95   65   85   R e l i e f f   5   65   65   65   65   65   65   90   90   65   65   65   65   70   85   6   65   65   65   70   65   65   90   85   65   65   65   65   75   80   7   65   65   85   90   65   65   90   95   85   85   65   65   90   85   8   85   85   85   90   85   85   90   95   85   85   65   70   95   80       4 . 2 .   Resul t s   f o r  lun g   d a t a s et   I n   th i s   s ec tio n   t h e  r es u lt s   o f   a p p ly i n g   t h e  p r o p o s ed   f r a m e wo r k   o n   lu n g   d ataset  w i ll  b e  d em o n s tr ated .   A   s et  o f   d if f er e n t  co m b in at io n s   o f   tech n iq u es  w a s   ap p lied .   As  s h o w n   in   T ab le  4   lu n g   d at aset  w a s   test ed   w ith   d if f er e n t  co m b in a tio n s   o f   f it n es s   f u n ctio n s ,   r an k in g   m e th o d s   an d   class if ier s .   Us in g   r an k i n g   m et h o d   t - tes t   w it h s alo m o n   f u n ctio n   an d   ev alu ated   u s i n g   class i f ier   K - N N  y ield s   8 0 %  w it h   4   f ea tu r e s .   W h ils t u s i n g   D A   class i f ier   w it h   r an k i n g   m et h o d   r elief f ,   a n d   s p h er e  f u n ctio n   with   4   f ea t u r es i n cr ea s ed   to   h i g h er   ac cu r ac y   9 0 %.                   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :  2088 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 3 8   –   2 3 5 0   2346   T ab le  4.   C lass if ica tio n   A cc u r a c y   f o r   E ac h   Fi tn e s s   F u n ctio n   w it h   d i f f er e n t Cl a s s i f ier s   u s in g   T - T est  a n d   R el ief f   f o r  L u n g   Data s et  i n   ( %)   R a n k i n g   me t h o d   F i t n e ss  F u n c t i o n   A c k l e y   R o se n b r o c k   S p h e r e   X i n - s h e   y a n g   R a st r i g i n   S a l o mo n   S c h w e f e l             c l a ss i f i e r   # f e a t u r e   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   T - t e st   1   30   30   50   30   50   30   30   30   40   30   30   30   40   30   2   30   30   40   30   10   50   50   70   30   20   50   60   50   30   3   40   40   40   40   20   10   50   60   10   10   50   70   40   30   4   20   40   40   40   70   30   50   70   50   30   50   80   40   30       R e l i e f f   1   30   30   30   30   3 0   30   30   30   30   30   30   40   20   30   2   60   50   60   50   60   50   60   50   60   50   40   50   50   50   3   60   50   60   50   60   50   60   50   50   50   40   50   30   50   4   60   60   60   60   90   50   40   60   60   50   20   50   50   60       4 . 3 .   Resul t s   f o r  hepa t it is   da t a s et   A   d if f er en t  k i n d   o f   d ataset  ca lled   h ep atitis   is   tes ted   w ith   t h e  p r o p o s ed   f r am e w o r k .   I t  is   co n s id er ed   as  a  b in ar y   clas s   d ataset  w i th   s ta tu s   d ie  o r   liv e.   T ab le  5   s h o w s   a  n u m b er   o f   e x p er i m e n ts   ap p lied   o n   th i s   d ataset   w it h   d i f f er en t  co m b i n atio n s .   Usi n g   K - N N  clas s i f ier   w it h   d if f er en t  f itn e s s   f u n c tio n s   an d   T - t est  r an k i n g   m et h o d s ,   th e  b est  f itn e s s   f u n c tio n   f o r   th i s   co m b i n atio n   w a s Xin - s h e  y a n g   w h ic h   g iv e s   cla s s i f icatio n   ac cu r ac y   7 9 %  w i th   2   f ea tu r es,   w h ile  u s in g r el ief f   w it h   t h e  K - NN,   v er y   p o o r   r esu lt s   w a s   p r o d u ce d .   Usi n g r elie f f   r an k i n g   m et h o d an d   D A   ac h iev ed   t h e  b e s t  class i f icat io n   ac c u r ac y   with   b o th   f it n es s   f u n ctio n s   r ast r ig in   a n d   Xi n - S h e   y an g   w it h   8 5 % b y   2   f ea t u r es.       T ab le  5.   C lass if icatio n   A cc u r a c y   f o r   E ac h   Fi tn e s s   F u n ctio n  w it h   d i f f er e n t Cl a s s i f ier s   u s in g   T - T est  a n d   R elief f   f o r   Hep atitis   Data s e t  i n   ( %)   R a n k i n g   me t h o d   F i t n e ss  F u n c t i o n   A c k l e y   R o se n b r o c k   S p h e r e   X i n - s h e   y a n g   R a st r i g i n   S a l o mo n   S c h w e f e l             c l a ss i f i e r   # f e a t u r e     DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   T - t e st   1   60   55   68   50   68   50   81   42   10   21   63   42   68   50   2   55   66   11   40   74   61   73   79   10   29   55   42   73   60     3   60   68   18   63   76   71   71   58   26   60   58   60   76   71     4   5   52   58   55   55   50   45   71   74   71   45   76   73   76   76   55   47   50   44   71   71   74   71   78   55   71   45   76   73   R e l i e f f   1   76   21   76   21   73   21   73   21   73   21   73   21   81   42   2   76   71   76   21   73   60   85   50   85   50   10   21   73   60     3   26   60   71   68   68   66   73   55   71   68   13   18   10   55     4   5   50   50   60   60   23   50   60   60   50   50   60   60   68   50   63   60   68   50   63   60   50   50   60   60   10   50   55   60       4 . 4 .   Resul t s   f o r  de r m a t o lo g y   I n   th i s   s ec tio n   d er m a to lo g y   d ataset  is   in tr o d u ce d   w it h   a  co m p ar at iv e  T ab le  6   s h o w i n g   th e  r es u lt s   o f   ap p ly i n g   th e  p r o p o s ed   f r a m e w o r k .   Der m ato lo g y   i s   a  k i n d   o f   s k i n   ca n ce r   t h at  co n tai n s   s ix   d if f er en t  cla s s e s .   Dif f er en t  co m b i n atio n s   o f   tec h n iq u es  ar e  test ed   f o r   th e  b est  p er f o r m a n ce .   T h e  b est  class if icatio n   ac cu r ac y   w a s   o b tain ed   th r o u g h   ap p ly in g   K - NN   clas s i f ier   w it h   t - test   a n d   u s i n g   A ck le y   f itn es s   f u n ctio n ,   t h e   class i f icatio n   ac cu r ac y   w as  9 7 %  b y 1 4   f ea tu r e s .   W h ile  u s i n g   r elie f f ,   r es u lts   w er e  d is ap p o in ted   b ec au s e  i t   d ec r ea s es  w it h   h ig h er   p er ce n t ag e.   D A   h as  b ee n   u s ed   w it h   t - test ,   t h e  h i g h est   clas s if icati o n   ac cu r ac y   9 1 %  w a s   o b tain ed   w ith   9   f ea tu r e s   u s i n g   R o s e n b r o ck   f itn e s s   f u n ctio n ,   an d   9 5 %  w it h   1 0   f ea tu r e s   u s i n g   Sc h w e f el  f it n es s   f u n ctio n .                         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     F ea tu r e  S elec tio n   A p p r o a ch   b a s ed   o n   F ir efly  A lg o r ith m  a n d   C h i - s q u a r e   ( E ma d   Mo h a med   Ma s h h o u r )   2347   T ab le  6.   C lass if icatio n   A cc u r a c y   f o r   E ac h   Fi tn e s s   F u n ctio n   w it h   d i f f er e n t Cl a s s i f ier s   u s in g   T - T est  a n d   R elief   f o r   Der m ato lo g y   Data s et  i n   ( %)   R a n k i n g   me t h o d   F i t n e ss  F u n c t i o n         A c k l e y   R o se n b r o c k   S p h e r e   X i n - s h e   y a n g   R a st r i g i n   S a l o mo n   S c h w e f e l   c l a ssi f i e r                                                     # f e a t u r e   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   DA   K - NN   T - t e st   9   72   75   91   80   8 5   72   79   70   46   52   72   52   90   72   10   80   77   89   88   83   81   91   88   64   74   66   54   95   77   11   80   78   91   89   86   85   91   88   77   74   66   60   95   79   12   80   78   91   89   95   94   91   87   77   74   78   66   92   82   13   94   89   91   89   95   95   91   88   77   74   78   66   92   82   14   95   97   92   86   94   94   93   90   77   74   89   7 8   93   83   15   95   97   92   86   94   94   93   90   74   74   89   78   93   83   R e l i e f f   1   20   35   25   36   54   54   40   36   54   54   24   37   36   36   2   27   35   38   40   46   58   59   54   36   54   24   37   54   54   3   53   33   70   58   50   58   72   54   63   54   24   37   61   54     4   5   6   7   68   70   70   65   51   51   54   50   70   73   73   69   58   61   63   6 3   50   64   64   71   58   56   56   58   82   82   75   79   58   60   64   66   63   63   63   63   54   54   54   54   35   41   49   77   40   40   48   63   61   60   63   63   54   54   54   54       5.   E XP E R I M E NT   DI SCUS SI O N   T h e  p r o p o s ed   h y b r id   f r a m e w o r k   d escr ib es  h o w   f ir ef l y   al g o r ith m   h a s   b ee n   u s ed   as  a  f ea tu r e   s elec tio n   to o l,  th e  alg o r it h m   w as  a s s e s s ed   u s i n g   w ell - k n o w n   d atase t s ,   an d   clas s i f icatio n   er r o r   r ates  p r o d u ce d   b y   t h e  s elec ted   f ea tu r es   w er e  m o n it o r ed .   I t  is   f o u n d   t h at  u tili z in g   c h i - s q u ar e  f o r   s i m u lati n g   f ir ef l y   p o s itio n   an d   d if f er e n t  f itn e s s   f u n ctio n s   f o r   s i m u lati n g   f ir e f l y   l ig h t  i n te n s it y   h as  i m p r o v ed   th e  f ir e f l y   p er f o r m a n ce   f o r   f ea t u r e  s elec tio n   a n d   g i v es   p r o m i s i n g   r esu lts .   T h e  cla s s i f i ca tio n   p er f o r m a n ce   r ep r esen t s   h o w   o u r   m o d el   s u cc ee d s   i n   r ed u ci n g   n u m b er   o f   f ea t u r es  a n d   s elec ti n g   th e   m o s t  i n f o r m ati v e  f ea tu r e s   f o r   class i f i ca tio n .   I n   ev er y   r u n n i n g   tr ial,   d if f er e n t  f it n es s   f u n ctio n s   h a v e  b ee n   e x p er i m e n ted   in   o r d er   to   g ain   th e  m o s t  s u itab le  f it n es s   f u n ctio n   to   r ep r esen t  i n ten s it y .   E ac h   f it n e s s   f u n ctio n   h a s   b ee n   ap p lied   o n   d i f f er e n t  d ataset s   w it h   t w o   d if f er e n t  r a n k i n g   ap p r o ac h e s   t - te s t  a n d   r elie f f .   T h e  h i g h e s t  r an k ed   f ea tu r e s   h av e   b ee n   g i v en   to   d if f er e n t  class i f ier s   o n e   b y   o n e  f o r   e v alu atio n .   T esti n g   i s   d o n e   b y   s elec ti n g   f ir s t   f ea tu r e   f r o m   th e  f ir e f l y   p o o l  o f   f ea t u r es  f o r   class i f icatio n ,   th e n   r esu lt s   ar e  ev alu ated ,   if   cla s s if ica tio n   p er ce n ta g e  n o t  ac ce p ted   an o th er   f ea tu r e   f r o m   th e  p o o l  is   ad d ed   to   th e  p r ev io u s   o n e,   a n d   th en   p ass   b o th   o f   th e m   to   class i f ier ,   an d   ch ec k   f o r   class i f icatio n   ac cu r ac y   p er ce n tag e,   th e  p r o ce s s   is   r ep ea te d   u n ti l  t h e  h ig h est   p o s s ib le  ac cu r ac y   h as  b ee n   ac h iev ed   w i th   th e  lo w e s t  n u m b er   o f   f ea tu r e s .   I n s id e  t h e  f r a m e w o r k   t h er e  ar e  a  s et  o f   p ar am eter s   m u s t  b e   in itial ized   an d   tu n ed   f o r   r u n n i n g   t h e  m o d i f ied   f ir e f l y   al g o r it h m ,   t h e  p ar a m eter s   to   b e  co n s id er ed   s u ch   as  li g h t   ab s o r p tio n   co ef f icie n t  γ ,   attr ac tio n   co ef f icie n t  β,  r an d o m i za tio n   p ar a m eter   α ,   n u m b er   o f   iter atio n s   t  a n d   n u m b er   o f   f ir e f l y   p o p u latio n   ( n p o p ) .   Nu m b er   o f   iter atio n s   in s id e  th e  f ir e f l y   f r a m e w o r k   m a y   v ar y ,   co n s id er in g   th e  co m p u tatio n   ti m e  a n d   co s t.  Af ter   r u n n i n g   5 0 0   tr ails   w e   co n clu d e  t h at  t h e  b est   r an g e   o f   iter atio n s   f o r   th e  p r o p o s ed   f ir ef l y   m o d el  m a y   f all  b et w ee n   1 5 0   an d   4 0 0   ite r atio n s .   O u ts id e  th is   r a n g e   m a y   lead   t h e  f ir e f l y   m o d el  to   p ick   lo w   in f o r m a t iv e  f ea t u r es  t h at  m a y   lead   t h e  class if ier   to   p o o r   p e r f o r m an ce .   N u m b er   o f   p o p u latio n   ch o s e n   f o r   f ir ef l y   p r o ce s s in g   r elies  o n   n u m b er   o f   f ea t u r es  p ick ed   f r o m   t h e  r an k i n g   p h a s e,   as  s tated   b ef o r e  r an k i n g   p h ase  p r o d u ce   as  m u c h   as  p o s s ib le  th e  m o s t  d escr ip tiv e  f ea tu r es  r ea d y   f o r   f ir ef l y   al g o r it h m .   γ ,   β  an d   α   ar e   th r ee   d i f f er en t   p ar a m eter s   w h ic h   m a y   co n tr o l  th e   b eh a v io u r   o f   f ir ef l y   in   s p ac e,   tu n i n g   t h es e   p ar am eter s   n ee d s   m o r e  t h a n   o n e  ex p er i m en t.    T h e  aim   o f   t h is   r esear ch   i s   to   f o cu s   o n   i m p r o v i n g   f ea t u r e  s elec tio n   p r o ce s s   u s i n g   f ir e f l y   a lg o r ith m s ,   an d   ac h iev i n g   h i g h est  clas s i f i ca tio n   r ates  w it h   lo w est  n u m b er   o f   f ea t u r es.  T h e  lo w er   n u m b er   o f   f ea tu r es  ca n   b e  s elec ted   as  lo n g   as  it  k ee p s   th e  ac cu r ac y   h ig h .   T h e  f ea t u r es  ex tr ac ted   f r o m   t h e  o r ig i n al  d ataset,   m a y   s er v e  as  a  f ea tu r e \ g e n e  m ar k er s   t h at   ca n   r ec o g n ize  a n d   d if f er en t ia te  class e s .   T h e  f o llo w i n g   tab l es  s h o w   t h e  n a m e s  o f   th e   d o m i n an t   f ea tu r es \ g e n es  t h at  i m p r o v e  th e  c lass if icatio n   ac c u r ac y .   Fo r   S R B C T   d ataset,   T ab le  7   r ep r esen ts   s elec ted   g en e s   th a t  m a y   h elp   in   s u cc e s s f u l  d iag n o s is ,   f o r   l u n g   d ataset,   t h e r e  is   n o   a  p r o p er   d escr ip t io n   f o r   t h e  f ea t u r es   s elec ted ,   T ab le  8   s h o w s   t h e  d o m in a n t   f ea t u r es   f o r   t h e  h ep atitis   d ata s et,   w h ile     T ab le  9   s h o w s   t h e  i m p o r tan t  f ea tu r es i n   th e  d er m a to lo g y   d at aset.       T ab le  7 .   Selecte d   G en e  D escr ip tio n   f o r   SR B C T   G e n e   D e scri p t i o n   G e n e   1   :   i n su l i n - l i k e   g r o w t h   f a c t o r   2   ( so mat o me d i n   A )       G e n e   2   :   mi c r o t u b u l e - a sso c i a t e d   p r o t e i n   1 B                     G e n e   3   :   h i g h - mo b i l i t y   g r o u p   ( n o n h i st o n e   c h r o mo so mal )     G e n e   4   :   EST s           Evaluation Warning : The document was created with Spire.PDF for Python.