I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   5 ,   Octo b e r   2 0 1 7 ,   p p .   2 7 7 3 ~2 781   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 5 . pp 2 7 7 3 - 2 781          2773       J o ur na l ho m ep a g e :  h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   H y brid Me thod  H VS - M RM R  for  Va ria ble Selec tion  i n  M ultilay er Ar t ific ia l Neural Ne tw o r k   Cla ss ifier       B en - H dech  Adil 1 ,   G ha no u Y o us s ef 2 ,   E l  Q a di Ab derr a hi m 3   1, 2 T IM   T e a m ,   Hig h   S c h o o l  o f   T e c h n o lo g y ,   M o u lay   Is m a il   Un iv e rsit y ,   M e k n e s,  M o ro c c o   3 LA S T IM I,   Hig h   S c h o o l  o f   T e c h n o l o g y ,   M o h a m m e d   V   Un iv e rsity ,   Ra b a t,   M o ro c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Mar   29 ,   2 0 1 7   R ev i s ed   Ma y   5 ,   2 0 1 7   A cc ep ted   J u l   11 ,   201 7       T h e   v a riab le  se lec ti o n   is  a n   im p o rtan t  tec h n iq u e   th e   re d u c i n g   d im e n sio n a li ty   o f   d a ta  f re q u e n tl y   u se d   in   d a ta  p re p ro c e ss in g   f o r  p e rf o rm in g   d a ta  m in in g .   T h is  p a p e r  p re se n ts  a   n e w   v a ri a b le  se lec ti o n   a lg o rit h m   u se s  th e   h e u risti c   v a riab le  se lec ti o n   (HV S )  a n d   M i n im u m   Re d u n d a n c y   M a x i m u m   Re lev a n c e   (M RM R).   W e   e n h a n c e   th e   H V S   m e th o d   f o r  v a riab   le  s e l e c ti o n   b y   in c o rp o ra ti n g   (M RM R)  f il ter.  Ou r  a lg o rit h m   is  b a se d   o n   w ra p p e r  a p p ro a c h   u sin g   m u lt i - la y e r   p e rc e p tro n .   W e   c a ll e d   th is  a l g o rit h m   a   H V S - M R M R   W ra p p e r  f o r  v a riab les   se l e c ti o n .   T h e   re lev a n c e   o f   a   se t  o f   v a riab les   is   m e a su re d   b y   a   c o n v e x   c o m b in a ti o n   o f   th e   re lev a n c e   g iv e n   b y   HV S   c rit e rio n   a n d   th e   M RM R  c rit e rio n .   T h is  a p p r o a c h   se lec ts  n e w   re le v a n t  v a r iab les ;  w e   e v a lu a te  th e   p e r f o r m a n c e   o f   HV S - M RM R  o n   e ig h t  b e n c h m a rk   c l a s sif i c a ti o n   p ro b lem s.  T h e   e x p e ri m e n tal  re su lt s  sh o w   th a t  HV S - M RM R  se lec ted   a   les s   n u m b e r  o f   v a riab les   w it h   h ig h   c las sif ic a ti o n   a c c u ra c y   c o m p a re d   to   M RM R   a n d   HV S   a n d   w it h o u t   v a riab les   se lec ti o n   o n   m o st  d a tas e ts.   HV S - M RM R  c a n   b e   a p p li e d   to   v a rio u s  c las sif ica t i o n   p ro b lem s  th a t  re q u ire  h ig h   c las sif i c a ti o n   a c c u ra c y .   K ey w o r d s :   Heu r is tic  v ar iab le  s elec tio n   Neu r o n al  n et w o r k   Min i m u m   r ed u n d an c y   Ma x i m u m   r ele v an ce     Mu ltil a y er   p er ce p tr o n   Var iab le  s elec tio n   Co p y rig h t  ©   2 0 1 7   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   B en - Hd ec h   A d il ,    Dep ar t m en t o f   E lectr ical  an d   C o m p u ter   E n g in ee r i n g ,   Natio n al  C h u n g   C h e n g   Un i v er s it y ,   1 6 8   Un iv er s it y   R o ad ,   Min h s i u n g   T o w n s h ip ,   C h ia y i  C o u n t y   6 2 1 0 2 ,   T aiw a n ,   R O C .   E m ail: l s n t l@ cc u . ed u . t w       1.   I NT RO D UCT I O N     R ed u ci n g   d i m e n s io n alit y   o f   d ataset  h as  b ec o m e  i n cr ea s i n g l y   cr itical  b ec a u s e  o f   th e   m u lt i p licatio n   o f   d ata.   I n   m a n y   ar ea s ,   th e  s o l u tio n   o f   a  s y s te m   p r o b le m   i s   b ased   o n   a  s et  o f   d atab ase  ( v ar iab les)  [ 1 - 2 ] .   I n cr ea s in g   t h e  n u m b er   o f   t h es e  v ar iab les  t h at  c h ar ac ter izes  t h e  p r o b le m   r ep r esen t s   d if f ic u l ties   at  m a n y   le v els   s u c h   as  co m p lex i t y ,   co m p u ti n g   ti m e,   an d   d eter io r atio n   o f   th e  s y s te m   p r o b le m   s o lu t io n   in   t h e  p r esen ce   o f   n o is y   d ata.   A  m e th o d   o f   r ed u cin g   d i m en s io n ali t y   is   to   f in d   a  r ep r esen tatio n   o f   t h e  o r ig in al  d ata  i n   a  s m aller   s p ac e.   Di m e n s io n alit y   r ed u cti o n   ca n   r o u g h l y   b e  d iv id ed   i n to   t w o   ca te g o r ies  [ 3 - 4 ] :  f ea tu r e  ex tr ac tio n   a n d   f ea t u r e  s elec t io n .   Firstl y ,   Feat u r e  e x tr ac tio n   g e n er ates   a  s m all  s et   o f   n o v el  f ea t u r es  b y   m er g in g   th e   o r ig i n al   f ea t u r es .   Seco n d l y ,   Featu r e  s e l ec tio n   p ick s   a  s m al l set o f   t h e  o r ig in al  o n e s .   Var iab les  s elec tio n   o r   f ea tu r e s   s elec tio n   is   a  s ea r ch   p r o ce s s   u s ed   to   s elec t  a  s u b s et  o f   v ar iab les  f o r   b u ild in g   r o b u s t  lear n i n g   m o d els  [ 5 ]   s u c h   as  n e u r al  n et w o r k s ,   d ec is io n   tr ee s   a n d   o th er s .   So m e  ir r ele v an t  an d /o r   r ed u n d an t  v ar iab les  ex i s t  in   t h e  lear n i n g   d ata  th at  m a k e  lear n i n g   h ar d er   an d   d ec r ea s e  th e  p er f o r m a n ce   o f   lear n i n g   m o d els.  T h e  v ar i ab les  s elec tio n   m e th o d s   ca n   b e  class i f ied   in to   th r ee   m ai n   ca teg o r ies:   f ilter ,   w r ap p er   an d   e m b ed d ed .  Fil ter   m et h o d s   w er e  t h e  f ir s t  u s ed   f o r   th e  v ar iab les  s elec tio n .   T h is   ca te g o r y   allo w s   ev alu a tin g   t h e  r elev a n ce   o f   a  v ar iab le  ac co r d in g   to   m ea s u r e s   th at  r el y   o n   th e  p r o p er ties   o f   th e  lear n i n g   d ata.   Fil ter   tec h n iq u es   ar e  f a s t  f o r   h ig h - d i m e n s io n a l d ataset s ,   b u t   t h e y   i g n o r e  i n ter ac tio n   w it h   t h e  class i f ier   [ 6 ] .   T h e  w r ap p er   m eth o d s   u s e  t h e  p r ed ictiv e  ac cu r ac y   o f   a  p r ed eter m in ed   lear n in g   al g o r ith m   to   d eter m i n e  t h e  b est   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 7 7 3   –   2 7 8 1   2774   s u b s et  s elec ted .   T h e  ac cu r ac y   o f   th e  lear n i n g   al g o r it h m s   is   u s u all y   h i g h   [ 7 ] .   W r ap p er   m eth o d s   t en d   to   f i n d   th e   m o s t  s u itab le  f ea t u r e  s u b s et  f o r   th e  lear n in g   al g o r ith m ,   b u t   th e y   ar e  v er y   co m p u tatio n al l y   ex p e n s i v e.   Un l ik e   th e  w r ap p er   an d   f ilter   m et h o d s ,   e m b ed d ed   m eth o d s   i n co r p o r ate  th e  s elec t io n   o f   v ar iab les  d u r in g   th e  lear n i n g   p r o ce s s .   T h e  e m b ed d ed   m et h o d s   co m b i n e  th e  ad v a n ta g es  o f   f ilt er   a n d   w r ap p er   tech n iq u es  [ 8 ] .   T h e  f ilter   ap p r o ac h   d eter m in e s   th e  r ele v an t  a n d   r ed u n d an t  v ar iab les   in d ep en d en t  o f   t h e  class i f ica tio n ,   s u c h   as  u s i n g   o n l y   M R M R   cr iter io n ,   s o   it  i s   n o t  r ec o m m e n d ed   to   u s e   it  alo n e  [ 9 ] .   T h e  m et h o d   f i lter   m i g h t   i m p r o v e  th e   s elec tio n   o f   v ar iab les  if   it  u n d er s tan d s   h o w   t h e  f ilter ed   v a r iab les  ar e  u s ed   b y   th e   clas s i f ier .   T h e  w r ap p er   m et h o d   ev alu ate s   a  s u b s et  o f   f ea t u r es  b y   its   clas s i f icatio n   p er f o r m an ce   u s i n g   a  lear n in g   alg o r ith m   [ 1 0 ] ,   f o r   ex a m p le ,   h eu r i s tic  v ar iab le  s e lectio n   ( HVS) .   I n   t h i s   w o r k ,   w e  p r o p o s e  to   in co r p o r ate  M R MR  cr iter io n   in to   th e  r an k in g   s c h e m e  o f   HV S.  W e  ar e  m ak in g   h y b r id s   b y   a   co n v ex   co m b in atio n   o f   t h e  r elev an c y   g iv e n   b y   HVS  cr iter io n   an d   t h e  MRM R   cr iter io n .   T h e  r est  o f   t h e  p ap er   is   o r g a n ized   as  f lo w s :   Sec tio n   2   w e   p r esen t  r elate d   w o r k s .   I n   s e ctio n   3   w e   p r esen t  r esear ch   m eth o d .   S ec tio n   4   p r esen ts   t h e  r esu l ts   o f   o u r   ex p er i m e n tal  s tu d ies  in cl u d in g   th e   ex p er i m e n tal  m eth o d o lo g y ,   e x p er i m e n tal  r es u lts ,   a n d   th e  co m p ar is o n   w it h   h e u r is tic  v ar i ab les  s elec tio n   HV S   an d   MRM R   Min i m u m   R ed u n d an c y   Ma x i m u m   R e lev a n ce .   T h e  co n clu s io n s   ar e  d r a w n   in   Sectio n   5 .       2.   RE L AT E D  WO RK S   T h e  v ar iab les  s elec tio n   is   g e n er all y   d e f i n ed   as  a  s ea r c h   p r o ce s s   to   f in d   a  s u b s et  o f   " r elev an t"  ch ar ac ter is tic s   f r o m   t h o s e  o f   t h e   o r ig i n al  s et  [ 5 ] ,   [ 1 1 - 1 3 ] .   T h e  co n ce p t  o f   r elev a n ce   o f   a  s u b s et  o f   v ar iab le s   al w a y s   d ep en d s   o n   t h e  o b j ec tiv es   an d   s y s te m   r eq u ir e m en ts .   T h e  p r o b le m   o f   v ar iab les  s elec tio n   f o r   class i f icatio n   ta s k   ca n   b e  d escr ib ed   as  f o llo w s :  g i v en   t h e   o r ig in a l  s et   G,   o f   N  f ea t u r e s ,   f in d   a  s u b s et  F  co n s is tin g   o f   N ’   r elev a n t  f e atu r es  w h er e  N’ <   N  . T h e  s elec tio n   o f   a  s u b s et  F  allo w s   m a x i m izin g   th e   p er f o r m a n ce   o f   t h e  clas s i f icati o n   b y   co n s tr u cti n g   lear n i n g   m o d els.     2 . 1   T he  H euri s t ic  Va ria ble Sele c t io n   L et ’ s   co n s id er   t h at  a   m u lt ila y e r   p er ce p tr o n   ( ML P )   [ 1 4 ]   is   n eu r al  n et w o r k s   ar ch itect u r e  d e f in ed   b y   A  ( I ,   H,   0 )   w h er e  I   i n p u t  la y er ,   H  h id d en   la y er s   an d   O  o u tp u t   la y er ,   an d   W   w ei g h t  m atr ix .   T h e  v alu e  o f   w _ ij   co n n ec tio n   b et w ee n   t w o   n e u r o n s   j   an d   i   r ef lect s   t h e  i m p o r tan ce   o f   th eir   r ela tio n s h ip .   T h is   v alu e   ca n   b e  p o s itiv e  o r   n e g ati v e  d ep en d i n g   o n   if   th e   co n n ec tio n   is   e x cit ato r y   ( +)   o r   i n h ib ito r y   ( - ) .   Yac o u b   et  al  p r o p o s ed   a  m et h o d   f o r   v ar iab le  s elec tio n   n a m ed   h eu r i s ti c  v ar iab le  s elec tio n   HVS  [ 1 5 ] .   T h e  HVS  cr iter io n   is   in ter e s ted   i n   th e  s tr e n g t h   o f   t h ese  co n n ec ti o n s .   T h is   s tr e n g th   i s   q u a n ti f ie d   b y   | w _ ij   | . T h e  p ar tial  co n tr ib u tio n   π   ( i,   j )   o f   th e   h id d en   n e u r o n   j   o n   th e   o u tp u t   i  i s   g i v en   b y   th e   p r o p o r tio n   o f   al l  t h e  co n n ec t io n   s tr en g t h   a r r iv in g   to   n e u r o n   i   s ee   Fig u r e  1 .           Fig u r e  1 .   T h e  p ar tial c o n tr ib u tio n   o f   th e  n e u r o n   j   co n n ec t  w it h   i       π i , j = | w i , j | ∑ | w i , j | Nc j                   ( 1 )     Fo r   esti m ate  t h e  r elati v e  co n tr ib u tio n   o f   u n it  j   is   f i n al  d e cisi o n   o f   t h e  s y s te m .   T h e  u n it  j   s en d s   co n n ec tio n s   to ,   a  s et  o f   u n i ts   ( j )   w it h   p ar tial c o n tr ib u tio n s   π i , j   Fig u r e  2 .     C j = ∑ π ij δ i   Nj i                   ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2775   W h er e     δ i = { 1   if     unit   i ϵ   O         C i   if   unit   i ∈ H                 ( 3 )             Fig u r e  2 .   T h e  r elativ e  co n tr ib u tio n   o f   t h e  n e u r o n   j       T h e  s elec tio n   alg o r it h m   b ased   o n   HVS  cr iter io n   as  f o llo w s :    ̶   L ea r n i n g   th e  M L P   u n til  w e  r e ac h   a  lo ca l  m i n i m u m .   ̶   C alcu late  th e  r ele v an ce   o f   ea ch   v ar iab le  ac co r d in g   to   2 .   ̶   So r t v ar iab les in   asce n d i n g   o r d er   o f   r elev an ce .   ̶   R e m o v e  th e  lo w er   v ar iab le  i m p o r tan ce   ̶   B ac k   to   1 )   to   th e  last   v ar iab le     2 . 2 .   M ini m u m   Re du n da ncy   M a x i m u m   Re lev a nce   T h e  MRMR   ( Min i m u m   R ed u n d an c y   M a x i m u m   R ele v a n ce )   m et h o d   [ 1 6 ]   s elec ts   v ar iab les   th at   h a v e   th e  m a x i m all y   r elev a n ce   w it h   th e  tar g et  clas s   an d   w h ich   ar e  also   m i n i m all y   r ed u n d an t.  I n   t h is   w o r k ,   to   f i n d   a   m ax i m a ll y   r ele v an t  a n d   m in i m all y   r ed u n d an t  s et  o f   v ar ia b les,  w e  u s e  m u tu al  i n f o r m a tio n   b ased   MRMR   cr iter io n .   T h e  ca lcu latio n   o f   r ed u n d an c y   a n d   r elev an ce   o f   a  v ar iab le  is   g iv en   b y   eq u atio n s   ( 4 )   an d   ( 5 ) .   T h e  I ( i , Y )   is   t h e  m u t u al  i n f o r m atio n   b et w ee n   cla s s   lab els  y   an d   v ar iab le  i   .   T h is   allo w s   u s   to   q u an t if y   t h e   r elev an ce   o f   v ar iab le  i   to   th e  cl ass i f icatio n .   T h e  r elev an ce   o f   v ar iab le  is   g i v e n   b y :     Rl i = 1 | S | 2 ∑ I ( i , Y ) y                 ( 4 )     W h er e     ( , ) = ∑ ∑ ( , ) l og   ( ( , ) ( ) ( ) ∈ ∈ )             ( 5 )     T h e  r ed u n d an c y   o f   a  v ar iab le   s u b s et  i s   d eter m in ed   b y   t h e  m u tu al   i n f o r m atio n   a m o n g   t h e  v ar iab les.   T h e  r ed u n d an c y   o f   v ar iab le  i   w ith   t h e  o th er   v ar iab les i s   g i v e n   b y :     Rd i = 1 | | 2 ∑ ( , ) ∈                 ( 6 )     W h er e  S  an d   | S |   r esp ec ti v el y   d e n o te  th e  s e t  o f   v ar iab le s   an d   its   s ize  an d   I ( i , j )   is   th e  m u tu a l   in f o r m atio n   b et w ee n   i   an d   j   .   T h e  s co r e  o f   a  v ar iab le  is   th e  co m b in at io n   o f   t h ese  t w o   f ac to r s :     Sc i = Rl i Rd i                     ( 7 )     T h e  m ea s u r es  o f   r elev a n ce   an d   r ed u n d an c y   o f   v ar iab les  ca n   b e  f o r m ed   in   s e v er al  w a y s ,   b u t  th e   q u o tien t   o f   th e   r elev a n ce   b y   r ed u n d an c y   s elec t   h i g h l y   r ele v an t  v ar iab les  w it h   le s s   r ed u n d an c y   [ 1 7 ] .   Af t er   t h i s   in d iv id u al  v ar iab le  e v alu at io n ,   a  s eq u en tial  s ea r ch   tec h n iq u e   is   u s ed   w it h   a  class i f ier   to   s el ec t  th e  f i n al  s u b s et   o f   v ar iab les.  A  clas s i f ier   is   u s ed   to   ev alu ate   th e  s u b s ets  s tar tin g   w it h   t h e  v ar iab le  th a t  h a s   th e  b est  s co r e,   th e   b est t w o ,   u n ti l  w e   f i n d   th e  s u b s et  th at  m i n i m izes t h e  clas s i f ic atio n   er r o r .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 7 7 3   –   2 7 8 1   2776   3.   RE S E ARCH   M E T H O D   Usi n g   t h e  f il ter   m et h o d s   alo n e  f o r   ex a m p le  MRM R ,   m a y   n o t  g iv e  t h e  b est  p er f o r m an ce   b ec au s e  it   o p er ates in d ep en d en tl y   t h e  cla s s i f ier   an d   i s   n o t i n v o lv ed   i n   t h e  s elec t io n   o f   v ar iab les .   O n   t h e  o th er   h an d ,   HVS   d o es  n o t  tak e  i n to   ac co u n t  t h e  r ed u n d a n c y   a m o n g   v ar iab les.  Ou r   o b j ec tiv e  is   to   i m p r o v e  th e  v ar iab les  s elec tio n   HVS  b y   i n tr o d u ci n g   a n   M R MR   f i lter   to   m i n i m i ze   th e  r ed u n d an c y   a m o n g   r el ev an t   v ar iab le s .   A s   s ee n   later ,   th i s   i m p r o v es  t h e   p er f o r m a n ce   o f   class if ier   b y   co m p r o m is i n g   r elev a n c y   a n d   r ed u n d an c y   o f   v ar iab les.    I n   o u r   ap p r o ac h   o f   HVS - M R MR   v ar iab les   s elec tio n ,   t h e  v ar iab les  ar e  s elec ted   b y   a  co n v e x   co m b i n atio n   o f   th e  r elev a n c y   g iv e n   b y   HVS  co n tr ib u tio n s   an d   th e  MRM R   cr iter io n .   Fo r   i  th e  v ar iab le,   th e   r an k i n g   Me as u r e  R _ i is  g iv e n   b y     R i = α | C i | + ( 1 − α ) Sc i                 ( 8 )     W h er e  th e  p ar a m eter   α ∈ [ 0 , 1 ]   d eter m i n es t h e  co m p r o m i s e  b et w ee n   HVS  an d   MR MR c r iter io n ,   T h e  s ea r ch   s tr ateg y   i s   o n e   o f   th e  p r o p er ties   o f   t h e  v ar iab l e  s elec tio n   al g o r ith m s .   T h er e   ar e  th r ee   s tr ateg ie s ,   f o r w ar d   s elec tio n ,   b ac k w ar d   eli m i n atio n   an d   s te p w is e   s elec tio n .   I n   f o r w ar d   s e lectio n ,   v ar iab les   ar e  p r o g r ess iv el y   in co r p o r ated   in t o   lar g er   an d   lar g er   s u b s et s .   I n   b ac k w ar d   eli m i n atio n   o n e  s t ar ts   w it h   t h e  s et  o f   all  v ar iab les  an d   p r o g r ess iv el y   eli m i n ate s   th e  least  p r o m is i n g   o n e s   [ 3 ] .   I n   o u r   alg o r ith m   w e  u s e  th e  s tr ate g y   b ac k w ar d s   eli m i n atio n .   T o   b etter   co m p r o m i s e  w i th   r ed u n d a n c y   an d   R elev a n c y   o f   v ar iab les,  w e  u s e   S ( i ) MRMR   cr iter io n   f o r   r an k i n g .   A ls o ,   w e  u s e  | C i |   t h e  cr iter i o n   o f   HVS  as  t h e  m ea s u r e  o f   r elev an ce   v ar iab les.    A l g o r ith m   1   ill u s tr ates  HV S - MRMR   v ar iab les  s elec tio n   m eth o d .   I n   ea ch   iter atio n ,   w e  id en ti f ied   th e   least  i m p o r ta n t  v ar iab le  a f ter   r an k i n g   th e  v ar iab les  i n   t h e  s e t   G .   T h e  v ar iab le  least  s i g n if ica n t  ar e  r etir ed   an d   th e  r e m ain in g   s u b s et   G   w il l  g o   th r o u g h   p r o ce s s   iter ati v e,   ea ch   ti m e  w e   r e m o v e  a  v ar i ab le,   r elea r n in g   is   r eq u ir ed .   T h e  alg o r ith m   r e m o v es t h e  v ar iab les o n e  b y   o n e  u n til t h e  last   v ar iab le.   L et ’ s   co n s id er   th at   S p   is   a  s u b s et   o f   v ar iab les an d   p   is   th e  n u m b e r   o f   th ese  v ar iab les.     Alg o rit h m   1   :   H VS - M R M R  f o r  v a ri a bles   s elec t io n   B eg in       Set   α         G iv en  s et   o f   v a ria ble,  S ⊂ G     R ep ea t :        T ra in t he  M L P   w it h t est  d a t a s et ;        F o r  e a ch  i  ∈   do              Co m p ute   t he    b y   eq u atio n   ( 2   )            Co m p ute   t he     b y   eq u atio n   ( 7   )            Co m p ute   t he    b y   eq u atio n   ( 8   )       E n d   f o r      Select   t he  v a ria ble  ∗ =    { }      Upda t e  − = \ { ∗ }      Unt il   G = { ∅ }     E n d       Fo r   s elec tin g   a   s u b s et    S p   o f   v ar i ab les,  alg o r ith m . 1   g en er ate s   a   s et  o f   N  n eu r o n al   n et w o r k s   ( N  is   t h e   n u m b er   o f   v ar iab les)  h a v i n g   less   an d   les s   v ar iab les.  T h e  ch o ice  o f   s u b s et  in cl u d es  u s i n g   a  s ta tis tica l  tes t   ( Fis h er   tes t)   an d   s ea r ch es  a m o n g   all  n et w o r k s   MLP ( p )   th o s e  th at  ar e  s tat is t icall y   n ea r   MLP ( p ∗ ) .   T h is   p r in cip le  p r o v id es  a  s et  o f   n eu r o n al  n et w o r k s   s u c h   as   E   ( p i ) ≈ E   ( p ∗   )   .   T h e  s u b s et  o f   s elec ted   v ar iab le s   is   t h e   s m al lest   s u b s et  o f   p 0   s tati s ticall y   n ea r   MLP ( p ∗ )   v ar iab les.  W h er e  E   ( p i )   is   th e  er r o r   o f   ML P   f o r   s u b s e t   S p .   W h er e,   E   ( p )   is   th e  er r o r   o f   ML P   f o r   s u b s et   S p ,     MLP ( p ∗ ) = a gr   min M L P ( p ) E ( p )               ( 9 )     p 0 = min   i { i }                       ( 1 0 )       Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2777   4.   RE SU L T S AN D  AN AL Y SI S   T o   ev alu ate  th e   p er f o r m a n c e  o f   t h e  HVS - M R M R ,   w e   u s e  s o m e   d ata  s et s   f o r   r ea l  w o r ld   class i f icatio n .   T ab le  1   s h o w s   t h e  d etailed   in f o r m a tio n   o f   ea ch   d ataset.   T h e y   w er e  p ar titi o n ed   in to   th r ee   s e ts :  a   tr ain i n g   s et,   a   v alid atio n   s et   a n d   a  te s ti n g   s et.   T h e  tr ain in g   an d   test in g   s ets   w er e  u s ed   to   tr ain   M L P   an d   to   ev alu a te  t h e  cla s s i f icat io n   ac cu r ac y   o f   tr ain ed   M L P ,   r esp ec tiv el y .   T h e  v alid atio n   s et   i s   u s ed   to   e s ti m ate   p r ed ictio n   er r o r   f o r   ML P .       T ab le  1   Descr ip tio n s   an d   P ar titi o n s   f o r   Dif f er en t  C las s i f icati o n s   Data s e ts   D a t e se t   N u mb e r   o f   V a r i a b l e s   T r a i n i n g   e x a mp l e s   V a l i d a t i o n   e x a mp l e s   T e st i n g   e x a mp l e s   C l a sse s   D i a b e t e s   8   3 8 4   1 9 2   1 9 2   2   C a n c e r   9   3 4 9   1 7 5   1 7 5   2   G l a ss   9   1 0 8   53   53   6   Ve h i c l e   18   2 4 2   2 1 1   2 1 1   4   H e p a t i t i s   19   77   39   39   2   Wa v e f o rm   21   2 5 0 0   1 2 5 0   1 2 5 0   3   H o rse   21   1 7 2   86   86   2   I o n o s p h e re   34   1 7 5   88   88   2         4 . 1   P re pro ce s s ing   W e  p r ep r o ce s s ed   th e  d ataset s   b y   r escali n g   i n p u t  v ar iab l es  v al u es   b et w ee n   0   a n d   1   th e  li n ea r   n o r m aliza t io n   f u n ctio n :  Af ter   n o r m aliza tio n ,   all   f ea t u r es  o f   th ese   ex a m p les  ar e  b et w ee n   ze r o   an d   o n e.   T h e  s tan d ar d izatio n   f o r m u la  is   as  f o llo w s :     x i , n ew = x i , o l d − x i , m in   x i , m ax − x i , m in                 ( 1 1 )     W h er e  x i , n ew   an d   x i , o l d   ar e  th e  n e w   an d   o ld   v alu e  o f   attr ib u te,   r esp ec tiv el y .   The     x i , m ax   an d     x i , m i n   ar e  th e  m a x i m u m   a n d   m i n i m u m   v al u e,   r esp ec ti v el y   o f   v ar ia b le  i .       T ab le  2 .   P er f o r m a n ce   o f   HVS - MR MR  f o r   d if f er e n t c las s i f ic atio n s   d ataset s ,   St.  d ev .   g i v e n   af ter   th e  ±   s i g n   D a t a se t   M e a su r e   W i t h o u t   V S   HVS   M R M R   HVS - M R M R   D i a b e t e s   M e a n   N o .   o f   v a r i a b l e   8 . 0 0 ± 0 . 0 0   5 . 9 0 ± 0 . 9 2   6 . 5 0 ± 0 . 6 3   5 . 5 5 ± 1 . 0 2   A c c   %   7 5 . 6 8 ± 1 . 0 1   7 6 . 3 2 ± 2 . 0 6   7 6 . 2 5 ± 2 . 0 1   7 6 . 6 3 ± 3 . 2 3             C a n c e r   M e a n   N o .   o f   v a r i a b l e   9 . 0 0 ± 0 . 0 0   6 . 8 3 ± 1 . 0 1   5 . 6 0 ± 0 . 9 2   6 . 1 3 ± 0 . 9 8   A c c   %   9 7 . 9 6 ± 0 . 8 8   9 8 . 4 3 ± 1 . 0 6   9 8 . 1 7 ± 1 . 5 2   9 8 . 6 8 ± 1 . 8 8             G l a ss   M e a n   N o .   o f   v a r i a b l e   9 . 0 0 ± 0 . 0 0   5 . 1 3 ± 0 . 5 5   4 . 9 0 ± 0 . 4 5   4 . 3 3 ± 0 . 6 5   A c c   %   7 4 . 2 1 ± 5 . 6 2   7 6 . 6 1 ± 4 . 6 6   7 6 . 7 3 ± 5 . 2 0   7 7 . 0 3 ± 4 . 9 5             V e h i c l e   M e a n   N o .   o f   v a r i a b l e   1 8 . 0 0 ± 0 . 0 0   4 . 5 1 ± 0 . 6 7   5 . 3 3 ± 0 . 6 4   4 . 9 0 ± 0 . 7 6   A c c   %   7 3 . 3 7 ± 4 . 8 7   7 4 . 3 5 ± 3 . 5 7   7 4 . 2 1 ± 4 . 0 3   7 5 . 1 7 ± 3 . 4 7             H e p a t i t i s   M e a n   N o .   o f   v a r i a b l e   1 9 . 0 0 ± 0 . 0 0   3 . 7 3 ± 0 . 8 7   5 . 1 0 ± 0 . 7 6   3 . 5 5 ± 0 . 9 2   A c c   %   7 0 . 6 3 ± 3 . 6 0   7 7 . 6 5 ± 2 . 7 9   7 6 . 3 2 ± 3 . 4 3   7 8 . 6 7 ± 3 . 1 5             W a v e f o r m   M e a n   N o .   o f   v a r i a b l e   2 1 . 0 0 ± 0 . 0 0   4 . 8 5 ± 0 . 9 6   5 . 5 0 ± 0 . 8 1   4 . 8 5 ± 1 . 0 4   A c c   %   8 5 . 3 0 ± 1 . 2 3   8 5 . 9 1 ± 2 . 5 4   8 5 . 2 7 ± 2 . 9 8   8 4 . 9 1 ± 3 . 1 3             H o r se   M e a n   N o .   o f   v a r i a b l e   2 1 . 0 0 ± 0 . 0 0   7 . 9 4 ± 1 . 8 7   6 . 9 3 ± 1 . 6 5   6 . 5 5 ± 1 . 4 5   A c c   %   8 4 . 5 1 ± 2 . 5 2   8 6 . 0 3 ± 2 . 1 0   8 5 . 2 7 ± 2 . 0 5   8 6 . 2 1 ± 1 . 9 5             I o n o sp h e r e   M e a n   N o .   o f   v a r i a b l e   3 4 . 0 0 ± 0 . 0 0   6 . 5 2 ± 2 . 0 3   7 . 1 1 ± 1 . 8 7   6 . 8 7 ± 1 . 9 7   A c c   %   9 4 . 6 6 ± 2 . 0 3   9 5 . 8 1 ± 1 . 9 5   9 6 . 2 7 ± 2 . 2 5   9 6 . 3 1 ± 2 . 9 8                 W h er e    Me an   No .   o f   v ar iab le  : th e  a v e r ag e  n u m b er s   o f   v ar iab les s e le cted   A cc : T h e  clas s if icatio n   ac c u r ac y   W ith o u t V S: W ith o u t  v ar iab le   s elec tio n     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 7 7 3   –   2 7 8 1   2778   4 . 2   P a ra m et er   E s t i m a t io n   I n   th is   p ar ag r ap h ,   w e  h av e  s p ec if ied   s o m e  p ar a m eter s   o f   HVS - M R MR.  T h ese  ar e  d e s cr ib ed   as  f o llo w s :  T h e  i n itia l  w ei g h ts   f o r   an   M L P   w er e  r a n d o m l y   c h o s en   i n   t h e  v al u e  b et w ee n   - 1   an d   1 . T h e  tr ain in g   er r o r   th r esh o ld   v al u e  f o r   ca n c er ,   d iab etes,  g la s s ,   h ep atiti s ,   h o r s e,   io n o s p h er e,   v eh icle,   a n d   w av e f o r m   d ataset s   w a s   s et  to   0 . 0 0 2 ,   0 . 0 0 3 ,   0 . 0 4 ,   0 . 0 2 ,   0 . 0 0 3 ,   0 . 0 2 ,   0 . 0 1 an d   0 . 0 3   r esp ec tiv el y .   A l s o ,   th e  v alid atio n   er r o r   th r es h o ld   v alu e  w as  s et  to   0 . 0 0 1 ,   0 . 0 0 2 ,   0 . 0 2 5 ,   0 . 0 1 8 ,   0 . 0 0 1 ,   0 . 0 1 4 ,   0 . 0 0 7   an d   0 . 0 2 5   f o r   ca n ce r ,   d iab etes,  g las s ,   h ep atit is ,   h o r s e ,   io n o s p h er e,   v e h icle,   a n d   w av e f o r m   d atasets ,   r esp ec ti v el y .   T h e  lear n in g   r ate  a n d   i n itial   w ei g h t  v alu e s   ar e  t h e  p ar a m eter s   o f   t h e  w ell  k n o w n   b a ck -   p r o p ag atio n   alg o r it h m   [ 1 8 - 1 9 ] .   Fro m   to   th e   s u g g e s tio n s   o f   m an y   p r ev io u s   w o r k s   [ 2 0 - 2 1 ]   an d   af ter   s o m e  p r elim i n ar y   te s ts   t h ese  v alu es  w er e  s et.   T h e  α   v alu e   f o r   t h e  H VS - MR MR  v a r iab le  s elec tio n   w as t h e n   d eter m i n ed   e m p ir icall y   f r o m   th e   s e t { 0 . 2 ,   0 . 3 ,   0 . 4 ,   0 . 5 ,   0 . 6 ,   0 . 7 ,   0 . 8 }  b ased   o n   th e  b est ten f o ld   cr o s s - v alid atio n   p er f o r m a n ce .     4 . 3   Resul t s   T ab le  2   s h o w s   t h e  r esu lts   o f   HVS - MRM R ,   MRM R   a n d   H VS  o v er   2 0   in d ep en d en t  r u n s   o n   eig h t  class i f icatio n   d ataset s .   T h e  cla s s i f icatio n   ac c u r ac y   ( A cc )   in   T ab le  2   r ef er s   to   th e   p er ce n ta g e  o f   clas s i f icatio n s   ac cu r ac y   p r o d u ce d   b y   tr ain ed   ML P   o n   t h e  te s ti n g   s et   o f   a  cl ass i f icatio n   d ataset   a n d   ( Me an   No .   o f   v ar iab le)   p r esen ts   t h e  av er a g e  n u m b er s   o f   v ar iab les  s elec ted .   I t  ca n   b e  o b s er v ed   f r o m   tab le  2   th at   HVS - M R M R   w a s   s elec ted   a  s m aller   n u m b er   o f   v ar iab les  f o r   d if f er e n t  b en c h m ar k   d atasets .   Fo r   ex a m p le,   HVS - M R M R   s elec ted   o n   av er ag e  6 . 1 3   v ar iab les  f r o m   a  s et  o f   9   v ar iab le s   f o r   s o l v e  th e  ca n ce r   d ataset.   I t  also   s elec ted   o n   av er ag e   6 . 8 7   v ar iab les  f r o m   a  s et   o f   3 4   v ar iab les  f o r   s o lv e   th e   I o n o s p h er e  d ataset.   I n   f ac t,  HV S - MR MR  s elec ted   a  s m al l n u m b er   o f   v ar iab les f o r   ea ch   d atasets   w i th   m o r e  v ar ia b les.           Fig u r e  3   s h o w s   t h e  f r eq u en c y   o f   s elec ted   b y   HVS - M R MR  f o r   C an ce r   d ataset           Fig u r e  4   s h o w s   t h e  f r eq u en c y   o f   s elec ted   b y   HVS - M R MR  f o r   Diab etes d ataset       Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2779       Fig u r e  5   s h o w s   t h e  f r eq u en c y   o f   s elec ted   b y   HVS - M R MR  f o r   Glass   d ataset       I n   o r d er   to   d eter m in e  th e  e s s e n ce   o f   s elec ted   v ar iab les,  w e   m ea s u r ed   th e  f r eq u e n c y   o f   v ar iab les.  T h e  f r eq u en c y   o f   a  v ar iab le  i   ca n   b e  d ef in ed   as     f i = H i T                     ( 1 2 )     W h er e  H i   is   th e  n u m b er   o f   ti m e s   a  p ar ticu lar   v ar iab le  is   s elec te d   in   all  test   an d   T   is   t h e  to tal  n u m b er   o f   test .     Fig u r e  3 ,   Fig u r e  4   an d   Fi g u r e   5   s h o w   t h e  f r eq u e n c y   o f   v ar i ab les  s elec ted   f o r   d iab etes,  ca n ce r ,   an d   g las s   d ataset s ,   r esp ec ti v el y .   I t  ca n   b e  s ee n   in   Fi g u r e  3   t h at   HVS - MRM R   s elec ted   f ea tu r e s   1 ,   2 ,   6 ,   7 ,   8   an d   9   o f   th e  C a n ce r   d ataset  v ar y   f r eq u en tl y .   T h e  f r eq u e n c y   o f   s ele ctio n   f o r   th e s e  v ar iab les i s   o n e   o r   n ea r ly   o n e.         T ab le  3 .   C o m p ar is o n   a m o n g   HVS - MRM R ,   HVS,   M R MR  A D HOC,  GP SF SC D ,   E I R - M L P FS   an d   A N NI GM A - W R A P P E R   f o r   th e  ca n ce r ,   d iab etes,  g la s s ,   h ep atitis ,   h o r s e,   io n o s p h er e,   v e h ic le,   an d   w a v e f o r m   d atasets   D a t a se t   HVS   M R M R   A D H O C   G P S F S C D   E I R - M L P F S   A N N I G M A - W R A P P ER   HVS - M R M R   D i a b e t e s   7 6 . 3 2   7 6 . 2 5   7 1 . 2   _   _   7 7 . 8   7 6 . 6 3   C a n c e r   9 8 . 4 3   9 8 . 1 7   _   9 6 . 8 4   8 9 . 4 0   9 6 . 5   9 8 . 6 8   G l a ss   7 6 . 6 1   7 6 . 7 3   7 0 . 5   _   4 4 . 1 0   _   7 7 . 0 3   V e h i c l e   7 4 . 3 5   7 4 . 2 1   6 9 . 6   7 8 . 4 5   7 4 . 6 0   _   7 5 . 1 7   H e p a t i t i s   7 7 . 6 5   7 6 . 3 2   _   _   _   _   7 8 . 6   W a v e f o r m   8 5 . 9 1   8 5 . 2 7   _   _   _   _   8 4 . 9 1   H o r se   8 6 . 0 3   8 5 . 2 7   _   _   _   _   8 6 . 2 1   I o n o sp h e r e   9 5 . 8 1   9 6 . 2 7   _   _   9 0 . 6 0   9 0 . 2   9 6 . 3 1   ˝    ̶    ˝  m ea n s   n o t a v a ilab le       W e  ca n   b e  o b s er v ed   th at  o u r   m e th o d   ac h ie v ed   th e  b est  class i f icatio n   ac cu r ac y   a m o n g   all  o th er   alg o r ith m s   f o r   f i v e   o u t   ( C a n ce r ,   Glass   , o u t,  Hep ati tis ,   H o r s e  an d   I o n o s p h er e)   o f   e ig h t  d ata s ets.  Fo r   th e   r e m ain in g   th r ee   d atasets ,   HV S - M R MR  ac h ie v ed   as  a  s ec o n d   b est.  w h ile  HVS  ( W av ef o r m ) ,   A NNI GM A - W R A P P E R ( Diab etes)   an d   GP SF S C D( Veh i cle)   ac h ie v ed   th e   b est cla s s i f icatio n   ac cu r ac y   f o r   o n e  d ataset  ea ch .   W e  ca n   b e  s aid   th at  th e  v ar i ab les  s elec tio n   in cr ea s e s   th e  class i f icatio n   ac cu r ac y   b y   ig n o r in g   th e   ir r elev an t  v ar iab le s   f r o m   th e   o r ig in al  f ea t u r e  s et.   T h e  v ar iab les  s elec tio n   is   an   i m p o r ta n t  tas k   in   s u ch   a   p r o ce s s   is   to   s elec t  n ec es s ar y   in f o r m atio n   ( ir r elev a n t  v ar ia b les).   Oth er w i s e,   t h e  p er f o r m an ce   o f   clas s i f ier s   m i g h t b e  d ec r ea s ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 ,  Octo b er   2 0 1 7   :   2 7 7 3   –   2 7 8 1   2780   T h e  ef f icac y   o f   e m b ed d i n g   o f   MRM R   f i lter   in   HV S  w a s   ev id en ce d   b y   i m p r o v ed   cla s s i f icatio n   p er f o r m a n ce   o n   b en ch m ar k   d atasets .   I n   th i s   p ap er ,   th e  p r o p o s ed   alg o r ith m   o u tp er f o r m ed   o th er   m et h o d s   in   th e   class i f icatio n   o n   t h e  m o s t   d atab ase  test ed ,   it   w as   ab le  to   s e lect  t h e  r elev a n ce   v ar iab les   a m o n g   d atase ts .   W e   ca n   b e  ch o o s e  f r o m   th ese  d at a  w it h   th e  an a l y s is   o f   p er f o r m an ce   o f   t h e  s u b s et  o f   v ar iab les  th at  h a v e  s tr o n g   r elatio n s h ip   w it h   th e  cla s s i f ic atio n .   Ho w e v er   i n   ter m s   o f   e x ec u t io n   ti m e,   o u r   p r o p o s ed   ap p r o ac h   co n s u m e s   m o r e  t h a n   HVS  a n d   MRMR .       5.   CO NCLU SI O N     I t  is   v er y   i m p o r tan t   to   r e m o v e  th e  r ed u n d an t  a n d   ir r elev a n t   v ar iab les  in   d ata   b ef o r e  ap p ly in g   s o m e   d ata  m i n i n g   tec h n iq u es   to   a n al y ze   t h e   d ata  s et s .   I n   o u r   r e s ea r ch ,   w e   s u g g e s t  a   n e w   m eth o d   o f   v ar iab les   s elec tio n   b ased   o n   HV S  cr iter io n   an d   MRM R   cr iter io n ,   ca ll ed   th e  HVS - MRM R ,   to   in te g r ate  th e  p r o ce d u r es  o f   v ar iab le  s elec tio n   f i lter   an d   v ar iab le  s elec tio n   w r ap p er   to   im p r o v e  th e  p er f o r m a n ce   o f   cl ass i f icatio n .   W e  ap p lied   HVS - MRM R   f o r   f o u r   clas s i f icatio n   p r o b le m s .   T h e  ex p er i m en t  r es u lt s   s h o w   th at  HV S - MRMR   v ar iab les   s elec tio n   s e l ec ted   a  less   n u m b er   o f   v ar iab les  w it h   h i g h   c lass if ica tio n   ac c u r ac y   co m p ar ed   to   MRMR ,   HV S.   I n   a  f o r th co m in g   r esear c h   w o r k ,   w e  i n ten d   to   i m p r o v e   th i s   ap p r o ac h   to   f i n d   b ette r   s u b s et   o f   v ar iab les s elec ted   a n d   to   i m p r o v e  class i f icat io n   ac cu r ac y   [ 2 6 - 2 7 ] .       ACK NO WL E D G E M E NT S     W e  ex p r ess   o u r   th a n k s   to   th e  a s s o ciate   ed ito r   an d   an o n y m o u s   r ef er ee s   w h o s e  v al u ab le  s u g g esti o n s   h elp ed   to   i m p r o v e  th i s   w o r k   s i g n i f ica n tl y   a n d   also   to   th eir   co lleag u e.       RE F E R E NC E S   [1 ]   Hin to n   G e o ff re y   E,   S a lak h u td in o v   Ru sla n   R.   “ Re d u c in g   th e   Dim e n sio n a li ty   o f   Da ta  w it h   Ne u ra l  Ne tw o rk s . ”   S c i e n c e ,   2 0 0 6 ;  3 1 3 ( 5 7 8 6 ) ;  p .   5 0 4 - 5 0 7 .     [2 ]   De m e rs  D a v id ,   Co tt re ll   G   W .   “ n – l in e a r  d im e n sio n a li ty   re d u c ti o n . ”   In :  Ad v a n c e s  in   n e u ra l  in fo rm a ti o n   p ro c e ss in g   sy ste ms ,   1 9 9 3 ;   5 ;   5 8 0 - 5 8 7 .     [3 ]   F o d o r ,   Im o la  K.  “ A  S u rv e y   o f  Dime n sio n   Red u c ti o n   T e c h n iq u e s . ”   Ce n ter  f o r  A p p li e d   S c ien ti f ic  Co m p u ti n g ,   L a w r e n c e   L i v e r m o re   Na ti o n a l  L a b o ra to ry ,   2 0 0 2 ;  9 ;   1 - 1 8 .     [4 ]   W e i,   Hu a - L ian g   Et   Bil li n g s ,   S tep h e n   A .   “ F e a tu re   S u b se t  S e lec ti o n   a n d   Ra n k in g   f o r  Da ta  Dim e n sio n a li ty   Re d u c ti o n .”   IEE E   T ra n sa c ti o n s  o n   Pa tt e rn   A n a lys is  a n d   M a c h i n e   I n telli g e n c e ,   2 0 0 7 ;   2 9 (1 ) ;   1 6 2 - 1 6 6 .   [5 ]   G u y o n   Isa b e ll e ,  El isse e ff   A n d ré .   “ An   I n tro d u c ti o n   t o   Va ri a b l e   a n d   Fe a tu re   S e lec ti o n . ”   J o u r n a l   o f   M a c h i n e   L e a rn in g   Res e a rc h .   2 0 0 3 ;  3 (3 );   1 1 5 7 - 1 1 8 2 .     [6 ]   L iu h u a n ,  M o t o d a   Hir o sh i,   YU   L e i.   “ Fea tu re   S e lec ti o n   wit h   S e lec t ive   S a mp li n g . ”   In :  P ro c e e d i n g s  o f   th e   Nin e tee n th   In tern a ti o n a l  C o n f e re n c e   o n   M a c h in e   L e a rn in g ,   ICM L .   2 0 0 2 ;   3 9 5 – 4 0 2 .     [7 ]   D y   Je n n if e r  G ,   BR OD L EY  Ca rl a   E.   “ F e a tu re   S e lec ti o n   f o r  Un su p e rv ise d   L e a rn in g .”   J o u rn a l  o f  ma c h in e   lea r n in g   re se a rc h .   2 0 0 4 ;  5;   8 4 5 - 8 8 9 .     [8 ]   Ka n n a n   S ,   S e n t h a m a r a i  e t  R a m a ra j  N   A. ” No v e l  h y b rid   F e a tu re   S e lec ti o n   v ia  S y m m e tri c a l  Un c e rtain ty   R a n k in g   Ba se d   L o c a l  M e m e ti c   S e a rc h   A lg o rit h m . ”   Kn o wled g e - Ba se d   S y ste ms ,   2 0 1 0 ;   2 3 (6 );  5 8 0 - 5 8 5   .     [9 ]   P e n g   Ha n c h u a n ,   L o n   F u h u i ,   D in g   Ch ris.   “ F e a tu re   S e lec ti o n   Ba se d   on  M u t u a l  I n f o rm a ti o n   Crit e ri a   o f   M a x - d e p e n d e n c y ,   M a x - r e lev a n c e ,   a n d   M in - re d u n d a n c y . ”   IEE E  T ra n sa c ti o n s  o n   p a tt e rn   a n a lys i s  a n d   m a c h i n e   in telli g e n c e .   2 0 0 5 ;  2 7 ( 8 );  1 2 2 6 - 1 2 3 8 .     [1 0 ]   Ko h a v i   Ro n ,   Jo h n   G e o rg e   H.  “ W ra p p e rs  f o r  F e a tu re   S u b se t  S e l e c ti o n .”   Arti fi c i a l  in tell ig e n c e ,   1 9 9 7 ;  9 7 (1 - 2 ),   2 7 3 - 3 2 4 .     [1 1 ]   Ch o rm u n g e   S m it a ,   Je n a   S u d a r so n .   “ Eff icie n t  F e a tu re   S u b se t   S e lec ti o n   A lg o rit h m   f o r  Hig h   Dim e n sio n a l   Da ta .”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   Co m p u ter   E n g i n e e rin g .   2 0 1 6 ;  6   (4 );   1 8 8 0 .   [1 2 ]   L iu   Ch u a n ,   W a n g ,   W e n y o n g ,   Zh a o   Qia n g ,   e t  a l.   “ A   Ne w   F e a tu re   S e lec ti o n   M e th o d   Ba se d   o n   a   Va li d it y   In d e x   o f   F e a tu re   S u b se t .”   Pa t ter n   Rec o g n i ti o n   L e tt e rs ,   2 0 1 7 .   [1 3 ]   S e la   En n y   Itj e ,   Ha rtati   S ri,   Ha rjo k o   Ag u s,  e t  a l.   “ F e a tu re   S e lec ti o n   o f   th e   Co m b in a ti o n   o f   P o ro u s  T ra b e c u lar  w it h   A n th ro p o m e tri c   F e a tu re s  f o r  Os teo p o r o sis  S c re e n in g . ”   In ter n a ti o n a l  J o u r n a l  o f  El e c trica l   a n d   Co m p u ter   En g i n e e rin g .   2 0 1 5 ;  5 (1 )   7 8 .   [1 4 ]   Ro se n b latt   F ra n k .   “ Prin c i p les   o f   Ne u ro d y n a mic s.  Per c e p tro n s  a n d   th e   T h e o ry   o f  Bra i n   M e c h a n isms . ”   Co rn e ll   A e ro n a u ti c a l  L a b o ra to ry   In c   Bu ffa lo n y ,   1 9 6 1 .   [1 5 ]   Ya c o u b   M e z ian e ,  Be n n a n i  Y .   “ HV S :  A   He u risti c   f o r  V a riab le  S e lec ti o n   i n   M u lt il a y e r  A rti f icia l   Ne u ra l  Ne tw o rk   Clas sif ier . ”  In telli g e n t  E n g i n e e rin g   S y ste ms   th ro u g h   Arti fi c i a l  Ne u ra l  Ne two rk s ,   S t.   L o u is,   M i ss o u ri.   1 9 9 7 ;   7 ;  5 2 7 - 5 3 2 .   [1 6 ]   P e n g   Ha n c h u a n ,   L o n g   F u h u i,   Din g   Ch ris .   “ F e a tu re   S e lec ti o n   Ba se d   on  M u tu a l  In f o rm a ti o n   Crit e ria  o f   M a x - d e p e n d e n c y ,   M a x - r e lev a n c e ,   a n d   M in - re d u n d a n c y . ”   IEE E  T ra n sa c ti o n s  o n   p a tt e rn   a n a lys i s  a n d   m a c h i n e   in telli g e n c e .   2 0 0 5 ;   2 7 ( 8 );  1 2 2 6 - 1 2 3 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2781   [1 7 ]   Din g   Ch ris,   P e n g   Ha n c h u a n .   “ M in im u m   Re d u n d a n c y   F e a tu re   S e l e c ti o n   f ro m   M icro a rra y   Ge n e   Ex p re ss io n   Da ta .”   J o u rn a l  o f  b i o i n fo rm a ti c s a n d   c o mp u ta ti o n a l   b i o l o g y ,   2 0 0 5 ;   3 ( 0 2 ;   1 8 5 - 2 0 5 .     [1 8 ]   Ru m e lh a rt  D E ,   M c Clellan d   J L ,   P D P   Re se a rc h   G ro u p .   “ P a ra ll e l  D istr ib u te d   P r o c e ss in g .”   IEE E .   9 8 8 ;  1 ;  4 4 3 - 4 5 3 .     [1 9 ]   Ya n g ,   Ya n g ,   Hu ,   Ju n ,   e t   Zh a n g ,   M u .   “ P re d ictio n s  o n   t h e   De v e lo p m e n t  Dim e n sio n s  o f   P r o v in c ial  T o u rism   Disc ip li n e   Ba se d   o n   t h e   A rti f ici a l  Ne u ra l  Ne tw o rk   BP   M o d e l. ”   Bu l letin   o f  El e c trica l  En g i n e e rin g   a n d   I n fo rm a ti c s ,   2 0 1 4 ;   3 ( 2 );   69 - 76.   [2 0 ]   Isla m ,   M d   M . ,   Ya o ,   Xin ,   e t  M u ra se ,   Ka z u y u k i.   “ A  Co n stru c ti v e   A l g o rit h m   f o r  T r a in in g   Co o p e ra ti v e   Ne u ra l   Ne tw o rk   En se m b les ” .   IEE E  T ra n sa c ti o n s  o n   n e u r a l  n e two rk s ,   2 0 0 3 ;  1 4 (4 );   8 2 0 - 8 3 4 .     [2 1 ]   P re c h e lt   L u tz,  e t  a l.   “ Pro b e n 1 :   A  S e t  o f   Ne u ra l  Ne tw o rk   Ben c h ma r k   Pro b lem s   a n d   Ben c h ma rk i n g   R u les .”   1 9 9 4 .     [2 2 ]   Rich e ld i   M a rc o ,   L a n z i   P ier  L u c a .   “ ADHO C:  A  to o l  fo r  p e rfo r min g   e ff e c ti v e   fea tu re   se lec ti o n .   In   :  T o o ls  wit h   Arti fi c ia l  I n telli g e n c e . ”   P r o c e e d in g s E ig h th   IEE E   In ter n a ti o n a l  Co n f e r e n c e   o n .   IE EE .   1 9 9 6 ;   1 0 2 - 1 0 5 .   [2 3 ]   M u n i   Du rg a   P ra sa d ,   P A L   Nik h il   R,   DA S   J y o ti r m a y .   “ G e n e ti c   P ro g ra m m in g   f o r  S im u lt a n e o u s  F e a tu re   S e lec ti o n   a n d   Clas sif ier  De sig n . ”   IEE E  T r a n sa c ti o n s  o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s,  P a rt  B   (Cy b e rn e ti c s).  2 0 0 6 ;   3 6 (1 );   1 0 6 - 1 1 7 .   [2 4 ]   G a sc a   E,   S á n c h e z   J   S,  A lo n so   R.   “ El im in a ti n g   R e d u n d a n c y   a n d   Irre lev a n c e   Us in g   a  N e w   M LP - b a se d   F e a tu re   S e lec ti o n   M e t h o d .”   P a tt e rn   Rec o g n it i o n .  2 0 0 6 ;  3 9 ( 2 ),   3 1 3 - 3 1 5 .   [2 5 ]   Hsu   Ch u n - Na n ,   Hu a n g   H u n g - Ju ,   Die tri c h   S .   “ T h e   A n n ig m a - w ra p p e r  A p p ro a c h   to   F a st  F e a tu re   S e le c ti o n   f o r  Ne u ra l  Ne ts .”   IEE E  T ra n sa c ti o n s  o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s,  P a rt  B  (Cy b e rn e ti c s).  2002   ;  3 2 ( 2 )   ;  2 0 7 - 2 1 2 .   [2 6 ]   Be n - Hd e c h   A ,   G h a n o u   Y,  A b d e rra h im   E.   L .   “ Ro b u st  M u lt i - c o mb in a ti o n   Fea t u re   S e lec ti o n   fo r  M icr o a rr a y   Da ta . ”   A d v a n c e s in   In f o rm a ti o n   T e c h n o lo g y :  T h e o ry   a n d   A p p li c a t io n ,   2 0 1 6 .   [2 7 ]   G h a n o u ,   Y.,   &   Be n c h e ik h ,   G .   “ A rc h it e c tu re   Op ti m iza ti o n   a n d   Train in g   f o r  th e   M u lt il a y e r  P e rc e p tro n   Us in g   A n t  S y st e m . ”   IAE NG In ter n a ti o n a l  J o u rn a l  o f  C o mp u ter   S c ien c e .   2 0 1 6 ;  2 8 ;  1 0 .         Evaluation Warning : The document was created with Spire.PDF for Python.