I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   5 ,   Octo b e r   2 0 1 7 ,   p p .   2 7 7 3 ~2 781   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 5 . pp 2 7 7 3 - 2 781          2773       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   H y brid Me thod  H VS - M RM for  Va ria ble Selec tion  i M ultilay er Ar t ific ia l Neural Ne tw o r k   Cla ss ifier       B en - H dech  Adil 1 ,   G ha no u Y o us s ef 2 ,   E Q a di Ab derr a hi m 3   1, 2 T IM   T e a m ,   Hig h   S c h o o o f   T e c h n o lo g y ,   M o u lay   Is m a il   Un iv e rsit y ,   M e k n e s,  M o ro c c o   3 LA S T IM I,   Hig h   S c h o o o f   T e c h n o l o g y ,   M o h a m m e d   V   Un iv e rsity ,   Ra b a t,   M o ro c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Mar   29 ,   2 0 1 7   R ev i s ed   Ma y   5 ,   2 0 1 7   A cc ep ted   J u l   11 ,   201 7       T h e   v a riab le  se lec ti o n   is  a n   im p o rtan tec h n iq u e   th e   re d u c i n g   d im e n sio n a li ty   o f   d a ta  f re q u e n tl y   u se d   in   d a ta  p re p ro c e ss in g   f o p e rf o rm in g   d a ta  m in in g .   T h is  p a p e p re se n ts  a   n e w   v a ri a b le  se lec ti o n   a lg o rit h m   u se th e   h e u risti c   v a riab le  se lec ti o n   (HV S a n d   M i n im u m   Re d u n d a n c y   M a x i m u m   Re lev a n c e   (M RM R).   W e   e n h a n c e   th e   H V S   m e th o d   f o v a riab   le  s e l e c ti o n   b y   in c o rp o ra ti n g   (M RM R)  f il ter.  Ou a lg o rit h m   is  b a se d   o n   w ra p p e a p p ro a c h   u sin g   m u lt i - la y e r   p e rc e p tro n .   W e   c a ll e d   th is  a l g o rit h m   a   H V S - M R M R   W ra p p e f o v a riab les   se l e c ti o n .   T h e   re lev a n c e   o f   a   se o f   v a riab les   is   m e a su re d   b y   a   c o n v e x   c o m b in a ti o n   o f   th e   re lev a n c e   g iv e n   b y   HV S   c rit e rio n   a n d   th e   M RM c rit e rio n .   T h is  a p p r o a c h   se lec ts  n e w   re le v a n v a r iab les w e   e v a lu a te  th e   p e r f o r m a n c e   o f   HV S - M RM o n   e ig h b e n c h m a rk   c l a s sif i c a ti o n   p ro b lem s.  T h e   e x p e ri m e n tal  re su lt sh o w   th a HV S - M RM se lec ted   a   les s   n u m b e o f   v a riab les   w it h   h ig h   c las sif ic a ti o n   a c c u ra c y   c o m p a re d   to   M RM R   a n d   HV S   a n d   w it h o u t   v a riab les   se lec ti o n   o n   m o st  d a tas e ts.   HV S - M RM c a n   b e   a p p li e d   to   v a rio u c las sif ica t i o n   p ro b lem th a re q u ire  h ig h   c las sif i c a ti o n   a c c u ra c y .   K ey w o r d s :   Heu r is tic  v ar iab le  s elec tio n   Neu r o n al  n et w o r k   Min i m u m   r ed u n d an c y   Ma x i m u m   r ele v an ce     Mu ltil a y er   p er ce p tr o n   Var iab le  s elec tio n   Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   B en - Hd ec h   A d il   Dep ar t m en t o f   E lectr ical  an d   C o m p u ter   E n g in ee r i n g ,   Natio n al  C h u n g   C h e n g   Un i v er s it y ,   1 6 8   Un iv er s it y   R o ad ,   Min h s i u n g   T o w n s h ip ,   C h ia y C o u n t y   6 2 1 0 2 ,   T aiw a n ,   R O C .   E m ail: l s n t l@ cc u . ed u . t w       1.   I NT RO D UCT I O N     R ed u ci n g   d i m e n s io n alit y   o f   d ataset  h as  b ec o m i n cr ea s i n g l y   cr itical  b ec a u s o f   th e   m u lt i p licatio n   o f   d ata.   I n   m a n y   ar ea s ,   th s o l u tio n   o f   s y s te m   p r o b le m   i s   b ased   o n   s et  o f   d atab ase  ( v ar iab les)  [ 1 - 2 ] .   I n cr ea s in g   t h n u m b er   o f   t h es v ar iab les  t h at  c h ar ac ter izes  t h p r o b le m   r ep r esen t s   d if f ic u l ties   at  m a n y   le v els   s u c h   as  co m p lex i t y ,   co m p u ti n g   ti m e,   an d   d eter io r atio n   o f   th s y s te m   p r o b le m   s o lu t io n   in   t h p r esen ce   o f   n o is y   d ata.   m e th o d   o f   r ed u cin g   d i m en s io n ali t y   is   to   f in d   r ep r esen tatio n   o f   t h o r ig in al  d ata  i n   s m aller   s p ac e.   Di m e n s io n alit y   r ed u cti o n   ca n   r o u g h l y   b d iv id ed   i n to   t w o   ca te g o r ies  [ 3 - 4 ] f ea tu r ex tr ac tio n   a n d   f ea t u r s elec t io n .   Firstl y ,   Feat u r e x tr ac tio n   g e n er ates   s m all  s et   o f   n o v el  f ea t u r es  b y   m er g in g   th e   o r ig i n al   f ea t u r es .   Seco n d l y ,   Featu r s e l ec tio n   p ick s   s m al l set o f   t h o r ig in al  o n e s .   Var iab les  s elec tio n   o r   f ea tu r e s   s elec tio n   is   s ea r ch   p r o ce s s   u s ed   to   s elec s u b s et  o f   v ar iab les  f o r   b u ild in g   r o b u s lear n i n g   m o d els  [ 5 ]   s u c h   as  n e u r al  n et w o r k s ,   d ec is io n   tr ee s   a n d   o th er s .   So m ir r ele v an an d /o r   r ed u n d an v ar iab les  ex i s in   t h lear n i n g   d ata  th at  m a k lear n i n g   h ar d er   an d   d ec r ea s th p er f o r m a n ce   o f   lear n i n g   m o d els.  T h v ar i ab les  s elec tio n   m e th o d s   ca n   b class i f ied   in to   th r ee   m ai n   ca teg o r ies:   f ilter ,   w r ap p er   an d   e m b ed d ed Fil ter   m et h o d s   w er t h f ir s u s ed   f o r   th v ar iab les  s elec tio n .   T h is   ca te g o r y   allo w s   ev alu a tin g   t h r elev a n ce   o f   v ar iab le  ac co r d in g   to   m ea s u r e s   th at  r el y   o n   th p r o p er ties   o f   th lear n i n g   d ata.   Fil ter   tec h n iq u es   ar f a s f o r   h ig h - d i m e n s io n a l d ataset s ,   b u t   t h e y   i g n o r i n ter ac tio n   w it h   t h class i f ier   [ 6 ] .   T h w r ap p er   m eth o d s   u s t h p r ed ictiv ac cu r ac y   o f   p r ed eter m in ed   lear n in g   al g o r ith m   to   d eter m i n t h b est   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 Octo b er   2 0 1 7   :   2 7 7 3     2 7 8 1   2774   s u b s et  s elec ted .   T h ac cu r ac y   o f   th lear n i n g   al g o r it h m s   is   u s u all y   h i g h   [ 7 ] .   W r ap p er   m eth o d s   t en d   to   f i n d   th e   m o s s u itab le  f ea t u r s u b s et  f o r   th lear n in g   al g o r ith m ,   b u t   th e y   ar v er y   co m p u tatio n al l y   ex p e n s i v e.   Un l ik e   th w r ap p er   an d   f ilter   m et h o d s ,   e m b ed d ed   m eth o d s   i n co r p o r ate  th s elec t io n   o f   v ar iab les  d u r in g   th lear n i n g   p r o ce s s .   T h e m b ed d ed   m et h o d s   co m b i n th ad v a n ta g es  o f   f ilt er   a n d   w r ap p er   tech n iq u es  [ 8 ] .   T h f ilter   ap p r o ac h   d eter m in e s   th r ele v an a n d   r ed u n d an v ar iab les   in d ep en d en o f   t h class i f ica tio n ,   s u c h   as  u s i n g   o n l y   M R M R   cr iter io n ,   s o   it  i s   n o r ec o m m e n d ed   to   u s e   it  alo n [ 9 ] .   T h m et h o d   f i lter   m i g h t   i m p r o v th e   s elec tio n   o f   v ar iab les  if   it  u n d er s tan d s   h o w   t h f ilter ed   v a r iab les  ar u s ed   b y   th e   clas s i f ier .   T h w r ap p er   m et h o d   ev alu ate s   s u b s et  o f   f ea t u r es  b y   its   clas s i f icatio n   p er f o r m an ce   u s i n g   lear n in g   alg o r ith m   [ 1 0 ] ,   f o r   ex a m p le ,   h eu r i s tic  v ar iab le  s e lectio n   ( HVS) .   I n   t h i s   w o r k ,   w p r o p o s to   in co r p o r ate  M R MR  cr iter io n   in to   th r an k in g   s c h e m o f   HV S.  W ar m ak in g   h y b r id s   b y   a   co n v ex   co m b in atio n   o f   t h r elev an c y   g iv e n   b y   HVS  cr iter io n   an d   t h MRM R   cr iter io n .   T h r est  o f   t h p ap er   is   o r g a n ized   as  f lo w s :   Sec tio n   2   w e   p r esen r elate d   w o r k s .   I n   s e ctio n   3   w e   p r esen r esear ch   m eth o d .   S ec tio n   4   p r esen ts   t h r esu l ts   o f   o u r   ex p er i m e n tal  s tu d ies  in cl u d in g   th e   ex p er i m e n tal  m eth o d o lo g y ,   e x p er i m e n tal  r es u lts ,   a n d   th co m p ar is o n   w it h   h e u r is tic  v ar i ab les  s elec tio n   HV S   an d   MRM R   Min i m u m   R ed u n d an c y   Ma x i m u m   R e lev a n ce .   T h co n clu s io n s   ar d r a w n   in   Sectio n   5 .       2.   RE L AT E WO RK S   T h v ar iab les  s elec tio n   is   g e n er all y   d e f i n ed   as  s ea r c h   p r o ce s s   to   f in d   s u b s et  o f   " r elev an t"  ch ar ac ter is tic s   f r o m   t h o s o f   t h e   o r ig i n al  s et  [ 5 ] ,   [ 1 1 - 1 3 ] .   T h co n ce p o f   r elev a n ce   o f   s u b s et  o f   v ar iab le s   al w a y s   d ep en d s   o n   t h o b j ec tiv es   an d   s y s te m   r eq u ir e m en ts .   T h p r o b le m   o f   v ar iab les  s elec tio n   f o r   class i f icatio n   ta s k   ca n   b d escr ib ed   as  f o llo w s g i v en   t h e   o r ig in a s et   G,   o f   f ea t u r e s ,   f in d   s u b s et  co n s is tin g   o f   N   r elev a n f e atu r es  w h er N’ <   . T h s elec tio n   o f   s u b s et  allo w s   m a x i m izin g   th e   p er f o r m a n ce   o f   t h clas s i f icati o n   b y   co n s tr u cti n g   lear n i n g   m o d els.     2 . 1   T he  H euri s t ic  Va ria ble Sele c t io n   L et s   co n s id er   t h at  a   m u lt ila y e r   p er ce p tr o n   ( ML P )   [ 1 4 ]   is   n eu r al  n et w o r k s   ar ch itect u r d e f in ed   b y   ( I ,   H,   0 )   w h er I   i n p u la y er ,   h id d en   la y er s   an d   o u tp u t   la y er ,   an d   W   w ei g h m atr ix .   T h v alu o f   w _ ij   co n n ec tio n   b et w ee n   t w o   n e u r o n s   j   an d   i   r ef lect s   t h i m p o r tan ce   o f   th eir   r ela tio n s h ip .   T h is   v alu e   ca n   b p o s itiv o r   n e g ati v d ep en d i n g   o n   if   th e   co n n ec tio n   is   e x cit ato r y   ( +)   o r   i n h ib ito r y   ( - ) .   Yac o u b   et  al  p r o p o s ed   m et h o d   f o r   v ar iab le  s elec tio n   n a m ed   h eu r i s ti v ar iab le  s elec tio n   HVS  [ 1 5 ] .   T h HVS  cr iter io n   is   in ter e s ted   i n   th s tr e n g t h   o f   t h ese  co n n ec ti o n s .   T h is   s tr e n g th   i s   q u a n ti f ie d   b y   | w _ ij   | . T h p ar tial  co n tr ib u tio n   π   ( i,   j )   o f   th e   h id d en   n e u r o n   j   o n   th e   o u tp u t   i s   g i v en   b y   th e   p r o p o r tio n   o f   al t h co n n ec t io n   s tr en g t h   a r r iv in g   to   n e u r o n   i   s ee   Fig u r 1 .           Fig u r 1 .   T h p ar tial c o n tr ib u tio n   o f   th n e u r o n   j   co n n ec w it h   i       π i , j = | w i , j | | w i , j | Nc j                   ( 1 )     Fo r   esti m ate  t h r elati v co n tr ib u tio n   o f   u n it  j   is   f i n al  d e cisi o n   o f   t h s y s te m .   T h u n it  j   s en d s   co n n ec tio n s   to ,   s et  o f   u n i ts   ( j )   w it h   p ar tial c o n tr ib u tio n s   π i , j   Fig u r 2 .     C j = π ij δ i   Nj i                   ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2775   W h er e     δ i = { 1   if     unit   i ϵ   O         C i   if   unit   i H                 ( 3 )             Fig u r 2 .   T h r elativ co n tr ib u tio n   o f   t h n e u r o n   j       T h s elec tio n   alg o r it h m   b ased   o n   HVS  cr iter io n   as  f o llo w s   ̶   L ea r n i n g   th M L P   u n til  w r e ac h   lo ca m i n i m u m .   ̶   C alcu late  th r ele v an ce   o f   ea ch   v ar iab le  ac co r d in g   to   2 .   ̶   So r t v ar iab les in   asce n d i n g   o r d er   o f   r elev an ce .   ̶   R e m o v th lo w er   v ar iab le  i m p o r tan ce   ̶   B ac k   to   1 )   to   th last   v ar iab le     2 . 2 .   M ini m u m   Re du n da ncy   M a x i m u m   Re lev a nce   T h MRMR   ( Min i m u m   R ed u n d an c y   M a x i m u m   R ele v a n ce )   m et h o d   [ 1 6 ]   s elec ts   v ar iab les   th at   h a v e   th m a x i m all y   r elev a n ce   w it h   th tar g et  clas s   an d   w h ich   ar also   m i n i m all y   r ed u n d an t.  I n   t h is   w o r k ,   to   f i n d   a   m ax i m a ll y   r ele v an a n d   m in i m all y   r ed u n d an s et  o f   v ar ia b les,  w u s m u tu al  i n f o r m a tio n   b ased   MRMR   cr iter io n .   T h ca lcu latio n   o f   r ed u n d an c y   a n d   r elev an ce   o f   v ar iab le  is   g iv en   b y   eq u atio n s   ( 4 )   an d   ( 5 ) .   T h I ( i , Y )   is   t h m u t u al  i n f o r m atio n   b et w ee n   cla s s   lab els  y   an d   v ar iab le  i   .   T h is   allo w s   u s   to   q u an t if y   t h e   r elev an ce   o f   v ar iab le  i   to   th cl ass i f icatio n .   T h r elev an ce   o f   v ar iab le  is   g i v e n   b y :     Rl i = 1 | S | 2 I ( i , Y ) y                 ( 4 )     W h er e     ( , ) = ( , ) l og   ( ( , ) ( ) ( ) )             ( 5 )     T h r ed u n d an c y   o f   v ar iab le   s u b s et  i s   d eter m in ed   b y   t h m u tu al   i n f o r m atio n   a m o n g   t h v ar iab les.   T h r ed u n d an c y   o f   v ar iab le  i   w ith   t h o th er   v ar iab les i s   g i v e n   b y :     Rd i = 1 | | 2 ( , )                 ( 6 )     W h er an d   | S |   r esp ec ti v el y   d e n o te  th s e o f   v ar iab le s   an d   its   s ize  an d   I ( i , j )   is   th m u tu a l   in f o r m atio n   b et w ee n   i   an d   j   .   T h s co r o f   v ar iab le  is   th co m b in at io n   o f   t h ese  t w o   f ac to r s :     Sc i = Rl i Rd i                     ( 7 )     T h m ea s u r es  o f   r elev a n ce   an d   r ed u n d an c y   o f   v ar iab les  ca n   b f o r m ed   in   s e v er al  w a y s ,   b u th e   q u o tien t   o f   th e   r elev a n ce   b y   r ed u n d an c y   s elec t   h i g h l y   r ele v an v ar iab les  w it h   le s s   r ed u n d an c y   [ 1 7 ] .   Af t er   t h i s   in d iv id u al  v ar iab le  e v alu at io n ,   s eq u en tial  s ea r ch   tec h n iq u e   is   u s ed   w it h   class i f ier   to   s el ec th f i n al  s u b s et   o f   v ar iab les.  clas s i f ier   is   u s ed   to   ev alu ate   th s u b s ets  s tar tin g   w it h   t h v ar iab le  th a h a s   th b est  s co r e,   th e   b est t w o ,   u n ti w e   f i n d   th s u b s et  th at  m i n i m izes t h clas s i f ic atio n   er r o r .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 Octo b er   2 0 1 7   :   2 7 7 3     2 7 8 1   2776   3.   RE S E ARCH   M E T H O D   Usi n g   t h f il ter   m et h o d s   alo n f o r   ex a m p le  MRM R ,   m a y   n o g iv t h b est  p er f o r m an ce   b ec au s it   o p er ates in d ep en d en tl y   t h cla s s i f ier   an d   i s   n o t i n v o lv ed   i n   t h s elec t io n   o f   v ar iab les .   O n   t h o th er   h an d ,   HVS   d o es  n o tak i n to   ac co u n t h r ed u n d a n c y   a m o n g   v ar iab les.  Ou r   o b j ec tiv is   to   i m p r o v th v ar iab les  s elec tio n   HVS  b y   i n tr o d u ci n g   a n   M R MR   f i lter   to   m i n i m i ze   th r ed u n d an c y   a m o n g   r el ev an t   v ar iab le s .   A s   s ee n   later ,   th i s   i m p r o v es  t h e   p er f o r m a n ce   o f   class if ier   b y   co m p r o m is i n g   r elev a n c y   a n d   r ed u n d an c y   o f   v ar iab les.    I n   o u r   ap p r o ac h   o f   HVS - M R MR   v ar iab les   s elec tio n ,   t h v ar iab les  ar s elec ted   b y   co n v e x   co m b i n atio n   o f   th r elev a n c y   g iv e n   b y   HVS  co n tr ib u tio n s   an d   th MRM R   cr iter io n .   Fo r   th v ar iab le,   th e   r an k i n g   Me as u r R _ i is  g iv e n   b y     R i = α | C i | + ( 1 α ) Sc i                 ( 8 )     W h er th p ar a m eter   α [ 0 , 1 ]   d eter m i n es t h co m p r o m i s b et w ee n   HVS  an d   MR MR c r iter io n ,   T h s ea r ch   s tr ateg y   i s   o n e   o f   th p r o p er ties   o f   t h v ar iab l s elec tio n   al g o r ith m s .   T h er e   ar th r ee   s tr ateg ie s ,   f o r w ar d   s elec tio n ,   b ac k w ar d   eli m i n atio n   an d   s te p w is e   s elec tio n .   I n   f o r w ar d   s e lectio n ,   v ar iab les   ar p r o g r ess iv el y   in co r p o r ated   in t o   lar g er   an d   lar g er   s u b s et s .   I n   b ac k w ar d   eli m i n atio n   o n s t ar ts   w it h   t h s et  o f   all  v ar iab les  an d   p r o g r ess iv el y   eli m i n ate s   th least  p r o m is i n g   o n e s   [ 3 ] .   I n   o u r   alg o r ith m   w u s th s tr ate g y   b ac k w ar d s   eli m i n atio n .   T o   b etter   co m p r o m i s w i th   r ed u n d a n c y   an d   R elev a n c y   o f   v ar iab les,  w u s e   S ( i ) MRMR   cr iter io n   f o r   r an k i n g .   A ls o ,   w u s | C i |   t h cr iter i o n   o f   HVS  as  t h m ea s u r o f   r elev an ce   v ar iab les.    A l g o r ith m   1   ill u s tr ates  HV S - MRMR   v ar iab les  s elec tio n   m eth o d .   I n   ea ch   iter atio n ,   w id en ti f ied   th e   least  i m p o r ta n v ar iab le  a f ter   r an k i n g   th v ar iab les  i n   t h s e t   G .   T h v ar iab le  least  s i g n if ica n ar r etir ed   an d   th r e m ain in g   s u b s et   G   w il g o   th r o u g h   p r o ce s s   iter ati v e,   ea ch   ti m w e   r e m o v v ar i ab le,   r elea r n in g   is   r eq u ir ed .   T h alg o r ith m   r e m o v es t h v ar iab les o n b y   o n u n til t h last   v ar iab le.   L et s   co n s id er   th at   S p   is   s u b s et   o f   v ar iab les an d   p   is   th n u m b e r   o f   th ese  v ar iab les.     Alg o rit h m   1   :   H VS - M R M f o v a ri a bles   s elec t io n   B eg in       Set   α         G iv en  s et   o f   v a ria ble,  S G     R ep ea t :        T ra in t he  M L P   w it h t est  d a t a s et ;        F o e a ch    do              Co m p ute   t he    b y   eq u atio n   ( 2   )            Co m p ute   t he     b y   eq u atio n   ( 7   )            Co m p ute   t he    b y   eq u atio n   ( 8   )       E n d   f o r      Select   t he  v a ria ble  =    { }      Upda t = \ { }      Unt il   G = { }     E n d       Fo r   s elec tin g   a   s u b s et    S p   o f   v ar i ab les,  alg o r ith m . 1   g en er ate s   a   s et  o f   n eu r o n al   n et w o r k s   ( is   t h e   n u m b er   o f   v ar iab les)  h a v i n g   less   an d   les s   v ar iab les.  T h ch o ice  o f   s u b s et  in cl u d es  u s i n g   s ta tis tica tes t   ( Fis h er   tes t)   an d   s ea r ch es  a m o n g   all  n et w o r k s   MLP ( p )   th o s th at  ar s tat is t icall y   n ea r   MLP ( p ) .   T h is   p r in cip le  p r o v id es  s et  o f   n eu r o n al  n et w o r k s   s u c h   as   E   ( p i ) E   ( p   )   .   T h s u b s et  o f   s elec ted   v ar iab le s   is   t h e   s m al lest   s u b s et  o f   p 0   s tati s ticall y   n ea r   MLP ( p )   v ar iab les.  W h er E   ( p i )   is   th er r o r   o f   ML P   f o r   s u b s e t   S p .   W h er e,   E   ( p )   is   th er r o r   o f   ML P   f o r   s u b s et   S p ,     MLP ( p ) = a gr   min M L P ( p ) E ( p )               ( 9 )     p 0 = min   i { i }                       ( 1 0 )       Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2777   4.   RE SU L T S AN AN AL Y SI S   T o   ev alu ate  th e   p er f o r m a n c o f   t h HVS - M R M R ,   w e   u s s o m e   d ata  s et s   f o r   r ea w o r ld   class i f icatio n .   T ab le  1   s h o w s   t h d etailed   in f o r m a tio n   o f   ea ch   d ataset.   T h e y   w er p ar titi o n ed   in to   th r ee   s e ts a   tr ain i n g   s et,   a   v alid atio n   s et   a n d   te s ti n g   s et.   T h tr ain in g   an d   test in g   s ets   w er u s ed   to   tr ain   M L P   an d   to   ev alu a te  t h cla s s i f icat io n   ac cu r ac y   o f   tr ain ed   M L P ,   r esp ec tiv el y .   T h v alid atio n   s et   i s   u s ed   to   e s ti m ate   p r ed ictio n   er r o r   f o r   ML P .       T ab le  1   Descr ip tio n s   an d   P ar titi o n s   f o r   Dif f er en C las s i f icati o n s   Data s e ts   D a t e se t   N u mb e r   o f   V a r i a b l e s   T r a i n i n g   e x a mp l e s   V a l i d a t i o n   e x a mp l e s   T e st i n g   e x a mp l e s   C l a sse s   D i a b e t e s   8   3 8 4   1 9 2   1 9 2   2   C a n c e r   9   3 4 9   1 7 5   1 7 5   2   G l a ss   9   1 0 8   53   53   6   Ve h i c l e   18   2 4 2   2 1 1   2 1 1   4   H e p a t i t i s   19   77   39   39   2   Wa v e f o rm   21   2 5 0 0   1 2 5 0   1 2 5 0   3   H o rse   21   1 7 2   86   86   2   I o n o s p h e re   34   1 7 5   88   88   2         4 . 1   P re pro ce s s ing   W p r ep r o ce s s ed   th d ataset s   b y   r escali n g   i n p u v ar iab l es  v al u es   b et w ee n   0   a n d   1   th li n ea r   n o r m aliza t io n   f u n ctio n Af ter   n o r m aliza tio n ,   all   f ea t u r es  o f   th ese   ex a m p les  ar b et w ee n   ze r o   an d   o n e.   T h s tan d ar d izatio n   f o r m u la  is   as  f o llo w s :     x i , n ew = x i , o l d x i , m in   x i , m ax x i , m in                 ( 1 1 )     W h er x i , n ew   an d   x i , o l d   ar th n e w   an d   o ld   v alu o f   attr ib u te,   r esp ec tiv el y .   The     x i , m ax   an d     x i , m i n   ar th m a x i m u m   a n d   m i n i m u m   v al u e,   r esp ec ti v el y   o f   v ar ia b le  i .       T ab le  2 .   P er f o r m a n ce   o f   HVS - MR MR  f o r   d if f er e n t c las s i f ic atio n s   d ataset s ,   St.  d ev .   g i v e n   af ter   th ±   s i g n   D a t a se t   M e a su r e   W i t h o u t   V S   HVS   M R M R   HVS - M R M R   D i a b e t e s   M e a n   N o .   o f   v a r i a b l e   8 . 0 0 ± 0 . 0 0   5 . 9 0 ± 0 . 9 2   6 . 5 0 ± 0 . 6 3   5 . 5 5 ± 1 . 0 2   A c c   %   7 5 . 6 8 ± 1 . 0 1   7 6 . 3 2 ± 2 . 0 6   7 6 . 2 5 ± 2 . 0 1   7 6 . 6 3 ± 3 . 2 3             C a n c e r   M e a n   N o .   o f   v a r i a b l e   9 . 0 0 ± 0 . 0 0   6 . 8 3 ± 1 . 0 1   5 . 6 0 ± 0 . 9 2   6 . 1 3 ± 0 . 9 8   A c c   %   9 7 . 9 6 ± 0 . 8 8   9 8 . 4 3 ± 1 . 0 6   9 8 . 1 7 ± 1 . 5 2   9 8 . 6 8 ± 1 . 8 8             G l a ss   M e a n   N o .   o f   v a r i a b l e   9 . 0 0 ± 0 . 0 0   5 . 1 3 ± 0 . 5 5   4 . 9 0 ± 0 . 4 5   4 . 3 3 ± 0 . 6 5   A c c   %   7 4 . 2 1 ± 5 . 6 2   7 6 . 6 1 ± 4 . 6 6   7 6 . 7 3 ± 5 . 2 0   7 7 . 0 3 ± 4 . 9 5             V e h i c l e   M e a n   N o .   o f   v a r i a b l e   1 8 . 0 0 ± 0 . 0 0   4 . 5 1 ± 0 . 6 7   5 . 3 3 ± 0 . 6 4   4 . 9 0 ± 0 . 7 6   A c c   %   7 3 . 3 7 ± 4 . 8 7   7 4 . 3 5 ± 3 . 5 7   7 4 . 2 1 ± 4 . 0 3   7 5 . 1 7 ± 3 . 4 7             H e p a t i t i s   M e a n   N o .   o f   v a r i a b l e   1 9 . 0 0 ± 0 . 0 0   3 . 7 3 ± 0 . 8 7   5 . 1 0 ± 0 . 7 6   3 . 5 5 ± 0 . 9 2   A c c   %   7 0 . 6 3 ± 3 . 6 0   7 7 . 6 5 ± 2 . 7 9   7 6 . 3 2 ± 3 . 4 3   7 8 . 6 7 ± 3 . 1 5             W a v e f o r m   M e a n   N o .   o f   v a r i a b l e   2 1 . 0 0 ± 0 . 0 0   4 . 8 5 ± 0 . 9 6   5 . 5 0 ± 0 . 8 1   4 . 8 5 ± 1 . 0 4   A c c   %   8 5 . 3 0 ± 1 . 2 3   8 5 . 9 1 ± 2 . 5 4   8 5 . 2 7 ± 2 . 9 8   8 4 . 9 1 ± 3 . 1 3             H o r se   M e a n   N o .   o f   v a r i a b l e   2 1 . 0 0 ± 0 . 0 0   7 . 9 4 ± 1 . 8 7   6 . 9 3 ± 1 . 6 5   6 . 5 5 ± 1 . 4 5   A c c   %   8 4 . 5 1 ± 2 . 5 2   8 6 . 0 3 ± 2 . 1 0   8 5 . 2 7 ± 2 . 0 5   8 6 . 2 1 ± 1 . 9 5             I o n o sp h e r e   M e a n   N o .   o f   v a r i a b l e   3 4 . 0 0 ± 0 . 0 0   6 . 5 2 ± 2 . 0 3   7 . 1 1 ± 1 . 8 7   6 . 8 7 ± 1 . 9 7   A c c   %   9 4 . 6 6 ± 2 . 0 3   9 5 . 8 1 ± 1 . 9 5   9 6 . 2 7 ± 2 . 2 5   9 6 . 3 1 ± 2 . 9 8                 W h er   Me an   No .   o f   v ar iab le  : th a v e r ag n u m b er s   o f   v ar iab les s e le cted   A cc : T h clas s if icatio n   ac c u r ac y   W ith o u t V S: W ith o u v ar iab le   s elec tio n     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 Octo b er   2 0 1 7   :   2 7 7 3     2 7 8 1   2778   4 . 2   P a ra m et er   E s t i m a t io n   I n   th is   p ar ag r ap h ,   w h av s p ec if ied   s o m p ar a m eter s   o f   HVS - M R MR.  T h ese  ar d e s cr ib ed   as  f o llo w s T h i n itia w ei g h ts   f o r   an   M L P   w er r a n d o m l y   c h o s en   i n   t h v al u b et w ee n   - 1   an d   1 . T h tr ain in g   er r o r   th r esh o ld   v al u f o r   ca n c er ,   d iab etes,  g la s s ,   h ep atiti s ,   h o r s e,   io n o s p h er e,   v eh icle,   a n d   w av e f o r m   d ataset s   w a s   s et  to   0 . 0 0 2 ,   0 . 0 0 3 ,   0 . 0 4 ,   0 . 0 2 ,   0 . 0 0 3 ,   0 . 0 2 ,   0 . 0 1 an d   0 . 0 3   r esp ec tiv el y .   A l s o ,   th v alid atio n   er r o r   th r es h o ld   v alu w as  s et  to   0 . 0 0 1 ,   0 . 0 0 2 ,   0 . 0 2 5 ,   0 . 0 1 8 ,   0 . 0 0 1 ,   0 . 0 1 4 ,   0 . 0 0 7   an d   0 . 0 2 5   f o r   ca n ce r ,   d iab etes,  g las s ,   h ep atit is ,   h o r s e ,   io n o s p h er e,   v e h icle,   a n d   w av e f o r m   d atasets ,   r esp ec ti v el y .   T h lear n in g   r ate  a n d   i n itial   w ei g h v alu e s   ar t h p ar a m eter s   o f   t h w ell  k n o w n   b a ck -   p r o p ag atio n   alg o r it h m   [ 1 8 - 1 9 ] .   Fro m   to   th e   s u g g e s tio n s   o f   m an y   p r ev io u s   w o r k s   [ 2 0 - 2 1 ]   an d   af ter   s o m p r elim i n ar y   te s ts   t h ese  v alu es  w er s et.   T h α   v alu e   f o r   t h H VS - MR MR  v a r iab le  s elec tio n   w as t h e n   d eter m i n ed   e m p ir icall y   f r o m   th e   s e t { 0 . 2 ,   0 . 3 ,   0 . 4 ,   0 . 5 ,   0 . 6 ,   0 . 7 ,   0 . 8 b ased   o n   th b est ten f o ld   cr o s s - v alid atio n   p er f o r m a n ce .     4 . 3   Resul t s   T ab le  2   s h o w s   t h r esu lts   o f   HVS - MRM R ,   MRM R   a n d   H VS  o v er   2 0   in d ep en d en r u n s   o n   eig h class i f icatio n   d ataset s .   T h cla s s i f icatio n   ac c u r ac y   ( A cc )   in   T ab le  2   r ef er s   to   th e   p er ce n ta g o f   clas s i f icatio n s   ac cu r ac y   p r o d u ce d   b y   tr ain ed   ML P   o n   t h te s ti n g   s et   o f   cl ass i f icatio n   d ataset   a n d   ( Me an   No .   o f   v ar iab le)   p r esen ts   t h av er a g n u m b er s   o f   v ar iab les  s elec ted .   I ca n   b o b s er v ed   f r o m   tab le  2   th at   HVS - M R M R   w a s   s elec ted   s m aller   n u m b er   o f   v ar iab les  f o r   d if f er e n b en c h m ar k   d atasets .   Fo r   ex a m p le,   HVS - M R M R   s elec ted   o n   av er ag 6 . 1 3   v ar iab les  f r o m   s et  o f   9   v ar iab le s   f o r   s o l v th ca n ce r   d ataset.   I also   s elec ted   o n   av er ag e   6 . 8 7   v ar iab les  f r o m   s et   o f   3 4   v ar iab les  f o r   s o lv e   th e   I o n o s p h er d ataset.   I n   f ac t,  HV S - MR MR  s elec ted   s m al l n u m b er   o f   v ar iab les f o r   ea ch   d atasets   w i th   m o r v ar ia b les.           Fig u r 3   s h o w s   t h f r eq u en c y   o f   s elec ted   b y   HVS - M R MR  f o r   C an ce r   d ataset           Fig u r 4   s h o w s   t h f r eq u en c y   o f   s elec ted   b y   HVS - M R MR  f o r   Diab etes d ataset       Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2779       Fig u r 5   s h o w s   t h f r eq u en c y   o f   s elec ted   b y   HVS - M R MR  f o r   Glass   d ataset       I n   o r d er   to   d eter m in th e s s e n ce   o f   s elec ted   v ar iab les,  w e   m ea s u r ed   th f r eq u e n c y   o f   v ar iab les.  T h f r eq u en c y   o f   v ar iab le  i   ca n   b d ef in ed   as     f i = H i T                     ( 1 2 )     W h er H i   is   th n u m b er   o f   ti m e s   p ar ticu lar   v ar iab le  is   s elec te d   in   all  test   an d   T   is   t h to tal  n u m b er   o f   test .     Fig u r 3 ,   Fig u r 4   an d   Fi g u r e   5   s h o w   t h f r eq u e n c y   o f   v ar i ab les  s elec ted   f o r   d iab etes,  ca n ce r ,   an d   g las s   d ataset s ,   r esp ec ti v el y .   I ca n   b s ee n   in   Fi g u r 3   t h at   HVS - MRM R   s elec ted   f ea tu r e s   1 ,   2 ,   6 ,   7 ,   8   an d   9   o f   th C a n ce r   d ataset  v ar y   f r eq u en tl y .   T h f r eq u e n c y   o f   s ele ctio n   f o r   th e s v ar iab les i s   o n e   o r   n ea r ly   o n e.         T ab le  3 .   C o m p ar is o n   a m o n g   HVS - MRM R ,   HVS,   M R MR  A D HOC,  GP SF SC D ,   E I R - M L P FS   an d   A N NI GM A - W R A P P E R   f o r   th ca n ce r ,   d iab etes,  g la s s ,   h ep atitis ,   h o r s e,   io n o s p h er e,   v e h ic le,   an d   w a v e f o r m   d atasets   D a t a se t   HVS   M R M R   A D H O C   G P S F S C D   E I R - M L P F S   A N N I G M A - W R A P P ER   HVS - M R M R   D i a b e t e s   7 6 . 3 2   7 6 . 2 5   7 1 . 2   _   _   7 7 . 8   7 6 . 6 3   C a n c e r   9 8 . 4 3   9 8 . 1 7   _   9 6 . 8 4   8 9 . 4 0   9 6 . 5   9 8 . 6 8   G l a ss   7 6 . 6 1   7 6 . 7 3   7 0 . 5   _   4 4 . 1 0   _   7 7 . 0 3   V e h i c l e   7 4 . 3 5   7 4 . 2 1   6 9 . 6   7 8 . 4 5   7 4 . 6 0   _   7 5 . 1 7   H e p a t i t i s   7 7 . 6 5   7 6 . 3 2   _   _   _   _   7 8 . 6   W a v e f o r m   8 5 . 9 1   8 5 . 2 7   _   _   _   _   8 4 . 9 1   H o r se   8 6 . 0 3   8 5 . 2 7   _   _   _   _   8 6 . 2 1   I o n o sp h e r e   9 5 . 8 1   9 6 . 2 7   _   _   9 0 . 6 0   9 0 . 2   9 6 . 3 1   ˝    ̶    ˝  m ea n s   n o t a v a ilab le       W ca n   b o b s er v ed   th at  o u r   m e th o d   ac h ie v ed   th b est  class i f icatio n   ac cu r ac y   a m o n g   all  o th er   alg o r ith m s   f o r   f i v e   o u t   ( C a n ce r ,   Glass   , o u t,  Hep ati tis ,   H o r s an d   I o n o s p h er e)   o f   e ig h d ata s ets.  Fo r   th e   r e m ain in g   th r ee   d atasets ,   HV S - M R MR  ac h ie v ed   as  s ec o n d   b est.  w h ile  HVS  ( W av ef o r m ) ,   A NNI GM A - W R A P P E R ( Diab etes)   an d   GP SF S C D( Veh i cle)   ac h ie v ed   th e   b est cla s s i f icatio n   ac cu r ac y   f o r   o n d ataset  ea ch .   W ca n   b s aid   th at  th v ar i ab les  s elec tio n   in cr ea s e s   th class i f icatio n   ac cu r ac y   b y   ig n o r in g   th e   ir r elev an v ar iab le s   f r o m   th e   o r ig in al  f ea t u r s et.   T h v ar iab les  s elec tio n   is   an   i m p o r ta n tas k   in   s u ch   a   p r o ce s s   is   to   s elec n ec es s ar y   in f o r m atio n   ( ir r elev a n v ar ia b les).   Oth er w i s e,   t h p er f o r m an ce   o f   clas s i f ier s   m i g h t b d ec r ea s ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   5 Octo b er   2 0 1 7   :   2 7 7 3     2 7 8 1   2780   T h ef f icac y   o f   e m b ed d i n g   o f   MRM R   f i lter   in   HV w a s   ev id en ce d   b y   i m p r o v ed   cla s s i f icatio n   p er f o r m a n ce   o n   b en ch m ar k   d atasets .   I n   th i s   p ap er ,   th p r o p o s ed   alg o r ith m   o u tp er f o r m ed   o th er   m et h o d s   in   th e   class i f icatio n   o n   t h m o s t   d atab ase  test ed ,   it   w as   ab le  to   s e lect  t h r elev a n ce   v ar iab les   a m o n g   d atase ts .   W e   ca n   b ch o o s f r o m   th ese  d at w it h   th an a l y s is   o f   p er f o r m an ce   o f   t h s u b s et  o f   v ar iab les  th at  h a v s tr o n g   r elatio n s h ip   w it h   th cla s s i f ic atio n .   Ho w e v er   i n   ter m s   o f   e x ec u t io n   ti m e,   o u r   p r o p o s ed   ap p r o ac h   co n s u m e s   m o r t h a n   HVS  a n d   MRMR .       5.   CO NCLU SI O N     I is   v er y   i m p o r tan t   to   r e m o v th r ed u n d an a n d   ir r elev a n t   v ar iab les  in   d ata   b ef o r ap p ly in g   s o m e   d ata  m i n i n g   tec h n iq u es   to   a n al y ze   t h e   d ata  s et s .   I n   o u r   r e s ea r ch ,   w e   s u g g e s a   n e w   m eth o d   o f   v ar iab les   s elec tio n   b ased   o n   HV cr iter io n   an d   MRM R   cr iter io n ,   ca ll ed   th HVS - MRM R ,   to   in te g r ate  th p r o ce d u r es  o f   v ar iab le  s elec tio n   f i lter   an d   v ar iab le  s elec tio n   w r ap p er   to   im p r o v th p er f o r m a n ce   o f   cl ass i f icatio n .   W ap p lied   HVS - MRM R   f o r   f o u r   clas s i f icatio n   p r o b le m s .   T h ex p er i m en r es u lt s   s h o w   th at  HV S - MRMR   v ar iab les   s elec tio n   s e l ec ted   less   n u m b er   o f   v ar iab les  w it h   h i g h   c lass if ica tio n   ac c u r ac y   co m p ar ed   to   MRMR ,   HV S.   I n   f o r th co m in g   r esear c h   w o r k ,   w i n ten d   to   i m p r o v e   th i s   ap p r o ac h   to   f i n d   b ette r   s u b s et   o f   v ar iab les s elec ted   a n d   to   i m p r o v class i f icat io n   ac cu r ac y   [ 2 6 - 2 7 ] .       ACK NO WL E D G E M E NT S     W ex p r ess   o u r   th a n k s   to   th a s s o ciate   ed ito r   an d   an o n y m o u s   r ef er ee s   w h o s v al u ab le  s u g g esti o n s   h elp ed   to   i m p r o v th i s   w o r k   s i g n i f ica n tl y   a n d   also   to   th eir   co lleag u e.       RE F E R E NC E S   [1 ]   Hin to n   G e o ff re y   E,   S a lak h u td in o v   Ru sla n   R.   Re d u c in g   th e   Dim e n sio n a li ty   o f   Da ta  w it h   Ne u ra Ne tw o rk s .   S c i e n c e ,   2 0 0 6 3 1 3 ( 5 7 8 6 ) p .   5 0 4 - 5 0 7 .     [2 ]   De m e rs  D a v id ,   Co tt re ll   G   W .   n l in e a d im e n sio n a li ty   re d u c ti o n .   In Ad v a n c e in   n e u ra in fo rm a ti o n   p ro c e ss in g   sy ste ms ,   1 9 9 3 ;   5 ;   5 8 0 - 5 8 7 .     [3 ]   F o d o r ,   Im o la  K.  S u rv e y   o Dime n sio n   Red u c ti o n   T e c h n iq u e s .   Ce n ter  f o A p p li e d   S c ien ti f ic  Co m p u ti n g ,   L a w r e n c e   L i v e r m o re   Na ti o n a L a b o ra to ry ,   2 0 0 2 9 ;   1 - 1 8 .     [4 ]   W e i,   Hu a - L ian g   Et   Bil li n g s ,   S tep h e n   A .   F e a tu re   S u b se S e lec ti o n   a n d   Ra n k in g   f o Da ta  Dim e n sio n a li ty   Re d u c ti o n .”   IEE E   T ra n sa c ti o n o n   Pa tt e rn   A n a lys is  a n d   M a c h i n e   I n telli g e n c e ,   2 0 0 7 ;   2 9 (1 ) ;   1 6 2 - 1 6 6 .   [5 ]   G u y o n   Isa b e ll e El isse e ff   A n d .   An   I n tro d u c ti o n   t o   Va ri a b l e   a n d   Fe a tu re   S e lec ti o n .   J o u r n a l   o f   M a c h i n e   L e a rn in g   Res e a rc h .   2 0 0 3 3 (3 );   1 1 5 7 - 1 1 8 2 .     [6 ]   L iu h u a n M o t o d a   Hir o sh i,   YU   L e i.   Fea tu re   S e lec ti o n   wit h   S e lec t ive   S a mp li n g .   In P ro c e e d i n g o f   th e   Nin e tee n th   In tern a ti o n a C o n f e re n c e   o n   M a c h in e   L e a rn in g ,   ICM L .   2 0 0 2 ;   3 9 5 4 0 2 .     [7 ]   D y   Je n n if e G ,   BR OD L EY  Ca rl a   E.   F e a tu re   S e lec ti o n   f o Un su p e rv ise d   L e a rn in g .”   J o u rn a o ma c h in e   lea r n in g   re se a rc h .   2 0 0 4 5;   8 4 5 - 8 8 9 .     [8 ]   Ka n n a n   S ,   S e n t h a m a r a e R a m a ra N   A. No v e h y b rid   F e a tu re   S e lec ti o n   v ia  S y m m e tri c a Un c e rtain ty   R a n k in g   Ba se d   L o c a M e m e ti c   S e a rc h   A lg o rit h m .   Kn o wled g e - Ba se d   S y ste ms ,   2 0 1 0 ;   2 3 (6 );  5 8 0 - 5 8 5   .     [9 ]   P e n g   Ha n c h u a n ,   L o n   F u h u i ,   D in g   Ch ris.   F e a tu re   S e lec ti o n   Ba se d   on  M u t u a I n f o rm a ti o n   Crit e ri a   o f   M a x - d e p e n d e n c y ,   M a x - r e lev a n c e ,   a n d   M in - re d u n d a n c y .   IEE T ra n sa c ti o n o n   p a tt e rn   a n a lys i a n d   m a c h i n e   in telli g e n c e .   2 0 0 5 2 7 ( 8 );  1 2 2 6 - 1 2 3 8 .     [1 0 ]   Ko h a v i   Ro n ,   Jo h n   G e o rg e   H.  W ra p p e rs  f o F e a tu re   S u b se S e l e c ti o n .”   Arti fi c i a in tell ig e n c e ,   1 9 9 7 9 7 (1 - 2 ),   2 7 3 - 3 2 4 .     [1 1 ]   Ch o rm u n g e   S m it a ,   Je n a   S u d a r so n .   Eff icie n F e a tu re   S u b se t   S e lec ti o n   A lg o rit h m   f o Hig h   Dim e n sio n a l   Da ta .”   In ter n a ti o n a J o u rn a o El e c trica a n d   Co m p u ter   E n g i n e e rin g .   2 0 1 6 6   (4 );   1 8 8 0 .   [1 2 ]   L iu   Ch u a n ,   W a n g ,   W e n y o n g ,   Zh a o   Qia n g ,   e a l.   A   Ne w   F e a tu re   S e lec ti o n   M e th o d   Ba se d   o n   a   Va li d it y   In d e x   o f   F e a tu re   S u b se t .”   Pa t ter n   Rec o g n i ti o n   L e tt e rs ,   2 0 1 7 .   [1 3 ]   S e la   En n y   Itj e ,   Ha rtati   S ri,   Ha rjo k o   Ag u s,  e a l.   F e a tu re   S e lec ti o n   o f   th e   Co m b in a ti o n   o f   P o ro u T ra b e c u lar  w it h   A n th ro p o m e tri c   F e a tu re f o Os teo p o r o sis  S c re e n in g .   In ter n a ti o n a J o u r n a o El e c trica l   a n d   Co m p u ter   En g i n e e rin g .   2 0 1 5 5 (1 )   7 8 .   [1 4 ]   Ro se n b latt   F ra n k .   Prin c i p les   o f   Ne u ro d y n a mic s.  Per c e p tro n a n d   th e   T h e o ry   o Bra i n   M e c h a n isms .   Co rn e ll   A e ro n a u ti c a L a b o ra to ry   In c   Bu ffa lo n y ,   1 9 6 1 .   [1 5 ]   Ya c o u b   M e z ian e Be n n a n Y .   HV S A   He u risti c   f o V a riab le  S e lec ti o n   i n   M u lt il a y e A rti f icia l   Ne u ra Ne tw o rk   Clas sif ier . ”  In telli g e n E n g i n e e rin g   S y ste ms   th ro u g h   Arti fi c i a Ne u ra Ne two rk s ,   S t.   L o u is,   M i ss o u ri.   1 9 9 7 ;   7 5 2 7 - 5 3 2 .   [1 6 ]   P e n g   Ha n c h u a n ,   L o n g   F u h u i,   Din g   Ch ris .   F e a tu re   S e lec ti o n   Ba se d   on  M u tu a In f o rm a ti o n   Crit e ria  o f   M a x - d e p e n d e n c y ,   M a x - r e lev a n c e ,   a n d   M in - re d u n d a n c y .   IEE T ra n sa c ti o n o n   p a tt e rn   a n a lys i a n d   m a c h i n e   in telli g e n c e .   2 0 0 5 ;   2 7 ( 8 );  1 2 2 6 - 1 2 3 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       Hyb r id   Meth o d   HV S - MRMR   fo r   V a r ia b le  S elec tio n   in   Mu ltil a ye r   A r ti ficia l Neu r a l …   ( B en - Hd ec h   A d il)   2781   [1 7 ]   Din g   Ch ris,   P e n g   Ha n c h u a n .   M in im u m   Re d u n d a n c y   F e a tu re   S e l e c ti o n   f ro m   M icro a rra y   Ge n e   Ex p re ss io n   Da ta .”   J o u rn a o b i o i n fo rm a ti c s a n d   c o mp u ta ti o n a l   b i o l o g y ,   2 0 0 5 ;   3 ( 0 2 ;   1 8 5 - 2 0 5 .     [1 8 ]   Ru m e lh a rt  D E ,   M c Clellan d   J L ,   P D P   Re se a rc h   G ro u p .   P a ra ll e D istr ib u te d   P r o c e ss in g .”   IEE E .   9 8 8 1 4 4 3 - 4 5 3 .     [1 9 ]   Ya n g ,   Ya n g ,   Hu ,   Ju n ,   e t   Zh a n g ,   M u .   P re d ictio n o n   t h e   De v e lo p m e n Dim e n sio n o f   P r o v in c ial  T o u rism   Disc ip li n e   Ba se d   o n   t h e   A rti f ici a Ne u ra Ne tw o rk   BP   M o d e l.   Bu l letin   o El e c trica En g i n e e rin g   a n d   I n fo rm a ti c s ,   2 0 1 4 ;   3 ( 2 );   69 - 76.   [2 0 ]   Isla m ,   M d   M . ,   Ya o ,   Xin ,   e M u ra se ,   Ka z u y u k i.   Co n stru c ti v e   A l g o rit h m   f o T r a in in g   Co o p e ra ti v e   Ne u ra l   Ne tw o rk   En se m b les .   IEE T ra n sa c ti o n o n   n e u r a n e two rk s ,   2 0 0 3 1 4 (4 );   8 2 0 - 8 3 4 .     [2 1 ]   P re c h e lt   L u tz,  e a l.   Pro b e n 1 :   S e o f   Ne u ra Ne tw o rk   Ben c h ma r k   Pro b lem s   a n d   Ben c h ma rk i n g   R u les .”   1 9 9 4 .     [2 2 ]   Rich e ld i   M a rc o ,   L a n z i   P ier  L u c a .   ADHO C:  to o fo p e rfo r min g   e ff e c ti v e   fea tu re   se lec ti o n .   In   T o o ls  wit h   Arti fi c ia I n telli g e n c e .   P r o c e e d in g s E ig h th   IEE E   In ter n a ti o n a Co n f e r e n c e   o n .   IE EE .   1 9 9 6 ;   1 0 2 - 1 0 5 .   [2 3 ]   M u n i   Du rg a   P ra sa d ,   P A L   Nik h il   R,   DA S   J y o ti r m a y .   G e n e ti c   P ro g ra m m in g   f o S im u lt a n e o u F e a tu re   S e lec ti o n   a n d   Clas sif ier  De sig n .   IEE T r a n sa c ti o n o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s,  P a rt  B   (Cy b e rn e ti c s).  2 0 0 6 ;   3 6 (1 );   1 0 6 - 1 1 7 .   [2 4 ]   G a sc a   E,   S á n c h e z   J   S,  A lo n so   R.   El im in a ti n g   R e d u n d a n c y   a n d   Irre lev a n c e   Us in g   N e w   M LP - b a se d   F e a tu re   S e lec ti o n   M e t h o d .”   P a tt e rn   Rec o g n it i o n 2 0 0 6 3 9 ( 2 ),   3 1 3 - 3 1 5 .   [2 5 ]   Hsu   Ch u n - Na n ,   Hu a n g   H u n g - Ju ,   Die tri c h   S .   T h e   A n n ig m a - w ra p p e A p p ro a c h   to   F a st  F e a tu re   S e le c ti o n   f o Ne u ra Ne ts .”   IEE T ra n sa c ti o n o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s,  P a rt  (Cy b e rn e ti c s).  2002   3 2 ( 2 )   2 0 7 - 2 1 2 .   [2 6 ]   Be n - Hd e c h   A ,   G h a n o u   Y,  A b d e rra h im   E.   L .   Ro b u st  M u lt i - c o mb in a ti o n   Fea t u re   S e lec ti o n   fo M icr o a rr a y   Da ta .   A d v a n c e s in   In f o rm a ti o n   T e c h n o lo g y T h e o ry   a n d   A p p li c a t io n ,   2 0 1 6 .   [2 7 ]   G h a n o u ,   Y.,   &   Be n c h e ik h ,   G .   A rc h it e c tu re   Op ti m iza ti o n   a n d   Train in g   f o th e   M u lt il a y e P e rc e p tro n   Us in g   A n S y st e m .   IAE NG In ter n a ti o n a J o u rn a o C o mp u ter   S c ien c e .   2 0 1 6 2 8 1 0 .         Evaluation Warning : The document was created with Spire.PDF for Python.