I nte rna t io na l J o urna l o f   A dv a nces in Applie d Science s   ( I J AAS)   Vo l.   6 ,   No . 4 Dec em b er   2 0 1 7 ,   p p .   3 5 9 ~3 6 7   I SS N:  2252 - 8814          359       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J AAS   Feature  Selec tion  U sing  Ev o lutiona ry  F unc tiona l Lin k   Neura Netw o rk  f o r Clas sifica tion       A m a re s h Sa h u 1 Sa by a s a chi P a t t na ik 2   1 Co m p u ter S c ien c e   En g in e e rin g   De p a rtme n t,   S OA   Un iv e rsit y   Bh u b a n e sw a r,   Od ish a   7 5 1 0 3 0 ,   In d ia   2 I n f o rm a ti o n   &   Co m m u n ica ti o n   T e c h n o lo g y   De p a rt m e n t,   F a k ir  M o h a n   U n iv e rsity Ba las o re ,   Od ish a   7 5 6 0 1 9 ,   I n d ia         Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Sep   1 7 ,   2 0 1 7   R ev i s ed   No v   1 8 ,   2 0 1 7   A cc ep ted   No v   2 3 ,   2 0 1 7       Co m p u tatio n a ti m e   is  h ig h   f o M u lt il a y e p e rc e p tro n   (M L P tra in e d   w it h   b a c k   p ro p a g a ti o n   lea rn in g   a lg o rit h m   (BP a lso   th e   c o m p le x it y   o t h e   n e tw o rk   in c re a se w it h   th e   n u m b e o f   la y e rs  a n d   n u m b e o f   n o d e i n   la y e rs.  In   c o n tras to   M L P ,   f u n c ti o n a li n k   a rti f icia n e u ra n e t w o rk   (F LA N N)  h a les s   a rc h it e c tu ra c o m p lex it y ,   e a sie r   to   tra i n ,   a n d   g iv e b e tt e re su lt   i n   t h e   c las si f ica ti o n   p ro b lem s.  T h e   p a p e p ro p o se d   a n   e v o lu ti o n a ry   f u n c ti o n a li n k   a rti f icia n e u ra n e t w o rk   (EF LA N N)  u sin g   g e n e ti c   a lg o rit h m   (GA b y   e li m in a ti n g   f e a tu re s h a v in g   li tt le  o n o   p re d ictiv e   in f o rm a ti o n .   P a rt icle   s w a r o p ti m iza ti o n   ( P S O)  is  u se d   a lea rn in g   to o f o so lv in g   th e   p ro b lem   o c las si f ica ti o n   in   d a ta m in in g .   EF L A N N o v e rc o m e s   th e   n o n - l in e a rit y   n a tu re   o p ro b lem b y   u sin g   th e   f u n c ti o n a ll y   e x p a n d e d   se lec ted   f e a tu re s,   w h ich   is  c o m m o n l y   e n c o u n tere d   i n   sin g le  la y e n e u ra n e tw o rk s.  T h e   m o d e is   e m p iri c a ll y   c o m p a re d   to   M L P ,   F LA NN   g ra d ien d e sc e n lea rn in g   a lg o rit h m ,   Ra d ial  Ba sis  F u n c ti o n   (RBF a n d   H y b rid   F u n c ti o n a L in k   Ne u ra Ne t w o rk   (HFL A NN ) .   T h e   re su lt p ro v e d   th a t h e   p ro p o se d   m o d e o u t p e rf o r m th e   o th e m o d e ls.     K ey w o r d :   Fu n ctio n al  l in k   n e u r al  n et w o r k   Gen etic  al g o r ith m   P ar ticle   s w ar m   o p ti m izatio n   C o p yrig h ©   201 7   I n s t itu te  o A d va n ce d   E n g i n ee r in g   a n d   S c ien ce   A ll ri g h ts   r ese r ve d .   C o r r e s p o nd ing   A uth o r :   Am ar es h   Sa h u ,   Co m p u ter S c ien c e   En g in e e rin g   D e p a rtme n t   S OA   Un iv e rsit y   Bh u b a n e sw a r,     Od is h 7 5 1 0 3 0 ,   I n d ia.   E m ail:  a m ar es h _ s ah u @ y ah o o . co m       1.   I NT RO D UCT I O N     C las s i f icatio n   tas k   i s   o n o f   t h m o s i m p o r tan r esear ch   ar ea   o f   d ata  m i n i n g .   A   lo t   o f   r e s ea r ch   h as   f o cu s ed   o n   th f ield   o v er   th l ast  s ev er al  y ea r s   [ 1 -   3 ] .   T h D ata  m in in g   is   p r o ce s s   o f   d is co v er in g   k n o w l ed g e   f r o m   lar g g a m u o f   d ata.   Var io u s   clas s i f icatio n   m o d els  i n   th is   r eg ar d .   M.   J am e s   [ 4 ]   h a s   u s ed   lin ea r   o r   q u ad r atic  d is cr i m i n ate s   tec h n iq u e s   f o r   s o lv i n g   p r o b le m s   in   c lass if ica tio n .   An o t h er   p r o ce d u r h as  b ee n   e m p lo y ed   b y   u s in g   d ec is io n   t r ee s   [ 5 ,   6 ] .   I n   th s a m e   p er s p ec tiv D u d et  al.   [ 7 ]   h as  p r o p o s ed   d is cr i m in a n t   an al y s is   b ased   o n   th B a y e s ia n   d ec is io n   t h eo r y ,   h o w ev er   h h as  m e n tio n ed   tr ad itio n al  s t atis tical  m o d el s   ar b u ilt  m ai n l y   o n   v ar io u s   li n ea r   a s s u m p tio n s .   T o   o v er co m e   s u ch   d is ad v a n ta g e,   ar ti f icial   i n tellig e n t   to o ls   h av e   b ee n   e m er g ed   to   s o lv e   clas s i f icatio n   p r o b le m s   in   d ata  m i n in g .   Fo r   th is   r ea s o n ,   m a n y   g en et ic  al g o r ith m s   m o d el s   w er e   u s ed   [ 8 ] .   I n   a   r ec en s t u d y ,   Z h an g   h a s   i n tr o d u ce d   th n e u r al  n et w o r k s   tec h n iq u as   p o w er f u l   class i f icatio n   to o [ 9 - 1 0 ] .   I n   r ec en y ea r   A r tific ial  Neu r al  Net w o r k s   ( A NN s )   h av g ain ed   e x p en s iv e   p o p u lar it y   in   r esear c h   ac ti v iti es.  ANNs  ar g e n er all y   i m p le m en ted   as  d ata - b ased   tech n i q u es  in   p er f o r m i n g   n o n li n ea r   s y s te m   id e n ti f icatio n   o f   co m p lex   p r o ce s s e s .   A N Ns  h a v b ee n   u s ed   in cr ea s i n g l y   as  p r o m i s in g   m o d eli n g   to o i n   a l m o s all   h u m an   r elate d   ac ti v it y   ar ea s   w h e r q u an ti tati v ap p r o ac h es  ca n   b u s ed   to   h e lp   in   d ec is io n   m a k i n g   e. g   f u n ctio n al  ap p r o x i m atio n ,   r u le  ex tr ac tio n ,   p atter n   r ec o g n is at io n   an d   class if ica tio n ,   f o r ec asti n g   a n d   p r ed ictio n ,   b u s i n ess   elec tr ical  e n g in ee r i n g ,   m ed ical  a n d   ci v il  e n g i n ee r in g .   M u ltil a y er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9     3 6 7   360   p er ce p tr o n s   ( ML P s )   ar e   th m o s co m m o n   t y p o f   n eu r al  n e t w o r k s   ap p lied   s u cc ess f u ll y   f o r   id en tif icatio n   an d   co n tr o o f   a   v ar iet y   o f   n o n li n e ar   p r o ce s s es.  Var io u s   r esear ch   ac tiv i ties   h a v b ee n   d o n f r o m   Mc c u llo c h - p itt s   m o d el  o f   n eu r o n   [ 1 1 ]   to   h i g h e r   o r d er   n eu r o n   [ 1 2 ]   ar co n s id er ab le  an d   liter atu r i s   g r o w i n g   m ass iv el y   d a y   b y   d ay .   Feed   f o r w ar d   n et w o r k s   w h ic h   b ased   o n   s i n g le   la y er   o f   li n ea r   t h r es h o ld   lo g ic  u n its   e x h ib it   f a s lear n i n g .   e. g   th s i m p le  p er ce p tr o n   [ 1 3 ]   ca n   s o lv lin ea r l y   s ep ar ab le  p r o b lem   in   f in i te  n u m b er   o f   lear n in g   s tep s ,   h o w ev er ,   it  d o es  n o co n v er g o r   ap p r o x im a te  n o n li n ea r   d ec is io n   m ak i n g   p r o b lem s .   B y   u s in g   g r ad ien t   d escen t le ar n in g   al g o r ith m   to   ad j u s t th w ei g h ts   ad li n [ 1 4 - 1 5 ]   tr ies to   f in d   s o l u tio n   w h i ch   m in i m i s m ea n   s q u ar er r o r   cr iter io n .   B u it  d is cr i m i n atio n   ca p ab ilit y   is   al s o   li m ited   to   lin ea r l y   s ep ar ab le  p r o b lem s .   Ma n y   r ea p r o b lem s   in v o lv ap p r o x i m ati n g   n o n li n ea r   f u n ctio n s   o r   f o r m in g   m u ltip le  n o n li n e ar   d ec is io n   r eg io n s   li m it s   t h ap p licab ilit y   o f   s i m p le  s in g le  la y er ed   n et w o r k s   o f   li n ea r   th r es h o ld   u n it.  B y   ad d in g   o f   la y er   o f   h id d en   u n its   d r a m at icall y   i n c r ea s ed   th p o w er   o f   la y er ed   f ee d   f o r w ar d   n et w o r k s .   I n   ML P   u s i n g   t h b ac k   p r o p ag atio n   ( B P)  lear n in g   al g o r ith m   h as  b ee n   s u cc e s s f u ll y   ap p lied   to   m an y   ap p licatio n   p r o b lem s .   Ho w e v er ,   th tr ain i n g   s p ee d   o f   ML P s   ar ty p ical l y   s lo w er   t h an   t h o s f o r   f ee d   f o r w ar d   n et w o r k s   co n s is o f   s in g le  la y er   o f   lin ea r   t h r es h o ld   u n i ts   d u t o   b ac k   p r o p ag atio n   o f   er r o r   i n tr o d u ce d   b y   m u lti  la y er i n g .   Ho w e v er   p r o b lem s   o cc u r   in   M L P   tr ain i n g   ar lo c al  m i n i m tr ap p in g ,   s at u r atio n ,   w ei g h i n ter f er e n ce ,   i n itial   w ei g h d ep en d en ce   an d   o v er   f i tti n g .   Als o   it i s   v er y   d if f ic u lt to   f i x   t h p ar a m eter s   lik e   n u m b er   o f   n e u r o n s   i n   l a y er   an d   n u m b er   o f   h id d en   la y er s   i n   n et w o r k .   So   d ec id in g   p r o p er   ar ch itectu r is   d i f f icu l t.  A n   ea s y   wa y   to   av o id   th e s e   m en tio n ed   p r o b lem s   co n s i s ti n g   o f   r e m o v i n g   th h id d en   la y er s .   T h r em o v i n g   p r o ce s s   s h o u ld   b ca r r ie d   o u t   w it h o u g i v i n g   u p   n o n   li n ea r it y .   P r o v id ed   th at  th in p u la y e r   is   en - d o w n ed   w it h   ad d itio n a h ig h er   o r d er   u n its   [ 1 6 - 1 8 ] .   I n   o th er   w o r d s   h i g h e r   o r d e r   co r r elatio n s   a m o n g   i n p u co m p o n en ts   ca n   b u s ed   to   co n s tr u ct  h i g h er   o r d er   n et w o r k s   to   p er f o r m   n o n li n ea r   m ap p in g   u s i n g   o n l y   a   s in g le  la y er   o f   u n it s   [ 1 6 ] .   A l th ese  i n d icate   t h f ield   o f   HON s   [ 1 9 - 2 0 ]   lik f u n ctio n al  l in k   n e u r al  n et w o r k s   [ 2 1 - 24 ] ,   p i - s ig m n eu r al  n et wo r k s   [ 2 5 - 2 6 ] ,   r a d ial  b asis   f u n ctio n s   [ 2 7 , 2 8 ]   an d   p o l y n o m ial  n eu r al  n et w o r k s   ( R P NNs)  [ 2 9 , 3 0 ]   an d   s o   o n .     A   d ir ec tio n   is   g i v e n   b y   p ao   an d   p ao   et  al ,   th at  f u n ctio n al  lin k s   n e u r o n s   m a y   b co n v e n ie n t l y   u s ed   f o r   f u n ctio n   ap p r o x i m atio n   w it h   f aster   co n v er g en ce   r ate  a n d   les s er   co m p u tatio n al  lo ad   th a n   ML P   [ 3 1 ] .   FL A N N   w it h   g r ad ien d esce n t   m et h o d   h as  ac h ie v ed   g o o d   r esu lt s   i n   c lass i f icatio n   ta s k   o f   d ata   m in i n g .   A ls o ,   d i f f er e n t   s et  o f   o r th o g o n al  b asi s   f u n cti o n s   h a v b ee n   s u g g ested   f o r   f ea tu r ex p an s io n   [ 3 2 ] .   FLAN is   b asicall y   f lat  n et w o r k   w it h o u t   r eq u ir in g   h i d d en   la y er s   a n d   h a s   s i m p le  lear n in g   r u le.   Fo r   en h a n cin g   th e   clas s i f icatio n   ac cu r ac y   t w o   F L A NN  b ased   class i f ier s   w it h   g e n etic  al g o r ith m s   h av b ee n   d ev elo p ed   [ 3 3 - 3 4 ] .   I n   FLA N th e   d i m en s io n al it y   o f   in p u v ec to r   is   a ls o   e f f ec ti v el y   i n cr ea s ed   b y   u s i n g   f u n ctio n al  e x p an s io n   o f   t h e   in p u v ec to an d   h e n ce   t h h y p er   p lan e s   g en er ated   b y   t h F L A N p r o v id in g   g r ea ter   d is cr i m in at in g   ca p ab ilit y   o f   i n p u t   p atter n s .   A lt h o u g h   F L A N u s in g   t h g r ad ien d esce n g i v e s   p r o m is i n g   r es u lts ,   s o m et i m e s   it  m a y   b tr ap p ed   in   lo ca o p ti m al  s o lu tio n s .   Mo r eo v er   FLA N co u p led   w it h   g en et ic  alg o r it h m s   m a y   s u f f er   w i th   p r o b le m s   lik e   h ea v y   co m p u tatio n al  b u r d e n s   an d   lar g n u m b er   o f   p ar a m et er s   tu n i n g .   T h en   P SO  h as  b ee n   i m p le m e n ted   f o r   class i f icatio n   [ 3 5 ]   s u f f er s   f r o m   p r o b lem s   li k p ar a m eter   tu n in g   a n d   co m p lex i t y   i n   n e t w o r k   ar ch it ec t u r e.   T h e   d is co v er ed   k n o w led g f r o m   t h d ata  s h o u ld   b p r e d ictiv an d   co m p r eh en s ib le.   T h ar ch itectu r al  co m p le x it y   o f   F L A NN  [ 2 2 ]   is   d ir ec tl y   p r o p o r tio n al  to   n u m b er   o f   f ea t u r es  an d   th f u n c tio n s   u s ed   f o r   ex p an s io n   o f   t h g iv e n   f ea t u r v alu e.   Kn o w le d g co m p r eh e n s ib ili t y   is   u s e f u f o r   at  least  t w o   r elate d   r ea s o n s .   Fir s t,  t h e   k n o w led g d is co v er y   p r o ce s s   u s u all y   ass u m es  t h at  t h d is co v er ed   k n o w led g w ill  b u s ef u f o r   s u p p o r tin g   a   d ec is io n   to   b m ad b y   u s er .   Seco n d   if   th d is co v er ed   k n o w led g is   n o co m p r eh e n s ib le  to   th u s er ,   h e/s h e   w il n o b ab le  to   v alid ate  it,  o b s tr u ctin g   t h in ter ac ti v f ea t u r o f   th k n o w led g d is co v er y   p r o ce s s   i n cl u d es  k n o w led g v alid atio n   an d   r e f i n e m e n t.   T h p r o p o s ed   m et h o d   f o r   cla s s i f icatio n   i s   g iv e n   an   e q u al  i m p o r tan ce   to   b o th   p r ed ictiv ac cu r ac y   an d   co m p r e h en s ib ilit y .   W m ea s u r co m p r eh e n s ib ilit y   o f   t h p r o p o s ed   m et h o d   b y   r ed u cin g   th co m p lex i t y   i n   a r ch itect u r e.   T h ex tr ac ted   k n o w led g i s   u s ed   b y   u s   f o r   s u p p o r tin g   d ec is io n   m ak in g   p r o ce s s   th a is   t h u l ti m ate  g o al  o f   d ata  m i n i n g .   W ch o o s ML P ,   FLA N with   g r ad ien d escen t   lear n in g   [ 2 2 ] ,   R ad ial  B asis   Fu n ctio n   ( R B F)  an d   H y b r id   F L ANN  ( HFLA NN)   [ 4 3 ]   f o r   r esu lt s   co m p ar is o n   w it h   P r o p o s ed   m et h o d .       2.   CO NCEPT S   AND   D E F I N I T I O NS   2 . 1 .   G enet ic  a lg o rit h m s   Gen etic  al g o r ith m s   d ef i n ed   as   s ea r ch   te c h n iq u w a s   i n s p ir ed   f r o m   Dar w i n ia n   T h eo r y .   T h s c h e m e   is   b ased   o n   t h th eo r y   o f   n a tu r al  s e lectio n .   Her w e   p r es u m e   t h at  t h er is   a   p o p u lati o n   co m p o s ed   w it h   d if f er e n ch ar ac ter is t ics.  I n s i d th p o p u latio n   th s tr o n g er   w ill  b ab le  to   s u r v i v an d   th e y   p ass   t h ei r   ch ar ac ter is tic s   to   th eir   o f f s p r i n g s .   T h p r o ce s s   o f   G A   is   d escr ib e d   as f o llo w s :   a.   I n itial p o p u latio n   i s   g e n er ated   r an d o m l y ;   b.   Fit n e s s   f u n ctio n   ar u s ed   to   ev alu ate  t h p o p u latio n ;   c.   Gen etic  o p er ato r s   s u c h   as sele ctio n ,   cr o s s o v er ,   an d   m u tatio n   ar ap p lied ;   d.   R ep ea t th p r o ce s s   E v al u atio n   C r o s s o v er   m u tatio n ”  u n til s t o p p in g   cr iter ia  is   m e t   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r S elec tio n   Usi n g   E v o lu tio n a r F u n ctio n a l Lin N eu r a l …   ( A ma r esh   S a h u )   361   2 . 2 .   P a rt icle  Sw a rm   O pti m i za t io n   P SO  is   r elati v el y   n e w   p o p u latio n   b ased   s ea r ch   tech n i q u f o r   s o l v i n g   n u m er ical  o p ti m izatio n   p r o b lem s .   I in s p ir ed   f r o m   t h co m p le x   s o cial  b eh av i o r   th at  is   s h o w n   b y   t h n at u r a s p ec ies  lik f lo ck   o f   b ir d s .   E ac h   m e m b er   o f   s w ar m   ca lled   p ar ticle  ass o ciate d   w it h   p o s itio n   an d   v elo cit y .   I n   t h e   m u ltid i m en s io n al  s ea r ch   s p ac th p ar ticles  f l y   a n d   lo o k   f o r   p o ten tial  s o lu tio n .   E ac h   p ar ticle  ad j u s ts   its   p o s itio n   in   th s ea r c h   s p ac f r eq u en tl y   ac co r d in g   to   th f l y i n g   e x p er ien ce   o f   its   o w n   a n d   its   n ei g h b o r s   [ 3 6 ] .   T h m o v e m en o f   ea c h   p ar tic le  is   g o v er n ed   b y   t h f o llo w i n g   t w o   E q u atio n s   ( 1 )   an d   ( 2 ) ,   in   n - d i m e n s io n al   s ea r ch   s p ac e.     ) 1 . 2 ( )) ( ) ( ( 2 . 2 )) ( ) ( ( 1 . 1 ) ( . ) 1 ( t j i x t j g b e s t r a n d c t j i x t j i p b e s t r a n d c t j i v w t j i v     ) 2 . 2 ( ) 1 ( ) ( ) 1 ( t j i v t j i x t j i x     W h er e,   x i   r ep r esen ts   th p o s iti o n   o f   th i th   p ar ticle;  v r ep r esen ts   t h v elo cit y   o f   t h i th   p ar ticle;  p b est b th p r ev io u s   b est  p ar ticle  o f   t h i th   p ar ticle  a n d   g b est  is   t h g lo b al  b est  p ar ticle  f o u n d   b y   a ll  p ar ticles  u n til   n o w .   r a n d 1   an d   r an d 2   ar tw o   r an d o m   v ec to r   v al u es  w it h i n   [ 0 ,   1 ] ,   w   r ep r esen ts   in er tia  w ei g h t,  c 1   an d   c 2   ar t w o   lear n i n g   f ac to r s ,   t h v alu e   o f   ea c h   v elo cit y   v ec to r   is   co m p r e s s ed   w i th i n   th e   r an g [ v max ,   v m in ]   to   d ec r ea s e   th li k eli h o o d   o f   th p ar ticle  leav in g   t h e   s ea r ch   s p ac e,   an d   t= 1 , 2 , 3 …,   in d icate s   th n u m b e r   o f   iter atio n s .   T h co n s tr ictio n   f ac to r   ap p r o ac h   o f   P SO  ( C P SO)   is   a n   i m p o r tan v ar ia n o f   s ta n d ar d   PS O,   I w a s   p r o p o s ed   b y   C ler a n d   Ken n e d y   [ 3 7 - 3 8 ] .   T h v elo cit y   o f   C P SO is u p d ated   b y   t h f o llo w i n g   E q u a tio n :   ) 3 . 2 ) ) ) ( ( ) ( .( 2 . 2 )) ( ) ( .( 1 . 1 ) ( .( ) 1 ( t j i x t j g b e s t r a n d c t j i x t j i p b e s t r a n d c t j i v t j i v   W h er e,     is   ca lled   a   co n s tr icti o n   f ac to r ,   g i v en   b y   E q u atio n :     ) 4 . 2 ( | 4 2 2 | 2     W h er e,     ) 5 . 2 ( 4 , 2 1 c c     T h C P SO  en s u r e s   th co n v er g en ce   o f   th s ea r c h   p r o ce d u r es  an d   b ab le  to   g en er ate  h i g h er   q u alit y   s o lu tio n s   t h an   t h s ta n d ar d   P SO is u s ed   in   t h is   s tu d y .     2 . 3 .   F un ct io na l Li n k   Neura l N et w o rk   T h FLA NN  ar ch i tectu r w as  f ir s p r o p o s ed   b y   P ao   et  al.   [ 3 1 ] .   T h id ea   o f   th is   m o d el  is   t o   ap p ly   an   ex p an s io n   f u n ctio n   to   in cr ea s e s   th d i m en s io n a lit y   o f   i n p u v ec to r .   Hen ce   th h y p er - p la n es  g en er ated   p r o v id e   s u p er io r   d is cr i m in a tio n   ca p ab ilit y   in   t h in p u p atter n   s p ac e.   T h n ee d   o f   h id d en   la y er   is   r e m o v ed   b y   ap p ly i n g   e x p an s io n   f u n ctio n   t h u s   t h lear n in g   a lg o r it h m   b ec o m e   s i m p ler .   T h is   m o d el  h a s   th b e n ef it  to   h av e   f aster   co n v er g en ce   r ate   a n d   less er   co m p u tat io n al  co s t   t h an   M L P   s tr u ctu r e.   T h co n v en tio n al   n o n li n ea r   f u n ctio n al  ex p a n s io n s   ca n   b e m p lo y ed   in   F L A NN  ar tr i g o n o m e tr ic,   p o w er   s er ies  o r   C h eb y s h ev   t y p e.   R .   Ma j h et  al.   [ 3 9 ] ,   illu s tr ates   th at   u s e   o f   tr ig o n o m etr ic   f u n ct io n   e x p an s io n   p r o v id es  s u p er io r   p r ed ictio n   ca p ab ilit y   o f   th m o d el.   T h er ef o r e,   in   th p r esen s it u atio n ,   tr ig o n o m etr ic  ex p a n s io n   is   e m p lo y ed .   L et  u s   ass u m e   ea ch   ele m en o f   t h i n p u p atter n   b ef o r e x p an s io n   i s   r ep r esen ted   a s   Z ( i) ,   1   i   I   w h er I   is   th e   to tal   n u m b er   o f   f ea t u r es  a n d   ea ch   e le m e n Z ( i)   is   f u n c tio n all y   e x p an d ed   as  Xn ( i)   ,   1   n   ,   w h er i s   t h to tal   n u m b er   o f   ex p a n d ed   p o in ts   f o r   ea ch   i n p u t   ele m en t.   L e u s   t ak e,   N= 5   i n   t h i s   ex a m p le.   T h ex p an s io n   o f   ea c h   in p u t p atter n   is   r ep r esen ted   i n   F ig u r 1.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9     3 6 7   362       Fig u r 1 .   R ep r esen ts   t h E x p a n s io n   o f   E ac h   I n p u t P atter n       T h ex p an d ed   in p u ts   ar f ed   to   th s in g le  la y e r   n eu r al  n et w o r k   a n d   t h en   th n et w o r k   is   tr ain ed   b y   u s i n g   tr ain i n g   alg o r it h m   to   o b tain   th d es ir ed   o u tp u t.     2 . 4 .   P ro po s ed  M et ho d   T h p r o p o s ed   s in g le  la y er   A N n a m ed   as   E F L A NN   w it h   g en et icall y   o p ti m ized   s et  o f   f ea tu r es.  I t   h as  t h p o ten tial  o f   g e n er atin g   co m p lex   d ec i s io n   r eg io n s   b y   n o n li n ea r   i m p r o v e m en o f   h id d en   u n i ts   r ef er r ed   to   as  f u n c tio n al  li n k s .   F ig u r 2   s h o w s   t h to p o lo g ical  s tr u ct u r o f   t h E F L A NN.   T h is   m et h o d   is   ch ar ac ter ized   b y   s et  o f   F L ANN  w it h   d i f f er en s u b s et  o f   f ea tu r es.  L et   tak t h n u m b er   o f   o r i g in a f ea tu r es  o f   t h d ata   d o m ai n   is   n   an d   th n u m b er   o f   f ea t u r es  s elec ted   as  ch r o m o s o m o f   th g e n etic  p o p u lati o n   is   d f,   w h er d f   ≤  n .   T h d f   v ar ie s   i n   t h g en etic   p o p u latio n   f r o m   c h r o m o s o m e s   to   ch r o m o s o m e s   ( i.e . 1   d f     n ) .   Fo r   s i m p licit y ,   let  u s   d is c u s s   h o w   s i n g le  ch r o m o s o m w it h   d f   f ea t u r es i s   wo r k in g   co o p er ativ el y   f o r   E FLA N N.           Fig u r 2 .   T o p o lo g ical   Stru ctu r o f   th E F L A NN       I n   th is   p r o p o s ed   m et h o d ,   th g en er al  tr ig o n o m etr ic   f u n ctio n   is   u s ed   f o r   m ap p in g   t h d f   f ea t u r es  f r o m   lo w   to   h i g h   d i m e n s io n .   I n   o r d er   to   u s f u n ct io n   t h at  is   v er y   clo s to   th u n d er l y i n g   d is tr ib u tio n   o f   th d ata   s o m p r io r   d o m ain   k n o w led g is   r eq u ir ed .   H er f iv f u n c t io n s   ar tak e n   o u o f   w h ic h   f o u r   f u n ctio n s   ar tr ig o n o m etr ic  an d   o n e   f u n ctio n   is   lin ea r   ( i.e . ,   k ee p s   th e   o r ig in a f o r m   o f   th f ea t u r v a lu e) .   W ith in   t h f o u r   tr ig o n o m etr ic  f u n ctio n s   t w o   f u n ct io n s   ar s i n an d   o t h er   t wo   f u n ctio n s   ar co s i n e.   B y   u s i n g   th tr ig o n o m etr ic   f u n ctio n s   t h d o m ai n   is   f ea tu r v alu e s   an d   r an g is   r ea l n u m b er   lie s   b et w ee n   [ - 1 , 1 ] .   I t c a n   b r ep r esen ted   as     f : D o m a in →R a n g e [ - 1, 1]  {x}                            ( 4 . 1 )     W h er e,   Do m ai n ={   x i1   ,x i2   , · · · x idf  },   a n d   d f   r ep r esen ts   th e   n u m b er   o f   f ea t u r es.   L e u s   tak e   f 1 ,   f 2 ,   …. ,   f v   b th e   n u m b er   o f   f u n c tio n s   t h at  ar u s ed   to   e x p an d   ea c h   f ea t u r v al u o f   t h p atter n .   Hen ce ,   n o w   ea c h   in p u t p atter n   ca n   b r ep r esen te d   as     ̅ i = x i1   ,x i2   , · · ·   x idf  }→{ {f 1 ( x i1 )   ,   f 2 ( x i1 ) ,   · · ·   f v ( x i1 ) },   f 1 ( x i2 )   ,   f 2 (x i2 ) ,   · · ·   f v ( x i2 )           · · ·   {   f 1 ( x idf )   ,   f 2 ( x idf ) ,   · · ·   f v (   x idf ) }}   ={ y 11 ,y 21 ,   · · · y v1 },   y 12 ,y 22 ,   · · · y v2   · · ·   y 1df ,   y 2 df , · · ·   y v df                      ( 4 . 2 )     T h w ei g h t v ec to r   ex i s t b et w e en   h id d en   la y er   an d   o u tp u la y er   is   m u l tip lied   w it h   t h r es u lt an s e ts   o f   n o n li n ea r   o u tp u ts   a n d   ar s u p p lied   to   th o u tp u n e u r o n   as a n   i n p u t.  T h er ef o r e,   th w ei g h t ed   s u m   is   ca lc u lated   as f o llo w s :   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r S elec tio n   Usi n g   E v o lu tio n a r F u n ctio n a l Lin N eu r a l …   ( A ma r esh   S a h u )   363   Su m    = 1 .                           ( 4 . 3 )     W h er e,   i= 1 , 2 · · · an d   m   r ep r esen t s   th to tal  n u m b er   o f   ex p a n d ed   f ea tu r e s .   T h n et w o r k   h a s   t h ab ilit y   to   lear n   b y   u s i n g   P SO  tr ain i n g   p r o ce s s .   T h n et w o r k   tr ain in g   n ee d s   s et   o f   tr ain in g   d ata,   i.e . ,   s er ie s   o f   i n p u a n d   r elate d   o u tp u v ec to r s .   D u r in g   t h tr ai n i n g   p r o ce s s ,   th d ata  i s   r ep ea ted ly   p r esen ted   to   th n e t w o r k   a n d   w ei g h t s   ar ad j u s te d   b y   P SO  f r o m   ti m to   ti m ti ll  th d esire d   in p u t   to   o u tp u m ap p in g   i s   o b tain ed .   T h er ef o r th esti m ated   o u tp u t is ca l cu la ted   as  f o llo w s :     y o u t i   ( t)   f   ( s u m i ) ,   w h er e,   i =   1 , 2 · · ·                                       ( 4 . 4 )     T h er r o r   is   ca lcu lated   f o r   i th  p atter n   o f   tr ai n in g   s et  a s     er r o r i   ( t )   y i   ( t)     y o u t i   ( t) ,   w h er e,   i =   1 , 2 · · ·                                                     ( 4 . 5 )     So ,   th er r o r   cr iter io n   f u n ct io n   is   ca lcu lated   as     E r   ( t)     = 1                                        ( 4 . 6 )     Her e,   o u r   o b j ec tiv f u n ctio n   i s   to   m i n i m ize  t h er r o r   b y   ad j u s tin g   w ei g h ts   th r o u g h   C P SO  u n til ε  E r ,   w h er ε  i s   v er y   s m a ll  v al u e.   T h is   p r o ce s s   is   ap p lie d   r ep ea ted l y   f o r   ea ch   c h r o m o s o m es  o f   t h G A   a n d   s u b s eq u en t l y ,   b ased   o n   th e   p er f o r m a n ce   o f   ea c h   c h r o m o s o m w i ll b as s ig n ed   w it h   f it n e s s   v al u e.   Usi n g   t h is   f it n es s   v al u t h u s u al  p r o ce s s   o f   G A   is   e x ec u ted   u n til  w e   f in d   s o m g o o d   to p o lo g y   w h ich   ca n   ac h ie v e   an   ac ce p tab le  p r ed ictiv ac cu r ac y .     2 . 5 .   H ig h L ev el  Alg o rit h m s   f o E F L ANN   T h r eq u ir em e n t s   f o r   th n ea r   o p tim a E F L A NN  ar c h itect u r an d   r elate d   p ar am eter s   ca n   b o b tain ed   b y   u s i n g   b o th   g en e tic  alg o r it h m s   an d   P ar ticle  S w ar m   Op ti m izat io n   alg o r it h m   f o r   lear n in g .   E v o l u t io n ar y   g en et ic  alg o r it h m   u s e s   s to ch a s tic  s ea r ch   a n d   o p tim izatio n   m et h o d s .   So   GA   b ased   o n   f u n d a m e n tal  p r o ce s s ,   s u c h   as  r ep r o d u ctio n ,   r ec o m b i n atio n   a n d   m u tatio n .   An   alg o r ith m   o f   t h is   t y p s tar ts   w it h   s et  ( p o p u latio n )   o f   esti m ates  ( g e n e s ) ,   ca lled   in d i v id u al s   ( ch r o m o s o m es)  e n co d ed   p r o p er ly .   Fo r   s o lv i n g   th c lass i f icatio n   tas k   o f   d ata  m i n i n g   t h f it n es s   o f   ea c h   o n e   is   e v alu a ted   co r r ec tl y .   T h b est  f it  i n d i v id u al s   ar al lo w ed   to   m a k a n d   b ea r   o f f s p r in g   d u r i n g   ea ch   i t er atio n   o f   al g o r ith m .   T h P SO  is   p o p u latio n   b ased   al g o r ith m   u s ed   h er to   u p d ate  th w ei g h ts   i n   lear n in g   p r o ce s s .   Du r i n g   ev o l u tio n a r y   p r o ce s s   th le n g th   o f   ea c h   p ar ticle  h as  u p p er   b o u n d   n ,   r ep r esen ts   th f ea t u r v ec to r .   E ac h   ce ll  o f   th ch r o m o s o m h o ld s   b in ar y   v al u eith er   0   o r   1 ,   w h er e   th ce ll  v al u 1   r ep r esen ts   t h ac tiv atio n   an d   0   r ep r esen ts   d ea ctiv atio n   in   f u n ctio n al  ex p a n s io n   o f   i n d iv id u als.   Du r in g   ev o l u tio n   ea ch   in d i v i d u al  m ea s u r es  it s   ef f ec ti v en e s s   b y   th er r o r   cr ite r io n   f u n ct io n   th at  is   g iv e n   i n   E q u atio n   ( 4 . 6 )   an d   th en   t h p r ed ictiv a cc u r ac y   is   as s i g n ed   a s   it c o r r esp o n d in g   f it n es s .     2 . 6 .   P s eudo   co de  f o E F L ANN   T h s tep s   th at  ar f o llo w ed   b y   E FLA N ca n   b d escr ib ed   as f o llo w s :   1 .   Div is io n   o f   Data s et        Div id th d ataset  i n to   tr ain in g   a n d   test i n g   p ar ts   2 .   R an d o m   I n itia lizatio n   o f   I n d iv id u al         E ac h   in d iv id u al  I n itia lize  ea ch   in d i v id u al  r a n d o m l y   f r o m   t h d o m ain   {0 , 1 }   3 .   W h ile  ( T er m i n atio n   cr iter io n   is   n o m et )   4 .   Fo r   T h Po p u latio n         4 . 1   Fo r   e ac h   s a m p le  o f   th tr ain i n g   s e t         4 . 2   Ma p p in g   o f   I n p u t P atte r n   Ma p   ea ch   p atter n   f r o m   lo w   to   h ig h   d i m en s io n   b y   e x p an d i n g   ea ch   f ea t u r v al u ac co r d in g   t o   th p r ed ef in ed   s et  o f   f u n ctio n s .         4. 3   C alcu latio n   o f   W eig h te d   Su m        C alcu late  t h w ei g h ted   s u m   an d   f ee d   as a n   i n p u t to   t h n o d o f   th o u tp u t la y er .         4 . 4   C alcu late  T h E r r o r         C alcu late  t h er r o r   an d   ac c u m u late  i t.         4 . 5   U s P ar ticle  S w ar m   Op ti m izat io n   f o r   L ea r n i n g         Min i m ize  t h er r o r   b y   ad j u s tin g   w ei g h ts   u s i n g   P SO.         4 . 6   A s s i g n   T h Fit n e s s   Val u e      5 .   Fo r   T h P o p u latio n          5 . 1   R o u lette  W h ee l Sele cti o n   is   p er f o r m ed   to   o b tain   t h b etter   ch r o m o s o m es.      6 .   Fo r   T h P o p u latio n   Ob tain ed          6 . 1   P er f o r m   r ec o m b i n atio n          6 . 2   Mu tatio n      7 .   W h ile  E n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9     3 6 7   364   3.   E XP E R I M E NT A L   ST UDI E S   T h p er f o r m a n ce   o f   t h E FLAN m o d el  w a s   ev al u at ed   u s i n g   s et  o f   s ev e n   b en ch m ar k   class i f icatio n   d ataset s   lik I R I S,  W I NE ,   P I MA ,   B UP A ,   E C OL I ,   G L A S an d   VOW E L   f r o m   th Un i v er s it y   o f   C ali f o r n ia  at  I r v in ( UC I )   m a ch in lear n in g   r ep o s ito r y   [ 4 0 ] .   Fo r   class if y in g   s i x   o v er lap p in g   v o w el  class e s ,   w h av al s o   tak e n   VOW E L   d ataset  to   s h o w   th p er f o r m an ce   o f   E F L A NN  [ 4 1 ] .   W h av u s ed   M L P ,   FLAN w it h   g r ad ien d escen t   lear n in g ,   R B an d   HF L ANN  r esu lt s   co m p ar is o n   w it h   p r o p o s ed   m eth o d .   T ab le  1   s u m m ar ize s   th m ai n   ch ar ac ter is tics   o f   t h d atab ases   t h at  h av b ee n   u s ed   in   t h is   p ap er .       T ab le  . 1 .   Su m m ar y   o f   t h Dat asets   u s ed   in   S i m u lat io n   S t u d i es   S e r i a l   N o .   N a me   o f   D a t a se t   N o .   o f   p a t t e r n s   N o .   o f   a t t r i b u t e   N o .   o f   c l a sse s   1   I R I S   1 5 0   4   3   2   W I N E   1 7 8   13   3   3   P I M A   7 6 8   8   2   4   B U P A   3 4 5   6   2   5   EC O L I   3 3 6   7   8   6   G L A S S   2 1 4   9   6   7   V O W E L   8 7 1   3   6   8   Z O O   1 0 1   16   7       3 .1 .   P a ra m et er   Set up   B ef o r ev alu ati n g   th p r o p o s ed   E FLA NN  al g o r ith m ,   w n ee d   to   s et  th u s er   d ef i n ed   p ar am eter s   a n d   p r o to co ls   r elate d   to   th d atase t.  Her w h a v u s ed   t w o   f o l d   cr o s s   v a lid atio n   f o r   all   th e   d ataset  b y   r an d o m l y   d iv id in g   t h to tal   s et  o f   p atter n s   o f   d ataset   i n to   t w o   eq u al   p ar ts   a s   d ata s et1 . d at  an d   d ataset 2 . d at.   E ac h   o f   t h es e   t w o   s ets   o f   d ata s et  w a s   alter n ati v el y   u s ed   eit h er   as   tr ai n in g   s et  o r   a   test   s et   [ 2 2 ] .   T h q u al it y   o f   ea c h   in d iv id u al  o f   d ataset  is   m ea s u r ed   b y   th p r ed ictiv p er f o r m an ce   o b tain ed   d u r in g   tr ain in g .   W n ee d   to   s et  th o p tim a v al u es  o f   t h f o llo w i n g   p ar a m eter s   to   r ed u ce   th l o ca o p tim al it y .   T h p ar a m ete r s   w h a v u s ed   ar d escr ib ed   as  f o llo w s P o p u latio n   s ize:  T h s ize  o f   th p o p u latio n   d esi g n ated   as  | P | =5 0   is   f i x ed   f o r   all  th e   d atasets .   T h n u m b er   o f   i n p u t   f ea t u r es  i s   n .   He n ce   le n g th   o f   th in d i v id u al s   i s   f ix ed   to   n .   T h p r o b a b ilit y   f o r   cr o s s o v er   is   tak e n   a s   0 . 7   an d   th p r o b ab ilit y   f o r   m u ta tio n   is   0 . 0 2 .   T h to tal  n u m b er   o f   iter atio n s   w h av e   ap p lied   is   1 0 0 0   f o r   all  th d a tasets .   P ar a m eter s   o f   P SO  f o r   E FLA NN  tr a i n i n g   p r o ce s s   a r s et  s i m i lar l y   as   n eu r al   n et w o r k   tr ai n i n g   w it h   P SO [ 4 2 ] .   T h ML P   u s es   t w o   h id d en   la y er s   f o r   all  d atase ts .   I n   ea c h   h id d en   la y er   P   ×  n u m b er s   o f   n eu r o n s   ar tak en .   W h er e,   P   an d   ar th n u m b er   o f   in p u t n e u r o n s   an d   o u tp u t n e u r o n s .     3 . 2   Co m p a ra t iv P er f o rm a n ce   T h p r e d ictiv p er f o r m a n ce   ac h iev ed   f r o m   p r o p o s ed   E FL A N f o r   th ab o v m en tio n ed   d atasets   w er co m p ar ed   w it h   t h r es u lts   o b tain ed   f r o m   M L P ,   FLA N w ith   g r ad ien d esce n lear n in g ,   R B a n d   HFLA NN  r es u lt s .   T ab le  2   an d   T ab le  3   s u m m ar ize  t h co m p ar ativ av er a g tr ai n in g   a n d   te s p er f o r m a n ce s   o f   E FLAN w it h   o th er   ab o v m en tio n ed   m eth o d s .       T ab le  2 .   A v er ag C o m p ar ativ P er f o r m a n ce   o f   E F L A NN,   ML P   an d   R B F   D a t a se t s   A l g o r i t h ms   EFL A N N   M L P   RBF   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   IR IS   9 8 . 4 7 1 0   9 7 . 4 5 0 5   9 7 . 1 5 1 0   9 4 . 0 0 0 0   3 8 . 5 0 0 0   3 8 . 5 0 0 0   W I N E   9 9 . 7 5 6 0   9 0 . 5 6 0 0   9 6 . 1 4 1 0   9 2 . 2 9 2 0   8 5 . 3 9 3 5   7 9 . 2 1 3 0   P I M A   8 0 . 8 2 2 0   7 2 . 6 3 4 3   7 6 . 6 1 0 0   7 7 . 1 9 2 0   7 7 . 4 7 4 0   7 6 . 0 4 1 5   B U P A   7 7 . 9 8 3 0   6 9 . 3 7 9 8   6 7 . 5 2 2 0   6 7 . 3 9 0 0   7 1 . 0 1 2 5   6 6 . 9 5 3 0   EC O L I   5 5 . 3 6 3 0   5 0 . 9 7 3 0   4 6 . 9 6 0 0   4 5 . 2 6 5 0   3 1 . 1 7 8 0   2 6 . 1 1 0 0   G L A S S   6 3 . 7 5 9 0   5 1 . 7 5 2 5   4 3 . 2 8 4 0   4 0 . 9 8 0 0   4 8 . 9 8 6 5   3 4 . 6 4 4 0   V O W E L   4 0 . 8 2 1 0   3 8 . 6 6 3 5   3 8 . 2 5 0 0   3 7 . 4 5 0 0   2 5 . 2 5 5 5   2 4 . 3 2 5 0   Z O O   9 9 . 4 5 3 2   8 6 . 4 6 2 4   9 6 . 3 5 0 0   9 2 . 3 2 0 0   9 6 . 1 5 4 0   8 1 . 0 8 3 0                           Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r S elec tio n   Usi n g   E v o lu tio n a r F u n ctio n a l Lin N eu r a l …   ( A ma r esh   S a h u )   365   T ab le  3 .   A v er ag C o m p ar ativ P er f o r m a n ce   o f   E F L A NN,   HFLA NN  an d   R B F   D a t a s e t s   A l g o r i t h ms   EFL A N N   H F L A N N   F L A N N   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   I R I S   9 8 . 4 7 1 0   9 7 . 4 5 0 5   9 8 . 0 0 0 1   9 7 . 3 3 3 5   9 6 . 6 6 6 4   9 6 . 6 6 6 4   W I N E   9 9 . 7 5 6 0   9 0 . 5 6 0 0   9 9 . 4 3 8 0   9 0 . 4 4 9 5   9 7 . 1 9 1 0   8 8 . 7 6 4 0   P I M A   8 0 . 8 2 2 0   7 2 . 6 3 4 3   8 0 . 7 2 9 0   7 2 . 1 3 5 5   7 9 . 5 5 7 0   7 2 . 1 3 5 5   B U P A   7 7 . 9 8 3 0   6 9 . 3 7 9 8   7 7 . 6 8 2 0   6 9 . 2 7 8 5   7 7 . 9 7 2 5   6 9 . 2 8 0 0   EC O L I   5 5 . 3 6 3 0   5 0 . 9 7 3 0   5 5 . 1 6 7 0   5 0 . 8 0 2 0   4 9 . 9 6 2 5   4 7 . 3 0 7 5   G L A S S   6 3 . 7 5 9 0   5 1 . 7 5 2 5   6 3 . 5 5 6 5   5 1 . 5 0 7 5   6 0 . 7 5 1 0   5 0 . 3 8 0 0   V O W E L   4 0 . 8 2 1 0   3 8 . 6 6 3 5   4 0 . 4 3 9 5   3 8 . 1 9 6 5   2 7 . 9 2 5 0   2 4 . 7 2 2 0   Z O O   9 9 . 4 5 3 2   8 6 . 4 6 2 4   9 9 . 0 3 8 5   8 6 . 1 8 5 0   9 7 . 1 1 5 5   8 5 . 1 6 4 5       Fro m   T ab le  2   an d   T a b le  3 ,   w ca n   ea s il y   v er if y   t h at  ex c ep B UP A   ca s in   all  o t h er   ca s es  o n   a n   av er ag t h p r o p o s ed   m et h o d   E FLAN is   g i v in g   as s u r in g   r esu lt s   i n   b o th   tr ain i n g   an d   te s ca s es.  F L A NN  is   p er f o r m in g   b etter   i n   ca s o f   B UP A   d ataset.   Fi g u r 3   s h o w s   th e   p er ce n ta g o f   f ea t u r s elec ted   b y   t h e   E FLAN co m p ar to   HF L ANN  i n   t h co n te x t   o f   co m p r e h en s ib ilit y .   T h d ataset s   ar r ep r esen ted   b y   u s in g   X - a x is   an d   p er ce n tag e   o f   ac ti v b it s   i n   t h o p ti m al   ch r o m o s o m o b tai n ed   d u r i n g   t h tr ai n in g   ar r ep r esen ted   b y   u s i n g   Y - ax i s .           Fig u r 3 .   R ep r esen ts   t h P er ce n tag o f   Op ti m al  s et  o f   Select ed   Featu r es in   E FLAN a n d   HFLA NN       3 . 3 .   P re dict iv Acc ura c y   by   K no w ledg I nco rpo ra t io n   L et  u s   ta k n   b th e   to tal  n u m b er   o f   f ea t u r es   ex i s t   in   t h d ataset,   F 1   an d   F 2   d en o te   t h n u m b er   o f   f ea t u r s elec ted   b y   u s i n g   t h e   tr ain i n g   s et   1   a n d   test i n g   s et  2   alter n at iv el y .   No tat io n s   w it h   Me an i n g :   I NI   d en o tes  th e   to tal  n u m b er   o f   f e atu r es  i n   t h d ataset,   I F 1 I   r ep r esen t s   t h to tal  n u m b er   o f   s e le cted   f ea tu r e s   i n   test   s et  2 .   I F 2 I   r e p r esen ts   t h t o tal  n u m b er   o f   s elec ted   f e atu r es  i n   te s s et  1   a n d   | P A|   r ep r esen t s   t h e     p r ed ictiv ac cu r ac y .   T h f itn e s s   o f   t h ch r o m o s o m r elate d   to   F 1   is     f   ( F 1 )   |  | × | |  × | F 1 | | |                           ( 5 . 1 )     Si m i lar l y ,   t h f i tn e s s   o f   t h c h r o m o s o m r elate d   to   F 2   is     f   ( F 2 )   |  | × | |  × | F 2 | | |                           ( 5 . 2 )        r ep r esen ts   th p r ed ictiv ac c u r ac y   a n d   tr ad eo f f   b et w ee n   t w o   cr iter ia  an d   its   v al u is   ta k e n   as      0 . 0 1 .       T ab le  4 .   P r ed ictiv A cc u r ac y   o f   E FLAN b y   K n o w led g I n co r p o r atio n   w it h      = 0 . 0 1   D a t a se t s   N   P r e d i c t i v e   A c c u r a c y   o f   Te st   S e t   1   C h r o mo so me   P r e d i c t i v e   A c c u r a c y   o f   Te st   S e t   1   C h r o mo so me   I R I S   4   9 6 . 1 0 0 1   9 7 . 3 2 6 0   W I N E   13   9 0 . 0 1 1 0   9 1 . 1 2 6 4   P I M A   8   7 1 . 6 5 2 5   7 2 . 9 6 4 8   B U P A   6   7 0 . 5 3 4 6   6 8 . 9 6 0 2   EC O L I   7   5 4 . 8 9 3 9   4 6 . 9 0 2 0   G L A S S   9   5 7 . 4 3 7 4   4 5 . 9 8 2 4   V O W E L   3   3 5 . 1 2 6 3   4 0 . 1 3 9 5   Z O O   16   8 7 . 9 4 9 2   8 4 . 9 2 1 2   0 10 0 IRIS PI… E C… VO… Per c e n tage  o Feat u r e   S e l e c te d   D atase ts   Per c e n tage  o f Feat u r e   S e l e c te d   H FLAN N E FLAN N Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9     3 6 7   366   4.   CO NCLU SI O N   I n   th is   s tu d y ,   th p r o p o s ed   E FLAN m eth o d   is   u s ed   f o r   th tas k   o f   d ata  m in i n g .   I t   h as  g i v en   i m p o r tan ce   to   t h s e lectio n   o f   o p tim a l set   o f   f ea t u r es a n d   it  h as a ls o   e n h a n ce d   t h clas s i f ica tio n   ac cu r ac y .   T h class i f icatio n   p er f o r m an ce   o f   E FLAN m o d el  is   p r o m is i n g   as  d em o n s tr ated   in   e x p er i m e n tal  s t u d ies.  Her e   th ar ch itect u r al  co m p le x it y   i s   lo w   b u t,  tr ai n in g   ti m is   m o r th an   F L A NN.   A l s o   it  is   s h o w n   th at  E F L A N N   h as  b etter   f ea t u r s el ec tio n   ca p ab ilit y   th a n   HF L A N N.   T h er ef o r e,   th is   m o d el  ca n   b u s ed   in   class i f icatio n   task s   o f   d ata  m i n i n g .       RE F E R E NC E S   [1 ]   F a y y a d U .   A n d   Uth u ru sa m y R . Da ta  M in in g   a n d   Kn o w le d g e   Dis c o v e r y   in   Da tab a se s.  Co m m u n . ACM ,   3 9 2 4 - 2 7 .   1 9 9 6 .   [2 ]   F a y y a d U M .,  P iate tsk y - S h a p iro G . ,   A n d   S m y th P . F r o m   Da ta   M in i n g   to   Kn o w led g e   Disc o v e r y :   A n   O v e rv i e w .   In   U M F a y y a d G P iate tsk y -   S h a p iro ,   &   P S m y th   ( Ed s . ),   A d v a n c e in   Kn o w led g e   Disc o v e r y   a n d   Da ta  M in in g   , P p .   1 3 4 , .   M e n lo   P a rk CA AA A P re ss   , 1 9 9 6 .   [3 ]   Ag ra w a l R .,  I m ielin sk i T . ,   A n d   S w a m A . Da tab a s e   M in in g P e rf o r m a n c e   P e rsp e c ti v e .   IEE T r a n s Kn o w led g e   Da ta E n g ,   5 ,   P p .   9 1 4 - 9 2 5 ,   1 9 9 3 .   [4 ]   Ja m e s M . Clas sif ic a ti o n   A lg o rit h m s . W il e y ,   1 9 8 5 .   [5 ]   Bre i man L .,  F ried m a n J . H .,  Olsh e n ,   R . A . ,   A n d   S t o n e   C . J . C las sif ic a ti o n   a n d   Re g re ss io n   L e a rn in g M o rg a n   Ka u fm a n ,   1 9 8 4 .   [6 ]   Krie g e l H . P . ,   Et   A l. F u tu re   T re n d in   Da ta  M in in g .   Da ta  M in in g   a n d   Kn o w led g e   Disc o v e r y ,   1 5 ( 1 ),   8 7 9 7 .   Ne th e rlan d s S p rin g e r ,   2 0 0 7 .   [7 ]   Du d a R . O . ,   Ha rt P . E .   a n d   S to rk   D . G . P a tt e rn   Clas sif ica ti o n .   W il e y Ne w   Yo rk ,   2 0 0 1 .   [8 ]   G o ld b e rg D . E . G e n e ti c   A lg o rit h m s in   S e a rc h ,   Op ti m iza ti o n   a n d   M a c h in e   L e a rn in g .   M o rg a n   Ka u f m a n n ,   1 9 8 9 .   [9 ]   Zh a n g G . P . Ne u ra l   Ne tw o rk f o Clas sif ica ti o n ,   S u rv e y .   IEE T ra n sa c t io n o n   S y ste m s M a n C y b e rn e ti c s - P a rt  C A p p li c a ti o n   a n d   Re v iew s ,   3 0 (4 ),   P p .   4 5 1 4 6 1 ,   2 0 0 0 .   [1 0 ]   Zh a n g G . P . A v o id in g   P it f a ll in   Ne u ra Ne t w o rk   Re se a r c h .   IEE T ra n sa c ti o n on  S y ste m s M a n   a n d   Cy b e rn e ti c s - P a rt  C A p p li c a ti o n a n d   Re v iew s ,   3 7 (1 ),   P p .   3 1 6 ,   2 0 0 7.   [1 1 ]     M c c u ll o c h ,   W .,  P it ts W . L o g ica C a lcu lu o f   th e   Id e a s   I m m a n e n in   Ne rv o u A c ti v it y .   Bu ll e ti n   o f   M a th e m a ti c a Bio p h y sic 7 ,   1 1 5 - 1 3 3 ,   1 9 4 3 .   [1 2 ]   G il e s   C L .,  M a x w e ll T .,  Lea rn in g   In v a rian c e ,   a n d   G e n e ra li z a ti o n   in   A   Hig h e Ord e Ne u ra N e tw o rk .   A p p li e d   Op ti c 2 6 ( 2 3 ) ,   4 9 7 2 - 4 9 7 8 ,   1 9 8 7 .   [1 3 ]   M in sk y M .,  P a p e rt S . P e rc e p tr o n s . T h e   M IT   P re ss ,   1 9 6 9 .   [1 4 ]   W id ro w B .,  Ho M E . A d a p ti v e   S w it c h in g   Circu it s.  IRE  W ES C ON   Co n v e n ti o n   Re c o r d ,   9 6 - 1 0 4 ,   1 9 6 0 .   [1 5 ]   W id ro w B .,  L e h r M . 3 0   Ye a rs  Of   A d a p ti v e   N e u ra Ne t w o rk s P e rc e p tr o n ,   M a d a li n e ,   a n d   Ba c k - P ro p a g a ti o n .   P r o c e e d in g Of   IEE 7 8 (9 ),   1 4 1 5 - 1 4 4 2 ,   1 9 9 0 .   [1 6 ]   G il e s C L .,  M a x w e ll T . L e a rn in g ,   In v a rian c e   a n d   G e n e ra li z a ti o n   in   Hig h e r - Ord e Ne u ra Ne tw o rk s.  A p p l Op t 2 6 ( 2 3 ),   4 9 7 2 - 4 9 7 8 ,   1 9 8 7 .   [1 7 ]   [1 7 ]   P a o Y H . A d a p ti v e   P a tt e rn   Re c o g n it io n   a n d   Ne u ra Ne tw o rk Re a d in g MA A d d iso n - W e sle y ,   1 9 8 9 .   [1 8 ]   Yo u n g M . T h e   T e c h n ica W rit e r' s Ha n d b o o k M il l   V a ll e y CA   Un iv e rsit y   S c ien c e ,   1 9 8 9 .   [1 9 ]   V e n k a tes h S S Ba l d i P . P r o g ra m m e d   In tera c ti o n i n   Hig h e r   Ord e Ne u ra Ne tw o rk s:  M a x i m a Ca p a c it y .   J Co m p lex it y   7 ,   3 1 6 - 3 3 7 ,   1 9 9 1 .   [2 0 ]   A n t y o m o v E .   A n d   P e c h t O Y . M o d ifi e d   Hig h e Ord e Ne u ra Ne tw o rk   f o In v a ri a n P a tt e rn   Re c o g n it io n .   P a tt e rn   Re c o g n it io n   L e tt e rs  2 6   ,   8 4 3 - 8 5 1 ,   2 0 0 5 .   [2 1 ]   P a o Y . H . ,   P h il ip s S M . T h e   F u n c ti o n a L in k   Ne L e a rn in g   Op ti m a Co n tro l.   Ne u r o   Co m p u ti n g   9 , 1 4 9 - 1 6 4 ,   1 9 9 5 .   [2 2 ]   M isra B B .,  De h u ri S . F u n c ti o n a L in k   Ne u ra Ne t w o rk   F o Clas sifi c a ti o n   T a sk   in   Da ta  M in in g .   Jo u r n a o f   Co m p u ter S c ien c e   3 (1 2 ),   9 4 8 - 9 5 5 ,   2 0 0 7 .   [2 3 ]   M irea L .,  M a rc u T . S y ste m   Id e n ti c a ti o n   Us in g   F u n c ti o n a L in k   Ne u ra Ne t w o rk W it h   D y n a m ic   S tru c tu re .   1 5 th   T rien n ial  W o rld   Co n g re ss B a rc e lo n a S p a in ,   2 0 0 2 .   [2 4 ]   Ca ss R .,  Ra d l B . A d a p ti v e   P ro c e ss   Op ti m iza ti o n   Us in g   F u n c ti o n a L in k   Ne t w o rk a n d   Ev o lu ti o n a ry   A lg o rit h m s.   Co n tr o E n g P ra c ti c e   4 (1 1 ),   1 5 7 9 - 1 5 8 4 ,   1 9 9 6 .   [2 5 ]   S h in Y .,  G h o sh J . T h e   Pi - S ig m a   Ne t w o rk s:  A n   E c ien Hig h e Ord e Ne u ra Ne t w o rk   f o P a tt e rn   Clas sifi c a ti o n   a n d   F u n c ti o n   A p p ro x im a ti o n .   P ro c e e d in g o f   In tern a ti o n a Jo i n C o n f e re n c e   on  Ne u ra Ne tw o rk s ,   1 3 - 1 8 ,   1 9 9 1 .   [2 6 ]   S h in Y .,  G h o sh J . C o m p u tatio n a ll y   E c ien In v a rian P a tt e rn   Re c o g n it i o n   W it h   Hig h e O rd e P i - S ig m a   Ne tw o rk s.  T h e   U n iv e rsit y   o f   T e x a A A u stin T e c h Re p o rt ,   1 9 9 2 .   [2 7 ]   Zh u Q .,  Ca i Y .,  L iu L . G lo b a L e a rn in g   A l g o rit h m   F o A   RBF   Ne tw o rk .   Ne u ra Ne t w o rk 1 2 ,   5 2 7 - 5 4 0 ,   1 9 9 9 .   [2 8 ]   Li M .,  T ian J .,  C h e n F . Im p ro v in g   M u lt icla ss   P a tt e rn   Re c o g n it io n   W it h   A   Co - Ev o lu ti o n a ry   RBF NN P a tt e rn   Re c o g n it io n   L e tt e rs  2 9 ,   3 9 2 - 4 0 6 ,   2 0 0 8 .   [2 9 ]   S h in Y . ,   G h o sh J . :   Rid g e   P o ly n o m ial  N e t w o rk s.  IEE T ra n sa c ti o n s Ne u ra Ne tw o rk 6 (2 ),   6 1 0 - 6 2 2 .   1 9 9 5 .   [3 0 ]   S h in Y .,  G h o sh J . A p p ro x im a ti o n   Of   M u lt iv a riate   F u n c ti o n Us in g   Rid g e   P o ly n o m ial  Ne t w o rk s.  P r o c e e d in g o f   In tern a ti o n a Jo in C o n f e re n c e   o n   Ne u ra Ne tw o rk s II ,   3 8 0 - 3 8 5 ,   1 9 9 2 .   [3 1 ]   P a o Y . H . ,   P h il li p s S . M . ,   S o b a j ic D . J . Ne u ra l - Ne C o m p u ti n g   a n d   In telli g e n t   Co n tro l   S y ste m s,  In tern a ti o n a l   Jo u rn a o f   Co n tr o S y ste m 5 6 (2 ),   2 6 3 - 2 8 9 ,   1 9 9 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r S elec tio n   Usi n g   E v o lu tio n a r F u n ctio n a l Lin N eu r a l …   ( A ma r esh   S a h u )   367   [3 2 ]   M ish ra B . B .,   De h u r i S . F u n c t io n a L in k   A rti f icia Ne u ra Ne t w o rk   F o Clas si f ic a ti o n   T a sk   in   Da ta  M in in g .   Jo u rn a o f   Co m p u ter S c ien c e   3 ,   9 4 8 - 9 5 5 ,   2 0 0 7 .   [3 3 ]   De h u ri S .,  Ch o   S . B . Ev o l u ti o n a r y   Op ti m i z e d   F e a tu re in   F u n c ti o n a L in k   Ne u ra Ne tw o rk   F o Clas sif ic a ti o n .   Ex p e rt  S y ste m   A n d   A p p li c a ti o n 3 7 ,   4 3 7 9 - 4 3 9 1 ,   2 0 1 0 .   [3 4 ]   De h u ri S . ,   Ch o   S . B . H y b rid   Ge n e ti c   Ba se d   F u n c ti o n a L in k   A rti f icia Ne u ra Ne t w o rk   W it h   A   S tatisti c a l   Co m p a riso n   o f   Clas sif iers   O v e M u lt i p le Da tas e ts.   Ne u ra Co m p u ti n g   A p p li c a ti o n s   1 9 ,   3 1 7 - 3 2 8 ,   2 0 1 0 .   [3 5 ]   De h u ri S .,  Ro y   R .,  Ch o   S . B .,  G h o sh   A . :   A n   I m p ro v e d   S w a r m   Op ti m i z e d   F u n c ti o n a L in k   A rti f icia Ne u ra Ne tw o rk   ( IS O - F LA NN F o Clas sif ica ti o n .   T h e   Jo u rn a o f   S y ste m s   A n d   S o f tw a re   8 5 ,   1 3 3 3 - 1 3 4 5 ,   2 0 1 2 .   [3 6 ]   Eb e rh a rt R . C . ,   Ke n n e d y   J . Ne w   Op ti m ize U sin g   P a rti c l e   S wa r m   T h e o r y .   P ro c e e d in g s   Of   T h e   S ix th   In tern a ti o n a S y m p o siu m   On   M ic ro   M a c h i n e   A n d   Hu m a n   S c ien c e Na g o y a Ja p a n P p .   3 9 4 3 ,   1 9 9 5 .   [3 7 ]   Clerc   M .,  Ke n n e d y   J . T h e   P a rti c le  S wa r m   Ex p lo sio n ,   S tab il it y   a n d   Co n v e rg e n c e   In   A   M u lt id im e n sio n a Co m p lex   S p a c e .   IEE T ra n s E v o C o m p u 2 0 0 2 , 6 (1 ) ,   5 8 7 3 ,   2 0 0 2 .   [3 8 ]   Eb e rh a rt R .,  S h i Y . Co m p a rin g   In e rti a   W e ig h ts  a n d   Co n stri c ti o n   F a c to rs  i n   P a rti c le  S w a rm   Op ti m iza ti o n .   P r o c e e d in g o f   T h e   Co n g re ss   On   Ev o lu ti o n a ry   Co m p u tatio n   ( CEC 2 0 0 0 ),   P p .   8 4 8 8 ,   2 0 0 0 .   [3 9 ]   M a jh R .,  P a n d a   G .   A n d   S a h o o   G . De v e lo p m e n a n d   P e rf o rm a n c e   Ev a lu a ti o n   Of   F LA NN   Ba s e d   M o d e F o r   F o re c a stin g   o f   S to c k   M a rk e ts,   Ex p e rt  S y ste m W it h   A p p li c a ti o n 3 6 ,   P p .   6 8 0 0 6 8 0 8 ,   2 0 0 9 .   [4 0 ]   Blak e C . L .,  M e rz C . J . UCI  Re p o sit o ry   o f   M a c h in e   L e a rn in g   Da tab a se s Http :/ /W ww . Ic s.Uc i. Ed u /~ M lea r n /M lrep o sito ry . Ht m l   [4 1 ]   P a l S . K .,  M a j u m d a r D . D . F u z z y   S e ts  a n d   De c isio n   M a k in g   A p p ro a c h e in   Vo w e a n d   S p e a k e Re c o g n it io n IEE E   T ra n sa c ti o n on  S y ste m s M a n ,   A n d   Cy b e rn e ti c 7 ,   6 2 5 6 2 9 ,   1 9 7 7 .   [4 2 ]   Ca r v a lh o M .   A n d   L u d e r m ir T . B . H y b rid   T ra in in g   o f   F e e d - F o rw a rd   N e u ra Ne t w o rk s   W it h   P a rti c le  S w a r m   Op ti m iza ti o n I Ki n g   Et   A l.   ( Ed s . ):  ICON IP   2 0 0 6 ,   P a rt   II , L NCS  4 2 3 3 ,   P p .   1 0 6 1 1 0 7 0 ,   2 0 0 6 .   [4 3 ]   De h u ri S . ,   M ish ra B . B . ,   Ch o   S . B . G e n e ti c   F e a tu re   S e lec ti o n   F o r   Op ti m a F u n c t io n a L in k   A rti f icia Ne u ra l   Ne tw o rk   in   Clas si f ica ti o n IDEA L   2 0 0 8 ,   L NCS  5 3 2 6 ,   P p . 1 5 6 - 1 6 3 ,   2 0 0 8 .   [4 4 ]   Hsu C . W .,  L in C . J . Co m p a riso n   Of   M e th o d F o M u lt i - C las S u p p o rt   V e c to M a c h i n e s IEE T ra n sa c ti o n   o n   Ne u ra Ne tw o rk s . 3   (2 ),   P p .   4 1 5 - 4 2 5 .   2 0 0 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.