I nte rna t io na l J o urna l o f   A dv a nces in Applie d Science s   ( I J AAS)   Vo l.   6 ,   No . 4 ,  Dec em b er   2 0 1 7 ,   p p .   3 5 9 ~3 6 7   I SS N:  2252 - 8814          359       J o ur na l ho m ep a g e :  h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J AAS   Feature  Selec tion  U sing  Ev o lutiona ry  F unc tiona l Lin k   Neura l  Netw o rk  f o r Clas sifica tion       A m a re s h Sa h u 1 ,  Sa by a s a chi P a t t na ik 2   1 Co m p u ter S c ien c e   En g in e e rin g   De p a rtme n t,   S OA   Un iv e rsit y   Bh u b a n e sw a r,   Od ish a   7 5 1 0 3 0 ,   In d ia   2 I n f o rm a ti o n   &   Co m m u n ica ti o n   T e c h n o lo g y   De p a rt m e n t,   F a k ir  M o h a n   U n iv e rsity ,  Ba las o re ,   Od ish a   7 5 6 0 1 9 ,   I n d ia         Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Sep   1 7 ,   2 0 1 7   R ev i s ed   No v   1 8 ,   2 0 1 7   A cc ep ted   No v   2 3 ,   2 0 1 7       Co m p u tatio n a l  ti m e   is  h ig h   f o r  M u lt il a y e r  p e rc e p tro n   (M L P )  tra in e d   w it h   b a c k   p ro p a g a ti o n   lea rn in g   a lg o rit h m   (BP )  a lso   th e   c o m p le x it y   o f  t h e   n e tw o rk   in c re a se s  w it h   th e   n u m b e r  o f   la y e rs  a n d   n u m b e r  o f   n o d e s  i n   la y e rs.  In   c o n tras t  to   M L P ,   f u n c ti o n a l  li n k   a rti f icia l  n e u ra l  n e t w o rk   (F LA N N)  h a s  les s   a rc h it e c tu ra l  c o m p lex it y ,   e a sie r   to   tra i n ,   a n d   g iv e s  b e tt e r  re su lt   i n   t h e   c las si f ica ti o n   p ro b lem s.  T h e   p a p e r  p ro p o se d   a n   e v o lu ti o n a ry   f u n c ti o n a l  li n k   a rti f icia l  n e u ra l  n e t w o rk   (EF LA N N)  u sin g   g e n e ti c   a lg o rit h m   (GA )  b y   e li m in a ti n g   f e a tu re s h a v in g   li tt le  o r  n o   p re d ictiv e   in f o rm a ti o n .   P a rt icle   s w a r m  o p ti m iza ti o n   ( P S O)  is  u se d   a s  lea rn in g   to o l  f o r  so lv in g   th e   p ro b lem   o f  c las si f ica ti o n   in   d a ta m in in g .   EF L A N N o v e rc o m e s   th e   n o n - l in e a rit y   n a tu re   o f  p ro b lem s  b y   u sin g   th e   f u n c ti o n a ll y   e x p a n d e d   se lec ted   f e a tu re s,   w h ich   is  c o m m o n l y   e n c o u n tere d   i n   sin g le  la y e r  n e u ra l  n e tw o rk s.  T h e   m o d e l  is   e m p iri c a ll y   c o m p a re d   to   M L P ,   F LA NN   g ra d ien t  d e sc e n t  lea rn in g   a lg o rit h m ,   Ra d ial  Ba sis  F u n c ti o n   (RBF )  a n d   H y b rid   F u n c ti o n a l  L in k   Ne u ra l  Ne t w o rk   (HFL A NN ) .   T h e   re su lt s  p ro v e d   th a t  t h e   p ro p o se d   m o d e l  o u t p e rf o r m s  th e   o th e r  m o d e ls.     K ey w o r d :   Fu n ctio n al  l in k   n e u r al  n et w o r k   Gen etic  al g o r ith m   P ar ticle   s w ar m   o p ti m izatio n   C o p yrig h t  ©   201 7   I n s t itu te  o f  A d va n ce d   E n g i n ee r in g   a n d   S c ien ce .    A ll ri g h ts   r ese r ve d .   C o r r e s p o nd ing   A uth o r :   Am ar es h   Sa h u ,   Co m p u ter S c ien c e   En g in e e rin g   D e p a rtme n t ,    S OA   Un iv e rsit y   Bh u b a n e sw a r,     Od is h a  7 5 1 0 3 0 ,   I n d ia.   E m ail:  a m ar es h _ s ah u @ y ah o o . co m       1.   I NT RO D UCT I O N     C las s i f icatio n   tas k   i s   o n e  o f   t h e  m o s t  i m p o r tan t  r esear ch   ar ea   o f   d ata  m i n i n g .   A   lo t   o f   r e s ea r ch   h as   f o cu s ed   o n   th e  f ield   o v er   th e  l ast  s ev er al  y ea r s   [ 1 -   3 ] .   T h e  D ata  m in in g   is   a  p r o ce s s   o f   d is co v er in g   k n o w l ed g e   f r o m   lar g e  g a m u t  o f   d ata.   Var io u s   clas s i f icatio n   m o d els  i n   th is   r eg ar d .   M.   J am e s   [ 4 ]   h a s   u s ed   a  lin ea r   o r   q u ad r atic  d is cr i m i n ate s   tec h n iq u e s   f o r   s o lv i n g   p r o b le m s   in   c lass if ica tio n .   An o t h er   p r o ce d u r e  h as  b ee n   e m p lo y ed   b y   u s in g   d ec is io n   t r ee s   [ 5 ,   6 ] .   I n   th e  s a m e   p er s p ec tiv e  D u d a  et  al.   [ 7 ]   h as  p r o p o s ed   d is cr i m in a n t   an al y s is   b ased   o n   th e  B a y e s ia n   d ec is io n   t h eo r y ,   h o w ev er   h e  h as  m e n tio n ed   tr ad itio n al  s t atis tical  m o d el s   ar e  b u ilt  m ai n l y   o n   v ar io u s   li n ea r   a s s u m p tio n s .   T o   o v er co m e   s u ch   d is ad v a n ta g e,   ar ti f icial   i n tellig e n t   to o ls   h av e   b ee n   e m er g ed   to   s o lv e   clas s i f icatio n   p r o b le m s   in   d ata  m i n in g .   Fo r   th is   r ea s o n ,   m a n y   g en et ic  al g o r ith m s   m o d el s   w er e   u s ed   [ 8 ] .   I n   a   r ec en t  s t u d y ,   Z h an g   h a s   i n tr o d u ce d   th e  n e u r al  n et w o r k s   tec h n iq u e  as   a  p o w er f u l   class i f icatio n   to o l  [ 9 - 1 0 ] .   I n   r ec en t  y ea r   A r tific ial  Neu r al  Net w o r k s   ( A NN s )   h av e  g ain ed   e x p en s iv e   p o p u lar it y   in   r esear c h   ac ti v iti es.  ANNs  ar e  g e n er all y   i m p le m en ted   as  a  d ata - b ased   tech n i q u es  in   p er f o r m i n g   n o n li n ea r   s y s te m   id e n ti f icatio n   o f   co m p lex   p r o ce s s e s .   A N Ns  h a v e  b ee n   u s ed   in cr ea s i n g l y   as  a  p r o m i s in g   m o d eli n g   to o l  i n   a l m o s t  all   h u m an   r elate d   ac ti v it y   ar ea s   w h e r e  q u an ti tati v e  ap p r o ac h es  ca n   b e  u s ed   to   h e lp   in   d ec is io n   m a k i n g   e. g   f u n ctio n al  ap p r o x i m atio n ,   r u le  ex tr ac tio n ,   p atter n   r ec o g n is at io n   an d   class if ica tio n ,   f o r ec asti n g   a n d   p r ed ictio n ,   b u s i n ess   elec tr ical  e n g in ee r i n g ,   m ed ical  a n d   ci v il  e n g i n ee r in g .   M u ltil a y er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9   –   3 6 7   360   p er ce p tr o n s   ( ML P s )   ar e   th e  m o s t  co m m o n   t y p e  o f   n eu r al  n e t w o r k s   ap p lied   s u cc ess f u ll y   f o r   id en tif icatio n   an d   co n tr o l  o f   a   v ar iet y   o f   n o n li n e ar   p r o ce s s es.  Var io u s   r esear ch   ac tiv i ties   h a v e  b ee n   d o n e  f r o m   Mc c u llo c h - p itt s   m o d el  o f   n eu r o n   [ 1 1 ]   to   h i g h e r   o r d er   n eu r o n   [ 1 2 ]   ar e  co n s id er ab le  an d   liter atu r e  i s   g r o w i n g   m ass iv el y   d a y   b y   d ay .   Feed   f o r w ar d   n et w o r k s   w h ic h   b ased   o n   s i n g le   la y er   o f   li n ea r   t h r es h o ld   lo g ic  u n its   e x h ib it   f a s t  lear n i n g .   e. g   th e  s i m p le  p er ce p tr o n   [ 1 3 ]   ca n   s o lv e  a  lin ea r l y   s ep ar ab le  p r o b lem   in   a  f in i te  n u m b er   o f   lear n in g   s tep s ,   h o w ev er ,   it  d o es  n o t  co n v er g e  o r   ap p r o x im a te  n o n li n ea r   d ec is io n   m ak i n g   p r o b lem s .   B y   u s in g   g r ad ien t   d escen t le ar n in g   al g o r ith m   to   ad j u s t th e  w ei g h ts   ad li n e  [ 1 4 - 1 5 ]   tr ies to   f in d   a  s o l u tio n   w h i ch   m in i m i s e  a  m ea n   s q u ar e  er r o r   cr iter io n .   B u t  it  d is cr i m i n atio n   ca p ab ilit y   is   al s o   li m ited   to   lin ea r l y   s ep ar ab le  p r o b lem s .   Ma n y   r ea l  p r o b lem s   in v o lv e  ap p r o x i m ati n g   n o n li n ea r   f u n ctio n s   o r   f o r m in g   m u ltip le  n o n li n e ar   d ec is io n   r eg io n s   li m it s   t h e  ap p licab ilit y   o f   s i m p le  s in g le  la y er ed   n et w o r k s   o f   li n ea r   th r es h o ld   u n it.  B y   ad d in g   o f   a  la y er   o f   h id d en   u n its   d r a m at icall y   i n c r ea s ed   th e  p o w er   o f   la y er ed   f ee d   f o r w ar d   n et w o r k s .   I n   ML P   u s i n g   t h e  b ac k   p r o p ag atio n   ( B P)  lear n in g   al g o r ith m   h as  b ee n   s u cc e s s f u ll y   ap p lied   to   m an y   ap p licatio n   p r o b lem s .   Ho w e v er ,   th e  tr ain i n g   s p ee d   o f   ML P s   ar e  ty p ical l y   s lo w er   t h an   t h o s e  f o r   f ee d   f o r w ar d   n et w o r k s   co n s is t  o f   a  s in g le  la y er   o f   lin ea r   t h r es h o ld   u n i ts   d u e  t o   b ac k   p r o p ag atio n   o f   er r o r   i n tr o d u ce d   b y   m u lti  la y er i n g .   Ho w e v er   p r o b lem s   o cc u r   in   M L P   tr ain i n g   ar e  lo c al  m i n i m a  tr ap p in g ,   s at u r atio n ,   w ei g h t  i n ter f er e n ce ,   i n itial   w ei g h t  d ep en d en ce   an d   o v er   f i tti n g .   Als o   it i s   v er y   d if f ic u lt to   f i x   t h e  p ar a m eter s   lik e   n u m b er   o f   n e u r o n s   i n   a  l a y er   an d   n u m b er   o f   h id d en   la y er s   i n   a  n et w o r k .   So   d ec id in g   a  p r o p er   ar ch itectu r e  is   d i f f icu l t.  A n   ea s y   wa y   to   av o id   th e s e   m en tio n ed   p r o b lem s   co n s i s ti n g   o f   r e m o v i n g   th e  h id d en   la y er s .   T h e  r em o v i n g   p r o ce s s   s h o u ld   b e  ca r r ie d   o u t   w it h o u t  g i v i n g   u p   n o n   li n ea r it y .   P r o v id ed   th at  th e  in p u t  la y e r   is   en - d o w n ed   w it h   ad d itio n a l  h ig h er   o r d er   u n its   [ 1 6 - 1 8 ] .   I n   o th er   w o r d s   h i g h e r   o r d e r   co r r elatio n s   a m o n g   i n p u t  co m p o n en ts   ca n   b e  u s ed   to   co n s tr u ct  a  h i g h er   o r d er   n et w o r k s   to   p er f o r m   n o n li n ea r   m ap p in g   u s i n g   o n l y   a   s in g le  la y er   o f   u n it s   [ 1 6 ] .   A l l  th ese  i n d icate   t h e  f ield   o f   HON s   [ 1 9 - 2 0 ]   lik e  f u n ctio n al  l in k   n e u r al  n et w o r k s   [ 2 1 - 24 ] ,   p i - s ig m a  n eu r al  n et wo r k s   [ 2 5 - 2 6 ] ,   r a d ial  b asis   f u n ctio n s   [ 2 7 , 2 8 ]   an d   p o l y n o m ial  n eu r al  n et w o r k s   ( R P NNs)  [ 2 9 , 3 0 ]   an d   s o   o n .     A   d ir ec tio n   is   g i v e n   b y   p ao   an d   p ao   et  al ,   th at  f u n ctio n al  lin k s   n e u r o n s   m a y   b e  co n v e n ie n t l y   u s ed   f o r   f u n ctio n   ap p r o x i m atio n   w it h   f aster   co n v er g en ce   r ate  a n d   les s er   co m p u tatio n al  lo ad   th a n   ML P   [ 3 1 ] .   FL A N N   w it h   g r ad ien t  d esce n t   m et h o d   h as  ac h ie v ed   g o o d   r esu lt s   i n   c lass i f icatio n   ta s k   o f   d ata   m in i n g .   A ls o ,   d i f f er e n t   s et  o f   o r th o g o n al  b asi s   f u n cti o n s   h a v e  b ee n   s u g g ested   f o r   f ea tu r e  ex p an s io n   [ 3 2 ] .   FLAN N  is   b asicall y   a  f lat  n et w o r k   w it h o u t   r eq u ir in g   h i d d en   la y er s   a n d   h a s   s i m p le  lear n in g   r u le.   Fo r   en h a n cin g   th e   clas s i f icatio n   ac cu r ac y   t w o   F L A NN  b ased   class i f ier s   w it h   g e n etic  al g o r ith m s   h av e  b ee n   d ev elo p ed   [ 3 3 - 3 4 ] .   I n   FLA N N  th e   d i m en s io n al it y   o f   in p u t  v ec to r   is   a ls o   e f f ec ti v el y   i n cr ea s ed   b y   u s i n g   f u n ctio n al  e x p an s io n   o f   t h e   in p u t  v ec to r  an d   h e n ce   t h e  h y p er   p lan e s   g en er ated   b y   t h e  F L A N N  p r o v id in g   g r ea ter   d is cr i m in at in g   ca p ab ilit y   o f   i n p u t   p atter n s .   A lt h o u g h   F L A N N  u s in g   t h e  g r ad ien t  d esce n t  g i v e s   p r o m is i n g   r es u lts ,   s o m et i m e s   it  m a y   b e  tr ap p ed   in   lo ca l  o p ti m al  s o lu tio n s .   Mo r eo v er   FLA N N  co u p led   w it h   g en et ic  alg o r it h m s   m a y   s u f f er   w i th   p r o b le m s   lik e   h ea v y   co m p u tatio n al  b u r d e n s   an d   lar g e  n u m b er   o f   p ar a m et er s   tu n i n g .   T h en   P SO  h as  b ee n   i m p le m e n ted   f o r   class i f icatio n   [ 3 5 ]   s u f f er s   f r o m   p r o b lem s   li k e  p ar a m eter   tu n in g   a n d   co m p lex i t y   i n   n e t w o r k   ar ch it ec t u r e.   T h e   d is co v er ed   k n o w led g e  f r o m   t h e  d ata  s h o u ld   b e  p r e d ictiv e  an d   co m p r eh en s ib le.   T h e  ar ch itectu r al  co m p le x it y   o f   F L A NN  [ 2 2 ]   is   d ir ec tl y   p r o p o r tio n al  to   n u m b er   o f   f ea t u r es  an d   th e  f u n c tio n s   u s ed   f o r   ex p an s io n   o f   t h e  g iv e n   f ea t u r e  v alu e.   Kn o w le d g e  co m p r eh e n s ib ili t y   is   u s e f u l  f o r   at  least  t w o   r elate d   r ea s o n s .   Fir s t,  t h e   k n o w led g e  d is co v er y   p r o ce s s   u s u all y   ass u m es  t h at  t h e  d is co v er ed   k n o w led g e  w ill  b e  u s ef u l  f o r   s u p p o r tin g   a   d ec is io n   to   b e  m ad e  b y   a  u s er .   Seco n d   if   th e  d is co v er ed   k n o w led g e  is   n o t  co m p r eh e n s ib le  to   th e  u s er ,   h e/s h e   w il l  n o t  b e  ab le  to   v alid ate  it,  o b s tr u ctin g   t h e  in ter ac ti v e  f ea t u r e  o f   th e  k n o w led g e  d is co v er y   p r o ce s s   i n cl u d es  k n o w led g e  v alid atio n   an d   r e f i n e m e n t.   T h e  p r o p o s ed   m et h o d   f o r   cla s s i f icatio n   i s   g iv e n   an   e q u al  i m p o r tan ce   to   b o th   p r ed ictiv e  ac cu r ac y   an d   co m p r e h en s ib ilit y .   W e  m ea s u r e  co m p r eh e n s ib ilit y   o f   t h e  p r o p o s ed   m et h o d   b y   r ed u cin g   th e  co m p lex i t y   i n   a r ch itect u r e.   T h e  ex tr ac ted   k n o w led g e  i s   u s ed   b y   u s   f o r   s u p p o r tin g   a  d ec is io n   m ak in g   p r o ce s s   th a t  is   t h e  u l ti m ate  g o al  o f   d ata  m i n i n g .   W e  ch o o s e  ML P ,   FLA N N  with   g r ad ien t  d escen t   lear n in g   [ 2 2 ] ,   R ad ial  B asis   Fu n ctio n   ( R B F)  an d   H y b r id   F L ANN  ( HFLA NN)   [ 4 3 ]   f o r   r esu lt s   co m p ar is o n   w it h   P r o p o s ed   m et h o d .       2.   CO NCEPT S   AND   D E F I N I T I O NS   2 . 1 .   G enet ic  a lg o rit h m s   Gen etic  al g o r ith m s   d ef i n ed   as   a  s ea r ch   te c h n iq u e  w a s   i n s p ir ed   f r o m   Dar w i n ia n   T h eo r y .   T h e  s c h e m e   is   b ased   o n   t h e  th eo r y   o f   n a tu r al  s e lectio n .   Her e  w e   p r es u m e   t h at  t h er e  is   a   p o p u lati o n   co m p o s ed   w it h   d if f er e n t  ch ar ac ter is t ics.  I n s i d e  th e  p o p u latio n   th e  s tr o n g er   w ill  b e  ab le  to   s u r v i v e  an d   th e y   p ass   t h ei r   ch ar ac ter is tic s   to   th eir   o f f s p r i n g s .   T h e  p r o ce s s   o f   G A   is   d escr ib e d   as f o llo w s :   a.   I n itial p o p u latio n   i s   g e n er ated   r an d o m l y ;   b.   Fit n e s s   f u n ctio n   ar e  u s ed   to   ev alu ate  t h e  p o p u latio n ;   c.   Gen etic  o p er ato r s   s u c h   as sele ctio n ,   cr o s s o v er ,   an d   m u tatio n   ar e  ap p lied ;   d.   R ep ea t th e  p r o ce s s   “ E v al u atio n   C r o s s o v er   m u tatio n ”  u n til s t o p p in g   cr iter ia  is   m e t   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r e  S elec tio n   Usi n g   E v o lu tio n a r y  F u n ctio n a l Lin k  N eu r a l …   ( A ma r esh   S a h u )   361   2 . 2 .   P a rt icle  Sw a rm   O pti m i za t io n   P SO  is   r elati v el y   a  n e w   p o p u latio n   b ased   s ea r ch   tech n i q u e  f o r   s o l v i n g   n u m er ical  o p ti m izatio n   p r o b lem s .   I t  in s p ir ed   f r o m   t h e  co m p le x   s o cial  b eh av i o r   th at  is   s h o w n   b y   t h e  n at u r a l  s p ec ies  lik e  f lo ck   o f   b ir d s .   E ac h   m e m b er   o f   s w ar m   ca lled   p ar ticle  ass o ciate d   w it h   a  p o s itio n   an d   a  v elo cit y .   I n   t h e   m u ltid i m en s io n al  s ea r ch   s p ac e  th e  p ar ticles  f l y   a n d   lo o k   f o r   a  p o ten tial  s o lu tio n .   E ac h   p ar ticle  ad j u s ts   its   p o s itio n   in   th e  s ea r c h   s p ac e  f r eq u en tl y   ac co r d in g   to   th e  f l y i n g   e x p er ien ce   o f   its   o w n   a n d   its   n ei g h b o r s   [ 3 6 ] .   T h e  m o v e m en t  o f   ea c h   p ar tic le  is   g o v er n ed   b y   t h e  f o llo w i n g   t w o   E q u atio n s   ( 1 )   an d   ( 2 ) ,   in   n - d i m e n s io n al   s ea r ch   s p ac e.     ) 1 . 2 ( )) ( ) ( ( 2 . 2 )) ( ) ( ( 1 . 1 ) ( . ) 1 ( t j i x t j g b e s t r a n d c t j i x t j i p b e s t r a n d c t j i v w t j i v     ) 2 . 2 ( ) 1 ( ) ( ) 1 ( t j i v t j i x t j i x     W h er e,   x i   r ep r esen ts   th e  p o s iti o n   o f   th e  i th   p ar ticle;  v i  r ep r esen ts   t h e  v elo cit y   o f   t h e  i th   p ar ticle;  p b est i  b e  th e  p r ev io u s   b est  p ar ticle  o f   t h e  i th   p ar ticle  a n d   g b est  is   t h e  g lo b al  b est  p ar ticle  f o u n d   b y   a ll  p ar ticles  u n til   n o w .   r a n d 1   an d   r an d 2   ar e  tw o   r an d o m   v ec to r   v al u es  w it h i n   [ 0 ,   1 ] ,   w   r ep r esen ts   a  in er tia  w ei g h t,  c 1   an d   c 2   ar e  t w o   lear n i n g   f ac to r s ,   t h e  v alu e   o f   ea c h   v elo cit y   v ec to r   is   co m p r e s s ed   w i th i n   th e   r an g e  [ v max ,   v m in ]   to   d ec r ea s e   th e  li k eli h o o d   o f   th e  p ar ticle  leav in g   t h e   s ea r ch   s p ac e,   an d   t= 1 , 2 , 3 …,   in d icate s   th e  n u m b e r   o f   iter atio n s .   T h e  co n s tr ictio n   f ac to r   ap p r o ac h   o f   P SO  ( C P SO)   is   a n   i m p o r tan t  v ar ia n t  o f   s ta n d ar d   PS O,   I t  w a s   p r o p o s ed   b y   C ler c  a n d   Ken n e d y   [ 3 7 - 3 8 ] .   T h e  v elo cit y   o f   C P SO is u p d ated   b y   t h e  f o llo w i n g   E q u a tio n :   ) 3 . 2 ) ) ) ( ( ) ( .( 2 . 2 )) ( ) ( .( 1 . 1 ) ( .( ) 1 ( t j i x t j g b e s t r a n d c t j i x t j i p b e s t r a n d c t j i v t j i v   W h er e,     is   ca lled   a   co n s tr icti o n   f ac to r ,   g i v en   b y   E q u atio n :     ) 4 . 2 ( | 4 2 2 | 2     W h er e,     ) 5 . 2 ( 4 , 2 1 c c     T h e  C P SO  en s u r e s   th e  co n v er g en ce   o f   th e  s ea r c h   p r o ce d u r es  an d   b e  ab le  to   g en er ate  h i g h er   q u alit y   s o lu tio n s   t h an   t h e  s ta n d ar d   P SO is u s ed   in   t h is   s tu d y .     2 . 3 .   F un ct io na l Li n k   Neura l N et w o rk   T h e  FLA NN  ar ch i tectu r e  w as  f ir s t  p r o p o s ed   b y   P ao   et  al.   [ 3 1 ] .   T h e  id ea   o f   th is   m o d el  is   t o   ap p ly   an   ex p an s io n   f u n ctio n   to   in cr ea s e s   th e  d i m en s io n a lit y   o f   i n p u t  v ec to r .   Hen ce   th e  h y p er - p la n es  g en er ated   p r o v id e   s u p er io r   d is cr i m in a tio n   ca p ab ilit y   in   t h e  in p u t  p atter n   s p ac e.   T h e  n ee d   o f   h id d en   la y er   is   r e m o v ed   b y   ap p ly i n g   e x p an s io n   f u n ctio n   t h u s   t h e  lear n in g   a lg o r it h m   b ec o m e   s i m p ler .   T h is   m o d el  h a s   th e  b e n ef it  to   h av e   f aster   co n v er g en ce   r ate   a n d   less er   co m p u tat io n al  co s t   t h an   M L P   s tr u ctu r e.   T h e  co n v en tio n al   n o n li n ea r   f u n ctio n al  ex p a n s io n s   ca n   b e  e m p lo y ed   in   F L A NN  ar e  tr i g o n o m e tr ic,   p o w er   s er ies  o r   C h eb y s h ev   t y p e.   R .   Ma j h i  et  al.   [ 3 9 ] ,   illu s tr ates   th at   u s e   o f   tr ig o n o m etr ic   f u n ct io n   e x p an s io n   p r o v id es  s u p er io r   p r ed ictio n   ca p ab ilit y   o f   th e  m o d el.   T h er ef o r e,   in   th e  p r esen t  s it u atio n ,   tr ig o n o m etr ic  ex p a n s io n   is   e m p lo y ed .   L et  u s   ass u m e   ea ch   ele m en t  o f   t h e  i n p u t  p atter n   b ef o r e  e x p an s io n   i s   r ep r esen ted   a s   Z ( i) ,   1   <  i   <  I   w h er e  I   is   th e   to tal   n u m b er   o f   f ea t u r es  a n d   ea ch   e le m e n t  Z ( i)   is   f u n c tio n all y   e x p an d ed   as  Xn ( i)   ,   1   <  n   <  N  ,   w h er e  N  i s   t h e  to tal   n u m b er   o f   ex p a n d ed   p o in ts   f o r   ea ch   i n p u t   ele m en t.   L e t  u s   t ak e,   N= 5   i n   t h i s   ex a m p le.   T h e  ex p an s io n   o f   ea c h   in p u t p atter n   is   r ep r esen ted   i n   F ig u r e  1.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9   –   3 6 7   362       Fig u r e  1 .   R ep r esen ts   t h e  E x p a n s io n   o f   E ac h   I n p u t P atter n       T h e  ex p an d ed   in p u ts   ar e  f ed   to   th e  s in g le  la y e r   n eu r al  n et w o r k   a n d   t h en   th e  n et w o r k   is   tr ain ed   b y   u s i n g   tr ain i n g   alg o r it h m   to   o b tain   th e  d es ir ed   o u tp u t.     2 . 4 .   P ro po s ed  M et ho d   T h e  p r o p o s ed   s in g le  la y er   A N N  n a m ed   as   E F L A NN   w it h   a  g en et icall y   o p ti m ized   s et  o f   f ea tu r es.  I t   h as  t h e  p o ten tial  o f   g e n er atin g   co m p lex   d ec i s io n   r eg io n s   b y   n o n li n ea r   i m p r o v e m en t  o f   h id d en   u n i ts   r ef er r ed   to   as  f u n c tio n al  li n k s .   F ig u r e  2   s h o w s   t h e  to p o lo g ical  s tr u ct u r e  o f   t h e  E F L A NN.   T h is   m et h o d   is   ch ar ac ter ized   b y   a  s et  o f   F L ANN  w it h   a  d i f f er en t  s u b s et  o f   f ea tu r es.  L et   tak e  t h e  n u m b er   o f   o r i g in a l  f ea tu r es  o f   t h e  d ata   d o m ai n   is   n   an d   th e  n u m b er   o f   f ea t u r es  s elec ted   as  a  ch r o m o s o m e  o f   th e  g e n etic  p o p u lati o n   is   d f,   w h er e  d f   ≤  n .   T h e  d f   v ar ie s   i n   t h e  g en etic   p o p u latio n   f r o m   c h r o m o s o m e s   to   ch r o m o s o m e s   ( i.e . 1 ≤   d f   ≤   n ) .   Fo r   s i m p licit y ,   let  u s   d is c u s s   h o w   a  s i n g le  ch r o m o s o m e  w it h   d f   f ea t u r es i s   wo r k in g   co o p er ativ el y   f o r   E FLA N N.           Fig u r e  2 .   T o p o lo g ical   Stru ctu r e  o f   th e  E F L A NN       I n   th is   p r o p o s ed   m et h o d ,   th e  g en er al  tr ig o n o m etr ic   f u n ctio n   is   u s ed   f o r   m ap p in g   t h e  d f   f ea t u r es  f r o m   lo w   to   h i g h   d i m e n s io n .   I n   o r d er   to   u s e  a  f u n ct io n   t h at  is   v er y   clo s e  to   th e  u n d er l y i n g   d is tr ib u tio n   o f   th e  d ata   s o m e  p r io r   d o m ain   k n o w led g e  is   r eq u ir ed .   H er e  f iv e  f u n c t io n s   ar e  tak e n   o u t  o f   w h ic h   f o u r   f u n ctio n s   ar e  tr ig o n o m etr ic  an d   o n e   f u n ctio n   is   lin ea r   ( i.e . ,   k ee p s   th e   o r ig in a l  f o r m   o f   th e  f ea t u r e  v a lu e) .   W ith in   t h e  f o u r   tr ig o n o m etr ic  f u n ctio n s   t w o   f u n ct io n s   ar e  s i n e  an d   o t h er   t wo   f u n ctio n s   ar e  co s i n e.   B y   u s i n g   th e  tr ig o n o m etr ic   f u n ctio n s   t h e  d o m ai n   is   f ea tu r e  v alu e s   an d   r an g e  is   a  r ea l n u m b er   lie s   b et w ee n   [ - 1 , 1 ] .   I t c a n   b e  r ep r esen ted   as     f : D o m a in →R a n g e [ - 1, 1]  ∪ {x}                            ( 4 . 1 )     W h er e,   Do m ai n ={   x i1   ,x i2   , · · · x idf  },   a n d   d f   r ep r esen ts   th e   n u m b er   o f   f ea t u r es.   L e t  u s   tak e   f 1 ,   f 2 ,   …. ,   f v   b e  th e   n u m b er   o f   f u n c tio n s   t h at  ar e  u s ed   to   e x p an d   ea c h   f ea t u r e  v al u e  o f   t h e  p atter n .   Hen ce ,   n o w   ea c h   in p u t p atter n   ca n   b e  r ep r esen te d   as     ̅ i = {  x i1   ,x i2   , · · ·   x idf  }→{ {f 1 ( x i1 )   ,   f 2 ( x i1 ) ,   · · ·   f v ( x i1 ) },   {  f 1 ( x i2 )   ,   f 2 (x i2 ) ,   · · ·   f v ( x i2 ) }            · · ·   {   f 1 ( x idf )   ,   f 2 ( x idf ) ,   · · ·   f v (   x idf ) }}   ={ {  y 11 ,y 21 ,   · · · y v1 },   {  y 12 ,y 22 ,   · · · y v2   }  · · ·   {  y 1df ,   y 2 df , · · ·   y v df  }  }                      ( 4 . 2 )     T h e  w ei g h t v ec to r   ex i s t b et w e en   h id d en   la y er   an d   o u tp u t  la y er   is   m u l tip lied   w it h   t h e  r es u lt an t  s e ts   o f   n o n li n ea r   o u tp u ts   a n d   ar e  s u p p lied   to   th e  o u tp u t  n e u r o n   as a n   i n p u t.  T h er ef o r e,   th e  w ei g h t ed   s u m   is   ca lc u lated   as f o llo w s :   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r e  S elec tio n   Usi n g   E v o lu tio n a r y  F u n ctio n a l Lin k  N eu r a l …   ( A ma r esh   S a h u )   363   Su m   =  ∑  = 1 .                           ( 4 . 3 )     W h er e,   i= 1 , 2 · · · N  an d   m   r ep r esen t s   th e  to tal  n u m b er   o f   ex p a n d ed   f ea tu r e s .   T h e  n et w o r k   h a s   t h e  ab ilit y   to   lear n   b y   u s i n g   P SO  tr ain i n g   p r o ce s s .   T h e  n et w o r k   tr ain in g   n ee d s   a  s et   o f   tr ain in g   d ata,   i.e . ,   a  s er ie s   o f   i n p u t  a n d   r elate d   o u tp u t  v ec to r s .   D u r in g   t h e  tr ai n i n g   p r o ce s s ,   th e  d ata  i s   r ep ea ted ly   p r esen ted   to   th e  n e t w o r k   a n d   w ei g h t s   ar e  ad j u s te d   b y   P SO  f r o m   ti m e  to   ti m e  ti ll  th e  d esire d   in p u t   to   o u tp u t  m ap p in g   i s   o b tain ed .   T h er ef o r e  th e  esti m ated   o u tp u t is ca l cu la ted   as  f o llo w s :     y o u t i   ( t)   =  f   ( s u m i ) ,   w h er e,   i =   1 , 2 · · · N                                        ( 4 . 4 )     T h e  er r o r   is   ca lcu lated   f o r   i th  p atter n   o f   tr ai n in g   s et  a s     er r o r i   ( t )   =  y i   ( t)   –   y o u t i   ( t) ,   w h er e,   i =   1 , 2 · · · N                                                      ( 4 . 5 )     So ,   th e  er r o r   cr iter io n   f u n ct io n   is   ca lcu lated   as     E r   ( t)   =  ∑   = 1                                        ( 4 . 6 )     Her e,   o u r   o b j ec tiv e  f u n ctio n   i s   to   m i n i m ize  t h e  er r o r   b y   ad j u s tin g   w ei g h ts   th r o u g h   C P SO  u n til ε  ≤ E r ,   w h er e  ε  i s   v er y   s m a ll  v al u e.   T h is   p r o ce s s   is   ap p lie d   r ep ea ted l y   f o r   ea ch   c h r o m o s o m es  o f   t h e  G A   a n d   s u b s eq u en t l y ,   b ased   o n   th e   p er f o r m a n ce   o f   ea c h   c h r o m o s o m e  w i ll b e  as s ig n ed   w it h   a  f it n e s s   v al u e.   Usi n g   t h is   f it n es s   v al u e  t h e  u s u al  p r o ce s s   o f   G A   is   e x ec u ted   u n til  w e   f in d   s o m e  g o o d   to p o lo g y   w h ich   ca n   ac h ie v e   an   ac ce p tab le  p r ed ictiv e  ac cu r ac y .     2 . 5 .   H ig h L ev el  Alg o rit h m s   f o r  E F L ANN   T h e  r eq u ir em e n t s   f o r   th e  n ea r   o p tim a l  E F L A NN  ar c h itect u r e  an d   r elate d   p ar am eter s   ca n   b e  o b tain ed   b y   u s i n g   b o th   g en e tic  alg o r it h m s   an d   P ar ticle  S w ar m   Op ti m izat io n   alg o r it h m   f o r   lear n in g .   E v o l u t io n ar y   g en et ic  alg o r it h m   u s e s   s to ch a s tic  s ea r ch   a n d   o p tim izatio n   m et h o d s .   So   GA   b ased   o n   f u n d a m e n tal  p r o ce s s ,   s u c h   as  r ep r o d u ctio n ,   r ec o m b i n atio n   a n d   m u tatio n .   An   alg o r ith m   o f   t h is   t y p e  s tar ts   w it h   a  s et  ( p o p u latio n )   o f   esti m ates  ( g e n e s ) ,   ca lled   in d i v id u al s   ( ch r o m o s o m es)  e n co d ed   p r o p er ly .   Fo r   s o lv i n g   th e  c lass i f icatio n   tas k   o f   d ata  m i n i n g   t h e  f it n es s   o f   ea c h   o n e   is   e v alu a ted   co r r ec tl y .   T h e  b est  f it  i n d i v id u al s   ar e  al lo w ed   to   m a k e  a n d   b ea r   o f f s p r in g   d u r i n g   ea ch   i t er atio n   o f   al g o r ith m .   T h e  P SO  is   a  p o p u latio n   b ased   al g o r ith m   u s ed   h er e  to   u p d ate  th e  w ei g h ts   i n   lear n in g   p r o ce s s .   Du r i n g   ev o l u tio n a r y   p r o ce s s   th e  le n g th   o f   ea c h   p ar ticle  h as  u p p er   b o u n d   n ,   r ep r esen ts   th e  f ea t u r e  v ec to r .   E ac h   ce ll  o f   th e  ch r o m o s o m e  h o ld s   b in ar y   v al u e  eith er   0   o r   1 ,   w h er e   th e  ce ll  v al u e  1   r ep r esen ts   t h e  ac tiv atio n   an d   0   r ep r esen ts   d ea ctiv atio n   in   f u n ctio n al  ex p a n s io n   o f   i n d iv id u als.   Du r in g   ev o l u tio n   ea ch   in d i v i d u al  m ea s u r es  it s   ef f ec ti v en e s s   b y   th e  er r o r   cr ite r io n   f u n ct io n   th at  is   g iv e n   i n   E q u atio n   ( 4 . 6 )   an d   th en   t h e  p r ed ictiv e  a cc u r ac y   is   as s i g n ed   a s   it c o r r esp o n d in g   f it n es s .     2 . 6 .   P s eudo   co de  f o r  E F L ANN   T h e  s tep s   th at  ar e  f o llo w ed   b y   E FLA N N  ca n   b e  d escr ib ed   as f o llo w s :   1 .   Div is io n   o f   Data s et        Div id e  th e  d ataset  i n to   tr ain in g   a n d   test i n g   p ar ts   2 .   R an d o m   I n itia lizatio n   o f   I n d iv id u al         E ac h   in d iv id u al  I n itia lize  ea ch   in d i v id u al  r a n d o m l y   f r o m   t h e  d o m ain   {0 , 1 }   3 .   W h ile  ( T er m i n atio n   cr iter io n   is   n o t  m et )   4 .   Fo r   T h e  Po p u latio n         4 . 1   Fo r   e ac h   s a m p le  o f   th e  tr ain i n g   s e t         4 . 2   Ma p p in g   o f   I n p u t P atte r n   Ma p   ea ch   p atter n   f r o m   lo w   to   h ig h   d i m en s io n   b y   e x p an d i n g   ea ch   f ea t u r e  v al u e  ac co r d in g   t o   th e  p r ed ef in ed   s et  o f   f u n ctio n s .         4. 3   C alcu latio n   o f   W eig h te d   Su m        C alcu late  t h e  w ei g h ted   s u m   an d   f ee d   as a n   i n p u t to   t h e  n o d e  o f   th e  o u tp u t la y er .         4 . 4   C alcu late  T h e  E r r o r         C alcu late  t h e  er r o r   an d   ac c u m u late  i t.         4 . 5   U s e  P ar ticle  S w ar m   Op ti m izat io n   f o r   L ea r n i n g         Min i m ize  t h e  er r o r   b y   ad j u s tin g   w ei g h ts   u s i n g   P SO.         4 . 6   A s s i g n   T h e  Fit n e s s   Val u e      5 .   Fo r   T h e  P o p u latio n          5 . 1   R o u lette  W h ee l Sele cti o n   is   p er f o r m ed   to   o b tain   t h e  b etter   ch r o m o s o m es.      6 .   Fo r   T h e  P o p u latio n   Ob tain ed          6 . 1   P er f o r m   r ec o m b i n atio n          6 . 2   Mu tatio n      7 .   W h ile  E n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9   –   3 6 7   364   3.   E XP E R I M E NT A L   ST UDI E S   T h e  p er f o r m a n ce   o f   t h e  E FLAN N  m o d el  w a s   ev al u at ed   u s i n g   a  s et  o f   s ev e n   b en ch m ar k   class i f icatio n   d ataset s   lik e  I R I S,  W I NE ,   P I MA ,   B UP A ,   E C OL I ,   G L A S S  an d   VOW E L   f r o m   th e  Un i v er s it y   o f   C ali f o r n ia  at  I r v in e  ( UC I )   m a ch in e  lear n in g   r ep o s ito r y   [ 4 0 ] .   Fo r   class if y in g   s i x   o v er lap p in g   v o w el  class e s ,   w e  h av e  al s o   tak e n   VOW E L   d ataset  to   s h o w   th e  p er f o r m an ce   o f   E F L A NN  [ 4 1 ] .   W e  h av e  u s ed   M L P ,   FLAN N  w it h   g r ad ien t  d escen t   lear n in g ,   R B F  an d   HF L ANN  r esu lt s   co m p ar is o n   w it h   p r o p o s ed   m eth o d .   T ab le  1   s u m m ar ize s   th e  m ai n   ch ar ac ter is tics   o f   t h e  d atab ases   t h at  h av e  b ee n   u s ed   in   t h is   p ap er .       T ab le  . 1 .   Su m m ar y   o f   t h e  Dat asets   u s ed   in   S i m u lat io n   S t u d i es   S e r i a l   N o .   N a me   o f   D a t a se t   N o .   o f   p a t t e r n s   N o .   o f   a t t r i b u t e   N o .   o f   c l a sse s   1   I R I S   1 5 0   4   3   2   W I N E   1 7 8   13   3   3   P I M A   7 6 8   8   2   4   B U P A   3 4 5   6   2   5   EC O L I   3 3 6   7   8   6   G L A S S   2 1 4   9   6   7   V O W E L   8 7 1   3   6   8   Z O O   1 0 1   16   7       3 .1 .   P a ra m et er   Set up   B ef o r e  ev alu ati n g   th e  p r o p o s ed   E FLA NN  al g o r ith m ,   w e  n ee d   to   s et  th e  u s er   d ef i n ed   p ar am eter s   a n d   p r o to co ls   r elate d   to   th e  d atase t.  Her e  w e  h a v e  u s ed   t w o   f o l d   cr o s s   v a lid atio n   f o r   all   th e   d ataset  b y   r an d o m l y   d iv id in g   t h e  to tal   s et  o f   p atter n s   o f   d ataset   i n to   t w o   eq u al   p ar ts   a s   d ata s et1 . d at  an d   d ataset 2 . d at.   E ac h   o f   t h es e   t w o   s ets   o f   d ata s et  w a s   alter n ati v el y   u s ed   eit h er   as   a  tr ai n in g   s et  o r   a   test   s et   [ 2 2 ] .   T h e  q u al it y   o f   ea c h   in d iv id u al  o f   d ataset  is   m ea s u r ed   b y   th e  p r ed ictiv e  p er f o r m an ce   o b tain ed   d u r in g   tr ain in g .   W e  n ee d   to   s et  th e  o p tim a l  v al u es  o f   t h e  f o llo w i n g   p ar a m eter s   to   r ed u ce   th e  l o ca l  o p tim al it y .   T h e  p ar a m ete r s   w e  h a v e  u s ed   ar e  d escr ib ed   as  f o llo w s :  P o p u latio n   s ize:  T h e  s ize  o f   th e  p o p u latio n   d esi g n ated   as  | P | =5 0   is   f i x ed   f o r   all  th e   d atasets .   T h e  n u m b er   o f   i n p u t   f ea t u r es  i s   n .   He n ce   le n g th   o f   th e  in d i v id u al s   i s   f ix ed   to   n .   T h e  p r o b a b ilit y   f o r   cr o s s o v er   is   tak e n   a s   0 . 7   an d   th e  p r o b ab ilit y   f o r   m u ta tio n   is   0 . 0 2 .   T h e  to tal  n u m b er   o f   iter atio n s   w e  h av e   ap p lied   is   1 0 0 0   f o r   all  th e  d a tasets .   P ar a m eter s   o f   P SO  f o r   E FLA NN  tr a i n i n g   p r o ce s s   a r e  s et  s i m i lar l y   as   n eu r al   n et w o r k   tr ai n i n g   w it h   P SO [ 4 2 ] .   T h e  ML P   u s es   t w o   h id d en   la y er s   f o r   all  d atase ts .   I n   ea c h   h id d en   la y er   P   ×  Q  n u m b er s   o f   n eu r o n s   ar e  tak en .   W h er e,   P   an d   Q  ar e  th e  n u m b er   o f   in p u t n e u r o n s   an d   o u tp u t n e u r o n s .     3 . 2   Co m p a ra t iv e  P er f o rm a n ce   T h e  p r e d ictiv e  p er f o r m a n ce   ac h iev ed   f r o m   p r o p o s ed   E FL A N N  f o r   th e  ab o v e  m en tio n ed   d atasets   w er e  co m p ar ed   w it h   t h e  r es u lts   o b tain ed   f r o m   M L P ,   FLA N N  w ith   g r ad ien t  d esce n t  lear n in g ,   R B F  a n d   HFLA NN  r es u lt s .   T ab le  2   an d   T ab le  3   s u m m ar ize  t h e  co m p ar ativ e  av er a g e  tr ai n in g   a n d   te s t  p er f o r m a n ce s   o f   E FLAN N  w it h   o th er   ab o v e  m en tio n ed   m eth o d s .       T ab le  2 .   A v er ag e  C o m p ar ativ e  P er f o r m a n ce   o f   E F L A NN,   ML P   an d   R B F   D a t a se t s   A l g o r i t h ms   EFL A N N   M L P   RBF   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   IR IS   9 8 . 4 7 1 0   9 7 . 4 5 0 5   9 7 . 1 5 1 0   9 4 . 0 0 0 0   3 8 . 5 0 0 0   3 8 . 5 0 0 0   W I N E   9 9 . 7 5 6 0   9 0 . 5 6 0 0   9 6 . 1 4 1 0   9 2 . 2 9 2 0   8 5 . 3 9 3 5   7 9 . 2 1 3 0   P I M A   8 0 . 8 2 2 0   7 2 . 6 3 4 3   7 6 . 6 1 0 0   7 7 . 1 9 2 0   7 7 . 4 7 4 0   7 6 . 0 4 1 5   B U P A   7 7 . 9 8 3 0   6 9 . 3 7 9 8   6 7 . 5 2 2 0   6 7 . 3 9 0 0   7 1 . 0 1 2 5   6 6 . 9 5 3 0   EC O L I   5 5 . 3 6 3 0   5 0 . 9 7 3 0   4 6 . 9 6 0 0   4 5 . 2 6 5 0   3 1 . 1 7 8 0   2 6 . 1 1 0 0   G L A S S   6 3 . 7 5 9 0   5 1 . 7 5 2 5   4 3 . 2 8 4 0   4 0 . 9 8 0 0   4 8 . 9 8 6 5   3 4 . 6 4 4 0   V O W E L   4 0 . 8 2 1 0   3 8 . 6 6 3 5   3 8 . 2 5 0 0   3 7 . 4 5 0 0   2 5 . 2 5 5 5   2 4 . 3 2 5 0   Z O O   9 9 . 4 5 3 2   8 6 . 4 6 2 4   9 6 . 3 5 0 0   9 2 . 3 2 0 0   9 6 . 1 5 4 0   8 1 . 0 8 3 0                           Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r e  S elec tio n   Usi n g   E v o lu tio n a r y  F u n ctio n a l Lin k  N eu r a l …   ( A ma r esh   S a h u )   365   T ab le  3 .   A v er ag e  C o m p ar ativ e  P er f o r m a n ce   o f   E F L A NN,   HFLA NN  an d   R B F   D a t a s e t s   A l g o r i t h ms   EFL A N N   H F L A N N   F L A N N   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   T r a i n i n g   T e st i n g   I R I S   9 8 . 4 7 1 0   9 7 . 4 5 0 5   9 8 . 0 0 0 1   9 7 . 3 3 3 5   9 6 . 6 6 6 4   9 6 . 6 6 6 4   W I N E   9 9 . 7 5 6 0   9 0 . 5 6 0 0   9 9 . 4 3 8 0   9 0 . 4 4 9 5   9 7 . 1 9 1 0   8 8 . 7 6 4 0   P I M A   8 0 . 8 2 2 0   7 2 . 6 3 4 3   8 0 . 7 2 9 0   7 2 . 1 3 5 5   7 9 . 5 5 7 0   7 2 . 1 3 5 5   B U P A   7 7 . 9 8 3 0   6 9 . 3 7 9 8   7 7 . 6 8 2 0   6 9 . 2 7 8 5   7 7 . 9 7 2 5   6 9 . 2 8 0 0   EC O L I   5 5 . 3 6 3 0   5 0 . 9 7 3 0   5 5 . 1 6 7 0   5 0 . 8 0 2 0   4 9 . 9 6 2 5   4 7 . 3 0 7 5   G L A S S   6 3 . 7 5 9 0   5 1 . 7 5 2 5   6 3 . 5 5 6 5   5 1 . 5 0 7 5   6 0 . 7 5 1 0   5 0 . 3 8 0 0   V O W E L   4 0 . 8 2 1 0   3 8 . 6 6 3 5   4 0 . 4 3 9 5   3 8 . 1 9 6 5   2 7 . 9 2 5 0   2 4 . 7 2 2 0   Z O O   9 9 . 4 5 3 2   8 6 . 4 6 2 4   9 9 . 0 3 8 5   8 6 . 1 8 5 0   9 7 . 1 1 5 5   8 5 . 1 6 4 5       Fro m   T ab le  2   an d   T a b le  3 ,   w e  ca n   ea s il y   v er if y   t h at  ex c ep t  B UP A   ca s e  in   all  o t h er   ca s es  o n   a n   av er ag e  t h e  p r o p o s ed   m et h o d   E FLAN N  is   g i v in g   as s u r in g   r esu lt s   i n   b o th   tr ain i n g   an d   te s t  ca s es.  F L A NN  is   p er f o r m in g   b etter   i n   ca s e  o f   B UP A   d ataset.   Fi g u r e  3   s h o w s   th e   p er ce n ta g e  o f   f ea t u r e  s elec ted   b y   t h e   E FLAN N  co m p ar e  to   HF L ANN  i n   t h e  co n te x t   o f   co m p r e h en s ib ilit y .   T h e  d ataset s   ar e  r ep r esen ted   b y   u s in g   X - a x is   an d   p er ce n tag e   o f   ac ti v e  b it s   i n   t h e  o p ti m al   ch r o m o s o m e  o b tai n ed   d u r i n g   t h e  tr ai n in g   ar e  r ep r esen ted   b y   u s i n g   Y - ax i s .           Fig u r e  3 .   R ep r esen ts   t h e  P er ce n tag e  o f   Op ti m al  s et  o f   Select ed   Featu r es in   E FLAN N  a n d   HFLA NN       3 . 3 .   P re dict iv e  Acc ura c y   by   K no w ledg e  I nco rpo ra t io n   L et  u s   ta k e  n   b e  th e   to tal  n u m b er   o f   f ea t u r es   ex i s t   in   t h e  d ataset,   F 1   an d   F 2   d en o te   t h e  n u m b er   o f   f ea t u r e  s elec ted   b y   u s i n g   t h e   tr ain i n g   s et   1   a n d   test i n g   s et  2   alter n at iv el y .   No tat io n s   w it h   Me an i n g :   I NI   d en o tes  th e   to tal  n u m b er   o f   f e atu r es  i n   t h e  d ataset,   I F 1 I   r ep r esen t s   t h e  to tal  n u m b er   o f   s e le cted   f ea tu r e s   i n   test   s et  2 .   I F 2 I   r e p r esen ts   t h e  t o tal  n u m b er   o f   s elec ted   f e atu r es  i n   te s t  s et  1   a n d   | P A|   r ep r esen t s   t h e     p r ed ictiv e  ac cu r ac y .   T h e  f itn e s s   o f   t h e  ch r o m o s o m e  r elate d   to   F 1   is     f   ( F 1 )   =  |  | × | | −  × | F 1 | | |                           ( 5 . 1 )     Si m i lar l y ,   t h e  f i tn e s s   o f   t h e  c h r o m o s o m e  r elate d   to   F 2   is     f   ( F 2 )   =  |  | × | | −  × | F 2 | | |                           ( 5 . 2 )        r ep r esen ts   th e  p r ed ictiv e  ac c u r ac y   a n d   tr ad eo f f   b et w ee n   t w o   cr iter ia  an d   its   v al u e  is   ta k e n   as      =  0 . 0 1 .       T ab le  4 .   P r ed ictiv e  A cc u r ac y   o f   E FLAN N  b y   K n o w led g e  I n co r p o r atio n   w it h      = 0 . 0 1   D a t a se t s   N   P r e d i c t i v e   A c c u r a c y   o f   Te st   S e t   1   C h r o mo so me   P r e d i c t i v e   A c c u r a c y   o f   Te st   S e t   1   C h r o mo so me   I R I S   4   9 6 . 1 0 0 1   9 7 . 3 2 6 0   W I N E   13   9 0 . 0 1 1 0   9 1 . 1 2 6 4   P I M A   8   7 1 . 6 5 2 5   7 2 . 9 6 4 8   B U P A   6   7 0 . 5 3 4 6   6 8 . 9 6 0 2   EC O L I   7   5 4 . 8 9 3 9   4 6 . 9 0 2 0   G L A S S   9   5 7 . 4 3 7 4   4 5 . 9 8 2 4   V O W E L   3   3 5 . 1 2 6 3   4 0 . 1 3 9 5   Z O O   16   8 7 . 9 4 9 2   8 4 . 9 2 1 2   0 10 0 IRIS PI… E C… VO… Per c e n tage  o f  Feat u r e   S e l e c te d   D atase ts   Per c e n tage  o f Feat u r e   S e l e c te d   H FLAN N E FLAN N Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8814   IJ AA S    Vo l.  6 ,   No .   4,   Dec em b er   201 7   :   3 5 9   –   3 6 7   366   4.   CO NCLU SI O N   I n   th is   s tu d y ,   th e  p r o p o s ed   E FLAN N  m eth o d   is   u s ed   f o r   th e  tas k   o f   d ata  m in i n g .   I t   h as  g i v en   i m p o r tan ce   to   t h e  s e lectio n   o f   o p tim a l set   o f   f ea t u r es a n d   it  h as a ls o   e n h a n ce d   t h e  clas s i f ica tio n   ac cu r ac y .   T h e  class i f icatio n   p er f o r m an ce   o f   E FLAN N  m o d el  is   p r o m is i n g   as  d em o n s tr ated   in   e x p er i m e n tal  s t u d ies.  Her e   th e  ar ch itect u r al  co m p le x it y   i s   lo w   b u t,  tr ai n in g   ti m e  is   m o r e  th an   F L A NN.   A l s o   it  is   s h o w n   th at  E F L A N N   h as  b etter   f ea t u r e  s el ec tio n   ca p ab ilit y   th a n   HF L A N N.   T h er ef o r e,   th is   m o d el  ca n   b e  u s ed   in   class i f icatio n   task s   o f   d ata  m i n i n g .       RE F E R E NC E S   [1 ]   F a y y a d ,  U .   A n d   Uth u ru sa m y ,  R . :  Da ta  M in in g   a n d   Kn o w le d g e   Dis c o v e r y   in   Da tab a se s.  Co m m u n . ACM ,   3 9 :  2 4 - 2 7 .   1 9 9 6 .   [2 ]   F a y y a d ,  U .  M .,  P iate tsk y - S h a p iro ,  G . ,   A n d   S m y th ,  P . :  F r o m   Da ta   M in i n g   to   Kn o w led g e   Disc o v e r y :   A n   O v e rv i e w .   In   U .  M .  F a y y a d ,  G .  P iate tsk y -   S h a p iro ,   &   P .  S m y th   ( Ed s . ),   A d v a n c e s  in   Kn o w led g e   Disc o v e r y   a n d   Da ta  M in in g   , P p .   1 – 3 4 , .   M e n lo   P a rk ,  CA :  AA A I  P re ss   , 1 9 9 6 .   [3 ]   Ag ra w a l ,  R .,  I m ielin sk i ,  T . ,   A n d   S w a m i  A . :  Da tab a s e   M in in g :  A  P e rf o r m a n c e   P e rsp e c ti v e .   IEE E  T r a n s .  Kn o w led g e   Da ta E n g ,   5 ,   P p .   9 1 4 - 9 2 5 ,   1 9 9 3 .   [4 ]   Ja m e s ,  M . :  Clas sif ic a ti o n   A lg o rit h m s . W il e y ,   1 9 8 5 .   [5 ]   Bre i man ,  L .,  F ried m a n ,  J . H .,  Olsh e n ,   R . A . ,   A n d   S t o n e   C . J . :  C las sif ic a ti o n   a n d   Re g re ss io n   L e a rn in g .  M o rg a n   Ka u fm a n ,   1 9 8 4 .   [6 ]   Krie g e l ,  H . P . ,   Et   A l. :  F u tu re   T re n d s  in   Da ta  M in in g .   Da ta  M in in g   a n d   Kn o w led g e   Disc o v e r y ,   1 5 ( 1 ),   8 7 – 9 7 .   Ne th e rlan d s :  S p rin g e r ,   2 0 0 7 .   [7 ]   Du d a ,  R . O . ,   Ha rt ,  P . E .   a n d   S to rk   D . G . :  P a tt e rn   Clas sif ica ti o n .   W il e y ,  Ne w   Yo rk ,   2 0 0 1 .   [8 ]   G o ld b e rg ,  D . E . :  G e n e ti c   A lg o rit h m s in   S e a rc h ,   Op ti m iza ti o n   a n d   M a c h in e   L e a rn in g .   M o rg a n   Ka u f m a n n ,   1 9 8 9 .   [9 ]   Zh a n g ,  G . P . :  Ne u ra l   Ne tw o rk s  f o r  Clas sif ica ti o n ,   A  S u rv e y .   IEE E  T ra n sa c t io n s  o n   S y ste m s ,  M a n ,  C y b e rn e ti c s - P a rt  C :  A p p li c a ti o n   a n d   Re v iew s ,   3 0 (4 ),   P p .   4 5 1 – 4 6 1 ,   2 0 0 0 .   [1 0 ]   Zh a n g ,  G . P . :  A v o id in g   P it f a ll s  in   Ne u ra l  Ne t w o rk   Re se a r c h .   IEE E  T ra n sa c ti o n s  on  S y ste m s ,  M a n   a n d   Cy b e rn e ti c s - P a rt  C :  A p p li c a ti o n s  a n d   Re v iew s ,   3 7 (1 ),   P p .   3 – 1 6 ,   2 0 0 7.   [1 1 ]     M c c u ll o c h ,   W .,  P it ts ,  W . :  A  L o g ica l  C a lcu lu s  o f   th e   Id e a s   I m m a n e n t  in   Ne rv o u s  A c ti v it y .   Bu ll e ti n   o f   M a th e m a ti c a l  Bio p h y sic s  7 ,   1 1 5 - 1 3 3 ,   1 9 4 3 .   [1 2 ]   G il e s   C .  L .,  M a x w e ll ,  T .,  Lea rn in g   In v a rian c e ,   a n d   G e n e ra li z a ti o n   in   A   Hig h e r  Ord e r  Ne u ra l  N e tw o rk .   A p p li e d   Op ti c s  2 6 ( 2 3 ) ,   4 9 7 2 - 4 9 7 8 ,   1 9 8 7 .   [1 3 ]   M in sk y ,  M .,  P a p e rt ,  S . :  P e rc e p tr o n s . T h e   M IT   P re ss ,   1 9 6 9 .   [1 4 ]   W id ro w ,  B .,  Ho ff ,  M .  E . :  A d a p ti v e   S w it c h in g   Circu it s.  IRE  W ES C ON   Co n v e n ti o n   Re c o r d ,   9 6 - 1 0 4 ,   1 9 6 0 .   [1 5 ]   W id ro w ,  B .,  L e h r ,  M . :  3 0   Ye a rs  Of   A d a p ti v e   N e u ra l  Ne t w o rk s :  P e rc e p tr o n ,   M a d a li n e ,   a n d   Ba c k - P ro p a g a ti o n .   P r o c e e d in g s  Of   IEE E  7 8 (9 ),   1 4 1 5 - 1 4 4 2 ,   1 9 9 0 .   [1 6 ]   G il e s ,  C .  L .,  M a x w e ll ,  T . :  L e a rn in g ,   In v a rian c e   a n d   G e n e ra li z a ti o n   in   Hig h e r - Ord e r  Ne u ra l  Ne tw o rk s.  A p p l .  Op t .  2 6 ( 2 3 ),   4 9 7 2 - 4 9 7 8 ,   1 9 8 7 .   [1 7 ]   [1 7 ]   P a o ,  Y .  H . :  A d a p ti v e   P a tt e rn   Re c o g n it io n   a n d   Ne u ra l  Ne tw o rk .  Re a d in g ,  MA :  A d d iso n - W e sle y ,   1 9 8 9 .   [1 8 ]   Yo u n g ,  M . :  T h e   T e c h n ica l  W rit e r' s Ha n d b o o k .  M il l   V a ll e y ,  CA   Un iv e rsit y   S c ien c e ,   1 9 8 9 .   [1 9 ]   V e n k a tes h ,  S .  S .  Ba l d i ,  P . :  P r o g ra m m e d   In tera c ti o n s  i n   Hig h e r   Ord e r  Ne u ra l  Ne tw o rk s:  M a x i m a l  Ca p a c it y .   J .  Co m p lex it y   7 ,   3 1 6 - 3 3 7 ,   1 9 9 1 .   [2 0 ]   A n t y o m o v ,  E .   A n d   P e c h t ,  O .  Y . :  M o d ifi e d   Hig h e r  Ord e r  Ne u ra l  Ne tw o rk   f o r  In v a ri a n t  P a tt e rn   Re c o g n it io n .   P a tt e rn   Re c o g n it io n   L e tt e rs  2 6   ,   8 4 3 - 8 5 1 ,   2 0 0 5 .   [2 1 ]   P a o ,  Y . H . ,   P h il ip s ,  S .  M . :  T h e   F u n c ti o n a l  L in k   Ne t  L e a rn in g   Op ti m a l  Co n tro l.   Ne u r o   Co m p u ti n g   9 , 1 4 9 - 1 6 4 ,   1 9 9 5 .   [2 2 ]   M isra ,  B .  B .,  De h u ri ,  S . :  F u n c ti o n a l  L in k   Ne u ra l  Ne t w o rk   F o r  Clas sifi c a ti o n   T a sk   in   Da ta  M in in g .   Jo u r n a l  o f   Co m p u ter S c ien c e   3 (1 2 ),   9 4 8 - 9 5 5 ,   2 0 0 7 .   [2 3 ]   M irea ,  L .,  M a rc u ,  T . :  S y ste m   Id e n ti fi c a ti o n   Us in g   F u n c ti o n a l  L in k   Ne u ra l  Ne t w o rk s  W it h   D y n a m ic   S tru c tu re .   1 5 th   T rien n ial  W o rld   Co n g re ss ,  B a rc e lo n a ,  S p a in ,   2 0 0 2 .   [2 4 ]   Ca ss ,  R .,  Ra d l ,  B . :  A d a p ti v e   P ro c e ss   Op ti m iza ti o n   Us in g   F u n c ti o n a l  L in k   Ne t w o rk s  a n d   Ev o lu ti o n a ry   A lg o rit h m s.   Co n tr o l  E n g .  P ra c ti c e   4 (1 1 ),   1 5 7 9 - 1 5 8 4 ,   1 9 9 6 .   [2 5 ]   S h in ,  Y .,  G h o sh ,  J . :  T h e   Pi - S ig m a   Ne t w o rk s:  A n   E ffi c ien t  Hig h e r  Ord e r  Ne u ra l  Ne t w o rk   f o r  P a tt e rn   Clas sifi c a ti o n   a n d   F u n c ti o n   A p p ro x im a ti o n .   P ro c e e d in g s  o f   In tern a ti o n a l  Jo i n t  C o n f e re n c e   on  Ne u ra l  Ne tw o rk s ,   1 3 - 1 8 ,   1 9 9 1 .   [2 6 ]   S h in ,  Y .,  G h o sh ,  J . :  C o m p u tatio n a ll y   E ffi c ien t  In v a rian t  P a tt e rn   Re c o g n it i o n   W it h   Hig h e r  O rd e r  P i - S ig m a   Ne tw o rk s.  T h e   U n iv e rsit y   o f   T e x a s  A t  A u stin ,  T e c h .  Re p o rt ,   1 9 9 2 .   [2 7 ]   Zh u ,  Q .,  Ca i ,  Y .,  L iu ,  L . :  A  G lo b a l  L e a rn in g   A l g o rit h m   F o r  A   RBF   Ne tw o rk .   Ne u ra l  Ne t w o rk s  1 2 ,   5 2 7 - 5 4 0 ,   1 9 9 9 .   [2 8 ]   Li ,  M .,  T ian ,  J .,  C h e n ,  F . :  Im p ro v in g   M u lt icla ss   P a tt e rn   Re c o g n it io n   W it h   A   Co - Ev o lu ti o n a ry   RBF NN .  P a tt e rn   Re c o g n it io n   L e tt e rs  2 9 ,   3 9 2 - 4 0 6 ,   2 0 0 8 .   [2 9 ]   S h in ,  Y . ,   G h o sh ,  J . :   Rid g e   P o ly n o m ial  N e t w o rk s.  IEE E  T ra n sa c ti o n s Ne u ra l  Ne tw o rk s  6 (2 ),   6 1 0 - 6 2 2 .   1 9 9 5 .   [3 0 ]   S h in ,  Y .,  G h o sh ,  J . :  A p p ro x im a ti o n   Of   M u lt iv a riate   F u n c ti o n s  Us in g   Rid g e   P o ly n o m ial  Ne t w o rk s.  P r o c e e d in g s  o f   In tern a ti o n a l  Jo in t  C o n f e re n c e   o n   Ne u ra l  Ne tw o rk s II ,   3 8 0 - 3 8 5 ,   1 9 9 2 .   [3 1 ]   P a o ,  Y . H . ,   P h il li p s ,  S . M . ,   S o b a j ic ,  D . J . :  Ne u ra l - Ne t  C o m p u ti n g   a n d   In telli g e n t   Co n tro l   S y ste m s,  In tern a ti o n a l   Jo u rn a l  o f   Co n tr o l  S y ste m s  5 6 (2 ),   2 6 3 - 2 8 9 ,   1 9 9 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       F ea tu r e  S elec tio n   Usi n g   E v o lu tio n a r y  F u n ctio n a l Lin k  N eu r a l …   ( A ma r esh   S a h u )   367   [3 2 ]   M ish ra ,  B . B .,   De h u r i ,  S . :  F u n c t io n a l  L in k   A rti f icia l  Ne u ra l  Ne t w o rk   F o r  Clas si f ic a ti o n   T a sk   in   Da ta  M in in g .   Jo u rn a l  o f   Co m p u ter S c ien c e   3 ,   9 4 8 - 9 5 5 ,   2 0 0 7 .   [3 3 ]   De h u ri ,  S .,  Ch o   S . B . :  Ev o l u ti o n a r y   Op ti m i z e d   F e a tu re s  in   F u n c ti o n a l  L in k   Ne u ra l  Ne tw o rk   F o r  Clas sif ic a ti o n .   Ex p e rt  S y ste m   A n d   A p p li c a ti o n s  3 7 ,   4 3 7 9 - 4 3 9 1 ,   2 0 1 0 .   [3 4 ]   De h u ri ,  S . ,   Ch o   S . B . :  A  H y b rid   Ge n e ti c   Ba se d   F u n c ti o n a l  L in k   A rti f icia l  Ne u ra l  Ne t w o rk   W it h   A   S tatisti c a l   Co m p a riso n   o f   Clas sif iers   O v e r  M u lt i p le Da tas e ts.   Ne u ra l  Co m p u ti n g   A p p li c a ti o n s   1 9 ,   3 1 7 - 3 2 8 ,   2 0 1 0 .   [3 5 ]   De h u ri ,  S .,  Ro y   R .,  Ch o   S . B .,  G h o sh   A . :   A n   I m p ro v e d   S w a r m   Op ti m i z e d   F u n c ti o n a l  L in k   A rti f icia l  Ne u ra l  Ne tw o rk   ( IS O - F LA NN )  F o r  Clas sif ica ti o n .   T h e   Jo u rn a l  o f   S y ste m s   A n d   S o f tw a re   8 5 ,   1 3 3 3 - 1 3 4 5 ,   2 0 1 2 .   [3 6 ]   Eb e rh a rt ,  R . C . ,   Ke n n e d y   J . :  A  Ne w   Op ti m ize r  U sin g   P a rti c l e   S wa r m   T h e o r y .   P ro c e e d in g s   Of   T h e   S ix th   In tern a ti o n a l  S y m p o siu m   On   M ic ro   M a c h i n e   A n d   Hu m a n   S c ien c e ,  Na g o y a ,  Ja p a n ,  P p .   3 9 – 4 3 ,   1 9 9 5 .   [3 7 ]   Clerc   M .,  Ke n n e d y   J . :  T h e   P a rti c le  S wa r m   Ex p lo sio n ,   S tab il it y   a n d   Co n v e rg e n c e   In   A   M u lt id im e n sio n a l  Co m p lex   S p a c e .   IEE E  T ra n s E v o l  C o m p u t  2 0 0 2 , 6 (1 ) ,   5 8 – 7 3 ,   2 0 0 2 .   [3 8 ]   Eb e rh a rt ,  R .,  S h i ,  Y . :  Co m p a rin g   In e rti a   W e ig h ts  a n d   Co n stri c ti o n   F a c to rs  i n   P a rti c le  S w a rm   Op ti m iza ti o n .   P r o c e e d in g s  o f   T h e   Co n g re ss   On   Ev o lu ti o n a ry   Co m p u tatio n   ( CEC 2 0 0 0 ),   P p .   8 4 – 8 8 ,   2 0 0 0 .   [3 9 ]   M a jh i  R .,  P a n d a   G .   A n d   S a h o o   G . :  De v e lo p m e n t  a n d   P e rf o rm a n c e   Ev a lu a ti o n   Of   F LA NN   Ba s e d   M o d e l  F o r   F o re c a stin g   o f   S to c k   M a rk e ts,   Ex p e rt  S y ste m s  W it h   A p p li c a ti o n s  3 6 ,   P p .   6 8 0 0 – 6 8 0 8 ,   2 0 0 9 .   [4 0 ]   Blak e ,  C . L .,  M e rz ,  C . J . :  UCI  Re p o sit o ry   o f   M a c h in e   L e a rn in g   Da tab a se s ,  Http :/ /W ww . Ic s.Uc i. Ed u /~ M lea r n /M lrep o sito ry . Ht m l   [4 1 ]   P a l ,  S . K .,  M a j u m d a r ,  D . D . :  F u z z y   S e ts  a n d   De c isio n   M a k in g   A p p ro a c h e s  in   Vo w e l  a n d   S p e a k e r  Re c o g n it io n .  IEE E   T ra n sa c ti o n s  on  S y ste m s ,  M a n ,   A n d   Cy b e rn e ti c s  7 ,   6 2 5 – 6 2 9 ,   1 9 7 7 .   [4 2 ]   Ca r v a lh o ,  M .   A n d   L u d e r m ir ,  T . B . :  H y b rid   T ra in in g   o f   F e e d - F o rw a rd   N e u ra l  Ne t w o rk s   W it h   P a rti c le  S w a r m   Op ti m iza ti o n ,  I .  Ki n g   Et   A l.   ( Ed s . ):  ICON IP   2 0 0 6 ,   P a rt   II , L NCS  4 2 3 3 ,   P p .   1 0 6 1 – 1 0 7 0 ,   2 0 0 6 .   [4 3 ]   De h u ri ,  S . ,   M ish ra ,  B . B . ,   Ch o   S . B . :  G e n e ti c   F e a tu re   S e lec ti o n   F o r   Op ti m a l  F u n c t io n a l  L in k   A rti f icia l  Ne u ra l   Ne tw o rk   in   Clas si f ica ti o n .  IDEA L   2 0 0 8 ,   L NCS  5 3 2 6 ,   P p . 1 5 6 - 1 6 3 ,   2 0 0 8 .   [4 4 ]   Hsu ,  C . W .,  L in ,  C . J . :  A  Co m p a riso n   Of   M e th o d s  F o r  M u lt i - C las s  S u p p o rt   V e c to r  M a c h i n e s .  IEE E  T ra n sa c ti o n   o n   Ne u ra l  Ne tw o rk s . 3   (2 ),   P p .   4 1 5 - 4 2 5 .   2 0 0 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.