TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol. 13, No. 2, Februa ry 20 15, pp. 369 ~ 378   DOI: 10.115 9 1 /telkomni ka. v 13i2.703 2          369     Re cei v ed  No vem ber 1 5 , 2014; Re vi sed  De cem ber 2 8 ,  2014; Accep t ed Jan uary 1 4 , 2015   Radial Basis Function Network Learning with Modified  Backpropagation Algorithm      Usman Mu h a mmad Tuk ur, Siti Mariy a m Shamsuddin*  Soft Computin g Rese arch Group, F a cult y of  Co mputi ng, U n iversiti T e knol ogi Ma la ysi a   813 10 Jo hor, Mala ysi a     *Corres p o ndi n g  author, e-ma i l : mtus maan@ ya ho o.com, mari yam@ utm.my        A b st r a ct   Radi al B a sis F unctio n  N e tw ork (RBF N) is a  class of Artifi cial N eur al N e tw ork (ANN) that w a s  used  in  many  classificati on  p r obl ems  in sc i ence  an d e ngi neer ing. B a ckp ropa gatio n (BP )  alg o rith m is   a  lear nin g  a l gor ithm t hat w a s w i dely  used  in  A NN. Ho w e ver,  BP  has  ma jor  disa dvant ages  of slow  e r r o r  r a t e   co nver ge nce  a n d a l w a ys  easi l y  stuck  at  the local   m i n i m a .  H e n c e ,   Modifie d  BP algorit h m  w a s propos ed i n   this study to  i m pr ove th e l e a r nin g  sp eed  of  RBF N  usi ng  d i screti z e d  d a ta. C pro g ra mmi n g la ng uag e w a s  used t o  d e vel o p the  pro g ra m for the  prop o s ed  met hod.  P e rformanc e  measur e m ent of  the meth od  w a s  conducted and  th e  experimental r e s u l t s  indicate tha t  our proposed method perform s better in error ra te  conver genc e  a nd corr ect clas sificatio n  co m p ared t o  the  r e s u lt w i th conti n uous  datas et. T - test statistical  ana lysis w a s  used  to ch eck  the si gn ifican ce of th e  res u lts an d  most  w e re foun d to  be s a tisfactor ily   signific ant.      Ke y w ords : ,od i fied b a ckpro pa gatio n, cost function, di screti z ation, rad i al  ba sis function n e t w ork      Copy right  ©  2015 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion    Artificial Ne ural Network (A NN) wa s dev elope d as a p a rallel  di strib u ted system i n spi r ed   by human b r ain learning  pro c e ss. ANN lea r ning  capa city to so lve proble m s throug h trai ning  make s it po pular. Th ere  are ma ny types of A NN su ch a s  Ba ckpro pag atio n Network,  Self- Orga nizi ng M ap (SO M ), S p ikin g N eural  Network, Ra dial Basi s F u nction Net w o r k (RBF N), etc.    RBFN i s  a cl ass of ANN t hat  employs  Radi al Basi s Functio n s  (RBFs) a s  a c tivation functio n s .  RBFN is a  un ique type  of  ANN with  onl y three  layers. It has only  one  hidd en l a yer unli k e  oth e r  types of ANN that have one or mo re  hidde n laye rs. It is a feed forward and  fully connected  netwo rk [1]. RBFN  ha s  several  benefit s ab ove it s p r ede ce sso r s. Some  of  the benefits  i n cl u d e   having  simpl e  network a r chite c ture, a b ility to appro x imate better and al so it s  algorith m s l e arn   faster.  RBF N s  are u s e d  to solve  pro b lem s   su ch  a s  cla ssif i cat i on pr oblem s,   f u n c t i on  approximatio n, system  co ntrol, an d  tim e  serie s   pre d i c tion. As a  re sult, RBF N  it  is  widely u s e d  in  sci en ce and  engin eeri ng. In this pape r, we ar e a ppl ying the Mod i fied Backpro pagatio n (MB P )   algorith m  [2]  with imp r ove d  lea r nin g  pa ramete r va lu e to trai n RB FN  with di scretized  data. T hus,   this study att e mpts to exp l ore the p e rf orma nce  of RBFN by d e termini ng valu es for e r ror  rate   conve r ge nce  or lea r ni ng ra te and  co rre ct classifica tio n  accu ra cy of  the network.  The rest of t h e   pape r is o r ga nize d into se ction s . Sectio n 2 is  the Propo sed M e th od; se ction 3 ,  The Re sea r ch   Method. In  section  4, Results a nd  Discussion  of  the  finding s a r e  given. The  Concl u si on of t h e   study is given  in sectio n 5, and finally the Re feren c e s  con s ulted a r e listed in section 6.      2. Proposed  M e thod    In RBFN trai ning, clu s te ri ng algo rithm s  are u s ed to  determi ne th e cent re an d weig ht of  the hidden la yer.  On the other ha nd, L east Mea n  Squares  (LMS ) algo rithms  are em ploye d  in   determi ning t he network  weig hts bet ween hid den  and outp u t layer [3]. Wei ghts of net work   neuron s thou   can  be a d ju sted have  a val ue of 1  betwe en inp u t layers an d hid den  layers [1]. Th e   hidde n layer  node s dete r mine beh aviour an d stru cture  of the netwo rk. G a ussian fun c ti on is   us ed to ac tivate the hidden layer [4].   The num erous synaptic  associations  that link the billi ons  of neurons in animals are  modified to  u nderstan d ne w thing s . Li kewi se, an A N N be have s  in  the sa me  way by mimicking   Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 13, No. 2, Februa ry 2015 :  369 – 378   370 the neuron s in human b r ai n. It modi fies its weights t o  enable it l earn ne w pattern s.  Theref ore,  ANN is a  ma chin e le arni n g  p r o c e s s in spired,  by o u r  brain.   Every  nod e of  the  artificial  neu ron   has an  a c tivation fun c tion  whi c h i s  i n   charg e   of map p ing th e in pu ts of th e n euron to  its  outp u t   [5]. Backp rop agation  (BP) algo rithm h a s b een  wid e ly use d  a s   training  algo rithm for ANN in   sup e rvised l e arnin g  m ode  [6].  A study  by [7] rep o rte d  that at  pre s ent  ANN h a ve num erou s real   life applications in ma chin e learni ng an d other field s .   RBFN i s  train ed usi ng un supervi sed  an d sup e rvi s ed  learni ng mo d e s. The u n su pervised  mode i s  impl emented  bet wee n  input to  hidden l a ye rs an d su pe rvised m ode i s  i m pleme n ted f r om  hidde n to out put layer. Fu nction s give n  by hidde n ne uron s  create  rand om  starti ng poi nt for in put  pattern s [8].  Clu s terin g  alg o rithm s  are capabl e of  finding clu s ter ce ntres that be st repre s ent s the  distrib u tion of  data in the  first  stage  of the trai ni ng. S upervi sed l e a r ning i s   guide d by the de si red  target value s   for the net wo rk. Usin g mo dified BP to train the net wo rk  with modifi ed cost fun c ti on  proved by ot her stu d ie s to have enha nce d  ANN le arnin g  is imp l emented [2] but in our ca se,  discreti zed d a taset s  wa s use d  whi c h al so wa s re po rted to enhan ce the spee d of learnin g  [9]. In   RBFN, e a ch l a yer of the  ne twork p e rfo r m s  a  diffe rent t a sks  and th at is on e of the  main p r obl em s  with this  network .  Therefore, s e parating  the processe s of th e laye rs   with vari ou s tech niqu es i s  a  good  idea. I n  this  pap er,  five stand ard cl assi ficati on p r obl ems data s et was used to te st  the   prop osed  alg o rithm. T he  study co mpa r ed the  resu lt  of the  pro p o s ed al gorith m : RBF N  l earni ng   with Modified  BP algorithm  (MBP-RB FN) usi ng  contin uou s and di screti zed d a ta sets.       2.1.   Backpr opaga tion Al gorithm    Backpropa ga tion Algorith m   (BP) take s the lead i n  training A NN. It is on e of th e   sup e rvised le arnin g  alg o rit h ms that u s e  gradi ent de scent te chni qu e to red u ce the cost fun c ti on.    Many facto r s affect the pe rforma nce of  BP algorit hm,  su ch a s  initi a l param eters, initial wei g ht,  rate of lea r ni ng, mome ntu m  term, si ze  of net wo rk, n u mbe r  of ep o c h, conn ectio n  between th e  units.  Th e le arnin g  pe rformance of BP  depe nd s on  n e twork  param eters. A g ood  choi ce  of the s e  para m eters  may greatly improve p e rfo r man c e. It ge nerally ta ke s BP a long time to train [10].    Other BP lea r ning  we akne sses a r e lo cal minima tr a pping a nd  sl ow rate of co nverge nce [1 1],    [12]. As a result of the s e limitations,  rese a r chers have bee n  workin g ha rd  to improve  BP  perfo rman ce.   The BP traini ng pro c e s s st arts at the inp u t layer ( i ) through the hid d en layer ( j ) to output  layer ( k )  as  explained  in   equatio ns bel ow. T he  net work a c tivation fun c tion  a pplied  is si g m oid   function.    Between laye r  (i)  an d layer  (j)                    ( 1 )         ∑              ( 2 )     Whe r e “   is ou tput of layer  j,   is output of l a yer  i,    is wei ght co nne ctin g layer  i  to  j  an d    is  the bias at la yer  j”   Between laye r ( j ) an d layer ( k )                                    ( 3 )         ∑               ( 4 )     Whe r e “   is ou tput of layer  k,    is output  of layer   j,    is weig ht conn ecting l a yer  j to   k ,  a nd   is the bias at  layer  k”   Between laye r ( j ) an d ( k )  The e rro r i s   comp uted u s ing (5 ) to d e t ermine th e  differen c e s  o f  desired o u tput and  actual o u tput.  Error i s  the n  pro pag ated  backward. The propa gat i on sta r ts at la yer  (k )  to  (j )  then   finally to layer  (i).  Th e wei ghts a r e adj u s ted to de cre a se the  error  as it is ba ckward p r op agat ed  throug h the la yers.         ∑    –       ( 5 )   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Radi al Basi s Functio n  Net w ork Le arnin g  with Modifie d … (Usm an  Muham m ad Tuku r)  371 From the e r ro r com puted,  BP is used from ( k ) to ( j ) a s  in Equation  (6) a nd (7 ).         1   ∆   1         ( 6 )       ∆   1    ∆          ( 7 )     With,          1             ( 8 )     Whe r e “     rep r ese n t the we ight from layer  k  to layer  j  at time  t,  ∆     repre s e n t the  weig ht chan g e ,   rep r e s ent the learnin g  rate,   repre s e n t momentu m  rate,   repre s ent erro r at  node  k,   rep r e s ent the a c tu al netwo rk  ou tput at layer  j,    repre s e n t the actual n e twork  output  at layer  k,   rep r esent the target output value at layer  k.”   Equation s  (9 ) and (10 )  are for backwa r d  cal c ulatio ns from layer ( j ) to ( i ).         1    ∆   1         ( 9 )       ∆   1    ∆          ( 1 0 )     With,        1   ∑            ( 1 1 )                     ( 1 2 )         ∑             ( 1 3 )     Whe r e “   is th e weig ht from  j  to  i  at time  t,  ∆     is the  weight adj u s tment,   is the   learni ng rate,    is  the momentum rate,   is error  at no de   j,   is e r ror  at node  k,   is the  actual   netwo rk o u tp ut at node  i,  is the actu al  network out put at node  j,    is the actual netwo rk   output at nod e  k,    is the wei ght con n e c te d betwe en no de  j  and  k,   is the bias of no de  k.”   This p r o c ed u r e is  reite r ate d  till converg enc e is attai ned. Du rin g  trainin g , stan dard BP  norm a lly use s  lea r ning  rat e  whi c h is th e amount of  corre c tion a p p lied to adju s t weights at t h e   time of training and mome n t um term. It is  used to set the rate of adj ustment an d is always withi n   the range of [0, 1].  The small value of learni ng ra te will make the  changes of  weight very sm all.    Momentum  t e rm i s  th e a m ount of  pre v ious  co rrecti ve term th at  sho u ld  be  re membe r ed.    It is   use d  to spe e d  up the prop agation, an d is within  [0.1,  1.0] rang e.  Hen c e, the s e  two paramet ers  are u s ed g e n e rally to moni tor the adju s tment of the weight  [6] and [13].  Sensitivity of  BP to the learning  rate val ue ma ke s it  runs v e ry  slo w .  That  is  wh y  B P  is   alway s  lo cke d in local mi nima.  But, optimum conv erge nce spe ed of BP ca n be o b taine d  by  tuning the le arnin g  pa ram e ter. A study  by [14]  prop ose d  an a d a p tive learni ng  rate ba se d  on  Barzil ai and  Borwein lea r ning rate upd ate for ste e p e st de scent  method, an d  the re sult sh owe d   that the p r op ose d  meth od  improve s  th e  conve r ge nc e  rates of BP  algorithm.   The r efore, from  th e   previou s   stu d ies, it sh ows that  in BP learni ng, it is e s sential to pick the le arnin g  con s tant   cor r e c t l y .     2.2. Cos t   Func tio n   The erro r cal c ulatio ns em ployed to trai n an AN N are signifi cant [15]. Also, [16] report e d   that output error m e a s u r e m ent gives  u s  a  way to up date the  weig hts iteratively  to redu ce  error.    The  co st fun c tion i s  inte rcha nge ably  calle d obj ecti ve or  error functio n . Mea n  Squa re E r ror  (MSE) is  wid e ly used in  weight adju s tm ent in BP training.        ∑           ( 1 4 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 13, No. 2, Februa ry 2015 :  369 – 378   372 Whe r e,  Desi red r e p re se nt target value  and  Ac tual  re pre s ent  real  value gen era t ed by netwo rk.   The “e rror  sig nal”    is define d  as:         1          ( 1 5 )     Whe r e,  T k    re pre s ent   targe t  output and  O k   rep r e s ent  the actual o u tput of the network.   Ho wever, in t h is  study, mo dified cost fu nction  (MM )  i n  [2] defined  in (16 )  is  use d  with   MBP-RBF N  in place of the commo nly used MSE.      ∑           ( 1 6 )     With,                   ( 1 7 )     Whe r e “    , and,  is the error  at  (k ) ,  is the t a rget valu e at   (k ),    is the a c tivation of  (k ) ”   Applying pa rtial derivative s  u s ing  chai n rule , for  weight upd atin g, an erro r signal is  gene rated fo r MBP for the  output layer a s ,                      ( 1 8 )     While MBP error  s i gnal for hidden layer is  s a me as  SBP,        ∑ ′            ( 1 9 )     Whe r e “  is the weig ht of conne ction,    a sigmoi d functi on of (1/1 +e  – 2 x )”.    2.3.  Radial Basis  Function  Ne t w o r k    RBFs a r e u s ed as a c tivation function s i n  the hidden  layer of RBF N .  The link betwe en   inputs to hi dd en layer i s  no t weighted  while the lin k b e twee n hidd e n  to output la yer is  weig hted.    The hidd en la yer neu ron s  p r ovide  func tions  set to makeup ra ndo m  basi s  for input patterns  [17] .       Figure 1. The  RBF Netw ork Structu r e [1 8]      The output y j ( i ) of the  j th  hidden layer in a  RBFN mo del , is as [4]:      Ф , ,          ( 2 0 )       1 , 2 , …..,    1 , 2 , … ,                                       Her e   k  represents th e RBF s  a pplied,  whi l e  C k   ∈  R m ,  σ k   ∈  R m  are  ce ntre a nd  widt h value ve cto r s  of RBF, given as:  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Radi al Basi s Functio n  Net w ork Le arnin g  with Modifie d … (Usm an  Muham m ad Tuku r)  373     …   ∈ , ,….        (21 )                 …  ∈ , , … , ,        (22 )     Whi c h are we ights of RBF s  linked to  jth  output.   RBFN impl e m entation is repre s e n ted in  two  layered  netwo rk form.  Non-line a r transfo rm  is implante d  by the input layer. Wh ile i n  the hidden  layer, each  term  Φ k  (.) is an a c tivation  function. The  output layer o n  the ot her h and ap plies li near tran sformation.       Φ x, c , σ  ∐ ϕ   x ,c  , σ         ( 2 3 )     Also, the most common o p tion for   (.) is t he Gau s sian  form belo w  in  Equation (1 9 ) .       ϕ  x ,c  , σ  e x p x c  / 2 σ         ( 2 4 )     Equation (20) output beco m es (25)           ∑   e xp ∑      /2        ( 2 5 )     A study by [1 9] pro p o s ed  a ne w tre e  b a se d  RBF N  model com b i n ing  lo gisti c   regre s sion,  aimed to  enh ance its  cla s sification p e rfo r man c e  by  in put data p r e p r ocessin g  u s i ng RBF N  fra m e.    The p r op ose d  metho d   wa s bi nary  cla ssification a nd  wa s ea sy to  gene rali ze fo r many p r obl e m s.  The mod e l was teste d  wit h  data obtai n ed from “hydraulic fractu rin g  in Oil and  Gas  well s”, a nd  the results a r e sup e rio r  to logisti c  reg r e s sion.    Data fro m  1 200 individ u a ls  was  coll ected  by [20], for empiri cal com pari s o n  of the  netwo rk mod e ls.  Fa sting   plasm a  glu c o s e  (FPG ) a s   crite r ia fo r cl a ssifying  a p a tient as a di ab etic  wa s u s e d  in   sele cting  dia betic  patient s.  Ri sk  pa ram e ters em ploy ed a r e  gen de r, ag e a nd fa mily  history of di a betes; a nd  many othe r factors a r e al so  con s ide r e d . The stu d y use d  RBF N  in  diagn osin g o f  diabetes m e llitus an d the re sult s  compa r ed  with MLP Network a nd logi stic  reg r e ssi on. T he results  obt ained  proved  that RBF N  ha s a  better  pe rforman c e  co mpared to  other  model s.  Also, [21] applied brea st can c e r  and g ene to RBFN with Gro w in g and Pruni n g  (GAP)  algorith m .  [22] use d  RBF N  for tree s sp ecie s re cogni tion and  cla s sificatio n  for f o re st invento r ies  to estimate the wood q uant ity in a given  forest  a r ea. T r ee s diamete r , thickn ess b a rk, g r owth o f   diamete r  an d  height a r e th e pa ramete rs use d . Tree  clusteri ng  with  diverse in put  wa s ta ken by  the netwo rk.  The re sult s improve d  foreca sting  te ch nique s in forest invento r ie s. [23] applie d  RBF  Network for time  s e ries  fo re ca stin g in  a  hybrid  syste m   com p risi ng  of ma ny su b-RBF N s  whi c h produ ced a faste r  training  spee d  with  slig htly better gene rali zation  cap abil i ty.      2.4. Discre t izatio n    Discretizatio n  acco rdin g to  [24] ca n be  d e fined a s   one  way of  red u cing data  o r  ch angin g   origin al co ntinuou s attrib ute into discrete attri bute. Di scretization p r oces s h e lp s in data re du ctio n   and si mplification, as a  re sult, the data  beco m e s   ea sier to u nde rstand, u s ed  and explai ne d. In   addition a c hi eving, faster  and a c curate  training p r o c ess [25, 26]. Many studie s  on discretiza tion  algorith m s  were te sted in  Data minin g  and kno w led ge discove r y domain, to sh ow that it has the   potential  to redu ce data and  im provin g  predi ctiv e  accuracy. T h e alg o rithm s  are  “sup ervi sed  versu s  un su p e rvise d , glob al versu s  local and dyna mic versus  static [27]”.  Also, [28], explained   that based o n  differe nt theoreti c al o r igi n s, vari ou s  method s for  discreti zation  in literatu r e  are   identified  su ch a s   statistics, Boolean  rea s oni ng,  clu s tering  techniq ues an d e n tropy calculatio ns.  Equal Frequ e n cy Binnin g  (EFB) Equal  Width Bi nni n g  (EWB ) and  Entropy-b ased Di screti za tion   (EBD)  are th e most g ene ral on es. In t h is p ape r, M D L di screti za tion algo rith m in Ro ug h  Se t  Toolk i t  f o r  D a ta  Anal y s is   i s  us ed to disc retiz e  all input datas et s .     2.5. Classific a tio n   Problem  RBFN have   been  ap plied  effectively i n  ma ny  field s  fo r dive rse  pu rpo s e s   su ch  as in  cla ssifi cation.  Cla ssifi catio n  is  appli ed i n  virt ually all  circu m stan ces  whe r e  co rrelation  bet ween  inputs an d o u tputs  exist. It can  comp ute several  po ssible  re sult s  across vario u s  p a ra meters, if  Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 13, No. 2, Februa ry 2015 :  369 – 378   374 we have  eno ugh info rmati on from the  p a st [16]. Al so,  [29] in a stu d y prop osed  Enhan cem e n t  o f   RBFN  with F u zzy-OS D al gorithm fo r o n line sy stem  that classify rada r pul se.  It needs qui ck  netwo rk retra i ning  when n e w  un se en  e m itters  a r e d e tected. Th e  netwo rk  performan ce  wa s  sup e rio r  to T h ree - Pha s e   OSD m e thod  whe n  it was evaluated  a nd comp are d . Also, adju s t i ng  RBF units  wit h  great  care in t he  network will i m prove  per formance  in less tr ai ning cy cles, whi c h  is v i tal for rea l -time sy ste m s.    2.6.  Net w o r k  Arc h itec ture for each Datase t     In this stu d y, Modified B P  algorithm   wa s ap plied  to enha nce  RBFN l e a r n i ng with  discreti zed d a taset. The result s of MBP-RBF N   with  continuo us  and discretized datasets  were  comp ared to ascertai n the perfo rman ce  of our  pro p o s ed method. Defining netwo rk a r chitectu re   mean s  cho o sing  suitable   numbe r of l a yers  and  no d e s fo r e a ch  dataset. Tabl e 1 d epi cts t h e   netwo rk a r chi t ecture fo r this study. Opti mal netwo rk desi gn come s from carefu l sele ction of the  numbe r of hi dden n e u r on s. Gen e rali za tion cap a city,  training time  and complex i ty is affected  by  the si ze  of th e hid den  laye r. Tho ugh,  th ere  is   no   sta ndard  rule f o r  d e t e r m i n i n g  optim al  num ber  o f   h i d d e n   n o d e s   [ 3 0 ] .   Man y  techn i q ues   h a v e   b een p u t  forw ard   b y  rese archers  on   h o w   bes t,   h i d d e n   nod es can be d e termined.   Acco rdi ng to  [31] the perf o rma n ce of a n   ANN i s   strongly influen ced  by the n e tworks’  structure and its paramete rs. If the net work structure i s  too  simple,  it will lower the classification  cap a city of the netwo rk, he nce affe cting  the final  re sul t. Howeve r, if the netwo rk  stru cture is to o  compl e x it will lower the l earni ng spee d and ultimat e ly the final  error may increa se. Also the  momentum,  l earni ng rate para m eters will  al so a ffect net work l e arnin g   spe e d  and  accu ra cy. If  suitabl e  network stru ctu r e and  pa ram e ters are  u s e d  it will get the best result. The bre a kdo w n of  the a r chitectu ral  co nfiguration fo r e a ch d a taset i s  give n in  Tabl e 1,   with th ree  lea r ning  rates of   0.5, 0.1 and  0.7 re spe c tively. A consta nt moment u m  of 0.9 is maintaine d . The minim u m error  rate is  set to  0.005. In the experim ent s k-fo ld d a ta  partition me thod was u s ed. For  each  k  experim ents,  k-1  fold  was  employed  for network l earning  whil e  what is left is f o r te sting. T h e   value of  k=5.  The  stoppi n g  co ndition s f o r e a ch ru n f o r all th e dat aset s a r e  rea c hin g  a mi ni mum  error of 0.005  or maximum  of 10000 itera t ions re ached .        Table 1. Data set su mma ry and archite c t u ral configu r a t ion  XOR  Balloon  Iris  Cancer   Ionosphere   Input  3  4  4  9  34  Hidden  2  2  3  3  2  Output  1  1  3  1  1  Instances 8  16  150  699  351      2.7. Modified  BP -based  RBF  Net w o r k T r ai ning Algorithm  The algo rithm  is here b y pre s ente d  in det a il, and part o f  it is adopted  from [32].  Algorithm   1. Initialize  net work  2.  Forward pa ss by inserting i nput and  d e si red outp u t, and com pute n e twork outp u ts  layer by layer.  3.  B a ck wa rd  p a ss        ,   ,       4. Paramete rs  u pdate        1   ∆   1         ( 2 1 )     ∆   1            ( 2 2 )          Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Radi al Basi s Functio n  Net w ork Le arnin g  with Modifie d … (Usm an  Muham m ad Tuku r)  375 With,     1             ( 2 3 )       e x p              ( 2 4 )     Whe r e “   is th e wei ght fro m   k  to  j  at  time   t,  ∆    is the  wei ght ch ang e,   is the l earning  rate,   is e r ror  the at  k,    is th e actu al network  output at    j,  is the actu al netwo rk ou tput at  k,      is the target o u tput value at  k” .         1   ∆   1         ( 2 5 )     ∆   1              ( 2 6 )     Whe r e “  is the centre from   j  to  i  at  time  t,   ∆  is the centre chan ge,  is the learni ng rate,   is the erro r at  k,   is the actual network output at   j,    is the width at  j,   is the wei ght  con n e c ted be tween   j  and  k  and    is the input   j  to  i .”     1  ∆  1          ( 2 7 )       ∆  1               ( 2 8 )     Whe r e “ is the  width of  j  at ti me  t,  ∆ is the wi dth cha nge,   is the learning  rate  is er ro r  at  k,   is the actual netwo rk  output at  j,  is  the width at  j,   is the weig ht con n e c ted be tween  j  and  k,    is the  input  at  i  and whe r e   ,  ,   are lea r nin g  ra te factor s  in the range [0; 1].”  5.  Rep eat the al gorithm for all  training inp u ts.       Figure 2. Modified BP-ba sed RB F Network T r aini ng  Flowcha r t   Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 13, No. 2, Februa ry 2015 :  369 – 378   376 3. Resul t s  and  Discus s ion   The  expe rim ents are in two  pa rt s.  Pa rt 1, is experim e n t  fo r   RBF N  trainin g  an d testing   w i t h   M B P   a l g o r i t h m  using  continuous d a taset.  Part 2 ,  is  an e x periment  for R B F N   t r a i n i n g   and  te s t in g  w i th  MBP algorith m  usin g di scretized  dat a s e t. The  classifi cation  accu ra cy and e r ror  rate   on  t e st  re sul t s  a r e  com p ared.  Re sult   summ ar y fo r MBP-RBFN with both  continuo us  an d  discreti zed d a taset s  are gi ven in the table and figures below.        Table 2. Re sult summa ry for MBP-RBF N  with differe nt types of dataset   Dataset    MBP-RBFN w i th continuous  dataset  MBP-RBFN w i th discretized   dataset    Classifi cation  Ac c u rac y  (% )   Error rate   Classifi cation  Accur a cy   (%)  Error  rate   XOR  56.25   0.0876   59.90   0.0145   Balloon 54.55   0.0419   51.31   0.0374   Iris 82.95   0.4411   83.78   0.5276   Cancer  88.93   0.1081   86.86   0.0343   Ionosphere  59.17   0.1339   78.27   0.1046           Figure 3.   Cla ssif c ation  Re sult for MBP- RBFN       From  Table  2 an d Fig u re  3, the  resu lts com p arison s  b e tween contin u ous and   discreti zed d a taset s   for MBP-RBF N   i ndicate  that MBP-RBF N   with discretized data s ets  has  better cla s sification results in XOR, Iris and  Inonsph ere while on  the other ha nd; MBP-RB FN  with co ntinuo us data s et s h a s bette r re su lts in Ballon a nd Ca ncer.   Also, MBP-RBFN with di screti zed  data s ets  has  th e least  conve r g ence erro r ra tes in all   the five datasets ex cept  in Iris, wh ere MBP- RBF N  with conti nuou s data s et has the l east  conve r ge nce  error  rate  as  sho w n i n  Ta b l e 2 an d Fig u e  4. Thi s  p r ov es the  cl aims of [9] and ot her  resea r chers  who  said di scretization i m prove s   th e  cla s sificatio n  pe rform a n c e  and  fast er  conve r ge nce  of error  rate s. The results a bove ar e ba cked  by the st atistical te st condu cted  whi c h   sho w e d  that the t-test for a ll the results  wa s st atisti ca lly significant  except for Bo lloon whi c h  was   statistically not significant. We ca n su mmari se  he re that MBP-RBFN  with discretized dat aset   has b e t t e r re s u lt s in most  o f  t he case s.         0 10 20 30 40 50 60 70 80 90 100 X o r B alloon Iris Cancer Ionosphere MBP-RBFN w i th  continuous  dataset MBP-RBFN w i th  discretized  dataset Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Radi al Basi s Functio n  Net w ork Le arnin g  with Modifie d … (Usm an  Muham m ad Tuku r)  377     Figur e 4. Erro r rate for MB P-RBF N  wi th  contin uou s a nd discretize d dataset      The o b je ct iv e of  t h is  st u d y  wa s t o  t e st  if  traini ng  of RBF N  wit h  modifie d  B P  usin g  discreti zed d a taset woul d   enha nce  th e  cla s sificati on  a c cura cy   and small error rate s o f   conve r ge nce.      4. Conclusio n    In this study , MBP algorithm was u s ed to train RBFN  with both co ntinu ous a nd  discreti zed d a taset s .  For  uniform  com pari s on in thi s  study, sa m e  para m eters were  used i n  all  experim ents for the five dataset s. F i n a lly,  inve stigation is don e by compari ng  results of MBP- RBFN  u s ing  both contin uo us and   di scre tized dat a s et and  fo r ea ch dataset  an d  t he  o u tco m e  i s   an improved  result for MBP-RBF N  with  discreti z ed datas e t which is  better than MBP-RBFN with  contin uou s d a taset which also ju stified the study carri ed out.      Ackn o w l e dg ements   Authors  wou l d like to th ank Soft Co mputi ng Re search Group   (SCRG )  Un iversit i   Tekn ologi Ma laysia and  UTM Big Data  Centre for  suppo rting this study fr om ince ption to the  end of the stu d y.      Referen ces   [1]  Che n  Y. App l i c ation  of a N o n-lin er C l a ssifi er Mod e l  base d  on  SVR-RB F  Algorithm. i n   Power a n d  Energy Engineering  Confer ence (APPEEC), 2010 Asia-P acific . IEEE. 2010 .  [2]  Shamsu ddi n S M , MN Sul a im an, M D a rus.  A n  i m pr ove d  err o r sig n a l  for th e b a ckpro pa ga tion  mode l f o r   classificati on p r obl ems.  Intern ation a l Jo urna l of Computer  M a thematics. 20 01; 76(3): 2 97- 305.   [3]  Yu D, J Gomm, D Williams,  A recursive orth ogo nal l east sq uares a l gor ith m  for traini ng  RBF  netw o rks.   Neur al Proces sing L e tters. 1997;  5 (3): 1 67- 176.   [4]  Qasem SN, SM  Shamsud d i n .  Hybrid L ear nin g  Enha nce m e n t of RBF   Netw ork Base d on Particl e   Swarm  Optimi z a tion .  Adva nce s  in Neur al Net w orks–ISNN 2 009 . Spri ng er. 200 9; 19-2 9 .  [5] Chang  WY.  Es timati on  of th e  state of c harg e  for a  LF P  bat t e ry us ing  a  hy brid   metho d  th at co mb in es   a   RBF  neur al  ne tw ork, an OLS alg o rith m  an d  AGA.  Internati ona l Jo urna l of  Electrica l  Po wer & En erg y   S y stems. 20 13 .  53 : 603-6 11.   [6]  Z w eiri YH, et  al.  A new  thre e-term  back p r opa gati on a l g o r ithm w i th co n v erge nce a n a l ysis .  Robotics  and Auto matio n . Proceed in gs . ICRA' 02.  IEEE Internatio nal  Confer ence  on . 2002. IEEE.  [7]  Shahpaz ov VL, VB Velev, LA Doukovska.  Desig n   and  a p p licati o n  of Art i ficial  Ne ura l  N e tw orks for   pred icting th e  valu es of in dex es on th e Bul g aria n Stock ma rket .  Signal Pr ocessing Sy m p osium  (SPS),   201 3 . IEEE. 2013.   [8]  Qu M, et al.  A u tomatic so lar  flare d e tectio n  usin g MLP, RB F ,  and SVM.  S o lar P h ysics. 2 003;  21 7 (1 ) :   157- 172.   [9]  Len g W Y , SM  Shams udd in.   W r iter id entifi c ation  for C h i nese  ha ndw riti ng.  Int. J. Advance. Soft   Comp ut. Appl. 201 0; 2(2): 142 -173.   0 0. 1 0. 2 0. 3 0. 4 0. 5 0. 6 XO R B alloon I r is C a n c e r I on osp h e re Error   rat e   of   MBP ‐ RBFN   with   continuous   dataset Error   rat e   of   MBP ‐ RBFN   with   discretized   dataset Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 13, No. 2, Februa ry 2015 :  369 – 378   378 [10]  Cho T H , RW  Con ners, PA Araman.  F a st backpr opa gati on le arni ng us i ng steep activ a tion functi on s   and a u to matic  w e ight reinitia li z a tio n .  Systems, Man, and  Cy ber netics. Decisio n  Aid i ng  for Compl e x   System s, Conferenc e Proceedings.,  IEEE In ternational Conference on  IEEE. 1991.   [11]  Cui L, C W a n g , B Yang,  Applic atio n of RBF  neural n e tw ork im prov ed  by PSO algorithm i n  faul t   dia gnos is.  Jour nal of T heoreti c al an d App lie d Info rmation T e chn o lo g y . 201 2; 46(1): p. 268 -273.   [12] Yufeng L,  X  C hao, F  Yaozu.  T he Co mp aris on of RBF  and  BP Neural Ne tw ork in Decou p lin g of DT G.   201 0.  [13]  Sirat M, C T a lbot.  App licati o n of artificia l   neur al n e tw orks to fracture ana lysis at th e Äspö H R L,   Sw eden: fractu re sets cl assifi cation.  Inter nat ion a l J ourn a l  o f  Rock Mec h a n ics a nd M i ni n g  Scie nces,   200 1; 38(5): 62 1-63 9.  [14]  Plag ian a kos V ,  D Sotiropo ul os, M Vrahati s .  A non mon o t one b a ckpro p agati on trai nin g  metho d  for   neur al netw o rk s.  Dept. of Mathematics, Un iv . of  Patras,  T e chnic a l Re port, 199 8; 98-0 4 .  [15] Ed w a r d   R.  A n  Introductio n   to  Neur al  N e tw orks.  A W h ite p a per. Vis ual  Nu merics Inc., Un ited States  o f   America, 20 04.   [16]  Rimer M,  T  Ma rtinez,  CB3: an  adaptiv e error  function for ba ckprop agati on  traini ng.  Neur al  processin g   letters. 2006; 2 4 (1): 81-9 2 .  [17]  Qasem S, S  Shamsu ddi n,  Genera l i z a t i o n  impr ove m ent of radia l  basis  function n e tw ork base d   o n   mu lti-ob jectiv e particl e sw arm  opti m i z at ion.  J. Artif.  Intell. 2010;  3 (1).   [18]  Arisari y a w o n g   S, S Char oen sean g.  Dyn a m ic self-or gan i z ed l earn i n g  fo r opti m i z i n g t h e co mp lexity   grow th of r a dial  b a sis  fu nction  n eura l  netw o rks .  Industrial Technology. IEEE I C IT'02. IEEE   Internatio na l C onfere n ce o n . 200 2.  [19] Akbil g ic  O.  Bin a ry Class ificati on for Hydr aul i c  F r acturing  Operati ons i n  Oil  & Gas W e lls via T r ee Base d   Log istic RBF Netw orks.  European Jo urn a l of Pure & Appl ie d  Mathematics. 201 3; 6(4).  [20] Venkates an  P, S  Anitha.  Ap pli c ation  of a rad i al bas is functi o n  ne ural  netw o rk for diag nos is  of diab etes   me llitus.  CU R R ENT  SCIENCE-BANGALOR E . 2006; 91( 9): 1195.   [21]  Z hang R, et al.   An efficient se que ntial RBF  n e tw ork for bio-me dic a l class i fi cation pr obl e m s . in  Neura l   Networks.  Proceedings. IEEE International  Joint Conferenc e  on. 2004.   [22]  Castell a n o s A, A Martinez B l anco, V Pa le n c ia.  App licati o ns of rad i al  ba sis ne ural  net w o rks for area   forest.  2007.   [23]  Hua ng R b , Y m  Che u n g .  A fast i m pl e m ent ation  of rad i a l   basis  fu nctio n   netw o rks w i th app licati on t o   tim e  series for e casting .  Intell i gent D a ta E n g i ne erin g a nd A u tomated  Le ar nin g . Spri nger.  200 3; 14 3- 150.   [24]  Gohari an N,  D Gr ossman, an d N. Ra ju.  Ext end ing  the  und ergra duat e co mp uter sci enc e curric u lu m t o   inclu de d a ta mi nin g .  Informati on T e chn o lo gy : Codin g  and C o mputi ng.  Proc eed ings IEEE. IT CC 2004.   Internatio na l C onfere n ce o n . 200 4.   [25]  Liu H, et a l .  Di screti z at io n: An en abl ing tec hni que.  D a ta  minin g  a nd kn o w le dg e disc o v er y .  2 0 0 2 ; 6(4 ) :  393- 423.   [26] Dou ghert y   J,  R Kohav i, M Sahami.  Su p e rvise d  an d u n sup e rvise d  di screti z at io n of  continu o u s   features . in  ICML . 1995.   [27]  Agre G, S Peev.  On  su pe rvised and un superv i sed dis c reti z a t i o n .  C y bern e tics A nd Information  T e chnolog ies.  200 2; 2(2): 43- 57.   [28]  Saad P,  et al.  Rou gh  set on trade mark i m a ges  for  n eur al netw o rk  classif i er.  Internati o n a l j ourn a l  of   computer math ematics. 200 2; 79(7): 78 9-7 9 6 .   [29]  Montazer  GA, H K hos hni at, V F a thi.   Imp r ove m e n t of  RBF  Ne ural   Netw orks Usi n g F u zz y - OSD   Algorit h m  in an  Online R a d a r Pulse C l assific a tion Syste m .  Appl ied S o ft Computi ng. 20 1 3 .  [30]  Kim GH, et al .  Neural netw o rk mo del i n c o rpor ating a g enetic  a l gor ith m  in esti matin g  constructio n   costs.  Buildi ng  and Env i ro nme n t. 2004; 39( 11 ): 1333-1 3 4 0 .  [31]  Yi H, G Ji, H Z heng.  Optimal Parameters  of Bp Netw ork for Characte r Recog n itio n . in  Industria l   Contro l and El ectronics En gi neer ing (ICICE E) . IEEE. International  Confer ence on. 2012.   [32]  Vakil-B aghm is heh MT , N   Paveši ć .  T r ai nin g  RBF  netw o rks  w i th  selectiv e bac kprop agati o n .   Neur ocomp u tin g . 2004; 6 2 : 39 -64.       Evaluation Warning : The document was created with Spire.PDF for Python.