TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol.12, No.7, July 201 4, pp . 5261 ~ 52 6 7   DOI: 10.115 9 1 /telkomni ka. v 12i7.483 0          5261     Re cei v ed O c t ober 1 8 , 201 3; Revi se d Febru a ry 6, 20 14; Accepted  March 2, 201 Identification of Nonlinear System Based on Fuzzy  Model with Enhanced Gradient Search      Arbab Nigha Khizer* 1 , Dai Yaping 2 , Amir Mahmood Soomro 3 Xu Xiang Yang 4   1,2, 3,4 School of Automatio n , Beiji ng Institute  of  T e chnol og y,  Beiji ng 10 00 8 1 , P. R. China   1,3 Mehran Univ ersit y  of En gii n eeri ng an d T e chno log y , Jams horo, Sin dh, P a kistan   *Corres p o ndi n g  author, e-ma i l : arbab nig hat @gmai l .com1       A b st r a ct    The ide n tificati on an mod e li ng the o ry of nonli n e a r syste m s h a s alw a y s  been c hal le ngi ng t o   researc hers.  Fu z z y  syste m   due to its l ang uag e descr ipti ve w a y simi lar  to hu man  bra i n an d de al w i t h   qua litative  i n fo rmati o n  inte lli g ently  prov es b e tter cho i ce  for n onl in ear s ystem mod e li n g  ov er  last fe w   deca des.  Th f u z z y  syste m   t h eory itself also  has no nli near  character i stics therefor e  w hen  estab lish i n g  th e   fu z z y   model of  nonlinear syst em ; it s hou ld  be able to well  describe the  nonlinear characte ristics. Takagi- Sugeno (TS) fu z z y  system are not only s u itable for mo deling t he nonlinear system   due  to combination of  the g ood  perfo rma n ce w i th th e si mp le l i n ear  express i o n s, but als o  us eful  to des ign  the  fu zz y  c ontrol l e r .   T h is p aper  pr opos ed  new  opti m i z a t io alg o rith na med  as E nha nc ed Gra d ie nt S earch  (EGS) fo r   ide n tificatio n  of  nonl ine a r system  base d  on T S  fu z z y   syste m . In propose d  EGS, par ameter s of me mb ersh ip   functions  are  train ed  ada ptiv ely so  as to  c a lcul ate th e gr adi ent of c o st  function  w h ich  is n e cessary   for  mi ni mi z i ng  the  error. Usi ng  g r adi ent i n for m a t ion of c o st fun c tion, EGS ap plies  in  an innovative way s u ch  that it ke eps  a nd  upd ates th e b e st  searc h   results  at ever y traini ng  st ep  duri n g  the  opt imi z a t io proc ess .   T he a ppl icab ili ty of EGS for T S  fu zz y   mo del s how s sp l end id  perfor m ance  esp e cia l l y  in  mode lin g  of   nonlinear system .     Ke y w ords e n hanc ed gr ad ie nt search, p a r a meter esti mation,  Gauss i an  me mbers h ip fu nction, n onl in e a r   system    Copy right  ©  2014 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion   Dynami cs  m odelin g for u n kn own no nli near  plant b e com e s ch all enge  duri n g  re cent  years. M any  method s hav e bee n propo sed  and im pl emented  to cope with  this deman ding  i s sue.  Adaption of accurate  p a rameters  fo r nonlin ear  mo del throug h t r ainin g  i s  on e of the  mo st  comm on techniques. Am ong  all, fuzzy modeling  proves as a dominant  modeling tool for  nonlin ear  system ide n tification [1 -4]. Ho wever,  th e nonlin ear  system s are  mostly com p lex  enou gh to  b e  ide n tified;  therefo r e th e  accu rate  m odelin g h a to don e by   estimating  the   para m eters o f  membership  functions a n d  fuzzy ru le s.  The estimati on of such param eters is an  importa nt task be cau s e th ese p a ra met e rs  sho w   no n linearity in the output of fuzzy mo del. Two  major step s are con s id ered  when de sign  fu zzy  model from I/O (in put an d  output)  data  e.g.  stru cture ide n tification  (e stimation of n u mbe r   of req u ired  fuzzy rules  and  me mbershi p  fun c tion  with  cente r s and width s ) a nd  pa ram e ter  identificat io (lea rnin g process of the  co nse que nt) [5-6].  The num ber  of rules in th e fuzzy sy ste m  can  be d e t ermine d by dividing the i nput and o u tput  data sp ace into many partitions. Thi s  ste p  is kn ow n as stru cture id e n tification. After the sel e cti on  of  st ru ct ure o f  f u zzy  sy st e m ,   the estimation of para m eters for b o th membe r ship functio n  an d   rule s are ne ed to be d e termin ed un d e r pa ram e ter estimation  step. This i s  consi dered a s  an  essential p a rt  for fuzzy mo deling  sin c e the stru ctu r e i s  no rmally selecte d  ba se d upon  a pri o ri   system kno w l edge an d accuracy of fuzzy m odel ma inly depend s on both the fuzzy rul e s a n d   membe r ship  function. Parameter e s tim a tion can b e  con s ide r ed  as an optimi z ation p r obl e m whi c h is  use d  for finding t he prope r pa ramete rs  so  as to redu ce  the co st  function that dire ctly  descri b e s  th e a c cura cy  of model. S e veral  meth ods are b e i ng u s e d  for estimatin g   the  para m eters  su ch a s  g e n e tic alg o rith ms [7-9], least me an  sq uare  (LMS and evol utio nary  algorith m  [10 - 11]. Sepa rat ed e s timatio n  stag es  are  req u ire d  to  find the pa ra meters optim al  values a nd th at is the mai n  dra w ba ck o f  t hese meth ods. Also gu aranty ab out the conve r g e n ce  of optimizatio n pro c e ss  co uld not be giv en.   Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 7, July 201 4:  5261 – 52 67   5262 This pa pe r propo sed an e n han ced optim ization al g o rit h m usin g gra d ient se arch i n  su ch  a way that it  kee p s the be st trac ks of m any sea r che s  and also u p d a tes the be st sea r ch with fast  conve r ge nce. The incorp oration  of enhan cin g   co nce p t in the  gradi ent se arch bo und s the  optimizatio pro c e s s to  keep th e b e st  re sults a n d  at the  sam e  time ig no re the  un sati sfied   solutio n . At first, TS fuzzy  model i s  b u ilt with the i n itia lly guesse d st ructu r and  p a ram e ters for a  certai n n onlin ear  syste m . After that, EGS is a pplied  to find o u t the  best  paramet ers for  nonli n ear  system b a se d on its inp u t-output d a ta. The propo se d EGS prove s  better  choi ce for finding t he  optimal parameters  of the TS fuz z y  models  with better acc u rac y .   The pap er is organi ze d a s  follows: Section-2 de scribed fuzzy modelin g of nonlinea system  and   the ap pro p ria t e co st fun c ti on u s ed  for  identificatio n. Section - 3 i n trodu ced  EGS  algorith m  fo r tuning  the   unkno wn  parameter of  nonlin ear sy stem. Se ctio n-4  sho w s the  simulatio n  re sults of pa ra meter e s timat i on usi ng  EG S. Finally, section-5 di scu ssed  con c lu sio n  of  t h is re sea r ch.       2. Fuzz y   Modeling  2.1. Nonlinear  Sy stem   Single in put  singl e outp u t (SISO) i s   u s ed  to   sho w  the n online a r  dyna mic sy stem in  disc rete time  as :         ,                              (1)    Whe r  is th e cu rrent o u tput,   sh ows t he no nline a mappin g  b e twee n outp u   and   input  :       1        2 …..    1       2 . .         Nonli nea r system identi f ication can  be defined  as to find  out the nonline a relation shi p     betwee n  the o u tput and inp u t, repre s e n ting as:           ,          ( 2 )      So  that   is close to   and could b e  co nsid ere d  as  estimation of   . This   phen omen on  is sh own by Figure 1.                                                                           Figure 1. Non linear System  and Model       2.2. TS Fuzzy   Model    The mod e l introdu ce d by Takagi -Sug eno ha s gain ed intere st in  fuzzy model ing an d   control a ppli c ations [12-13 ]. IF.....THEN rule s fo re a s oni ng i s  th e  ba se  structu r of TS mo d e whi c con s ist s  of ante c ed ents a s  a fu zzy set s   and  con s e que nts  as a lin ea r function s. Due  to  this arran gem ent, a comple x affine nonlinear  system   coul d be ap proximated by TS fuzzy mod e l.   Non lin ear  System   M odel    ,           Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Identification of  Nonlin ear System   Base on Fu zzy M odel with … (Arbab  Nigh at Khize r 5263   For TS fuzzy modelin g, ch oose the line a dynami c  a u toreg r e s sive  moving average with  Exogeneo us i nput (ARMAX ) model to  de scribe the n o n linea r syste m . For  th  rule:    :    If     is  ,  and   1  is  ,  and ……. a nd    is   ,             and   is  ,  and   1  is  ,   and … . and    is   ,    Then      ,       ,    1   ……..   ,        ,       ,    1   ……..   ,      or            ,        ,          Whe r ……,    and  ,……,   are p r e s e n t and p a st p l ant output and  inputs. After center av e r ag e defuzzification, the estim a ted output is:                 ,…..,  , ,… ,..,         ,… ..,  , ,…..,                             (3)    Whe r   is unkn o wn parameter vect or, rep r e s en ting as           ,    , . The  nonlin ear  system identifica t ion usin g TS  fuzzy  mod e coul d be d o n e  by estimati ng the un kn o w n   para m eter ve ctor      through  the optimizati on of co st function.       3.  Enhance d  G r adient Se ar ch (EGS)    Gene rally, gradient info rm ation of co st  f unction i s   use d  to cal c ulate the nex t update   dire ction in g r adie n t sea r ch without u s i ng the  ori g in al function v a lue [14 - 15].  The ba sic i dea   behin d  the  g r adie n t search is to  mov e  the p a ra m e ters in  su ch directio n t hat it sh ould  be   oppo site to g r adie n t (o r sl ope)  of the e rro surfa c e. This ensures  that  error sh ould  al way s  be   decrea s e d   when  a n e w p a ram e ter up d a tes  are in itia ted. Whil e in   prop osed E n han ced  G r adi ent  Search (E GS ), co st fun c tio n  and  slo pe (gradi ent bot h are  consi d e r ed in  order t o  ke ep the  b e st  sea r che s  du ri ng optimization.    3.1. Problem  Formulation     The optimization probl e m  starts wit h  minimizati on of the cost function    0 whe r e     , is a vector of a d justable  paramet ers. Th erefore to find  ∈     s u ch that:           1 2            ( 4 )       To find a parameter  (  that  sha p e s  a fun c tion   ,  in such  a way wh en   ,  and    matc hes ,  then c o s t  func tion c an be minimiz ed as :                  ( 5 )     3.2.  EGS  w i th TS Fuzzy  Model    The main i d e a  of EGS in TS fuzzy mod e ling is that th e gra d ient en han ced  sea r ch start s   from initialization, selection,  ca lculation a nd upd ating. In first st ep, in itialize the pa ramete rs  su ch   as lea r nin g  rate for gra d ie nt search,  ce nters a nd spread s of Gau s sian me mbe r ship fun c tion  for   the optimization process.  In the next ste p , sele ct the  vectors  for pa ramete rs. Du ring cal c ulati on,  cri s p   outp u t of  fuzzy syst em has to b e  determi n e d .  Finally updating the parameter value s  by  applying  the  EGS and  obt ained  be st p a r amete r  va lu es. T he  overall EGS al gorithm for  TS fu zzy   model can be  summa rized  by Figure 2.   Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 7, July 201 4:  5261 – 52 67   5264                                                       Figure 2. Pro posed EGS Algorithm for T S  Fuzzy Mo d e l       4.  Parameter Estimation us ing EGS  The p r op ose d  EGS alg o rithm is  used  for p a ra met e r e s timation  of TS fuzzy  model  explained in  section - 2. To e s timate the p a ram e ter, the  following n o n linear fun c tio n  is used.     cos 1.5 s i n 0 . 5     The o u tput    is a n onlin ear function  of input   .  To f i nd f u zzy   sy st e m    |    that   approximate s  the nonline a r  functio n  over a certai n time interval.  Gau ssi an fuzzy set s  are  u s ed  becau se it  en sures g r eate s t possibl e g e nerali z atio n o f  the sy stem.  For  Gau s sian  fuzzy sets, t he  level of contri bution of nonl inear fun c tion   to overall output can b e  de termine d  as:                 ( 6 )      Whe r  and    are ce nter an d width for     membership function (   input). The fuzzy input- output ch ara c teristic i s  then  describ ed by   Star t In itialize train i n g   dat a   In itialize th e ′ ’  and  ’  val u e     Yes N o Select vectors  for  param e ter  estim a tion  Ap pl y  E nha nc ed  G r ad ie n t  s e ar ch   alg o rith m    Ob tain ed   best   param e ter  l En d Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Identification of  Nonlin ear System   Base on Fu zzy M odel with … (Arbab  Nigh at Khize r 5265  |          ∑∏             ( 7 )     Suppo se th ere are five rul e s for five Gau ssi an in put T S  fuzzy m ode l, therefo r e fo r the s e   arrang ement,  fifteen para m eters ne ed  to be a d ju ste d  (five inp u cente r s an spread and  five   output  singlet on). Initially,  para m eter va lues are  cho s en  ra ndo mly within th ra nge  of traini n g   data. Choose five initial values   ran d o m ly for cent ers  ( , 1 …. . 5   in the range s [0 6] and  spread s    ,   1 . 5  from [0 2].  Similarly, initial va lues are cho s en rand omly for singl eton   ,    1 . . 5   in the range  [0 15]. For EGS algorithm , the require d param eters are sele cted  as  0 . 0001 , 1 3 .  Ran domly chosen initial  para m eter s v a lue for  Gau ssi an me mb ership   function s are distrib u ted eq ually in the ra nge  [0 6] as shown in Figu re 3 and Tabl e  1.      Figure 3. Initial Input Mem bership F u n c tion          Table 1. Parameters Initial Value    2 3 4    2.2310   0.7078  13.1423  9.4320   9.7337     0 1.5  4.5    0.64  0.64 0.64 0.64  0.64      The m odelin g re sult of  a  ce rtain n onl inear fun c tio n  after  apply i ng EGS p a rameters  estimation   al gorithm   a r e showi ng throu gh Figures  4 - 8. From the simulated  results, it is cleared  that the fuzzy  model which  is estimate d throug h EGS  can cl osely match the n o nlinea r functi on  very well.  Th e value  of th e cost fu nctio n  in te rm s of  measurement  of mo deling   error is showi n g   in Figure 9. The be st estim a ted paramet ers valu es  of  membe r ship functio n  are  shown in Tabl 2. It is obse r ved from the  simulate d re sults t hat  so me paramete r s a r conve r ging to different  values  even  though th eir i n itial sta r ting  values   are same. This mean that EGS  optimization  algorith m  ma ke  partition of the inp u t a nd o u tput do main a u tomat i cally a c cordi ng to th e de si red   input a nd  out put data.  Esti mated  param eters a r e   ove r lapp ed i n  th e form  of i n p u t memb ersh ip   function s as sho w n   in Fig u re   5 mean s that  pr opo se d optimi z atio n p r o c e s s te nds to  red u ce the  stru cture  com p lexity in a  si gnifica nt way  and  doe s n o depe nd u pon  the inp u t an d  output  spa c e s   ( in thi s  case  whi c h a r divided into five  partition s). T he cost fu ncti on value i n  te rms  of ab solu te  error lie s bet wee n  0-0.15  as sho w n in  Figure 9  cl ea rly depi cted the excell ent  perfo rman ce  of  prop osed EG S.      Table 2. Para meters Final  Value   1 2 3    9.3198   8.8581   9.9612    -1.5783    13.7114     1.3237    1.6316    4.9389    0.5769     0.2455     0.3852    1.3457    1.2294    1.0126     1.4696     0 1 2 3 4 5 6 0 0. 2 0. 4 0. 6 0. 8 1 I n i t i a l  G aus s i an  M e m e b e r s h i p F unc t i on x M e m b e r s h i p  fu n c ti o n   1 2 3 4 5 Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 7, July 201 4:  5261 – 52 67   5266 Figure 4. Non linear F u n c tio n     and its  Fuzzy Approx imation   /   Figure 5. Input Membershi p  after Fun c tion  Approximatio           Figure 6. Estimates of Inpu t Membership   F u n c tion  C ente r   Figure 8. Estimates of Inpu t Membership   Functio n  Spread         Figure 7. Estimate of Outp ut Membershi p   F u n c tion  C ente r Figure 9. Erro r Value s  between Nonline a r  and  Fuzzy Approx imated Fun c ti on       5. Conclu sion   This pa per p r esents a  si mple  and  a c curate m e tho d  to i dentify a  nonlin ea r syste m   throug h para m eter estim a tion.  Enha nced  G r a d ient  Search (EGS ) whi c i s   b a si cally  infe rred  from gra d ient  descent met hod is p r op osed for pa ram e ter estim a tio n  of TS fuzzy modeling. T he  prop osed EG S uses the  origin al functi on value  and  gradie n t of co st function  for updating  it  durin g o p timization  process in  enh an cin g  way, t heref ore th e p r op o s ed  identifi c a t ion metho d  i s  a   hybridi z ation  of optimization and com p lexity r eduction. The si mulated resu lt for param eter  estimation  of nonline a r fu nction  sho w e d  that the  propo sed al go ri thm is capa bl e to provid e the  excelle nt solu tions.   0 1 2 3 4 5 6 -2 -1 0 1 2 3 4 5 6 7 8 x f ( x)  & g ( x)     g( x ) f( x ) 0 1 2 3 4 5 6 0 0. 2 0. 4 0. 6 0. 8 1 1 2 3 4 5 x M e m b e r s h i p  fu nc t i on  0 20 0 40 0 60 0 80 0 1 000 1 200 -4 -2 0 2 4 6 8 c1 c2 c3 c4 c5 T r ai ni ng t i m e  P a r a m e t e r  e s ti m a te  ( c ) 0 20 0 400 600 800 100 0 1200 0 0. 5 1 1. 5 2 2. 5 3 3. 5 4 4. 5 1 2 3 4 5 T r ai ni ng T i m e P a r a m e ter  es ti m a tes  ( s ) 0 20 0 40 0 60 0 80 0 10 00 12 00 -4 -2 0 2 4 6 8 10 12 14 16 b1 b2 b3 b4 b5 T r ai n i ng  T i m e P a ra m e t e r e s t i m a t e s   (b ) 0 1 2 3 4 5 6 0 0. 0 5 0. 1 0. 1 5 0. 2 0. 2 5 x E rro r a b s (f -g (x )) Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Identification of  Nonlin ear System   Base on Fu zzy M odel with … (Arbab  Nigh at Khize r 5267 Referen ces   [1]  Cerrad a  M, J  Atuilar, E Coli na, A  T i tli. D y nam ic al memb ershi p  function s: An approac h for adapti v e   fuzz y  mo del lin g.  F u zz Sets and Syste m s.  200 5; 513- 533.   [2]  Kosko B. F u zzy s y stems as u n ivers a l Appr o x im ators.  IEEE Trans. Comput.,  1994; 43: 13 29-1 333.   [3]  Pedr y cz W, M  Reformat. Ev olutionar y  f u zz y  m o de lling. I EEE T r ans. Fuzz y  S y st., 2003; 11(5): 652- 665.   [4]  T   T a kagi, M Suge no. F u zz y id entific atio n  of sy st ems a nd its app lic ati on to mod e li n g  and co ntrol.  IEEETrans. Sys. Man and Cy ber.,  1985; 1 5 ( 1 ): 116– 13 2.  [5]  M Land aj o, MJ Río, R Pére z.  A note on s m ooth ap pro x i m ation ca pa bil i t ies of fuzz y  s y stems.  IEEE   Trans. Fu z z Syst.,  2001; 9(2): 229-23 7.  [6]  Castell a n o  G, MA F anel li.  An  appr oac h to structure i dent ifi c ation  of fu zz y  mo de ls . Proc. 6th IEEE Int .   Conf. Fuzz y  S yst., Amendola, Italy . 1997; 1: 531- 536.   [7]  Cord on O, MJ Del J e sus, F  Herre r a . Gen e tic le arni ng  o f  fuzz y  ru le  b a sed c l assific a tion s y stems   coop eratin w i t h  fuzz y  re ason i ng metho d s.  Int. Jr. Intellige n t Syst.,  1998; 13 : 1025-1 0 5 3 .   [8]  Lee  CW , YC Shin. C onstructi on of fuzz y s y s t ems  usin g le a s t-squares m e thod  an d ge neti c  alg o rithm .   Elsevier.  2003;  137(3): 29 7-3 23.   [9]  Sanchez L, J Otero. A fast  genetic meth od  fo r i n du cti ng d e scr iptiv e  fuzz y  models.  F u zz y  S e ts and   System s.  20 04 ; 141(1): 33-4 6 .   [10]  T  Back, U Hammel, HP Sch w ef el. Evol utio nar y comp utati on: comme nts  on the h i stor y and curr en t   state.  IEEE Tra n s. Evolut. Com p ut.,  1997; 1( 1): 3-17.   [11]  T  Hatanaka, Y Ka w a guch i , K Uosaki. N onl i near  s y stem i dentific atio n b a sed  on ev olu t ionar y fuz z mode lin g.  IEEE Congr. Evol u t ionary C o mput ation.  20 04; 1: 646- 651.   [12] M Sugen o, K  T anaka. Successive ide n ti1c a t ion of  a fuzz y  mode l and its app licati on to pred iction of   a   complex  s y stem.  F u zz y  Sets  and Syste m s.  199 1; 42: 315- 334.   [13]  T   T a kagi, M Suge no. F u zz y i dentific atio n of  s y stem and  its app licati on to  mode lin g a nd  control.  IE EE  transactio n  on  Man, Cyber neti cs.,  1985; 15: 116- 132.   [14]  LD Berkov itz. Conv e x it y  and optimiz ation  i n   .  John W ile y &  Sons, Inc., New   York. 2 002.    [15]  CT  Kelley .  Iterative  Methods for Op timization.  SIAM.  1999.     Evaluation Warning : The document was created with Spire.PDF for Python.