TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol. 12, No. 9, September  2014, pp. 67 2 5  ~ 673 1   DOI: 10.115 9 1 /telkomni ka. v 12i9.459 3          6725     Re cei v ed O c t ober 6, 20 13;  Revi se d Apr  21, 2014; Accepted Ma y 6, 2014   Intelligent Train Operation Models Based on Ensemble  Regression Trees      De w a ng Che n *, Xiang y u  Zeng, Gui w e n  Jia  State Ke y  L a b o rator y  of Rai l  T r affic Control  and Safet y , Bei jing Ji aoto ng U n iversit y ,   Beiji ng, 10 00 4 4 , Chin a.  *Corres p o ndi n g  author, e-ma i l : d w c h e n @b jtu.edu.cn, 1 112 031 9@b j tu.ed u . cn, 1012 505 7 @ bjtu.e du.cn       A b st r a ct   Traditional c o ntrol algorithm s   in Automatic Train Operation ( A TO) system  have some drawbacks,  such as hi gh e nergy co nsu m ption a nd low  ri din g  co mfort. Co mbi n e d  w i th data mi ni ng methods a nd dri v in g   exper ienc e, two Intelli ge nt T r ain Op eratio n ( I T O ) model s fo r the subw ay train co ntrol  are  prop osed. F i rst l y   the train i n g  da ta set w a s sorted out  and s i eved  out fr o m  the rea l  trai n  oper ation  data  set by driv ers  i n   Beiji ng s ubw ay  line Y i z h u a n g   to establ ish th e stand ar d d a t abas e. By usin g Class ificati o n  and R egr essi on   T r ees (CART )  alg o rith m an d  Bagg ing  ense m b l e l earn i n g  meth od w h ich  base o n  CART  algor ith m , tw o  IT O  mo de ls ar e  du g o u t to r epr es ent the   o u tput  of contro ller  w i t h li mit ed s p e e d , run n in g ti me  an d  grad ie nt. In  the train contr o l sim u lation platform , ITO m odels  were com p ared with the  traditional PID (Proportional  Integral Derivative) control algorit hm  of ATO system s. The simulation  results indicate the propos ed ITO   mo de ls are b e tter than PID control  i n  ener gy cons u m pti on, rid i ng  comfort an d  sw itching times o f   control l er ’ s  ou tput. F u rther more, the  IT O mo de l w i th b agg ing  e n se mble  le arni ng   meth od  is  bet ter   espec ial l y in e nergy co nsu m ption a nd ri din g  comf ort.     Ke y w ords : en sembl e  Lear ni ng, regress i on  trees, data mi nin g , auto m ati c  train oper ati on, intel lig ent tra i n   oper ation      Copy right  ©  2014 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion  Control te ch nology  plays an im po rtan t role i n  mai n taining  saf e , reliabl e, an d cost- effective operation of trains. Automatic Train Op er ation (ATO ) is resp on sible fo r all the traction   and b r a k ing  controls.F aci ng with  su ch  real-tim e dynamic  ope rat i onal requi re ments, intelli gent  control strate gies  came int o  play in the 1980 s.  PID (Propo rtional I n tegral  De rivative) cont rol  has   been  wid e ly use d  in in d u strial  co ntro l  system be cau s e of  it s simple  stru cture  and  ro bust  perfo rman ce,  also it  ca n  be u s e d  in  A T O  system  [1], Geneti c   a l gorithm  (GA) is propo se d  to   optimize  train  movement s  usin g ap pro p r iate  coa s t control th at ca n be inte grated withi n  AT O  system s [2] or con s tru c te d optimal trai n driv ing  stra tegy [3]. Least sq uare est i mation an d an   adaptive  net work  ba sed  fuzzy inferen c e sy stem  (A NFIS)  we re  p r esented  to e s timate the  train  station pa rki n g erro r in urb an rail tran sit [4-5].  However, these  cont rol method s a r e limited to the   traditional  co ntrol theo ry, whi c h takes  control ac cu racy as the  main goal in  the process o f   tracking  ope ration spee d curve, in o r de r to make  the  real  spe ed  curve a s   close  to the optim al  one  as po ssi b le. Mo reove r  the  controller  of AT O  systems ne ed  freq uently  switchi ng i n  t he  pro c e ss  of train ope ration,  which is n o t con d u c tive to the riding  co mfort and e n e rgy saving, the  life of controll er is al so g r e a tly reduced i n  the meanti m e.  Different from  ATO system s, experi e n c e d  dr ivers  can  operate the tr ain to the  sp ecified   locatio n  o n  ti me  with a  fe w time  of h a ndle  ch angi n g  smoothly.  A larg e a m ou nt of the  data  are   gene rated  by  huma n  d r ivers in th e p r oce s s of m a nual train  co ntrol. From  t he  calculatio n of  actual data,  we ca n find that  manual d r iving by experien c e d  driv ers i s  better  than automat ic   driving in e n e rgy con s um ption and  ridi ng comfort. In  ord e r to g e t  better co ntrol effect, we  are  trying to find  the intelligent  train op eration (ITO )  mo d e l, the driving  model mi nin g  from the l a rge  amount of ma nual drivin g d a ta by data mining techniq ues [6].          Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 9, September 20 14:  67 25 – 673 1   6726 2. Collection  of Field Data  There are two basi c  drivin g mode in su bway  train, a u tomatic drivi ng mode an d  manual  driving mod e . In this paper,  field data in two day s (20 times) from Yizhu ang Lin e  Beijing Subway  were collecte d . We choo se one blo c k  from Xiaoh o ngmen  statio n to Xiaocu n  station a s  an   example. F o r this bl ock,  we collect  112 35 g r ou ps  of  sampl e s in t w o  days, a n d  ch oo se 8  u s eful  attributes i n  each sa mpl e . The eig h t attri butes  a r e limited  sp eed, gradie n t, train spe e d ,  remai n ing tim e , remainin g distan ce, cha nging value o f  next limited  spe ed, remai n ing dista n ce  of  next limited speed a nd co ntrolle r’s o u tp ut (from -1  t o  1, positive is tra c tion, ne gative is bra k ing,  zero is idle  ru nning ). The fi rst  seven  attributes  are  use d  as i nput va riable s , and th e last attri but e   is used a s  the output varia b le.  It is ne ce ssary to get the   data  with go o d  pe rform a n c e from  the  o b tained  ma ssive field   data. The  rea s on i s , some  of the data i s   prod uced  by  high-l e vel d r ivers  but som e  is p r od uced  by  middle - level  or lo w-level  drivers. M o re over, th e  dri v ers may b e  affected  by  psycholo g ical  o r   physi cal  con d i tions, for  exa m ple, long  time op eratio n  may lead to  fatigue an d p r essu re. T hat  is   to say  we  ne ed to pi ck o u t  the data  wit h  low en ergy  co nsumption ,  high  riding   comfo r t, and  low  runni ng time  error.   Acco rdi ng to  the statisti cal  results for th e m anu al dri v ing data set, the variation  of time  error is [-5.2  7.8](s), the variati on of switching time s of controll er ’ s  output is [4  16], the variation  of impingem e n t rate is [0.087 0.146](m/s 3 ) an d the variation of en er gy co nsum ption is [197. 32  216.63](J). By trial-an d-e r ror, we set the followi ng fo ur rule s to se lect data  whi c h  satisfying  the   all rules.   Rule 1 Tim e  error is  within 5 s ;  Rule 2 Swit ch ing times of controlle r’ s out put is within 1 0  times;   Rule 3 Impin gement rate is within 0.1 2  m/s 3 ;  Rule 4 Ene r g y  consumptio n is within 2 1 0 J.   Thro ugh the  above rul e s,  7312 g r ou ps  of sa mple s a r e sorte d  out for data mini n g .      3. Regre ssio n  Trees an d its Improv e m ent b y  Ens e mble Learn i ng   3.1. Classific a tion and  Re gression Tr e es Algorithm   Due to the m u lti-varia b le a nd larg e amo unt of data for the re gre s sion p r obl em  in this   pape r, tra d itional  reg r e s si on m e thod s  are  not  appl i c abl e. So  we  use  CART (Cla ssifi cation  an d   Reg r e ssi on T r ee s) al gorith m  to solve it.  CART  algo rit h m [7] wa s  p r opo se d by B r eima n, Frie d m an, Ol she n  and Ston e i n  198 4 .   The l e tters  CART in dicate  that trees m a y be  u s ed   not only  to  cl assify entitie s into  a  di screte   numbe r  of group s, but  also a s  a n  alte rn ative app ro a c h to  reg r e ssi o n  an alysi s  in   whi c h th e val ue  of a re sp on se (d epen dent ) varia b le i s  to be e s timate d, given the v a lue of e a ch  variable i n  a  set  of explanatory (indepe nde nt) variabl es.   But single  CA RT alg o rithm  can  not a c hie v e be tter results. To imp r o v e its pe rform ance ,   an en sembl e  learni ng alg o rithm is use d  with it.    3.2. Eesemble Learning   In 1997,T.G. Dietteri ch, au thority in the field of machi ne lea r nin g , put en sembl e  learni ng  in the first pla c e of fou r  re search di re ctio ns of  ma chin e learning [8] . Resemble l e arnin g  is o ne  of  the research  hot spot s in machi ne lea r ning in  re cent  years, and the main a c hi evements a r e  as  follows: Bagg ing [9], Boosting [10], Ran dom Forest [11] and so o n . The main idea of re sem b le  learni ng i s  t r aining  multipl e  wea k  le arni ng  syst em s a nd combi n ing   the re sults  i n   a ce rtain   way,  whi c h can si gnificantly improve  the generali z ation ability of t he learni ng sy stems. The brief  introdu ction o f  bagging al g o rithm is  sho w n a s  follow.   The ba gging  algorith m  wa s propo se d b y  Breiman in  1996 [9]. Du ri ng the traini n g  pha se  of the algo rith m, we repe atedly sam p le s the origi nal  t r ainin g  sampl e s  with re plication so that  we  get a new  set  of training sa mples.   Select trainin g  sample s from the  origi n al set of trai ning  sam p le s at ra ndom; t r ain th e  sampl e s u s in g the given base lea r ni ng algorith m ,  then we ca n get a model; put back the train i ng   sampl e s. Re peat k  time s, so  th at  we ca n  get a  set of  k  model s. A s  fo r the  re gression  proble m ,  we can obtai n a final forecasting mo del  as follo ws:   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Intelligent Tra i n Operation  Model s Base d on En sem b l e  Reg r e ssi on  Tree s (Dewa ng Ch en)  6727 1 1 () () K ik i k F xf x K                                                                                     (1)    The b aggi ng  algo rithm i s  the mo st si mple  a nd int u itive ensem ble lea r nin g   method.  Theo retically, when u s in g the Baggin g  a l gorithm,  ab o u t 36.8% of the sa mple s  will not app e a r in   the new  set o f  training sa m p les ave r ag el y as we resa mple ea ch time.    3.3. Algorith m s Implementa tion   The ba gging  ensemble le a r ning al go rith m can b e  used for re gression a nalysi s .  In this   pape r,  CART  algo rithm  is  use d  a s  the  wea k  l e a r nin g   ma chi ne of baggi ng algo rithm,  we   call this  algorith m  as  B-CART, and  we can al so  use a  sin g le  CART  algo rithm for an alyzing. He re we  use   these t w o m e thod s to mi ne the IT O  model s fro m  the data. Af ter that, we  will an alyze  and  comp are the results.   B-CART is a  method inte g r ating the  reg r essio n  tree s,  and it ca n set the iteratio n times.  Here, we  set  the iteration  times ra ngin g  from 1  to 1 00. The me a n  absolute e r ror i s  sho w n  in   Figure 1.      Figure 1. Mean Absol u te Erro r Ch ang e s  with Iteratio n  Times      In Figure 1,  comp ared  wi th the re sult s of  CART  algorith m ,  B-CART algo rit h m  can   alway s  b e   su perio r to  it. T he results  obt ained  are  coi n cid ent to th e  theoretical  a nalysi s . With   th e   iteration tim e s increasing,   the ca lculating speed of th e algorithm  will be  greatly reduced. So  we  set the iterati on times a s  5 0  in our si mul a tion.      4. ITO Model and its Simulating Platform  4.1. Opera t ion Requirem e nts fo r each  Stage   Safety is important in the t r ain o peratio n,  and the m o st ba sic  req u irem ent for i t  is that  the ru nnin g   speed  should   not exceed  th e limited  sp e ed. So  we  di vide the train  ope ration  int o   4   stage s, a c cel e ration   stage , idle  run n in g sta ge,  de celeratio n  sta ge  a n d   stop ping stag e. The  requi rem ents  for each stag e are differen t.    Accel e ration  stage a nd Idl e  runni ng sta ge: If  ma x 0. 95 * VV , then  0 a .   De cele ration stage:  If  ma x 0. 9 * VV , then  0. 5 a . Where  V  i s  spee d,  V ma x  is limited  spe ed,  a  is  c o ntroller’s  output.      4.2. Simulation Platform   The ITO m o del si mulatio n  platform  is establi s h ed  with Matla b   Simulink. T h e platform  inclu d e s  five module s , inp u t module, ge nerato r  mo du le, controller  module, a c tu ator mod u le  and  displ a y modul e.  Figure 2 is the stru cture  grap h of ITO model.   Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 9, September 20 14:  67 25 – 673 1   6728     Figure 2. Structure  Gra ph o f  ITO Model      5. Simulation and Ev aluation   We  also  ch o o se  blo c k  1  as  an  examp l e. The  di sta n ce  of  blo c k  1 is 1 341m,   and th e   stand ard  run n ing time is 1 05s. Th e re gression  m odel s mine d by CART and B - CART are use d  in  the ITO mod e ls, and the regre s sion m o del mined by   CART a nd B-CART a r e sh own in Fig u re   3   and Figu re 4.          Figure 3. Reg r essio n  Mod e l  of CART Alg o rithm   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Intelligent Tra i n Operation  Model s Base d on En sem b l e  Reg r e ssi on  Tree s (Dewa ng Ch en)  6729     Figure 4. Reg r essio n  Mod e l  of B-CART  Algorithm       As  can be  seen i n  Fi gire 3  and Figure 4,  the x1, x 2,...,x7 repr esent limited speed,  gradi ent, trai n sp eed,  rem a ining tim e , remainin g di st ance, ch angi ng value  of n e xt limited sp eed   and remaini n g dista n ce of next limited spe ed the s e seve n inpu t variable s  resp ectively. The   reg r e ssi on m odel of B-CA RT alg o rithm   is big ger  th an  the re gre s si on mod e l of  CART  algo rithm,  the num bers  of leaf no de i n  thes e two  model s a r e 1 9  and  30  re spectively. Fro m  the root no de to   each leaf no de co rrespon ds to a rul e , that is to  say,  there are 19  rule s in reg r ession mo del  of  CART al gorit hm and 30  rul e s in re gres si on model of  B-CART algo rithm.  The  com pari s on  of  spe e d  an d  controller’ s o u tput  und er  CA RT algo rithm,  B-CA RT  algorith m  and  PID control a r e sh own in the Figu re 5 a nd Figu re 6.           Figure 5. Co mpari s o n  of Speed Curve s   Figur e 6. Co mpari s o n  of Controlle r’s O u tput      Figure 5  sh o w s the o p e r at ion of ITO  mo del wi th  CA RT or B - CA RT  is  smooth e r t han PID  control, and  there  is  a lon g  time of idle  runni n g  in the  middle  stage , so the  ene rgy con s um ption  will be le ss.  In Figure 6 ,  the switchi ng times  of  controlle r’s o u tput in ITO model re du ce s  obviou s ly. Th e pe rform a n c e of ITO  mod e l with  CA RT  and B - CA RT  are  very  simi lar  with ma nu al  driving. We  simulate 1 0 0  times using  ITO model with CART o r  B-CART re spe c tively, and  cal c ulate th e  averag e valu e. The fun c tio n  com p a r ison s of PID control and ITO  m odel  with CA RT   or B-CA RT a r e sho w n in T able 1.   Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 9, September 20 14:  67 25 – 673 1   6730 Table 1.   The  Functio n  Co mpari s o n s of  PID Contro l, ITO model  with CART o r  B-CART    PID  Control   CART   B-CART   e t (s )   0.8  1.25  1.98  T c   14 6.34  5.56  I r   0.416  0.201   0.191   E (J )   236.7  206.48   201.52       Whe r e  e t   is time error,  T c  is swit ching times of cont roller’s output,  I r  is impingem ent rate,  E   is ene rgy.  Cal c ulation of  impingem ent  rate:    1 1 1 1 n ii i aa I nt                                                                                    (2)     The  smalle r t he impi ngem ent rate, the   better the  ridi ng comfort ( C r ), wh ere   a i  i s   output of  controlle r. Ca lculatio n of energy con s u m ption:    Fv d t m a v d t Ea v d t mm                                                            (3)     Whe r e  a  is t he accele rati on,  v  is sp e ed, this form ula is a ro ug h cal c ulation,  just for   comp ari s o n . In Table 1,  co mpared with  PID cont rol, the ITO mod e l with CAR T   or B- CART  h a s   some  a d vant age s: the   T c  and  E  re du ce  obviou s ly, a nd  C r   b e com e s better; althoug h  e t  re d u ce s  slightly, it still  meet the requirem ents.    In Figu re  5  a nd Fi gure 6,   the results  of  ITO m odel   with  CART  a nd B-CA RT  are  very  simila r. From  the fou r   co mpari s o n s, t hey ju st  hav e a little diffe ren c e. T he I T O mo del  wi th B- CART p e rfo r ms better on  T c ,  C r  and  E .  Above all, we  use B-CA RT   as the data mining alg o rit h m  of ITO model.  In order to verify the generality of  ITO model , the other blo c ks of Yizhua ng Lin e  Beijing  Subway a r e simulate d too .  Given that the sp ac e of pape r is limited, we don’t  list the results  here. Th e si mulation resu lts are si milar with block  1, that is to say, the ITO model ha s achi e v ed  good p e rfo r m ance in all blo c ks. The r efo r e,  the general ity of  ITO model is very go od.      6. Conclusio n   In this pa per,  data in ma n ual drivin g of  ex cellent d r i v ers a r e  colle cted a nd filtered, an d  then the stan dard d a taba se is esta blish ed. Th ro ugh t w o data mini ng algo rithm s , two ITO models  are  dug  o u t. We  sim u late  all the  blo c ks of Yizhua ng  Line B e ijing  Subway. F r o m  the  re sult s, IT O   model s  have  achieved  g ood  pe rfor m ance com pared with  PID  co nt rol, esp e cially  i n  ridi ng  comfo r t and  energy co nsumption. As  for the tw o d a ta  mining al gorithm s,  B-CART algo rithm  perfo rms b e tter, so  we cho o se thi s  algo rithm as the d a ta mining al gorithm of IT O model.    There are  some issue s   of this work need  to be  further re se arched, such  as th e   robu stne ss o f  ITO mod e l, the ad aptab ility of  the ITO mod e l for  steep  gradie n t and  co mpl e x  limited spe e d .  Moreove r , more a d van c ed data mini ng algo rithm s  are worth fu rther  studyin g for   both simul a tion and real -world sce n a r io s.      Ackn o w l e dg ements   This work is partially su pporte d by the  Natio nal High Te ch no logy Re sea r ch an d  Develo pment  Program (“8 63” Program) of China  un d e r grant 201 2 AA11280 0, by New Sci enti f ic   Star Prog ram  of Beijing  u nder grant 2 010B01 5,  by  the Fun dam ental Resea r ch F und s fo r the   Central Univ ersitie s  un de r 2012 JBM0 1 6 , by t he indepen dent re search p r oje c t  from the State   Key Laborato r y of Rail Traf fic Cont rol  an d Safety under grant RSC2011Z T00 1 .        Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Intelligent Tra i n Operation  Model s Base d on En sem b l e  Reg r e ssi on  Tree s (Dewa ng Ch en)  6731 Referen ces   [1]  XX Ch en, Y Z hang, H Hu ang.  T r ain speed co ntrol al gorithm  base d  on PID contro l l er an d singl e-n euro n   PID controll er.  Co mp uter soci ety . 2010; 1: 1 07-1 10.   [2]  CS Chang, SS Sim.  Optimis i n g  train  mov e ments throu gh c oast contro l usi ng g enetic  al g o rith ms . Proc.   IEEE Electric Po w e r Ap plic atio ns. 1997; 1 44: 65– 73.   [3]  SH Han, YS B y e n , JH Ba ek, T K  An, SG Lee, HJ Park.  An opti m al a u tomatic train  o perati on (AT O )   control us ing  g enetic a l g o rith ms . Proc. IEEE Regi on 1 0  Co nf.  T E NCON. 1999; 1: 36 0–3 6 2 .  [4]  DW  Chen, T   T ang, CH Gao, RQ Mu. Research o n   the  error estimati o n  mode ls an d onli ne l ear nin g   alg o rithms for train statio n par king i n  urba n rail trans it.  Chin . Railw ay Sci.,  201 0; 31(6): 12 2-12 7.  [5]  DW  Chen, CH  Gao. Soft computin g meth ods ap pli ed to  train station  parki ng in  urb an rai l  transit.   Appl ied S o ft Computi ng.  20 1 2 ; 12(2): 75 9-7 67.   [6]  F  Eibe, W  Ian. Data Mini ng: Practical Mac h ine L earn i n g  T ools a nd T e chniq ues.  Mo rg an  Ka u f m a nn.   200 5.  [7]  L Breima n, JH  F r iedman, RA  Olshen, CJ S t one.  Class ific ation a nd R e g r essio n  T r ees. Belmont, CA:   W ads w o rth.1 9 84.   [8]  T G  Dietterich. Machi ne Le arn i ng R e searc h : F our Cu rre nt Directio n s. AI Magaz ine. 1 997;  18(4): 97-1 36.   [9]  L Breima n. Baggi ng pre d ictor s .  Ma ch i n e  Le arn i ng .  199 6; 24 (2): 123-1 40.   [10]  RE Schap ire, Y F r eund, P Bart let. Boostin g  the margin: a  ne w  e x p l a nati on for the effe ctiveness o f   voting meth ods .  T he Annals of  Statistics . 1998; 26(5): 16 51- 168 6.  [11]  L Breima n. Ra ndom forests.  Machi ne Le arn i ng.  20 01; 45( 1 ) : 5-32.    Evaluation Warning : The document was created with Spire.PDF for Python.