TELKOM NIKA , Vol.11, No .11, Novemb er 201 3, pp. 6547 ~6 555   e-ISSN: 2087 -278X           6547      Re cei v ed Ap ril 15, 2013; Revi sed  Jun e  19, 2013; Accepted July 2 0 ,  2013   Software Aging Prediction based on Extreme Learning  Machin e      Xiaoz h i Du 1 , Huimin Lu* 2 , Gang Liu 2   1 School of Softw a r e En gin eer i ng, Xi’a n Jia o t ong U n iver ist y ,  Xi’ an 7 1 0 049,  Shaa n x i, Chi n a   2 School of Softw a r e En gin eer i ng, Cha ngc hun  Universit y  of T e chn o lo g y , Ch angc hu n, 130 0 12, Jili n, Chin a   *Corres p o ndi n g  author, e-ma i l :   luhm.cc@ gm ail.com       A b st r a ct   In the researc h  on softw are a g in g an d rej u v enati on, on e of  the most i m po rtant questi ons  is w hen  to trigger th e r e juv enati on  action. An d it is  u s eful to  pr ed ict the syste m  re source  utili z a t i on state  efficie n tly   for deter mi nin g  the rej u ve nati on ti me. In th is  pap er,  w e  pro pose s o ftw are agi ng  pred ictio n  mod e l  base d  o n   extreme learning  m a c h ine ( E LM) fo r a real VOD system . First, the dat a on the par ameters of sy stem  resourc e s and applic ation s e rver ar e c o llected. T hen, the data is  preprocessed by  normali z a t i on and  princi pa l co mp one nt a nalys is  (PCA). T h e n ,  ELMs ar e  co n s tructed to  mo del  the  extract ed  data  seri es  of  system atic  par a meters. Finally, we get  the predicted data  of system  r e s ource by  com p uting the s u m of t h e  outputs of thes e ELMs. Experiments  show  that the prop os ed softw are  ag ing pr edicti on  meth od b a se d on   w a velet transfo rm a nd E L M is  super ior to th e artifici a l  n eur al n e tw ork (ANN) an d sup port  vector mach in e   (SVM) in the aspects of predi ction  prec isio n and effici ency. Based o n   the mo de ls empl oy ed her e, softwa r e   rejuv enati on p o lici e s can b e  trig g e red by  actual  me asure m ents.     Ke y w ords :  sof t w a re aging, ex treme l ear nin g  mac h i ne, pred i c tion      Copy right  ©  2013 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1. Introduc tion  The soft ware reliability and availability  are increasi ngly being demanded in  present  softwa r e sy stems [1]. Whil e recent stu d ies sh o w  that when software appli c at ion is executed  contin uou sly for long inte rvals of time, some e r ro r  condition s in them are accumulated to result  in perfo rma n c e d egradati on or  even a  cra s h fail ure ,  which is  ca lled soft ware  aging [2]. T h e   phen omen on  has  been  ob serve d  in ma ny softwa r e  systems,  su ch  as o perating  system [3], web   serve r  [4], SOA se rver [5 ], and so on.  Becau s e of   the effect of softwa r e a g in g, the syste m   reliability decrea s e s . To counteract software agin g   and its related  transie nt sof t ware failu re s, a   preventive a nd  p r oa ctive techni que, ca lled softw a r e  rej u venation ,  has be en  p r opo se d a n d  is  becoming p o pular [2]. It  involves sto p p ing t he ru n n ing software occa sionall y , cleaning i t s   internal  state  and  or it s e n vironm ent a nd resta r ting  it. An extreme but  well-kn own  example  of   softwa r e  rej u venation i s  th e ha rd wa re  reboot [6]. In   gene ral, the  cost of  software rejuvenatio n is  sub s tantially l o we r than the  cost of a syst em  failure foll owe d  by a re active re cove ry.  Over the re cent years, q uantitative studie s  of softwar e agin g  a nd rejuve nati on have  been ta ken,  and ma ny different ap proa che s  h a ve b een devel ope d and the  effects  of software   rejuven a tion  have bee n st udied. Th ese  studie s   can  be catego rize d into two  ki nds, time -ba s ed   rejuven a tion policy and   m easure - b a sed   rej u venat ion   policy. T he ti me-b ased  rej u venation  pol icy  is  cha r a c teri zed by th e fa ct that the  soft ware  i s  p e ri o d ically  rejuve nated  every ti me a  predefi ned  time co nsta nt ha s ela p sed .  In these ap proa ch es ,  a  certai n failu re  time di stribu tion is assu m e d   and  co ntinuo us tim e  Ma rkov ch ain  (CT M C) [2],  se mi -Markov  process [7], Ma rkov reg ene rati ve   pro c e s s (M RGP) [8] , Ma rkov de ci sion   pro c e s s (M DP) [9]  or sto c ha stic Petri  net (SPN) m odel  [10] etc is  d e velope d to  comp ute an d  optimize  sy stem availa bi lity or relate d  measures.  Th e   measure-b a sed rejuve nati on poli c y appl ies stati s ti cal  analysi s  to the measured d a ta on re sou r ce  availability to  predi ct the ex pected  time t o  resource ex hau stion [11], and it pr ovides a window o f   time during  whi c h a reju venation acti on is adv ise d . The basi c  idea of the measu r e - ba sed  rejuven a tion  policy is to m onitor a nd co llect data o n  the attribute s  and pa ram e ters,  whi c h a r e   respon sibl e for dete r minin g  the health o f  the running  softwa r e sy st em. Garg et a l . [3] propose d  a  methodol ogy  to dete c t an d  estim a te the   aging   in th e  UNIX  system , they implem ented  an S N MP  based tool to  colle ct data,  and ad opted  non-pa rame t r ic stati s tic m e thod to dete c t and e s tima te   Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA  Vol. 11, No . 11, Novemb er 201 3:  654 7 – 6555   6548 aging. An drzejak  et al. [6] use d  a  spli n e -ba s e d  de scription  of the  aging  profile s and  adopte d  a   s t atis tical test to verify its c o rrec tness of th e  SOA P  se rver. An drzeja k et  al.  [12] al so  u s ed   machi ne le arning meth od s to model a n d  predi ct t he  software  agin g  of a we b ap p lication. G r ott k e   et al. [4] use d  non-param etric st ati s tical method s to detect and  estimate tre nds of agin g , and   adopte d  AR  model to  pre d ict the  agin g  of a  We b  server.  Hoffm ann et  al. [13 ]  gave a  pra c tice   guide to reso urce fore ca sti ng, they ado pted seve ral  method s to  model a nd p r edict the  software   aging  of a  Web serve r , th ey found th at pro babili stic  wra ppe r  (PWA) wa s  a bet ter metho d  f o r  variable  sele ct, and   sup port ve ctor  machi ne  (SV M )  wa s a  b e tter a pproa ch fo r  re sou r ce   forecastin g. For the predi ction of time seri es,  artifici al neural network  (A NN) [14] and su pp ort  vector m a chi ne (SVM ) [1 5] are  wid e l y  adopted.  Artificial ne u r al n e two r ks,  esp e ci ally BP  netwo rks, are powerful t ools fo r fitting nonli nea r time serie s . Howeve r, there  are  so me  disa dvantag e s  in impleme n ting of artificial neu ra l n e tworks. First l y it’s hard to determin e  the   para m eters  o f  neuron s a n d  the  netwo rk  stru cture. F u rthe rmo r e, t he trai ning  p r oce s s of  neu ral  netwo rks i s  time-con sumi ng and th e converg e n c e  rate is sl ow,  becau se the  netwo rks oft e n   settle in un de sira ble lo cal  minima of the  error  surfa c e .  When  sup p o rt vecto r  ma chin e is u s e d  for  predi ction, it also fa ce s so me disa dvant age s and  cha llenge s, su ch  as slo w  lea r ning rate, mu lti- para m eters to be determi ned, and so on. In order  t o  overcome  some  chall e n ges of ANN  and  SVM, extreme learni ng m a chi ne (ELM ) propo se d by  Huang e et al.[16] has attracted the mo re  and m o re att ention  re cent ly. ELM is  a dopted  fo r g eneralize sin g le-hi dde n  la yer  feedfo r ward   netwo rks (S LFNs),  and  the  hidde n  layer ne ed  not  be tu ned,  whi c h  results in  b e tter  gene rali zatio n  perfo rman ce, faster lea r n i ng sp eed, an d least hum a n  intera ction.   In this  pap er,  we  an alyze t he  softwa r e  aging  phe no menon  of a  real VO D  syst em, and   prop ose a  software  agin g  predictio n  model b a sed  on extrem e  learning m a chin e. The  main  contri bution s   of this pa per  are   1) p r op osing a  softwa r e agi ng  predi ction  mod e l b a se d o n  ELM ,  2)  applying P C A to redu ce t he dime nsi o n  of input vari able s  of ELM s , 3)  usin g th e data  colle ct ed   from a re al VOD sy stem to  evaluate t he softwa r e agi n g  predi ction p e rform a n c e.       2. Soft w a r e   Aging Predi c tion Model  based on EL M  In  ord e r  to   p r ovide su ppo rt  for  tri gge ri ng softwa r e rejuven a tion action s, we need  to   predi ct the  sy stem resource utiliz ation  st ate preci s ely  to reflect  the  software  syst em state i n  the   future.   Extreme lea r nin g   machi ne, whi c h i s  a le arni ng alg o rithm,  pro p o s ed  by Hua ng et al.  [16]  wa s d e velop ed fo r  singl e - hidd en  layer feedfo r ward  neu ral  net works (SL F Ns). ELM p r ovid es  good  gen eral ization  pe rformance at ext r emely fa st l earni ng  spe e d  by choo sin g  hidd en n o d e s  rand omly an d determinin g  the out put  weig hts of S F LNs an alytica lly. The r ef ore, we p r esent a  softwa r e agin g   predi ction model based on  extrem e  l earni ng m a ch ine, sh own in  Figure 1,  wh ich  illustrates the  k -step p r edi cti on pro c e d u r e .             Figure 1. Software Aging P r edi ction Mo d e l      From Fi gure  1, we  see th at the data a r e firs tly prep rocesse d  afte r they are co llected.  Then th e time se rie s  of target pa ramete r  () yt  is inputted i n to wavel e t transfo rm m o d u le, and th e   detail co mpo nents  () , 1 , . . . , i D ti p and th e app roximat i on compo n e n t  p A( ) t  of  () yt  are g o tten,  whe r e  p  is the decompo si tion level assign ed by u s er,  t  is the sampl e  inde x. The othe r  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Software Agi ng Predi ction  based on Ext r em e Learnin g  Machi ne (Xi aozhi Du )  6549 para m eters  ( ) , 1 , 2 , . .., i x ti n  are inp u tted into PCA module, a nd the first   m  princi pal s  ( ) , 1 , 2 , ..., i zt i m  are  sel e cte d , whe r e  mn .  Then we co nstru c t  1 p  ELMs  to forec a s t  the  decompo se d  com pone nts of target  param ete r  sep a rat e ly. Each  com pone nt ( p A( ) t or  () , 1 , . . . , i D ti p ) and all the first  m  prin cipal s  ( ) , 1 , 2 , . .., i zt i m  are the inpu ts of the resp ective ELM,  and th e out put of the E L M is the  k -step predi ctio n value  of the  comp one nt ( p A* ( ) tk or  * ( ) , 1 , .. ., i D tk i p  ). Finally, all  the outputs o f  these  1 p  ELMs are  summ e d  to obtain the  k - step predi ctio n value of the object pa ram e ter  *( ) yt k .  The detail ste p s of ou r app roa c h a r e a s  follows:   1) D a ta  Pr epr o cess  Data preprocess inclu d e s  two pha se s: (1) Pa ramete r redu ction a nd sele ction.  In this  pha se, the para m eters  whi c h are consta nt va lues du ring th e monitori ng  period a n d  the  para m eters t hat have  the  same  me anin g s  are  excl ud ed. (2)  No rm alizatio n. In t h is  pha se,  all  the  sele cted  pa ra meters a r e  n o rmali z e d  to  eliminate  dim ensi on influ e n ce. After no rmali z ation, t h e   rang e of all these p a ra mete rs a r e limited  into [-1, 1].  2)  Princi pal Co mpone nt Ana l ysis  In the experi m ents, we collect 30  pa ramete rs of m e mory, 15 p a r amete r s  of CPU, 17   para m eters  o f  disk a nd  2 7  pa ram e ters of ap p licatio n serve r . So me pa ram e te rs  are  con s ta n t   durin g the  ob servatio n inte rval, su ch  a s  Com m it  Limi t of memory, C2  Transitions/sec of CP U  and  so o n . Some p a ram e ters have th e  same  mea n in g, su ch a s  A v ailable Kbytes a nd Availa ble   Mbytes of m e mory etc. After all these para m eters a r e excl uded,  there  a r e still  32 paramete r s  left.  The relat i onship between software  aging  and  these param e ters  can  be  expressed as the   Equation (1):     12 (, , , ) n yf x x x                                        (1)     Whe r e  y  denotes the availa ble bytes of memory an d  12 ,, , n x xx  are the impa ct factors  of softwa r e a g ing in the VOD sy stem, a nd here  n  equ als 32.   If we take all  these 3 2  pa rameters a s  the i nputs of th e ELMs di re ctly,  the netwo rk  scale   is very large,  and its effici ency i s  very  low. PC A [1 7] is an e ssential metho d  of multivari a te   statistical ana lysis, whi c h  select s seve ral  repres entative prin ciple  co mpone nt s to  explain mo st of  the data ch a nge s. Therefore, in  orde r to improve th e efficien cy  and to kee p  the accu racy of  our  predi ction m o del, PCA is a dopted to re d u ce the in put para m eters h e re.    Let the  sampl e s  of the s e  fa ctors  be  12 (, , ) T n XX X X , the n  the  proced ure  of P C A i s  as  follows :  (1)  Normali z e  the sample s  X  to remove di mensi on influ ence.  (2) Calculate  the  relative  matrix  P  and  covarian ce  ma trix  C   of  the  sample data, and   eigenvalu e s  12 ,, n   and eig enve c tors a r e obtai ned.   (3)  Cal c ulate  the contrib u t ion rate of eac h com p o nent re spe c ti vely. The choice of  prin cipal  co mpone nt is determi ned  based on varian ce  cont ribution rate  and cumul a tive   contri bution  rate. The varia n ce  contri buti on  rate s are calcul ated by the Equation  (2):     1 /( ) ( 1 , 2 , , ) n kk i i kn                                                       (2 )     And the cum u lative cont ri bution rate for ea ch  prin ciple  com pon ent is gotten  by the  Equation (3):     11 /( ) ( 1 , 2 , , ) mn mj i ji mn                                                                 (3)    The high er of  the  1  means t he  stronger of the ability fo r the first principal  component to  abstract the  informatio n o f   12 ,, , n x xx . If the accumul a tion  contributio n ra te of the first  m   Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA  Vol. 11, No . 11, Novemb er 201 3:  654 7 – 6555   6550 comp one nts  is mo re tha n  a p r edete r mined th re shold (su c h  as 8 5  pe rce n t), the first   m   comp one nts  are sele cted  as the inp u ts  of the ELM.  After PCA is finish ed, form ula (1 ) ca n be  redu ced to th e Equation (4 ):    2 (, , ) im yf z z z                                                     (4)     whe r e  y  deno tes the avail able bytes o f  memory an d  12 ,, , m zz z  is the pri n cip a l  comp one nts  of aging impa ct factor s of the VOD  syst em, and he re   mn .  3)  Extreme Lea rning Ma chin e s   Extreme learning ma chin e ,  which i s  a l earni ng  alg o ri thm, propo se d by Huan g e t  al. [16]  wa s devel op ed for  singl e-hidde n layer  feed forw a r d  neural net works  (SLF Ns). ELM provid es  good  gen eral ization  pe rformance at ext r emely fa st l earni ng  spe e d  by choo sin g  hidd en n o d e s  rand omly and  determinin g  the output  we ights of SFLNs an alyticall y . Here we consi der a si n g le- hidde n layer feed forwa r d network  wi th L hid den  neuron s. The  input  12 ( , , ... , , ) m X zz z y  is a  vector with m + 1 elem ent s, the output of the  th i  hidden ne uron i s   (, , ) ii Ga b X , where  i b  is the bias,   and  12 (, , . . . , , ) ii i i m i y aa a a a is th e we ight vecto r ,  ( 1 , 2 , ... , , ) is as m y  is the  conn ect i on  weight  be tween   the  th i   hidde n neuron and   the  th s  input  ne uron.  The n  t he o u tput  of  the SLF N  i s   given by th e   Equation (5):     1 () ( ) ( , , ) L ii i i yt k f X G a b X                                                                 (5)     Whe r e,  1 ( , . . . ,,) ' ii i n i y   is the weight vect or co nne cting  hidden layer  with output la yer,  ik   is  th e con n e c tion wei ght betwe en  th e  th i  hidd en  neu ron a nd th e  th k  o u tput ne uro n . For the  ca se of additi ve hidden n e u ron s ,  (, , ) ii Ga b X  take s  the followin g  form sho w n b y  the Equation (6):     (, , ) ( ' ) ii i i Ga b X g a X b                                                                 (6)    Whe r e  : gR R  is the activation function.    A ssu me t hat   N  arbitrary sa mples  (, ) mn ii XY R R  are  gi ven, the weig ht vectors  i a  and  bias  i b  are ra n domly assign ed. Then the  SLFN wi th L  hidde n neu ro ns can ap pro x imate the  N   sampl e s  with zero erro r if and only if there exists  i , so that we get  j Y  by Equation (7 ):    1 (, , ) , 1 , 2 , . . . , L ji i i j i YG a b X j N                                  (7)    The above   N  equatio ns ca n be  rewritten in th e follo wing  compa c t form  sh own by   Equation (8):     H Y                                                        (8)    whe r e  11 ( , ,) ( , ,) ( , ,) ( , ,) ii L L ii N L L N NL Ga b X G a b X H Ga b X G a b X       ,  1 T T L L m ,    1 T T N NM Y Y Y      .  Once the hid den nod e pa ramete rs  (, ) ii ab  are gene rated  rand omly, they remain fixed.  Then trai ning  the SLFN is equivalent to findi ng the minimum no rm least-sq ua res  solutio n   * ,  whi c h is give n by the Equation (9 ):    * H Y                                                                    (9)   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Software Agi ng Predi ction  based on Ext r em e Learnin g  Machi ne (Xi aozhi Du )  6551 whe r e  H is the Moore–Pen ro se ge nera lized inverse of matrix  H .  For the trai ning data set  1 , 2 ,.. ., {( , ) } ii i N XY , the ELM algo rithm [16] is describ ed a s  follows:   Step 1: Assig n  the hidde n node n u mb e r  L, and the activation function  g(.) ;  Step 2: For  1 , 2 , ... , iL , randomly ge n e rate the inp u t  weight vecto r   i a  and the bia s   i b   Step 3: Calcu l ate the hidde n layer output  matrix  H  and  H ;  Step 4: Acco rding Equatio n  (9), ca l c ul ate  the output weight vector  * .  For  any in pu t sam p le  n x R , the outp u t valu e  * y is calculate d  by u s in g t he Equ a tion   (10 ) :  ** 1 () L ii i i yg a x b                                                                                                                              (10)    Then, we get  the  k -step  pre d iction valu e of the obje c t para m eter, a nd the proce dure i s   finis h ed.      3. Results a nd Analy s is  3.1. Experimental Setup   The exp e rim ental environ ment is  a re al  VOD  syst em, and it s  stru cture is shown in  Figure 2. The  VOD system  con s ist s  of a web se rver,  an appli c atio n serve r  (o r video se rver)  and   a disk array. The web  se rver a c ts a s  the pr e s entat ion layer, wh ich provide s  media data t o   client s. Wh en  it receives th e or der re que st from  a cli e nt, the we b  s e rv er  re dire ct s this  re que st  to  the appli c ati on serve r . T hen the  cli e nt makes  co nne ction  with the a ppli c ation serve r   and  receives the   media  data  from the  ap plication  serve r   d i rectly if th e  cl ient get s the   permi ssion.  T h e   disk a rray i s   use d  to sto r e  the medi a d a ta. In our  e x perime n ts,  we a dopt  Apac he  a s  the  web  serve r , and  Helix server  as the application se rver.           Figure 2. Structure of the V O D System       3.2. Data  Col l ections     Durin g  the e x perime n ts, we colle ct 30  par am eters  of memory, 1 5  paramete r s of CPU,  17 paramete r s of disk an d 27 parame t ers of appl i c ation  serve r , the sampli ng interval is 3  minutes, 75 0 0  sampl e s of  the system  p a ram e ters are colle cted fo r 375 ho urs.   The nu mbe r   of client a c ce ss  of the VO D sy st em is il lustrate d in F i gure  3, and t he time   seri es of  syst em available  memory is  sh own in Fig u re  4.    From  Figu re  3, it is foun d  that the num ber  of  clie nt  ac ce ss  sh ow s  a ce rtain  p e riodi city,   however it ha s a la rge  ran domne ss an d  it fluctuat es f r equ ently. From Figu re 4,  we  see th at the  available m e mory shows  a frequ ent a nd large fl uct uation, whi c h  is ca used b y  the stoch a s tic  arrival  of clie nt acce ss an d the  softwa r e agin g .  Accordin g to the  time se rie s   of the collect ed  system  availa ble mem o ry a nd the n u mb er of  c lient a c ce ss,  we u s e  Mann -Kend a ll method [4] t o   test whethe r t here  i s   software  agin g   phe nomen on  i n  t he VO D  syst em. Tabl e 1   shows th e  re sults   of trend te st for the  availa ble mem o ry  and the  num ber  of client acce ss.  F r om   Table  1, we find  that there is a  down w a r d trend in the time seri es  of th e available m e mory, and th e time serie s   o f   the num ber  of client  access al so  ha s a do wn wa rd  trend. T hat i s , the d o wn ward tre nd  o f  th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA  Vol. 11, No . 11, Novemb er 201 3:  654 7 – 6555   6552 system  availa ble me mory i s  n o t cau s ed   by the  cli ent s. Therefore,  it ca n b e   con c l uded  that the r e  exists softwa r e aging p hen omeno n in the VOD sy ste m .          Figure 3. Nu mber of Cli e n t  Acce ss  Figure 4. System Available  Memory       Table 1. Tren d Test   data Zstatistic  comment  available memory  -41.1374   Do w n w a rd tre nd  detected   number of client  access  -30.7877   Do w n w a rd tre nd  detected       3.3. Soft w a r e  Aging Prediction  In orde r to e v aluate the p e rform a n c e o f  softwa r e a g i ng predi ction ,  root mea n   squ a re   error (RMSE) is adopte d  a s  indi cator. RMSE is t he square ro ot of the vari an ce  of the resid u a ls,  and it can b e  interpreted a s  the stan da rd deviation of  the unexplai ned varia n ce. The lower th e   values of RM SE, the better the predi ctio n re sult. RMS E  is defined b y  the Equation (11 ) :\    2 1 ˆ (( ) ( ) ) N i yi yi RM SE N          ( 1 1 )     Whe r e,  () yi  deno tes the  actu al  value of the t i me serie s  of  the availabl e  memory,  ˆ () yi  is  the respe c tive predi ction v a lue, and  N  is the point s of data set.   In the experi m ents, the nu mber of pri n ci pal com pon e n ts  m  is  s e t to 2. For the ELM, we  use  a  sig m oi d a c tivation f unctio n  a nd  the nu mbe r   of hidd en  ne uron s is 47.  The first  450 0  sampl e s a r e  ado pted to   train th ese E L M, an d the  re sidu al 3 0 00  sampl e s  are  u s ed  to  test  wheth e r ou r  method  is effective. Fig u re  5  sh ows th e  one -step fo rward  pre d icti on valu e  of the   available me mory.          (a) Predi ction  data    (b) Pr edi ction  erro r     Figure 5. Pre d iction  Re sult s of System Available Me mory   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Software Agi ng Predi ction  based on Ext r em e Learnin g  Machi ne (Xi aozhi Du )  6553 From Fi gure  5, we see tha t  the erro r b e twee n the p r e d iction d a ta a nd the a c tual  data of  the availa ble  memo ry re sou r ce i s  ve ry low.   The n  we  con c lud e  that the  p r edi ction  mo del  prop osed by  us is  suitabl e  for softwa r e  aging fo reca sting. We al so  find that the predi ction e r ror  tends to be large r  at the valley of the reso urce  con s umption. The  reason is th at there are  more  client s in the system at the  valley of the  reso ur ce  co nsum ption, which results i n  more me m o ry  resou r ce co n s umptio n and  more fluctu ati on, so the predictio n pre c i s e de crea se s.  Table 2 sho w s the a ppro x imation perf o rma n ce  of our software a g ing predi ctio n model  comp ared wit h  sup port ve ctor ma chi n e  (SVM),  artificial neu ral n e twork mo del  (ANN) with  BP  algorith m . The simulatio n s for our mod e l , ANN are ca rrie d  out in MATLAB R200 7a enviro n me nt  runni ng in a Core2 Duo CPU, 3GHz. The simul a ti on for SVM is carri ed out  by using the LIBSVM   [18] impleme n ted in C  co d e  run n ing i n  the sa me PC.  The nu mbe r   of hidden  ne uron s of A N N is  set 42, an d the ke rn el fun c tion u s ed i n  SVM is radi al  basi s  fun c tio n . In our exp e rime nts, all the  inputs  and th e output s ha ve been  normalize d  into [ - 1, 1]. 20 trial s  have  been  con d u c ted for all   the method s and the aver a ge re sults a r e  adopted.       Table 2. Pred iction Results of Various M odel s  Model  Training data   Testing data   RMSE Time  (s) RMSE  Time(s)  Our  m e thod   0.0033  0.084  0.0406   0.021   SVM  0.0186  3.797  0.0445   3.734   ANN  0.0214  139.629  0.0698   0.0391       From Ta ble 2 ,  it can be se en that the predict io n pre c i s ion of ou r m e thod is  sup e rior to   that of ANN  and SVM. T h e traini ng tim e  an d the te sting time of  o u r m e thod  are far l o wer th an  that of SVM, and the t r aini ng time of o u r  mod e l is  fa r lowe r than  that of ANN. For the t r aini ng  data, the  RM SE of our  m e thod i s  0.0 0 33, and  fo r t he testin g d a t a, the RMS E  is 0.04 06.  th e   training time  and the testi ng time of our me thod are  0.084 se con d s and 0.0 2 1  seco nd s, wh ich   sho w  that th e efficien cy o f  our m e thod  is a ve ry hig h . Therefore, the metho d   we p r e s e n ted  is  effective to forecast the  sof t ware a g ing p r ocess.      3.4. Sensitivi t y  Anal y s is   We p e rfo r m  sen s itivity analysis fo r ou r pr esented  model that p r edi cts the  a v ailable   memory of the VOD sy stem by addin g  a prin ci pal  compo nent  at a time, a nd cal c ulate  the  model’ s  ch an ge in RMSE. The re sult is  sho w n in Fig u re 6.           Figure 6. RM SE versu s  the Numb er of  Princi pal Co mpone nts      From Fi gure 6, it’s sho w n  that with the i n cr ea se of th e numb e r of  prin cipal  com pone nts,  the RMSE de cre a ses,  whe n  the numb e r of princi pal  compon ents a rrive s to a ce rtain value, th e  minimum  RMSE is gott en. Then  wit h  the contin uou s in cre a se of the nu mber  of prin cipal   comp one nts,  the RMSE i n crea se s. Th e rea s o n  is   that with the  increa se of  the numb e r of  prin cipal  com pone nt, the  more  info rma t ion of in put  variable s  i s  i n clu ded,  but  except th e first  several  prin ci pal  com pone nts, the  re sid ual  com pone nts h a ve trivi a l info rmation ,  and  with  m o re   Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA  Vol. 11, No . 11, Novemb er 201 3:  654 7 – 6555   6554 prin cipal  com pone nts, the ELMs are be comin g  more  complex, wh ich re sult s in the increa se  of  RMSE. The r e f ore, we  sho u ld  sele ct the  app rop r iate   numbe r  of pri n cip a l  comp o nents ba se d  on  requi rem ent.      4. Conclusio n   In this pa pe r, we have i n vestigated th e software a g ing p hen om enon  of a re al VOD   system, an d  have pro p o s ed a  software a g ing  p r edictio n mod e l base on  extreme lea r ning  machi ne. T h e expe riment al re sult s h a v e sh owe n  t hat the p r o p o se d  softwa r e agin g  p r e d iction   model is effe ctive to forecast the agin g  pr og re ss, and the PCA  is an import ant and useful  method to  re duce the  red unda ncy of d a ta. Com pare d  with SVM a nd ANN p r edi ction m odel,  our  model is mo re effective on preci s io n tha n  ANN an d SVM. And the time for trainin g  and testing  of  our mo del is f a r lower tha n  that of ANN a nd SVM.  ELM is a  qui ck  and  efficie n t method fo r re solvin g th e pre d ictio n   probl em, but  how to  determi ne th e nu mbe r  of   hidde n n euro n s i s  an  op en  issue,  thou g h  several met hod s h a ve b e e n   pre s ente d , it is still a  chall enge fo r the  ELM. Theref ore, in the fu ture we will  study this issu e.  Thoug h in thi s  pap er  we h a ve study the  softw a r e agi ng predictio n  probl em, the cau s e  re sulting  in software aging is  still pending, so  nex t we will expl ore this probl e m.      Ackn o w l e dg ements   This  work wa s sup p o r ted by  the Nation al  Natural  Science F ound ation of  Chi n a un de r  Grant  No. 6 0933 003, the  Nation al Na tural Sci e n c e  Foun dation  of Chin a u nder Grant  No.  6124 0029,  the  Nation al  Postd o cto r al Scie nc e Found ation of  Chi na u nder  G r ant   No.  2011M 500 61 1, the Indust r ial Te chn o lo gy Re sea r ch  and Develo pment Spe c i a l Proje c t of Jilin  Province un der G r ant No. 201100 6-9; the Fund amental Research Fun d s for the Central   Universitie s ; the Natio nal  Colle ge Stud ents' Inn o vative Trainin g  Prog ram of Ch ina und er G r ant  No. 201 210 1 9003 7.      Referen ces   [1]  Pauls on LD. C o mputer S y ste m , Heal T h y s el f.   IEEE Computer. 2002; 3 5 ( 8 ): 20-22.   [2]  Hua ng Y, Kintala C, Kol e ttis N, F u lton D.  Softw are Rejuve natio n: Analysi s, Module a nd  Appl icatio ns .   Procee din g s of  the 25th Symp . On F ault  T o lerant Comp utin g. Pasade na,  USA. 1995; 3 8 1 -39 0 .  [3]  Garg S, Puliafito A, T e lek M, T r ivedi KS.  A Method ol ogy  for Detectio n a nd Esti mati on  of Softw ar e   Agin g. Procee din g s of the Intl. Symp.  On Soft w a r e  Re lia bil i ty En gin eeri ng.  NJ, USA. 1998 ; 283-29 2.  [4]  Grottke M, Li  L, Vai d ya nath an K, T r ivedi   KS.  Anal ys is  of Soft w a re  A g in g i n   a W e b  Server.  IEEE  Transactio n s o n  Reli ab ility . 20 06; 55(3): 4 11- 420.   [5]  Silva  L, Mad e ir a H, Silv a JG.  Softw are Agin g  and  Rej u ve nat ion  in a  Soa p - base d  Serv er.  Procee din g s   of the Fifth IEEE International S y mpos ium  on Net w ork Computing and A pplic ations. Massachus etts,  USA. 2006; 5 6 - 65.  [6]  Alons o J, Matias R, Vicente  E, et al. A Compar ativ e Exp e riment al Stud y of Soft w a r e  Rejuv e n a tio n   Overhea d.  Performanc e Evalu a tion.  20 13; 70 : 231-25 0.  [7]  Bao Y, Sun X,   T r ivedi KS. A W o rkload-b a s ed  Ana l ysis of  Soft w a re Ag in g and Re juv e n a tion.  IEEE   Transactio n s o n  Reli ab ility.  20 05; 54(3): 5 41- 548.   [8]  Garg S, Pu li afito A, T e lek  M, et al. A n a l ysis  of Pr eve n tive M a inte na nce  in T r ansa c tions B a se d   Soft w a re S y stems.  IEEE  Trans. on Com puters . 1998; 47( 1): 96-10 7.  [9]  Okamura H, D ohi T .  D y n a mi c Soft w a re R e j u ven a tio n  Pol i c ies i n  a T r ansaction- base d  S y stem  und e r   Markovia n Arri val Process e s.  Performanc e Evalu a tion . 2 013 ; 70: 197-2 11.   [10]  W ang D,  Xie  W ,   T r ived KS. Pe rformabi lit y Anal ysis  of Cl uster ed S y ste m s  w i t h  Re juv enati on u n d e r   Var y in g W o rklo ad.  Perfor man c e Evalu a tio n .  200 7; 247- 265.   [11]  Vaid ya nat han  K,  T r ivedi KS. A Compre he ns ive Mod e l for  Soft w a re R e ju venati on.  IEEE Transactions   on De pe nda bl e  and Secur e  C o mputi ng.  20 0 5 ; 124-1 37.   [12]  Andrze jak A, S ilva  L.  Usi ng M a chi ne  Le arni n g  for N on-i n tru s ive Mo de lin g  and  Pred ictio n  of Softw are   Aging.  Proceedings of the IEEE Net w or k Operations and M anagement S y mposium. Salvador, Brazil.   200 8; 25-3 2 .  [13]  Hoffmann GA,  T r ivedi KS, Malek M. A Best  Practi ce Gui d e to Res ourc e  F o recastin g for Com putin g   S y stems.  IEEE Transactions  on Reliability . 2007; 56: 6 15-6 28.   [14]  Goh CK, T eoh  EJ, T an KC. H y brid  Multi obj ective  Evo l uti o nar y D e sig n  fo r Artificial  Ne ural N e t w orks .   IEEE Transactions on Neur al  Networks . 200 8; 19: 153 1-15 48.   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Software Agi ng Predi ction  based on Ext r em e Learnin g  Machi ne (Xi aozhi Du )  6555 [15]  Cao  LJ, T a y  F E H. Support  Vect or Mach i ne  w i t h  Ad apt ive Par a meter s  in F i n anci a l  T i me Series   Forecasting.  IEEE Transactions on Neural Networks . 2003; 14(6): 15 06- 15 18.   [16]  Hua ng GB, Z h u QY, Sie w   CK . Extreme  Lear nin g  Machi ne: T heor y  an d Ap plicati ons.  N euro c om pu ti n g .   200 6; 70(1- 3): 489- 501.   [17]  W ang  X, Krug er U, Ir w i n GW , McCullo ug h G, McDo w e l N.  Nonl in ear PC A  w i t h  the L o c a l Ap proac h fo r   Diese l E ngi ne  F ault D e tecti on  and  Di ag n o sis.  IEEE Transactions  on Cont r o l System  Tec h nology .  200 8; 16: 122- 129.   [18]  F e rrari S, Sten gel  RF . Smoot h F uncti on A p p r oximatio n Us i ng N eur al  Net w o r ks.  IEEE Transactions  on  Neur al Netw or ks . 2005; 16( 1) : 24-38.   Evaluation Warning : The document was created with Spire.PDF for Python.