Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   10 ,  No.   3 ,  June   2020 ,  pp.   3315 ~ 3322   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v10 i 3 . pp3315 - 33 22          3315       Journ al h om e page :  http: // ij ece.i aesc or e.c om/i nd ex .ph p/IJ ECE   LSTM d ee p l earn ing meth od for n etwork in trusion     detecti on  sy stem       Alaeddi ne B oukh alfa ,   Ab de rrahim  Abdel laoui , Na bil  H mi na ,  H ab ib a Ch aoui   S y stem E ng ine er ing  L abor at or y ,   AD SI T ea m ,   Nat iona l   School  of   Applie d  Sc ie nc e s,  Ibn Tofail Uni ver sit y ,   Morocc o       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   J un   15 , 2 019   Re vised  Dec   4 ,   20 19   Accepte d  Dec   14 , 20 19     The   sec ur ity   of  t he  net work  has  bec om e  a  primar y   con ce rn  for  or gani z at ions.   Atta ck ers  use  d i ffe ren t   m ea ns  to   disrupt  serv ices,  th ese   v ari ous  a tt a cks  push  to  thi nk   of  a  ne w  wa y   to  b loc k   the m   a ll   in  one   m anne r.   In  add it ion,  th es e   int rusions  c an  c hange   and  p e netrat e   the  dev ices  of  sec u rity .   To   solve  the se   issues,  we  sugge st,  in   thi s   pape r ,   a  new  idea  for   Network  Intrusion   Detect i o n   S y stem  (NID S)  base d  on  Long  Short - Te rm   Mem ory   (LSTM)  t o  rec ogni z e   m ena ce s  and  to  obta in  a  long - t er m   m e m ory   on  th em,  in  orde r  to  s t op  the   new   at t ac ks  th at  are  l ike   the   exi sting   ones,   and   a t  th e  sam e  ti m e,  to  h a ve  a   singl e   m ea n  to  blo ck  int rusions.  Acc o rding  to  th e  res ult s  of  the  experim ent s  of   det e ct ions  th at   we  have   r ea l ize d,   the   A cc ura c y  rea ch es  up  to  99. 98  %  and   99. 93  %  for  respe ct ive l y   th e  class ifi cation  of  two  cl asses  and  seve ral   c la ss es ,   a lso  the   False  P ositi ve  Ra te   (FP R)  rea ch es  up  to   onl y   0 , 068  %  a nd  0, 023  %   for  respe ctively   the   class ifi c at io n  of  two  cl asses  and  seve ra l  cla ss es,   which   prove s  tha t  the   p roposed  m odel   i s  eff ec t ive ,   it   h as   a  gre a t  ab il i t y   t o  m emorize   and  diffe ren ti a te  bet wee n  norm al  tra ffic   and  a tt a c ks ,   and  it s  ide ntification  is  m ore   accura t e th an  oth er  Ma chi n e  L ea rn ing  c la ss i fie rs .   Ke yw or d s :   Deep Lear ning   LSTM   Ma chine   Le ar ni ng   NIDS   RNN     Copyright   ©   202 0   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Alaed din e B ou kh al fa,    Syst e m  En gin e erin g  La borato ry ,  A DSI T ea m ,   Nati on al   Scho ol of  A pp li ed  S ci ences ,   Ibn  T ofai l U niv ersit y ,   Ken it r a,   Mo ro cc o.   Em a il :  al aedd ine. boukhal fa@ gm ail.co m       1.   INTROD U CTION   Nowa days,  th e  world  is  e xperie ncin g  a  great   revoluti on  in  the  fiel d  of  inf orm ation   te chnolo gy,   ever y body  is  exch a ngin g  co nt inu ously   inf orm at ion   acro ss  t he  net work.  Th is  i m plies  the  e sta blishm ent  of   ne w   too ls  a nd  m echan ism s  of  pre ven ti on   an d  de te ct ion ,  a nd  th e  stre ng t hen i ng  of  th os e  t hat  exist,  li ke  Ne twork   In tr us i on   Dete ct ion   Syst em   (N I DS),  in   ord er  to  e nh a nce  secur it y  an d  protect   the  net work  f ro m   intru si on s .  The  f unct ion   of  a  NIDS  is  to  ob s er ve,   e valu at e  and   cl assif y  traff ic   transit ing   th rou gh   t he   netw ork,   it   is  based,   in  ad va nce,   on   est ablishe d  m et hods   a nd  te c hn i qu e s  in   ord er  to   dif fe ren ti at e  betwee n  norm al   and   s uspic ious  traff ic .   F ur t herm or e,  at ta cker s  are   at tract ed  by  inf or m at ion   and   kn ow le dge  passing  thr ough  the  net wor k,   a nd   to  ex plo it   an d  prof it   f ro m   them ,  they   are  forced  to  overc om e  ob sta cl es  and   barriers  of   secur it y  by  cre at ing  new   at ta cks,   a nd   ev olv i ng   t he   existi ng  ones .  Wh il e  the  c urren t  NIDS  a re  no t   e voluti onar y,  their  ide ntifi cat ion  al gorithm s  do   no t  progress  to   identify   auto m at ic ally  new   m enaces,  w hic h  pus hes  us  to  think   a bout  a dvance d  and  intel li gen t   m et ho ds   of  detect ion  that   can   ide ntify  ne w  at ta ck s   an d  acc om pan y  the   pr ogr ession    of the e xisti ng  on e s.   More ov e r,   at ta cks  ca n  be  of   diff e re nt  ty pes,  li ke  D oS   ( De nial - of - Ser vice )  an d  U 2R  ( Us er  to  R oot)  et c…,  this   pro blem   of   div er s it y  le ads  us  to   fin d  a   re so l ution  to  detect   a nd  sto p  t hem   al l  in  a  uniq ue   way.   Currentl y,  Dee p  Lear ning  is  exp e rienci ng   huge  s uccess  i n  sever al   do m ain s,  it   is  a  set   of  te ch niques  use d  to   recog nize  obj e ct s,  extract  inf or m at ion   hidd en  in  the  data,   and   m ake  pr edict ive  analy tics  [1 ] ,  one  of   these  m et ho ds   cha ra ct erized  by  it s  long - te rm   m e m or y  is  the  L ong  S hort - Te rm   Me m or y  (LST M )   [ 2] .   And,  t o   s olv e    the  issues  ci te d  ab ov e ,  we  pro pose  in  this  pap e r  a  ne w  a ppr oach   f or  N ID S  base d  on  the  Dee p  Lear ning  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  3 ,  J une  2020  :    33 1 5   -   33 2 2   3316   m et ho d  LSTM ,  wh ic h  will   reco gniz e  at ta cks  an d  kee p  a  lon g - te rm   m e m or y  of   the m ,  in  or de r  to  bl ock    the  oth e r  new  at ta cks,   and   a t  the  sa m e   time,  will   deal,  with  a  sing le   way,  with  al l  t yp e  of   the se  at ta cks .     To  ver ify   t he  e ff ect ive ness  of  our  pro posed  m et ho d  L STM   for  NIDS  we  app ly   it   on  NSL  K DD  [ 3]   dat aset ,   and   we  giv e  a  com par ison   of   it s  capaci ty   to  m e m or iz e   and   detect   in trusion  with  the  fam ou s  M achine   Learn i ng   cl assi fiers  li ke  S upport  Vect or   Ma chine  ( SV M ),   K - Near e st  Neighb or s  (KN N) ,   and   Decisi on  Trees .   The  pa pe r  is  s tructu red   a s  f ol lows .  In   sect i on   2,   we  gi ve   a  su m m ary  of   the  relat ed  work.  W e  de fine  our   exp e rim ental   env i ronm ent  i n  sect ion   3.   S ect ion   4  is  re serv e d  f or  the   expos ur e  of   resu lt s  an d  a na ly sis.    At the e nd, se c ti on   5  a nnounc es the c oncl us i on and t he fut ure  work .       2.   R EL ATED  W ORK   The  ex plo it at ion   of   Dee p  L earn i ng   in  a  NIDS  was  de bated  by  the  auth or s  in  [ 4 ] ,   on e  of  Dee p  Learn i ng   m et ho ds   Self - Tau ght  Lear ning  ( STL)  was  e va luate d  on  NSL  KDD  [3 ] ,  wh ic h  is  a  ba sis  that   con ta in s  traf fic  records   of   t he   netw ork.   T he  stud y  com par e d  the  le vel  of  r ecognit ion   with  an  a ncient  m et hod  of   cl assi ficat ion   S of t - Ma x  R egr es sio n  ( SMR ),   the  res ults  of  the  e val ua ti on   c onfirm ed  that  STL  i de ntifie s   at ta cks  bette r.   This  pro posal   pr ese nts  ef fecti vely   a  re m ark able  ste p  to  separ at e  norm al   traff ic   f ro m   doub t ful   traff ic ,  ex ce pt t hat the  so l utio n was  no t  r eal ly  r eal iz ed by a  real N IDS.   Appro xim at e ly,  the  sa m e  dem arch e  wa s  a dopted  in  [ 5 ] ,  the  ver si on   previo us   of  NS L   KDD  cal le d  KDD  C up  99  [ 6 ] ,  was  em plo ye d  to   co m par e  the  preci sion   of  tra ff ic   i den ti ficat ion .   T he  res ul ts  of  exp e rim entat io ns   pro ve d  that  Su pp or t  Vect or   Ma chi ne  m et hod  base d  on  Re stric te d  Bolt z m ann   Ma chin e   (S VM - R BM s)  [ 7 ]   dete rm ines   certai nly  the  na ture  of   the  t ra ff ic   bette r  t han  old   cl assifi cat ion   al go rithm s,   al so  it   con su m es  m ini m u m   tim e  f or   treat in g  a  la rg e  m ass  of   data.  The  a uthors  did   no t  ju sti fy  the  reasons  f or   the choic e  of the  us e d Deep   Learn i ng m et ho d.   Anothe r  dif fere nt  con ce pt  wa s  plann e d  to  ca tc h  cod e  in j ect ion   at ta cks  ass ociat ed  with  th e  JavaScr i pt  cod e   in  the   pa per   [ 8 ] ,  a  ne w  com bin at ion   of  Dee p  Lear ning  na m ed  Hybr i d  De ep  Lear nin g  Netw ork  ( H DL N )   was  create d.   Perfo rm ances  of   this  la tt er  wer e  j ud ge d  ac cordin g  to  t wo   le vels,  at   the  first,  relat ively   to    the  num ber   of   hidden  la ye rs ,  the  num ber   of   filt ers  an d  nu m ber   of   ne uro ns ,  the  res ults  pro ved   th at   accuracy   increases  as  th e  nu m ber   of  f il te rs  increases ,  seco nd ly ,  it   was  co nfr on te d  with  oth er  t rad it io nal  cl assifi ers,    the  m ark ed  accuracy  wa s  cl early   the  gr ea te st.  In   the  e nd,  they   af firm ed  that  the  an te ceden t  w ork   wa s   i m pr oved  in  t erm s  of   accur acy   by  this  ne w  m od el .  Th e  effor t  pro vi ded   is  c on si de rab le ,  e xce pt  that,    the  so l utio n  w as  lim it ed  to  inj ect io n  at t ac ks  at ta ched  to  J avaSc ript  c od e ,  an d  it   is  no t  ded ic at e d  to  a no t he r   ty pe  of att ack.     The  a uthors  e xpose ,  in  t he  pa per   [ 9 ] ,  a  ne w  idea  of  Dee p  L earn i ng,  w hich   associat es  A ut o - E nc od e r   and   Dee p  Be li ef  Netw ork   (D B N) .  T he   Au t o - E nc oder  was  us e d  for  the  pu r po s e  of  dec r easi ng    the  dim ensional it y  of   data  a nd  ide ntifyi ng  the  pr i ncipal  featur e s  of   it ,  wh il e  the   DB N  had  the  m issi on  of   detect ing   t he  dubious  c ode.   The  te st  of  the  new  sug ge sti on   of  m od el   was  done  w it h  the  dataset   K D D     Cup  99  [ 6 ] ,   th e  assessm ent  of  re su lt s  was  c om par ed  with  on ly   a   sin gle  DBN.  T he  at ta inm ent  has  an nounce d  that  the  new   m et ho d  is  com plete ly   m or e  accurate  with  le ss  consum ption   of  tim e.  Howev e r,   the  a ut hors  di d  no t  sp eci fy  w hy  they p ref e rr e d  to  co m bin e  DBN  a nd  Au t o - Enc oder  to fo r m   this hyb rid.   In   t he  w orl d  of  the  I nter net  of   Things  (IoT ),   ano t her   dis per s ed  m od el   to  re veal  intr us io ns  was  op te d  in  [ 1 0 ] .  O n  eac h  no de  of   fog - to - t hings  ne tw orks ,  the  Dee p  Learn i ng  has   be en  set   up  i n  orde r  to  get  aut onom y  to  disclose  th r eat s  and   tra ns f er  the  pa ram eter s   to  nei ghbo ur i ng   nodes ,  so   that  they   can  upda te   them sel ves   against  m enaces.  T he  obj ect ive  was  to   sp ee d  up   t he  id enti ficat ion   a nd  ge t  a  quic k  a nd  local   up date  of  node s   par am et ers.   Th e  auth or s  valid at ed  the  su cce ss  of   the  m odern   str uctu re  vi a  NS L  K DD,  and   t h ey   convi nced    that  this  con c eption  is  m or e  eff ic ie nt  tha n  the  ot her   ce ntrali zed.  T he   desig n  pro vi des  a  fasci nating  a nd   adv a nce d  visio n  in   the  fiel d  of  at ta cks  detect ion ,   but  th e  propose rs  did  no t  sp eci fy  e xact ly   the  ap plied  Deep  Learn i ng m et ho d.   A  subje ct   of   se cur it y  m on it or i ng   in  a  Bi g  Da ta   con te xt  was  deb at e d  by  the   m anu script  [ 1 1 ] .  Firstl y,  the  auth ors  e xp la ine d  the  necessit ie s  of  m on it or in g  of   sec ur it y,  wh ic h  are  a nt ic ipati on   pro blem s,     the  a dap ta ti on  of  de vices  a nd   secu rity   too ls   to  a   la r ge  am ount  of  d at a,  t he  rap i d  detect ion  of  t he  a bnor m al   al arm   and   the  est ablishm ent  of   a ppr opriat e  diag nosis  of  al ert,  the  li m it a tio n  of  sec ur it y  correla ti on   al gorithm s   to  m erely   a  fe w  com po ne nts   and   not  al l  network   com pone nts.  Sec ondly,  they   exh ibit   a  syst e m   to  m on it or   secur it y,  w hich  le a ns   on  the   ag gr e gatio n  of  Bi g  Data,   in te gr at io n  a nd  extracti ng  knowle dge  for  de ci sio n  m aking .  La stl y,  they   descr i be  so m e  cor r el at ion   al gorithm s  to  insp ect   the  data.  The  pa pe r  an nounce s     the  desi gn   of   a  secur it y  m on it or in g  syst em   for  a  la r ge  m ass  of  data,  bu t,  it   did   not  ta ke  into  c onsid erati on     the pr ogress o f  the c orrelat ion m e tho ds t o f ollow  t he  e vo l ution o f  t he  at ta cks.   On e   m or e  visi on  to  m on it or   the  sec uri ty   of  the  In te rn et   of  T hings  (Io T)  was  discu s sed  i n  [ 1 2 ] ,    a  la rg e  qua ntit y  and   a   div e rsi ty   of   log s  of   se cur it y  was  coll ect ed  from   el e ct ronic  app a rat us   of  us e rs,   herea fter,  they   were  gat her e d  i n  a  distrib uted  way  usi ng   t he  fr am e work  Ha doop.   The  data  was   of  di ff e ren t  f or m at s,     the  operati on  of  sta ndar dizat ion  w as  car ried  ou t  to u nify  th e m ,  the  proces s  of   a ggreg at i on  an d  co rr el at ion  w as   cond ucted  by  Com plex  Eve nt  P ro ces sin g  (CEP)  m et ho d,  the  outc om e  was  prese nted  a doptin g  de velo ped      Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec   &  C om p  En g     IS S N: 20 88 - 8708       LS TM  d e ep  lea rn in g meth od f or   network…   ( Alaed din e  B oukha lf a )   3317   too ls  f or  dis pl ay ing .  T he  paper  is  m ai nly  or ie nted  to wards   visu al iz in g  lo gs   without  any   interve ntio n  a gainst   m enaces.   O ur   work   pr e sents  a  new   a pproac h  com par ed  t o  the  oth e r  so l utions,  it   is  ori ented  to  m e mo rize    a long - te rm  attacks  i n order  to disco ver the  new o t her s , a nd to  d eal   with   al l i ntru sio ns i n  a  uniq ue  m ann er .        3.   E X PERI MEN TAL EN VI R O N MENT   In   this  sect io n,   we  de scrib e  the  data  fo r   exp erim entat i on,  the  evalua ti on   ind ic at ors ,  the  wor k  env i ronm ent, the  a dopted  m eth od a nd the  com par ed  m et ho ds .     3.1.      D ataset a nd  p re - tre at me nt s   3.1.1 .  D atase t   To  eval uate  our  m od el ,  we  us e d  the  NS L  KDD  [ 3 ]  dataset .  As  m entio ned   a bove  in  the  pr e vi ous   sect ion ,  it   is  a  der i ved   ver si on  from   KD D  Cup   99   [ 6 ] ,   that  gro up s  netw ork  traf fic  colle ct ed  by  1998  D ARP A   ID S  [ 4 ] .  N SL  KDD  co ntains  norm al   reco rd s ,  and   r eco rds  of  at ta cks  nam e ly :  Do S  (D e ni al - of - Se rv ic e )  wh ic h  des tr oy  the  se r vice  avail abili ty   [ 13 ] ,  Pro be  wh ic h  ext racts   detai le d  inf or m at ion   from   t he  ser ve rs   [ 14 ] ,   U2 R   (U se r  to  Ro ot)   wh ic h  try   to  exp l oit  vu l ner a bi li t ie s  in  the  syst e m   in  or de r  to  obta in  s up e r  us er  pr i vileges   [ 15 ] ,  and   R2 L  (Rem ote   to  Local)  wh ic h  se nd   p ackets  to  a  m a chine  over  a  ne twork  w ho  ha ve  no  acco unt  on   i n  order   t o  le ad  to  vulne rab il it y  issues  an d  ac cess  secu re  in form ation   [ 16 ] .  The   distrib ution   is  il lustrate d  i n     Table  1   an d  Ta ble  2,  Ta ble  1   sh ows  t he  distr ibu ti on  in   t wo  cl asses,  w he re as  Table  2   s hows  the  distri buti on   in   five  cl asses .       Table  1 . Dist ri bu ti on  of  dataset  in  tw o  cl asse s   Tr af f ic   Nu m b e r  o f  sa m p le s   No r m al   6 7 3 4 3   Attack   5 8 6 3 0   Total   1 2 5 9 7 3       Table  2 . Dist ri bu ti on  of  dataset  in  fi ve  cl ass es   Tr af f ic   Nu m b e r  o f  sa m p le s   No r m al   6 7 3 4 3     Attack   Do S   4 5 9 2 7   Prob e   1 1 6 5 6   R2 L   995   U2 R   52   Total   1 2 5 9 7 3       The  dataset   does  not  in cl ude  redu nd a nt  records,  it   c on ta in s   43  c olu m ns ,  42  c olu m ns   def i ne  t he  c har act e risti cs  of   t he  re co rd i ng  as  D ur at io n,  Protoc ol_ Ty pe ,  Ser vice,  Flag,  et c. ..,   an d  one  c olu m n  defi nes  if  it   is  a  norm al  record  or a n  at t ack,  t his c olu m n rep rese nts th e label  of t he r ecord .     3.1.2 .  Pre - treatmen t   Fo r   data  pr e pa rati on   re qu ire m ents  befor e  t r eatm ent,  on   t he   on e   ha nd,  we   hav e   trie d  t o  norm al iz e  ou r   dataset   by  c onver ti ng  c har act er  col um ns   to  nu m eric  colu m ns   with  the  help  of  the  fa m ou s  1 - to - n  e ncodin g  te chn iq ue,   Fig ure   1( a )  an d  Fi g ure   1(b )  ex pl ai n  the  dif fer e nces  be f or e  a nd  after  pr e - trea t m ent .   And  on  ano t her  hand, we  h a ve se par at e d  th e l abel col um n  from  the o the r  c olu m ns  v ia  a n Extr act - Tra ns f or m - Loa d  ( ET L) .       0   tcp   f tp _ d ata   SF   491   …   n o r m al   20   0   udp   o th er   SF   146   …   n o r m al   15   0   tcp   p rivate   S0   0   …   n ep tu n e   19   0   tcp   h ttp   SF   232   …   n o r m al   21   0   tcp   h ttp   SF   199   …   n o r m al   21     0   1   1   1   491   …   1   20   0   2   2   1   146   …   1   15   0   1   3   2   0   …   2   19   0   1   4   1   232   …   1   21   0   1   4   1   199   …   1   21     Figure  1 .  (a ) D at aset  r ows  befor e  pre - treat m ent ,  (b)   Dataset   rows  a fter  pre - treatm ent   a   b   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  3 ,  J une  2020  :    33 1 5   -   33 2 2   3318   3.2.      Wor k en viro nment , e va lu ati on met hod  and per forma n ce indi ca to rs   3.2.1 .   Wor k e nv ir onme n t   The  c onfig urat ion   of  our  m achine  is:   t he  op e rati ng  syst em   i s  W i ndows  7,   with  In te l  (  R  )   Core   (TM )  i3  2370M  CP U  @  2.4 0  G H Z  (  4  CPU s  ) ,  and   4096MB   of  RAM.  The  E TL  is  Tal en d  Op e n  St ud i o  ( TOS)  f or  Data I nteg rati on, w hich  is  an  op e n so ur ce   s oft war e  [1 7 ],   ef f ic ie nt ,   flexi ble  and easy  to  h a nd le   [ 18 ] .     3.2. 2 .   E valua tion  m eth od   The  k - f old   c r os s  validat io n  m e tho d  is  e m plo ye d  to  m easur e   the  su c cess  of  a  cl as sifie r ,   it   s plit s    the  dataset   int o  two  subsets,  t he  fi rst  f or  trai ning  a nd   t he  s econd  for  te sti ng   [1 9 ] .   The   operati on  is  repea te d  k  tim es  separ at el y,  and   the  a ve rag e  of   the  k  perform ances  is  cal culat ed  and   retu rn e d.   T he  ad va ntage  of   this  m et ho d  is  that   the  entire  dataset   is  us ed  f or   bo t h  trai ni ng  an d  te sti ng,  wh ic h  m akes  the  eval uatio n  m or e   accurate.  We  a do pted  5 - f old   cro ss   validat io n  to  e valuate  our  m od el ,  if  w e  increase  t he  k,   s om e  at ta ck s  li ke   U2 R  a nd  R2 L   will   decr eas e   for  eac h  s ubs et ,  an d  they   c an  be  ne glect e d  du rin g  the  t r eatm ent.  To  se par ate   the traini ng s ubset  a nd test in g  s ubset , we al so  em plo ye d  t he   ETL  (T OS ) .     3.2. 3 .   Perf orm an ce in dica to r s   The  m od el  ass essm ent ind ic at or s a re:     Accuracy =TP+ TN/(T P+TN+ F P+FN)   (1)     Sens it ivit y= TP/(TP+F N)   (2)     False  P os it ive  Ra te  =FP/(FP + TN)   (3)     Pr eci sio n=TP/( TP+FP )   (4)     Re cal l =TP/ (T P+FN)   (5)     F - Me asu re= 2*(P recisi on.Reca ll )/(Pr eci sio n+ Re cal l)    (6)     Wh e re:     Accuracy  is th e fr act io n o f  tr ue dete ct ion o ve rall  d at a in sta nces.     Sens it ivit y de fines  t he  a bili ty   of the m od el  to  d et ect  c orrectl y.     False   Posi ti ve  Ra te   (F PR)   is  cal culat ed  as  t he  rati o  of  ne ga ti ve  eve nts  w ron gly  cl assifi ed  as  posit ive  to     the total   neg at i ve  e ven ts .     Pr eci sio n  is t he  f racti on  of r el evan t i ns ta nce s  am on g  the  all   pro po se d  i ns ta nces.     Re cal l i s the fr act ion   of r el e va nt insta nces t hat h a ve bee n f ound  ov e r  t he  t otal o f  rele va nt instances .     F - Me asu re  give s the  har m on i c m ean o f pr e c isi on  a nd r ecal l .     TP,  T N,   FP  a nd   F N  ar e  ret rieve d  from   the  confusi on  m at rix,   they   m e an  res pecti vel y:   Tru e  Posi ti ve,     Tru e  N e gative ,  False P os it ive  and  False   Ne ga ti ve.     3. 3 .      Adop ted me t ho d  and c ompared  meth ods   3. 3 . 1 .   Adop te d metho d   As  m entioned   above,  L STM  is  a  Deep   Lea r ning  m et ho d,   i t  is  sp eci al ly   a  Re current  N eu ral  Netw ork  (RN N )   [ 20 ],   w hich  is  ch aract erized  by  it s  m e m or y,  that  w hy   it   is  ado pted  in  this  w ork,   i n  orde r  to  m em or iz e   as  long  as   poss ible  at ta cks  a nd  pr e dict  ne w  oth e rs.   As  s ho wn  in  th e  Fig ure   2  [ 21 ]   t he  L STM  gat her s:  an  I nput   Gate  wh ic h  de te rm ines  if  a  new   input  can  t ran sit   o r  not,  a  Fo r get  Gate  wh ic h  delet es  inf or m at ion   if  is  not   i m po rtant  or  l et   it   i m pact  the  outp ut,  a n  Ou t pu t  Gate  wh ic h  determ i nes  t he  ou t pu t ,  a  si ng le   Ce ll   w hic h  represe nts  the  Con sta nt  Er r or   Ca r ousel ,  and   the  act iva ti on   functi ons   wh ic h  com pu te   the  act ivati o n  of     the th ree  gates.     3. 3 . 2.   C ompar ed   met hod s   Ther e  a re  se ve ral  m et ho ds   i n  Ma chine  Lear ning  dom ai n,   so   it   is  diff ic ult   to  com par e  ou r  sug gested  m et ho d  t o  al l  t hese  te c hn i qu e s,  we  will   try   to  c om par e  it   only   with   the  m os t  ef fici ent  a nd  popula r  of  t hem ,   as   SV M ,  KNN   [ 2 2 ]   a nd  Deci sion  Tree .   S V M  is  a  cl assifi er  est ablis hed  on  m arg ins,  it   us es  sm al l  sa m ple  an d  achieves  good   gen e rali zat ion  resu lt s  [ 23 ].   KNN  is  a  sim ple  an d  ef fici ent  te chn i qu e  w hich  us es  the  cl os est   trai ning  exam ples  to  cl assify   obj ect   in  the  f ea ture  spa ce  [ 24 ].   A  decisi on  tree  is  a  m eth od  of  cl assifi cat ion ,     the  va rio us   pos sible  decisi ons   are  locat e d  at   the  en ds   of  the   br a nc hes  (the  le aves  of  the   tr ee)  an d  a re  rea ched  accor ding t o d eci sion s ta ke n at  each  ste p [ 25 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec   &  C om p  En g     IS S N: 20 88 - 8708       LS TM  d e ep  lea rn in g meth od f or   network…   ( Alaed din e  B oukha lf a )   3319       Fig ure   2. LST M archite ct ure       4.   R ESULT S  AND A N ALYSIS   This  pa rt  is  de dicat ed  to  a nnou nce  an d  di scuss  t he  va riou s   obta ine d  r esults.  W e  ha ve  eval uate d    the  m od el   for  two  ty pes  of  cl assifi cat ion ,  bin ary  an d  m ulti - cl assifi cat ion.  Fo r  bin a ry  cl assifi cat ion   the  da ta set   is  div ide d  on  t wo   cl ass es:   cl ass  of   norm al   record s  an d  cl ass  of   at ta ck s.   Fo r  m ulti - cl assifi cat ion ,  a nd   Give n  U2 R  are  not  de ns e  in  te rm   of   the  num ber   of  at ta cks,   the  c la ssific at ion   re su lt s  of   this  ty pe  of  at ta ck  ar e  no t  sat isfact or y,  s o  we  deci ded  to   gro up   t hem   with  R2L  at ta ck s  i n  one  cl ass,   so   the  dataset   is  div ide d  on   four  cl asses:   cl ass  of   norm al   reco r ds   a nd  th ree   cl asses  of  t hree  cat egories  of   at ta cks  (P r ob e ,  DoS,  U 2R - R2L ).   We  ha ve  eval ua te d  the  m e tric s:  Accu racy,  S ensiti vity ,  False   Po sit ive  Ra te ,  Pr eci sio n  an d  Re cal l,  and   w e  hav e  com par ed  t he m  w it h  the o t he rs of t he othe r  classi fiers.     Fig ure   3 ,   Fig ur e  4  an d  Fig ur e   5  sho w  resp ec ti vely :  Accu ra cy ,  ave rag e   of  Sens it ivit y  an d  ave rag e   of   False   Po sit ive  Ra te   (F PR)  f or  bin a ry  and   m ul ti - cl assifi cat ion .  Wh il e   Table  3   an d  Ta ble  4   re veal  Pre ci sion ,   Re cal l  and   F - Me asur e  f or   bi nar y  a nd  m ulti - cl assifi cat ion.   As  in dicat ed  by   Figure  3,   th e   reache d  value s  of  the  Accuracy   are  99, 98   %   for  tw o  cl asses  cl assifi cat ion   an d  99, 93   %   for  f our  cl asses  cl assifi cat ion ,  wh ic h  m eans  that  LSMT  ca n  pr op e rly   m e m or iz e  and   id entify   traf fics,   and  it s  detect ion   ca pacit y  is  bette r  tha n  th e  oth e r   m achine  le ar nin g  cl assifi ers .  Also ,   as  e xpos es  Fig ur e   4 ,  t he   value s  of  the   ave rag e   of  t he   Sensi ti vity   reached  by  the  m od e l  LSTM  are  99 , 986  %   f or   bi nar y  rec ogniti on   a nd   99 , 738  %   f or   m ulti - recogn it io n,   this  ex plains  t hat  the  sug ges te d  m od el   is  ve ry  able  t o  dif fer e ntiat e  corr ect ly   between   the  di ff e ren t  t ypes  of   traff ic ,  bette r  than  the  oth e r  m od el s.  In   ad di ti on ,  as  no te d  by  Figure  5,   th e  values  of  ave rag e  of   False   P os it ive   Ra te   (F PR)  achieve d  by  LST M  are  on ly   0,0 68   %   f or   tw o  c la sses  cl assifi cat ion   an d  0,0 23  %   for  m ulti - cl asses  cl assifi cat ion ,  wh ic h  m eans  that  the  m arg in  of   e rro r  of  the   detect ion   of  th e  m e tho d  is  m inim a l,  and  the  values   achieve d  a re mi ni m al  co m par ed  to  o t her   cl as sifie rs.           Fig ure  3 .   Acc uracy  for bi nar y  classi ficat ion   and m ulti - cl ass ific at ion   97 98 99 100 LS TM SV M TR E E KNN 99.93 98.758 99.617 99.9 99.98 98.189 99.844 99.902 A c c u r a c y   ( % ) 4 cla sses 2 cla sses Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  3 ,  J une  2020  :    33 1 5   -   33 2 2   3320       Fig ure  4. A verage  of Se ns it ivit y fo r bina ry c la ssific at ion  a nd m ulti - cl assifi cat ion           Figure  5. A verage  of  false  po sit ive r at e  ( FP R) for bi nar y c la ssific at ion   a nd m ulti - cl assifi cat ion       Table  3 . Recal l , precisi on a nd  F - Me asu re  of t wo cla sses   Clas sif ier   Clas s   Precisio n  ( %)   Recall (% )   F - Measu r e ( % )   LST M   No r m al   9 9 ,99 9   9 9 ,97 3   9 9 ,98 6   Attack   9 9 ,96 9   9 9 ,99 8   9 9 ,98 3   SVM   No r m al   9 9 ,02 9   9 7 ,56 9   9 8 ,29 4   Attack   9 7 ,25 4   9 8 ,90 2   9 8 ,07 1   Tr ee   No r m al   9 9 ,88 7   9 9 ,82 0   9 9 ,85 3   Attack   9 9 ,79 4   9 9 ,87 0   9 9 ,83 2   KNN   No r m al   9 9 ,90 1   9 9 ,91 7   9 9 ,90 9   Attack   9 9 ,90 4   9 9 ,88 6   9 9 ,89 5       Table  4 . Recal l , precisi on a nd  F - Me asu re  of four cla sses   Clas sif ier   Clas s   Precisio n  ( %)   Recall (% )   F - Measu r e ( % )     LST M     No r m al   100   9 9 ,93 8   9 9 ,96 9   Do S   9 9 ,92 4   9 9 ,90 6   9 9 ,91 5   U2 R, R2 L   9 5 ,89 6   9 9 ,10 6   9 7 ,47 5   Prob e   9 9 ,86 3   100   9 9 ,93 1     SVM   No r m al   9 9 ,17 3   9 8 ,59 7   9 8 ,88 4   Do S   9 9 ,12 8   9 9 ,78 2   9 9 ,45 4   U2 R, R2 L   8 9 ,50 7   9 5 ,32 0   9 2 ,32 2   Prob e   9 5 ,80 3   9 5 ,96 8   9 5 ,88 5     Tr ee   No r m al   9 9 ,82 1   9 9 ,63 2   9 9 ,72 6   Do S   9 9 ,77 2   9 9 ,86 7   9 9 ,81 9   U2 R, R2 L   8 6 ,82 4   9 5 ,03 3   9 0 ,74 3   Prob e   9 9 ,08 9   9 8 ,96 2   9 9 ,02 5     KNN   No r m al   9 9 ,91 4   9 9 ,92 0   9 9 ,91 7   Do S   9 9 ,97 4   9 9 ,98 0   9 9 ,97 7   U2 R, R2 L   9 7 ,48 3   9 6 ,18 0   9 6 ,82 7   Prob e   9 9 ,74 3   9 9 ,80 3   9 9 ,77 3   96 97 98 99 100 LST M SVM TREE KNN 99.738 97.417 98.374 98.971 99.986 98.236 99.845 99.902 Sen sit ivity  (%) 4 cla sses 2 cla sses LS TM SV M TR E E KNN 0.023 0.493 0.138 0.04 0.068 1.765 0.155 0.099 F alse P os iti v e R a t e (%) 4 cla sses 2 cla sses Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec   &  C om p  En g     IS S N: 20 88 - 8708       LS TM  d e ep  lea rn in g meth od f or   network…   ( Alaed din e  B oukha lf a )   3321   The  s uprem e  values  of  P recis ion ,   as  il lustra t ed  by  Table  3  and  Table  4 ,   a re  th os e  of   our   pro posed   Deep   Lea r ning   m od el   LSTM .  For  the  ide ntific at ion   of  tw o  cl asses,  the  Pr eci sio ns   rea ch  up  to  99, 999  %   and  99, 969  %  for  resp e c ti vely   no rm al   traff ic   a nd  at ta ck  traf fic,   m or e  than  the  ot her   cl a ssifie rs.   Fo r  the  ide ntif ic at ion   of   f our   cl asses,  the  Pr eci sion   re ache s  up   to  100  %   fo r  no rm al  reco r ds ,  this  is  due  to    the  de ns it y  of   this  cl ass  of   tr aff ic ,  al so   for  Pr obe  a nd   D O S  at ta cks,   the  m axi m u m   Pr eci sion s  ac hiev ed  are  resp ect ively   99, 863  %   an d  99, 924  %   m or e  than   the  oth e r   cl assifi ers,  on ly   on e  m ini m a l  value  of  P re ci sion  95,89 6  %  no te d  by  LS TM  (le ss  than  only   that  of   KNN  97, 483  % )  in  the  case  of   t he  cl as sific at ion   of  th e  cl ass   U2R - R2L ,  ex pl ai ned   by  it s  m ini m u m   den sit y.  This  j ust ifie s  that  th e  LS TM  is  gen e rall y  ver y  accu rat e  m or e   than  the  oth e rs .   The  val ues  of  Re cal l  of   LS TM  fo r  t he  id entifi cat ion   of   two  cl asses,  as   sh ow n  in  Tab le   3 ,   are  ver y  high,   99, 973  %   f or  norm al   traff ic   an d  99,99 8  %  f or   at ta c k  tr aff ic .  Als o,   t he   value s  of   Re cal l  for     the   identific at ion   of   four   cl a sses,  as  sho wn  in  Table  4 ,  a r e  al so   ver y  hi gh,  99, 938  %  for  the  norm al   cl ass,  99,10 6  %  f or   U2 R - R2L   cl as s,  10 0  %  f or   P robe  cl ass ,  an d  99, 906  %   f or  D OS   cl ass  (le ss  tha n  on ly   th at   of  KNN  99, 980  %).   This   pro ve s  that  L STM  c an  fin d  nor m al  instance s  a nd  at ta ck  insta nce s  m or e  tha n  t he   ot her   m od el s.   The  e xp e rim ent  resul t  has  pr ov e d  t hat  the  ne w  m et hod  LS TM  is  ve ry  ef fici en t,  it   can  ef fect ively   m e m or iz e  and  diff e re ntiat e  be tween  t raffic s:  norm al   and   at t ack,  i n  t he  bo t h  cases   of   cl as sific at i on ,   bi na ry  an d  m ul ti - cl assifi cat ion .       5.   CONCL US I O N AND F UT U RE W ORK   In   t his  pa per,  we  pr opos e d  a   new   i dea  f or   NIDS  est a blished   on  the  De ep  Lear ning  m et hod  LSTM ,  wh ic h  will   rec ognize  at ta cks  and   kee p  a  lo ng - te rm   m e m or y  of   them ,  in  orde r  to  blo c k  t he  ot her   ne w   a tt acks,  and   at   the  sam e  tim e,  will   tre at ,  with  a  un i que  m ann er,   al l  ty pe  of   t hese  a tt acks.  T o  vali date  the  e ff ect i ven e ss   of   our  ne w  sugg e ste d  ap proa ch,   we  em plo ye d  the  fam ou s  NS L  KDD  as  dataset   for  trai ning  an d  te sti ng ,  a nd   Accuracy ,  Se nsi ti vity ,  False   P os it ive  Ra te ,  Pr eci sio n  a nd   Re cal l  as  m et r ic s  for  the  e va luati on ,   an d  w e  ha ve   com par ed  th e   new  m et ho d  LSTM  to  t he  oth er   Ma chine  Lea r ning   cl assifi ers.   The  e xp e rim e nt  has   dem on strat ed  t hat  the  m et ric s  of   t he  detec ti on   of  the  L STM  m e tho d  reach  ver y  hig h  value s  m or e  tha n    the  oth e r  cl assi fiers.  wh ic h  prov e s  that  our  ne w  pro pose d  m et hod  is  ef fecti ve  f or  N I DS.   I n  the f ut ur e, we  plan   to  im ple m ent  reall y  a  ne w  i ntell igent  NID S  in   the   real  world   us i ng  our   ne w   pro po sed  Dee p  Lea rn i ng    m od el  LSTM.       REFERE NCE S   [1]   Yann  L.,  et al . ,   “ Dee p  l ea rn ing,”   Nature,   In te rnati onal  Journal   of   Sci en ce,   vol .   52 1,   pp .   436 - 444 ,   2015.   [2]   Gensler   A.,  et  al. ,   “ Dee p  L ea r n ing  for  Solar  Pow er  Forec asting – An  Approac h  Us ing  Autoen code r  and  LST M   Neura l  Network s,”   in :  2016  IE EE   Inte rnat iona l  Con fe renc e  o n  Syste ms ,   Man,   and  Cybe rnet i cs,   SMC  2016 ,    Artic l e  n o.   7844 673,   pp .   2858 - 2 865,   2017 .   [3]   NS L  KD D,  [Online ] .   Avai la bl e:  htt ps:// g it hub. co m /de fco m 17/NS L_KDD .   [4]   Ni y a z  Q . ,   Sun  W . ,   Java id  A .   an d  Alam  M . ,   “ A  Dee p  Learni ng  Approac h  for  Ne twork  Intrusion  Dete c ti on  S y s tem ,”   I n  Proceedi ngs   of  th e   9th   EAI  Inte rnationa l  Confe renc e  on  Bi o - inspired  In f orm ati on  and  Comm unic ati ons  Technol ogi es  ( BICT'15) ,   Unite d  Stat es  ACM ,   pp .   21 - 26,   2015.   [5]   Dong  B.   and  Wa ng  X.,   “ Com pa rison  Dee p  Le ar ning  Method  to  Tra di ti ona l  Met hod s  using  for   Network  Intrusion  Dete c ti on ,”   8 th  I EE E   Inte rnat ion al  Conf ere nce o n  Comm unic ati o n  Soft ware   and  Net works,   pp .   58 1 - 585,   2016 .   [6]   KD D Cup  99,   [ Online ] .   Avai la b le :   htt p :/ /kdd . ic s . u ci . edu/ da ta b ase s/kddcup99/ kdd cup99. html .   [7]   Yang  J.,   Deng  J.,   Li   S.  and  Hao  Y.,   “ Im prove d  Tra ffic   Det ection  with  Support  Vec tor  Mac hin e  ba sed  on  Restri ct e d  Bolt zmann  Ma c hine ,”   So ft   Com puti ng,   vol .   21 ,   no.   11 ,   pp .   3101 – 3112,   2017 .   [8]   Yan  R. ,   Xiao  X. ,   Hu  G.,   Peng  S.  and  Jiang  Y.,   “ New  Dee p  Le ar ning  Method  to  Dete c t  Code  Inj ec t ion  Atta cks  o n  H y brid   Applications , ”  Journal   of   Syste ms   and  Sof t ware,   vol .   137 ,   p p.   67 – 77 ,   2018 .   [9]   Li   Y. ,   Ma  R .   an d  Jiao  R. ,   “ A  Hy brid   Malicious  Code  Det ec t ion  Metho d  Based  o n  Dee p  L ea rn in g ,”   In te rnationa l   Journal  of   Se curit y   and  Its   Appli cat ions ( IJS IA) ,   vol.   9 ,   no .   5 ,   pp .   205 – 216,   2015 .   [10]   Diro  A. A.  and  Chil amkurti  N.,   “ Distribut ed  Att ac k  Detect ion  S che m e  using  Dee p  Le arn ing  Approac h  for  Inte r net   of  Thi ngs, ”  In te r nati onal Journal   Fut ure   Gene rat i on  Computer  Sy stems ( FGCS ) ,   vol.   82 ,   pp .   761 - 7 68,   2018 .   [11]   La n  L .   and  Jun  L. ,   “ Som e  Special  Iss ues  of  Network  Secur ity   Monitori ng  on  Big  Data   Env iro nm ent s ,”   In:  20 13   IEE E   11th   Inte r nati onal  Con fe re nce   on   Depe nda ble   Aut onom ic a nd  Sec ure   Comp uti ng,   pp.   10 - 15,   2013.   [12]   Saenko  I. ,   Kote nko  I. ,   and  Kus hner evi ch  A. ,   “ Para ll el   Proce s sing  of  Big  He te roge n eous  Data   for  Secur i t y   Monitori ng  of  I oT  Networks ,”   In:  2017  25th  E urom ic ro  Inte rnational   Conf ere nce   on  Parall e l,  Distribute d  an d  Net works - Based Proce ss ing,   pp .   329 - 336,   2017 .   [13]   El - Sofan y   H.F. ,   El - Seoud  S.A,  T aj - Edd in,   I . A.T. F.,   “ A  Case  Stud y   of  th e  Im pact  of  Denial  of  Service  Attacks  i n  Cloud  Appli ca t i ons ,”   Journal   of   Comm unic ati ons ,   vol .   14 ,   no .   2 ,   2 019.     [14]   Alja warne h  S. ,   Aldwairi   M.,   Ya ss ei n,   M.B. ,   “ Anom aly - b ase d  in trusion  det e ct ion   sy st em  through  fea ture   se le c ti o n   ana l y sis  and  bu ilding h y brid   eff icient m odel ,”   Jou rnal  of  Computa ti onal  S cienc e,   v ol.   25 ,   pp .   152 - 1 60,   2018 .   [15]   Sorns uwit  P.,   Jai y en   S.,   “ Intrusion  det e ction  m odel   bas ed  on  ens e m ble   learni ng  fo r  U2R  and  R2L   at t ac ks ,”   in :  201 5  7th  Inte rnationa l  Confe renc e  on   Information  Technol ogy  and  E le c tric al  Eng ineering,   En vi sioni ng  the   Tr end  of   Computer,   Infor mation  and  Enginee ring ( ICITEE ) ,   Artic l e  n o.   74 08971,   pp .   354 - 359,   2015 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  3 ,  J une  2020  :    33 1 5   -   33 2 2   3322   [16]   Dube y   S. ,   Dube y   J. ,   “ KBB :  A  h y brid   m et hod  for  int rusion  d e te c ti on ,”   in :  IE EE   Int ernati ona l  Confe ren ce   on   Computer,   Com municat ion   and  Control  ( IC4 - 2015) ,   Artic l e  n o. r 737 5704,   2016 .   [17]   Venka te sh Pulla   V.S.,   Varol   C. ,   Al  M. ,  “ Open  so urc e  data  qualit y  tool s: Re visit ed ,”   Adv anc es  in  Inte lligent   S yste ms   and  Computing ,   vol.   448 ,   pp .   893 - 902,   2016 .   [18]   Majc hrz ak  T . A.,  Jansen  T.  and  Kuche n  H.,  “ Eff ic i ency   Eva lu ation  of  Open  So urc e  E TL   Tool s , ”   In :  (SA C  ' 11 )   Proce ed ings o f   t he   2011  ACM  S y mpos ium  on  App li ed   Computing,   pp.   287 - 294 ,   20 11 .   [19]   Refa e il z ade h   P.,  Ta ng  L.   and   Li u   H.,   “ Cross - Vali d at ion ,”   Encyc lo p edi a  o f  Databas e  Syst ems ,  Sprin ger ,   2009 .   [20]   Zha o  Z.,  Chen  W . ,   W u  X.,   Chen  P.C. Y.,   Li u  J. ,   “ LSTM  net wor k:  a  dee p  l ea rni ng  appr oac h  for   short - te rm   tra ff ic  fore ca st ,”   IET  In te lligent Tr anspor t   Syste ms ,   vol. 11,  no.   2,   pp.   68 - 75,   2017 .   [21]   Greff  K.,   Srivast ava   R. K. ,   Koutn ik  J.,   Steune b rin k  B. R.   and  Sch m idhube r  J.,   “ LSTM:  A  Sear ch  Space   Od y ss e y , ”   2017  IEEE  Tr ansacti ons on  N eural  Ne tworks  and  Learning  Syste m s,   vol. 28, pp. 22 22 - 2232,   2017 .   [22]   Xie  L . ,   Fu  Z . H. ,   Feng  W .   and   Luo  Y. ,   “ Pitc h - Densit y - B ase d  Feat ure s  and  an   SV M  Bina r y   T ree   Appro ac h  fo r   Multi - Cla ss   Aud io  Cl assific a ti on   in  Broad ca st   Ne ws , ”  Multimedia   Syste ms ,   vol. 17 ,   no .   2 ,   pp .   101 - 112,   2011 .   [23]   Kuang  F.,   Xu  W . ,   and  Zha ng  S.,   “ A  Novel  H y brid  KP CA  and  SV M   with  G A  Mode l  for  Intrusion  Dete ction ,”     Appl ie d   Sof t  Co mputing,   vo l. 18, pp. 178 - 184,   20 14.   [24]   Am in  Aburo m ma n  A.,   and  Ibne   Rea z  M. B . ,   “ A  novel   SV M - kN N - PSO  Ense m ble   Method  for  In trusion  Detect io n  S y stem, ”   Applie d  Soft Computin g ,   vol .   38 ,   pp .   36 0 - 372,   2016 .   [25]   Tsai   C . F.,  Hs u  Y.F.,   Li n  C . Y.,  and  Li n  W . Y . ,   “ Intrusion  Det e ct ion   b y   Mac h i ne  L ea rning :  A   Rev i ew ,”   Ex p e rt  Syste ms   wit h   Ap pli cations,   vo l. 3 6,   no .   10 ,   pp .   11 994 - 12000,   200 9.   Evaluation Warning : The document was created with Spire.PDF for Python.