Indonesi an  Journa of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   23 ,  No.   1 ,   Ju ly   2021 , p p.  558 ~ 565   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v 23 .i 1 . pp 558 - 565          558       Journ al h om e page http: // ij eecs.i aesc or e.c om   An  ens em ble fea ture sel ection  ap proach u sing hyb rid ke rnel  based   S VM fo network  intrusio n detecti on syst em       Ga d dam V en u G opal 1 , Gat ram  R ama   M ohan  B ab u 2     1 Y.S.  Rajasekha r   Redd y   Univ ersi t y   Coll ege of En gine er ing  &   T echnolog y ,   Ach ar ya  Naga rjuna Uni ver sit y ,   Naga r ju na  Naga r, Guntur ,   I ndia   2 Depa rtment of I nform at ion  T ec h nolog y ,   RVR  & J Coll eg of   E ngine er ing, Cho wdava ram,  Gunt ur ,   Indi a       Art ic le  In f o     ABSTR A CT    Art ic le   hist or y:   Re cei ved  J ul   1 8,   2020   Re vised A pr 29 , 2 021   Accepte Ma y   4 , 2 021       Feat ure   se le c ti o is  proc ess  of  ide nti f y i ng  re levant  fe at ure   sub set  tha leads   to  the  m ac hine  l ea rning  al gor it h m   in  wel l - def i ned  m anne r.  In  t his  pape r ,   a   novel   ense m ble   fea tur sele c ti on   appr oac tha c om prises  of  rel ie at tri bu t e   eva lu at ion  and   h y brid  ker n el - base support  vec tor  m ac hin e   (HK - S VM )   appr oac is  pro posed  as  fea t ure   sele c ti on  m et hod  for  net wo rk  int rusion  det e ct ion  s y stem   (NID S).  Hy b rid  appr oa ch  a lo ng  with  the  comb ina ti on   of   gaussian  and   p ol y nom ial  m et h ods  is  used  as  ker n el  for  su pport  ve ct or   m ac hin (SV M).   The  ke y   issue  i to  sel ec t   a   fe ature  subs et   that  yie lds  good   ac cur acy   a m ini m al   compu ta ti on al   cost .   T he  proposed  appr oac is   implemente an compare wit c la ss ic a SV and  sim ple   ker nel.  K y o to  2006+,   b enc h m ark   int rusion  det e ct ion  d atase t,   is  used  for  e xper imental  eva lu at ion   and   t hen  observa ti ons   are dra wn .   Ke yw or d s :   Feat ur e  selec ti on   Hybr i d ker nel   In tr us i on d et ec ti on  syst em   Kyoto 2 006+   Suppor t  v ect or  m achine   This   is an  open   acc ess arti cl e   un der  the  CC  B Y - SA   l ic ense .     Corres pond in Aut h or :   Gaddam  V en u Gopal   Dr .  Y.S.  Raja s ekh a Re dd U niv e rsity  Colle ge of  Enginee r ing   & Tec hnol og y   Ach a rya  Nag a r j una  U niv e rsity   Nag a r j una  Na ga r,   G un t ur ,  In di a   Em a il : ven ugopal .g a ddam @g m ai l.co m       1.   INTROD U CTION     Now - a - days ,   ne twork  i ntr us io detect ion   s ys tem   play an  im po rtant  r ole Ow i ng  to  t he  r apid  gro wt in  the  us of   w eb  us a ge  a nd   ot her   net wor s erv ic es,  t hese  netw ork  ser vic es  are  pro ne  to   vu l ner a ble  an nee d   to  be   pro vid e with  m or e   se cur it y.   N et w ork  intr us i on  det ect ion   syst em   (NIDS)  is  one   of  the  s olu ti ons  that   identifie an pr e ven ts  the   intruder  f rom   pen et rati ng  into  the  network   a nd   fro m   do in a ny  m al ic iou s   act ivit ie s.   Fo t he  la st  few   deca des,   m os of   the  re sea rch e rs  are  wor king  in  the  fie ld  of   NIDS  a nd  pro posin and  im ple m enting  t heir  wor on  dif fer e n be nch m ark   datas et avail able.   As  the se  datas et s   are  ve ry  big   in  siz and   pro vid e it h   div e rsified   high  dim ension al it y,  m os of   t he  aut hors   hav pro pose m achine  le arn i ng  te chn iq ues  no t   on ly   f or   at ta ck  detect io bu al so   qu ic de te ct ion   of  intr ud e r.   Feat ur sel ect ion   an f eat ure   reducti on  ar s om of   the   m e thods  t c hoose   subset  sel ect ion  of  dim ension s.  Dim ensional it red uctio help s   the NID S in  in creasin the  d e te ct ion  r at es  by  elim inati ng  th os e ir releva nt  f eat ur es  a nd als m ini m iz es the co st   of the  detect io syst em .   Seve ral  m achine  le ar ning   te chn i qu e li ke   decisi on  trees ,   ada   bo os ti ng,   ra ndom   f ores t,  arti fici al  neural  net wor ks a nd  S VM ,   are  us e as  cl assifi ers  f or   pr e dicti ng   w he ther  the  re quest   is  an  at ta ck  or  a   le gitim at on e.  Am on t hese  cl assifi ers,   S V is  on of   t he   prom inent  m achine  le ar ning  te ch nique s   t hat  is   us e especial ly ,   if  the  pr ob lem   do m ai i bin ary  cl assifi er.  S uppor vector   m achine  (S VM [ 1 ]   is  a   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       An  e ns e mb le   fe atu re  selec ti on app r oac h usin g hybri ker nel  base d SVM f or…   ( Gadda m Ve nu  Gop al )   559   sta ti sti cal  le arn in base li ne ar  cl assifi er  intr oduce by  Vapnik  a nd  te a m   in  19 90s.  In   order   to  s ol ve  the   qu a drat ic   opti m iz at ion   pro ble m SV al gorithm   m axi m iz es  the  m arg in  am on the  t rainin data  t hro ugh  li near ly  sep a ra ble h y perplane .   hy perplane  i hi gh   dim ension al   s pace  ha the  la rg est   distance  to  the  ne arest  tr ai ning  data  points   of  any  cl ass   w hich   is   kn own  as  the  optim um   separ at ion   hy perplane.   S V al gorithm ,   al ong  w it non - li near  char act e risti cs   i m pr ove s   the  abili ty   of   gen er al iz at ion so lv e s   the  hig h - dim ension al   p roblem s,  detect i on   ra t e   and  al so   pro vid es  bette s ol ution   for  fau lt   detect ion  an pr e dicti on   [ 2] ke r nel  f un ct ion   is  us e in  l inear   cl assifi ers  to  s olv e   non - li nea r  problem s.    In   S VM  cl assifi cat ion   al gorithm ker nel  play an  i m po rtant  ro le   that  can  be  ap plied  in  SV t conve rt  or i gin a inp ut  sp ace  i. e.,  high  dim e ns io sp ace  i nto   nonlinea m app in g.   T he  pr im ary  go al   of  any   intru si on  detec ti on   syst em   is  t ide ntify  at ta cks  with  highe st  detect ion  rat es.  A pa rt  f ro m   the  detect ion   rate,   ano t her  re quire m ent  is  quic detect ion  i.e.,   m ini m iz at ion   of  the   com pu ta ti on al   ti m is  al so   im po rtant   in  NIDS   [3] [4 ] .   I the   netw ork  e nvir on m ent,  ser ve r nee to   pr ovide  ser v ic es  wi th   quic res po ns to   it cl ie nt s.   I this vie w,   NID S h a ving  high  com pu ta ti on al   tim e, can  not  be  adop te as  a  detect ion sy ste m  f or  the  ser ve rs.   To  fu l fil  these  go al s   feat ur e   sel ect ion   m eth od  nam el y,  reli ef  featu re  sel ect ion   m od el   i us e a nd  a   hybr ie kernel  base S VM  cl a ssifie (HKS V M)  is  a dopted  as  cl assifi er . Th e obj ect ive  o f   the prop os e wor is  to  dev el op  an  intr us io de te ct ion   syst em   [5] [6 ]   us i ng   a ensem ble  appro ac al ong  with  reli ef  featur e   est i m at or  and  HK - S VM to  gai hi gh acc ur a cy  an go od com pu ta ti on al  ti m es.   The  rem ai nin pap e is  orga nized  as  sta te d.  Sect io 2   give bri ef  re vi ew  of  r el at ed  work   in  the   fiel of  N IDS  and  S VM.  Ba s ic an dataset   descr i ption  is  pr ese nted   in   S ect ion   3 Th p rop os ed   m et ho do l og y   is el aboratel y   di scusse i Sec ti on   4   a nd in  S ect ion   5   resu lt s . F inall y ,   in  Se ct ion   6 ,   c oncl usi on s   are  d e riv ed .       2.   RELATE D  W ORK   Fo t he  pa st  fe deca des,   se ver al   re searc he rs  are  wor king   in  the  fiel of  NIDS  a nd   al s in  S VM.  Ther a re  de ve lop m ents  in  SV as  well   as   NI DS .   T his  se ct ion   disc us ses   the  relat ed  res earch  wor do ne  by   var i ou a uthor in  the  area  of   NIDS  usi ng  SV [ 7 ] - [ 9 ] Table  pre sents  br ie de scriptio of  var i ou s   researc hers al ong wit h t he dat aset s   are   c onsidere d,  an m eth od ologies  are   adopted/ pro posed.       Table  1.  Rel at e d work   Ref No .   Descripti o n   [ 7 ]   The  au th o rs  o f   t h is  p ap er  p rop o sed  m eth o d o lo g y   to   i m p rov th p erfo r m an ce  o f   th SVM  u sin g   f u si o n   o f   t h g en etic   alg o rith m  f o th e S VM.   KDD  19 9 9  d ataset th at  is u sed   t o  test their ac cu rac y .   [ 1 0 ]   The  au th o rs of  this  pap er  su g g ested  a  h y b rid g en etic alg o rith m  f o SVR  as  its k ernel f u n ctio n .   The  m o d el w as tes ted  on  te m p eratur e  and  load  datas ets an d  co m p a red with  dif f erent kern el  m eth o d s.   [ 1 1 ]   The  au th o rs  o f   t h is  p ap er  p resents   a   m u tu al  in f o r m ati o n   g ain   b ased  f eat u re  selectio n   m eth o d   f o selectin g   f e atu re  su b set  an d   tested  us in g  L S - S VM  cl ass if er  o n  the KDD19 9 9  datas et.  Accur acy, FP  r at e and  oth er  m e asu r es wer e  con sid ered.   [ 1 2 ]   The  au th o rs  o f   th i p ap er  p resents   d etailed   stu d y   wh ich   is  p rov id ed   o n   v ariou f eatu re  selectio n   alg o rith m s   in   th f ield   o in trus io n   d etectin   syste m PCA,  Co r relation   co ef f icien t an d   Fu sion  o f   Gen etic  Alg o rith m were   p resented   an d   tested   o n   KDD  1 9 9 9  datas et.  Dete ctio n  r ate and  co m p u tatio n al ti m e  we re  co n sid ered to co m p are  t h e   m o d els.   [ 1 3 ]   The  au th o rs  in v estig ated   th p erfo r m an ce  o f   two   class if icatio n   alg o rith m n a m ely   SV an d   Artif icial  N eu ral  N etwo rks   (A NN) .    Three  p ara m ete rs  SVMs  tra in an d   run an   o rder  o f   m ag n itu d f aster  we re  co n sid ered  an d   co n clu d ed   th at  SV is  b etter   th an   ANN fo N IDS.   [ 1 4 ]   The  au th o rs  o f   th is   p ap er  stu d ied   NIDS  d atasets   KYO TO  2 0 0 6 +.  Deci sio n   Tr ee  alg o rithm   (J4 8 was  ap p li ed   o n   th is  d atasets   an d  gain ed  abo u t 9 7 % o f  acc u racy       Most  of  the  w orks  done  by  the  re searc her s   con ce ntrate on  sin gle  kern e based  SV and  featu re   sel ect ion   al gor it h m wh ic are  al so   co nc entrati ng  only   on   the  detec ti on   rates.  Ve ry  few   aut hor hav e   con ce ntrate on  the  com pu ta ti on al   tim e   whic is  ver i m portant  f or   ti m crit ic al   pr ob l e m li ke  NI D S.   The  m ot ivati on  of t he  pa pe is   to develo an  e ns e m ble c la ssifie us in Re li ef f e at ur e esti m at or  an hybri d k ern el   base S VM fo r  f eat ure sel ect ion p r ocess  t hat g ive s a  good a ccur acy   with  t he  best c om pu ta ti on al  ti m e as  well .       3.   RESEA R CH MET HO D   This  sect ion   pr esents  the   pro pose m et ho dol og by   pro vid i ng   the  detai le descr ipti on  of  the  dataset basic  no ta ti ons  and c on ce pts  us e d,   reli ef alg or it hm   and fi na ll y ,   var io us   pe rfor m ance m etr ic s.     3.1.     Pr opose met hodol ogy   The  propose m et ho dolo gy  c on sist of   t hr e ph a ses.  T he are  data  pr e processi ng   pha se,  Feat ure   Sele ct ion ,   Eva luati on  phase   and   res ult  a naly sis  ph a se.  Figure  1   present s   the  pro posed   m et ho do l og y.   I t he   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   23 , N o.   1 Ju ly   2021 558   -   565   560   data  prep r oces sing   phase,  K YO T 2006+  dataset   is  prep ro ces sed T he  pr e p r ocessi ng  consi sts  of  tw par ts   nam ely,   i data  tran s f or m at ion  and ii)  norm alizat ion .   Since  S VM  is  distance  ba se cl assifi e r,   it   works  on  num eric  data  w herea KYOT 2006+  dataset   c onsist of   non - num eric  featur es.  The se  featur e   val ues  are  trans form ed  into  nu m eric  values.   T av oid   f eat ur e   range  i nfl ue nc on   distanc m easur a nd  ot her   cl ass ific at ion   pr oc ess,  each  fea tur has  un de rgo ne  norm al iz a ti on The  no rm alization   te ch nique  t hat  is  app li ed  i this  ex pe rim ent  is  m in - m ax   norm al iz a ti on .   The  form ula is g ive (1),     = (    ×   ( _  _  ) + _  )   (1 )     Wh e re   a nd  are  act ual  a nd   tra ns f or m ed  values   of  feat ur e   vecto res pecti vely  ,   a nd      a re   m ini m u m   and  m axi m u m   valu es  of  feat ur e   and  _    an _    are   ne m ini m u m   and  new  m axi m um  values  of  the  range  f or  w hi ch  th featu re   is  to  be  norm al iz ed.   A fter  t he  com pleti on  of   t he  pr e pro cessi ng  ph a se,  the  r es ultant  data  is  store as  K Y OTO - Norm   th at   is  su pp li e as  an  in pu f or  the  Feat ure  s el ect ion  ph a se.    In   fe at ure  sel e ct ion   ph ase novel  e ns em bl featu re  el i m i nation  m et ho is  propose on  Kyoto - norm   dataset .   T he fe at ur e sele ct io n appr oach is gi ve as  foll ows:     Algorithm 2: Feature Selection Approach   Input           : KYOTO - Norm, normalized dataset   Output        : Feature Ranking vector,                           List of feature Subset   Step  1:  Fe atures are assigned rank based on th eir relevance using Relief Attribute   Estimation algorithm.    St ep     2:     T he   KY OT O - No rm   th en   re ar r an ge in to   K YO TO - Ra nk   da ta s et   by   ar r an gi ng   al th fe at ur es   ba se on   th Re li ef   At t ri bu te   Es ti ma ti on   Ra nk in as   sp ec if i ed   in   Algorithm 1.   St ep     3:   H K - SV cl as si fi er   is   ap pl ie on   th e   K yo to - Ra nk   da ta se re pe at ed ly   af te r   eliminating the least relevance feature at a time.   St ep     4:     F or   ea ch   it er at io in   st e 3,   cl as si f ic at io ac cu ra cy   an co m pu ta ti on al   time are measured.    St ep   5:   fe at ur su bs et   is   se le ct ed   fr om   th ob se rv at io th at   yi el ds   th hi gh es accuracy with less computational time.     Finall y, the  res ults will  b e  com par ed  with   th e traditi onal  S VM m et ho d.           Figure  1.   Pro pose m et ho dolog FS HK - S V M       Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       An  e ns e mb le   fe atu re  selec ti on app r oac h usin g hybri ker nel  base d SVM f or…   ( Gadda m Ve nu  Gop al )   561   3.2.      Dataset   descri pt io n   Kyoto  2006+,  ben c hm ark   da ta set   is  us ed  i this  process.  The  dataset   use in  the  pro po sed  w ork  i s   real  netw ork   traf fic  dataset   that  is  known   as  Kyoto  20 06+.  It  is  help f ul  to   im ple m e n intr us i on  de te ct ion  m et ho ds.  This   dataset   is  colle ct ed  from   ho ney po ts The   dataset   was  captu red   from   Novem ber ,   2006  t Aug us t ,   2009.   O ne  of   t he  a dv a ntage of   Kyoto  20 06 +   dataset   co ns ist of  rece nt  tre nd s   of  at ta ck s   that  ar gen e rated  with   the  hel of  honeyp ots.  Kyot dataset   is  a va il able  with  24   featu res,   ou of  them   14   are   d eri ved  from   KD DC U P’ 99  dataset   [ 15 ] - [ 17 ] a nd  10  m or featu r es  are  a dded   that  m ay   be  he lpf ul  in  detect ing  the   kind  of att acks  ver y   e ff ect ivel y i the  ne tw or k.   In  the  pro pose m et ho dolo gy im ple m entati on  ta kes   place  on ly   on e   day   da ta   set   i.e.,  on  5 th   A ugust ,     2009  co ns ist in of   1,28,34 sam ples  and   24   featu res  out  of   w hich 18  input  featu res  are  sel ect ed  be cause   three  featu res   nam el y ,   ID S _d et ect io n,   M al awa re _d et ect ion   a nd  A shu la _d et ect io a re  al co ns ide red   a pr e dicti on   feat ur es  i s uppor of   cl ass  la bel   [18] T wo   m or featu r es  ar IP   a ddresses   for  bo t sou r ce  an destinat io that  h a ve  ext rem ely large  r an ge o val ues.   O wing to  t he  a bove   reasons ,   these  f eat ur es a re  rem ov e for  the  expe rim ent. Th e  r es ul ta nt 1 8 i np ut fea tures  t hat are  u se i this a ppr oac are  li ste in   Ta ble 2 .   The  cl ass   la bel   of  this   dataset  is  t hree value featu re  that d efines   w hethe the  sam ple  is  an  at ta ck  or   norm al   req ue st.  Th os th re values  a re  { - 2,   - 1,  1}  t re pr ese nt  w hethe the  re quest   is  an  un known  a tt ack ,   known   at ta ck  or   a   no rm al   resp ect ively T he  per ce ntage   of  unknow at ta ck  sam ples  is  le ss  i.e.,   ab out  0.7%,  a s   it  is  dif ficult   t pr e dict  unkn own  at ta c ks .   I orde to   m ake  it   sim plifie d,   bi nar cl assifi cat ion   is   f ollo wed  as  known  a nd   unknown  sam ples   [19] [20] .   T he  data  set   sel ect ed  for  this  stud is  from   th day  5 th   of   the   Augu st   2009, Ky ot o 2 006+ dat aset .       Table  2.   Sele vt ed  f eat ur e s fr om   k yoto 2006 +  d at aset   Featu re  #   Featu re  N a m e   Featu re1   Du ration   Featu re2   Service   Featu re3   so u rce_b y tes   Featu re4   d estin atio n _ b y tes   Featu re5   Co u n t   Featu re6   sa m e_ srv _ rate   Featu re7   serror_rate   Featu re8   srv _ serror_rate   Featu re9   d st_ h o st_ co u n t   Featu re10   d st_ h o st_ srv _ co u n t   Featu re11   d st_ h o st_ sa m e_ src _ p o rt_rate   Featu re12   d st_ h o st_ serror_rate   Featu re13   d st_ h o st_ srv _ serro r_rate   Featu re14   Flag   Featu re15   Label   Featu re16   so u rce_p o rt_nu m b er   Featu re17   d estin atio n _ p o rt_nu m b e r   Featu re18   Du ration 1       3.3.     Reli ef  alg ori th m     RELIEF  is  a eff ic ie nt  feat ure  rankin m odel   evaluated  ba sed  on  the  c on te xtu al   inf or m at ion Re li ef  al gorithm   esti m at es  featur qu al it for  s pecific  ta sk   by  com pu ti ng   de pende ncies  am ong  feat ur e s.  T he  basic   idea  of  REL IE ap proac is  t est im at the  qu al it of  feat ur es   acco rd i ng  to  ho well   th ei value disti nguis betwee in sta nc es  that ar nea to  each  o t her  [21 ] ,   [22] .     Algorithm 1: Relief Feature Estimator   Input   : D, the input dataset    d(A,R,H/M) is the difference formula   Output: F, Feature subset vec tor,                  W, weights/Quality of the features     Step 1: Initiate weights vector W to 0 for an attribute A in F   Step 2: for each instance of D do       Step 2.1: Select R, a random instance of D       Step 2.2: find H, a nearest Hit and                   M a  nearest Miss for R       Step 2.3: for A = 1 to # attributes in D do           Step  2.3.1: W[A]:=W[A]  -   d( A,R,H)/m  +d(A,R,M)/m       End for     End for   end   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   23 , N o.   1 Ju ly   2021 558   -   565   562   The  al gorithm   works  li ke  t his,  le trai ning  dataset   be  a nd  is  t he  feat ur sp ace   of  D ra ndom   instance  fro m   is  sel ec ted the it   picks   up   tw nea r est   neighb or nea rest  Hit  and   nea rest   Mi ss,   wh e re  is  f r om   the  sa m cl ass  as  an is  from   oth er  cl ass Now,   t he  di ff e re nce  betwee t hese  tw cl asses  a re  c om pu te an a dd e to   the  W ei gh Ve ct or   f or   eac at trib ut of   A.   T he  diff e re nce  f orm ula  i s   com pu te as  fo ll ow s:     d(A,   I 1 , I 2 )  =  V ( A , 1 )     V ( A , 2 ) max ( ) min   ( )   (2 )     wh e re  I 1 I a r two  instance s,  and   is  the  value  of   a instance  at   at t rib ute  A,   m ax (A),  m in(A are  the   m axi m u m  an d m ini m u m  v al ues  of the  att rib ute A.     3.4.     Ker nel  appro ache s :   The  acc ur acy   of   a ny  S VM  de pends  on  the   sel ect ed  ke rn el   an pa ram et ers  pro vid e to   it The   hy br i kernel  functi on  that  is  pr op ose in  this  arti cl pr od uces  good   res ults.  T he  hybri ke r ne fu nctio of  SV al gorithm   is  a pp li ed   on  a   be nch m ark   i ntrusion   detect io dataset   an t he the   ex per i m ent  is  exec uted.   T he   exp e rim ent  resu lt sho tha the  pro posed   pr e dicti on  m et hod  has  be tt er  accu racy  w hen   com par ed   wit tradit io nal  SVM  k er nel a ppr oach e s   [ 23] [ 24] .   A.   Gau s sia ke rn e l   An   e xpone ntial   decay  functi on   w hich  is  know as  G aus sia ke rn el is   com pu te be tween  dat a   po i nt  an eac of   t he  s uppor vectors.  It  is   si m il ar  to  weig hted  li nea ke rnel T he  m axi m u m   value  of  a   Gau s sia f un ct ion   is  att ai ned   at  the s upport  vecto that i s  unif or m ly  d ecay ed  am on g al l d irect ion s     1 ( , ) =  ( ´ 2 2 2 )  > 0   (3 )     B.   Po ly nom ial K ern el   Po ly nom ial  ker nels  are  c omm on ly   us ed  with  support  vect or   m achines  th at   sp eci fy  the  si m il arity  of   featur vecto rs   in  the  dataset   ov e poly no m i al of   the  or i gin al   featur e s.  I Po ly no m ia l   kernel,  K 2   re presents   F eat ur e  S pace’ s in ner   pro duct   F   [ 25] :     2 ( , ) = ( + )   (4 )     wh e re  a nd y  are in puts i t he  sam ple sp ace , d is  degree  of the  po ly nom ial.   The pr opose hybri d ker nel  H(x, y)  is de riv ed fr om  the sum m a ti on  of  ( 1) an d (2) as:     H(x,y)   =k 1 ( x,y ) + k 2 ( x,y )   (5 )     The  fo ll owin are  al go rithm f or   t he  pro pose Hy br i K ern el   base S VM  f or  I ntr us i on  Detect io Syst e m Algor it h m   represe nts  the  cl assifi cat ion   a ppro ac an Algorith m   pr ese nts  t he  pr opos e H ybri Kernel f unct io n.   Let   the  trai ni ng  sa m ple  set   {(x 1 ,y 1 ), ( x 2 ,y 2 ),   ( x 3 ,y 3 )….. },  w her x i     and   it respec ti ve  m ult i - cl ass  la bels   y i     - 2, - 1,   1}.   non - li near   m app in ϕ  fro m   or iginal  dat to  hig h - di m ension al   feat ur s pace,  therefo re,  it   can  be  rep la ce with  sam ple  po i nts  x i   a nd   x j   with  t he ir  m app ing   ϕ  (x i   an ϕ  (x j   resp ect ively [ 13 ].   is t he ker nel  functi on that  x i , x j   R,  sati sf ie s the follo wi ng equati on:     ( , ) = { ( ) , ( ) }   (6 )     wh e re  ϕ   is a  m app i ng fro m  R to a feat ure s pa ce F ,     : ( )     (7 )     Hybr i kernel  functi ons  has  e xcell ent   le ar ni ng  ca pab il it y.  I th desig of  any  e ff ect ive   m od el ther e   are  two  esse nt ia par am e te rs  that  influ e nce   SV M   [26] A m o ng   these  pa ram et ers,   the  first  p aram et er  is  known  as  re gu la rizat ion   pa ra m et er  wh ic de fines  the  ad ju st m ent  cost.  This  ad j us tm ent  co st  can  be  co m pu te as  the  cost  of   m ini m iz at ion   of   trai ning  er r or   a nd  m od el   com plexity and   the  sec ond  pa ram et er  is  sigm that  consi ders  the  non - li near   m ap ping  f ro m   the  avail able  in pu t - sp ace  t the  hi gh - dim ensi onal   featur e - spa c e.  The  pr ese nt  work  sta te add it ive   functi on  of   bo t the   Ga ussi an  an poly no m ia ker nel as  hybri kernel   functi on.   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       An  e ns e mb le   fe atu re  selec ti on app r oac h usin g hybri ker nel  base d SVM f or…   ( Gadda m Ve nu  Gop al )   563   3.5.     Per fo r m an ce  metric s   Accuracy   an com pu ta ti on al   tim are  con sidere as  the  pe rfor m ance  m easur e f or   i de ntifyi ng   t he  i m pact  of   feat ur e   sub set   on  cl assifi ers  e ff i ci ency.  c onf us io m at rix  is  cal culat ed   w it the  e ntries  of  tru e   po sit ive  (TP),  true  neg at ive   ( TN),  false  pos it ive  (F P an false  ne gative  (F N values Wh e re  T is  the  total   nu m ber   of  co rrec tl pr edict ed   no r m al   sam pl es,  TN  is  the  to ta nu m ber   of   cor re ct ly   pr ed ic te attack   sa m ples,   FP  a nd   FN  the  nu m ber   of  nor ma l   sam ples  ar pr e dicte a attacks   a nd  nu m ber   of   attack   sam ples  pr edic te as   no r m al   res pect ively .       Accuracy   is  co ns ide red   t be  rati of  total   num ber   of   te sti ng   sam ples  correct ly   cl assifi e out   of  th e   total  n um ber   of sam ples;     ACCURAC Y = TP + TN TP + TN + FP + FN   (8 )       4.   RESU LT S   A ND  D IS C USS ION   Th propose m od el   is  dev el op e d   in  Ja va  1.7  on   In te co r i5  process or,   with  GB  R AM  an with   W i ndows   e nv i ro nm ent.  F ro m   the  Ky oto   2006+,   70 is  c on si dered  for  t he  tra ining  set   a nd  30%  i s   consi der e a the  te st  set Fig ur a nd  Fi gure  prese nt   th com pu ta ti onal   tim and   ac cur aci es  of  the   EH K - SV cl assifi e r especti vely ,   after   each   fe at ur el im inatio afte reli ef   featu re  e stim at or .   Ta ble  3   giv e s   accuries  a nd  c om pu ta ti on al   tim es  of   tw f e at ue  subsets  w it 11  feat ur es   an feat ur es   an com par e with   the  H K - SV M   cl assifi er  with   total   num ber   of  feat ues.  I Fig ur e   an Fig ur e   3,  It  i obser ve t ha t he  cl assifi er   EH K - SV M (11 is  an  ensem ble  Hyb rid  S VM  cl assifi er  with  11  featur es  a nd   EHK - S VM ( 9)   with  featuer s fo r bo t h gain i c om pu ta ti on al  ti m and accu racy a re suggest e d.       Table  3.   Acc uracy  an d com puta ti on al  tim e o f  the classi fie rs nu m ber   of f eat ur es  in pa ren t he sis   Alg o rith m   Accurac y   Ti m e  in  m i lliseco n d s   HK - SV (18 )   9 2 .51   2 7 5 2 0   EHK - SVM (11 )   9 9 .08   1 7 5 6 2   EHK - SVM (9)   9 2 .48   1 5 2 8 8           Figure  2.   Com pu ta ti onal  ti m e  of the  EHKS V M for  each it erati on       Figure  3.   Acc uraci es of t he  E HKSVM  f or  e ach  it erati on       In   Fig ur a nd   Fig ur 5,  i is  ob se rv e that  t he  cl assifi er   E HK - S V M (11)   is  e xhibit ing   highes t   accuracy  i.e. 99.02 at   11  f eat ur es.   T he  c om pu ta ti on al   tim of   the  cl assifi er   is  al so   le ss  when  c om par ed  t o   HKSVM  with  a total  num ber   of  18  featu res.     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   23 , N o.   1 Ju ly   2021 558   -   565   564       Figure  4.   Acc uraci es of  H KSVM, E ns em bled - SV with  11 a nd 9 feat ur es       Figure  5.   Com purati onal  tim e  of HKS VM,  E ns em bled - SV (w it h 1 1 and 9 i m illiSeconds       Fr om  the  a bove  r es ults   the  fo l lowing  obser va ti on wer e  dra wn.    a)   H KSVM  cl assifi er  with  is   hybr id  cl ass ifie that  yi el ds   good  res ults  than  the  tra diti on al   S VM  an SV with  ke rn el   base cl a ssifie rs  is  im plem ented  al ong  with   E ns e m bled  cl assifi er  with  f eat ure  reducti on a ppr oach.    b)   EHK - S VM ( 9)   is  al so   exh ibit ing   good  dete c ti on   rate  i.e.,  92 .48%  al m os as   sa m as   the  ac cur acy   of  H K - SV (0.03%  di ff ere nce i ac cur aci es ) wit h m or e g ai i c om pu ta ti on al  ti m e.       5.   CONCL US I O N   In   this  pa pe r,   an  ensem ble  hybr id  kernel  ba sed  S VM  is  us ed  as  featu r sel ect ion   appro ac that  is   i m ple m en te and  te ste on   b enc m ark   dataset KYOTO  2006+.   The  pro posed   m et ho s ugge sts   scenari os one   with  11  feat ures  i . e. E HK - SV M ( 11)  a nd  ano t her   with  featu res  i.e. EHK - S VM ( 9) It  is   ob s er ved   t hat  11 - feat ur sc e nar i is  giv i ng  highest  accu r acy   wh ic i a   good  sce nar io   for  re quire m ent  of   high  detect ion  rate  wh e reas  the  9 - fe at ur e   s cenari giv es   good   gai c om pu ta ti on al   t i m that  is  hel pful  in   qu ic detect ion   rate.   T he  pr opose EH K - S VM  is  com pared  to  t he  e xisti ng  m od el that  us es  t he  sam dataset   for  e val uatio and   c oncl ude the  pro pose appr oach   e xhibit bette acc ur acy O wing  to  these  resu lt s,  the  pro po se m odel   can  be  us e to  im ple m ent  in  real - ti m env ir on m ent  of  NIDS.  Im ple m entat ion   of  the   EH K - SV on Real  tim e d at aset  g e ner at e d on N I DS  is t he fut ure   w ork of t his  pap e r.       REFERE NCE S   [1]   V.  N.  Vapn ik, “ Stat isti ca l   l ea rn i ng  the or y ,   vol .   2,   1998 .   [2]   Avci,   Engi n ,   "S el e ct ing  of  th o pti m al   feature   s ubset  and  ker ne l   par amete rs  in  d igi tal  m odula ti o cl assificat ion  b y   using  h y br id  ge net i a lgori thm support  vec tor   m ac hine s:  HG AS VM , Ex pert  S yste ms   wit App li cations ,   vol .   3 6,   no.   2 ,   2009 ,   pp .   1391 - 1402,   doi 10. 1016/j.e sw a. 2 007. 11. 014 .   [3]   Ns l - kdd  dat set   for   net work - bas ed  in trusion   detec t ion   s y stems .   Available  on:   htt p://ns l.cs.unb.ca /KDD /NSLKD D.ht m l,   Marc h   2009.     [4]   B.   Rao K.  Sw at hi ,   Fast  kNN   cl assifi ers  for  ne tw ork  int rusion  det e ct ion  s y s te m ,   Indian  Journal  of  Scienc and  Technol ogy ,   vo l. 10, no. 14, pp.  1 - 10,   2017 ,   doi 1 0. 17485/i jst /201 7/v10i 14/93690 .   [5]   Zha ng   Qingl ei,  a nd  W en y ing  Fen g,   "N et work  in tr usion  det e ction  b y   support   ve ct o rs  and  an co lon y , Proceedi ngs.   The  2009  Inte rnational   Workshop  on  Information  Sec urity   and  Appl ic a ti on  ( IWISA   2009) .   Ac ademy   Publ isher 2009,   pp .   639 - 6 42.   [6]   Gu,  Chunhua,   a nd  Xueqin  Zhang,   "A   rough  set  and  SV ba sed  int rusio de te c ti on  c la ss ifi e r , 2009  Sec ond   Inte rnational   W orkshop o Computer  Sc ie nc an Engi n ee ring , v ol.   2 .   I EEE,   200 9,   doi 10 . 1109/ W CS E. 2009. 776 .   [7]   Kim ,   Dong  Seong,   Ha - Nam   Ngu y en ,   and   Jong   Sou  Park,   "G ene tic  al gor it hm   t improve  SV base net wor int rusion  d et e ct i on  s y stem, 19th   Inte rnat ional   C onfe renc on   Ad vanc ed   Informat ion  Ne tworki ng  and  Application ( AINA '05) ,   vol.   (AIN A pa per s) .   v ol .   2 .   I EEE,   2 005,   doi 10 . 110 9/AINA . 2005. 191 .   [8]   Mo,  Yuanbin,  a nd  Shuihua  Xu. ,   "A ppli cation  of  SV base on  hy brid   ker n el   fun c ti on  in  he art   d isea se  di agnose s, 2010  Inte rnati onal  conf ere n c on  int e ll ig e nt  computi ng  and  cogni tive   inf orm ati cs ,   IEE E ,   2010,   doi:   1 0. 1109/ICICCI.2010.96 .   [9]   Mukkam al a,   Sri niva s,  and  Andr ew  H.  Sung,   "F ea tur select ion  for  int rusion  de t ec t ion  with  neur al   ne two rks  and  support  vec tor   m ac hine s, Tr anspor tat ion  Re s earc Record:  Journal  of  Tr anspor tat ion  Re se arch  Re cor d v ol.  1822,   no .   1 ,   pp .   33 - 39,   2003 ,   doi 10. 3141 /1822 - 05 .   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       An  e ns e mb le   fe atu re  selec ti on app r oac h usin g hybri ker nel  base d SVM f or…   ( Gadda m Ve nu  Gop al )   565   [10]   W Chih - Hung,   Gw o - H shiung  Tz eng ,   and  Rong - Ho  Li n,   "A   N ovel   h y br id  gen et i al gorit hm   for  ker nel   func tion   and  par amet er  opti m iz ati on  in  support  vec tor  r e gre ss ion, Ex per Syste ms   wit A ppli cations ,   vol.  36,   no.   3,   2009,   pp.   4725 - 4735 ,   doi:   10 . 1016/j.e s wa. 2008. 06 . 046 .   [11]   Am iri ,   Fate m eh ,   Moham m ad   Mahdi   Rezae Yous efi Caro  Luc as Aza deh   Shaker y Nass er Yaz dani ,   "M utu al   informati on - bas ed  fea tur select io for  int ru sion  det ec t ion  s y stems , Journal  of  Net work  and  Computer  Appl ic a ti ons ,   vo l.   34 ,   no .   4 ,   pp .   1 184 - 1199,   2011 ,   doi:  10. 1016 /j . j nca . 2011 . 01. 002 .   [12]   Chen  You,  Yang  Li ,   Xue - Qi  C heng,   Li   Guo ,   " Surve y   and  t axo nom y   of  fe at ur e   sele ction  al gor i thm in  int rusion   det e ct ion  s y s te m , Inte rnational   Confe renc on  Information  Sec u rity   and  Cryptology ,   Sp ringe r ,   Berl in ,   Heidelbe rg ,   v ol.   4318 ,   2006 ,   doi:   10 . 1007/11 937807_13.   [13]   B Schölkopf,  et.  al.   Input  spac vs.  fe at ur e   spa ce   in  k ern e l - bas ed  m et hods,”   I E EE   Tr ans.  Neural  Net works ,   vo l .   10 ,   no .   5 ,   pp .   10 00 - 1017,   1999 ,   doi:   10 . 1109/72 . 788641 .   [14]   Sun,  Yux uan,   X ia ojun  Lou,   and   Bisai   Bao,   "A   novel   rel i ef  feat ure   sele c ti on  algorithm  base on  m ea n - var ia nc e   m odel , ”  Journa of  Information  and  Comput ati onal  Scienc e vol.   8,   no.   16,   pp.   3921 - 3929,   2011,   doi:  10. 24297/ijct.v1 1i8. 7047.   [15]   W ang,   Ping  An,  Xu  Sheng  Gan,   and  W en  Ming  Gao,   "Resea r ch  on  No nli nea m odel ing  Method  of  Support  Vec t or  Mac hine   with  W av el et   Der iva t ion  Kerne Func ti on, Applied  Me chanics  and  Mate rials ,   v ol .   687,   pp.   1408 - 1411,   Tra ns T ec h   Publ ic a ti ons L td, 201 4,   doi 10 . 4028/ ww w.sci ent ific. net /AMM . 687 - 6 91. 1408 .   [16]   Cheng  Lili,   Ji an pei   Zh ang Jing  Yang Jun  Ma ,   An  improved  hie rar ch ical  m ult i - cl ass  support  ve ct or  m ac hin e   wit h   bina r y   tr ee   arc hi te c ture ,   In   2008   Inte rnational   Confe renc on  Int erne Computing   in  Scienc e   and  Engi ne ering ,   pp .   106 - 109 ,   IE EE, 2008,  doi 10 . 11 09/ICICSE. 2008 . 9 .   [17]   Sun,  Yijun,   "Ite r at iv RE LIE fo feature   w ei ght i ng:  al gor it hm s,  t heor ie s,   and   app li c at ions, I EEE  tra nsac ti ons  on   pat t ern   an aly sis  and  m ac hin e int e ll ig ence ,   vol .   2 9,   no .   6 ,   pp .   103 5 - 1051 ,   2007 ,   d oi:   10 . 1109/T PA MI.2007. 1093.   [18]   Yili   Ren,   Fuxian Hu,  Hongping   Miao,   The   opti m iz at ion  of  ker nel   func ti on  and   it par amete rs  for  SVM  in  well - loggi ng , ”  13th  Inte rna ti ona Confer ence  on  Servic S y s te m and  Servic Man age m ent   (ICSS SM ) 2016,   doi:  10. 1109/ICSS SM . 2016. 753856 3 .   [19]   B .   Schölkopf ,   A .   Sm ola ,   Learni ng  W it Ker n el s , ”  C ambridge, M A:  MIT  Press ,   2 002.   [20]   Chih - Cheng  Ya ng,   W an - Jui  Le e ,   and  Shie - Jue  L ee ,   L ea rning  of   Kerne Functi o ns  in  Support  V ec tor  Ma chi nes ,   2006  Inte rnation al  Joi nt  Confe re nce   on  Neural  Net works  Sheraton  Vanc ouve Wall   Cent re  Hotel ,   Vanc ouver ,   BC,   Cana da ,   2006 ,   p p.   1150 - 1155 .   [21]   K y oto   2006+  d ataset   is a v ai l abl e   on:  htt p :/ /www . t aka kura . com/K yoto_da t a/   [22]   Song  Jungs uk,   et   al.   Statis ti c al   anal y s is  of  hone y po data  and  buil ding  of   Ky o to  20 06+  dat ase for  NID S   eva lu at ion , ”  Pro ce ed ings  of  the   Fi rs Workshop  on  Bui ld ing  Ana ly sis  Datasets  a nd  Gathering  E x perie nc R et urn s   for Se curi ty ,   AC M,  2011 ,   pp.   29 - 36,   doi 10 . 1145 /1978672. 19786 76 .   [23]   Lu,   Yan - Li ng,   Le LI M eng - Meng  Zhou Gu o - Li ang  Tian ,   new  fuz z y   su pport  vector  m a chi ne  b ase on  the   m ixe ker ne fu nct ion ,   In  2009   Inte rnationa C onfe renc on  M achi ne  Learning   and  Cybe rne ti c s ,   v ol.   1 ,   2009 ,   p p.   526 - 531 ,   IE EE, doi:  10 . 1109/IC MLC. 2009. 5212 552 .   [24]   Altun  Gulsah,   e t.   al .   "H y brid  S VM   Kerne ls  for   Protei n   Se cond ar y   Struct u re  Pr edi c ti on, In   Gr C ,   pp.   762 - 765,   2006,   doi 10 . 11 09/GRC.2006. 1 635912 .   [25]   A .   Bosch,   Zi ss er m an  A,  Munoz  X,  Repre senti n shap with  spatial  p y ramid  ker nel,”   Conf ere n ce   on  Image  and  Vi deo   Retrie val 2007,   pp .   401 - 4 08,   doi 10 . 1145 /1282280. 12823 40 .   [26]   S .   Boughorbe l,   J . P .   Ta re l,   N.   B ouje m aa ,   Gene ral i ze histogr a m   int erse ct i on  k ern el   for  imag e   rec ognition,   I IEE E   Internat ion al   Conf ere n ce o Im age   Proc essing  2005 ,   Genov a,   I tal y ,   IEEE, d oi:   10 . 1109/ICIP . 2005. 1530353 .       BIOGR AP HI ES OF  A UTH ORS        Mr .   G.  Venu gopal ,   Rese arc S chol ar  at  Acha r ya  Naga r juna   Uni ver sit y .   Purs uing  Ph.  in  th e   fie ld  of  Ma chi n e   Le arn ing.   As   pa rt  of  his  Ph.  work,  he  is  writi n thi pape r .   He  Com ple te M.   Te ch  in  CS from   Acha ry Nag arj una  Univer si t y   (AN U)  in  the   y e ar  2010.   He  Finished  B.   Te ch   in  CS from   JNT UH ,   H y der ab a d.   His  area  of  intere st  is  Dat Mi ning  and  Mac h in Learni ng .   He   is a   Li f m ember   of  prof essional   bodie s l ike   ISTE ,   IAENG .         Dr.   G.  Rama  Mohan  Bab u ,   r ec e ive his  B . T ec degr ee   in  E le c troni cs  &   Co m m unic at ions   Engi ne eri ng  fro m   Sri  Venka te s wara   Univer si t y ,   India.  He   did  h i M.T ec h   in   Co m pute Scie n ce  Engi ne eri ng  f rom   Jawaha rla Nehru  Te chno lo gic a Univer sit y   (JN TU),   India .   He  rec e ive his  Ph.D.  from   Ach ar y Naga r juna   Univer sit y   (AN U),  India ,   in  Co m pute Scie nce   Engi ne eri ng.   He  is  cur ren tly   working  as  P rof essor,  in  the   De par tment  of  Info rm at ion  Te chno l og y   a RVR  &   JC  Coll eg of  E ngine er ing,  Guntur,   Ind ia.  He   h as  m ore   th an  19   y ea rs  o t eachi ng  expe r ie n ce .   His  rese arc ar e as  of  int er est  include  image  pro c essing,   patter r ec ogni ti on,   and  dat ana l y t ic s He  is life   m ember  in   profe ss ional  bodi es  li k IST and   CS I.     Evaluation Warning : The document was created with Spire.PDF for Python.