I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - A I )   V ol . 13, No. 4, D e c e m be r  2024, pp.  4414 ~ 4421   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v13.i4.pp 4414 - 4421          4414     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   N e t w o r k  i n t r u si on  d e t e c t i on  i n  b i g  d a t ase t s u si n g S p ar k   e n vi r on m e n t  an d   i n c r e m e n t al  l e ar n i n g       A b d e lwah e d   E lm ou t aou k k il , M oh am e d   H am li c h ,  A m in e   K h at ib , M ar ou an e  C h r is s   L a bor a t or y of  C om pl e x C ybe r - P hys i c a l  S ys t e m s , N a t i ona l  S c hool  of  A r t s  a nd  C r a f t s , C a s a bl a nc a , U ni ve r s i t y H a s s a n I I ,   C a s a bl a n c a , M or oc c o       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  N ov   23 ,  2023   R e vi s e d  M a r   24 ,  2024   A c c e pt e d  A pt   17 ,  2024       Internet  of  things  (IoT)  systems  have  experienced   significant   growth  i n  data  traffic ,  resulting  in  security  and  real - time  processing   issues.  Int rusion  detection  systems  (IDS)  are  currently  an  indispensable  tool  for  self - protection  against  various  attacks.  However, IoT  systems face  serious challenges  due to   the  functional  diversity  of   attacks,  resulting   in  detection   method s  with  machine  learning  (ML)  and  limited  static  models  g enerated  by  the   linear  discriminant  analysis  (LDA)  algorithm.  The  process  entails  adjusti ng  the  model para meters in r eal time  as new da ta  arrives.  This paper  proposes  a new  method  of  an  IDS  based  on   the  LDA  algorithm  with   the  inc remental  model.  The  model  framework  is  trained  and  tested  on  the  IoT  intrusion  dataset  (UNSW - NB15) using t he streaming lin ear discriminant  analysis (SLD A)  ML   algorit hm.  Our  approach  increased  model  accuracy  after  each  training ,  resulting  in conti nuous mod e l improvemen t. The compa rison reve als that our   dynamic  model  becomes  more  accurate  after  each  batch  and  can  dete ct  new  types of a ttacks.   K e y w o r ds :   B ig  da ta   I nc r e m e nt a l  le a r ni ng   I nt e r ne t  of  t hi ngs   I nt r us io n de te c ti on s ys te m   M a c hi ne  l e a r ni ng   S tr e a m in g l in e a r  di s c r im in a nt   a na ly s is   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   A bde lwa he d   E lm out a oukkil   L a bor a to r y of  C om pl e x C ybe r - P hys ic a l  S ys te m , N a ti ona l  S c hool  of  A r ts  a nd C r a f ts  C a s a bl a nc a   U ni ve r s it y H a s s a n I I   C a s a bl a n c a , M or oc c o   E m a il :  e lm out a oukkil a bd@ gm a il .c om       1.   I N T R O D U C T I O N     A n  in tr us io n  de te c ti on  s ys te m   ( I D S )   [ 1] ,  [ 2]   is   a n  in s tr um e nt   or   s of twa r e   a ppl ic a ti on  th a t  s ur ve ys   th e   ne twor k  a nd  th e   s y s te m   f or   c yni c a l  a c ti vi ti e s   a nd  w a r ns   th e   s ys te m   or   ne twor k  a dm in is tr a to r .  T he r e   a r e   two  ki nds   of   I D S ,  ne twor k - ba s e d  I D S ,  a nd  hos t - ba s e d  I D S .  A   h os t - ba s e d  I D S   ke e p s   tr a c k  of   in di vi dua l  hos t   m a c hi ne s   a nd  gi ve s   not if ic a ti on  to   th e   us e r   if   s u s pi c io us   a c ti v it ie s   li ke   de l e ti ng  or   m odi f yi ng  a   s ys te m   f il e ,  unde s ir e d  c onf ig ur a ti on  c ha nge s ,  or   unne c e s s a r y  s e qu e nc e   o f   s ys te m   c a ll s   a r e   de te c te d   [ 3] .  G e ne r a ll y,  a   ne twor k - ba s e d  in tr us io n  de te c ti on  s ys te m   ( N I D S )   [ 4]   is   ke pt   a t  ne twor k  poi nt s   li ke   a   ga te w a y  or   r out e r s   t o   de te c t  in tr us io ns   in   th e   ne twor k  t r a f f ic .  L a te ly ,  a r ti f ic ia l   in t e ll ig e nc e   ( A I )   ha s   be e n  us e d  in   th e   f ie ld   of   c ybe r s e c ur it y,  a nd  to   a c hi e ve   hi gh - pe r f or m a nc e   I D S ,  m a c hi ne   le a r ni ng  ( M L )   te c hni que s   c a n  be   us e d  f or   a ll   ty pe s  of  de te c ti on t e c hni que s .  ML   i s  a  s ubc la s s  of  A I  us e d  i n c o m put e r s  w it h t he  a bi li ty  t o  l e a r n w it hout  be in g   c a lc ul a te d.   ML   a lg or it hm s   c a n  be   s upe r vi s e d  or   uns upe r vi s e d,  th e   f ir s t  c a t e gor y  bui ld s   a   m a th e m a ti c a l  m ode l  of   a   da ta   s e t   th a t  c ont a in s   bot h  th e   de s ir e d   in put s   a nd   out put s .  T he   d a ta   is   known   a s   tr a in in g  da ta   a nd c ons is t s   of  a  s e t  of  t r a in in g e xa m pl e s . E a c h t r a in in g e xa m pl e  ha s  one  or  m or e  i nput s  a nd output s .  T he  s e c ond  c a te gor y  ta ke s   a   s e t  of   da ta   c ont a in in g  onl y  in put s   a nd  f in ds   a   pa tt e r n  in   th e   da ta ,  s uc h  a s   gr oupi ng  or   c lu s te r in g  da ta   poi nt s . T he  a lg or it hm s , t he r e f or e , l e a r n f r om  t e s t  da ta  t ha t  ha s  n ot  be e n l a be le d,   c la s s if ie d, or  c a te gor iz e d  [ 5] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       N e tw or k  i nt r us io n de te c ti on i n bi g datas e ts  us in g Spa r k  e n v ir on m e nt  and …  ( A bde lw ahe d   E lmoutaoukk il )   4415   I n  our  r e s e a r c h  w or k,  w e   ha ve   pr opos e d  a   f r a m e w or k  in   w hi c h  a   f e a tu r e   r e duc ti on  a lg or it h m   is   us e d   f or   e li m in a ti ng  th e   le s s   im por ta nt   f e a tu r e s .  T he n  w e   a ppl ie d  s upe r vi s e d  da ta   m in in g  te c hni que s   on  th e     U N S W - N B 15 ne twor k da ta s e t  f or  f a s t,  e f f ic ie nt , a nd a c c ur a te  d e te c ti on of  i nt r us io n i n t he  N e tf lo w  r e c or ds  by  le ve r a gi ng  th e   pow e r   of  S pa r k.  I n   th is   pa pe r ,  w e   ha ve   us e d  pr in c ip a l  c om pone nt   a na ly s is   ( P C A )   a nd  s tr e a m in g  li ne a r   di s c r im in a nt   a na ly s is   ( S L D A )   a lg or it hm s   to   a na ly z e   th e   pe r f or m a nc e   of   th e   pr opos e d  f r a m e w or k.  W e   f oc us e d on thr e e  pe r f or m a nc e  i ndi c a to r s :  a c c ur a c y,  tr a in in g t im e , a nd dur a ti on  of  pr e di c ti on.       2.   M E T H O D   A gr a w a l  a nd  A gr a w a l  [ 6]   ha ve   s ur ve ye d   a bnor m a li ty   de te c ti on  w it h  da ta   m in in g  te c hni qu e s   to   de te c t   in tr us io ns .  T he y   ha ve   c la s s if ie d  th e   a nom a ly   de te c ti on  t e c h ni que s   w it h  th r e e   f e a tu r e s :   c lu s te r in g - ba s e d  te c hni que s ,  c l a s s if ic a ti on - ba s e d  te c hni qu e s ,  a nd  hybr id   te c hni q ue s .  T he ir   c om pr e he ns iv e   a na ly s is   s he ds   li ght   on t he  di ve r s e  a ppr oa c he s  ut il iz e d i n t he  ongoing pur s ui t  of  e nha nc in g c ybe r s e c ur it y m e a s ur e s .   B uc z a k  a nd  G uve n  [ 7]   m a de   a   s ur ve y   th a t  de s c r ib e s   th e   a p pl ic a ti on  of   da ta   m in in g  a nd  ML   te c hni que s   to   de te c t   known  a nd   unknown   a tt a c ks .   T h e y  e s ta bl i s he d  a   c le a r   di f f e r e nc e   be twe e n  M L   a nd  d a ta   m in in g.   T he ir   s tu dy  unde r s c or e s   th e   gr ow in g  s ig ni f ic a nc e   of   th e s e   a ppr oa c h e s   in   pr e v e nt in g  a nd  de te c ti ng  th r e a ts  w it hi n t he  c om pl e x l a nds c a pe  of  m ode r n c ybe r s e c ur it y.   H a ij a   e t  al .  [ 8]   ha ve   done   a   ne w   in c lu s iv e   di s c ove r y  s c he m e   th a t  e va lu a te s   f iv e   s upe r vi s e d  ML   c la s s if ie r s :  lo gi s ti c   r e gr e s s io n,  de c is io n  tr e e s ,  li ne a r /q ua dr a ti c   di s c r im in a nt ,  na ïv e   B a y e s ,  a nd  e ns e m bl e   boo s te d   tr e e s . P or t  s c a nni ng a tt a c k s  i nvol ve  a tt a c ke r s  s e ndi ng pa c k e ts   w it h va r io us  por t  num be r s  t o s c a n f or  a c c e s s ib le   s e r vi c e s   a nd  id e nt if y  ope n  o r   w e a k  por ts   in   a   ne twor k,  ne c e s s it a ti ng  th e   de ve lo pm e nt   of   m ul t ip le   de te c ti on  a nd   pr e ve nt io n  te c hni que s .  T hr ough  pe r f or m a nc e   c om pa r is on  us in g  th e   P S A - 2017   da ta s e t,   th e   lo gi s ti c   r e gr e s s io n  m ode l  de m ons tr a te d s up e r io r  r e s ul ts  w it h 99.4%  a c c ur a c y, 99.9 %  pr e c is io n, 99.4%  r e c a ll , 99.7%  F - s c or e , a nd   a   de te c ti on  ove r he a d  of   0.454  µ S e c ,  hi ghl ig ht in g   it s   e f f e c ti ve ne s s   a nd  e nha nc e d  a tt a c k  di s c ove r y  s pe e d   c om pa r e d t o e xi s ti ng mode ls .   H a ij a   e t  al .  [ 9]   ha ve   in tr oduc e d   a n  a dv a nc e d   s e lf - r e li a nt   s y s te m   de s ig ne d  to   de te c t   m ut a ti ons   of   in te r ne t  of   th in gs   ( I oT )   c yb e r - a tt a c ks   u s in g  a   de e p   c onvolut io na l  ne ur a l  ne twor k  ( C N N )   a nd  C U D A - ba s e d  N vi di a - Q ua d  G P U s   f or   pa r a ll e l  c om put a ti on.  T hi s   in nova ti ve   a ppr oa c h  a c hi e v e d  e xc e pt io na l  a tt a c k   c la s s if ic a ti on  a c c ur a c y,  e x c e e di ng  99.3%   f or   bi na r y   c la s s if ie r s   a nd  98.2%   f o r   m ul ti - c la s s   c la s s if ie r s .  T h e y  hi ghl ig ht   th e   s ubs t a nt ia l  gr ow th   a nd   im pa c t  of   th e   I o T   te c hnol ogy,  w hi le   a l s o  a ddr e s s in g   it s   vul ne r a bi li ty   to   c ybe r - a tt a c ks  d ue  t o t he  l im it a ti ons  i n  c om put a ti on, s to r a ge , a n d c om m uni c a ti on c a pa c it y of  e ndpoint  de vi c e s   s uc h a s  t he r m os t a ts  a nd home   a ppl ia nc e s .   D ha nya   e t  al .   [ 10]   ha ve   s ur ve ye d  va r io us   ML - ba s e d  te c hni que s   a ppl ie d  to   U N S W - N B 15  da ta s e t.   T he y c om p a r e d t he   n a ïv e   B a ye s  a lg or it hm  w it h pr opos e d  pr oba bi li ty - ba s e d s upe r vi s e d   ML   a lg or it hm s  us in g  a   r e duc e d  U N S W   N B 15  da ta s e t.   T he ir   e xa m in a ti on  of f e r s   va lu a bl e   in s ig ht s   in to   th e   e f f ic a c y  of   di f f e r e nt   ML   a ppr oa c he s   w he n  a ppl ie d  to   th is   da ta s e t,   c ont r ib ut in g  to   th e   ongoing  di s c our s e   on  c ybe r s e c ur it y  m e th odol ogi e s .   A ls ul a m i  e t  al .   [ 11]   ha ve  pr opos e d a  pr e di c ti ve   ML   m ode l  to  de te c t  a nd c la s s if y ne twor k  a c ti vi ty  i n  a n  I oT   s ys te m .  S pe c if ic a ll y,  th e   m ode l  di s ti ngui s he s   be tw e e n  nor m a l  a nd  a nom a ly   ne twor k  a c ti vi ty .   F ur th e r m or e ,  it   c la s s if ie s   ne twor k  tr a f f ic   in to   f iv e   c a te gor ie s :  nor m a l,   M ir a i  a tt a c k,  de ni a l   of   s e r vi c e   ( D o S )   a tt a c k,  S c a n  a tt a c k,   a nd  m a n - in - th e - m id dl e   ( M I T M )   a tt a c k.  F iv e   s upe r vi s e d  le a r ni ng  m ode l s   w e r e   im pl e m e nt e d   to  c ha r a c te r iz e  t he ir  pe r f or m a nc e  i n de te c ti ng a nd c la s s if yi ng n e twor k a c ti vi ti e s  f or  I oT  s ys te m s .   H a ij a   [ 12]   in tr oduc e s   a n  in nova ti ve   a nd   ve r s a ti le   to p - dow n  f r a m e w or k  f or   e nha nc in g  in tr us io n   de te c ti on  a nd  c la s s if ic a ti on  w it hi n  I oT   ne twor ks   th r ough  th e   u ti li z a ti on  of   non - c onve nt io na l  ML   te c hni que s .  T he   a r ti c le   put s   f or th   a   nove l  a r c hi te c tu r e   th a t  o f f e r s   th e   f le xi b il it y  to   a da pt   a nd  a ppl y  to   in tr us io n  de te c ti on   a nd  c la s s if ic a ti on  ta s ks   in vol vi ng  v a r io us   I oT   c ybe r - a tt a c k  d a ta s e ts ,   s uc h   a s   th e   C I C I D S   d a ta s e t   a nd   M Q T T   da ta s e t.   M or e   s pe c if ic a ll y,  th is   ne w ly   pr opos e d  s ys te m   c om pr is e s   th r e e   di s ti nc t  s ub s ys te m s :  th e   f e a tu r e   e ngi ne e r in g  ( F E )   s ubs ys te m ,  th e   f e a tu r e   le a r ni ng  ( F L )   s ubs ys t e m ,  a nd  th e   de te c ti on  a nd  c la s s if ic a ti on  ( D C )   s ubs ys te m .   H a ij a   e t  al .  [ 13 ]   c onduc te d  a   s tu dy  th a t   de ve lo ps   a nd  e va lu a te s   m a c hi ne - le a r ni ng - ba s e d  D a r kne t  tr a f f ic   de te c ti on  s ys te m s   ( D T D S )   in   I oT   ne twor ks ,  ut il iz in g  s ix  s upe r vi s e d  m a c hi ne - le a r ni ng  te c hni que s .  T he ir   r e s e a r c h  hi ghl ig ht s   th e   a ppl ic a ti on  of   th e s e   te c hni qu e s   to   a ddr e s s   vu ln e r a bi li ti e s   in   I oT   in f r a s tr uc tu r e s   due   to   li m it e d e ndpoint  de vi c e  c a pa bi li ti e s . T he  s tu dy unde r s c or e s  t he   e f f e c ti ve ne s s  of  ba ggi ng e ns e m bl e  t e c hni que s   ( B A G - D T )   in   a c hi e vi ng  s upe r io r   a c c ur a c y  a nd  lo w e r   e r r or   r a te s ,  de m ons tr a ti ng  s ig ni f ic a nt   im pr ove m e nt s   ove r   e xi s ti ng D T D S  m ode ls  by 1.9%  t o 27% .     T he   m a jo r it y  of   r e s e a r c he r s   e m pl oyi ng  ML   in   th e   c ybe r s e c ur it y  dom a in   c onc e nt r a te   on  a s s e s s in g  th e   pe r f or m a nc e   of   m ode ls   ge ne r a te d  us in g  di ve r s e   ML   a lg or it hm s .  H ow e ve r ,  th e s e   pe r f or m a nc e s ,  s uc h  a s   a c c ur a c y  a nd  pr e di c ti on  ti m e ,  do  not   e xhi bi t  te m por a l  va r ia ti ons   w it h  th e   e m e r ge nc e   of   ne w   a tt a c ks ,  ul ti m a te ly   r e nde r in g  th e s e   m ode ls   out da te d  ove r   ti m e .  T hi s   r e s e a r c h  un de r s c or e s   two  s ig ni f ic a nt   a s pe c t s :  f ir s tl y,  th e   e f f e c ti ve ne s s  of  i nt r us io n de te c ti on me th ods  e m pl oyi ng i nc r e m e nt a l  a lg or it hm s , s uc h a s  S L D A , i n i d e nt if yi ng   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4414 - 4421   4416   e m e r gi ng  a tt a c k  pa tt e r ns ,  a nd  s e c ondl y,  th e   pr ogr e s s iv e   e nh a nc e m e nt   of   th e ir   a c c ur a c y  ove r   ti m e .  T he     U N S W - N B 15 da ta s e t  h a s  be e n  c ur a te d f or  e xpe r im e nt a ti on w it hi n t he  S pa r k t ool  e nvi r onm e nt .     2.1.   D e s c r ip t io n  of  U N S W - N B  15 d at as e t   T he   U N S W   N B 15  da t a s e t  h a s   c a r ve d  it s   pl a c e   a s   a   c or n e r s to ne   in   th e   f i e ld   of   ne t w or k  s e c ur it y   r e s e a r c h .  N um e r ou s   r e s e a r c he r s   ha ve   h a r ne s s e d  th e   pot e nt i a l  of   th is   d a ta s e t  t o  unr a ve l  th e   c om pl e xi ti e s   of   ne twor k   be ha vi or ,  in tr u s io n   de te c t io n  [ 1 4] ,  a nd  th e   e ve r - e vol v in g  la nds c a p e   of   c y be r   th r e a t s .   U N S W   N B 15   s ta n ds   a s   a   te s ta m e nt   t o  th e   pi vot a l  r ol e   t ha t  d a ta   pl a y s   in   c om pr e he ndi n g  a nd  s a f e gu a r di ng  a ga i ns t  c yb e r - a tt a c k s .   F or   th e   e va lu a ti on  of   th e   pe r f or m a nc e   a nd   e f f e c ti ve ne s s   of   our   I D S ,  w e   r e qui r e d  a   c om pr e he n s iv e   da ta s e t  th a t   c ont a in s   bot h  nor m a l  a nd  a bnor m a l  b e ha vi or s .  A   lo t  of   r e s e a r c h  ha s   be e n  done   us in g  ol d e r   be nc hm a r k  da ta   s e ts   li ke   K D D C U P   99   a nd  N S L K D D   but   th e s e   d a ta s e t s   do  not   of f e r   r e a li s ti c   out put   pe r f or m a nc e . T he  r e a s on i s  t ha t  K D D C U P  99 ha s  l ot s  of  r e dunda nt  a nd mi s s in g r e c or ds  i n t he  t r a in in g s e t.  S o  th e s e   da ta s e ts   a r e   not   c om pr e he ns iv e   r e pr e s e nt a ti ons   of   m ode r n  lo w   f oot pr in t  a tt a c k  e nvi r onm e nt s .     U N S W - N B   15  d a ta s e t  [ 15]   w a s   c r e a t e d  by  th e   I X I A   P e r f e c tS to r m   to ol   in   th e   C yb e r   R a nge   L a b  of   th e   A u s tr a li a n  C e nt r e  f or  C ybe r  S e c ur it y ( A C C S ) . I t  c ont a in s  bot h r e a l  m ode r n nor m a l  a c ti vi ti e s  a nd s ynt he ti c   c ont e m por a r y  a tt a c k  be ha vi or s   [ 16] .  U N S W - N B 15  da t a s e t  i s   a v a il a bl e   in  c om m a - s e pa r a te d  va lu e s   ( C S V )   f il e   f or m a t.  T he r e   a r e  175,341 r e c or ds  i n t he  t r a in in g s e t  a nd 82,332 r e c or ds  i n t he  t e s ti ng s e t  w it h a ll  di f f e r e nt  9 t ype s  of  a tt a c ks   a nd  nor m a l  r e c or ds .  T he r e   a r e   49  a tt r ib ut e s   or   f e a tu r e s   w it h  1 0  c la s s   va lu e s   in   th is   da ta s e t.   A ll   r e c or ds   a r e   di vi de d  in to   two  m a jo r   c a te gor ie s   of   th e   r e c or d s   -   nor m a l  a nd  a tt a c k.  T he   a tt a c k   c a te gor ie s   a s   s ho w n  in     T a bl e   1  a r e   a ga in   s ubdi vi de d  in to   9  c a te gor ie s .  A tt a c k  ty pe s   a r e   f uz z e r s ,  a na ly s is ,  ba c kdoor s ,  D o S ,  e xpl oi ts ,  ge ne r ic , r e c onna is s a nc e ,  s he ll c ode , a nd  w or m s   [ 17] .       T a bl e  1 .   L is t  of  a tt a c ks  U N S W  N B - 15 da ta s e t   C a t e gor y   T r a i ni ng s e t   T e s t i ng s e t   N or m a l   56000   37000   G e ne r i c   40000   18871   E xpl oi t s     33393   11132   F uz z e r s   18184   6062   D oS     12264   4089   R e c onna i s s a nc e   10491   3496   A na l ys i s  ba c kdoor   2000   677   B a c kdoor     1746   583   S he l l C ode     1133   378   W or m s   130   44   T ot a l  i ns t a nc e s   175,341   82,332       2.2.  S ys t e m  m od e li n g   2.2.1.  I n t r u s io n  d e t e c t io n  s ys t e m s   a r c h it e c t u r e   C r e a ti ng  a   ge ne r a l  m ode l  f or   a ll   I D S   w it h  a   f ix e d  a c c ur a c y  is   not   a   vi a bl e   s ol ut io n.  D if f e r e nt   us e r s   ha ve   di f f e r e nt   m ode ls   a nd  th e   m ode l  m us t  be   upda te d  on  th e   f ly  w it h  te r r a in   da ta .  H ow e ve r ,  th e   tr a in in g  m ode l   c ons um e s   a   lo t  of   r e s our c e s ,  w hi c h  hi nde r s   th e   pr om ot io n   a nd  pr a c ti c a li ty   of   in c r e m e nt a l  m ode ls   on     r e s our c e - c ons tr a in e d  de vi c e s .  T he   pr opos e d  s ys t e m   a ll ow s   c ha ngi ng  th e   m ode l  pa r a m e te r s ,  a s   s how n  in     F ig ur e   1.  W he n  th e   da ta   s tr e a m   a r r iv e s ,  S L D A   c a n  in f e r   e a c h  u pc om in g  s a m pl e   a nd  upda te   it s   pa r a m e te r s   by   e xpl oi ti ng t he  be ne f it s  of  onl in e  l e a r ni ng.           F ig ur e  1. T he  bui ld in g bl oc ks  of  our  I D S  s ys te m       2.2.2. M od e l  t r ai n in g p r oc e s s   I ni ti a ll y,   w e   s tr uc t ur e d   th e   d a ta b a s e   i nt o  s e pa r a te   tr a in i ng  a nd   te s ti ng  s e gm e nt s .   S ub s e q ue nt l y,  w e   im pl e m e nt e d   th e   P C A   te c hni q ue   t o  r e d uc e   di m e ns i ona l it y.  T h e   tr a in in g  pha s e   in vol ve d   f e e di ng  our   m od e l s   w it h   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       N e tw or k  i nt r us io n de te c ti on i n bi g datas e ts  us in g Spa r k  e n v ir on m e nt  and …  ( A bde lw ahe d   E lmoutaoukk il )   4417   da ta   ba t c he s ,  m im i c ki n g  a   c on s i s te nt   da t a   s tr e a m .  T hi s   a ppr oa c h  e na bl e d  u s   to   m oni to r   th e   a c c ur a c y  pr o gr e s s io n  pos t  e a c h t r a in in g  it e r a t io n.  T h e  pr op os e d f r a m e w or k  f or  onl i ne   in tr us io n de te c t io n i s   s how n i n t he  F i gur e  2 .           F ig ur e  2. P r opos e d f r a m e w or k f or   in tr us io n de te c ti on       2.3.  S t r e am in g l in e ar  d is c r im in an t  an al ys is   al gor it h m   L in e a r   di s c r im in a nt   a na ly s is   ( L D A )   is   a   w id e ly   e m br a c e d  m e th o d  in   th e   f ie ld s   of   c om put e r   vi s io n  a nd  pa tt e r n  r e c ogni ti on  due   to   it s   ve r s a ti li ty   in   bot h  di m e ns io na li ty   r e duc ti on  a nd  c la s s if ic a ti on  ta s ks .  N um e r ous   s tu di e s   [ 18] ,  [ 19]   ha ve  de m ons tr a te d i ts  e f f e c ti ve ne s s . L D A  i nvol ve s  s e e ki ng a  l in e a r  da ta  t r a ns f or m a ti on t ha t   opt im a ll y s e pa r a te s  c la s s e s  w hi le  r e duc in g t he  di m e n s io na li ty  o f  t he  da ta   [ 20] .   T he   ty pi c a l  im pl e m e nt a ti on  of   th e   L D A   te c hni que   r e qui r e s   th a t  a ll   s a m pl e s   be   a va il a bl e   in   a dv a nc e   [ 21] .  H ow e ve r ,  th e r e  a r e   s it ua ti on s   w he r e   th e  c om pl e te   d a ta  s e t   is   not   a va il a bl e   a nd   th e   in put   d a ta   i s   obs e r ve d  a s   a   f lo w .  I n  th is   c a s e ,   th e   L D A   f e a tu r e   e xt r a c ti on  s houl d   ha ve   t he   a bi li ty   to   upda te   th e   c om put e d   L D A   f e a tu r e s   by  obs e r vi ng  th e   ne w   s a m pl e s   w it hout   r unni ng  th e   a lg or it hm   on  th e   e nt ir e   da ta   s e t.   F or   e xa m pl e ,  in   m a ny     r e a l - ti m e   a ppl ic a ti ons   s uc h  a s   m obi le   r obot ic s ,   onl in e   f a c i a l  r e c ogni ti on,  a nd  I o T   n e twor ks ,  it   i s   im por ta nt   to   upda te  t he  e xt r a c te d L D A  f e a tu r e s  a s  s oon  a s  ne w  ob s e r va ti ons   a r e  a va il a bl e .   S im pl y  obs e r vi ng  ne w   s a m pl e s   is   a   s tr e a m in g  L D A   a lg or it hm ,  a nd  th is   id e a   ha s   be e n  w id e ly   s tu di e d  ove r   th e   pa s t  two  de c a de s .  C ha tt e r je e  a nd  R oyc how dhur y   [ 22]   pr opos e d  a n  in c r e m e nt a l  s e lf - or ga ni z in g  L D A   a lg or it hm   to   upda te   L D A   f e a tu r e s .  D e m ir   a nd  O z m e hm e t   [ 19]   pr opos e d  lo c a l  onl in e   le a r ni ng  a lg or it hm s   t o   upda te  L D A  f e a tu r e s  i nc r e m e nt a ll y us in g e r r or  c or r e c ti on a nd  H e bbi a n l e a r ni ng r ul e s . L a te r ,  G ha s s a be h  et   al .   [ 21]   d e r iv e d   f a s t  in c r e m e nt a l  a lg or it hm s   to   upda te   L D A   f unc ti ona li ty   by  obs e r vi ng  ne w   s a m pl e s .   L e t  be   th e   f ol lo w in g pr e di c ti on e qua ti on:     y t = W .z t +b   ( 1)     W he r e   z t   ϵ   I R d   is   a   ve c to r ,   W z t  ϵ   I R k*d  a nd  b  ϵ   I R k   a r e   upda te d  onl in e   pa r a m e te r s ,  a nd  k  is   th e   to ta l  num be r   of  c la s s e s .    S L D A   s to r e s   one   m e a n   ve c to r   pe r   c la s s   μ k  ϵ   I R d  w it h  a n  a s s o c ia te d  num be r   c k   ϵ   I R   a nd  a   s in gl e   m a tr ix   of   s ha r e d  c ova r ia nc e   Ʃ   ϵ   R d× d.  W he n  a   ne w   da ta   poi nt   ( z t,   y)   a r r iv e s ,  th e   a ve r a ge   ve c to r   a nd  th e   a s s oc ia t e d c ount e r  a r e  upda te d a s :     ( = , + 1 ) = ( = , ) + c ( = , ) + 1   ( 2)     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4414 - 4421   4418   ( = , + 1 ) =   c ( = , ) + 1   ( 3)     w it h    a s   th e   m e a n  of   th e   c la s s   y  h a s   th e   m om e nt   t   a nd  c ( = , )   is   th e   a s s oc ia te d   c ount e r .   F or   S L D A   w it h  a n   onl in e   va r ia bl e  va r ia nc e , w e  u s e  t he  f ol lo w in g upda te :     Ʃ + 1 =   Ʃ + ∆   + 1   ( 4)     ∆ t   is  c a lc ul a t e d a s :     ∆ = t ( − ( = , ) ) ( − ( = , ) ) + 1   ( 5)     W e  us e  ( 1)  a nd W k  to  c a lc ul a te  t he  pr e di c ti on.   T he   c ol um n s  of  W  i s  gi ve n a s :     W k = Λ µ k   ( 6)     w it h Λ a r e   de te r m in e d by:     Λ= [ ( 1 - ε)   Ʃ + ε . I ] - 1   ( 7)     b k   is   upda te d a s :     = − 1 2 ( µ   . Λ µ )   ( 8)     2.4.   B ig  d at a p r oc e s s in g t ool s :   A p ac h e   S p ar k   T he   A pa c h e   S pa r k  e nvi r onm e nt   is   a   r obus t  to ol   in   th e   r e a lm   o f   bi g  da ta ,  of f e r in g  a n  ope n - s our c e   di s tr ib ut e d c lu s te r - c om put in g f r a m e w or k. I t  boa s ts  a  c om pr e he ns iv e   ML   li br a r y known a s  M L li b, s pe c if ic a ll y   de s ig ne d  f or   M L  c la s s if ie r s .  A pa c he   S pa r k e xc e ls   in   in - m e m or y  pr oc e s s in g   a nd  pr ovi de s  s uppor t  f or   m ul ti pl e   pr ogr a m m in g  la ngua ge s ,  in c lu di ng  J a va ,  S c a la ,  P yt hon,  S Q L ,  a nd  R ,  w it h  pa r ti c ul a r ly   s tr ong  c om pa ti bi li ty   w it h P yt hon.     2. 4. 1. C om p on e n t s  of  t h e  S p ar k  e c os y s t e m :   T he   S pa r k  e c os ys t e m   c om pr is e s   s e v e r a l  ke y  c om pone nt s ,  in c l udi ng  S pa r k  c or e   c om pone nt ,  S pa r k   S Q L ,  S pa r k  s tr e a m in g ,  S pa r k  M L li b,  S pa r k  G r a phX ,  a nd  S pa r kR .  E a c h  c om pone nt   s e r ve s   a   di s ti nc t  pur pos e ,  f a c il it a ti ng  di f f e r e nt   a s pe c ts   of   bi g  da ta   pr oc e s s in g  a nd  a na ly ti c s .  I n  th is   s pe c if ic   w or k,  w e   f oc us   on  us in g  S pa r k  M L li b,  a   s c a la bl e   ML   li br a r y  th a t   e nc om pa s s e s   va r io us   M L   a lg or it hm s .  S pa r k  M L li b ' s   c a pa bi li ti e s   e na bl e   e f f ic ie nt   im pl e m e nt a ti on  a nd  e xe c ut io n  of   ML   ta s k s   on  la r ge   d a ta s e ts ,  hi ghl ig ht in g  it s  s ig ni f ic a nc e   w it hi n  th e   S pa r k e c os ys te m  f or  a dva nc e d d a ta  a na ly s is  a nd pr e di c ti ve  m od e li ng   [ 23] , [ 24] .     2. 4 . 2.   F e at u r e s  of   A p ac h e   S p ar k :   S om e  not a bl e  f e a tu r e s  of  A pa c he  S pa r k i nc lu de   [ 25] :   −   R a pi d  pr oc e s s in g :  A pa c he   S pa r k  boa s ts   hi gh - s pe e d  d a ta   pr oc e s s in g  c a p a bi li ti e s ,  pe r f or m in g  a ppr oxi m a te ly  100 ti m e s  f a s te r  i n m e m or y a nd 10 ti m e s  f a s te r   on dis k c om pa r e d t o t r a di ti ona l  m e th ods .   −   D yna m ic :  it  f a c il it a te s   th e   de ve lo pm e nt   of   pa r a ll e l  a ppl ic a ti ons  w it hi n  S pa r k,  th a nks   to   th e   a va il a bi li ty   o f   a r ound 80 high - le ve l  ope r a to r s .   −   In - m e m or y  c om put a ti on :  A pa c he   S pa r k  s uppor ts   in - m e m or y  c o m put a ti on,  e na bl in g  e nha nc e d  pr oc e s s in g   s pe e ds  by k e e pi ng da ta  i n m e m or y f or  qui c ke r  a c c e s s  a nd a n a ly s is .   O ve r a ll ,  A pa c he   S pa r k  of f e r s   a   pow e r f ul   a nd  ve r s a ti le   e nvi r onm e nt   f or   pr oc e s s in g  la r ge - s c a le   da ta   a nd  pe r f or m in g  ML   ta s ks  e f f ic ie nt ly .     2.5 . P e r f or m an c e   o f   m a c h in e  l e ar n in g  m od e l   T he   pe r f or m a nc e   of   a   M L   m od e l  is   a   c r it ic a l  a s pe c t  th a t  de t e r m in e s   i ts   e f f e c t iv e n e s s   in   m a ki n g  a c c ur a te   pr e di c ti on s .   E va lu a ti ng   th e   pe r f or m a nc e   in v ol ve s   a   s e t   of   m e tr i c s   th a t   pr ovi d e   in s ig ht s   in to   how   w e ll   th e  m o de l  c a n  c l a s s if y  or  pr e di c t  da t a  po in ts . K e y   m e a s ur e s  i nc l ude   a c c ur a c y, w hi c h  i ndi c a t e s  t he  pr opor ti on of   c or r e c t  pr e di c ti on s ;  s e n s it iv it y  ( or   r e c a ll ) ,  w h ic h  m e a s ur e s   th e   a bi li ty   to   id e nt if y  tr ue   pos it iv e s ;  s pe c if ic it y,  w hi c h   a s s e s s e s   th e   id e nt if i c a ti on  of   tr ue   ne g a ti v e s ;  pr e c i s io n ,  w hi c h  e v a lu a te s   th e   a c c ur a c y  of   p os it i ve   pr e di c t io n s ;  a nd   th e   F 1  s c or e ,  w hi c h  ba l a nc e s   pr e c i s io n  a nd  r e c a ll .  T he s e   m e tr ic s   c ol l e c ti ve ly   of f e r   a   c om pr e h e ns iv e   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       N e tw or k  i nt r us io n de te c ti on i n bi g datas e ts  us in g Spa r k  e n v ir on m e nt  and …  ( A bde lw ahe d   E lmoutaoukk il )   4419   unde r s ta nd in g   of   t he   m od e l’ s   s tr e ngt hs   a n d  w e a kne s s e s ,  gui di ng  im pr ove m e nt s   a nd   e ns ur i ng  th e   m od e l' s   r e li a bi li t y i n  pr a c t ic a l  a p pl ic a ti on s .    ‒   T o  e va lu a te   th e   a c c ur a c y   or   s upe r io r it y  of   our   c la s s if ie r s   in   pr e di c ti ng  th e   c la s s   la b e ls   of   tu pl e s ,  w e   us e   s e ve r a l  ke y  m e tr ic s .  T he s e   c la s s if ie r   e va lu a ti on  m e a s ur e s   in c lu de   a c c ur a c y,  s e ns it iv it y  ( or   r e c a ll ) ,   s pe c if ic it y,  pr e c is io n,  a nd  F 1  s c or e .  T he   a c c ur a c y  of   a   c la s s if ie r   on  a   gi ve n  te s t  s e t  is   de te r m in e d  by  th e   pe r c e nt a ge  of  t r ue  pos it iv e s  a nd t r ue  ne g a ti ve s  out  of  a ll  c or r e c t ly  c la s s if ie d i ns ta n c e s .      =  +   +  +  +    ( 9)     H e r e , T P   is  t r ue  pos it iv e ,  T N   is   tr ue  ne ga ti ve , F P   is   f a ls e  pos it iv e ,  a nd  FN   is   f a ls e  ne g a ti ve .   ‒   T r a in in g  time :  m e a s ur e m e nt  of  t he  t im e  t a ke n by the  a lg or it hm   to  t r a in  a  ne w  ba tc h .   ‒   P r e di c ti on   time :  m e a s ur e m e nt  of  t im e  t a ke n by a  c la s s if ie r   to  pr e di c t  ne w  da ta .       3.   R E S U L T S  A N D  D I S C U S S I O N   T a bl e  2  a nd F ig ur e  3 i ll u s tr a t e s  t he   e vol ut io n of  t h e  a c c ur a c y of   a  m a c hi ne - l e a r ni ng mod e l  a c r os s  12   tr a in in g   ba t c h e s .   T he   in it i a l  a c c ur a c y  s t a nd s   a t  9 .85 %   a f te r   th e   f ir s t  b a tc h.  S u bs e qu e nt ly ,   a s   th e   m od e l  i s   e xpo s e d  to   m or e   tr a in in g  da ta   a nd  l e a r ni n g  it e r a ti o ns ,   it s   a c c ur a c y  gr a dua ll y   im pr ov e s   th r ou ghout   th e s e   ba tc h e s .  I t  be c om e s  e vi de nt  t ha t  t he   m ode l  und e r goe s   s ig n if ic a nt  i m pr o ve m e nt .   T he   m o s t  r e m a r k a bl e   a s p e c t   of   th i s   tr a in i ng  pr o c e s s   i s   t he   s ub s t a nt ia l   le a p  in   a c c ur a c y,  c ul m in a ti ng   in   a n  im pr e s s iv e   r a t e   of   9 6.37   %   a f te r   t he   l a s t   ( th e   12 th )   b a tc h .  T h is   in di c a t e s   th a t   th e   m ode l   ha s   m a de   s ig ni f ic a nt   pr ogr e s s   in   it s   a bi li t y  to   m a k e   a c c ur a t e   pr e di c ti on s   a s   it   le a r n s   f r om   th e   da t a .  W he n  w e   c om pa r e   th e   r e s ul ts   of   our   a ppr oa c he   to   pr e vi ous   s tu di e s   ba s e d  on  tr a di ti ona l  le a r ni ng  te c hni que s ,  I D S   ba s e d  on  th e   pr ogr e s s iv e   le a r ni ng  m ode l  s how e d  s upe r io r   a da pt a bi li ty   a nd  e f f ic ie nc y.  N ot a bl y,  th e   s te p - by - s te p  a ppr oa c h  a c hi e ve d  s im il a r  or  hi ghe r  a c c ur a c y l e ve ls  w hi le   s ig ni f ic a nt ly  r e duc in g c om put a ti ona l  r e s our c e s  a nd t r a in in g t im e .       T a bl e  2 .   P e r f or m a nc e  e va lu a ti on us in g  S L D A   on da ta s e t – 1 a nd  da ta s e t – 2   of  ( U N S W  N B - 15 da ta s e t)     D ur a t i on of  t r a i ni ng ( S e c )   D ur a t i on of  pr e di c t i on ( S e c )   A c c ur a c y ( % )   B a t c h 1   0.0779   0.0229   9.85   B a t c h 2   0.0929   0.0109   18.88   B a t c h 3   0.0829   0.0099   28.18   B a t c h 4   0.1159   0.0089   37.01   B a t c h 5   0.0849   0.0079   49.39   B a t c h 6   0.0829   0.0069   52.60   B a t c h 7   0.0849   0.0059   56.63   B a t c h 8   0.0829   0.0049   62.40   B a t c h 10   0.0969   0.0059   69.48   B a t c h 11   0.0889   0.00299 7   76.28   B a t c h 12   0.0879   0.002998   96.37           F ig ur e  3. I D S  pe r f o r m a nc e  on UN S W - N B 15 t e s t  a f te r  e a c h t r a i ni ng s e s s io n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4414 - 4421   4420   4.   C O N C L U S I O N   T he   pa pe r   pr opos e d  a   f r a m e w or k  th a t  w a s   f a s t  a nd  e f f e c ti ve   f o r   in tr us io n  de te c ti on.  W e   ha ve   us e d  th e   U N S W   N B - 15  da ta s e t  f or   pe r f or m a nc e   e va lu a ti on  of   th e   pr opos e d  f r a m e w or k  by  a ppl yi ng  f e a tu r e   r e duc ti on   us in g  P C A   a nd  c la s s if ic a ti on  a lg or it hm   S L D A .  I t  is   f ound  th a t  us in g  S L D A   is   m or e   e f f ic ie nt   c om pa r e d  to   a ut hor   s ta ti c   a lg or it hm s    e s pe c ia ll y   w he n  th e   in put   da ta   is   obs e r ve d  a s   a   f lo w    a s   is   th e   c a s e   in   our   s ubj e c t    w he r e   t he   pr e c is io n  of   th e   m ode l   im pr ove s   dur in g   th e   a r r iv a l  of   th e   n e w   ba tc h  of   da ta .  I t   c a n  be   c onc lu de d  th a t  th is   a ppr oa c h i s  be tt e r , f a s te r , a nd mor e  e f f ic ie nt  w he n us e d on Apa c he  S pa r k.       5.   R E C O M M E N D A T I O N S   F O R  F U T U R E  WORK   S e ve r a l  s ugge s ti ons   f or   f ut ur e   r e s e a r c h  e nde a vor s   c oul d  be   e xpl or e d  to   e xpa nd  upon  th is   s tu dy.  T he s e   a ddi ti ona l  r e c om m e nda ti ons  a r e  out li ne d a s  f ol lo w s :  th e  pr opos e d a lg or it hm  ha s  t he  pot e nt ia l  to  be  f in e - tu ne d   a nd  ut il iz e d  f or   va r io us   r e a l - w or ld   a ppl ic a ti ons   th a t  ne c e s s it a te   im a ge   r e c ogni ti on  a nd  c la s s if ic a ti on.  T hi s   in c lu de s   dom a in s   s uc h  a s   m e di c a l  im a gi ng,  bi om e di c a l  a na ly s is ,   a nd  ha ndw r it in g  r e c ogni ti on  a ppl ic a ti ons .  T he   pr opos e d s ys te m  c oul d be  i nt e gr a te d i nt o a n I oT  de vi c e  t o of f e r  i nt r us io n de te c ti on   s e r vi c e s  f or  I oT  ne twor ks .  F ur th e r   in ve s ti ga ti on  in to   th is   pr opos e d  I D S   c oul d  d e lv e   in to   a s pe c ts   s uc h   a s   pow e r   c on s um pt io n,  m e m or y  ut il iz a ti on,  c om m uni c a ti on  pr ot oc ol s ,  a nd  c om put a ti ona l  c om pl e xi ty ,  pa r ti c ul a r ly   w he n  im pl e m e nt e d  on     lo w - pow e r   I oT   node s   w it h  s m a ll - s c a le   s y s te m   c om pone nt s ,   s uc h  a s   ba tt e r y - ope r a te d  or   e ne r gy - e f f ic ie nt   de vi c e s .       R E F E R E N C E S   [ 1]   K .  A l bul a yhi ,  Q .  A .   A .  - H a i j a ,  S .  A .  A l s uhi ba ny,  A .  A .  J i l l e pa l l i ,  M .  A s hr a f uz z a m a n,  a nd  F .  T .  S he l don,  “ I oT   i nt r us i on  de t e c t i on   us i ng m a c hi ne  l e a r ni ng w i t h a  nove l  hi gh pe r f or m i ng f e a t ur e  s e l e c t i on m e t hod, ”  A ppl i e d Sc i e nc e s , vol . 12,  no. 10,  M a y 2022,  doi :   10.3390/ a pp12105015.   [ 2]   R . H e a dy, G . L uge r , A . M a c c a be , a nd M . S e r vi l l a , “ T he  a r c hi t e c t ur e  of  a  ne t w or k l e ve l  i nt r us i on de t e c t i on s ys t e m ,”   D e p a r t m e nt   of   C om put e r  S c i e nc e ,   U ni ve r s i t y of  N e w  M e xi c o ,   A l buque r que , M e xi c o,   A ug. 19 90, doi :  10.2172/ 425295.   [ 3]   S . A xe l s s on, “ I nt r us i on  de t e c t i on s y s t e m s :  a   s ur ve y a nd t a xonom y ,”   C i t e S e e r X ,   pp. 1 – 27, 2000, doi :  10.1.1.1.6603.   [ 4]   G .  V i gna   a nd R .  A .  K e m m e r e r ,  “ N e t S T A T :   A   ne t w or k - ba s e d  i nt r us i on  de t e c t i o n  s ys t e m ,”   J our nal   of   C om put e r   Se c u r i t y ,  vol .  7,  no .   1, pp. 37 – 71, J a n. 1999, doi :  10.3233/ J C S - 1999 - 7103.   [ 5]   M .  A z ha r i ,  A .  A b a r da ,  B .  E t t a ki ,  J .  Z e r oua oui ,  a nd  M .   D a kkon,  “ H i ggs   bo s o n  di s c ove r y  us i ng  m a c hi ne   l e a r ni ng  m e t hod s   w i t h  P ys pa r k,”   P r oc e di a C om put e r  Sc i e nc e , vol . 170, pp. 1141 – 1146, 2020, doi :  10. 1016/ j .pr oc s .2020.03.053.   [ 6]   S . A gr a w a l  a nd  J . A g r a w a l , “ S ur ve y on   a nom a l y de t e c t i on us i ng  da t a  m i ni ng  t e c hni que s ,”   P r oc e di a C om put e r  Sc i e nc e , vol . 60, pp.  708 – 713, 2015, doi :  10.1016/ j .pr oc s .2015.08.220.   [ 7]   A . L . B uc z a k a nd E . G uve n, “ A   s ur ve y of  da t a  m i ni ng a nd m a c hi ne  l e a r ni ng m e t hods  f or  c ybe r  s e c ur i t y i nt r us i on de t e c t i on ,”   I E E E   C om m uni c at i ons  Sur v e y s   &  T ut or i al s , vol . 18, no. 2, pp. 1153 – 1176, 2016, doi :  10.1109/ C O M S T .2015.2494502.   [ 8]   Q .  A .  A .  - H a i j a ,  E .  S a l e h,   a nd  M .  A l na bh a n,  “ D e t e c t i ng  por t   s c a n  a t t a c ks   us i ng  l ogi s t i c   r e gr e s s i on ,”   i n   2021  4t h  I nt e r nat i onal   Sy m pos i um   on  A dv anc e d  E l e c t r i c al   and  C om m uni c at i on  T e c hnol ogi e s   ( I SA E C T ) ,  D e c .  2021,  pp.  1 – 5,  doi :   10.1109/ I S A E C T 53699.2021.9668562.   [ 9]   Q .  A .  A .  - H a i j a ,  C .  D .  M c C ur r y,  a nd  S .  Z .  - S a ba t t o,  “ I nt e l l i ge nt   s e l f - r e l i a nt   c ybe r - a t t a c ks   de t e c t i on  a nd  c l a s s i f i c a t i on  s ys t e m   f or   I oT   c om m uni c a t i on  us i ng  de e p  c onvol ut i ona l   ne ur a l   ne t w or k ,”   Se l e c t e d  P ape r s   f r om   t he   12t h  I nt e r nat i onal   N e t w o r k i ng  C onf e r e nc e ,  2021, pp. 100 – 116, doi :  10.1007/ 978 - 3 - 030 - 64758 - 2_8.   [ 10]   K .  A .  D ha nya ,  S .  V a j i pa ya j ul a ,  K .  S r i ni va s a n,  A .  T i br e w a l ,  T .  S .  K um a r ,  a nd  T .  G .  K um a r ,  “ D e t e c t i on  of   ne t w or k  a t t a c ks   us i ng  m a c hi ne   l e a r ni ng  a nd  de e p  l e a r ni ng   m ode l s ,”   P r oc e di a  C om put e r   Sc i e nc e ,  vol .  218,  pp.   57 – 66,  2023,   doi :   10.1016/ j .pr oc s .2022.12.401.   [ 11]   A . A . A l s ul a m i , Q . A . A .  - H a i j a , A . T a ye b, a nd A . A l qa ht a ni , “ A n  i nt r us i on de t e c t i on a nd c l a s s i f i c a t i on s y s t e m   f or  I oT   t r a f f i c  w i t h  i m pr ove d da t a  e ngi ne e r i ng ,”   A ppl i e d Sc i e nc e s , vol . 12, no. 23, D e c . 2022, doi :   10.3390/ a pp122312336.   [ 12]   Q .  A .  A .  - H a i j a ,  “ T op - dow n  m a c hi ne   l e a r ni ng - ba s e d  a r c hi t e c t ur e   f or   c yb e r a t t a c ks   i de nt i f i c a t i on  a nd  c l a s s i f i c a t i on  i n  I oT   c om m uni c a t i on ne t w or ks ,”   F r ont i e r s  i n B i g D at a , vol . 4, J a n. 2022, doi :  10.3389/ f da t a .2021.782902.   [ 13]   Q .  A .  A .  - H a i j a ,  M .  K r i c he n,  a nd   W .  A .  E l ha i j a ,  “ M a c hi ne - l e a r ni ng - ba s e d  da r kne t   t r a f f i c   de t e c t i on   s ys t e m   f or   I o T   a ppl i c a t i ons ,”   E l e c t r oni c s , vol . 11, no. 4, F e b. 2022, doi :  10.3390/ e l e c t r oni c s 11040556.   [ 14]   M .  S ouha i l   e t .   al .,  “ N e t w or k  ba s e d  i nt r us i on  d e t e c t i on  u s i ng  t he   U N S W - N B 15   da t a s e t , ”   I nt e r nat i onal   J our nal   of   C om put i ng  an d   D i gi t al  Sy s t e m s , vol . 8, no. 5, pp. 477 – 487, J a n. 2019, doi :  10.12785/ i j c ds / 0805 05.   [ 15]   M .  T a va l l a e e ,  E .  B a ghe r i ,  W . L u,  a nd  A .  A .  G hor ba ni ,  “ A   d e t a i l e d  a na l ys i s   of   t he   K D D   C U P   99  da t a  s e t ,”   i n  2009  I E E E   Sy m pos i um   on C om put at i onal  I nt e l l i ge nc e  f or  Se c ur i t y  and D e f e ns e  A ppl i c at i ons , J ul . 2009, pp. 1 – 6, doi :  10.1109/ C I S D A .2009.5356528.   [ 16]   N .  M ous t a f a   a nd  J .  S l a y,  “ U N S W - N B 15:   a   c om pr e he n s i ve   da t a   s e t   f or   ne t w or k  i nt r us i on  de t e c t i on  s y s t e m s   ( U N S W - N B 15   ne t w or k   da t a   s e t ) ,”   i n  2015  M i l i t ar y   C om m uni c at i ons   and   I nf or m at i on  Sy s t e m s   C onf e r e nc e   ( M i l C I S) ,  N ov.  2015,  pp.  1 – 6,  doi :   10.1109/ M i l C I S .2015.7348942.   [ 17]   A .  R .  S onul e ,  M .  K a l l a ,  A .  J a i n,  a nd  D .  S .  C houh a n,  “ U N S W - N B 15  d a t a s e t   a nd  m a c hi ne   l e a r ni ng  ba s e d  i nt r us i on  de t e c t i o n   s ys t e m s , ”   I nt e r nat i onal   J our nal   of   E ngi ne e r i ng  and  A dv anc e d   T e c hnol ogy ,   vol .  9,  no.  3,  pp.  2638 – 2648,  F e b.   2020,  doi :   10.35940/ i j e a t .C 5809.029320.   [ 18]   L . J i n, K . D i ng,  a nd  Z . H ua ng,  “ I nc r e m e nt a l  l e a r ni ng of   L D A  m od e l  f or  C hi ne s e  w r i t e r  a da pt a t i on,”   N e u r oc om put i ng , vol .  73, no .   10 – 12, pp. 1614 – 1623, J un. 2010, doi :  10.1016/ j .ne uc om .2009.11.039.   [ 19]   G .  K .  D e m i r   a nd  K .  O z m e hm e t ,  “ O nl i ne   l oc a l   l e a r ni ng  a l gor i t hm s   f or   l i ne a r   d i s c r i m i na nt   a na l ys i s ,”   P at t e r n  R e c ogni t i on  L e t t e r s ,  vol . 26, no. 4, pp. 421 – 431, M a r . 2005, doi :  10.1016/ j .pa t r e c .2004.08.005.   [ 20]   H . A . M ogh a dda m  a nd  K . A .  Z a de h, “ F a s t  a da pt i ve  a l gor i t hm s  a nd  ne t w or ks  f or  c l a s s - s e pa r a bi l i t y f e a t ur e s ,”   P at t e r n  R e c ogni t i on ,  vol . 36, no. 8, pp. 1695 – 1702, A ug. 2003, doi :  10.1016/ S 0031 - 3203( 03 ) 00006 - 2.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       N e tw or k  i nt r us io n de te c ti on i n bi g datas e ts  us in g Spa r k  e n v ir on m e nt  and …  ( A bde lw ahe d   E lmoutaoukk il )   4421   [ 21]   Y . A .   G ha s s a be h, F . R udz i c z , a nd H . A . M ogha dda m , “ F a s t  i nc r e m e nt a l  L D A  f e a t ur e  e xt r a c t i on,”   P at t e r n  R e c ogni t i on , vol . 48,  no.  6, pp. 1999 – 2012, J un. 2015, doi :  10.1016/ j .pa t c og.2014.12.012.   [ 22]   C .  C ha t t e r j e e   a nd  V .  P .  R oyc how dhur y,   “ O n  s e l f - or ga ni z i ng  a l go r i t hm s   a n d  ne t w or ks   f or   c l a s s - s e pa r a bi l i t y  f e a t ur e s ,”   I E E E   T r ans ac t i ons  on N e ur al  N e t w or k s , vol . 8, no. 3, pp. 663 – 678, M a y 1997, doi :  1 0.1109/ 72.572105.   [ 23]   X . M e ng  e t  al . , “ M l l i b:  m a c hi ne  l e a r ni ng i n a pa c he  s p a r k,”   J our nal  of  M ac hi ne   L e ar ni ng R e s e ar c h ,  vol . 17, no. 34, pp.  1 - 7 ,  201 6.   [ 24]   M .  A s s e f i ,  E .  B e hr a ve s h,  G .   L i u,  a nd  A .  P .   T a f t i ,  “ B i g  da t a   m a c hi ne   l e a r ni ng  us i n g  a pa c he   s pa r k  M L l i b,”   i n   2017  I E E E   I nt e r nat i onal   C onf e r e nc e  on B i g D at a ( B i g D at a) , D e c . 2017, pp. 3492 – 3498, doi :   10.1109/ B i gD a t a .2017.8258338.   [ 25]   M .  A r m br us t   e t   al . ,  “ S pa r k  S Q L :   R e l a t i ona l   da t a   pr oc e s s i ng  i n  s p a r k,”   P r oc e e di ngs   of   t he   A C M   SI G M O D   I nt e r nat i onal   C onf e r e nc e   on M anage m e nt  of  D at a , vol . 2015, pp. 1383 – 1394, 2015, doi :  10.1145/ 2723372.2742797.       B I O G R A P H I E S  O F  A U T H O R S         Abdelwahed   Elmoutaoukkil           is  a  lecturer  in  electrical  engineering  at  BTS   Elkhawarizmi Casablanca , Morocco. He  obtained his  Master' s  degree  in Big Data and  the   Internet  of  Things  at  Hassan  2  University ,  Casablanca,  Morocco.  In  2 021,  h e  has  been  a   computer  science  teacher  in  high  school  since  2008.  He  is  currently  a  w riter  and  researcher  on  artificial  intelligence  applied  in  industry.   His  research  interes ts  include  tinyML   technologie s,  continuous  learning,  industrial   electroni cs,  roboti cs,   home  automation,   predictive  maintenance,  and  STEAM  models  in  the  field  of  educ ation.  He  can  be  contacted  at email :  elmoutao ukkilab d@ gmail.co m.         Mohamed  Hamlich           is  the  Director  of  the  “Complex   Cyber - Physica l  Systems”   Resear ch  Labora tory  at  ENSAM  Casablan ca   (UH2C).   He  obtained   hi s  doctora l  thesis  in   Computer Sc ience  from Ha ssan II  Univer sity in Casa blanca . His ar eas  of res earch  intere st  include  robotics,  artificial   intell igence ,  IoT,  and  big  data .  He  is  th e  president  of  the  Association  of  Connected  Objects   and  Intelligent   Systems  and   the  chair  of   The   International   Conference  “SADASC”.  He  is  the   editor  of  two  SPRIN GER  books  and  the   author  of  several  papers  published   in  indexed  journals.   He  can  be  contacted  at  email:   moha.hamlich @ gmail.com.         Amine   Khatib           is  a   scientific  researcher   at  Littoral   Côte  d' Opale   U niversity,   Franc e.  He  obtaine d  his  bache lor  of  engine ering   degre e  in  auto matic  at  Hassa n  2   University,  Casablanca,  Morocco.  His   research  interests  include   roboti cs  and  data  science .   He can be contacted at email:  aminekhat ib04@ gmail.co m.         Marouan e Chriss           is a teac her of e lectri cal engine ering at  BTS Elkh awariz mi   Casablan ca, Mor occo. I n 2002 he  obtaine d a  Diplôme d ' Etudes Supéri eures Approfondies  ( DESA)  in  Electrical  Engineering  from  ENSEM,  Hassan  2  Univ ersity,  Casablanca,  Morocco.  He  is  currently   a  Ph . D .   student   at  LCCPS   Laboratory ,  ENSAM,  Hassan  2   University.  His  research  interests   include  artificial   intelligence,  rob otics ,   and  systems   control.   He can be contacted at email:  chriss_m arouane@ yahoo.fr.     Evaluation Warning : The document was created with Spire.PDF for Python.