I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   23 ,   No .   2 A u g u s t   2 0 2 1 ,   p p .   1 0 5 9 ~ 1 0 6 7   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 23 .i 2 . pp 1 0 5 9 - 1 0 6 7       1059       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Accelera ti ng  t he   upda te  o a   DL - b a sed IDS for  Io T usin g  deep  trans fer  l ea rning       I dris s   I dr is s i,  M o s t a f a   Aziz i,  O m a M o us s a o ui   M ATS Re se a rc h   Lab . ,   ES TO,   M o h a m m e d   F irst  Un iv e rsit y ,   Ou jd a ,   M o r o c c o       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   8 ,   2 0 2 1   R ev is ed   J u l 4 ,   2 0 2 1   Acc ep ted   J u l 7 ,   2 0 2 1       D e e p   le a r n i n g   ( D L m o d e l a re   n o w a d a y s   b r o a d l y   a p p l i e d   a n d   h a v e   s h o w n   o u t s t a n d i n g   p e r f o r m a n c e   i n   a   v a r i e t y   o f   f i e l d s ,   i n c l u d i n g   o u r   f o c u s   t o p i c   o f   " I o T   c y b e r s e c u r i t y " .   D e e p   l e a r n i n g - b a s e d   i n t r u s i o n   d e t e c t i o n   s y s t e m   ( D L - I D S m o d e l s   a r e   m o r e   f i x a te d   a n d   d e p e n d e d   o n   t h e   t r a i n e d   d a t a s e t .   Th i s   p o s e s   a   p r o b l e m   f o r   t h e s e   D L - ID S ,   e s p e c i a l l y   w i t h   t h e   k n o w n   m u t a t i o n   a n d   b e h a v i o r   c h a n g e s   o f   a t t a c k s ,   w h i c h   c a n   r e n d e r   t h e m   u n d e t e c t e d .   As   a   r e s u l t ,   th e   D L - I D S   h a s   b e c o m e   o u t d a t e d .   I n   t h i s   w o r k ,   w e   p re se n t   a   s o l u t i o n   f o r   u p d a t i n g   D L - I D S   e m p l o y i n g   a   t r a n s f e r   l e a r n i n g   t e c h n i q u e   t h a t   a l l o w s   u s   t o   r e t r a i n   a n d   f i n e - t u n e   p r e - t r a i n e d   m o d e ls   o n   s m a l d a t a s e ts   w i t h   n e w   a t t a c k   b e h a v i o r s .   I n   o u r   e x p e r i m e n t s ,   w e   b u i l t   C NN - b a se d   I D S   o n   t h e   B o t - I o T   d a t a se t ,   a n d   u p d a t e d   i t   o n   s m a l l   d a ta   f r o m   a   n e w   d a ta se t   n a m e d   TO N - I o T .   W e   o b t a i n e d   p r o m i s i n g   r e s u l t s   i n   m u l t i p l e   m e t r i c s   r e g a r d in g   t h e   d e t e c t i o n   r a t e   a n d   t h e   t r a i n i n g   b e t w e e n   t h e   i n i t i a l   t r a i n i n g   f o r   t h e   o r i g i n a l   m o d e l   a n d   t h e   u p d a t e d   o n e ,   i n   t h e   m a t t e r   o d e t e c t i n g   n e w   a t ta c k s   b e h a v i o r s   a n d   i m p r o v i n g   t h e   d e t e c t i o n   r a t e   f o r   s o m e   c l a ss e s   b y   o v e r c o m i n g   t h e   l a c k   o f   t h e i r   l a b e l e d   d a t a .   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k s   Dee p   lear n in g   I n ter n et  o f   th in g s   I n tr u s io n   d etec tio n   s y s tem   Sy s tem   u p d ates   T r an s f er   lear n i n g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I d r is s   I d r is s i   MA T SI  L ab o r ato r y ,   E STO   Mo h am m ed   First Un iv er s ity   B P 4 7 3   C am p u s   u n iv er s itair Al  Qo d s ,   Ou jd 6 0 0 0 0 ,   Mo r o c co   E m ail: id r is s i @ u m p . ac . m a       1.   I NT RO D UCT I O N   D e e p   l ea r n i n g   h a s   s u c ce e d e d   in   a   v a r i e t y   o f   f i el d s   i n   r e c e n t y e a r s ,   i n c l u d i n g   m e d i c al   i m a g e   p r o c e s s i n g ,   n a t u r a l   l a n g u a g e   p r o c e s s i n g ,   an d   c y b e r s e c u r i t y .   I n   t h e   I o T   c y b e r s e c u r i t y   [ 1 ] ,   t h e   m a c h i n e   t r a i n s   o n   n u m e r o u s   g a t h e r e d   a n d   l a b el e d   c y b e r a tt ac k s   as   we l a s   n o r m a l   t r a f f i c   to   l e a r n   t h e m ;   t h is   d at a   c o m es   f r o m   m a n y   d a t a s et s   c o n t a i n i n g   s e v e r al   a t t ac k s ,   f r o m   w h i c h   t h i s   m ac h i n e   m a y   e v e n t u a l l y   d e t e ct   n e w   s i m i la r   a t ta c k s .   H o w e v e r ,   t h e   a r e a   o f   c y b e r s e c u r i t y   c o n t i n u e s   t o   c o n f r o n t   s e v e r a l   p r o b l e m s   i n   i d e n t i f y i n g   e v o l v i n g   t h r e a t s .   M o d e l s   t r a i n e d   o n   k n o w n   a t t a c k   d a t a s et s   p r o d u c e   e x c e l l e n t   r es u l ts   [ 2 ] .   T h e s e   f i n d i n g s ,   h o w e v e r ,   a r e   d i r e c t l y   d e p e n d e n t   o n   t h e   d a t a   o n   t h e   t r a i n i n g   d at a s e t .   T h e   is s u e   i s   t h a t h e s e   a tt a c k s   c h an g e   i n   b e h a v i o r   ( o r   s o m e   o f   th e m   a r e   z e r o   h o u r )   m a k i n g   t h e m   u n d e t e c t e d   b y   t h m o d e l ,   w h i c h   m u s t   b e   r et r a i n ed   o n   t h e s e   n e w   b e h a v i o r s   [ 3 ] .   T h is   p r o b lem atic  o f   d ata  d ep en d en cy   [ 4 ]   alo n g   with   th lack   o f   b ig   d atasets   th at  co n tai n   n ew  an d   u p d ated   attac k s   b e h av io r s ,   m a k es  th c r ea tio n   o f   an   u p d ated   I DS  a   b ig   ch allen g e.   An d   h er e,   tr an s f er   lear n i n g   co m es  to   h elp   s o lv in g   th ese  p r o b lem s   wh er tr ain i n g   an d   te s tin g   d ata  is   n o m an d ato r y .   T h is   tech n iq u g ai n s   th ex is tin g   k n o wled g f r o m   a   tr ain ed   m o d el  o n   ce r tain   d at aset  an d   m er g es  it  with   th n ew  o n tr ain ed   o n   s m all  d ataset  th at  co n tain s   n e attac k s   b eh av io r s   [ 5 ] .   T h u s ,   th n ew  u p d ate d   m o d el  will  n o b e   b u ilt  f r o m   s cr atch   o r   f r o m   p o o r   d ataset  [ 4 ] .   T r an s f er   lea r n in g   is   a   tech n iq u th at   b en e f its   f r o m   a n   alr ea d y   tr ai n ed   weig h o n   b ig   d ata s ets  f o r   a   lo n g   p e r io d   o f   tim an d   tr an s f er s   th is   k n o wled g e   [ 6 ] .   As  an   ex am p le,   th Go o g le’ s   lan g u ag r ep r esen tatio n   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 5 9   -   1 0 6 7   1060   m o d el  “BER T ”  h as  1 1 0   m illi o n   p a r am eter s   an d   was  tr ain e d   f o r   4   d ay s   o n   1 6   C l o u d   T P Us  [ 7 ] ,   th e   Op en AI s   lan g u a g g en er ato r   GPT3   w h ich   is   m o d el  t h at  h as  1 7 5   b illi o n   p a r am eter s   [ 8 ] ,   o r   th r ea l - tim o b ject   d etec tio n   “YO L O”  with   8 9   m illi o n   p ar am ete r s   in   t h f i f th   v er s io n   [ 9 ] .   T h i d ea   to   r etr ai n   th ese  m o d els  f r o m   s cr atch   with   n ew  d ata  is   v er y   ex p en s iv e,   b o t h   in   ter m s   o f   tim an d   r eso u r ce s .   T h er ef o r e,   im p lem en tin g   tr an s f er   lear n in g   is   m o r p r ac t ical  an d   b en e f icial  f o r   t h is   s itu atio n .     T h r est  o f   th is   p ap er   is   s tr u ctu r ed   as  f o llo ws.  I n   th s ec tio n   2 ,   we  d escr ib th b ac k g r o u n d ,   th e   s ec tio n   3   p r esen ts   th r elate d   wo r k s ,   th s ec tio n   4   p r esen ts   o u r   m eth o d o lo g y ,   th s ec tio n   5   we  p r esen an d   d is cu s s   th o b tain ed   r esu lts ,   a n d   f in ally   a   co n clu s io n   as a   s ec tio n   6 .         2.   B ACK G RO UND   2 . 1 .     Co nv o lutio na neura l net wo rk s   C NN  o r   C o n v Nets   ar e   a   class   o f   d ee p   n eu r al  n etwo r k s   th a ar u s ed   in   m an y   f ield s   b u t   m o s tly   in   p atter n   r ec o g n itio n   [ 10 ] .   I is   c o m p o s ed   o f   an   i n p u t   lay er ,   m a n y   h i d d en   lay er s   in   b etwe en ,   a n d   an   o u tp u la y er   as  s h o wn   in   Fig u r e   1   lik th m u lti - lay er   p er ce p tr o n   ( M L P )   n etwo r k s .   B est  k n o wn   a n d   u s ed   la y er s   ar e:   co n v o l u tio n   [1 1 ] ,   ac tiv atio n   o r   R eL U,   a n d   p o o lin g   [1 2 ] ,   [1 3 ] .   I n   co n t r ast  to   s tan d a r d   f ea tu r s elec tio n   alg o r ith m s ,   i is   ca p ab le  o f   d y n am ically   lear n in g   b etter   f ea tu r es  an d   ca teg o r izin g   t r a f f ic.   Fu r th er m o r e,   b ec au s it  s h ar es  th s am co n v o lu tio n   m atr ix   ( k er n el) ,   it  ca n   ac co m p lis h   b etter   class if icatio n   an d   lear n   n e w   f ea tu r es with   m o r tr af f ic  d ata ,   r ed u cin g   th n u m b er   o f   p ar a m eter s   an d   tr ain in g   ca lcu latio n   to tal  s u b s tan tially .   I n   co n t r ar y   t o   o th e r   d ee p - lear n in g   o r   m ac h i n lear n in g   alg o r ith m s   th at  ca n   b e   o v e r - f itted   with   h u g v ast  d ata,   C NN  ca n   r ec o g n ize  t h t y p e   o f   a n   ass au lt  q u ick ly .   Fu r th e r m o r e,   liter atu r f in d in g s   s u g g est  th at  u s in g   C NN s   in   th in tr u s io n   d etec tio n   f iel d   p r o d u ce s   s u p er io r   r esu lts   th an   o th er   m eth o d s   [1 4 ]       I n p u t O u t pu t O u t pu t   L ay e r C o n vo l u t i o n a l   l a y er P o o l i n g   l a y er F u l l c o n n e c t e d     Fig u r e   1 .   C NN  ar ch itectu r e       2 . 2 .   T ra ns f er   lea rning   T L   i s   a   m a c h i n e   a n d   d e e p   l e ar n i n g   r e s e a r c h   a r e a   t h at   a i m s   to   t r a n s f e r   k n o w l e d g e   f r o m   o n e   o r   m o r s o u r c e   t as k s   t o   o n o r   m o r e   t a r g e t   t as k s   [1 5 ] .   S u p p o s i n g   s o u r c e   d o m a i n   ,   a   l ea r n i n g   t as k   ,   a   t a r g e t   d o m ain   ,   a n d   a   l e a r n i n g   t as k   ;   T L   s e r v e s   i n   i m p r o v i n g   t h e   l e a r n i n g   o f   t h e   t a r g e t   p r e d i ct i v e   f u n c ti o n   ( . )   i n     u s i n g   t h e   k n o w l e d g e   i n     a n d   ,   w h e r e   ,   o r     [1 6 ] .   T L   i s   a l l   a b o u t   u s i n g   t h e   f e a t u r e s   l e a r n e d   o n   o n e   p r o b l e m   a n d   l e v e r a g i n g   t h e m   o n   a   n e w   s i m i l a r   p r o b l e m .   F o r   e x a m p l e ,   t a k i n g   t h e   c h a r a c t e r is t i cs   o f   m o d e l   w h o   h a s   l e a r n e d   t o   i d en t i f y   c a ts ,   i t   ca n   b e   u s e f u l   i n   c r e a t i n g   m o d e l   f o r   i d e n t i f y in g   t i g e r s   [1 7 ] .   T L   is   t y p i c a l l y   p e r f o r m e d   f o r   t a s k s   w h e r e   t h e r e   i s   a   li t tl e   d a ta s et  t o   t r a i n   a   f u l l - s c al e   m o d e l   f r o m   s c r a t c h .   I n   o u r   e x p e r i m e n t s ,   t h i s   i n v o l v es   u p d a t i n g   a n   a l r e a d y   e x i s t i n g   I DS   m o d e l   w i t h   n ew   a t t ac k   b e h a v i o r s   f r o m   a   s m a ll  d a t a s et   c o n t a i n i n g   t h es e   n e w   b e h a v i o r s   a n d   w i t h o u t   t h e   n e e d   o f   b u i l d i n g   a   n e w   b i g   d a t a s e t   an d   r e t r a i n i n g   it.   T h er ar d if f er en m eth o d s   t o   p u ll  o u th t r an s f er   lear n i n g   in   th d ee p   lea r n in g   c o n tex t ,   it  d ep en d s   o n   h o m u ch   d ata  we   h av e   g o t.  Fo r   ex a m p le,   it   co u l d   f r ee ze   all  lay er s   a n d   tr ain   o n ly   o n   th last   o n e,   o r   f r ee ze   m o s lay er s   an d   tr ain   t h last   o n es,   o r   tr ain in g   all  la y er s   b y   in itializin g   th weig h t s   o n   th p r e - tr ain ed   o n es.  I n   o u r   ex p e r im en ts ,   we  f r ee ze   m o s o f   th e   lay er s   an d   t r ain in g   th last   o n es  u s in g   C NN  o n   d atasets   B o t - I o T   ( s o u r ce   d o m ain     )   an d   T O N - I o T   ( tar g et  d o m ai n   ).   T r an s f er   lear n i n g   ca n   b ac h ie v ed   b y   r em o v in g   th o r ig in al  m o d el  class if ier ,   th en   a d d in g   n ew  o n e   th at  f its   o u r   p u r p o s es  as  s h o wn   in   Fig u r 2 ,   a n d   f in ally   f in e - tu n in g   t h is   n ew  m o d el  r en d er in g   o n   o n o f   t h r ee   ap p r o ac h es  [1 8 ] :   a)   T r ain in g   th wh o le  m o d el.   I n   th is   ap p r o ac h ,   we  u s th o r ig in al  ar ch itectu r o f   th p r e - tr ain ed   m o d e l   an d   tr ain   it  ac co r d in g ly   to   t h n ew  d ataset.   T h is   m ea n s   t h at  t h m o d el  will  b r etr ain ed   f r o m   s cr atch .   I n   th is   ap p r o ac h   we  n ee d   a   b ig   d ataset;   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       A cc elera tin g   th u p d a te  o a   DL - b a s ed   I DS   fo r   I o u s in g   d ee p   tr a n s fer lea r n in g   ( I d r is s   I d r is s i )   1061   b)   T r ain in g   o n ly   s o m lay e r s .   I n   th is   ap p r o ac h ,   we  f r ee ze   s o m lay er s   wh e r we  r etr ain   th r em ai n in g   o n es,  in   th ca s e   o f   s m all  d ataset  an d   a   lar g e   n u m b er   o f   p ar am eter s ,   we   f r o ze   m o r la y er s   to   a v o id   o v er f itti n g .   B u in   th ca s o f   lar g d ataset  an d   a   s m all  n u m b er   o f   p ar am ete r s ,   wh er e   o v er f itti n g   is   n o t   p r o b lem ,   we  ca n   im p r o v o u r   m o d el  b y   r etr ai n in g   m o r lay er s   to   o u r   n ew  task ;   c)   Fre ez in g   th c o n v o lu tio n al  b a s e.   T h is   ap p r o ac h   is   m o r lik e   th last   o n b u its   m ain   id ea   is   to   k ee p   th e   co n v o l u tio n al  b ase  ( wh ic h   is   s tack   o f   co n v o lu tio n al  an d   p o o lin g   lay er s )   in   its   o r ig i n al  f o r m ,   t h en   u s e   its   o u tp u ts   to   f ee d   th class if ier   ( wh ich   is   g e n er ally   th e   f u ll y   co n n ec ted   lay e r s )   as  s h o wn   in   Fig u r 2 .   I n   th is   ca s e,   we  ca n   u s ju s s m all  d ataset  with   m i n im u m   o f   co m p u tatio n al  p o wer .   B asin g   o n   th ese   ad v an tag es,  we  will u s th is   last   ap p r o ac h   i n   o u r   p r o p o s ed   m eth o d .       I npu t O u t p u t O u t pu t   L ay e r C o n vo l u t i o n a l   l a y er P o o l i n g   l a y er F u l l y   c o n n ec t ed F ro z e n   L ay e rs     Fig u r 2 .   T r an s f er   lear n in g   ( f r ee zin g   th co n v o l u tio n al  b ase)       2 . 3 .   Da t a s et s   B o t - I o T:   I is   cy b er s ec u r ity   d ataset  th at  wa s   cr ea ted   s p e cif ically   f o r   I o T   s y s tem s   b y   an   ac tu al  n etwo r k   m ilieu .   T h en v ir o n m en in co r p o r ates  co m b in atio n   o f   u s u al  n o r m al  an d   b a d   tr af f ic,   wit h   4   ty p es  o f   attac k s   an d   1 0   s u b ca teg o r ies.  Nam ely ,   r ec o n n aiss an ce   ( s er v i ce   s ca n n in g   a n d   OS  f in g er p r i n tin g ) ,   DDo S ( T C P,   UDP,   an d   HT T P),   Do S ( T C P,  UDP,   an d   HT T P),   th ef t ( k ey lo g g in g   a n d   d ata  ex f iltra tio n [1 9 ] .   TON - I o T:   I is   al s o   cy b er s ec u r ity   d ataset  th at  was  cr ea ted   s p ec if ically   f o r   I n d u s tr y   4 . 0 /I o T   an d   I n d u s tr ial  I o T   ( I I o T )   in   2 0 1 9 .   I co n tain s   h eter o g en e o u s   d ata,   co llected   f r o m   I o T   an d   I I o T   s en s o r s ,   o p er atin g   s y s tem s   ( W in d o ws an d   L in u x ) ,   an d   n etwo r k   tr a f f ic.   T h ese  d atasets   wer co llected   at  th cy b er   r an g a n d   I o T   L a b s   o f   th UNSW   C an b er r C y b er   f r o m   a   r ea lis tic  an d   lar g e - s ca le  n etwo r k   d esig n e d .   T h ese  d atasets   co n tain   n in attac k   ca teg o r ies.  Nam ely ,   s ca n n in g   attac k ,   Do S,  DDo S,   r an s o m w ar attac k ,   b ac k d o o r   attac k ,   i n jectio n   attac k ,   cr o s s - s ite  s cr i p tin g   ( XSS)  attac k ,   p ass wo r d   attac k ,   a n d   m an - in - th e - m id d le  ( MI T M )   attac k ,   ag ai n s v u ln e r ab le  elem en ts   o f   I o T /I I o T   ap p licatio n s ,   o p e r atin g   s y s tem s ,   an d   n etwo r k   s y s tem s   [ 20 ] .       3.   RE L AT E WO RK S   I n   2 0 1 9 ,   Sin g la  et  a l [2 1 ]   s h o wed   ex p er im e n tally   o n   th e   UNSW - N B 1 5   d ataset  ( 9   s u b - d a tasets )   th at  T r an s f er   L ea r n i n g   is   ef f ec tiv e   in   r ed u cin g   t h q u an tity   o f   l ab eled   d ata  r eq u i r ed   f o r   tr ain i n g   n eu r al  n etwo r k   m o d els  f o r   n etwo r k   I DS,  b y   o b s er v in g   th class ificatio n   ac c u r ac y   ( u p   to   2 6 . 4 % b etter   ac c u r ac y )   an d   p r ec is io n   m etr ics f o r   co m p ar in g   an d   e v a lu atin g   th r esu ltin g   n eu r al   n et w o r k s   m o d els.   I n   2 0 1 9 ,   Z h a n g   e t   a l [2 2 ]   p r o p o s e d   a n   a u t o n o m o u s   c l a s s i e r   u p d a t e   s c h e m e ,   c h a l l e n g i n g   t h e   m a t t e r   o f   u p d a t i n g   a n   e x i s t i n g   n e t w o r k   t r a f c   c l a s s i e r .   T h e y   e v a l u a t e d   t h e i r   w o r k   b y   u s i n g   M L P   a n d   C N N   m o d e l s   o n   t h e   I S C X   V P N - n o n V P N   d a t a s e t   a n d   t h e   m e t r i c s   r e c a l l ,   p r e c i s i o n ,   a n d   F 1   s c o r e .   T h e y   a l s o   d e m o n s t r a t e d   t h a t   t h e i r   p r o p o s e d   c l a s s i e r   u p d a t e   s c h e m e   c a n   h e l p   b u i l d i n g   a   d a t a s e t   o f   t h e   n e w   a p p l i c a t i o n   f r o m   a n   a c t i v e   n e t w o r k   t r a f c .   I n   2 0 1 9 .   S a m e e r a   e t   a l [2 3 ]   a p p l i e d   t r a n s f e r   l e a r n i n g   t o   d e t e c t   u n l a b e l e d   R 2 L   f r o m   t h e   N S L - KD d a t a s et   b y   m a k i n g   u s e   o f   l a b el e d   D o S   at t a c k s   o f   NS L - K DD  d a t a s et ,   a n d   g o t   a n   a cc u r a c y   o f   8 9 . 7 9 % )   a n d   a n   F PR   o f   0 . 1 5 % .   T h e n ,   i n   [2 4 ] ,   th e   a u t h o r s   p r o p o s e d   a   d e e p   t r an s d u c t i v e   t r a n s f e r   l e a r n i n g   f r a m e w o r k   f o r   d e t e c t i n g   z e r o - d a y   a t t a c k s   e x h i b i t e d   as   th e   t a r g e t   d o m a i n   w it h   n o   l a b el e d   e x a m p l e s .   T h e y   e m p l o y   t h e   D A M m a n i f o l d   a l i g n m e n t   a p p r o a c h ,   c r e a t i n g   ta r g e t   s o f t l a b el s   t o   c o m p e n s a t f o r   t h e   a b s e n c o f   l a b el e d   t a r g e t   i n s t a n c es   t h r o u g h   t h e   a p p l i c a ti o n   o f   c l u s t e r   c o r r e s p o n d e n c e   p r o c e s s e s .   T h e y   in v e s t i g a te d   t h e i r   p r o p o s e d   m o d e l s   u s i n g   m u l t i p le  m a c h i n e   l e a r n i n g   a l g o r i t h m s   s u c h   k N N ,   S V M ,   R F ,   D T ,   a n d   D N N   w i t h   t w o   t es t   s c e n a r i o s .   I n   t h e   f i r s t   o n e ,   t h e y   i n v e s t i g at e d   a n d   t es t e d   u s i n g   t h e   N SL - K DD   d a t as et ,   a n d   i n   t h e   s ec o n d   o n e ,   t h e y   d et e c t e d   z e r o - d a y   a t t a c k s   o f   t h C I D D   c l o u d   d a t a s e t   b y   c o n s i d er i n g   t h e   D o S   p a r t   o f   t h e   N S L - K D D   as   a   s o u r c e   d a t as e t .   I n   2 0 2 0 ,   Q u r esh et  a l [2 5 ]   p r o p o s ed   a   d ee p   n eu r al  n etwo r k   an d   a d ap tiv s elf - tau g h b as ed   tr an s f er   lear n in g   ( n am e d   DST - T L )   tec h n iq u e   th at  u s es  s elf - tau g h t   le ar n in g   to   d ev elo p   th ei r   I DS.   T h ey   c o n d u cted   t h eir   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 5 9   -   1 0 6 7   1062   ex p er im en b y   co m p a r in g   t h eir   tech n iq u to   t h p er f o r m an ce   o f   co n v en tio n al  class if ier s   ( lik ML P),   n o n lin ea r   p r in ci p al  co m p o n e n an aly s is   ( NL PC A) ,   an d   d ee p   b elief   n etwo r k   ( DB N) ) .   First,  b y   ex tr ac tin g   f ea tu r es  an d   p ass in g   th o r ig i n al  f ea tu r e   s et  o f   NSL - KDD  d ataset  th r o u g h   t h p r e - tr ain e d   n etwo r k .   T h e n ,   a   m ix tu r o f   o r ig in al  an d   ex tr a cted   f ea tu r es  is   u s ed   in   th tr ain in g   o f   th s p a r s au to - en c o d er .   T h p r o p o s ed   ap p r o ac h   ( DST - T L )   i n   [2 5 ]   s h o wed   clea r   im p r o v e d   p r e d ictio n   ac cu r ac y .   I n   2 0 1 9 ,   Z h a n g   et   al .   p r o p o s ed   in   [ 2 1 ]   tr a n s f er   lear n in g   f r am ewo r k   b ased   o n   t h d o m ain - ad v er s ar ial  tr ain i n g   tech n iq u f o r   i n tr u s io n   d etec tio n   in   S m ar Gr id   en v i r o n m e n t.  T h ey   u s r ea lis tic  s m ar t   g r id   s ec u r ity   d ataset,   wh ich   is   co llected   th r o u g h   h ar d war e - in - th e - lo o p   s im u lato r s .   T h e ir   f r am ewo r k   was   ca p ab le  o f   m ix i n g   d if f er en b aselin m ac h in lear n in g   clas s ifier s   in   o r d er   to   im p r o v p er f o r m a n ce ,   wh er e   th ey   g o im p r o v e m en ts   f r o m   7 u p   to   3 6 . 8 u s in g   Ad B ,   k NN,   SVM,   an d   R class i fie r s ,   an d   an   a v er ag e   im p r o v em e n t o v e r   2 . 5 % f o r   b o th   C AR T   an d   ANN.   I n   th ese  r elate d   wo r k s ,   s o m e   r esear ch er s   u s ed   o n ly   o n e   d at aset  to   p er f o r m   b o t h   th e   p r etr ain in g   a n d   th T r an s f er   L ea r n in g ,   wh ile   o th er s   ex p l o ited   d if f e r en d a tasets   f o r   th m o d el’ s   p r etr ai n in g   r e g ar d in g   th e   tr an s f er   lear n i n g   m o d el.   F u r t h e r m o r e ,   s o m e   o f   t h e   u s e d   d a t a s e t s   a r e   m o r e   g e n e r a l   a n d   n o t   r e a l l y   c o l l e ct e d   f r o m   a t t a c k s   o n   I o T   s y s t e m s ,   o r   h av e   w o r k e d   w i t h   m a c h i n l e a r n i n g .   I n   o u r   e x p e r i m e n t s ,   w p r e s e n t   a   p r o o f   o f   c o n c e p t   o f   t h D L - I DS   u p d a t u s i n g   t w o   r e ce n t   I o T   d at as e ts .   T h e   f i r s t   o n ( B o t - I o T )   is   g e n e r a t e d   i n   2 0 1 8   a n d   t h e   s e c o n d   o n e   ( T O N - I o T   Ne tw o r k )   i s   g e n e r a t e d   i n   2 0 1 9   u s in g   t h e   b e s t - k n o w n   D e e p   L e a r n i n g   a l g o r i t h m   C N N .       4.   P RO P O SE M E T H O D   T h e   p u r p o s e   o f   o u r   m e t h o d   i s   t o   c r e a t e   a   C N N - b a s e d   I D S   m o d e l   u s i n g   t h e   B o t - I o T   d a t as e f i r s t ,   a n d   t h e n   u p d a t e   i t   wi t h   t h e   T ON - I o T   d a t a s et   a s   s h o w n   i n   F i g u r e   3   b y   f o l l o w i n g   t h e   s te p s   1 st   p h as e - 6 th   p h a s e   b e l o w   a)   1 s Ph ase:  B o t - I o T   Data s et  p r ep r o ce s s in g I n   th is   s tep ,   we  p r ep r o ce s s ed   o u r   d ataset  ( we   w o r k ed   with   th e   en tire   d ataset;  m o r th an   7 2   m illi o n   r ec o r d s   o f   d ata,   with   all  f ea tu r es)  b y   alter in g   th r aw  d a ta  an d   n o r m alizin g   its   v alu es,  a n d   th e n   co n v er t it  in to   im ag s h ap e;   b)   2 n d   Ph ase:  T ON - I o T   Data s et  p r ep r o ce s s in g Firstl y ,   we  n ee d   to   ad ap t   th n ew  d ata   with   t h o ld   d ataset,   an d   th at  b y   g en e r atin g   th m i s s in g   f ea tu r es  lik ( Std d ev ,   St ate,   Me an ,   Min ,   Ma x ,   Seq ,   Sra te,   Dr ate,   …)   f r o m   th p ca p   f iles   u s in g   th Ar g u s   to o [2 6 ] .   T h e n   s ec o n d ly ,   we  p r ep r o ce s s ed   it  u s in g   th s am e   p r ep r o ce s s   o f   t h B o t - I o T   d ataset  p r ep r o ce s s in g   ( we  t o o k   o n ly   5 0 0 0 0   r ec o r d s   o f   d ata   f r o m   ea ch   class ;   3 0 0 0 0   f o r   th tr ai n in g   d ataset ,   1 0 0 0 0   f o r   th v alid atio n   d at aset,  an d   th r em ain in g   o t h er   1 0 0 0 0   f o r   th e   test   d ataset) ,   to   en s u r th s am ad ap tiv ity   b etwe en   th two   d atasets ;   c)   3 r d   Ph ase:  B u ild in g   t h o r i g in al  m o d el;  a f ter war d ,   we   b u il d   an d   tr ain   o u r   m o d el  o n   t r ain in g   d ataset   ( 6 0 o f   th B o t - I o T   d ataset) ,   an d   we  u s th v alid atio n   d ataset  ( 2 0 o f   th d ataset)   t o   v alid ate  th e   ac cu r ac y   o f   o u r   m o d el;   d)   4 th   Ph ase:  E v alu atin g   th e   m o d el  o n   n ew  d ata;  af ter   b u ild in g   th o r i g in al  m o d el ,   f ir s tly   e v alu ated   with   th test   d ataset  o f   th B o t - I o T   d ataset  ( th r em ain in g   2 0 o f   th d ataset) ,   th en   we  ev alu at o n   th n ew   attac k s   b eh av io r s   o n   th test   d ataset  o f   th T ON - I o T   d ataset  ( 2 0 % o f   t h d ataset)   b y   p r e d ictin g   attac k s ;   e)   5 th   Ph ase:  Up d atin g   t h m o d el;  f r o m   th e   o r ig in al   an d   alr ea d y   tr ain ed   m o d el,   we  f r ee ze   th e   C o n v o lu tio n al  b ase  an d   th en   u s its   o u tp u ts   to   f ee d   th C lass if ier .   W r etr ain   th e   class if ier   lay er s   o n   to p   o f   th f r o ze n   o n es  o n   tr ain i n g   d ataset  ( 5 0 o f   T ON - I o T   d ataset  an d   1 0 o f   B o T - I o T   d ataset) ,   an d   u s in g   th v alid atio n   d ataset  ( 1 5 o f   t h d ataset  T ON - I o T   d ataset  an d   5 o f   B o T - I o T   d ataset)   we   v alid ate  th e   ac cu r ac y   o f   o u r   m o d el.   T h e   id ea   b eh in d   r etr ain in g   o n   n ew   an d   o ld   d ata   is   t h at  we  d o   n o t   wan t o u r   m o d el  to   b in f l u en c ed   o n ly   o n   t h n ew  attac k s   b e h av io r s ;   f)   6 t h   P h a s e :   E v a l u a t i n g   t h e   u p d a t e d   m o d e l ;   a f t e r   u p d a t i n g   t h e   m o d e l ,   w e   e v a l u a t e   i t   w i t h   t h e   t e s t   d a t a s e t   o f   t h e   T O N - I o T   d a t a s e t   ( 1 5 %   o f   t h e   d a t a s e t   T O N - I o T   d a t a s e t   a n d   5 %   o f   B o T - I o T   d a t a s e t )   b y   p r e d i c t i n g   a t t a c k s .       B o t - I o T D a ta se t T o n - I o T D a ta set T r an sfe r t h e   K n o w l e d g e C N N   T ra i n i n g I D S   M o d e l U p d a ted I D S   M o d e l C N N   T r a i n i n g Fr o z e n   W e ig h t s     Fig u r 3 .   Ou r   s ch em o f   u p d at in g   th DL - b ased   I DS m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       A cc elera tin g   th u p d a te  o a   DL - b a s ed   I DS   fo r   I o u s in g   d ee p   tr a n s fer lea r n in g   ( I d r is s   I d r is s i )   1063   4 . 1 .   B uil din g   t he  o rig ina m o del    W b u ild   o u r   I DS  m o d el  r eso r tin g   o n   C NN  as  in   o u r   p r e v io u s   wo r k   [ 1 ] ,   th is   m o d el  was  d efin ed   b y   an   in p u lay e r   with   1 6   in p u n eu r o n s ,   f iv h id d e n   lay er s   C o n v o lu tio n 1 lay er ,   Ma x Po o li n g 1 lay er ,   Flatten   lay er ,   R eL lay er ,   Den s lay er ,   an d   an   o u tp u lay er .   W in itially   tr ain ed   o u r   m o d el  in   1 0   ep o ch s   ( th wh o le   d ataset  is   p ass ed   th r o u g h   t h e   n eu r al  n etwo r k   1 0   tim es)  w ith   b atch   s ize  o f   3 2   ( th a m o u n o f   tr ain in g   s am p les  in   s in g le  b atch   is   3 2 ) .   T h n e u r al  n etwo r k   in cl u d es  1 6   in p u n e u r o n s   ( th s am n u m b er   as  th f ea tu r es),   with   4   in ter m ed iate   ( h id d en )   lay er s ,   1 6   ( C o n v o l u tio n 1 D) ,   8   ( Ma x Po o lin g 1 D) ,   2 5 6   ( Flatten ) ,   2 5 6   ( R eL U)   n eu r o n s ,   4 4   ( Den s e)   n eu r o n s ,   an d   4   o u t p u n eu r o n s   f o r   th e   m u lticlas s   class i ficatio n   as  s h o wn   in   Fig u r 4 .   W tr ain ed   a n d   test ed   o u r   m o d el  o n   th e   B o t - I o T   d ataset  th at  co n tain s   ar o u n d   7 2   m illi o n   r ec o r d s   o f   d ata  tr af f ic  s im u lated   I o T   en v ir o n m e n t.  T h tr ain in g   an d   test   d ataset   co n tain s   1 1   class es  wh ich   r ef lect  1 0   ty p es  o f   attac k s   with in   4   attac k s   ca teg o r ies  an d   t h n o r m al   tr af f ic;  m ea n in g   5   class es  if   we  wo r k   o n ly   with   ca teg o r ies,  wh ich   is   in   o u r   ca s in   th g o al  to   h a v th s am class   with   th tar g et  d ataset.         1 6 × 1 C o n v 1 D ke r n e l 4 × 1 × 3 2 b i a s 32 M a xP o o l i n g 1 D F l a t t e n R e L U D e n s e ke r n e l 2 5 6 × 4 4 b i a s 44 D e n s e ke r n e l 4 4 × 4 b i a s 4 i n p u t d e n s e _ 1     Fig u r 4 .   Sp ec if icatio n   o f   o u r   I DS m o d el  lay er s       4 . 2 .   B uil din g   t he  up da t ed  m o del   As  s h o wn   in   Fig u r 3 ,   f r o m   th p r ev io u s   an d   alr ea d y   tr ai n ed   m o d el  o n   th o r ig in al  d a taset  ( B o t - I o T ) ,   we  f r ee ze   th co n v o lu tio n al  b ase  ( k ee p   it  in   its   o r ig in al  f o r m   to   av o id   d estro y in g   an y   o f   th in f o r m atio n   th ey   co n tain   d u r in g   f u tu r e   tr ain in g   r o u n d s m ea n i n g   t r an s f er r in g   t h p ar am eter s ) wh i ch   is   th e   s tack   o f   C o n v o lu tio n 1 lay er ,   Ma x Po o lin g 1 la y er ,   Flatten   lay e r ,   an d   R eL lay er .   T h e   im p o r tan g o al  o f   th e   co n v o l u tio n al  b ase  is   to   g e n er ate  f ea tu r es  f r o m   th b ase  d ata s et  ( B o t - I o T ) ,   an d   th en   u s its   o u tp u ts   to   f ee d   th e   class if ier wh ich   is   th s tack   o f   th e   d en s la y er s ,   an d   th e   o u tp u lay e r   ( th ese  a r f u lly   th co n n ec te d   lay e r s ) .   W r etr ain   th class if ier   lay e r s   o n   to p   o f   th e   f r o ze n   o n es.  T h ese  r etr ain ed   lay er s   will  le ar n   to   t u r n   th o l d   f ea tu r es in to   p r ed ictio n s   o n   th n ew  d ataset  ( T ON - I o T ) .       5.   RE SU L T S AN D I SCU SS I O N   5 . 1 .   H a rdwa re   cha ra ct er is t ics   T h r esu lts   we  o b tain e d   wer p er f o r m ed   o n   h ig h - p e r f o r m an ce   co m p u tin g   ( HPC )   in f r astru ctu r e   with   th f o llo win g   h ar d war e   c h ar ac ter is tics :   a)   C PU: two   I n tel  Xeo n   Go ld   6 1 4 8   ( 2 . 4   GHz /2 0   c o r es)   b)   R AM : 1 9 2   Gb   c)   GPU: two   NVI DI T esla P1 0 0   ( 1 2   Gb )   with   cu d v 1 0 . 1   I n   o u r   ex p e r im en ts ,   we   wo r k ed   with   Ker as  ( 2 . 4 . 0 )   [2 7 ] ;   an   o p e n - s o u r ce   p y th o n   Dee p   L ea r n in g   lib r ar y   wh ich   is   r u n n in g   o n   t o p   o f   G o o g le’ s   o p en - s o u r ce   d ata  f lo s o f twar e,   an d   u s es  T en s o r Flo w - GPU  ( 2 . 3 . 0 )   [2 8 ]   as a   b ac k en d   en g i n e.   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 5 9   -   1 0 6 7   1064   5 . 2 .   E v a lua t io m et rics   T o   ev al u ate  o u r   m o d els,  we   u s ed   th e   s p ec if ied   m etr ics:   Acc u r ac y   (  ) ,   L o s s   (  ) ,   Pre cisi o n   ( ) ,   R ec all  ( ) ,   F1   Sco r ( 1 ) ,   a n d   C o n f u s io n   Ma tr ix   (  ) .   T h ese  m etr i cs  ar ca lcu lated   u s in g   th f o ll o win g   f o u r   d if f er en t m ea s u r es  [2 9 ] :   1)   T r u Po s itiv (  ) : is th n u m b er   o f   p o s itiv class   r ec o r d s   co r r e ctly   class if ied .   2)   T r u Neg ativ (  ) : is th n u m b e r   o f   n eg ativ e   class   r ec o r d s   co r r e ctly   class if ied .   3)   Fals Po s i tiv (  ) : is th n u m b er   o f   n eg ativ e   class   r ec o r d s   wr o n g ly   class if ied .   4)   Fals Neg ativ (  ) : is th n u m b er   o f   p o s itiv class   r ec o r d s   wr o n g ly   class if ied .     Acc u r a cy   (  ) is   th p er ce n tag o f   tr u d etec tio n   o v e r   th to tal  tr af f ic  r ec o r d s   an d   ca lcu lat ed   u s in g   th f o llo win g   f o r m u la  ( 1 ) :      =  +   +  +  +    ( 1 )       L o s s   (  ) is   th d if f er en ce   b etw ee n   th p r ed icted   v alu e   an d   th tr u v alu e.   T h m o s u s ed   lo s s   f u n ctio n   in   d ee p   n e u r al  n etwo r k s   is   cr o s s - en tr o p y   [ 30 ] ,   an d   ca lcu lated   u s in g   th f o llo win g   f o r m u la  ( 2 ) :      =   ,    ( , ) = 1   ( 2 )     W h ile:     : is th n u m b e r   o f   class es ( 5   i n   o u r   ca s e)     : is th b in ar y   i n d icato r   ( tr u 1   o r   f alse 0 )   if   class   lab el    is   t h co r r ec t c lass if icatio n   f o r   o b s er v atio n     : is th p r ed icted   p r o b a b ilit y   o b s er v atio n     o f   class       Pre cisi o n   ( ) is   th p er ce n tag e   o f   p r e d icted   attac k s   tr a f f ic  th at  ar tr u ly   attac k s ,   an d   ca lcu l ated   u s in g   th e   f o llo win g   f o r m u la  ( 3 ) :     =   +      ( 3 )       R ec all  ( ) : is th p er ce n ta g o f   attac k s   tr af f ic  v er s u s   all  th attac k s   tr af f ic  o b tain a b le,   an d   ca lcu lated   u s in g   th f o llo win g   f o r m u la  ( 4 ) :     =   +      ( 4 )       F1   Sco r ( 1 ) is   m ea s u r o f   th test ' s   ac cu r ac y .   I is   ca lcu lat ed   f r o m   th p r ec is io n   an d   r e ca ll  o f   th test ,   an d   ca lcu lated   u s in g   th f o llo win g   f o r m u la  ( 5 ) :     1 = 2 1 +   1   ( 5 )       C o n f u s io n   Ma tr ix   (  ) is   a   tab le  th at  g iv es  a   v is u aliza tio n   o f   th e   p er f o r m a n ce   o f   th e   m o d el   b y   r ep r esen tin g   t h in s tan ce s   in   t h p r e d icted   class   in   r o w h ile  r ep r esen ts   th i n s tan ce s   in   an   ac t u al  class   in   th co l u m n s .     5 . 3 .   E v a lua t ing   t he  m o del   I n   t h e   f o llo win g   Fig u r e s   5 - 7 ,   we  p r esen t   th ac cu r ac y   tr ai n in g ,   lo s s   tr ain in g ,   ac cu r a cy   v alid atio n ,   lo s s   v alid atio n ,   an d   f o r   ea c h   c lass ,   we  p r esen th R ec all  an d   Pre cisi o n ,   a n d   with   th F1   s co r f o r   th e   o r i g in al   m o d el  wh ich   was   tr ain ed   o v e r   1 0   ep o ch s .   As  s h o wn   in   Fig u r 5   f o r   th o r ig in al  m o d el   in   1 0   ep o c h s   ( 8 . 7 8   h o u r s   o f   t r ain in g )   th e   ac cu r ac y   r ea ch e d   9 9 , 9 9 an d   th e   lo s s   attain ed   0 , 1 5 in   tr ain in g   a n d   f o r   th v alid atio n   as sh o wn   in   Fig u r 6   it r ea ch ed   9 9 , 9 9 % in   ac cu r ac y   an d   0 , 1 2 % in   lo s s ,   an d   1 0 0 % f o r   th test in g   s et.   B u t th e   ac cu r ac y   f ails   to   co n tr o f o r   s ize  im b alan ce s   in   th clas s es   th at’ s   wh y   it  d o esn allo u s   to   h av clea r er   v iew  o n   h o th m o d el  is   d o i n g   f o r   ea ch   class it  d o es  n o g iv p er - class   m etr ic  f o r   m u lti - class   p r o b lem s .   R eg ar d in g   t h R ec all  an d   th e   Pre cisi o n ,   we   g et  a   clea r er   r esu lt  f o r   ea ch   class .   W s ee   h er th at   in   s o m e   class es  s u ch   as  5 “T h ef t”   we  o b tain ed   v er y   lo m ea s u r es  i n   all  th e   m etr ics  ( 0 %),   an d   f o r   th f o r   t h class   3 “No r m al  tr af f ic”,   we  o b tain ed   v er y   lo m ea s u r es  in   b o th   r ec all  an d   F1   s co r as  s h o wn   in   Fig u r e   7 m ea n wh ile  th p r ec is io n   is   f a ls ely   h ig h   ( 1 0 0 %)  d u to   wea k n ess   o f   th is   m etr ic,   a n d   it  r ar ely   p r ed icts   th is   class .   Fo r   th C las s   2 “Do S”,   th r ec all  m etr ic  also   h as  wea k n ess   wh er it  ca n   ac h iev v er y   h ig h   m ea s u r em en in   th is   class   b y   alwa y s   p r ed ictin g   it  an d   th at  co u ld   m ea n   l o ts   o f   i n co r r ec t   g u ess es  ( in   th D o class   w ith   th n ew  d ata  in   F ig u r 8 ) .   E ac h   m etr ic  ca n   b e   b iased   f o r   d if f er en class es  an d   th at  d u to   th e   u n b alan ce d   d ata  in   th ese  class es,  s o   u s in g   th h ar m o n ic  m ea n   o f   Pre cisi o n   an d   R ec all,   th F1 - s co r th at  g iv es   u s   b etter   r esu lt o f   t h in co r r e ctly   class if ied   ca s es th an   th ac cu r ac y   m etr ic.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       A cc elera tin g   th u p d a te  o a   DL - b a s ed   I DS   fo r   I o u s in g   d ee p   tr a n s fer lea r n in g   ( I d r is s   I d r is s i )   1065   W b en ch m ar k ed   th e   o r ig in a m o d el   o n   n ew   d at a   f r o m   t h T ON - I o T   n etwo r k   d ataset  an d   g o a   d ec r ea s d o wn   to   5 6 o n   th e   F1   s co r m etr ic;  an d   esp ec ially   f o r   th n o r m al  an d   th ef cl ass es,  we   o b tain ed   r esp ec tiv ely   o n ly   3 an d   2 7 f o r   th s am m etr ic  as  s h o wn   in   Fig u r 8 .   T h is   d ec r ea s was  ac tu ally   d u to   two   ca u s es;  th f ir s o n is   th a we  test ed   o u r   m o d el  o n   b ala n ce d   d ata  o v er   d if f e r en class es  wh ich   allo wed   to   m ak b alan ce d   m etr ic  r esu lts wh ile  th s ec o n d   ca u s is   r elate d   to   n ew  b e h av io r s   o r   m u t atio n s   in   th attac k s   s witch in g   f r o m   th e   o ld   to   th n ew  d a tasets .   I n   Fig u r e s   9 - 1 1 ,   we  p r esen th ac cu r ac y   tr ai n in g ,   lo s s   tr ain in g ,   ac cu r ac y   v alid atio n ,   lo s s   v alid atio n ,   an d   f o r   ea ch   class ,   we  p r esen th R ec all   an d   Pre cisi o n ,   an d   alo n g   with   F1   s co r o f   th u p d ated   m o d el  th at   was  r etr ain ed   o v er   1 0   ep o ch s   in   ju s 1 7 0   s ec o n d s   o f   tr ain in g   ( 1 7 s   in   ev er y   ep o ch ) .   Af ter   u p d atin g   th m o d el   u s in g   tr an s f er   lear n in g ,   we  r ea ch ed   an   ac cu r ac y   o f   9 9 . 4 3 an d   lo s s   o f   0 . 3 6 in   tr ain in g   an d   f o r   th e   v alid atio n ,   it  also   r ea ch es  9 9 . 4 7 in   ac cu r ac y   an d   0 . 2 3 in   lo s s ,   f o r   th F1   s co r it  r ea ch e s   9 9 as  s h o wn   in   Fig u r 1 1   W ca n   r em ar q u a n   im p r o v em en f o r   t h Do S,  DDo S,  an d   Scan   attac k s ,   an d   b ig g er   o n f o r   th e   r em ain in g   class es;  T h ef an d   No r m al  tr af f ic,   m ea n in g   th a o u r   I DS  h as  n o o n ly   b ee n   u p d ated   b u also   o v er co m th lack   o f   lab e led   d ata  in   th ese  class e s ,   esp ec iall y   th n o r m al  o n b ec au s its   im p o r tan ce   is   wh en   d if f er en cin g   b etwe en   g o o d   an d   b ad   tr a f f ic.   W al s o   co m p ar ed   th tr ain in g   tim f o r   th in itial  tr ain in g   f o r   th o r ig in al  m o d el  an d   th u p d ated   o n as  s h o wn   in   Fig u r 1 2   wh er we  s ee   b ig   d if f er en ce   b e twee n   th two ,   f r o m   3 1 5 9 0   s e co n d s   in   th in itial  tr ain in g   o f   th o r ig in al  I DS  ( tr ain ed   o v e r   1 0   ep o c h s ar o u n d   3 1 5 9 0   s ec o n d s   in   e v er y   e p o ch )   t o   o n l y   1 7 0   s ec o n d s   wer u p d atin g   it  ( th u p d ate  o f   th DDo S,  Do s ,   an d   R ec o n n aiss an ce   wa s   d o n o n ly   in   3   ep o ch s ,   an d   we  p r o lo n g e d   th tr ain in g   7   m o r ep o c h s   to   tr ain   th o th er   class e s ar o u n d   1 7   s ec o n d s   in   ev er y   ep o ch ) .   T h is   p r o v es  th at  t r an s f er   lear n in g   is   s o lu tio n   f o r   tr an s f er   lear n in g   with   m i n im al  co m p u tin g   p o wer   an d   m u c h   f ewe r   d ata  co m p ar ed   t o   th o r i g in al  tr ain in g .                 Fig u r 5 .   T h ac cu r ac y   in   th e   tr ain in g   an d   th v alid atio n   ( o r ig in al  m o d el )   Fig u r 6 .   T h lo s s   in   th tr ain i n g   an d   th v alid atio n   ( o r ig in al  m o d el )                   Fig u r 7 .   C o n f u s io n   m atr i x   ( f o r   th o r ig in al  m o d el  o n   th o r ig in al  d ataset   Fig u r 8 .   C o n f u s io n   m atr i x   ( f o r   th o r ig in al  m o d el  o n   th n ew  d ataset)   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 5 9   -   1 0 6 7   1066           Fig u r 9 .   T h ac cu r ac y   in   th e   tr ain in g   an d   th v alid atio n   ( u p d ated   m o d el )   Fig u r 1 0 .   T h lo s s   in   th tr ai n in g   an d   th v alid atio n   ( u p d ated   m o d el )                   Fig u r 1 1 .   C o n f u s io n   m atr ix   ( t h u p d ated   m o d el)   Fig u r 1 2 .   T r ain in g   tim e       6.   CO NCLU SI O N   T h en o r m o u s   n etwo r k   tr af f ic  d ata  b etwe en   I o T   o b jects  d is p atch ed   ar o u n d   th wo r ld   h av tak en   b ig   ch allen g to   t r ad itio n al  in tr u s io n   d etec tio n   s y s tem   ( I DS ) .   R esear ch er s   ten d   to   b u ild   I DS  b ased   o n   Dee p   lear n in g   d u to   its   o u ts tan d in g   p er f o r m an ce   in   v ar i o u s   f ield s ,   wh ich   its elf   g o s o m p r o b lem s   lik d ata - d ep en d e n o r   lack   o f   lab eled   d ata.   Ou r   p r o p o s ed   Up d ate d   d ee p   tr an s f er   lear n in g - b ased   in tr u s io n   d etec tio n   s y s tem   f o r   I o T ”  was  b u ilt  in itially   with   co n v o lu tio n al  n e u r al  n etwo r k s   ( C NN)   o n   B o t - I o T   d ataset  an d   b ee n   u p d ated   o n   a   s m all  am o u n t   o f   d ata  f r o m   th e   T ON - I o T   d ataset,   af ter   s ev er al   ex p e r im e n ts ,   we  o b tain ed   r ea s o n ab le  d etec tio n   r ate  o n   th is   n ew  u p d ated   I DS.  B y   an aly zin g   th o b tain ed   r esu lts ,   we  co n clu d ed   th at   T r an s f er   L ea r n i n g   ca n   b an   i d ea s o lu tio n   n o o n ly   to   c o m p en s ate  th lack   o f   d ata  in   s o m attac k   class es  b u t   also   to   u p d ate  th I DS  s y s tem s   with   ju s m in im al  co m p u tin g   p o wer   a n d   ef f o r t.  As  f u tu r wo r k s ,   we  will   d ep lo y   o u r   I DS  in   r ea l   I o T   en v ir o n m e n t,  a n d   o n   a   lig h tweig h I o T   d ev ice  w h ile  o p tim izin g   it   with   n o   ac cu r ac y   lo s s   wh ile  s tu d y in g   i ts   p er f o r m a n ce   o n   r ea l I o T   n et wo r k   tr af f ic   d ata.       ACK NO WL E DG E M E NT S   T h is   r esear ch   was  s u p p o r ted   t h r o u g h   co m p u tatio n al  r eso u r c es  o f   HPC - MA R W AN  p r o v id ed   b y   th Natio n al  C en ter   f o r   Scien tific   an d   T ec h n ical  R esear ch   ( C NR ST)   R ab at,   Mo r o cc o .         RE F E R E NC E   [1 ]   I.   Id rissi,   M .   B o u k a b o u s,  M .   A z izi,   O.  M o u ss a o u i,   a n d   H.  El   F a d il i,   To wa r d   a   d e e p   lea rn in g - b a se d   in tru si o n   d e tec ti o n   s y ste m   fo i o a g a in st   b o tn e a tt a c k s,”   IA ES   I n ter n a ti o n a l   J o u rn a o Arti f icia I n telli g e n c e (IJ - AI) ,   v o l.   1 0 ,   n o .   1 ,   p p .   1 1 0 1 2 0 ,   M a r.   2 0 2 1 ,   d o i:   1 0 . 1 1 5 9 1 /i jai. v 1 0 . i 1 . p p 1 1 0 - 1 2 0 .   [2 ]   I.   Id rissi,   M .   M o sta fa   Az izi,   a n d   O.  M o u ss a o u i ,   Li g h twe ig h Op ti m ize d   De e p   Lea rn in g - b a se d   Ho st - In tr u sio n   De tec ti o n   S y ste m   De p l o y e d   o n   t h e   Ed g e   f o Io T,   In ter n a ti o n a J o u rn a l   o f   Co mp u ti n g   a n d   Di g it a S y ste ms ,   2 0 2 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       A cc elera tin g   th u p d a te  o a   DL - b a s ed   I DS   fo r   I o u s in g   d ee p   tr a n s fer lea r n in g   ( I d r is s   I d r is s i )   1067   [3 ]   K.  Ba r to s,  M .   S o fk a ,   a n d   V.  F ra n c ,   Op ti mize d   In v a ria n Rep re se n ta ti o n   o f   Ne two rk   T r a ff ic  f o D e tec ti n g   Un se e n   M a lw a re   Va ri a n ts .   2 0 1 6 .   [4 ]   C.   Tan ,   F .   S u n ,   T.   Ko n g ,   W.   Z h a n g ,   C .   Ya n g ,   a n d   C .   Li u ,   su rv e y   o n   d e e p   tran sfe lea rn i n g ,   in   L e c tu re   No tes   in   Co mp u ter   S c ien c e   (i n c lu d in g   su b se rie L e c tu re   No tes   i n   A rtif icia I n telli g e n c e   a n d   L e c t u re   No tes   i n   Bi o in fo rm a t ics ) ,   v o l.   1 1 1 4 1   LNC S ,   2 0 1 8 ,   p p .   2 7 0 2 7 9 .   [5 ]   S .   T .   Kris h n a   a n d   H.  K .   Ka ll u ri,   De e p   lea rn i n g   a n d   tran sfe lea rn in g   a p p r o a c h e fo r   ima g e   c las sifica ti o n ,   In ter n a t i o n a J o u rn a o Rec e n T e c h n o l o g y   a n d   En g i n e e rin g ,   v o l.   7 ,   n o .   5 S 4 ,   p p .   4 2 7 4 3 2 ,   2 0 1 9 .   [6 ]   L.   M o u   a n d   Z.   Ji n ,   T re e - Ba se d   C o n v o l u ti o n a Ne u r a Ne two rk s S p rin g e S i n g a p o re ,   2 0 1 8 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 13 - 1 8 7 0 - 2.   [7 ]   Q.  Ya n g ,   Y.  Z h a n g ,   W.   Da i,   a n d   S .   J.   P a n ,   T ra n sfe lea rn in g ,   Ca m b rig e ,   Un it e d   Ki n g d o m :   Ca m b rid g e   U n iv e rsit y   P re ss ,   2 0 2 0 ,   d o i:   1 0 . 1 0 1 7 /9 7 8 1 1 3 9 0 6 1 7 7 3 .   [8 ]   T.   B.   Br o wn ,   e t   a l. ,   Lan g u a g e   M o d e ls are   F e w - S h o Le a rn e rs,”  a rXiv:2 0 0 5 . 1 4 1 6 5 ,   2 0 2 0 .   [9 ]   G it Hu b   -   u lt ra ly ti c s/y o l o v 5 YO LOv 5   i n   P y T o rc h   >   ON NX   >   Co re M L   >   iOS .   [On li n e ].   Av a il a b le:   h tt p s:/ /g it h u b . c o m / u lt ra ly ti c s/y o lo v 5   (a c c e ss e d   Au g .   1 2 ,   2 0 2 0 ).   [1 0 ]   M .   Be rra h a a n d   M .   Az izi,   Re v iew   o DL - Ba se d   G e n e ra ti o n   Tec h n iq u e o Au g m e n te d   Im a g e u sin g   P o rtraits   S p e c ifi c a ti o n ,   in   4 th   In ter n a ti o n a C o n fer e n c e   o n   I n telli g e n t   Co m p u ti n g   in   Da t a   S c ien c e s,  ICDS   2 0 2 0 ,   No v .   2 0 2 0 ,   p p .   1 8 ,   d o i:   1 0 . 1 1 0 9 /ICD S 5 0 5 6 8 . 2 0 2 0 . 9 2 6 8 7 1 0 .   [1 1 ]   K.  Uc h id a ,   M .   Ta n a k a ,   a n d   M .   Ok u to m i ,   Co u p led   c o n v o l u ti o n   lay e fo r   c o n v o lu t io n a n e u ra n e two rk ,   Ne u ra l   Ne two rk s ,   v o l .   1 0 5 ,   p p .   1 9 7 2 0 5 ,   S e p .   2 0 1 8 ,   d o i:   1 0 . 1 0 1 6 / j. n e u n e t. 2 0 1 8 . 0 5 . 0 0 2 .   [1 2 ]   M .   S u n ,   Z.   S o n g ,   X.  Jia n g ,   J.   P a n ,   a n d   Y.  P a n g ,   Lea rn i n g   P o o li n g   f o Co n v o lu ti o n a Ne u ra Ne two rk ,   Ne u ro c o mp u ti n g ,   v o l .   2 2 4 ,   p p .   9 6 1 0 4 ,   F e b .   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 /J. NEUCO M . 2 0 1 6 . 1 0 . 0 4 9 .   [1 3 ]   M .   Bo u k a b o u a n d   M .   Az izi,   Re v iew   o Lea rn in g - Ba se d   Tec h n iq u e o S e n ti m e n An a l y si fo S e c u rit y   P u rp o se s,”   in   In n o v a t io n in   S m a rt  Cit ies   Ap p li c a ti o n Vo l u me   4 ,   2 0 2 1 ,   p p .   1 1 4 ,   d o i:   d o i. o rg / 1 0 . 1 0 0 7 /9 7 8 - 3 - 0 3 0 - 6 6 8 4 0 - 2 _ 8 .   [1 4 ]   I.   Id rissi,   M .   Az izi,   a n d   O.  M o u ss a o u i,   Io se c u rit y   with   De e p   Lea rn in g - b a se d   In tru si o n   De tec ti o n   S y ste m s:  sy ste m a ti c   li tera tu re   re v iew ,   in   4 th   I n ter n a ti o n a C o n fer e n c e   o n   In telli g e n Co m p u ti n g   i n   Da t a   S c ien c e s,  ICDS   2 0 2 0 ,   2 0 2 0 ,   p p .   1 1 0 ,   d o i:   1 0 . 1 1 0 9 / ICDS5 0 5 6 8 . 2 0 2 0 . 9 2 6 8 7 1 3 .   [1 5 ]   M .   Bo u k a b o u a n d   M .   Az izi,   Co m p a ra ti v e   S t u d y   o DL - Ba se d   Lan g u a g e   Re p re se n tati o n   Lea rn in g   M o d e ls,”   In d o n e sia n   J o u rn a l   o f   E lec trica E n g i n e e rin g   a n d   C o mp u ter   S c ien c e   (IJ EE C S ) ,   v o l.   2 2 ,   n o .   2 ,   2 0 2 1 ,     d o i:   1 0 . 1 1 5 9 1 / ij e e c s.v 2 2 . i2 . p p 1 0 3 2 - 1 0 4 0 .   [1 6 ]   S .   J.   P a n   a n d   Q.   Ya n g ,   " A   S u rv e y   o n   Tra n sfe Lea rn i n g , "   in   IEE E   T r a n sa c ti o n s   o n   Kn o wle d g e   a n d   Da t a   En g i n e e rin g ,   v o l.   2 2 ,   n o .   1 0 ,   p p .   1 3 4 5 - 1 3 5 9 ,   Oc t.   2 0 1 0 ,   d o i:   1 0 . 1 1 0 9 /T KD E. 2 0 0 9 . 1 9 1 .   [1 7 ]   Y.  G u o ,   H.  S h i ,   A.  Ku m a r,   K.  G ra u m a n ,   T.   Ro si n g ,   a n d   R .   F e ris,   S p o t Tu n e Tran sfe Lea rn in g   T h r o u g h   Ad a p ti v e   F in e - Tu n i n g .   a rXiv:1 8 1 1 . 0 8 7 3 7 p p .   4 8 0 5 4 8 1 4 ,   2 0 1 9 .   [1 8 ]   Tran sfe lea rn in g   fro m   p re - train e d   m o d e ls  |   b y   P e d ro   M a rc e li n o   |   To wa rd s   Da ta  S c ien c e .   2 0 1 8 .   [On li n e ].   Av a il a b le:  h t tp s:// to wa rd sd a tas c i e n c e . c o m /t ra n sfe r - lea rn in g - fr o m - p re - train e d - m o d e ls - f2 3 9 3 f 1 2 4 7 5 1   (a c c e ss e d   S e p .   0 7 ,   2 0 2 0 ).   [1 9 ]   Th e   Bo T - Io T   Da tas e t.   [On li n e ].   Av a il a b le:   h t tp s:// ww w. u n sw . a d fa . e d u . a u /u n sw - c a n b e rra - c y b e r/cy b e rse c u rit y /ADFA - NB1 5 - Da tas e ts/b o t_ io t. p h p   (a c c e ss e d   F e b .   2 2 ,   2 0 2 0 ).   [2 0 ]   N .   M o u sta fa ,   " T o N_ Io d a tas e ts , IEE D a ta p o rt 2 0 1 9 ,   d o i:   1 0 . 2 1 2 2 7 /fes z - d m 9 7 .   [2 1 ]   A.  S in g la,  E.   Be rti n o ,   a n d   D.  Ve r m a ,   " Ov e rc o m in g   th e   Lac k   o La b e led   Da ta:  Train in g   I n tru si o n   De tec ti o n   M o d e ls   Us in g   Tran sfe Lea rn i n g , "   2 0 1 9   IEE In ter n a ti o n a Co n fer e n c e   o n   S ma rt  Co m p u t in g   (S M AR T COM P) ,   2 0 1 9 ,     p p .   6 9 - 7 4 ,   d o i:   1 0 . 1 1 0 9 /S M ART COMP . 2 0 1 9 . 0 0 0 3 1 .   [2 2 ]   J.  Zh a n g ,   F .   Li ,   H.   W u ,   a n d   F .   Y e ,   " Au t o n o m o u M o d e l   Up d a te  S c h e m e   fo De e p   Lea rn in g   Ba se d   Ne two rk   Traffic  Clas sifiers , "   2 0 1 9   IE EE   Glo b a C o mm u n ica ti o n Co n fer e n c e   (GLOBE COM ) ,   2 0 1 9 ,   p p .   1 - 6 ,   d o i :   1 0 . 1 1 0 9 /G LOBECOM 3 8 4 3 7 . 2 0 1 9 . 9 0 1 4 0 3 6 .   [2 3 ]   N.  S a m e e ra   a n d   M .   S h a sh i ,   Tran sfe lea rn in g   b a se d   p ro t o t y p e   fo z e ro - d a y   a tt a c k   d e tec ti o n ,   In ter n a ti o n a l   J o u r n a l   o E n g i n e e rin g   a n d   A d v a n c e d   T e c h n o lo g y   (IJ EA T ) ,   v o l.   8 ,   n o .   4 ,   p p .   1 3 2 6 1 3 2 9 ,   A p r.   2 0 1 9 .   [2 4 ]   N.  S a m e e ra   a n d   M .   S h a sh i,   De e p   tran sd u c ti v e   tran sfe lea rn in g   fra m e wo rk   fo z e ro - d a y   a tt a c k   d e tec t io n ,   ICT   Exp re ss ,   M a r.   2 0 2 0 ,   d o i:   1 0 . 1 0 1 6 /j . icte . 2 0 2 0 . 0 3 . 0 0 3 .   [2 5 ]   A.  S .   Qu re sh i ,   A.  Kh a n ,   N.  S h a m im,  a n d   M .   H .   Du ra d ,   In tr u si o n   d e tec ti o n   u sin g   d e e p   sp a rse   a u to - e n c o d e a n d   se lf - tau g h lea rn in g ,   Ne u ra l   Co mp u t.   Ap p l. ,   v o l.   3 2 ,   n o .   8 ,   p p .   3 1 3 5 - 3 1 4 7 ,   Ap r.   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /s0 0 5 2 1 - 0 1 9 - 0 4 1 5 2 - 6.   [2 6 ]   o p e n a rg u -   Us i n g   Arg u s .   [On li n e ].   A v a iala b le:  h tt p s:/ /o p e n a rg u s.o r g /i n d e x . p h p /u si n g - a r g u (a c c e ss e d   S e p .   1 1 ,   2 0 2 0 ).   [2 7 ]   N.  Ke tk a r,   In tro d u c ti o n   t o   Ke ra s,”   in   De e p   L e a rn i n g   wit h   Pyt h o n Be rk e ley ,   CA,  U n it e d   S tate s:  Ap re ss ,   2 0 1 7 ,     p p .   9 7 - 1 1 1 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 8 4 2 - 2 7 6 6 - 4 _ 7 .   [2 8 ]   M .   A b a d i ,   e t   a l . ,   " Ten so rF lo w:   S y ste m   f o r   Larg e - S c a le  M a c h in e   Lea rn i n g ,"   Pro c e e d in g s   o f   t h e   1 2 th   US ENIX   S y mp o si u m o n   Op e ra ti n g   S y ste ms   De sig n   a n d   Imp lem e n t a ti o n   (O S DI ’1 6 ) 2 0 1 6 ,   p p .   2 6 5 2 8 3 .   [2 9 ]   N.  Ja p k o wic z ,   Wh y   Qu e stio n   M a c h in e   Lea rn in g   Ev a l u a ti o n   M e th o d s?   (An   il l u stra ti v e   re v iew   o th e   sh o rtco m in g s   o c u rre n t   m e th o d s),”   AA AI   wo rk sh o p   o n   e v a l u a ti o n   me th o d s f o r ma c h in e   le a rn i n g ,   p p .   6 - 1 1 ,   2 0 0 6 .   [3 0 ]   Q.  Wan g ,   Y.  M a ,   K.  Zh a o ,   a n d   Y.  Ti a n ,   Co m p re h e n si v e   S u rv e y   o f   Lo ss   F u n c ti o n i n   M a c h in e   Lea rn in g ,   An n a ls o Da t a   S c ien c e p p .   1 - 2 6 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 7 /S 4 0 7 4 5 - 0 2 0 - 0 0 2 5 3 - 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.