T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   4 A u g u s t   2021 ,   p p .   1 4 0 7 ~ 1 4 1 8   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 9 i4 . 1 8 7 7 2     1407       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Deep  lea rni ng  w it h f o ca l los s a ppro a ch f o r attac k s  cl a ss ificatio n       Yesi No v a ria   K un a ng 1 Siti  Nur m a ini 2 Der i s   Stia w a n 3 B ha k t i Y u dh o   Su pra pto 4   1 Do c to ra E n g in e e rin g   De p a rtem e n t ,   F a c u lt y   o f   En g in e e rin g ,   Un iv e rsitas   S riw ij a y a ,   In d o n e sia   1, 2 In telli g e n S y ste m   Re se a r c h   G r o u p ,   F a c u l t y   o f   Co m p u ter S c ien c e ,   Un iv e rsitas   S riw ij a y a ,   In d o n e si a   3 Co m p u ter Ne tw o rk in g   &   In f o r m a ti o n   S y ste m s,  F a c u lt y   o f   Co m p u ter S c ien c e ,   Un iv e rsitas   S riw ij a y a ,   I n d o n e sia   1 Co m p u ter S c ien c e   De p a rtem e n t,   Un iv e rsitas   Bin a   Da r m a ,   In d o n e sia   4 El e c tri c a En g in e e rin g   De p a rtem e n t,   Un iv e rsitas   S rw ij a y a ,   In d o n e sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   20 2 0 2 0   R ev i s ed   J u n   7 2021   A cc ep ted   J u n   17 ,   2021       T h e   ra p id   d e v e lo p m e n o f   d e e p   lea rn in g   im p ro v e th e   d e te c ti o n   a n d   c las si f ica ti o n   o f   a tt a c k o n   in tru sio n   d e tec ti o n   sy ste m s.  Ho w e v e r,   th e   u n b a la n c e d   d a ta  issu e   in c re a se th e   c o m p lex it y   o f   th e   a rc h it e c tu re   m o d e l.   T h is  stu d y   p ro p o se a   n o v e d e e p   le a rn in g   m o d e to   o v e rc o m e   th e   p ro b lem   o c las si fy in g   m u lt i - c las a tt a c k s.  T h e   d e e p   lea rn i n g   m o d e c o n sists   o f   t w o   sta g e s.   T h e   p re - tu n in g   sta g e   u se a u to m a ti c   fe a tu re   e x trac ti o n   w it h   a   d e e p   a u to e n c o d e r.   T h e   se c o n d   sta g e   is  f in e - tu n i n g   u si n g   d e e p   n e u ra n e tw o rk   c las si f ier w it h   f u ll y   c o n n e c ted   l a y e rs.  T o   re d u c e   im b a lan c e d   c las d a ta,  t h e   f e a tu re   e x trac ti o n   w a im p le m e n ted   u si n g   th e   d e e p   a u to e n c o d e a n d   im p ro v e d   f o c a lo ss   f u n c ti o n   in   t h e   c las sifier.  T h e   m o d e w a s   e v a lu a ted   u sin g   3   lo ss   f u n c ti o n s,  in c lu d i n g   c ro ss - e n tro p y ,   w e i g h ted   c ro ss - e n tro p y ,   a n d   f o c a lo ss e s.  T h e   re su lt c o u ld   c o rre c th e   c las i m b a lan c e   in   d e e p   lea rn in g - b a se d   c las si f ica ti o n s.  A tt a c k   c las sif i c a ti o n   w a a c h iev e d   u sin g   a u t o m a ti c   e x trac ti o n   w it h   th e   f o c a lo ss   o n   t h e   CS E - CI C - IDS2 0 1 8   d a tas e is  a   h ig h - q u a li t y   c la ss i f ier   w it h   9 8 . 3 8 %   p re c isio n ,   9 8 . 2 7 %   se n siti v it y ,   a n d   9 9 . 8 2 %   sp e c if icit y .   K ey w o r d s :   A ttac k   cla s s i f icatio n   Fo ca lo s s   I m b alan ce d   d ata   I n tr u s io n   d etec tio n   s y s te m   Mu lti - cla s s   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sit i N u r m ai n i   I n telli g en t S y s te m   R e s ea r ch   G r o u p ,   Facu lt y   o f   C o m p u ter   Sci en ce   Dep ar t m e n t   Un i v er s ita s   Sri w ij a y a   Fak u ltas   I l m u   Ko m p u ter ,   Srij a y a   Neg ar B u k it B esar   St.  P ale m b an g   3 0 1 3 9   E m ail: s iti n u r m ai n i @ g m ail. co m       1.   I NT RO D UCT I O N     T h in cr ea s in g   u s o f   th i n ter n et  o f   th i n g s   tech n o lo g y   h as si g n i f ica n tl y   in cr ea s ed   th a m o u n t o f   d at a   g en er ated   d ail y .   A p ar f r o m   p r o v id in g   t h b en ef i ts   an d   f ac il ities   th at  i m p r o v th q u alit y   o f   lif e,   b ig   d ata  an d   in ter n e o f   t h i n g s   ( I o T )   p o s t h ch alle n g o f   v u l n er ab ilit y   a n d   s ec u r it y   is s u e s   [ 1 ] - [ 4 ] Vu ln er ab ilit y   i n cr ea s ed   d u to   th lar g n u m b er   o f   p h y s ical  i n f r as tr u ct u r es  co n n ec ted   to   th n et w o r k   [ 5 ] ,   [ 6 ] .   T o   ad d r ess   th i s   is s u e,   t h e   n et w o r k   i n tr u s io n   d etec tio n   s y s te m   ( NI DS)   i s   an   ap p r o p r iate   alter n ati v f o r   s ec u r i n g   m o d e r n   n et w o r k s   [ 7 ] .   T h s ec u r it y   s o lu tio n s   o f   NI D S - b ased   I o T   h av b ee n   p r o p o s ed ,   s u ch   as  m ac h in an d   d ee p   le ar n in g - b ased   m et h o d s   [ 7 ] - [ 1 0 ] d ee p   lear n in g   ( DL )   h a s   i m p r es s iv el y   p er f o r m ed   in   b ig   d ata  d o m a in s   [ 1 1 ] ,   in clu d in g   co m p u ter   v is io n   [ 1 2 ] ,   [ 1 2 ]   s p ee ch   r ec o g n itio n   [ 1 3 ] ,   an d   m e d ical  i m a g i n g   [ 1 4 ] - [ 1 6 ] .   A l s o ,   s o m s t u d ies  h av e   u s ed   th DL   al g o r it h m   o n   th in tr u s io n   d etec tio n   s y s te m ,   s u ch   as  d ee p   B o ltzm a n n   m ac h i n es  [ 1 7 ] ,   d ee p   b elief   n et w o r k s   [ 1 8 ] ,   an d   d ee p   n eu r al  n et w o r k s   [ 1 9 ] ,   [ 2 0 ] .   T h DL   tec h n iq u o r   its   co m b i n atio n   i m p r o v es  th e   ac cu r ac y   an d   d etec tio n   s p ee d   [ 2 1 ] .   Fu r th er m o r e,   it  ef f icie n tl y   d etec t s   attac k   v ar ian ts   an d   p atter n s   [ 2 2 ] .   T h er ar s ev er al  ch allen g es  to   NI DS  in   ef f icien tl y   an d   ef f ec ti v el y   d etec ti n g   t h n et w o r k s   ab n o r m al  b eh a v io r .   I o T   ap p licatio n s '   b ig   d ata  n at u r p r esen t s   d if f ic u ltie s   w it h   th a m o u n a n d   co m p le x it y   o f   d ata  [ 1 ] .   Ma n y   ap p licatio n s   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   4 A u g u s t 2 0 2 1 1 4 0 7   -   1 4 1 8   1408   en cr y p I n ter n et  tr af f ic  u s i n g   s ec u r it y   p r o to co ls .   T h en cr y p tio n   en co u r a g es  m o r d iv er s an d   s o p h is ticated   attac k s   t h at  n ee d   to   b d etec te d .   Seco n d ,   in   r ea n e t w o r k   tr a f f ics,  d ata   d is tr ib u t io n   i s   u s u all y   i m b alan ce d   [ 2 3 ] I n   th i s   ca s e,   th n u m b er   o f   s a m p les  b elo n g i n g   to   t h r eg u la r   tr af f ic  i s   m u c h   h i g h er   th a n   th attac k   s a m p le.   T h er ef o r e,   th class i f icatio n   r e s u lt s   lean   to w ar d s   t h b en i g n   d ata  [ 2 4 ] .   Mo s t o f   t h d atase ts   u s ed   to   a n al y ze   NI DS,  s u c h   a s   n e t w o r k   s ec u r it y   la y er -   k n o w l ed g e     d i s co v er y     in   d atab ase   ( NSL - KDD [ 2 5 ] th co m m u n icatio n s   s ec u r it y   e s tab lis h m e n a n d   th C a n a d ian   in s tit u te  f o r   c y b er s ec u r it y   i n tr u s io n   d etec ti o n   s y s te m   2018  d ataset  ( C SE - C I C - I DS2 0 1 8 [ 2 6 ] ,   h av s e v er clas s   i m b alan ce   p r o b lem .   Sev er al  ap p r o ac h es  h av b ee n   e m p lo y ed   to   s o lv t h i s   p r o b lem ,   s u ch   a s   o v er - s a m p l i n g   [ 2 3 ] ,   [ 2 7 ] ,   [ 2 8 ] u n d er - s a m p lin g   [ 2 9 ] ,   s p r ea d   s u b - s a m p le  [ 3 0 ] ,   an d   class   b ala n ce r   [ 2 3 ] .   Ho w e v er ,   th f u n d am en tal  p r o b lem   o f   class   i m b ala n ce   i n   attac k   cla s s es  r e m ain s   an   i n ter esti n g   is s u to   s tu d y .   A l s o ,   d ata  q u alit y   is s u es  tr ig g er   i m b alan ce d   d ata  p r o b lem s   [ 3 1 ] ,   [ 3 2 ] .   T h er ef o r e,   o th er   s tr ate g ies  ar n ee d ed   to   s o lv th is   p r o b lem ,   esp ec iall y   f o r   m u lti - cla s s   ca s es.  T h er h a v b ee n   d e v elo p m e n ts   i n   t h f i eld s   o f   f o ca lo s s   in   i m a g r ec o g n i tio n ,   b io m ed ical   s cien ce s ,   an d   s tab ilit y   tr ain i n g   [ 3 3 ] - [ 3 5 ] .   Usi n g   th i s   k n o w le d g e,   th i m p r o v ed   f o ca lo s s   f u n ct io n   f o r   m u lti - class   m o d el  is   u s ed   to   p r ev en t   class   i m b ala n ce   an d   o v er - f itti n g   a ttack   c lass if ica tio n .   T h is   r esear ch   f o cu s e s   o n   ef f icien tr ain i n g   o n   all  d ata  s ets,  b ased   o n   th ex t r em clas s   i m b alan ce .   Mo r eo v er ,   th tr ain i n g   is   b ased   o n   m u lti - clas s   attac k s   b y   u tili zi n g   th f o ca l lo s s   f u n c tio n   u s ed   in   th d ee p   lear n in g   m o d els.   T h is   s tu d y   p r o p o s es  m u lti - cl ass   f o ca lo s s   f u n ctio n   o f   d ee p   lear n in g   to   ad d r ess   u n b alan ce d   d ata.   T h e   r esu l is   co m p ar ed   w it h   th cr o s s - e n tr o p y   ( C E )   lo s s   an d   w ei g h ted   cr o s s - en tr o p y   f u n ctio n s .   A s   co n tr ib u tio n ,   th is   s t u d y   p r o p o s es  th d ee p   a u to - e n co d er   ( DA E ) ,   co m b i n ed   w i th   d ee p   n e u r al  n et w o r k   ( D NN)   m o d el  u s in g   a   m u lti - clas s   f o ca lo s s   f u n cti o n .   T h is   is   ai m ed   to   ad d r es s   th d i f f er e n clas s   i m b ala n ce   f o r   th at tac k   class i f icatio n .   E x p er i m e n tal  r esu lt s   s h o w   t h at  th p r e - tr ai n i n g   s tag e,   d ee p   au to - en co d er ,   h as  ad v an ta g es  i n   m o r e   co m p lica ted   f ea tu r e s   lear n ed   f r o m   t h o r ig in al  d ata.   Fo ca lo s s   f u n ctio n ,   s ca led   f r o m   cr o ss - e n tr o p y   lo s s ,   is   m o r ef f ec t iv alter n a tiv to   p r ev io u s   ap p r o ac h es  in   d ea lin g   w ith   t h class   i m b ala n ce   in   m u lti - cla s s   attac k   class i f icatio n .       2.   RE L AT E WO RK   Net w o r k   I n tr u s io n   Dete c tio n   S y s te m   h as  b ee n   s t u d ied   w id el y   o v er   th p ast  s ev er al  y ea r s .   T h is   s ec tio n   b r ief l y   d i s cu s s e s   s o m p u b li s h ed   ap p r o ac h es  to   d ee p   lear n in g   m et h o d s ,   in   p ar tic u lar   to   i m b alan ce d   d ataset s .   I n   2 0 1 9 ,   L in   et  a l [ 2 6 ]   u s ed   d e ep   lear n in g   f o r   d y n a m ic  n et w o r k   an o m al y   d etec tio n .   T h s y n t h etic  m i n o r it y   o v er s a m p li n g   tech n iq u ( SM OT E )   alg o r ith m   w as  e x p er im en tall y   ap p lied   to   h an d le  th i m b ala n ce d   class   p r o b lem   in   th C SE - C I C I DS2 0 1 8   d ataset.   A s   clas s if ier ,   a   d ee p   n eu r al  n et w o r k   m o d el  w a s   u s ed   w ith   lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   b ased ,   co m b in ed   w it h   an   atte n tio n   m ec h a n i s m   ( A M) ,   to   en h an ce   p er f o r m a n ce .   T h SMOT E   alg o r ith m   ap p lie d   to   p r o m o te  th p r o p o r tio n   o f   m i n o r it y   clas s   o p ti m izes  t h d ee p   lear n in g   m o d el.   T h m o d el  ac h iev ed   t h b est  r e s u lt s ,   w it h   a n   ac cu r ac y   o f   9 6 . 2 %,  an d   th r ec al r ate  r ea ch ed   9 8 f o r   6   ca teg o r ies   class .   Mo r r ec en tl y ,   Z h a n g   et  a l [ 2 7 ]   in tr o d u ce d   h y b r id   SMOT E   th at  co m b i n es  SM OT E   an d   Gau s s ia n   m i x tu r m o d el  ( GM M)   b ased   clu s ter i n g   to   i m p r o v th m i n o r ity   cla s s ' s   d etec tio n   r ate.   T h s y n th et ic  m i n o r it y   o v er - s a m p li n g   tec h n iq u ( S MO T E )   an d   g au s s ian   m i x t u r e   ( SGM )   p r o ce s s in g   w a s   in teg r ated   w it h   co n v o lu tio n al  n e u r al  n e t w o r k   ( C NN)   f o r   b i n ar y   a n d   m u lt i - class   cla s s i f icatio n .   T h e y   clai m ed   th a t h SG M   m o d el  i n cr ea s e s   d etec tio n   an d   r ed u ce s   th ti m co s t.  T h p r o p o s ed   m et h o d   w a s   ev al u ated   w it h   5   class e s   i m b alan ce d   tech n iq u an d   2   c la s s i f icatio n   alg o r ith m s .   T h e y   w er v er i f ied   u s i n g   t h Un i v e r s it y   o f   Ne w   So u t h   W ales - NB   2 0 1 5   ( UNSW - NB 1 5 )   an d   th e   C a n ad ian   in s tit u te  f o r   c y b er s ec u r it y   in tr u s io n   d ete ctio n   s y s te m   2 0 1 7   ( C I C I DS2 0 1 7 )   d atasets .   T h e   ev alu atio n   o f   t h C I C I DS2 0 1 7   d ataset  s h o w s   th at  th m et h o d   ac h iev es  a n   ex ce lle n d etec tio n   r ate  o f   9 9 . 8 5 in   t h 1 5 - cla s s   c lass if ica tio n .   Ho w ev er ,   t h d etec tio n   r ates  f o r   w eb   at tack   b r u te  f o r ce   ar s till   le s s   th a n   5 0 %,  lo w er   t h an   r an d o m   o v er s a m p li n g   (R OS )   an d   S MO T E .   A s   f o r   th e     UNSW - NB 1 5   d ataset,   th d et ec tio n   r ates f o r   b in ar y   a n d   1 0   class i f icatio n s   r ea ch   9 9 . 7 4 % a n d   9 6 . 5 4 %.   A b d u l h a m m ed   et  a l.   [ 2 3 ]   u s e d   v ar io u s   tec h n iq u e s ,   s u ch   as   o v er - s a m p li n g ,   u n d er - s a m p li n g ,   s p r ea d   s u b s a m p le,   a n d   class   b alan ce r ,   to   s o lv i m b ala n ce d   d ata  p r o b le m s   f o r   b in ar y   clas s es.  Sev e r al  class i f ier s ,   s u ch   as r an d o m   f o r e s t ( R F),   DNN,   v o tin g ,   v ar iat io n al  a u to - e n co d er ,   ar u s ed   in   th e v al u atio n .   T h ex p er i m en t s   o n   th C I DD S - 0 0 1   d ataset  s h o wed   th at  DNN  w it h   t h d o w n - s a m p li n g   m et h o d   an d   clas s   b alan ce r   is   t h m o s ef f ec tiv e.   B y   th e   ex p er i m en ta r esu lt s ,   t h clas s   d is tr ib u t io n   h as  l ig h i m p ac o n   t h cla s s i f icatio n   p r o ce s s .   Fu r t h er m o r e,   A b d u l h a m m ed   et  a l [ 3 6 ]   p r o p o s ed   th u n i f o r m   d is tr ib u t io n   b ased   b ala n cin g   ( UDB B )   f o r   i m b alan ce d   cla s s e s .   T o   r ed u ce   f ea t u r es,  t h a u to - e n co d er   ( AE )   an d   p r in cip le  co m p o n e n a n al y s i s   (P C A )   w er e   u s ed   in   e v alu a tio n   w it h   v ar io u s   clas s i f ier   m et h o d s .   T h s im u latio n   r es u lt s   o n   th o r ig i n al  d is tr ib u tio n   o f   t h e   C I C I DS2 0 1 7   d ataset  s h o w e d   th at  P C A   p r o d u ce s   b ette r   ac cu r ac y   th a n   A E ,   at  9 9 . 6 %.  Ho w e v er ,   b y   i m p le m en t in g   UD B B ,   th d etec tio n   ac cu r ac y   w as   r ed u ce d   to   9 8 . 9 %,  alth o u g h   it  b etter   d et ec ted   s o m attac k s .   I n   an o th er   ex p er i m en t,  Hu [ 2 9 ]   u s ed   u n d er - s a m p li n g   a n d   f ea t u r s elec tio n   i n   p r e - p r o ce s s in g .   T h p r o p o s ed   tr af f ic  class i f icatio n   u s in g   L i g h t GB M,   b ased   o n   th C SE - C I C - I DS2 0 1 8   d ataset.   T h m o d el  u s ed   o n l y   1 0   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   w ith   fo ca l lo s s   a p p r o a c h   fo r   a tta ck s   cla s s ifica tio n   ( Yes i No va r ia   K u n a n g )   1409   f ea t u r es  t h a w er s elec ted   u s i n g   R a n d o m   Fo r est.   T h e y   co m p ar ed   th eir   m o d els  w it h   v ar io u s   m ac h in lear n i n g   alg o r ith m s ,   a n d   C NN  d ee p   l ea r n in g .   T h b est  r es u lts   f o r   th o v er all   ac cu r ac y   o b tain e d   r ea ch ed   9 8 . 3 7 %.   Ho w e v er ,   th i n f l u e n ce   o f   t h m o d el  o n   t h m i n o r it y   clas s   wa s   n o t d is c u s s ed .   Yan g   et  a l.   [ 3 7 ]   ap p lied   an   i m p r o v ed   co n d itio n al   v ar iatio n al   au to en co d er   w it h   d ee p   n eu r al  n et w o r k   in   NI DS.  A n   i m p r o v ed   co n d itio n al   v ar iat io n al  Au to E n co d er   ( I C VA E )   tr ain i n g   e x p lo r es  th r elatio n s h ip   b et w ee n   d ata  f ea t u r es  a n d   att ac k   clas s es.  T h is   ai m s   at  b al an cin g   tr ai n i n g   d ata  s e ts   a n d   i m p r o v d etec tio p er f o r m a n ce   i n   m i n o r it y   attac k .   T h ey   u s ed   cr o s s - en tr o p y   as  th f u n ctio n   o f   r ec o n s tr u ct io n   lo s s   o f   th d ec o d er .   T h r esu lts   o f   t h i s   ch a llen g s h o w ed   t h at  t h b est  i n d i v id u al  d etec tio n   s y s te m   o b tain s   u p   to   8 9 . 0 8 an d   8 5 . 9 7 o f   th e   m u l ti - c lass   clas s i f icatio n   i n   t h UN SW B 1 5   an d   NS L - KDD   d atasets ,   r e s p ec tiv el y .   T h ey   c lai m ed   th at   I C V A E - DNN  in cr ea s es  d etec t io n   r ates  o f   m i n o r it y   a n d   u n k n o w n   attac k s .   A l s o ,   an   u n s u p er v is ed   au to - en co d er   w a s   u s ed   b y   L et  a l [ 3 8 ]   to   o v er co m i m b ala n ce   p r o b lem s   in   NI DS.  T h e y   u s ed   th r an d o m   f o r est  to   s elec t   s ig n i f ica n f ea t u r es  in   t h C SE - C I C - I DS2 0 1 8   d ataset,   an d   p er f o r m ed   an o m al y   d etec ti o n   f o r   ea ch   attac k .   Ho w e v er ,   th r esu lts   o f   A E - I DS  f o r   attac k s ,   in   w eb   atta ck s   ( SQ L   in j ec tio n ,   b r u te  f o r ce   w eb ,   an d   b r u te    f o r ce - XS S),   ar s till   lo w   an d   o p tim iz ed .   Si m i lar l y ,   th u n s u p er v is ed   au to - en co d er   m o d el  w a s   u s ed   b y     Z h ao   et  a l.   [ 3 9 ]   T h ey   in tr o d u ce d   th s e m i - s u p er v is ed   d is cr i m i n an au to - e n co d er   ( SS DA )   to   o v er co m n e w   attac k s .   I n s p ir ed   b y   ex i s ti n g   r e s ea r ch ,   th i s   s t u d y   u s es  D A E   to   ex tr ac attac k   d ata.   Fu r th er m o r e,   th f o ca lo s s   is   u s ed   to   in cr ea s th d etec tio n   r ate  o f   m i n o r it y   a ttack s .   T h C SE - C I C - I DS2 0 1 8   d ataset  is   u s ed   to   test   th m o d el   in   m u lt i - c lass   cla s s i f icat io n   an d   co m p ar th i m p ac t o f   t h th r ee - lo s s   f u n ctio n s   o n   u n b alan c ed   p r o ce s s es.       3.   RE S E ARCH   M E T H O D   T h is   s tu d y   i m p r o v es  i n tr u s io n   d etec tio n   s y s te m s '   ab ilit y   to   d etec m in o r it y   a ttack s   clas s   u s i n g   d ee p   lear n in g   m o d els  w i th   d ee p   au to - e n co d er   ( DA E )   p r e - tu n i n g   p r o ce s s es  a n d   f i n e - tu n i n g   u s i n g   DN N.   T h class i f icatio n   p r o ce s s   u s ed   3   s ce n ar io s ,   i n clu d i n g   ca teg o r ic al  cr o s s - e n tr o p y   ( C E )   lo s s ,   f o ca l - lo s s   ( FL ) ,   a n d   w ei g h ted   ca teg o r ical  cr o s s - e n tr o p y   ( W C E ) ,   as  ill u s tr ated   in   F ig u r e   1.   T h m o d el  was  ev al u ated   u s i n g     C SE - C I C - I D S2 0 1 8 ,   w h ic h   r ep r esen ts   r ec en t a ttack   d atase t   [ 4 0 ] .           Fig u r 1 .   Dee p   lear n in g   ar c h it ec tu r e - b ased   attac k s   cla s s i f ica tio n       3 . 1 .     Da t a s et   T h C SE - C I C - I DS2 0 1 8   d ataset  co n s i s ts   o f   8 0   f ea t u r es,  in c l u d in g   lab els.  T h f ea tu r es   o f   t h d ataset   ar g en er ated   an d   ex tr ac ted   w it h   C I C F lo w Me ter   [ 4 0 ] ,   [ 4 1 ] .   T h d esig n ed   s ce n ar io   co n s i s ts   o f   6   attac k s ,   in cl u d in g   d en ia o f   s er v ices   ( Do S),   d is tr ib u ted   d en ial  o f   s er v i ce s   ( DDo S),   b o tn et b r u te - f o r c e w eb   attac k s ,   a n d   in f iltra tio n ,   as  p r esen ted   in   T ab le  1 .   T h e y   ar g r o u p ed   in to   1 4   attac k   s u b - cla s s e s .   T h t o tal  d ata  am o u n i s   1 6 , 2 3 2 , 9 4 3   r ec o r d s ,   d o m i n ate d   b y   8 3 . 0 7 b en ig n   tr a f f ic.   T h is   s t u d y   u s ed   1 0 %   d ata  f o r   tr ain i n g   an d   2 . 5 f o r   test i n g .   A b o u 5 1 o f   t h d ata  w as u s ed   f o r   b en ig n   co m p o s it io n .   T h s tr u ctu r o f   m alicio u s   d ata  is   u s ed   b ased   o n   th a m o u n o f   d ata.   T ab le  1   clar if ies  t h co m p o s itio n   o f   th tr ain in g   a n d   test i n g   d ata  u s ed .   T h in f iltra tio n   a ttack   in cl u d es  s tealt h y   att ac k   th at  u tili ze s   a n   in ter n al  n et w o r k   f o r   ille g al  ac ce s s .   T h ch ar ac ter is tic s   o f   in f iltra tio n   tr a f f ic  an d   b en ig n   ar v er y   clo s e,   w h ich   i m p lie s   d if f ic u lt y   in   d etec ti n g   t h n e t w o r k   I DS  [ 4 2 ] .   A s   r esu lt,  th i n f iltra tio n   attac k   w as  eli m i n ated   in   t h ex p er i m en b ec au s t h is   s tu d y   d is cu s s ed   th f o cu s ,   e m p h a s izi n g   t h co n s id er atio n   o f   i m b ala n ce d   class   f ac to r s   in   ac cu r ac y   d etec tio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   4 A u g u s t 2 0 2 1 1 4 0 7   -   1 4 1 8   1410   T ab le  1 .   C o m p o s itio n   o f   th C SE - C I C - I DS2 0 1 8   d ataset  u s ed   C a t e g o r y   S i z e   T r a i n   T e st   B e n i g n   1 3 , 4 8 4 , 7 0 8   8 3 . 0 7 %   8 0 3 , 0 2 5   5 1 . 1 2 %   2 0 1 , 2 3 8   5 1 . 2 1 %   B o t   2 8 6 , 1 9 1   1 . 7 6 %   8 5 , 8 4 2   5 . 4 6 %   2 1 , 4 7 9   5 . 4 7 %   B r u t e F o r c e   3 8 0 , 9 4 9   2 . 3 5 %   1 1 4 , 3 8 7   7 . 2 8 %   2 8 , 4 6 5   7 . 2 4 %   D D o S   6 5 4 , 3 0 0   4 . 0 3 %   3 5 4 , 9 0 7   2 2 . 5 9 %   8 8 , 5 9 3   2 2 . 5 5 %   D o S   1 , 2 6 3 , 9 3 3   7 . 7 9 %   2 1 2 , 0 5 3   1 3 . 5 0 %   5 2 , 9 9 5   1 3 . 4 9 %   W e b   A t t a c k s   9 2 8   0 . 0 1 %   7 5 4   0 . 0 5 %   1 7 4   0 . 0 4 %   I n f i l t e r a t i o n   1 6 1 , 9 3 4   1 . 0 0 %   -   -   -   -   T o t a l   1 6 , 2 3 2 , 9 4 3   1 0 0 . 0 0 %   1 , 5 7 0 , 9 6 8   1 0 0 . 0 0 %   3 9 2 , 9 4 4   1 0 0 . 0 0 %       3 . 2 .     P re - pro ce s s ing   Fro m   8 0   f ea tu r es  o f   t h C SE - C I C - I DS2 0 1 8   d ataset  [ 4 0 ] ,   th ti m esta m p   f ea t u r w as  eli m i n ated ,   an d   o n l y   7 9   w er u s ed .   T h ti m e s t a m p   is   e n co d ed   in f o r m atio n   t h at  ex p lai n s   t h o cc u r r e n ce   o f   a n   attac k .   I t is   q u ite   ess e n tial  f o r   p r ed ictio n   in   ti m s er ies.  Ho w e v er ,   it  is   n o e s s e n tial  f o r   class if ica tio n   w h e r th m o d el  m u s t   r ec o g n ize  t h attac k   b ased   o n   i ts   ch ar ac ter is t ics.  Fe at u r f lo d u r atio n   h as m o r i m p ac o n   i d en tify i n g   attac k s ,   s u c h   as   DDo S a n d   Do S,  d u e   t o   its   r ap id   n at u r e.   I n   t h d etec t io n   an d   cla s s i f icat io n   m o d el  o f   attac k ,   t h ti m o f   o cc u r r en ce   is   n o t   n ec e s s ar y .   T h is   is   b ec au s e,   in   its   i m p le m e n tatio n ,   t h attac k   h ap p en s   at  a n y   ti m e.   T h er ef o r e,   th f ea tu r is   el i m i n ated   as i n   p r ev io u s   s t u d ies  [ 2 6 ] ,   [ 2 7 ] ,   [ 3 8 ] .     T h f ir s s ta g o f   d ataset  p r e - p r o ce s s i n g   i s   f ea tu r e n co d in g ,   w h ic h   tr an s f o r m s   t h d ata  f r o m   ca teg o r ical  in to   n u m er ical.   T h f ea tu r e n co d in g   p r o ce s s ,   u s in g   o n e - h o e n co d in g ,   c h an g e d   th p r o to co an d   lab el  f ea tu r es  i n to   n u m er ic  d ata.   T h p r o ce s s   m ap p ed   th p r o to co f ea tu r to   3   in s tan ce s ,   in cl u d in g   t r an s m is s io n   c o n tr o p r o to co l   ( T C P ) u s er   d atag r a m   p r o to co ( UDP ) ,   a n d   Ho p - by - Ho p   I P v 6   ( HOP OPT ) .   A ls o ,   t h lab el  f ea t u r es  b ec a m 6   f ea tu r atta ck   ca teg o r ies  b y   eli m i n ati n g   t h in f i ltra tio n   cla s s .   Fi n all y ,   8 0   f ea tu r es  f o r   d ata  an d   6   f ea tu r lab els  w er o b tain ed .   T h n ex s tag w as  t h f ea tu r s ca li n g   p r o ce s s   to   tu r n   all  d ata  v alu es  i n to   th s p ec i f ied   r an g e.   T h is   p r o ce s s   is   n ec es s ar y   f o r   f ea tu r e s   w it h   h i g h   v al u an d   n o d o m i n at i n g   o t h er s .   Feat u r e   s ca lin g   u s es  th s a m ap p r o a ch   o f   Min - m ax   s ca li n g   w ith   r an g [ 0 ,   1 ]   as  in   p r ev io u s   s tu d y   [ 4 3 ] .   A f ter     p r e - p r o ce s s in g ,   th d ata  is   r ea d y   f o r   th tr ai n in g   a n d   test i n g   p r o ce s s .     3 . 3.     Dee p lea rning   a rc hite ct ure   T h p r o p o s ed   m o d el  o f   t h i n tr u s io n   d etec tio n   s y s te m   is   d es ig n ed   u s i n g   th e   p r e - t u n i n g   a n d   f i n e - tu n i n g   p r o ce s s .   T h d ee p   lear n in g   ar ch itect u r u s ed   au to m a tic  f ea t u r ex tr ac tio n   w i th   d ee p   au to - en co d er   ( DA E )   in   th e   p r e - tu n in g   s ta g an d   th d ee p   n eu r al  n et w o r k   ( DNN)   ar ch itectu r in   th f i n e - tu n i n g   s tag e.   DA E   p er f o r m s   t h e   p r o ce s s   o f   f ea tu r ex tr ac tio n   w it h   th e n co d in g   a n d   d ec o d i n g   p h a s e.   Au to - e n co d er   g en er ates  o u tp u ̂ ,   w h ic h   is   r ec o n s tr u cted   f r o m   i n p u .   I n   s i n g le - la y er   Au to - en co d er ,   w h e n   th in p u t v ec to r   ,   th v e cto r   en co d in g   f u n ctio n   ,   in   f o r w ar d   p r o p ag atio n   f o r   h id d en   la y er   l   ( = 1 ) ,   is   n o tate d   as  s h o w n   in   ( 1 ) .   T h d ec o d in g   f u n ctio n   is   n o tated   as  s h o w n   i n   ( 2 ) ;     = ( ) = ( ( 1 ) + ( 1 ) )   ( 1 )     ̂ = ( ) = ( ( 2 ) + ( 2 ) )   ( 2 )       ar e   w e ig h m atr ice s ,     ar b ias  v ec to r s ,     is   a n   i n p u v ec to r   f o r m   d ata s et,   a n d   f ( . )   a n d   g ( . )   ar ac tiv atio n   f u n ctio n s   u s ed   o n   h id d en   la y er .   T h ex p er im e n u s ed   s e v er al  v ar ian ts   o f   R e LU   ac ti v atio n   f u n ctio n s ,   s u c h   as   Se LU , P R e LU ,   E L U,   an d   L ea k y   R e L i n   th h id d en   la y er   a n d   s ig m o id   in   t h las t la y er   o f   au to - e n co d er .   Dee p   au to - e n co d er   ( DA E )   is   th d ev elo p m e n o f   s i n g le  A E   w i th   h i g h er   n u m b er   o f   la y er s .   T h e   f u n ctio n   co m p o s itio n s   in   t h en co d er   an d   d ec o d er   ar e     an d   ,   r esp ec tiv el y   t h p r o p o s ed   ar c h itect u r u s e s   7   h id d en   la y er s ,   w it h   th o u tp u r ec o n s tr u ct io n   ̂ = 1 ( 2 ( 3 ( 3 ( 2 ( 1 ( ) ) ) ) ) ) Fo r   th r ec o n s tr u ct io n   p r o ce s s   in p u t     in to   t h o u tp u t,    ̂   u s e s   th M SE  lo s s   f u n ct io n   w i th   ( 3 ) .   T h b ac k p r o p ag atio n   p r o ce s s   p r o d u ce s   lo s s   v al u clo s to   ze r o     ( , , , ̂ ) = 1 2 ̂ 2   ( 3 )     A   b o ttle n ec k   la y er   ( m id d le  la y er )   w it h   s m a ller   d i m e n s io n   o f   th in p u d ataset  r ep r esen t s   th e   ex tr ac ted   f ea t u r es  = 3 = ( ( 3 ) . 2 + ( 3 ) ) .   T h r esu lt  o f   th f ea t u r ex tr ac tio n   i n   th f o r m   o f   an   en co d in g   s tr u ct u r e   an d   th w ei g h an d   b ias  v a lu e s   ar tr an s f er r ed   to   th d ee p   n eu r al  n et w o r k   ( DNN)   s tr u ct u r f o r   th f in e - tu n i n g   tr ain i n g   p r o ce s s .   T h e n co d in g   r esu lt  o f   th i s   s tr u ct u r b ec o m e s   a n   i n p u v ec to r   i n   t h DNN   clas s if ier   ar ch itect u r e.   T h DNN  m o d el   u s e s   th e   w ei g h t,  b ias   an d     v al u o f   t h A E   p r e - tr ain i n g ,   to   p r o d u ce   th o u tp u class   p r ed ictio n   ̂ ,   w r it ten   a s ;     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   w ith   fo ca l lo s s   a p p r o a c h   fo r   a tta ck s   cla s s ifica tio n   ( Yes i No va r ia   K u n a n g )   1411   ̂ = ( ( ) . ( ) + ( ) )   ( 4 )     Ou tp u ̂   ( p r ed ictio n   tar g et  lab e l)   w ill  clo s to   y   ( v ec to r   tar g et  lab el)   b y   u s in g   th ac tiv a tio n   f u n ctio n   s o f t m ax   ( . )   in   t h last   la y er .   Fo r   all  th tr ai n in g   d ataset s   ( , ) ,   th f u n ct io n   o f   lo s s   ca n   b s o l v ed   b y :     ( , ) = 1 (   ̂ , ) = 1 = 1 ( , ;   , ) = 1   ( 5 )     w h er   is   th lo s s   f u n ctio n ,   a n d     is   th n u m b er   o f   d ataset s .   O n f o c u s   o f   th is   s tu d y   is   to   co m p ar t h   lo s s   f u n ctio n   u s in g   cr o s s - e n tr o p y ,   w ei g h ted   cr o s s - e n tr o p y ,   an d   f o ca l lo s s .     T h DNN  m o d el  ca r r ied   o u t h tr ain i n g   p r o ce s s   f o r   clas s i f y i n g   m u lti - cla s s   at tack s .   A   h y p e r p ar am eter   tu n in g   p r o ce s s   is   p er f o r m ed   to   g et  th b est  d ee p   lear n in g   m o d el  b y   lo o k in g   at  th r ate  d etec tio n   r esu lt  o f   th e   attac k   cla s s i f icatio n .   T h is   t u n i n g   p r o ce s s   tr ied   v ar io u s   m o d e v ar ian ts   b ased   o n   t h n u m b e r   o f   h id d en   la y er s ,   th n u m b er   o f   n o d es,  lear n in g   r ate  v alu e,   b atch - s ize,   ac ti v ati o n   f u n ctio n ,   an d   k er n e in it iali za tio n   to   g et  th b est   m o d el.       3 . 4.     L o s s   f un ct io n   I n   th ca s o f   m u lti - clas s   w it h   th n u m b er   o f   clas s es  ( >   2 ) ,   th eq u atio n   o f   th lo s s   f u n ct io n   f o r   th ca teg o r ical  cr o s s - e n tr o p y   ( C E )   i s :       (   ̂ , ) =  = = 1 l og ( ̂ )   ( 6 )       is   th n u m b er   o f   clas s es,    is   t h g r o u n d   tr u t h   clas s ,   an d   ̂ [ 0 , 1 ]   is   th m o d el ' s   p r ed icted   p r o b ab ili t y   f o r   th clas s .   W h er = 1   b elo n g s   to   t h ac tu al  lab el  o f   ; o th er w i s e,   it   eq u als 0 .   Fo r   i m b ala n ce d   class   ca s e s ,   t h C E   lo s s   f u n ctio n   is   m o d i f i ed   b y   ad d in g   w ei g h ti n g   f ac to r   [ 4 4 ]   to   o b tain   th C E   a s   s h o w n   i n   ( 7 ) .     W e ighte d    = = 1 l og ( ̂ )   ( 7 )     w h er   is   t h w eig h f ac to r   f o r   class   .   T h d ef icien c y   o f   C E   lo s s   is   t h at  m a n y   s a m p les  co n tr ib u te  t o   s ig n i f ica n ac c u m u latio n   o f   t h lo s s   v alu ab o v t h r ar class   [ 3 3 ] ,   [ 3 4 ] .   T h er ef o r e,   w h en   t h e x tr e m b alan ce   i s s u i n   th ca s o f   m u lt i - c lass   at tac k   class i f i ca tio n   is   r eso lv ed ,   th s ce n ar io   tak e s   ad v an ta g o f   t h f o ca lo s s   f u n c tio n   p r o p o s ed   b y   L in   et  a l [ 3 3 ] T h f o ca lo s s   f u n ctio n   d o es  n o p r o v id th s a m w eig h ted   v alu o n   all  tr ai n i n g   d ata.   I n   c o n tr ast,  f o ca lo s s   r ed u ce s   th e   w ei g h t   o f   w el l - c la s s i f ied   d ata.   I ts   i m p ac t o n   f o ca l lo s s   e m p h a s izes  tr ain i n g   o n   d ata  th at  i s   d if f ic u lt   to   class i f y   w i th   as  s h o w n   i n   ( 8 ) :      (   ̂ , ) = ( 1   ̂ ) . = 1 l og ( ̂ )   ( 8 )     w it h     as  m o d u lar it y   f ac to r   to   r ed u ce   th w eig h o f   w ell - c lass i f ied   class e s .   W h en   = 0 ,   th lo s s   eq u als  to   cr o s s - e n tr o p y .   T h er ef o r e,   > = 0   is   s et  to   ev al u ate  t h e f f ec o f   s a m p les  cla s s i f ied   w it h   lo s s   f ac to r .   T h e   p ar am eter     is   th w ei g h t to   b alan ce   f o ca l lo s s ,   an d   it in cr ea s e s   th ac c u r ac y   v a lu f o r   th i m b alan ce   class .     3 . 5 .     E x peri m ent a s et up   a n d   perf o r m a nce  m et ric s   T h ex p er im e n w as  r u n   o n   th clo u d   m ac h in i n   th Go o g l C o lab o r ato r y   p latf o r m .   T h m o d el  w as   d ev elo p ed   u s i n g   th P y th o n   p r o g r a m m i n g   lan g u ag w it h   co m p u tat io n   u tili z in g   T en s o r Fl o w - GP lib r ar y   o f   Ker as  [ 4 5 ] ,   d ee p   lear n in g   f r a m e w o r k .   T h h y p er p ar a m et er   tu n in g   p r o ce s s   u s ed   T alo s   L ib r ar y   [ 4 6 ]   T h is   o b s er v atio n   u s ed   ac cu r ac y ,   s en s iti v it y ,   an d   s p ec if ic it y   to   m ea s u r th p er f o r m a n ce   o f   th e   p r o p o s ed   m o d el.   T h ev al u ate d   p er f o r m a n ce   u s ed   th ac c u r a c y   f u n ctio n   to   ass e s s   t h m o d e l's   ab ilit y   to   class if y   attac k s   co r r ec tl y .   I n   th ca s o f   i m b ala n ce d   d atas ets,  th p r ed icted   r esu lt  w as  d o m i n ated   b y   lar g n u m b er s   o f   class es.  T h er ef o r e,   it  i s   n ec es s ar y   to   e x a m in th m o d el ' s   s p ec if icit y   an d   s en s iti v it y   f o r   i m b a lan ce d   d ata  s e ca s [ 4 7 ] .   T h s en s iti v it y   r e s u lts   s h o w ed   h o w   p r ec is e l y   t h m o d el  d etec ted   an   attac k .   T h s p ec if icit y   s h o w ed   th p r o b ab ilit y   t h at  t h m o d el  d o es n o m ak m i s tak e s   i n   r ec o g n izi n g   an   attac k .       4.   RE SU L T A ND  AN AL Y SI S   4 . 1 .     H y per - pa ra m et er   t un in g   T h h y p er - p ar a m eter   t u n i n g   p r o ce s s   is   cr u cial   i n   o b tain i n g   n et w o r k   ar c h itect u r ( n u m b er   o f   n e u r o n s   an d   la y er s ) .   Mo r eo v er ,   t h p r o ce s s   w a s   u s ed   to   o b tain   t h m o s ap p r o p r iate  h y p er - pa r a m ete r   v alu e s   i n   t h d ee p   lear n in g   m o d el.   I n   th i n it ial  p h ase,   s e v er al  h y p er - p ar a m eter   p r o ce s s es  w er p er f o r m ed   o n   s ev er al  h id d en   la y er s   an d   n o d es,  b atc h   s ize,   lear n in g   r ate,   ac ti v atio n   f u n ctio n ,   an d   k er n el  i n itial  f o r   d ee p   lear n in g   m o d el    ( DA E - DNN) .   T h e   ex p er i m en ts   u s ed   ca teg o r ical  cr o s s - e n tr o p y   as  th lo s f u n ctio n .   T h b est  ar ch itectu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   4 A u g u s t 2 0 2 1 1 4 0 7   -   1 4 1 8   1412   o b tain ed   f o r   th C E   lo s s   o n   th C SE - C I C - I DS2 0 1 8   d ataset  is   th D A E   s tr u ctu r e,   w it h   7   h i d d en   lay er s   ( 8 0 - 70 - 40 - 30 - 25 - 30 - 40 - 70 - 8 0 ) .   I w a s   ex tr ac ted   a n d   tr an s f er r ed   to   t h e   m o d el  DNN   to   b ec o m 8 0 - 70 - 40 - 30 - 25 - 6 .   T h is   ar ch itect u r w a s   o b tain ed   b y   t r y in g   d if f er en v ar iatio n s   in   t h n u m b er   o f   h id d en   la y er s   D A E   [ 1 ,   3,   5   an d   7 ] .   T h b est  lear n in g   r ate  v alu u s ed   w a s   0 . 0 0 1 ,   w ith   t h v al u es  o f   [ 0 . 0 0 0 0 1 ,   0 . 0 0 0 1 ,   0 . 0 0 1 ,   0 . 0 1 ,   0 . 1 ] .   T h ex p er i m e n u s ed   th i n itial  lec u n _ u n if o r m   k er n e l,  as  w ell  as   th L ea k y   R e L ac ti v atio n   f u n ct io n .   T h L ea k y   R eL w a s   p r ev io u s l y   s elec ted   th r o u g h   t h tu n in g   p r o ce s s   o f   v ar io u s   ac ti v atio n   f u n ctio n s .   T h b atch   s ize  v a lu e   f o r   th b est  m o d el  u s ed   is   2 5 6 .   A ls o ,   th is   w as  o b tain ed   th r o u g h   th t u n i n g   p r o ce s s   w it h   b atch   s ize  v ar iatio n s   3 2 ,   6 4 ,   an d   2 5 6 .     Af ter   g etti n g   th b est m o d el  w ith   th C E   lo s s   f u n ctio n   as  th b asis   o f   co m p ar is o n ,   tu n i n g   f o r   th f o ca l   lo s s   p ar a m eter   w as p er f o r m ed .   T w o   p ar a m eter s   w er tu n ed   i n   m u lt i - c lass   f o ca l lo s s ,   in   wh ich   th s etti n g s   o f   γ   r ed u ce d   th ef f ec t o f   th m o d u latio n   f ac to r .   T h α   p ar am et er   is   th w ei g h t f ac to r   f o r   th class .   T h f o ca l lo s s   p ar am eter s   tu n ed   ar r an g γ     [ 0 ,   5 ]   an d   α     [ 0 ,   1 ] ,   as r ec o m m en d ed   in   [ 3 3 ] .     4 . 2 .     Resul t   o f   v a rio us   o f   f o c a l lo s s     T h ef f ec ti v en e s s   o f   th f o ca l   lo s s   f u n c tio n   i n   attac k   cl a s s i f icatio n   w as  m ea s u r ed   b y   ta k i n g   t h b est   tu n in g   r es u lt  i n   f o ca lo s s   p a r a m eter s .   T h tr ain in g   p r o ce s s   w a s   p er f o r m ed   w it h   th n u m b er   o f   ep o ch =3 0 .     T ab le  2   s u m m ar izes t h o v er a ll h y p er - p ar a m eter   t u n i n g   r e s u lts   f o r   th f o ca l lo s s   f u n ctio n ,   w it h   v ar io u s   v a lu e s   o f     an d   .   A ls o ,   t h w ei g h t a s s i g n ed   to   th e   r ar class   h a s   s tab le  r an g e.   Ho w ev er ,   it  in ter ac t s   w ith   γ ,   m a k i n g   it  n ec es s ar y   to   s elec t h t w o   p ar am eter s   to g et h er ,   as  s h o w n   in   T ab les  2   ( a )   an d   2   ( b ) .   I n   g en er al,     in cr ea s ed   s lig h tl y   a s     f lu ct u at ed .   I n   t h i s   ca s e,     0 . 5   w o r k s   b est  w h en     1 .   T h b est r esu lts   ar t h ac c u r ac y   v al u o f   9 8 . 2 2 3 %,  th s en s iti v it y   o f   9 8 . 2 2 3 %,  an d   s p ec if icit y   o f   9 9 . 8 1 4 % f o r   th en t ir attac k   clas s e s .   T h p r o p o s ed   m o d el  r ea ch ed   t h h ig h es ac cu r ac y   m etr ic  at  =1 .   I is   r ea s o n ab le  b ec au s e     m in i m ize s   th lo s s   co n tr ib u tio n   o f   th d o m in a n clas s   s a m p le  th at  is   e asil y   clas s i f ied .   W h en   p ar am e ter     in cr ea s es,  th e   p r o b a b ilit y   o f   co r r ec class if ic atio n   ( 1   ̂ )   d ec r ea s es.  T h is   p r o b ab il it y   in cr ea s e s   th w ei g h o f   m in o r ity   clas s   s a m p les  t h at  ar d if f ic u lt  to   b class i f ied .   As  r esu lt,  t h m o d el  f o cu s es  o n   t h d if f ic u lt y   c lass   o f   class if ied   s a m p les t h at  lo w er s   cla s s i f icat io n   ac cu r ac y .       T ab le  2 .   E x p er im e n tal  r esu lts   w it h   v ar ie t y   o f   v al u es  α   an d   γ   f o r   class i f y i n g   attac k s   w i t h   3 0   ep o ch   tr ain in g   p r o ce s s es.  ( a)   C SE - C I C - I S2 0 1 8   w it h   α - b alan ce d   C E   ac h ie v e s   at  m o s t 9 8 . 2 1 % a cc u r ac y .   ( b )   I n   co n tr ast,  u s in g   FL   w i th   t h s a m n e t w o r k   w it h   v ar y in g   γ / α   g i v es a cc u r ac y   a t 9 8 . 2 2 3 % a t γ =1   an d   α =0 . 5   s e ttin g s     ( a)   Var y i n g   α   f o r   C E   lo s s   ( γ =0 )   Α   A c c u r a c y   ( %)   S e n si t i v ity   ( %)   S p e c i f i ci ty   ( %)   0 . 1   9 8 . 1 7   9 8 . 1 7   9 9 . 7 9   0 . 2 5   9 8 . 14   9 8 . 1 4   9 9 . 7 0   0 . 5   9 8 . 1 9   9 8 . 1 9   9 9 . 7 9   0 . 7 5   9 8 . 2 1   9 8 . 2 1   9 9 . 7 9   1   9 8 . 16   9 8 . 1 6   9 9 . 7 7     ( b )   Var y in g   γ   f o r   F L   ( w .   o p ti m al  α )   γ     A c c u r a c y   ( %)   S e n si t i v ity   ( %)   S p e c i f i ci ty   ( %)   0   0 . 7 5   9 8 . 2 10   9 8 . 2 1 0   9 9 . 7 9 2   0 . 1   0. 1   9 8 . 1 8 5   9 8 . 1 8 5   9 9 . 7 8 8   0 . 2   0. 7 5   9 8 . 1 5 2   9 8 . 1 5 2   9 9 . 8 0 7   0 . 5   1   9 8 . 2 20   9 8 . 2 2 0   9 9 . 8 1 3   1   0 . 5   9 8 . 2 2 3   9 8 . 2 2 3   9 9 . 8 1 4   2   0. 5   9 8 . 119   9 8 . 1 1 9   9 9 . 7 7 8   5   0 . 7 5   9 8 . 062   9 8 . 0 6 2   9 9 . 7 1 9         4 . 3 .     P er f o rm a nce  a n d c o m p a riso n   T h r esu lts   o f   co n f ig u r i n g   NI DS  w it h   f o ca lo s s   ( NI DS - F L )   w er ev a lu ated   b y   co m p ar i n g   th e m   w it h   cr o s s - e n tr o p y   lo s s   ( NI DS - C E ) ,   an d   w eig h ted   cr o s s - e n tr o p y   lo s s   ( NI DS - W C E )   ac co r d in g l y .   E q u al   v al u es   o f   n et w o r k   ar ch itect u r ( n u m b er   o f   h id d en   la y er s ,   n u m b er   o f   n o d es),   an d   h y p er - p ar a m eter   v a lu w er u s ed .   T h NI DS - C E   an d   NI DS - W C E   co n f ig u r atio n   d o   n o u s th γ   an d   α .   T h w ei g h ted   cr o s s - en tr o p y   u s ed   b alan ce d   m o d e.   I t   m ea n s   t h at  t h is   f u n ct io n   r ep licates  th e   s m aller   cla s s   u n ti t h n u m b er   o f   s a m p les  in   t h m i n o r it y   an d   lar g er   class e s   is   eq u al.   I n   th f ir s s ta g e,   tr ain i n g   w as   co n d u cted   u s in g   ep o ch =3 0 .   Af ter   th tr ain i n g   p r o ce s s ,   an   ev alu a tio n   w a s   p er f o r m ed   u s i n g   te s tin g   d ata.   Fig u r es  2   s h o w   a ll  t h m e tr ic  co m p ar is o n s   w it h   v ar io u s   v ar ian t s   o f   th e   lo s s   f u n ctio n .   I s h o w s   th a f o r   ep o ch =3 0 ,   alm o s th m o d els '   o v e r all  p er f o r m a n ce   u s in g   th f o ca lo s s   f u n ctio n   w a s   b etter   th an   C E   a n d   W C E .   R e s p ec tiv el y ,   th ac c u r ac y   v al u i s   9 8 . 2 3 %,  p r ec is io n   to   9 8 . 3 4 %,  r ec all  ( s en s iti v it y )   to   9 8 . 2 3 %,   an d   s p ec if icit y   to   9 8 . 2 5 %,   as  s h o w n   in   Fig u r 2   ( a ) .   T h is   r esear ch   u s ed   m u lti - clas s   class i f icat io n   f o r   B o T ,   B r u te  Fo r ce ,   DDOS,   Do S,  an d   w eb   attac k s .   T h r es u lts   s h o w ed   t h at  NI DS 's p er f o r m an ce   u s i n g   f o ca l   lo s s   w as  h i g h er   t h a n   cr o s s - en tr o p y   a n d   w e ig h ted   cr o s s - en tr o p y ,   as  p r esen ted   in   F ig u r 2   ( a ) .   T h d etailed   r esu lt  f o r   th en tire   class   m a y   b o b s er v ed   in   T ab le  3 .   T h p r o p o s ed   m o d el  ex ce llen tl y   d etec t ed   B o T   an d   DDo S   attac k s ,   w it h   an   o v er all  p er f o r m an ce   ab o v 9 9 . 9 %.  T h o v er all  p er f o r m an ce   f o r   Do atta ck s   w as  h i g h er   th an   9 0 %,  w h ile  f o r   B r u te  Fo r ce ,   r ec all  p er f o r m an ce   at tain ed   9 4 %,  w ith   p r ec is io n   o f   o n l y   8 4 %.  T h f ile  t r an s f e r   p r o to co l   ( F T P ) - b r u te  attac k   h as  c h ar ac ter is tic  t h at   r ese m b les  th e   s lo w - h y p er tex t   t r an s f er   p r o to co l   ( H T T P )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   w ith   fo ca l lo s s   a p p r o a c h   fo r   a tta ck s   cla s s ifica tio n   ( Yes i No va r ia   K u n a n g )   1413   Do s .   B o th   o f   th e m   ar o f ten   m is c lass if ied   as   r esu lt,  th is   r ed u ce d   th r ec o g n itio n   p er f o r m an ce   o f   b o th   t y p es   o f   attac k s .       T ab le  3 P er f o r m a n ce   o f   ea ch   attac k   clas s   f o r   ep o ch =3 0     B e n i g n   B o T   B r u t e   F o r c e   D D o S   D o S   W e b A t t a c k   P r e c i si o n   ( %)   N I D S - CE   9 9 . 9 6   9 9 . 9 6   8 4 . 2   9 9 . 9 6   9 6 . 0 8   8 1 . 9 4   N I D S - W C E   9 9 . 9 4   9 9 . 9 8   8 3 . 7 7   9 9 . 8 2   9 6 . 5 4   9 7 . 3   N I D S - FL   9 9 . 9 7   9 9 . 9 8   8 3 . 9 1   9 9 . 9 8   9 6 . 5   9 6 . 2 7   R e c a l l   ( %)   N I D S - CE   9 9 . 9 7   9 9 . 9 7   9 3 . 1 6   9 9 . 9 8   9 0 . 6   6 7 . 8 2   N I D S - W C E   9 9 . 9 2   9 9 . 9 5   9 4 . 0 1   9 9 . 9 8   9 0 . 2 1   4 1 . 3 8   N I D S - FL   9 9 . 9 7   9 9 . 9 7   9 3 . 9 7   9 9 . 9 9   9 0 . 3 2   7 4 . 1 4   F1 - S c o r e   ( %)   N I D S - CE   9 9 . 9 7   9 9 . 9 6   8 8 . 4 5   9 9 . 9 7   9 3 . 2 6   7 4 . 2 1   N I D S - W C E   9 9 . 9 3   9 9 . 9 6   8 8 . 6   9 9 . 9   9 3 . 2 7   5 8 . 0 7   N I D S - FL   9 9 . 9 7   9 9 . 9 7   8 8 . 6 5   9 9 . 9 8   9 3 . 3 1   8 3 . 7 7       T o   in v es tig a te  th p er f o r m a n ce   o f   t h lo s s   f u n ct io n   ag a in s t h i m b alan ce d   d ataset,   th is   s t u d y   ex a m in ed   t h m o d el’ s   e f f icie n c y   i n   cla s s i f y in g   t y p es   o f   at tac k s ,   e s p ec iall y   in   m in o r it y   cla s s es.  T h w eb   attac k s   ar m i n o r it y   cla s s   t h at  o n l y   a m o u n ts   to   0 . 0 5 o f   th to tal  d ata  tr ain ed   in   T ab le  1 .   A cc o r d in g   to   T ab le  3   an d   Fig u r 2   ( b ) ,   th NI DS - F L   o u t p er f o r m s   th o th er   m et h o d s   to   class i f y   w eb   attac k s .   T h er e   is   a   s ig n i f ica n in cr ea s e   in   t h v al u o f   p r ec is io n ,   r ec all,   an d   f 1 - s co r co m p ar ed   to   m o d el s   t h at  u s C E   a n d   W C E   lo s s es.  T h r ec all  ( s en s i tiv it y )   r ea c h es  7 4 . 1 4 %,  im p l y i n g   a n   ap p r o x i m ate  in cr e ase  o f   7 f r o m   C E   as   p r i m ar y   lo s s   f u n ctio n .   T h e   m o d el  t h at  u s e s   W C E   in   m i n o r it y   clas s es  w it h   ep o ch =3 0   d o es  n o h a v e x ce lle n s e n s it iv i t y ,   alth o u g h   it  h as  g o o d   p r ec is i o n   v alu e.   T h lo s s   v al u o f   t h 3   m o d els   in   F ig u r es  2   ( c )   an d ,   t h F L   f u n ctio n ,   i s   s m al ler   th a n   t h C E   an d   W C E .   A l s o ,   th n u m b er   o f   m i s cla s s i f icatio n   attac k s   w er co m p ar ed .   T h er r o r   co u n v al u o f   NI DS - F L   i n     Fig u r 2   ( d )   is   lo w er   th a n   o th er   m o d els,  w h ich   ar o n l y   6 9 6 5 .   T h s u p er io r ity   o f   t h FL   s h o w s   t h ef f ec o f   m o d u lar it y   a n d   w ei g h f ac to r s   o n   f o ca lo s s .   B y   s elec ti n g   t h m o s t   ap p r o p r iate  m o d u lar it y   an d   w ei g h f o r   th e   i m b alan ce d   cla s s ,   th lo s s   an d   m is c lass if ica tio n   v a lu e s   ca n   b m in i m ized ,   esp ec iall y   f o r   th m in o r it y   clas s .           ( a)   ( b )       ( c)   ( d )     Fig u r 2 .   Gr ap h s   o f   co m p ar is o n   o f   v ar io u s   te s tin g   r es u lt  m etr ics f o r   all  m o d els ( NI DS - C E ,   NI DS - W C E ,   a n d   NI DS - FL )   f o r   th p r o ce s s   ep o ch   3 0 ;   ( a)   Ov er all  p er f o r m a n ce   o f   attac k s   cla s s i f icatio n ;   ( b )   P e r f o r m a n ce s   o f   m i n o r it y   clas s - W eb   A ttac k   cla s s ;   ( c)   L o s s   v al u o f   all  m o d el ;   ( d )   E r r o r   c o u n t o f   all  m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   4 A u g u s t 2 0 2 1 1 4 0 7   -   1 4 1 8   1414   I n   th n e x p h a s e,   th m o d el  w a s   ev al u ated   b y   in cr ea s i n g   t h n u m b er   o f   ep o ch s   to   2 0 0 .   As  s h o w n   b y   th lo s s   ac h ie v ed   in   Fi g u r 3   ( a) ,   th p r o p o s ed   d ee p   lear n in g   m o d el  u s i n g   F L   w it h   th p r ev io u s l y   s elec ted   h y p er - p ar a m eter s   co n v er g f a s ter   th a n   C E   an d   W C E .   Fig u r e   3   ( b )   s h o w s   t h n e t w o r k   u s in g   F L   s tab ilize s   af ter   ar o u n d   3 0   ep o ch s ,   w h ic h   is   in   co n tr ast   to   1 0 0   e p o ch s   an d   8 0   ep o ch s   w it h   C E   lo s s   an d   W C E   lo s s ,   r esp ec tiv el y .   Ho w e v er ,   w it h   th i n cr ea s i n g   n u m b er   o f   ep o ch s ,   th m o d els   u s in g   th cr o s s - e n tr o p y   f u n cti o n   ar m o r s tab le.   A l s o ,   th e y   ten d   to   k ee p   in cr ea s in g   co m p ar ed   to   m o d els  th at  u s f o ca lo s s   a n d   w eig h ted   cr o s s - en tr o p y   f u n c tio n s .   T h im p r o v e m en t is r ea s o n ab l b ec au s th h y p er - p ar a m eter   tu n i n g   p r o ce s s   w a s   p er f o r m ed   o n   m o d el  w it h   a   cr o s s - e n tr o p y   lo s s   f u n ct io n .   I h as  p r o d u ce d   m o d el  w it h   th m o s ap p r o p r iate  h y p er - p ar am eter s   f o r   d ee p   lear n in g .   T h r esu lti n g   f o ca lo s s   cu r v te n d s   to   f lu ct u ate  d u to   f ac to r   γ .   T h er ef o r e,   w i th   a n   o s cillati n g   c u r v e,   th m o d el  h a s   s li g h tl y   h i g h e r   v alid atio n   v a lu w h e n   th c u r v r ea ch es it s   p ea k .     T ab le  4   s h o w s   th b est  co m p ar is o n   o f   r esu lts   f o r   th 3   m o d el s   af ter   2 0 0   ep o ch s .   T h o v er all  p er f o r m a n ce   r es u lts   ar al m o s th s a m b ased   o n   ac cu r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e,   a n d   s p ec if icit y .   Fo r   in s ta n ce ,   t h r ec all   v a lu e   in d ic ates  t in y   d i f f er en ce   o f   <0 . 0 1 %.  I n   t h w eb   attac k   as   m i n o r it y   cla s s ,   t h o v er all   p er f o r m a n ce s   a f ter   2 0 0   ep o ch s   f o r   m o d els  t h at  u s f o ca lo s s   f u n c tio n   f o r   th p r ec is io n ,   r e ca ll,  ac cu r ac y ,   a n d   F1 - s co r v al u es,  r esp ec ti v el y ,   a m o u n ted   to   9 7 . 7 6 %,  7 5 . 2 9 %,  an d   8 5 . 0 7 %.           ( a)   ( b )     Fig u r 3 .   NI DS v alid atio n   ac c u r ac y   d u r i n g   tr ai n i n g   w it h   C E   lo s s ,   w eig h ted   W C E ,   v s .   f o ca l   lo s s   ( a)   co m p ar is o n   o f   lo s s   v a lu e;  ( b )   co m p ar is o n   o f   ac c u r ac y       T ab le  4 .   C o m p ar is o n   o f   th Hi g h e s t p er f o r m a n ce s   o f   t h NI DS  m o d els p r esen ted   in   t h is   s t u d y     T r a i n i n g   S e t   P e r f o r man c e s i n   ( e p o c h = 3 0 )   T e st i n g   S e t   P e r f o r man c e s i n   %   ( e p o c h = 3 0 )   A c c .   ( o v e r a l l )   P r e c .   R e c a l l /   S e n s.   F1 -   sco r e   S p e c i f .   L o ss   Er r o r     C o u n t   A c c .   ( o v e r a l l )   P r e c .   R e c a l l /   S e n s.   F1 -   sco r e   S p e c i f .   L o ss   Er r o r     C o u n t   N I D S - CE   98 . 2 0   9 8 . 2 9   9 8 . 2 0   9 8 . 2 2   9 9 . 8 0   0 . 0 3 4 0 4   2 8 3 3 0   9 8 . 2 0   9 8 . 2 9   9 8 . 2 0   9 8 . 2 2   9 9 . 8 0   0 . 0 3 3 5 8   7 0 7 6   N I D S - W C E   9 8 . 1 6   9 8 . 2 8   9 8 . 1 6   9 8 . 1 8   9 9 . 7 9   0 . 0 3 4 7 2   2 8 8 9 2   9 8 . 1 7   9 8 . 2 8   9 8 . 1 7   9 8 . 1 9   9 9 . 7 8   0 . 0 3 4 4 1   7 1 9 1   N I D S - FL   9 8 . 2 2   9 8 . 3 3   9 8 . 2 2   9 8 . 2 4   9 9 . 8 1   0 . 0 0 4 0 0   2 7 9 6 2   9 8 . 2 3   9 8 . 3 4   9 8 . 2 3   9 8 . 2 5   9 9 . 8 1   0 . 0 0 3 9 0   6 9 6 5     T r a i n i n g   S e t   P e r f o r man c e s i n   ( e p o c h = 2 0 0 )   T e st i n g   S e t   P e r f o r man c e s i n   %   ( e p o c h = 2 0 0 )   N I D S - CE   9 8 . 2 6   9 8 . 3 8   9 8 . 2 6   9 8 . 2 8   9 9 . 8 2   0 . 0 3 2 6 1   2 7 3 0 3   9 8 . 2 7   9 8 . 3 8   9 8 . 2 7   9 8 . 2 9   9 9 . 8 1   0 . 0 3 2 8 2   6 8 1 4   N I D S - W C E   9 8 . 2 6   9 8 . 3 7   9 8 . 2 6   9 8 . 2 8   9 9 . 8 2   0 . 0 3 2 8 4   2 7 3 8 0   9 8 . 2 6   9 8 . 3 6   9 8 . 2 6   9 8 . 2 8   9 9 . 8 1   0 . 0 3 2 7 2   6 8 5 2   N I D S - FL   9 8 . 2 7   9 8 . 3 8   9 8 . 2 7   9 8 . 2 9   9 9 . 8 2   0 . 0 0 1 4 0   2 7 2 1 8   9 8 . 2 7   9 8 . 3 8   9 8 . 2 7   9 8 . 2 9   9 9 . 8 2   0 . 0 0 1 3 8   6 7 8 8       Mo d els  w it h   d ee p   au to - en co d er   p r e - tr ain in g   p r o ce s s   h av a d v an ta g es  i n   o v er co m i n g   t h i m b alan ce   p r o b lem .   A n   i n cr ea s i n   th l a y er s   o f   d ee p   au to - e n co d er   n et w o r k   r ai s es  t h n u m b er   o f   co m p licated   f ea t u r es   lear n ed   f r o m   t h o r ig in al  d ata.   T r an s f er - la y er   w it h   4   d ee p   en co d in g   la y er s   i n   D A E   ( 7   h id d e n   la y er s )   i m p r o v e s   th DNN  f i n e - tu n i n g   p r o ce s s 's  class i f icatio n   r esu lt s ,   d esp ite  ex tr e m class   i m b ala n ce   p r o b le m s .   Ou o f   th 3   m o d el s ,   alth o u g h   i n   t h w eb - a ttack   clas s   w h er th tr ai n i n g   d ata  o n l y   0 . 0 5 o f   th to tal  d ata,   th s e n s i tiv it y   v alu r ea ch e s   7 4 . 1 4 %,   esp ec i all y   in   th o s t h at  u s th f o ca lo s s   f u n ctio n .   Ho w e v er ,   in   t h w eb - attac k   class ,   th tr ain i n g   d ata  o n l y   0 . 0 5 o f   th to tal  d ata.   I n   th m o d el  th at  u s e s   cr o s s - e n tr o p y ,   th r esu lts   ar ac ce p tab le,   w it h   a   s e n s it iv i t y   r ea ch i n g   al m o s 6 8 %.  O n   t h w e ig h ted   cr o s s - e n tr o p y   m o d el,   th e   s e n s it i v it y   is   o n l y   4 1 . 3 8 %.   T h w ei g h ts   a n d   b ias  i n   t h D NN  n et w o r k   ar i n itialized   ac c o r d in g   to   tr an s f er r ed   v alu e   f r o m   t h e n co d in g   la y er   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   w ith   fo ca l lo s s   a p p r o a c h   fo r   a tta ck s   cla s s ifica tio n   ( Yes i No va r ia   K u n a n g )   1415   o n   DA E .   T h w ei g h ted   cr o s s - en tr o p y ,   w h ich   u s es  th w ei g h f ac to r   p r o p o r tio n al  to   th clas s   f r eq u en c y ,   af f ec t s   th tr ain in g   t h at  is   u n s u itab le  f o r   th p o s itiv s a m p les at  t h b eg in n i n g   o f   th lear n in g   p r o ce s s .   T h f in al  lo s s   la y er   o f   th d ee p   n eu r al  n et w o r k   i s   th s o f t m a x   lo s s   f u n ctio n .   I n   D A E   o p ti m izatio n ,   th w ei g h ts   ar in i tialized   u s i n g   l ec u n _ u n i f o r m .   A s   r e s u l t,  th o u tp u f r o m   ea ch   la y er   i s   u n if o r m l y   d is tr ib u ted .   T h v alu o f   th o u tp u la y e r   in   th d ee p   n eu r al  n et w o r k   f o r   s o f t m a x   f u n ctio n s   is   u n i f o r m l y   d i s tr ib u ted .   A p p r o p r iately ,   th e   m in o r   p o s itiv s a m p le s   ar le s s   cr itica l   in   t h i n it ial  tr ai n i n g   s ta g e.   T h er ef o r e,   in   d ee p   lear n in g   u s in g   f o ca lo s s ,   th e   last   la y er ' s   b ias   ter m   is   in i tial ized   to   s o m n o n - ze r o   v al u [ 3 3 ] .   Mo r f o cu s   is   d ir ec ted   at  th p o s iti v e x a m p les  in   th e   ea r l y   tr ain i n g   s tag e,   an d   th e   w h o le   tr ain in g   p r o ce s s   i s   li k el y   to   b e   ef f ec tiv e.   I n   d ee p   lear n i n g ,   cr o s s - e n tr o p y   lo s s ,   a n d   w ei g h ted   cr o s s - en tr o p y   lo s s   w a s   b ased   o n   w eig h t   in itial izatio n .   Di f f er en t   lo s s   f u n ctio n s   p r o d u ce d   v ar ied   p r ed i ctio n s   o n   v ar io u s   m o d el s .   I n   3 0   ep o ch s ,   th m o d el   u s ed   F L   a n d   ac h ie v ed   s li g h t l y   b etter   ac cu r ac y   th a n   C E   lo s s .   An o th er   ad v a n ta g o f   u s i n g   th FL   f u n ct io n   is   t h a t   th v al u o f   th co s lo s s   is   n ea r   ze r o .   T h lo s s   o f   th e   co s f u n ctio n   r ep r esen t s   h o w   well  th e   m o d el   lear n s   co n ce r n i n g   t h tr ain in g   ex a m p les.   I n   g e n er al,   w it h o u m o d i f y in g   th d i s tr ib u tio n   o f   th e   C SE - C I C - I DS2 0 1 8   d ataset,   th m o d el  r esu lt s   w er s ati s f ac to r y .   T h ese  r esu lts   w er b etter   th an   th p r ev io u s   s t u d y   u s i n g   d ee p   lear n i n g   a n d   r esa m p lin g   tech n iq u es  i n   th s a m d ataset ,   as  s h o w n   in   T ab le  5 .   T h o v er all  ac cu r ac y   o b tain ed   at  9 8 . 2 7 w as  b etter   th an   th d ee p   lear n i n g   m o d el  d ev el o p ed   b y   L in   et   a l [ 2 6 ] .   A n   ac cu r ac y   o f   9 6 . 2 w a s   ac h ie v e d   b y   L i n   et  a l [ 2 6 ] u s i n g   SMOT E   alg o r ith m   f o r   i m b alan ce   cla s s ,   a n d   DNN  m o d el  b ased   o n   lo n g   s h o r ter m   m e m o r y   ( L ST M)   b ased   an d ,   c o m b i n ed   w it h   atte n tio n   m ec h a n is m   ( A M) .   A l s o ,   th eir   s tu d y   co m p ar ed   th v ar io u s   m ac h i n lear n i n g   tech n iq u es  w it h   d ataset s   t h at  h av b ee n   co n d u cted   o v er - s a m p lin g .   A ll  o f   th m u ltip le  m eth o d s   p er f o r m a n ce s   ar n o s ig n i f ica n co m p ar ed   to   th p r o p o s ed   m o d el  in   t h i s   s t u d y .   Fo r   in s ta n ce ,   f o r   w e b   attac k   clas s es  as   m i n o r it y   s a m p le s ,   th e y   clai m e d   th m o d els  d ev e lo p ed   r ea ch ed   9 8 f o r   b etter   r ec all  v alu th an   th m o d el  in   th is   s tu d y ,   w h ic h   is   o n l y   7 5 . 2 9 %.  Ho w ev er ,   th p r ec is io n   v alu an d   F1 - s co r f o r   th w eb   attac k   class   i s   o n l y   3 0 %.  I n   co n tr ast,  th m o d el  p r ec is io n   a n d   F1 - Sco r f o r   w eb   a ttack   cla s s es  w it h   f o ca lo s s   i n   t h is   s tu d y   is   9 7 . 7 6 an d   8 5 . 0 7 %,  r esp ec tiv ely ,   a f te r   2 0 0   ep o ch   tr ain in g .   T h is   s t u d y   is   s u p er io r   to   t h p r ec is io n   v al u a n d   F1 - s co r c o m p ar ed   to   t h p er f o r m an ce s   o f   p r ev io u s   r esear ch ,   as  d etailed   in   T ab le  5 .   Hu [ 2 9 ]   u s ed   v ar io u s   m ac h in e   an d   d ee p   lear n in g ,   as   w el as  u n d er - s a m p lin g   an d   f ea t u r s elec tio n   tec h n iq u es  f o r   p r e - p r o ce s s in g .   T h r ec all  v alu o f   th m o d el  w it h   L i g h t GB w a s   ar o u n d   0 . 1 %,  s lig h tl y   h i g h er   t h a n   th e   m o d el  p r o p o s ed   in   th i s   s t u d y .   Ho w e v er ,   th p r ec is io n   v al u o f   t h is   m o d el  i s   0 . 2 4 s u p er io r   to   th m o d el  th e y   p r o p o s ed .   Un f o r tu n atel y ,   t h eir   r esear ch   d id   n o ex p lain   th ef f ec o f   th m o d el   o n   w eb   attac k s   a s   m i n o r it y   c lass es.   Z h ao   et  a l .,  [ 3 9 ]   w it h   th s e m i - s u p er v is ed   d is cr i m i n an t   au to - e n co d er   ( SS D A ) ,   an d   Fer r ag   et  a l .,  [ 4 8 ]   w ith   Dee p   A u to - e n co d er ,   u tili ze d   u n s u p er v is ed   lear n i n g   w it h o u m o d i f y in g   th e   d ata  d is tr ib u tio n   o n   t h d atase t.  Ho w e v er ,   w it h   t h h y p er - p a r a m eter   p r o ce s s   p er f o r m ed   i n   th is   s t u d y ,   t h d ee p   lear n in g   m o d e p r o p o s ed   r esu lted   in   b etter   d etec tio n .   T h is   m o d el  w o r k s   b etter   w i th   les s   d ata  p r o p o r tio n   an d   d ee p   lear n in g   u s i n g   f o ca l lo s s .   A s   r es u lt,  it  s o lv es  m u ch   o f   th i m b ala n ce - clas s   p r o b lem .   T h is   s t u d y   h as   s u cc ess f u ll y   d e m o n s tr ated   th e   s i g n if ican ce   o f   d ee p   lea r n i n g .   T h is   h a s   b ee n   ac h iev ed   u s i n g   d ee p   au to - e n co d er   as  f ea tu r r ed u ctio n   tec h n iq u w i t h   f o ca lo s s   f u n ctio n s .   I h a s   p r o v id ed   b etter   r esu lts   in   ter m s   o f   s e v er al  p er f o r m a n ce   m etr ics  f o r   I DS,  esp ec iall y   in   i m b ala n ce   clas s es.  Ho w e v er ,   th er h av b ee n   ce r t ain   li m ita tio n s   an d   co n s tr ain ts   in   t h is   s t u d y .   I n   th e   ev a l u atio n   p r o ce s s ,   th e   in f il tr atio n   attac k   c lass   in   t h in itial  te s t w as  eli m i n ated   w i th o u t m o d if y i n g   t h d ataset.   T h is   is   b ec au s it  o f te n   ca u s ed   m i s class if ica tio n   w it h   b en ig n   class .   Ho w ev er ,   f u t u r s tu d ies  s h o u ld   d ev elo p   d ee p   lear n in g   m o d el  w it h   t w o - s tag clas s i f icatio n   th at  d etec ts   in f il tr atio n   attac k s .   A ls o ,   it  is   b eliev ed   th at  t h f o ca lo s s   f u n ctio n   o p ti m izes  t h i m b ala n ce d   class   p r o b lem   u s i n g   o th er   d ee p   lear n in g   a lg o r it h m s .   S u b s eq u e n tl y ,   f u tu r s t u d ies  s h o u ld   tr y   to   e v alu ate  t h i n f l u en ce   o f   th f o ca lo s s   f u n ctio n   w it h   d if f er en d ee p   lear n in g   alg o r ith m s .   T h is   s tu d y   u s ed   th C SE - C I C - I D S2 0 1 8   d ataset  in   th tr ai n i n g   a n d   test in g   p r o ce s s e s .   Fu t u r r esear ch   s h o u ld   co v er   an   an o m al y - b a s ed   o n lin in tr u s io n   d etec tio n   s y s te m .       T ab le  5 .   C o m p ar is o n   o f   th p r o p o s ed   m o d el  an d   p r ev io u s   s t u d ies i n   C SE - C I C - I DS2 0 1 8   d ataset   R e f e r e n c e   H a n d l i n g   I mb a l a n c e d C l a ss  A p p r o a c h   C l a ssi f i e r   A c c u r a c y   ( %)   P r e c i si o n   ( %)   R e c a l l   ( %)   F1 - S c o r e   ( %)   [ 2 6 ]   S M O T E   M L P   L S T M   L S T M + A M     90   93   9 6 . 2   91   91   96   89   93   96   -   -   -   [ 2 9 ]   U n d e r - samp l i n g   L i g h t G B M   M L P   C N N   9 8 . 3 7   9 7 . 5 8   9 8 . 0 6   9 8 . 1 4   9 7 . 2 3   9 7 . 6 0   9 8 . 3 7   9 7 . 5 8   9 8 . 0 6   9 8 . 2 1   9 7 . 3 7   9 7 . 6 7   [ 3 9 ]   O r i g i n a l   D i st r i b u t i o n   S S D A   9 7 . 0 9   -   9 8 . 0 0   -   [ 4 8 ]   O r i g i n a l   D i st r i b u t i o n   C N N   DA   9 7 . 3 8   9 7 . 3 7   -   -   9 7 . 2 8   9 8 . 1 8   -   -   O u r   M e t h o d   O r i g i n a l   D i st r i b u t i o n   D A E+ D N N     ( f o c a l   l o ss)   9 8 . 2 7   9 8 . 3 8   9 8 . 2 7   9 8 . 2 9   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  19 ,   No .   4 A u g u s t 2 0 2 1 1 4 0 7   -   1 4 1 8   1416   5.   CO NCLU SI O N     T h is   s tu d y   p r esen ted   n e w   d ee p   lear n in g   m o d el  to   ad d r es s   th p r o b lem   o f   clas s if y i n g   m u lti - clas s   attac k s .   T h n et w o r k   ar ch itec t u r w as  p ar titi o n ed   i n to   au to m atic  f ea t u r ex tr ac tio n   w it h   d ee p   au to en co d er   u s i n g   7   h id d en   la y er s ,   a n d   class i f ier   w it h   f u l l y   co n n ec ted   d ee p   n eu r al  n e t w o r k .   T h f o ca l   lo s s   f u n ctio n   w a s   ad j u s ted   to   th p r o p o s ed   m o d el  in   an   i m b ala n ce d   d ataset.   T h p r o p o s ed   d ee p   lear n in g   m o d el  u s ed   t h f o ca l   lo s s   to   o b tain   f aster   co n v er g en ce   th a n   cr o s s - e n tr o p y   lo s s   a n d   w ei g h ted   lo s s .   C o n ce r n in g   w eb   attac k   cla s s e s   as m i n o r it y   s a m p le s ,   th e v al u atio n   r esu lts   o f   th C SE - C I C - I DS2 0 1 8   s h o w   t h at  t h d ee p   lear n in g   m eth o d   w it h   f o ca lo s s   i s   h ig h - q u ali t y   c lass i f ier   w it h   9 8 . 3 8 p r ec is io n ,   9 8 . 2 7 s en s iti v it y ,   an d   9 9 . 8 2 s p ec if icit y .   Sev er al  f u tu r s t u d ies  s h o u ld   b b u ilt  o n   t h i s   r esear c h   i n   s e v er al  asp ec ts .   Firs t,  u s i n g   th f o ca l - lo s s   f u n ctio n   o n   i m b alan ce d   d atase ts   s h o u ld   b ev al u ated   b y   co m p ar i n g   th e m   w it h   v ar io u s   d atasets .   I n   th i s   r esear ch ,   t h e   in f iltra tio n   at tack   cla s s   w a s   eli m i n ated ,   w h ic h   b eh a v es  i n   t h s a m w a y   a s   b en i g n   tr a f f i c.   Ho w ev er ,   f u t u r e   s tu d ie s   s h o u ld   i m p r o v d ee p   lear n in g   m o d el  t h at  u s es t w o   s tag e s   to   f ilter   t h in f il tr atio n   attac k s .       ACK NO WL E D G E M E NT S   T h is   r esear ch   h as  r ec eiv e d   f u n d in g   f r o m   I n d o n esia  Mi n is tr y   o f   R esear c h ,   T ec h n o lo g y ,   a n d   Hig h er   E d u ca tio n   ( g r a n a g r ee m e n 1 7 0 /SP 2 H/L T /DR P M/2 0 2 0 ) .   T h au t h o r s   w o u ld   li k to   t h an k   d ata  s cien ce   r e s ea r ch   g r o u p ,   Un i v er s ita s   B in Dar m a ,   an d   Un i v er s it y   f o r   s u p p o r t a n d   f ac ili ties .       RE F E R E NC E S     [1 ]   F .   L i,   R.   X ie,  Z .   W a n g ,   L .   G u o ,   J.  Ye ,   P .   M a ,   a n d   W .   S o n g ,   On li n e   Distri b u ted   Io T   S e c u rit y   M o n i to ri n g   w it h   M u lt i d im e n sio n a S trea m in g   Big   Da ta,”  IEE In ter n e T h i n g J o u rn a l ,   v o l.   7 ,   n o .   5 ,   p p .   4 3 8 7 - 4 3 9 4 ,   M a y   20 20   d o i:   1 0 . 1 1 0 9 /JIOT . 2 0 1 9 . 2 9 6 2 7 8 8 .   [2 ]   K.  R.   S o l li n s,  I o T   Big   Da ta  S e c u rit y   a n d   P riv a c y   V e rsu In n o v a ti o n ,   IEE In ter n e T h i n g J . ,   v o l.   6 ,   n o .   2 ,     p p .   1 6 2 8 - 1 6 3 5 ,   A p r.   2 0 1 9 ,   d o i 1 0 . 1 1 0 9 /JIOT . 2 0 1 9 . 2 8 9 8 1 1 3 .   [3 ]   D.  S ti a w a n ,   M o h d .   Y.  I d ris,   R.   F .   M a li k ,   S .   Nu rm a in i,   N.  A lsh a ri f ,   a n d   R.   Bu d iarto ,   In v e stig a ti n g   Bru te  F o rc e   A tt a c k   P a tt e r n in   I o T   Ne tw o rk ,   J o u r n a o El e c trica l   a n d   C o mp u ter   En g in e e rin g ,   v o l.   2 0 1 9 ,   p p .   1 1 3 ,   A p r.   2 0 1 9 ,     d o i:   1 0 . 1 1 5 5 /2 0 1 9 / 4 5 6 8 3 6 8 .   [4 ]   K.  Yo sh ig o e ,   W .   Da i,   M .   A b ra m so n ,   a n d   A .   Ja c o b s,  Ov e rc o m in g   in v a sio n   o f   p riv a c y   in   sm a rt  h o m e   e n v iro n m e n t   w it h   s y n th e ti c   p a c k e in jec t io n ,   2 0 1 5   T RON   S y mp o siu ( T RONS HO W ) ,   De c .   2 0 1 5 ,   p p .   1 - 7 ,     d o i:   1 0 . 1 1 0 9 /T RON S HO W . 2 0 1 4 . 7 3 9 6 8 7 5 .   [5 ]   B.   Ya n g ,   L .   G u o ,   F .   L i,   J.  Ye ,   a n d   W .   S o n g ,   V u ln e ra b il i ty   a ss e ss m e n ts  o f   e lec tri c   d riv e   s y ste m d u e   to   se n so r   d a ta  i n teg rit y   a tt a c k s ,   IEE T ra n s.  I n d .   I n f. ,   v o l.   1 6 ,   n o .   5 ,   p p .   3 3 0 1 - 3 3 1 0 ,   M a y   2 0 2 0 ,   d o i:   1 0 . 1 1 0 9 /T II. 2 0 1 9 . 2 9 4 8 0 5 6 .   [6 ]   M .   M .   Ha ss a n ,   A .   G u m a e i,   S .   Hu d a ,   a n d   A .   A l m o g re n ,   In c re a sin g   th e   tru stw o rth in e ss   in   t h e   in d u stri a Io T   n e t w o rk s   th ro u g h   a   re li a b le  c y b e ra tt a c k   d e tec ti o n   m o d e l ,   IEE T r a n s.  I n d .   In f. ,   v o l .   1 6 ,   n o .   9 ,   p p .   6 1 5 4 - 6 1 6 2 ,   S e p .   2 0 2 0 ,     d o i:   1 0 . 1 1 0 9 /T II. 2 0 2 0 . 2 9 7 0 0 7 4 .   [7 ]   N.  Ch a a b o u n i,   M .   M o sb a h ,   A .   Zem m a ri,   C.   S a u v ig n a c ,   a n d   P .   F a ru k i,   Ne t w o rk   in tru sio n   d e tec ti o n   f o Io T   se c u rit y   b a se d   o n   lea rn i n g   tec h n iq u e s,”   IE EE   Co mm u n ica t io n S u rv e y s &   T u to ri a ls ,   v o l .   2 1 ,   n o .   3 ,   p p .   2 6 7 1 - 2 7 0 1 ,   Ja n .   2 0 1 9 d o i:   1 0 . 1 1 0 9 /COM S T . 2 0 1 9 . 2 8 9 6 3 8 0 .   [8 ]   J.  A .   Ju p in ,   T .   S u ti k n o ,   M .   A .   Ism a il ,   M .   S .   M o h a m a d ,   S .   Ka sim ,   a n d   D.  S ti a w a n ,   Re v ie w   o f   th e   m a c h in e   lea rn in g   m e th o d s   in   t h e   c las sif i c a ti o n   o f   p h ish i n g   a tt a c k ,   Bu ll e ti n   o f   El e c t ric a E n g i n e e rin g   a n d   I n fo rm a ti c s ,   v o l.   8 ,   n o .   4 ,   p p .   1 5 4 5 - 1 5 5 5 ,   De c .   2 0 1 9 ,   d o i 1 0 . 1 1 5 9 1 /ee i. v 8 i 4 . 1 3 4 4 .   [9 ]   R.   V in a y a k u m a r,   M .   A laz a b ,   K.  P .   S o m a n ,   P .   P o o rn a c h a n d ra n ,   A .   A l - Ne m ra t,   a n d   S .   V e n k a tra m a n ,   De e p   L e a rn in A p p ro a c h   f o In telli g e n In tr u si o n   De tec ti o n   S y ste m ,   IEE Acc e ss ,   v o l.   7 ,   p p .   4 1 5 2 5 - 4 1 5 5 0 ,   A p r.   2 0 1 9 ,     d o i:   1 0 . 1 1 0 9 /A CCES S . 2 0 1 9 . 2 8 9 5 3 3 4 .   [1 0 ]   J.  M a ji d p o u a n d   H.  Ha sa n z a d e h ,   A p p li c a ti o n   o f   d e e p   lea rn in g   t o   e n h a n c e   th e   a c c u ra c y   o f   in tru si o n   d e tec ti o n   in   m o d e rn   c o m p u ter  n e tw o rk s,”   Bu ll e ti n   o El e c trica E n g in e e rin g   a n d   In f o rm a ti c s ,   v o l .   9 ,   n o .   3 ,   p p .   1 1 3 7 1 1 4 8 ,   J u n .   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 /ee i. v 9 i3 . 1 7 2 4 .   [ 1 1 ]   M .   M .   N a j a f a b a d i ,   F .   V i l l a n u s t r e ,   T .   M .   K h o s h g o f t a a r ,   N .   S e l i y a ,   R .   W a l d ,   a n d   E .   M u h a r e m a g i c ,   D e e p   l e a r n i n g   a p p l i c a t i o n s   a n d   c h a l l e n g e s   i n   b i g   d a t a   a n a l y t i c s ,   J o u r n a l   o f   B i g   D a t a ,   v o l .   2 ,   n o .   1 ,   D e c .   2 0 1 5 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 014 - 0007 - 7.   [1 2 ]   Y.  L e Cu n ,   Y.  Be n g io ,   a n d   G .   Hin to n ,   De e p   lea rn in g ,   Na t u re ,   v o l.   5 2 1 ,   n o .   7 5 5 3 ,   p p .   4 3 6 - 4 4 4 ,   M a y   2 0 1 5 ,     d o i:   1 0 . 1 0 3 8 /n a t u re 1 4 5 3 9 .   [1 3 ]   K.  No d a ,   Y.   Ya m a g u c h i,   K.   Na k a d a i,   H.  G .   Ok u n o ,   a n d   T .   Og a ta,  A u d io - v isu a s p e e c h   re c o g n i ti o n   u si n g   d e e p   lea rn in g ,   Ap p li e d   I n telli g e n c e ,   v o l.   4 2 ,   n o .   4 ,   p p .   7 2 2 7 3 7 ,   Ju n .   2 0 1 5 ,   d o i:   1 0 . 1 0 0 7 /s1 0 4 8 9 - 0 1 4 - 0 6 2 9 - 7.   [1 4 ]   R.   K.  M e lep p a t ,   C.   S h e a rw o o d ,   S .   L .   Ke e y ,   a n d   M .   V.  M a t h a m ,   Q u a n ti tativ e   o p ti c a c o h e re n c e   m icr o sc o p y   f o th e   in   sit u   in v e stig a ti o n   o f   th e   b io f il m ,   J .   Bi o me d .   Op t ,   v o l.   2 1 ,   n o .   1 2 ,   p .   1 2 7 0 0 2 ,   De c .   2 0 1 6   d o i:   1 0 . 1 1 1 7 /1 . JBO . 2 1 . 1 2 . 1 2 7 0 0 2 .   [1 5 ]   K.  M .   Ra th e e sh ,   L .   K.  S e a h ,   a n d   V .   M .   M u r u k e sh a n ,   S p e c tral  p h a se - b a se d   a u to m a ti c   c a li b ra ti o n   sc h e m e   f o s we p so u rc e - b a se d   o p t ica c o h e re n c e   to m o g r a p h y   s y ste m s,”   Ph y s.  M e d .   Bi o l. ,   v o l .   6 1 ,   n o .   2 1 ,   p p .   7 6 5 2 - 7 6 6 3 ,   N o v .   2 0 1 6 ,   d o i:   1 0 . 1 0 8 8 /0 0 3 1 - 9 1 5 5 / 6 1 / 2 1 / 7 6 5 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.