T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  2 3 ,   No .   2 ,   A p r il 2 0 2 5 ,   p p .   393 ~ 401   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 2 3 i2 . 2 6 6 1 4          393     J o ur na l ho m ep a g e :  h ttp : //telko mn ika . u a d . a c. i d   Adv ersa ria l - ro bu st stega na ly sis  sy ste m  levera g ing  ad v ersa ria l  training  and  E f fic ientNe t       T ha k w a n A k ra m   J a w a d 1, 2 ,   J a m s hid   B a g herz a deh M o ha s ef i 1 ,   M o ha mm ed  Sa la h Re da   Abdelg ha ny 3   1 D e p a r t me n t   o f   C o m p u t e r   En g i n e e r i n g ,   F a c u l t y   o f   El e c t r i c a l   a n d   C o m p u t e r   En g i n e e r i n g ,   U r mi a   U n i v e r si t y ,   U r mi a ,   I r a n   2 D e p a r t me n t   o f   S y st e m a n d   C o n t r o l   E n g i n e e r i n g ,   C o l l e g e   o f   El e c t r o n i c   E n g i n e e r i n g ,   N i n e v a h   U n i v e r si t y ,   M o su l ,   I r a q   3 D e p a r t me n t   o f   c o mp u t e r   sci e n c e ,   F a c u l t y   o f   c o mp u t e r s a n d   a r t i f i c i a l   i n t e l l i g e n c e ,   B e n i - S u e f   U n i v e r si t y ,   B e n i   S u e f ,   Eg y p t       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   24 ,  2024   R ev i s ed   Dec   27 ,  2 0 2 4   A cc ep ted   J an   22 ,  2 0 2 5       S teg a n a l y sis  a i m s  to   d e tec t  h i d d e n   m e ss a g e s  w it h in   d ig it a l  m e d ia,  p re se n ti n g   a   sig n if ica n t  c h a ll e n g e   in   th e   field   o f   in f o rm a ti o n   se c u rit y .   Th is  p a p e r   in tro d u c e s  a n   a d v e rsa rial - ro b u st  ste g a n a l y sis   s y ste m   le v e ra g in g   a d v e rsa rial   train in g   a n d   th e   p o w e rf u l  f e a tu re   e x trac ti o n   c a p a b il it ies   o f   Ef f i c ie n tNe t.   W e   u ti li z e   Ef f icie n tNe t  to   e x trac t  ro b u st  f e a tu re s  f ro m   ima g e s,  w h ich   a re   su b se q u e n tl y   c las si f ied   b y   a   d e n se   n e u ra l  n e tw o rk   to   d isti n g u ish   b e tw e e n   ste g a n o g ra p h ic  a n d   n o n - ste g a n o g ra p h ic  c o n ten t.   T o   e n h a n c e   th e   s y ste m ’ s  re sili e n c e   a g a in st  a d v e rsa rial  a tt a c k s,  we   i m p le m e n t  a   c u sto m   a d v e rsa rial   train in g   l o o p   th a t  g e n e ra tes   a d v e rsa rial  e x a m p le s  u sin g   th e   f a st  g ra d ien t  sig n   m e th o d  ( F G S M )  a n d   i n teg ra tes   th e se   e x a m p les   in to   t h e   train i n g   p r o c e ss .   Ou r   re su lt s  d e m o n stra te  th a t  th e   p r o p o se d   s y ste m   n o t  o n ly   a c h iev e s  h ig h   a c c u ra c y   in   d e tec ti n g   ste g a n o g ra p h ic  c o n t e n t  b u t  a lso   m a in tain s  ro b u st n e ss   a g a in st  a d v e rsa rial  p e rtu rb a ti o n s.  T h is  d u a l  a p p r o a c h   o f   lev e ra g in g   sta te - of - th e - a rt  d e e p   lea rn i n g   a rc h it e c tu re s   a n d   a d v e rsa rial  train in g   p ro v id e s  a   s ig n if ica n t   a d v a n c e m e n t  in   t h e   f ield   o f   ste g a n a ly sis,  e n su rin g   m o re   re li a b le  d e tec ti o n   o f   h id d e n   m e ss a g e s in   d ig it a l  im a g e s.   K ey w o r d s :   A d v er s ar ial  attac k s   Dee p   lear n in g   E f f icien tNet   Steg a n al y s i s   Steg a n o g r ap h y   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   J am s h id   B ag h er za d eh   Mo h a s e f i   Dep ar t m en t o f   C o m p u ter   E n g i n ee r in g ,   Fac u lt y   o f   E lectr ical  an d   C o m p u ter   E n g in ee r i n g ,   Ur m ia  Un iv er s it y   11   Km   Ser o w   R o ad ,   Ur m ia,   W est A ze r b aij an ,   I r an   E m ail: j . b ag h er za d eh @ u r m ia. ac . ir         1.   I NT RO D UCT I O N   I n   to d a y ’ s   d ig i tal  ag e,   e n s u r in g   th e  s ec u r it y   o f   i n f o r m atio n   tr an s m i s s io n   h a s   b ec o m e  a  cr itica l  co n ce r n .   Steg a n o g r ap h y ,   th e  p r ac tice  o f   h id in g   s ec r et  m es s ag e s   w it h i n   d ig ital  m ed ia,   p o s es a   u n iq u e  ch alle n g e  a s   it c an   b e  u s ed   f o r   b o th   leg iti m a te  an d   m alic io u s   p u r p o s es.  Ste g a n a l y s i s ,   th e  ar t  o f   d etec tin g   th e s e  h id d en   m es s ag e s ,   is   th er ef o r e  o f   p ar am o u n t i m p o r tan c e   [ 1 ] - [ 3 ] .   T r a d itio n al  s te g an al y s is   m e th o d s   o f te n   s tr u g g le  w ith   r o b u s t n es s ,   esp ec iall y   w h e n   f ac ed   w it h   ad v er s ar ial  attac k s   d esi g n ed   to   d ec eiv e  d etec tio n   s y s te m s   [ 4 ] ,  [ 5] .   T h e  n ee d   to   en h a n ce   m o d el  r o b u s t n ess   ag ai n s t a d v er s ar ial  a t tack s   h as   b ec o m e  a  cr itica l a r e a  o f   f o c u s   in   t h e  f ield   o f   m ac h i n e  lear n i n g .   A d v er s ar ial  a ttack s   p o s e  s i g n i f ican t  th r ea t s   b y   s u b tl y   al ter in g   in p u t  d ata,   w h ic h   ca n   d ec eiv e  m o d els  i n to   m ak i n g   er r o n eo u s   p r ed ictio n s ,   p o ten tiall y   lead in g   to   s e v er e  co n s e q u en ce s   i n   s e n s iti v e   d o m ai n s   li k e  f in a n ce ,   h ea lt h c ar e,   an d   au to n o m o u s   s y s te m s   [ 6 ] .   T h ese  attac k s   ex p lo it  th e  v u l n er ab ilit ie s   in   a   m o d el ’ s   d ec is io n   b o u n d ar y ,   r ev ea li n g   th a t  m o d els  m i g h t  p er f o r m   w el l  in   co n tr o lled   en v ir o n m en ts   b u t  ar e   f r ag ile  w h en   f ac ed   w it h   ad v er s ar ial  in p u t s .   Stre n g th e n i n g   t h e  r o b u s tn e s s   o f   m o d els  is   es s e n tial  to   en s u r e  th eir   r eliab ilit y   a n d   ac cu r ac y   i n   r e al - w o r ld   ap p licatio n s ,   w h er e  ad v er s ar ial  co n d itio n s   m ig h t  b e  en co u n ter ed   [ 7 ] .   A p p r o ac h es  s u c h   as  ad v er s ar i al  tr ain i n g ,   w h ic h   i n v o lv es  tr ain i n g   m o d els  w i th   ad v er s ar ial   ex a m p le s ,   an d   t h e   u s e  o f   r o b u s t  o p ti m izat io n   tech n iq u e s ,   h av e  s h o w n   p r o m i s e  in   m iti g ati n g   t h ese  v u l n er ab ilit ie s   [ 8 ] .   A d d itio n all y ,   i m p le m en t in g   d ef e n s iv e  s tr at eg ies  l ik e  g r ad ien t   m a s k in g   a n d   in p u t  tr an s f o r m atio n   ca n   f u r th er   e n h a n ce   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   2 ,  A p r il  20 25 :  3 9 3 - 401   394   m o d el ’ s   ab ilit y   to   w it h s t an d   ad v er s ar ial  p er tu r b atio n s   [ 9 ] .   B y   f o cu s i n g   o n   d ev elo p in g   r o b u s t  m ac h in e  lear n in g   m o d el s ,   th e  f ield   ca n   b etter   p r o tect  th ese  s y s te m s   f r o m   ad v er s ar ial  th r ea t s ,   en s u r i n g   t h eir   s a f et y   a n d   ef f ec tiv e n e s s   ac r o s s   v ar io u s   a p p licatio n s .   I n   t h is   p ap er ,   w e  p r o p o s e   an   ad v an ce d   s teg a n al y s is   s y s te m   t h at  lev er a g es  t h e  f ea t u r e  ex tr ac tio n   ca p ab ilit ies  o f   E f f icie n tNet  [ 1 0 ]   an d   in co r p o r ates  ad v er s ar ial  tr ain in g   to   en h a n ce   r o b u s tn e s s   ag ain s t   ad v er s ar ial   attac k s .   Ou r   a p p r o a ch   i n v o lv es t r a in in g   a   d en s e   n eu r a l  n e tw o r k   o n   f e a tu r e s   ex t r a ct e d   b y   E f f ic i e n t N et ,   c o m b in e d   w ith   a   c u s t o m   a d v e r s a r i a l   t r ai n i n g   l o o p   u s in g   th e   f as t   g r a d i en t s i g n   m e th o d   ( F GS M )   [ 1 1 ] .   G o o d f e l l o w   et   a l .   [ 1 1 ]   in tr o d u ce d   th e  FGSM to   cr ea te  ad v er s ar ial  ex a m p les.  T h is   tech n iq u e  lev er ag e s   th e  d er iv at iv e  o f   th e  n et w o r k ’ s  lo s s   f u n ctio n   co n ce r n in g   t h e  i n p u t  f ea t u r e  v ec to r .   Fo r   a  g iv en   i n p u t  i m a g e,   FG SM  p er tu r b s   ea ch   f ea t u r e  b y   ad j u s tin g   it  in   t h e  d ir ec tio n   o f   th e  g r ad ien t.  C o n s eq u e n tl y ,   t h is   m o d if icat io n   alte r s   t h e  cla s s i f icatio n   o u tco m e   o f   th e  in p u t  i m ag e.   Fo r   a  n eu r al  n et w o r k   w i th   a  cr o s s - e n tr o p y   lo s s   f u n ct io n ,   w h er e  th e  in p u t  i m a g e  an d   tar g et   class   ar e  s p ec if ied ,   th e  ad v er s ar ial  ex a m p le  is   g e n er ated   b y   ad d in g   a  s m al l  p er tu r b atio n   to   th e  o r ig in al  i m a g e.   T h is   p er tu r b atio n   is   co n tr o lled   b y   a  p ar a m eter   t h at  d eter m in es  i ts   s ize,   en s u r i n g   th e  c h a n g e s   ar e  s u b tle  y e t   ef f ec tiv e  i n   m is lead in g   th e  n et w o r k   [ 1 1 ] .   Dee p Fo o l  is   an   u n tar g eted   attac k   m et h o d   th at  g e n er ates  ad v er s ar ial  ex a m p le s   th r o u g h   iter ativ e  p er tu r b atio n s   o f   an   i m a g e.   T h is   ap p r o ac h   aim s   to   f in d   th e  n e ar est d ec is io n   b o u n d ar y   b y   s l i g h t l y   m o d i f y in g   th e   i m a g e  in   ea c h   iter atio n   u n til  th e  alter ed   i m a g e  c h an g es  t h e  n et w o r k ’ s   cla s s i f icatio n   [ 1 2 ] .   T h e  C ar lin i  a n d   W ag n er   ( C & W )   m et h o d ,   n a m ed   af ter   its   cr ea to r s ,   is   a  p o w er f u l  attac k   th at   ca n   b e  eit h er   tar g eted   o r   u n tar g eted .   I t  u tili ze s   t h r ee   m etr ic s   to   m e asu r e  d is to r tio n :  L 0 ,   L 2 ,   an d   L ∞  n o r m s ,   w it h   t h e  u n tar g ete d   L 2   n o r m   v er s io n   b ein g   n o ted   f o r   it s   s u p er io r   p er f o r m an ce .   T h is   m e th o d   g e n er ates  ad v er s ar ia l  ex a m p les  b y   s o l v i n g   an   o p tim izatio n   p r o b lem   to   f i n d   th e  s m a lles t  p er tu r b atio n   th a t  m is lead s   th e  n et w o r k .   T h e  o p ti m izat io n   b alan ce s   m i n i m izi n g   t h e  p er tu r b atio n   a n d   alter in g   t h e  n e t w o r k ’ s   cla s s if ica tio n ,   co n tr o lled   b y   a  h y p er p ar am eter .   T h is   attac k   s ee k s   th e  m i n i m al  L 2   n o r m   p er tu r b atio n   to   ch a n g e  th e  i m a g e ’ s   clas s i f icatio n   w h ile  e n s u r i n g   t h e   p er tu r b ed   im ag e  r e m ai n s   w it h in   v alid   p ix el  v al u es.  T h e  m et h o d   also   in co r p o r ates  a  c o n f i d en ce   p ar am eter   to   g en er ate  ad v er s ar ial  e x a m p le s   w it h   h ig h   clas s i f icatio n   co n f id en ce ,   w h ic h   en h an ce s   th eir   tr a n s f er ab ilit y   to   o th er   m o d el s .   T h e  C & W   m eth o d   is   r ec o g n ized   f o r   its   r o b u s t n es s   a n d   d if f icu l t y   to   d ef e n d   ag ai n s t   [ 1 3 ] .   Qin   et  a l.   [ 1 4 ]   lev er ag es  v ec to r - w is e  e m b ed d in g   w it h   co lo r   p ix el  v ec to r s   ( C P V)   f o r   c o lo r   im a g e   s teg a n o g r ap h y ,   i m p r o v in g   u p o n   tr ad itio n al  ele m e n t - w i s e  e m b ed d in g .   I n   p ar tic u lar ,   th i s   m et h o d   u s e s   th e   iter ativ e  f a s t  g r ad ie n t  s i g n   m eth o d   (I - FGSM)   to   g en er ate  ad v er s ar ial  p er tu r b atio n s   t h at   ef f ec t iv el y   d ec eiv e   s teg a n al y tic  co n v o lu tio n al  n e u r al  n et w o r k s   ( C NN s ) .   B y   in cr e m en tall y   ad j u s ti n g   ad v er s ar ia l  co s ts   w it h i n   n o n - o v er lap p in g   s u b - i m a g es,  th i s   ap p r o ac h   r e d u ce s   d etec tab ilit y ,   m ai n tain in g   a  h ig h   s u cc e s s   r ate  ag ain s t  C NN - b ased   s teg a n al y ze r s .   R o b u s t n ess - b ased   d ef en s e  f o c u s e s   o n   co r r ec tly   clas s i f y in g   ad v er s a r ial  ex a m p le s ,   an d   v ar io u s   m et h o d s   h a v e  b ee n   d ev elo p ed   to   ac h iev e  th is .   O n e   co m m o n   ap p r o ac h   is   ad v er s a r ial  tr ain in g ,   w h ich   in v o l v es a u g m e n ti n g   th e  tr ai n i n g   s et  w it h   a  m ix   o f   n o r m al  a n d   ad v er s ar ial  ex a m p le s   to   i m p r o v e  th e  n et w o r k ’ s  r esil ien ce   [ 1 1 ] .   An o th er   s tr ateg y   is   p r ep r o ce s s i n g   i n p u t  i m ag e s   to   r e m o v e  ad v er s ar ial  p er tu r b ati o n s   th r o u g h   tech n iq u es  s u c h   as  p r in cip al  c o m p o n en t  a n al y s i s   ( P C A ) .   B h ag o j i  et  a l.   [ 1 5 ]   in v esti g a te  th e  en h a n ce m en t  o f   m ac h in e  lear n in g   s y s te m   r o b u s tn e s s   t h r o u g h   v ar io u s   d ata  tr an s f o r m atio n s .   T h eir   s tu d y   r e v ea ls   t h at     ce r tai n   tr an s f o r m a tio n s ,   s u c h   a s   in p u t  p r ep r o ce s s in g ,   f ea tu r e  m an ip u latio n ,   an d   P C A ,   ca n   s i g n i f ica n tl y   m iti g ate   th e  i m p ac t  o f   ad v er s ar ial   at tack s ,   t h er eb y   i m p r o v i n g   t h e  r esil ie n ce   o f   n e u r al  n et wo r k s   to   ad v er s ar ial   p er tu r b atio n s   [ 1 5 ] ,  [ 1 6 ] .   An o th er   m eth o d   is   J P E G  co m p r ess io n ,   ad d in g   n o is e,   cr o p p i n g ,   a n d   r o tatin g .   Das  et  a l.   [ 1 7 ]   p r o p o s e   u s i n g   J P E G  c o m p r ess io n   as  a   p r ep r o ce s s in g   s tep   to   d ef en d   ag ain s t  ad v er s ar ial  attac k s .   B y   r e m o v i n g   h ig h - f r eq u en c y   s i g n al  co m p o n e n ts   th r o u g h   s elec t iv e  b l u r r in g ,   J P E G  c o m p r ess io n   ca n   m iti g ate  th e  i m p ac t  o f   p er tu r b atio n s   ad d ed   t o   im ag e s .   T h eir   ap p r o ac h   s h o w s   th a t  th is   tech n iq u e  ca n   s i g n i f ica n tl y   r ed u ce   th e  ef f icac y   o f   s e v er al  attac k   m et h o d s ,   in c l u d in g   t h e  F SGM   a n d   Dee p Fo o l,  w ith o u t  r eq u ir i n g   p r io r   k n o w led g e  o f   th e   m o d el   u n d er   attac k .     Pa p e r n o t   e t   a l .   [ 1 8 ]   i n t r o d u ce   d e f en s iv e   d i s t i ll a t i o n   as   a   m et h o d   t o   e n h an c e   th e   r o b u s tn ess   o f   d e e p   n e u r a l  n e t w o r k s   ( D NN s )   ag ai n s t   a d v e r s a r i al   a t t ac k s .   B y   l ev e r ag in g   k n o w l e d g e   d is t il l a ti o n   t e ch n iq u e s ,   t h i s   a p p r o a ch   r e d u c es   t h e   e f f e ct iv en es s   o f   ad v e r s a r i a l   s am p l e   g en e r at i o n ,   s ig n if i c an t ly   m it ig at in g   t h e   s u c c e s s   r a t e   o f   s u c h   a t t a ck s .   T h e   s tu d y   d em o n s t r a te s   a  d r am a t i c  r e d u c t i o n   in   a d v e r s a r i al   ef f e ct iv en e s s ,   h i g h l ig h t i n g   th e   p o t en t i a l  o f   d i s t il l at i o n   t o   im p r o v e   D N N   s e c u r ity   a n d   r es i li en c e .   D ef e n s iv e   d is t il l a ti o n   en h an c es   r o b u s tn es s   b y   h i d in g   th e  g r a d i en t   b etw e en   t h e   p r e - s o f tm a x   l ay e r   a n d   s o f tm ax   o u t p u t s   u s in q in g   d i s t i ll a t i o n   t r ain in g   t e ch n i q u e s   [ 1 6 ] ,  [ 1 8 ] .   A d d itio n al l y ,   o b f u s ca ted   g r a d ien ts   h i n d er   attac k er s   b y   m ak in g   it   d if f ic u lt  to   co m p u te  f ea s ib le   g r ad ien ts   f o r   g en er ati n g   ad v er s ar ial  ex a m p le s .   A t h al y e  et  a l.   [ 1 9 ]   i d en tify   a n d   an al y ze   o b f u s ca ted   g r ad ien t s ,   a  f o r m   o f   g r ad ien t  m as k i n g   t h at  f alsel y   ap p ea r s   to   o f f er   s ec u r it y   a g ai n s t  ad v er s ar ial   attac k s .   T h e  s t u d y   d em o n s tr ate s   t h at  d e f en s es   r el y i n g   o n   o b f u s ca ted   g r ad ie n ts   ca n   b e  e f f ec tiv el y   c ir cu m v en ted ,   s h o w ca s i n g   tech n iq u es  to   b y p ass   s u c h   d ef en s es  an d   r ev ea li n g   th eir   v u l n er ab ilit y   in   a  w h i te - b o x   s ettin g .   T h e  p ap e r   e m p h a s izes  th a t  m a n y   d ef e n s es  ac ce p ted   at  I n ter n atio n al  C o n f er en ce   o n   L ea r n i n g   R ep r esen tatio n s   ( I C L R )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A d ve r s a r ia l - r o b u s t steg a n a lysi s   s yste m  leve r a g in g   a d ve r s a r ia l tra in in g   …   ( Th a kwa n   A kra m   Ja w a d )   395   2 0 1 8 ,   w h ic h   clai m   r o b u s t n ess ,   ac tu all y   d ep en d   o n   o b f u s ca te d   g r ad ien ts ,   m ak in g   th e m   s u s ce p tib le  to   tar g eted   attac k s   [ 1 9 ] .   Me n g   a n d   C h en   [ 2 0 ]   p r o p o s ed   Ma g Net,   a  f r a m e w o r k   f o r   d ef en d in g   n e u r al  n et w o r k s   ag ai n s t   ad v er s ar ial  ex a m p les.  T h is   f r a m e w o r k   n e ith er   m o d i f ie s   th e  p r o tecte d   class if ier   n o r   r eq u ir es  k n o w led g e  o f   th e   ad v er s ar ial  ex a m p le  g e n er atio n   p r o ce s s .   Ma g Net  e m p lo y s   d etec to r   n et w o r k s   to   d is ti n g u i s h   b et w ee n   n o r m a l  an d   ad v er s ar ial  ex a m p les  b y   a p p r o x im a tin g   t h e  m a n i f o ld   o f   n o r m al  ex a m p le s .   A d d itio n a ll y ,   a  r ef o r m er   n et w o r k   is   u s ed   to   m o v e  ad v er s ar ial  e x a m p les  clo s er   to   th e  m an if o ld   o f   n o r m al  ex a m p les,  e n ab lin g   co r r ec t  class if icatio n .   Ma g Net  h a s   d e m o n s tr ated   ef f ec tiv e n ess   a g ain s t  s tate - of - t h e - ar t  attac k s   i n   b lack - b o x   a n d   g r a y - b o x   s ce n ar io s   w it h o u t sacr i f ici n g   f alse p o s iti v e  r ates.   T ar an   et  a l.   [ 2 1 ]   p r o p o s ed   a  k e y - b a s ed   d iv er s if ied   ag g r eg a ti o n   ( KDA )   m ec h a n is m   to   d ef e n d   DNNs  ag ain s t  ad v er s ar ia l  attac k s   i n   g r a y - b o x   an d   b lack - b o x   s ce n a r io s .   KDA   i n v o lv e s   a  m u lti - c h an n el  ar ch itect u r e   w it h   r a n d o m ize d   tr an s f o r m ati o n s   ap p lied   to   ea ch   ch a n n el.   T h e  r an d o m iza tio n ,   b ased   o n   a  s ec r et  k e y ,   p r ev en ts   g r ad ien t  b ac k p r o p ag atio n   an d   h in d er s   th e  attac k er ’ s   ab ilit y   to   cr ea te  ef f ec ti v e  ad v er s ar ial  ex a m p les.  B y   ag g r e g ati n g   t h e  o u tp u ts   f r o m   m u lt ip le  ch a n n el s ,   KD A   i m p r o v es  t h e  r o b u s t n es s   an d   r eliab ilit y   o f   th e   class i f icatio n   p r o ce s s .   T h e  au th o r s   d e m o n s tr ated   t h e  e f f ec t iv en e s s   o f   KD A  ag ai n s t  v ar io u s   s ta te - of - th e - ar t   attac k s ,   i n cl u d in g   g r ad ie n t - b a s ed   an d   n o n - g r ad ien t - b ased   m e th o d s   [ 2 1 ] .   E f f icien tNetB 0   is   p ar t  o f   t h e  E f f icien tNet  f a m il y ,   a  s er ies  o f   C NN s   d esi g n ed   f o r   h i g h   p er f o r m an c e   an d   ef f icie n c y .   T h e  k e y   in n o v atio n   i n   E f f icie n tNe t  is   t h e  u s e  o f   a  co m p o u n d   s ca li n g   m et h o d   th at  u n if o r m l y   s ca les  all  d i m en s io n s   o f   d ep th ,   w id th ,   an d   r eso l u tio n   u s in g   a  s i m p le  y e t  ef f ec ti v e  s ca lin g   co ef f icie n t.   E f f icien tNetB 0 ,   th e  b aseli n e  m o d el,   ac h ie v es  r e m ar k ab le  a cc u r ac y   a n d   ef f icie n c y   b y   o p ti m izi n g   th i s   b alan ce .   I t  u tili ze s   f e w er   p ar a m eter s   a n d   co m p u ta tio n al  r eso u r ce s   wh ile  m ai n tai n in g   o r   ev e n   i m p r o v in g   p er f o r m a n ce   co m p ar ed   to   p r ev io u s   a r ch it ec tu r es.  E f f icien tNetB 0   e m p l o y s   a  co m b i n atio n   o f   d ep th   w i s e   co n v o lu tio n s ,   s q u ee ze - a n d - ex ci tatio n   o p ti m i za tio n ,   an d   th e  MB C o n v   b lo ck   ( a  v ar ian t  o f   in v er ted   r esid u al  b lo ck s ) .   T h ese  ar ch itect u r al  ch o ices  allo w   it   to   ac h iev e  s tate - of - t h e - ar t  p er f o r m an ce   o n   s e v er al  b en ch m ar k s   w h ile  b ein g   s ig n i f ica n tl y   m o r e  co m p u tatio n all y   e f f icie n t [ 1 0 ] .   R an d o m   f o r est  is   a n   e n s e m b l e  lear n i n g   m et h o d   th at   co m b i n es  m u ltip le  d ec is io n   tr ee s   to   i m p r o v e   class i f icatio n   ac cu r ac y   a n d   r o b u s t n ess   [ 2 2 ] .   T h is   m o d el  is   k n o w n   f o r   its   ab ili t y   to   h a n d l e  lar g e  d atasets   an d   p er f o r m   w ell  w i th   u n s tr u ct u r e d   d ata,   m a k i n g   it a   p o p u lar   ch o ice  f o r   v ar io u s   m ac h in e  lear n in g   ta s k s .   Ho w e v er ,   r an d o m   f o r est s   ar e  s u s ce p tib le  to   ad v er s ar ial  ex a m p le s ,   w h ich   ar e  in te n tio n all y   p er t u r b ed   in p u t s   d esig n ed   to   d ec eiv e  m ac h i n e  lear n i n g   m o d els.  Un l ik e   DNN s ,   w h ich   ca n   lear n   co m p le x   r ep r esen tatio n s   a n d   p o ten t iall y   d ev elo p   s o m e  le v el  o f   r esil ie n ce   to   ad v er s ar ial  attac k s   th r o u g h   s p ec ialized   tr ain in g   tech n iq u es,  r an d o m   f o r est s   lack   i n h er e n t  m ec h a n is m s   to   d ea l  w it h   s u ch   p er t u r b atio n s   e f f ec tiv e l y .   A d v e r s a r i al   e x am p le s   ex p l o i t   th e   l in e a r   d e c i s i o n   b o u n d a r i e s   o f   e ac h   in d i v i d u al   t r e e   w i th in   th e   e n s em b le ,   l e a d in g   t o   m is c l as s if i c at i o n s .   R e c en t   s tu d i es   h av e  s h o w n   th a t   a d v e r s a r i al   a t ta ck s   c a n   r e d u c e   t h e   a c cu r a cy   o f   r an d o m   f o r e s t  m o d el s   s ig n if ic an t ly   m o r e   th an   th at   o f   w el l - t r ain e d   D NN s ,   w h i ch   c an   b e   f o r t if i e d   th r o u g h   a d v e r s a r i a l  t r a in in g   an d   r e g u la r i z a ti o n   t e ch n i q u e s   [ 1 8 ] ,  [ 2 3 ] .     T h er ef o r e,   w h ile  r an d o m   f o r ests   p r o v id e  a  s i m p le  an d   in t er p r etab le  m o d el,   t h eir   v u l n e r ab ilit y   to   ad v er s ar ial  attac k s   h i g h lig h t s   th e  n ee d   f o r   ad d itio n al  d ef en s es  w h e n   d ep lo y in g   t h ese  m o d els  in   ad v er s ar ia l   s etti n g s .   I n   th is   p ap er ,   w e  co n t r ib u te  th e  f o llo w in g   n o v eltie s :   −   W e  i m p le m e n ted   t h r ee   d if f er e n t  m ac h in e  lear n i n g   an d   d ee p   l ea r n in g   m o d els  o n   o u r   d ataset  an d   ev al u ated   th e  m o d els  u n d er   attac k .     −   W e   u s e d   E f f i c i en t N e t   t o   ex t r a ct   f e a tu r es   f r o m   im ag es   a n d   t r a in e d   th e   m o d e ls   a b o v e   o n   t h e s e   e x t r ac t e d   d a t a .     −   W e  ac h iev ed   h i g h   ac cu r ac y   a n d   p r ec is io n   in   o u r   p r o p o s ed   m eth o d   co m p ar ed   to   o th er   b ase  m o d el s .   T h is   p ap er   is   o r g an ized   as  f o l lo w s .   I n   s ec tio n   2 ,   w e  ex p lai n   th e  d ata  p r ep ar atio n   an d   p r ep r o ce s s in g   o p er atio n s .   T h en   in   s ec tio n   3 ,   w e  ex p lai n   th e  p r o p o s ed   m et h o d s   in clu d in g   d ee p   lear n in g   an d   m ac h in e  lear n in g   tech n iq u es.  L ater ,   w e  s h o w   th e  r esu lts   o f   t h e  i m p le m e n ted   m et h o d s   in   s ec tio n   4 .   Fin all y ,   s ec tio n   5   p r esen ts   t h e   d is cu s s io n   a n d   co n clu d e s   th e  p ap er .       2.   M E T H O D    Ou r   p r o p o s ed   m et h o d   in teg r at es  E f f ic ien t Net  f o r   f ea tu r e  ex tr ac tio n   an d   ad v er s ar ial  tr ain in g   to   en h an ce   th e  r o b u s t n es s   o f   a  s teg a n al y s is   s y s te m .   E f f ic ien t Net  is   c h o s en   f o r   its   ab ilit y   to   ca p tu r e  i n tr icate   p atter n s   in   i m a g e  d ata  w it h   f e w er   p ar a m et er s ,   m a k i n g   it  b o th   ef f ec ti v e  a n d   co m p u tatio n al l y   e f f icie n t.  T h e  m o d el  is   tr ai n ed   u s i n g   a  d ataset  au g m e n ted   w i th   ad v er s ar ial  e x a m p les  g en er ated   th r o u g h   t h e  F G SM,   w h ic h   in tr o d u ce s   s li g h t   p er tu r b atio n s   to   th e  in p u t  d ata.   T h is   p r o ce s s   h elp s   th e  m o d e l  lear n   to   m ai n tai n   h ig h   p er f o r m an ce   e v en   w h e n   f ac i n g   ad v er s ar ial  attac k s .   T h e  ar ch itect u r e  o f   o u r   m o d el  in clu d es  la y er s   s u ch   as  d r o p o u t  an d   b atch   n o r m aliza t io n   to   i m p r o v e  g en er aliza tio n   a n d   s tab ilit y   b y   r ed u cin g   o v er f itti n g   a n d   n o r m a l izin g   f ea tu r e  i n p u ts ,   r esp ec tiv el y .   T h ese  la y er s   ar e   cr itical  in   en s u r i n g   th at  t h e  m o d el  r e m ain s   r o b u s t  u n d er   v ar io u s   co n d it io n s ,   p ar ticu lar l y   i n   ad v er s ar ial  s et t in g s .   C o m p ar ed   to   tr ad itio n al  m ac h in e  lear n in g   ap p r o ac h es  lik e  r an d o m   f o r est ,  o u r   m o d el  o f f er s   s u p er io r   ac cu r ac y   an d   r esil ie n ce ,   d e m o n s t r atin g   it s   ca p ab ilit y   to   n o t  o n l y   ac c u r atel y   c lass if y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   2 ,  A p r il  20 25 :  3 9 3 - 401   396   i m a g es  b u t  also   w it h s ta n d   ad v er s ar ial  p er tu r b atio n s ,   w h i ch   is   ess e n tial  f o r   r ea l - w o r ld   ap p li ca tio n s   w h er e  s ec u r it y   an d   r eliab ilit y   ar e  p ar a m o u n t.   E f f icien tNet  is   a  h i g h - p er f o r m an ce   m o d el  ar ch itect u r e  o p ti m ized   f o r   co m p u ta tio n al  e f f icien c y .   I t   s ca les  d ep th ,   w id th ,   a n d   r eso lu tio n   in   a  co m p o u n d   m a n n er ,   en ab lin g   s m a ller   m o d els  to   ac h ie v e  h i g h er   ac cu r ac y   th an   m a n y   co n v e n tio n al   ar ch itect u r es  [ 1 0 ] .   I n   ad v er s ar i al  tr ain i n g ,   a  m o d el  i s   iter ativ el y   e x p o s ed   to   ad v er s ar iall y   p er tu r b ed   in p u t s   d u r in g   tr ain i n g   to   i m p r o v e  its   r o b u s tn e s s .   T h is   m et h o d   u s es  a d v er s ar ial  ex a m p le s   ( g en er ated   v ia  tec h n iq u e s   lik e  FGSM)   a lo n g s id e  r eg u lar   in p u t s ,   allo w in g   t h e  m o d el  t o   ad ap t  an d   lear n   d is cr i m i n ati v e  p atter n s   t h at  r e d u ce   s u s ce p tib ilit y   to   attac k s .   T h is   o n g o i n g   ex p o s u r e  h e lp s   t h e  m o d el  g e n er alize   b etter   to   u n s ee n   ad v er s ar ial  s c en ar io s ,   p ar ticu lar l y   i n   co m p le x   v i s u a l ta s k s   [ 8 ] ,   [ 9 ] ,  [ 1 1 ] .     2 . 1 .     Da t a   prepa ra t i o n a nd   prepro ce s s ing   Fo r   o u r   d ataset,   w e  u tili ze d   2 0 , 0 0 0   im ag e s   f r o m   th e  C eleb A   d ataset  [ 2 4 ]   to   tr ain   o u r   p r o p o s ed   m o d el.   Fo r   p r e p r o ce s s in g ,   f ir s t,  to   cr e ate  s teg a n o g r ap h ic  i m ag e s ,   w e  i m p le m e n ted   a  f u n ctio n   t h at   g en er ated   r an d o m   s tr in g s   a n d   e m b ed d ed   th ese   s t r in g s   i n to   th e  i m a g es  u s in g   t h e  least  s i g n i f ican t  b it  ( L SB )   m et h o d .   T h e  d ataset  w a s   th e n   s p lit in to   tr ain in g ,   v a lid atio n ,   an d   test   s ets,  w it h   an   8 0 :2 0   r atio   b et w ee n   t h e  tr ain i n g   an d   test   d atasets .   T h en ,   ea ch   i m a g e  w a s   r es iz ed   to   6 4 × 6 4   p ix els  to   e n s u r e  ef f icie n t  p r o ce s s i n g .   Af ter w ar d ,   w e  g en er ated   s teg a n o g r ap h ic  i m a g es.  T h en ,   th e  i m a g es  w er e  p r ep ar ed   u s in g   E f f icien tNet ’ s  “ p r ep r o ce s s   in p u t ”   f u n ctio n   to   en s u r e  co m p atib ilit y   w i th   t h e  p r e - tr ain ed   m o d el.   Af ter   ex p e r i m en tin g   w it h   v ar io u s   E f f ici en tNet  m o d el s   an d   ev alu a tin g   t h eir   p er f o r m a n ce s ,   th e  E f f icien tNetB 0   m o d el  w as   s elec ted   f o r   f ea tu r e  e x tr ac tio n ,   g en er ati n g   f ea tu r e   v ec to r s   f o r   ea ch   i m a g e.   Ou r   s teg a n al y s i s   s y s te m   co n s i s ts   o f   t w o   m ai n   co m p o n e n ts :   E f f icien tNet  f o r   f ea tu r e  e x tr a c tio n   a n d   a  d en s e  n eu r al  n et w o r k   f o r   class i f icatio n .   T h e  p r o p o s ed   m o d el  is   d esi g n ed   u s in g   t h e  s e q u en tial   A P I   f r o m   T en s o r Flo w ’ s   Ker a s   lib r ar y ,   f ea tu r in g   m u ltip le  f u ll y   co n n ec ted   ( d en s e )   la y er s   w it h   e n h an c e m en ts   f o r   tr ain in g   ef f icien c y   a n d   p er f o r m an ce .   I t  b eg in s   w it h   an   i n p u t  la y er   tail o r ed   to   th e  d im e n s io n alit y   o f   t h e  tr ain i n g   f ea t u r es.   T h e  f ir s t  h id d en   la y er   co n tai n s   1 0 2 4   n eu r o n s ,   f o llo w ed   b y   b atch   n o r m al izatio n   f o r   in p u t  s tab ilizatio n ,   l ea k y   r ec tif ied   li n ea r   u n it  ( R e L U)   ac tiv atio n   w it h   a  n e g ati v e  s lo p e  o f   0 . 0 1   to   ad d r ess   th e  d y i n g   R eL U   p r o b le m ,   an d   a  d r o p o u t  la y er   w it h   a  0 . 5   r ate  to   p r ev en t  o v er f itti n g .   Su b s e q u en t  la y er s   i n cl u d e  5 1 2 ,   2 5 6 ,   1 2 8 ,   6 4 ,   3 2 ,   1 6 ,   8 ,   an d   4   n eu r o n s ,   ea ch   e m p lo y i ng  b atc h   n o r m aliza tio n   an d   l ea k y   R e L U  ac ti v atio n ,   w i th   t h e  f ir s t  t h r ee   also   in co r p o r atin g   d r o p o u t .   L ea k y   R eL U  ac ti v atio n   f u n ctio n   an d   b atch   n o r m aliza tio n   [ 2 5 ]   is   also   u tili ze d   f o r   i m p r o v ed   tr ain i n g   [ 2 6 ] .   T h e  o u tp u t  la y er   f ea t u r es  a  s in g le  n e u r o n   w it h   a  s ig m o id   ac tiv atio n   f u n ctio n   f o r   b in ar y   class i f icatio n .   T h e  m o d el  is   co m p iled   w it h   th e  A d a m   o p ti m izer   [ 2 7 ]   ( lear n in g   r ate  o f   0 . 0 0 0 3 ) ,   B in ar y C r o s s en tr o p y   lo s s   f u n ct io n ,   an d   ac cu r ac y   m etr ic  f o r   p e r f o r m an ce   ev a lu at io n .   T h is   ar c h itect u r e  lev er ag e s   b atch   n o r m aliza t io n   f o r   b etter   co n v er g en ce ,   l ea k y   R e L U  t o   av o id   d ea d   n eu r o n s ,   an d   d r o p o u t  to   en h an ce   g en er aliza tio n ,   m a k i n g   it  r o b u s t  an d   ef f ec t iv e  f o r   th e  tas k   at  h an d .   Fig u r e  1   s h o w s   th e  ar ch i tectu r e  o f   th e  m o d el.   T h e  f ig u r e  is   g e n er ated   u s in g   v is u al k er as [ 2 8 ] .           Fig u r e  1 .   Mo d el  ar ch itectu r e       W e  em p lo y ed   t h e  FGSM  w i th   a  p er tu r b atio n   m a g n it u d e  ( ep s ilo n )   s et  to   0 . 0 1   to   g en er ate  ad v er s ar ial  ex a m p le s .   T h ese  ex a m p les  wer e  u s ed   to   au g m en t  th e  tr ain in g   d ata,   en h a n cin g   th e  m o d el ’ s   r o b u s tn e s s   to   ad v er s ar ial  attac k s .   T h e  ad v e r s ar ial  tr ain i n g   lo o p   in v o l v ed   g e n er atin g   ad v er s ar ial  e x a m p les  o n   t h e  f l y   a n d   co m b i n i n g   t h e m   w i th   o r ig i n a l  ex a m p les  d u r i n g   ea ch   tr ain in g   ep o ch .   T h is   lo o p   w a s   d esig n ed   to   g en er ate   ad v er s ar ial  ex a m p le s   d y n a m i ca ll y   d u r in g   ea ch   tr ain in g   ep o ch .   T h at  in v o lv ed   co n tin u o u s l y   p r o d u cin g   n e w  ad v er s ar ial  i n s ta n ce s   th a t  w er e   th e n   m i x ed   w it h   t h e  o r i g in al   t r ain in g   d ata.   T h is   ap p r o ac h   n o t  o n l y   i n cr ea s es   th e   d iv er s it y   o f   tr ain i n g   ex a m p l es  b u t  also   h elp s   th e  m o d el   d ev elo p   a   m o r e  n u a n ce d   u n d er s tan d i n g   o f   t h e  u n d er l y in g   d ata  d is tr ib u t io n ,   t h u s   i m p r o v in g   its   o v er all  r esil i en ce   to   ad v er s ar ial  p er tu r b atio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A d ve r s a r ia l - r o b u s t steg a n a lysi s   s yste m  leve r a g in g   a d ve r s a r ia l tra in in g   …   ( Th a kwa n   A kra m   Ja w a d )   397   T h e  d ec is io n   to   ap p ly   t h e  FG S M  attac k   o n   t h e  f ea t u r es e x tr ac ted   b y   E f f icien tNet,   r ath er   t h an   d ir ec tl y   o n   th e  o r ig i n al  i m a g es,  is   d r iv en   b y   s e v er al  k e y   co n s id er atio n s :   −   Hig h - lev el  f ea tu r e  m a n ip u lati o n :  E f f icien t Net  is   d esig n ed   to   ex tr ac t  h ig h - le v el,   ab s tr ac t  f ea t u r es  f r o m   i m a g es  t h at  ar e  m o r e  r ep r esen tativ e  o f   th e  u n d er l y i n g   p atter n s   a n d   s tr u ct u r es  r ele v a n t  f o r   class i f icatio n   task s .   B y   ap p l y i n g   FGS M  o n   th ese  h i g h - lev e l  f ea tu r e s ,   w e  en s u r e  th at  th e  ad v er s ar ial  p er tu r b atio n s   ar e  cr af ted   to   tar g et  th e  m o s t  cr iti ca l  asp ec ts   o f   th e  d ata  u s ed   b y   th e  clas s i f icatio n   m o d el.   T h is   ap p r o ac h   is   lik el y   to   g e n er ate  m o r e  e f f ec t iv e  ad v er s ar ial  e x a m p les  t h at  ca n   ch al len g e   t h e  m o d el ’ s   r o b u s t n ess   m o r e  d ir ec tl y .   −   Di m e n s io n alit y   r ed u ct io n :  t h e  f ea t u r e  s p ac e  p r o d u ce d   b y   E f f i cien tNet   is   t y p icall y   o f   lo w er   d i m e n s io n alit y   co m p ar ed   to   th e  o r ig i n al  i m a g e  s p ac e.   Op er atin g   i n   th i s   r ed u ce d   f ea t u r e  s p ac e  allo w s   f o r   m o r e  e f f icie n t  co m p u ta tio n   o f   ad v er s ar ial  ex a m p les.  T h e  FGS M  attac k ,   wh ich   in v o l v es  ca lc u lati n g   g r a d ien ts ,   ca n   b e  co m p u tatio n all y   in te n s iv e;  t h u s ,   ap p ly i n g   it  in   t h e  f ea tu r e  s p a ce   ca n   s ig n i f ica n tl y   r ed u ce   th e  co m p u tatio n al  b u r d en   an d   ex p ed ite  th e  g e n er atio n   o f   ad v er s ar ial  e x a m p le s .       3.   RE SU L T S AN D  D I SCU SS I O N   T o   ev alu ate  o u r   p r o p o s ed   m o d el  s y s te m ,   w e  d esig n ed   t w o   s c en ar io s .   I n   th e  f ir s t  s ce n ar io ,   th e  tr ain   s e t   an d   test   s et  h a v e  n o   ad v er s ar ial  in s ta n ce s .   T h e  p u r p o s e  in   s ce n ar io   1   is   to   ev alu ate  th e  g en e r al  p er f o r m a n ce   o f   o u r   s teg a n a l y s is   m o d el  ag a in s t  n o r m al  s te g a n o g r ap h y   i m a g es.  C o n v er s el y ,   in   t h e  s ec o n d   s ce n ar io ,   w e  ad d   ad v er s ar ial  in s tan ce s   to   o u r   tr ain   s et  o n - th e - f l y .   T h e  ev al u atio n   al s o   tak es  p lace   o n   th e  test   th at  co n tai n s   ad v er s ar ial  in s tan ce s .   W e  tr ain ed   th r ee   m o d els:   r an d o m   f o r es t  m o d el,   b ase  m o d el,   an d   ad v er s ar ial  m o d el.     3 . 1 .     Scena rio   1   I n   th e  f ir s t  s ce n ar io ,   th e  d ata s et  d id   n o t  co n tai n   a n y   ad v er s a r ial  in s tan ce s .   A d d itio n all y ,   we  tr ain ed   a  r an d o m   f o r est  m o d el   f o r   co m p ar is o n   w it h   o u r   p r o p o s ed   a r c h itect u r e.   T h e  r esu lts   o f   th i s   test   ar e  p r esen ted   in   T ab le  1 .       T ab le  1 .   P er f o r m a n ce   co m p ar i s o n   o f   m o d el s   in   s ce n ar io   1   M e t r i c   B a se   mo d e l   R a n d o m  f o r e st   A c c u r a c y   0 . 8 1 4 5 0   0 . 6 5 0 7 5   P r e c i si o n   0 . 8 4 2 5 5   0 . 6 4 9 5 2   R e c a l l   0 . 7 7 1 9 5   0 . 6 4 9 5 2   F1 - s c o r e   0 . 8 0 5 7 0   0 . 6 4 9 5 2   R O C - A U C   0 . 8 1 4 3 5   0 . 6 5 0 7 4       3 . 2 .     Scena rio   2   Fo r   th e  s ec o n d   p ar t  o f   th e   tes t,  w e   in cl u d ed   ad v er s ar ial   i n s ta n ce s   i n   t h e  d ataset.   T h e  ad v er s a r ial  m o d el,   w h ic h   co n ta in s   d r o p o u t a n d   b atch   n o r m aliza t io n   la y er s ,   w a s   tr ain ed   w it h   t h ese   ad v er s ar ial  ex a m p le s .   Fi g u r e  2   d ep icts   th e  ac cu r ac y   a n d   lo s s   p lo ts   f o r   th e  ad v er s ar ial  m o d el.   I n   co n tr ast,  t h e  b ase  m o d el   an d   r an d o m   f o r est  d id   n o t e n co u n ter   ad v er s ar ial  e x a m p les d u r i n g   t h eir   tr ai n in g .   T h e  r esu l ts   o f   t h i s   test   ar e  p r esen ted   in   T ab le  2 .           Fig u r e  2 .   T r ain in g   p lo t o f   th e  ad v er s ar ial  m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   2 ,  A p r il  20 25 :  3 9 3 - 401   398   T h e  ev alu atio n   o f   o u r   p r o p o s ed   m o d el  s y s te m   w as  co n d u ct ed   u s in g   t w o   d is ti n ct  d atasets .   T h e  f ir s t   d ataset  d id   n o t  co n tain   an y   ad v er s ar ial  in s ta n ce s ,   an d   w e  u s ed   it  to   b en ch m ar k   t h e  p er f o r m an ce   o f   o u r   p r o p o s ed   m o d el  a g ain s t  a  r an d o m   f o r es t  m o d el.   A s   s h o w n   i n   T ab le  1 ,   o u r   p r o p o s ed   m o d el  s i g n i f ic an tl y   o u tp er f o r m ed   th e  r an d o m   f o r est  ac r o s s   all  m etr ics.  Sp ec i f icall y ,   o u r   m o d el  ac h iev ed   an   ac cu r ac y   o f   0 . 8 1 4 5 0 ,   p r ec is io n   o f   0. 8 4 2 5 5 ,   r ec all  o f   0 . 7 7 1 9 5 ,   F1 - s co r e  o f   0 . 8 0 5 7 0 ,   an d   R OC - A U C   o f   0 . 8 1 4 3 5 ,   w h i le  th e   r an d o m   f o r est  la g g ed   b eh in d   w it h   an   ac c u r ac y   o f   0 . 6 5 0 7 5 ,   p r ec is io n   o f   0 . 6 4 9 5 2 ,   r ec all  o f   0 . 6 4 9 5 2 ,   F1 - s co r e  o f   0 . 6 4 9 5 2 ,   an d   R OC - A U C   o f   0 . 6 5 0 7 4 .   I n   th e  s ec o n d   p ar t  o f   th e  test ,   ad v er s ar ial  in s tan ce s   w er e  i n clu d ed   in   th e  d ataset  to   f u r th er   ev alu ate  th e   r o b u s tn es s   o f   o u r   p r o p o s ed   m o d el.   Un lik e  th e  b ase  m o d el  an d   r an d o m   f o r est,  o u r   ad v er s ar ial  m o d el  w a s   tr ain ed   w it h   t h ese  ad v er s ar ial  ex a m p l es  an d   f ea tu r ed   d r o p o u t  an d   b a tch   n o r m al iza tio n   la y er s .   T h e  r esu lt s ,   p r esen ted   in   T ab le  2 ,   illu s tr ate  a  s i g n i f ica n t  p er f o r m a n ce   d r o p   f o r   th e  b ase  m o d el  an d   r an d o m   f o r est  w h e n   f ac ed   w it h   ad v er s ar ial  in s ta n ce s ,   w it h   ac c u r ac ies  o f   0 . 6 5 4 0 0   an d   0 . 5 4 8 6 2 ,   r esp ec tiv el y .   T h eir   o th er   m etr ics  also   d ec lin ed   su b s ta n tial l y .       T ab le  2 .   P er f o r m a n ce   co m p ar i s o n   o f   d if f er e n t  m o d els i n   s ce n ar io   2   M e t r i c   B a se   mo d e l   R a n d o m fo r e st   A d v e r sari a l   mo d e l   A c c u r a c y   0 . 6 5 4 0 0   0 . 5 4 8 6 2   0 . 7 2 0 8 7   P r e c i si o n   0 . 6 2 0 1 6   0 . 6 1 8 2 9   0 . 7 0 9 8 3   R e c a l l   0 . 7 8 8 5 0   0 . 2 4 5 8 6   0 . 7 4 3 8 5   F1 - s c o r e   0 . 6 9 4 2 7   0 . 3 5 1 8 2   0 . 7 2 6 4 4   R O C - A U C   0 . 6 5 4 4 6   0 . 5 4 7 5 6   0 . 7 2 0 9 5       C o n v er s el y ,   o u r   ad v er s ar ial  m o d el  d em o n s tr ated   s u p er io r   r esil ie n ce   to   ad v er s ar ial  attac k s ,   ac h iev i n g   an   ac cu r ac y   o f   0 . 7 2 0 8 7 ,   p r ec is io n   o f   0 . 7 0 9 8 3 ,   r ec all  o f   0 . 7 4 3 8 5 ,   F1 - s co r e  o f   0 . 7 2 6 4 4 ,   an d   R O C - AUC   o f   0 . 7 2 0 9 5 .   T h ese  r esu lts   i n d icat e  th at  o u r   ad v er s ar ial  t r ai n in g   ap p r o ac h   an d   th e  in co r p o r ati o n   o f   d r o p o u t  an d   b atch   n o r m aliza tio n   la y er s   e f f e ctiv el y   e n h a n ce d   t h e  m o d el ’ s   r o b u s tn e s s ,   m ai n tai n i n g   h i g h er   p er f o r m a n ce   lev el s   in   t h e  p r esen ce   o f   ad v er s ar ial  ex a m p le s   co m p ar ed   to   m o d els   n o t  tr ain ed   w it h   s u c h   ex a m p le s .   T h is   u n d er s co r es  th e  i m p o r tan ce   o f   ad v er s ar ial   tr ain i n g   i n   d ev elo p in g   r o b u s t  m ac h i n e  lear n in g   m o d els  c ap ab le  o f   r esis ti n g   ad v er s ar ial  p er tu r b atio n s .   T h e  k e y   d i f f er e n ce   b et w ee n   o u r   p r o p o s ed   m o d el  an d   t h e  r an d o m   f o r est  m o d el  lies   in   t h eir   ar ch itect u r e  an d   ad ap tab ilit y   to   co m p le x   d ata  p atter n s ,   p ar ticu lar l y   w h e n   f ac ed   w it h   ad v er s ar ial  i n s ta n ce s .   O u r   p r o p o s ed   m o d el  is   a  n e u r al  n et w o r k   th at  in co r p o r ates  ad v an ce d   tech n iq u e s   s u c h   as  b atch   n o r m ali za tio n   an d   d r o p o u t   la y er s ,   allo w i n g   it  to   lear n   m o r e  in tr ic ate  f ea t u r es f r o m   t h e  d ata  an d   m ain tain   r o b u s t  p er f o r m an ce   u n d er   v ar ied   co n d itio n s .   As  s h o w n   i n   t h e  r esu lt s   f r o m   T ab le  1 ,   th i s   d esi g n   led   to   a  clea r   p er f o r m an ce   ad v an ta g e  o v er   t h e   r an d o m   f o r est  m o d el,   w h ich   r elies o n   en s e m b le  lear n in g   b u t   lack s   t h e  d ee p   le ar n in g   m o d el ’ s   ab ilit y   to   ca p tu r e   n o n - li n ea r   r elatio n s h ip s   e f f ec ti v el y .   T h e  r an d o m   f o r est  m o d el   ex h ib ited   s i g n i f ica n tl y   lo w er   a cc u r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e,   an d   R OC - AUC  co m p ar ed   to   o u r   p r o p o s e d   m o d el,   h ig h li g h ti n g   t h e  li m i tatio n s   o f   tr ad itio n a l   m ac h in e  lear n i n g   m et h o d s   in   h an d li n g   co m p lex   d ata s ets  w it h o u t a d v er s ar ial  ex a m p les.   T h e  in clu s io n   o f   ad v er s ar ial  e x a m p le s   d u r i n g   tr ain i n g   f u r t h e r   u n d er s co r es  t h e  i m p o r ta n ce   o f   ex p o s i n g   m o d el s   to   d iv er s e  d ata  v ar iat i o n s   to   e n h a n ce   r o b u s t n e s s .   O u r   ad v er s ar ial  m o d el,   d esi g n e d   w it h   t h e  ca p ab ilit y   to   tr ain   o n   ad v er s ar ial  ex a m p l es,  s h o w ed   r e m ar k ab le  r esil ie n ce   ag ai n s t a d v er s ar ial  attac k s ,   as e v id en ce d   b y   it s   s u p er io r   p er f o r m a n ce   m etr ics  i n   T ab le  2 .   I n   co n tr ast,  b o th   t h e   b ase  m o d el  an d   th e  r a n d o m   f o r est  ex p er ien ce d   a   n o tab le  d ec lin e  in   ac cu r ac y   an d   o th er   p e r f o r m a n ce   m et r ics  w h en   test ed   ag ai n s t  ad v er s ar ial  ex a m p les,   d em o n s tr ati n g   t h eir   v u l n er a b ilit y .   T h e  ad v er s ar ial  tr ai n in g   p r o ce s s ,   co u p led   w it h   th e  ar ch i tectu r al   en h a n ce m en ts   o f   o u r   m o d el,   p r o v ed   ef f ec ti v e  in   i m p r o v i n g   it s   ad ap tab ilit y   an d   r o b u s tn e s s ,   m ai n tai n in g   h ig h er   p er f o r m a n ce   lev el s   co m p ar ed   to   m o d els  th at  w er e  n o t  tr ain ed   w it h   ad v er s ar ial  ex a m p les.  T h is   h ig h er   p er f o r m a n ce   is   n o ticea b le   in   F ig u r e  3   w h er e  d i f f er e n t  m etr ic s   ar e  co m p ar ed   ac r o s s   m o d els.   E f f icien tNet   h a s   d e m o n s tr ated   ex ce p tio n al  ca p ab ilit y   as  a  f ea tu r e  ex tr ac to r ,   ca p tu r in g   in tr icate   d etails   th at  co n tr ib u te  to   p r ec is e  clas s if icatio n   i n   o u r   s te g a n al y s is   s y s te m .   I t s   ar ch itect u r al  e f f icie n c y   allo w s   i t  to   f o c u s   o n   cr u cial  p atter n s   w it h i n   th e  d ata,   en ab lin g   a  r o b u s t  id en tific atio n   o f   f ea tu r e s   n ec es s ar y   f o r   d etec tin g   h id d e n   m es s ag e s .   Ou r   r esu l ts   s h o w   t h at  tr ain i n g   w ith   ad v er s ar ial  e x a m p le s   s i g n i f ica n tl y   e n h an ce s   th e  r o b u s tn e s s   o f   th e  s y s te m ,   a s   r ef lecte d   in   th e  i m p r o v ed   p er f o r m a n ce   m et r ics  u n d er   ad v er s ar ial  co n d iti o n s .   T h is   ap p r o ac h   ef f ec tiv e l y   b o ls ter s   th e   m o d el ’ s   r esis ta n ce   to   ad v er s ar ia l  atta ck s ,   w h ic h   ar e  d esig n ed   to   m i s lead   th e  m o d el  b y   in tr o d u ci n g   s u b tle  p er tu r b atio n s .   T h e  b ase  m o d el,   d esp ite  it s   in itial  ef f ec t iv e n es s ,   r ev ea le d   a  s u s ce p tib ilit y   to   th ese  a d v er s ar ial  m an ip u latio n s ,   u n d er s co r in g   th e  n ec e s s it y   f o r   ad v er s ar ial  tr ain i n g   i n   r ein f o r ci n g   m o d e l   r esil ien ce .       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A d ve r s a r ia l - r o b u s t steg a n a lysi s   s yste m  leve r a g in g   a d ve r s a r ia l tra in in g   …   ( Th a kwa n   A kra m   Ja w a d )   399       Fig u r e  3 .   Me tr ics co m p ar is o n   b et w ee n   tr ain ed   m o d els       T h e   r an d o m   f o r est  m o d el,   w h ile  s i m p ler   an d   p r o v id in g   a  co m p e titi v e  b aselin e,   lack s   th e  r o b u s tn e s s   an d   ad ap tab ilit y   o f f er ed   b y   d ee p   lear n in g   m o d els  l.  A l th o u g h   r an d o m   f o r ests   ar e  ad v a n t ag eo u s   i n   s ce n ar io s   w it h   li m ited   co m p u tatio n al   r eso u r ce s   a n d   o f f er   q u ic k ,   s tr aig h t f o r w ar d   i m p le m e n tat io n ,   t h e y   d o   n o t  m atc h   t h e   ca p ab ilit y   o f   d ee p   lear n i n g   m o d els  in   h a n d li n g   co m p lex   d ata  tr an s f o r m atio n s   a n d   ad v er s a r ial  ch alle n g e s .   T h e   co m b i n atio n   o f   E f f icie n tNet  a n d   ad v er s ar ial  tr ai n i n g   e m er g e s   as  a  p o w er f u l stra te g y   f o r   s te g an al y s is ,   e n ab lin g   th e  d etec tio n   o f   h id d en   m e s s ag e s   w h ile  m ai n tai n i n g   r o b u s t n es s   a g ai n s t  ad v er s ar ial  p er tu r b atio n s .   T h is   h ig h li g h ts   t h e  cr itical  i m p o r tan ce   o f   ad v er s ar ial  tr ai n i n g   i n   d ev elo p in g   m ac h in e  lear n i n g   m o d el s   th a t  ar e  n o t   o n l y   ac c u r ate  b u t  also   r esil ie n t  to   m a n ip u l ati v e  p er tu r b atio n s .   Su c h   r o b u s t n ess   e n s u r es  r el iab ilit y   i n   p r ac tical  ap p licatio n s   w h er e  ad v er s ar ia l  attac k s   p o s e  a  s ig n i f ica n t  t h r ea t,  r ein f o r cin g   t h e  m o d el ’ s   ef f ec ti v e n es s   a n d   d ep en d ab ilit y   in   r ea l - w o r ld   s ce n ar io s .   B y   i n co r p o r atin g   th ese  ele m e n ts ,   o u r   ap p r o ac h   n o t  o n l y   i m p r o v e s   d etec tio n   ca p ab ilit ies b u t a l s o   s ets a  f o u n d atio n   f o r   f u t u r e  en h an ce m e n ts   i n   m ac h in e  lear n i n g   s ec u r it y .     3 . 3 .     Co m pa ri s o n   Giv e n   th e  n o v elt y   o f   t h e  p r o p o s ed   ap p r o ac h ,   d ir ec t  c o m p ar i s o n   w it h   e x is t in g   m eth o d s   i s   c h alle n g i n g   d u e  to   th e   lack   o f   d ir ec tl y   co m p ar ab le  s tu d ies.  Ho w e v er ,   to   p r o v id e  co n tex t   f o r   t h e  p er f o r m an ce   o f   o u r   m e th o d ,   w e  h a v e  s elec ted   a  b ase lin e   ap p r o ac h   an d   also   o f f er   a  t h eo r etica l  co m p ar is o n   to   h i g h lig h t  th e  u n iq u e  asp ec t s   o f   o u r   w o r k .   T ab le  3   s u m m ar izes   k e y   d i f f er e n ce s   a n d   th e  p o ten tial a d v an ta g e s   o f   o u r   m e th o d .       T ab le  3 .   C o m p ar is o n   o f   m et h o d s   M e t h o d o l o g y   T e c h n i q u e   I mag e   si z e   N o t a b l e   c h a r a c t e r i st i c s   P r o p o se d   me t h o d   D N N   w i t h   a d v e r sari a l   t r a i n i n g   6 4 × 6 4   C o mp l e x   i n   t r a i n i n g ,   h i g h   p r e c i si o n   a n d   a c c u r a c y ,   r o b u st   a g a i n st   a d v e r sari a l   e x a mp l e s   R a n d o m  f o r e st   En se mb l e   6 4 × 6 4   S i mp l e ,   v u l n e r a b l e   a g a i n st   a d v e r sari a l   e x a mp l e s,  l o w   a c c u r a c y   a n d   p r e c i si o n   i n   c o mp a r i so n   w i t h   o t h e r   mo d e l s.   B a se   mo d e l   DNN   6 4 × 6 4   S i mp l e   t r a i n i n g ,   h i g h   a c c u r a c y   i n   d e t e c t i n g   n o r mal   e x a mp l e s,  v u l n e r a b l e   a g a i n st   a d v e r sari a l   e x a mp l e s       3 . 4 .     L i m it a t io ns   I n   th is   s t u d y ,   o n e  o f   th e  m ain   li m itatio n s   is   th e  lac k   o f   w e ll - estab lis h ed   b aselin e  m o d el s   f o r   co m p ar is o n .   Gi v en   th at  t h i s   f ield   is   r elativ e l y   n e w   a n d   r ap id l y   ev o l v i n g ,   t h er e  ar e  f e w ,   if   a n y ,   b en c h m ar k   m et h o d s   w it h   s ta n d ar d ized   d a tasets   o r   p er f o r m a n ce   m etr ics   th at  w o u ld   p r o v id e  a   d ir ec t  c o m p ar is o n   f o r   o u r   m o d el.   C o n s eq u en tl y ,   t h is   l i m i ts   o u r   ab ilit y   to   q u a n tita tiv e l y   ass es s   o u r   m o d el ’ s   p er f o r m a n ce   ag ain s t  a  d iv er s e   s et  o f   ap p r o ac h es.  Fu tu r e  w o r k   in   th i s   ar ea   w ill  lik el y   b en ef it  f r o m   th e  d ev elo p m en t  o f   m o r e  estab lis h ed   b en ch m ar k s ,   w h ich   w o u ld   p r o v id e  clea r er   s tan d ar d s   f o r   e v alu a tin g   a n d   co m p ar in g   ad v an ce m e n ts   ac r o s s   d if f er e n t  m o d els.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   2 ,  A p r il  20 25 :  3 9 3 - 401   400   4.   CO N CL U SI O N    T h is   p ap er   p r esen ts   a  n o v el  s teg a n al y s i s   s y s te m   t h at  lev e r ag es  E f f icie n tNet  f o r   ef f icie n t  f ea tu r e   ex tr ac tio n   a n d   ad v er s ar ial  tr ai n in g   to   en h a n ce   r o b u s t n es s .   Ou r   r es u lts   d e m o n s tr ate  th at   t h e  p r o p o s ed   s y s te m   ac h iev e s   h ig h   ac c u r ac y   in   d ete ctin g   s te g a n o g r ap h ic  co n ten t  a n d   m ai n tai n s   r esil ie n ce   a g ain s t   ad v er s ar ial  attac k s .   T h is   d u al  ap p r o ac h   r ep r esen ts   a  s ig n i f ica n t  ad v a n ce m en t  in   s teg a n al y s i s ,   o f f er i n g   a  r o b u s t  s o lu tio n   f o r   s ec u r e   in f o r m atio n   tr a n s m is s io n   i n   th e  r ea l  s ce n ar io s   w h er e  th e  h ig h   p er f o r m an ce   o f   d etec tio n   s y s te m   is   v ital.  Fu tu r e   r esear ch   co u ld   e x p lo r e  th e   in t eg r atio n   o f   ad v a n ce d   g en er ati v e  m o d el s   a n d   ad v er s ar ial  tec h n iq u es   to   f u r t h er   i m p r o v e  th e  s y s te m ’ s   p er f o r m an ce   an d   r o b u s t n es s .         RE F E R E NC E S   [ 1 ]   N .   F .   Jo h n so n   a n d   S .   Ja j o d i a ,   “ Ex p l o r i n g   st e g a n o g r a p h y :   se e i n g   t h e   u n se e n , ”   C o m p u t e r ,   v o l .   3 1 ,   n o .   2 ,   p p .   2 6 - 3 4 ,   F e b .   1 9 9 8 ,   d o i :   1 0 . 1 1 0 9 / M C . 1 9 9 8 . 4 6 5 5 2 8 1 .   [ 2 ]   N .   M e g h a n a t h a n   a n d   L .   N a y a k ,   “ S t e g a n a l y si s  a l g o r i t h ms  f o r   d e t e c t i n g   t h e   h i d d e n   i n f o r mat i o n   i n   i mag e ,   a u d i o   a n d   v i d e o   c o v e r   me d i a , ”   I n t e rn a t i o n a l   J o u r n a l   o f   N e t w o r k   S e c u r i t y   &   I t s A p p l i c a t i o n   ( I J N S A) ,  v o l .   2 ,   n o .   1 ,   p p .   43 - 55 ,   2 0 1 0 .   [ 3 ]   V.   V e r ma,   S.   K .   M u t t o o ,   a n d   V .   B.   S i n g h ,   “ D e t e c t i n g   st e g o mal w a r e :   mal i c i o u s  i mag e   st e g a n o g r a p h y   a n d   i t s  i n t r u si o n   i n   w i n d o w s , ”   i n   S e c u r i t y ,   Pr i v a c y   a n d   D a t a   An a l y t i c s:   S e l e c t   Pro c e e d i n g s  o f   I S PD A   2 0 2 1 ,  S i n g a p o r e :   S p r i n g e r ,   2 0 2 2 ,   p p .   1 0 3 - 116 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 981 - 16 - 9 0 8 9 - 1 _ 9 .   [ 4 ]   Y.   S h a n g ,   S.   Ji a n g ,   D .   Y e ,   a n d   J .   H u a n g ,   “ En h a n c i n g   t h e   se c u r i t y   o f   d e e p   l e a r n i n g   s t e g a n o g r a p h y   v i a   a d v e r sari a l   e x a mp l e s , ”   Ma t h e m a t i c s ,  v o l .   8 ,   n o .   9 ,   p p .   1 - 1 0 ,  2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / m a t h 8 0 9 1 4 4 6 .   [ 5 ]   K.   K a r a mp i d i s,   E .   K a v a l l i e r a t o u ,   a n d   G .   P a p a d o u r a k i s,   “ A   r e v i e w   o f   i mag e   st e g a n a l y si s  t e c h n i q u e s  f o r   d i g i t a l   f o r e n si c s , ”   J o u r n a l   o f   i n f o rm a t i o n   se c u ri t y   a n d   a p p l i c a t i o n s ,  v o l .   4 0 ,   p p .   217 - 235 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . j i s a . 2 0 1 8 . 0 4 . 0 0 5 .   [ 6 ]   N .   A k h t a r   a n d   A .   M i a n ,  “ T h r e a t   o f   a d v e r sari a l   a t t a c k s  o n   d e e p   l e a r n i n g   i n   c o mp u t e r   v i s i o n :   a  s u r v e y , ”   I EEE   A c c e ss ,  v o l .   6 ,   p p .   1 4 4 1 0 - 1 4 4 3 0 ,   2 0 1 8 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 8 0 1 . 0 0 5 5 3 .   [ 7 ]   X .   Y u a n ,   P .   H e ,   Q .   Z h u   a n d   X .   L i ,   “ A d v e r sari a l   Ex a mp l e s:   A t t a c k s   a n d   D e f e n se s  f o r   D e e p   L e a r n i n g , ”   I EEE   T r a n s a c t i o n s   o n   N e u r a l   N e t w o rks  a n d   L e a rn i n g   S y st e m s ,   v o l .   3 0 ,   n o .   9 ,   p p .   2 8 0 5 - 2 8 2 4 ,   S e p t .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / T N N L S . 2 0 1 8 . 2 8 8 6 0 1 7 .   [ 8 ]   A.   K u r a k i n ,   I .   G o o d f e l l o w ,   a n d   S .   B e n g i o ,   “ A d v e r sari a l   mac h i n e   l e a r n i n g   a t   sca l e , ”   I C L R  2 0 1 7   C o n f e r e n c e   T r a c k   5 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   L e a rn i n g   Re p res e n t a t i o n s ,   2 0 1 7 .   [ 9 ]   F.   T r a mè r ,   A.   K u r a k i n ,   N.   P a p e r n o t ,   I.   G o o d f e l l o w ,   D .   B o n e h ,   a n d   P .   M c D a n i e l ,   “ En se mb l e   a d v e r sari a l   t r a i n i n g :   a t t a c k s  a n d   d e f e n se s , ”   a r Xi v ,  2 0 1 7 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 7 0 5 . 0 7 2 0 4 .   [ 1 0 ]   M.   T a n   a n d   Q.   Le ,  “ Ef f i c i e n t N e t :   r e t h i n k i n g   mo d e l   sc a l i n g   f o r   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s, ”   Pro c e e d i n g s   o f   t h e   3 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Ma c h i n e   L e a r n i n g ,   2 0 1 9 ,   v o l   9 7 ,   p p .   6 1 0 5 - 6 1 1 4 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 9 0 5 . 1 1 9 4 6 .   [ 1 1 ]   I .  J .   G o o d f e l l o w ,   J .   S h l e n s,  a n d   C .   S z e g e d y ,  “ Ex p l a i n i n g   a n d   h a r n e ssi n g   a d v e r sari a l   e x a mp l e s , ”   a rXi v ,   2 0 1 4 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 4 1 2 . 6 5 7 2 .   [ 1 2 ]   S .   M .   M o o sav i d e z f o o l i ,   A .   F a w z i ,   a n d   P .   F r o ssard ,   “ D e e p F o o l :  a  si mp l e   a n d   a c c u r a t e   me t h o d   t o   f o o l   d e e p   n e u r a l   n e t w o r k s , ”   C o m p u t e r   Vi s i o n   a n d   P a t t e r n   Re c o g n i t i o n ,   p p.   2 5 7 4 – 2 5 8 2 ,   2 0 1 5 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 5 1 1 . 0 4 5 9 9 .   [ 1 3 ]   N .   C a r l i n i   a n d   D .  W a g n e r ,   “ T o w a r d s  e v a l u a t i n g   t h e   r o b u s t n e ss  o f   n e u r a l   n e t w o r k s , ”   S e c u r i t y   a n d   Pri v a c y ,   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / S P . 2 0 1 7 . 4 9 .   [ 1 4 ]   X .   Q i n ,   B .   L i ,   S .   T a n ,   W .   T a n g ,   a n d   J.  H u a n g ,   “ G r a d u a l l y   e n h a n c e d   a d v e r sari a l   p e r t u r b a t i o n s  o n   c o l o r   p i x e l   v e c t o r s  f o r   i mag e   st e g a n o g r a p h y , ”   I EEE   T r a n s a c t i o n s   o n   C i r c u i t s a n d   S y s t e m s   f o r   Vi d e o   T e c h n o l o g y ,   v o l .   3 2 ,   n o .   8 ,   p p .   5 1 1 0 - 5 1 2 3 ,   A u g .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / T C S V T . 2 0 2 2 . 3 1 4 8 4 0 6 .   [ 1 5 ]   A.   N.   B h a g o j i ,   D.   C u l l i n a ,   C .   S i t a w a r i n ,   a n d   P .   M i t t a l ,   “ En h a n c i n g   r o b u s t n e ss  o f   ma c h i n e   l e a r n i n g   s y st e ms  v i a   d a t a   t r a n sf o r ma t i o n s , ”   i n   2 0 1 8   5 2 n d   A n n u a l   C o n f e r e n c e   o n   I n f o rm a t i o n   S c i e n c e s   a n d   S y s t e m s   ( C I S S ) ,   2 0 1 8 ,   p p .   1 - 5 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 7 0 4 . 0 2 6 5 4 .   [ 1 6 ]   J.   L i u ,   W.   Z h a n g ,   Y.   Z h a n g ,   D .   H o u ,   Y.   L i u ,   H .   Z h a ,   a n d   N .   Y u ,   “ D e t e c t i o n   b a se d   d e f e n se   a g a i n st   a d v e r sari a l   e x a mp l e s  f r o m  t h e   st e g a n a l y si s  p o i n t   o f   v i e w , ”   in   Pro c e e d i n g s  o f   t h e   I EEE / C VF  C o n f e re n c e   o n   C o m p u t e r V i s i o n   a n d   P a t t e rn   Re c o g n i t i o n ,   2 0 1 9 ,   p p .   4 8 2 5 - 4 8 3 4 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 8 0 6 . 0 9 1 8 6 .   [ 1 7 ]   N .   D a s,  M .   S h a n b h o g u e ,   S . - T .   C h e n ,   F .   H o h man ,   L .   C h e n ,   M .   E .   K o u n a v i s,   a n d   D .   H .   Ch au ,   “ K e e p i n g   t h e   b a d   g u y s o u t :   p r o t e c t i n g   a n d   v a c c i n a t i n g   d e e p   l e a r n i n g   w i t h   j p e g   c o mp r e ssi o n , ”   a rX i v ,   2 0 1 7 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 7 0 5 . 0 2 9 0 0 .   [ 1 8 ]   N .   P a p e r n o t ,   P .   M c D a n i e l ,   X .   W u ,   S .   Jh a   a n d   A .   S w a mi ,   “ D i st i l l a t i o n   a s  a   d e f e n se   t o   a d v e r sari a l   p e r t u r b a t i o n s   a g a i n st   d e e p   n e u r a l   n e t w o r k s, ”   i n   2 0 1 6   I EE E  S y m p o si u m   o n   S e c u ri t y   a n d   Pr i v a c y   ( S P) ,   S a n   Jo se ,   C A ,   U S A ,   2 0 1 6 ,   p p .   5 8 2 - 5 9 7 ,   d o i :   1 0 . 1 1 0 9 / S P . 2 0 1 6 . 4 1 .   [ 1 9 ]   A .  A t h a l y e ,   N .   C a r l i n i ,   a n d   D .   W a g n e r ,   “ O b f u sc a t e d   g r a d i e n t s   g i v e   a   f a l se   se n se   o f   se c u r i t y :   c i r c u mv e n t i n g   d e f e n se s t o   a d v e r sari a l   e x a mp l e s , ”   in   Pr o c e e d i n g s  o f   t h e   3 5   t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Ma c h i n e   L e a r n i n g ,   S t o c k h o l m,  S w e d e n ,   P M L R   8 0 ,   2 0 1 8 .   [ 2 0 ]   D .   M e n g   a n d   H .   C h e n ,  “ M a g n e t :   a   t w o - p r o n g e d   d e f e n se   a g a i n s t   a d v e r sari a l   e x a mp l e s , ”   C C S   ‘ 1 7 :   Pr o c e e d i n g s  o f   t h e   2 0 1 7   AC M   S I G S A C   C o n f e re n c e   o n   C o m p u t e r  a n d   C o m m u n i c a t i o n s  S e c u ri t y ,   2 0 1 7 ,   p p .   1 3 5 - 1 4 7 ,   d o i :   1 0 . 1 1 4 5 / 3 1 3 3 9 5 6 . 3 1 3 4 0 5 7 .   [ 2 1 ]   O.   T a r a n ,   S.   R e z a e i f a r ,   T .   H o l o t y a k ,   a n d   S .   V o l o sh y n o v sk i y ,   “ M a c h i n e   l e a r n i n g   t h r o u g h   c r y p t o g r a p h i c   g l a sse s:   c o mb a t i n g   a d v e r sari a l   a t t a c k s  b y   k e y - b a se d   d i v e r si f i e d   a g g r e g a t i o n , ”   EU RA S I P  j o u rn a l   o n   i n f o rm a t i o n   se c u ri t y ,   2 0 2 0 ,   p p .   1 - 1 8 ,   d o i :   1 0 . 1 1 8 6 / s 1 3 6 3 5 - 0 2 0 - 0 0 1 0 6 - x .   [ 2 2 ]   L.   B r e i man ,   “ R a n d o m fo r e st s , ”   Ma c h i n e   l e a r n i n g ,  v o l .   4 5 ,   p p .   5 - 32 ,   2 0 0 1 ,   d o i :   1 0 . 1 0 2 3 / A : 1 0 1 0 9 3 3 4 0 4 3 2 4 .   [ 2 3 ]   H.   Z h a n g ,   Y.   Y u ,   J.   J i a o ,   E .   X i n g ,   L .   E l   G h a o u i ,   a n d   M .   Jo r d a n ,   “ T h e o r e t i c a l l y   p r i n c i p l e d   t r a d e - o f f   b e t w e e n   r o b u st n e ss  a n d   a c c u r a c y , ”   i n   I n t e r n a t i o n a l   c o n f e re n c e   o n   m a c h i n e   l e a r n i n g ,   201 9 ,   p p .   7 4 7 2 - 7 4 8 2 ,  d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 9 0 1 . 0 8 5 7 3 .   [ 2 4 ]   Z .   L i u ,   P .   L u o ,   X .   W a n g   a n d   X .   T a n g ,   “ D e e p   l e a r n i n g   f a c e   a t t r i b u t e s  i n   t h e   w i l d , ”   i n   2 0 1 5   I EEE  I n t e rn a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   Vi s i o n   ( I C C V) ,   S a n t i a g o ,   C h i l e ,   2 0 1 5 ,   p p .   3 7 3 0 - 3 7 3 8 ,   d o i :   1 0 . 1 1 0 9 / I C C V . 2 0 1 5 . 4 2 5 .     [ 2 5 ]   S .   I o f f e   a n d   C .   S z e g e d y ,   “ B a t c h   n o r mal i z a t i o n :   a c c e l e r a t i n g   d e e p   n e t w o r k   t r a i n i n g   b y   r e d u c i n g   i n t e r n a l   c o v a r i a t e   s h i f t , ”   i n   I n t e r n a t i o n a l   c o n f e r e n c e   o n   m a c h i n e   l e a r n i n g ,   2 0 1 5 ,   p p .   4 4 8 - 4 5 6 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 5 0 2 . 0 3 1 6 7 .   [ 2 6 ]   A.   K.   D u b e y ,   a n d   V .   Ja i n ,   “ C o mp a r a t i v e   st u d y   o f   c o n v o l u t i o n   n e u r a l   n e t w o r k ’ s  R e L U   a n d   L e a k y - R e LU   a c t i v a t i o n   f u n c t i o n s , ”   i n   Ap p l i c a t i o n s  o f   C o m p u t i n g ,   Au t o m a t i o n   a n d   Wi r e l e ss  S y st e m s  i n   E l e c t r i c a l   En g i n e e r i n g :   Pr o c e e d i n g s  o f   M ARC   2 0 1 8 ,   2 0 1 9 ,   p p .   8 7 3 - 8 8 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 981 - 13 - 6 7 7 2 - 4 _ 7 6 .   [ 2 7 ]   K i n g ma,   P .   D i e d e r i k ,   a n d   J.  Ba ,  “ A d a m:   a   me t h o d   f o r   st o c h a s t i c   o p t i mi z a t i o n , ”   I n t e r n a t i o n a l   C o n f e re n c e   o n   L e a r n i n g   Re p r e se n t a t i o n s   ( I C L R) ,  2 0 1 4 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 4 1 2 . 6 9 8 0   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A d ve r s a r ia l - r o b u s t steg a n a lysi s   s yste m  leve r a g in g   a d ve r s a r ia l tra in in g   …   ( Th a kwa n   A kra m   Ja w a d )   401   [ 2 8 ]   P .   G a v r i k o v ,   “ v i su a l k e r a s  [ C o m p u t e r   so f t w a r e ] , ”   G i t H u b   r e p o si t o r y ,   2 0 2 0 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / g i t h u b . c o m/ p a u l g a v r i k o v / v i s u a l k e r a s (A c c e sse d :   N o v   20 ,  2 0 2 4 ) .           B I O G RAP H I E S O F   AUTH O RS       Th a k w a n   A k r a m   J a w a d           M.S .   m a ste r  o f   sc ien c e   in   C o m p u ter  E n g in e e rin g   f ro m   No rth e rn   Cy p ru s  (EM U)   in   T ü rk iy e ,   A ss i sta n t  L e c tu re r  a t  Nin e v e h   Un iv e rsity ,   De p a rt m e n t  o f   S y ste m   a n d   Co n tr o l  E n g in e e rin g   Co ll e g e   o f   El e c tro n ic  En g in e e rin g   Nin e v a h   Un iv e rsit y   M o su l   4 1 0 0 2 ,   Ira q .   He   c a n   b e   c o n tac ted   a t  e m a il :  th a k w a n . ja w a d @ u o n in e v a h . e d u . iq .             J a m sh i d   B a g h e r z a d e h   M o h a s e fi           h o ld s  a   P h . D .   i n   C o m p u te r  S c ien c e   f ro m   In d ian   I n stit u te  o f   T e c h n o lo g y ,   In d ia.  He   is  c u rre n tl y   P ro f e ss o r  o f   th e   De p a rtme n t  o f   Co m p u ter  S c ien c e   a t  th e   Urm i a   U n iv e rsity .   His  r e se a r c h   to p ics   in c l u d e   a rti f icia l  in telli g e n c e ,   m a c h in e   lea rn in g ,   a n d   n e tw o rk   se c u rit y .   His  re s e a rc h   h a s  b e e n   f u n d e d   b y   th e   Urm i a   Un iv e rsit y ,   Ira n ian   T e lec o m   M i n istry ,   a n d   Ira n ian   M i n istry   o f  S c ien c e ,   Re se a rc h ,   a n d   T e c h n o lo g y .   He   c a n   b e   c o n tac ted   a t  e m a il :  j. b a g h e rz a d e h @u rm ia.a c . ir.         M o h a m m e d   S a la h   Re d a   Abd e lg h a n y           h o l d s  a   P h . D .   i n   C o m p u te r  S c ien c e   f ro m   th e   F a c u lt y   o f  S c ien c e   a t  Da m iett a   Un iv e rsit y ,   Eg y p t.   H e   a lso   e a rn e d   a   M a ste r ’ s  d e g r e e   a n d   a  P re - M a ste r  D ip lo m a   in   C o m p u t e r  S c ien c e   f ro m   th e   F a c u lt y   o f   S c i e n c e   a t  M in ia  Un iv e rsit y .   Cu rre n tl y ,   h e   is  a ff il iate d   w it h   th e   F a c u lt y   o f   Co m p u ters   a n d   A rti fici a l  In telli g e n c e   a t  Be n i - S u e f   u n iv e rsity .   His  re se a r c h   in te re sts  sp a n   a c ro ss   v a rio u s  a sp e c ts  o f   c o m p u ter  sc ien c e   a n d   a rti f icia l  in telli g e n c e .  He   c a n   b e   c o n tac ted   a t  e m a il :  m sr_ c s_ 8 7 @d u . e d u . e g .         Evaluation Warning : The document was created with Spire.PDF for Python.