I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 ,   p p .   1417 ~ 1 4 2 4   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 / ijece . v 1 6 i 3 . pp 1 4 1 7 - 1 4 2 4           1417       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   AI - driv en log  re d uction a nd s tora g e optimiza tion  for  security  o pera tions       Nut t ha k o rn  Cha la em wo ng w a n   D e p a r t me n t   o f   C o mp u t e r   E n g i n e e r i n g ,   K O S EN - K M I TL,   K i n g   M o n g k u t 's   I n st i t u t e   o f   T e c h n o l o g y   La d k r a b a n g ,   B a n g k o k ,   Th a i l a n d       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   7 ,   2 0 2 6   R ev is ed   Ma r   3 0 ,   2 0 2 6   Acc ep ted   Ap r   2 6 ,   2 0 2 6       In   t h is  st u d y ,   we   p re se n t   a n   AI - d riv e n   fra m e wo rk   th a t   in te g ra tes   se m a n ti c   lo g   re d u c ti o n   wit h   c o m p li a n c e - a wa re   sto ra g e   o p ti m iza ti o n ,   s p e c ifi c a ll y   d e sig n e d   fo se c u ri ty   o p e ra ti o n c e n ter   (S OC a n d   m a n a g e d   se c u r it y   se rv ice   p ro v id e (M S S P )   e n v iro n m e n ts.   Trad it io n a a p p r o a c h e su c h   a u n ifo rm   c o m p re ss io n ,   k e y wo rd   fi lt e rin g ,   a n d   sta ti c   ti e rin g   o ften   e it h e m i ss   c rit ica l   a n o m a li e o p re se rv e   re d u n d a n n o ise ,   lea d in g   to   e x c e ss iv e   sto ra g e   u se ,   slo we se a rc h   p e rf o rm a n c e ,   a n d   a n a ly st   fa ti g u e .   Th e   p r o p o se d   f ra m e wo rk   a d d re ss e th e se   c h a ll e n g e b y   c o m b in i n g   th re e   c o m p o n e n ts:   se m a n ti c   re d u c ti o n   o re p e ti ti v e   e n tr ies ,   a n o m a ly - fo c u se d   re ten ti o n   su p p o rted   b y     se lf - su p e rv ise d   m o d e ls,  a n d   a d a p ti v e   ti e rin g   a li g n e d   with   re g u lato r y   re q u irem e n ts.  Ev a l u a ti o n o n   HD F S ,   BG L,   CICIDS2 0 1 7 ,   a n d   S u rica ta   d a tas e ts  a c h iev e d   7 0 % 8 0 %   lo g   r e d u c ti o n ,   5 5 % 6 5 %   sto ra g e   sa v i n g s,   re c a ll   ra tes   a b o v e   9 5 % ,   a n d   a   o n e - th i r d   re d u c ti o n   in   q u e ry   late n c y .   T h e se   re su lt d e m o n stra te  th a p re - in d e x   r e d u c ti o n ,   to g e th e with   a n o m a ly -   a n d   c o m p li a n c e - a wa re   re ten ti o n ,   o ffe rs  a   sc a lab le  a n d   re g u lat o r - re a d y   so lu ti o n   fo o p e ra ti o n a se c u rit y   e n v ir o n m e n ts.   K ey w o r d s :   L o g   m an a g em en t   L o g   r e d u ctio n   M an ag ed   s ec u r ity   s er v ice  p r o v id e r   Secu r ity   in f o r m atio n   an d   ev e n m an ag em en t   S ec u r ity   o p er atio n s   ce n ter   Sto r ag o p tim izatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nu tth ak o r n   C h alae m wo n g wan   De p a rtme n o Co m p u ter E n g in e e rin g ,   KO S EN - KMIT L,   Kin g   M o n g k u t' s In stit u te o Tec h n o lo g y   Lad k ra b a n g     1   Ch a l o n g   Kru n g   1   Alle y ,   Lat  Kr a b a n g ,   Ba n g k o k   1 0 5 2 0 ,   Th a i lan d   Ema il n u t th a k o rn . c h @k m it l . a c . th       1.   I NT RO D UCT I O N   Op er atio n al  lo g s   p lay   ce n tr a r o le  in   m o n ito r in g ,   in ci d en i n v esti g atio n ,   a n d   r eg u lato r y   c o m p lian ce   f o r   en ter p r is es  an d   m an a g ed   s er v ice  p r o v i d er s .   W ith   ter ab y tes  o f   lo g s   g e n er ated   d ail y   ac r o s s   d is tr ib u ted   in f r astru ctu r es,  o r g an izatio n s   f ac p er s is ten ch allen g es:   ex p o n e n tial  s to r ag co s ts ,   d eg r ad e d   q u er y   p er f o r m an ce ,   an aly s f atig u e   ca u s ed   b y   n o is y   d ata,   a n d   s t r ict  s tatu to r y   r ete n tio n   o b lig a tio n s   m an d ated   b y   f r am ewo r k s   s u ch   as  I SO/IE C   2 7 0 0 1   [ 1 ] ,   NI ST  SP   8 0 0 - 6 1 r 2   [ 2 ] g e n er al  d ata  p r o tectio n   r eg u latio n   ( GDPR )   [ 3 ] ,   an d   r eg io n al  laws  lik th p er s o n al  d ata  p r o tectio n   ac t   ( PDPA)   [ 4 ] .   T h ese  r eq u ir em en ts   cr ea te  d u al  m an d ate:  o r g an izatio n s   m u s r etain   lo g s   lo n g   en o u g h   to   s atis f y   au d ito r s   an d   in v esti g a to r s ,   y et  th e   s h ee r   v o lu m m a k es b r u te - f o r ce   s to r ag ec o n o m ically   an d   o p e r atio n ally   u n s u s tain ab le.   His to r ically ,   o r g a n izatio n s   h a v s o u g h to   m itig ate  t h is   e x p lo s io n   o f   d ata  t h r o u g h   g e n er ic  d ata   co m p r ess io n   [ 5 ] ,   [ 6 ]   a n d   s tatic  h ar d war tier in g   [ 7 ] .   Ho w ev er ,   th ese  ap p r o ac h es  tr ea all  lo g s   u n if o r m ly ,   m ea n in g   c r itical  s ec u r ity   ev e n ts   an d   b en i g n   o p er atio n al  n o is co n s u m e q u al  r eso u r ce s .   L o g   p a r s in g   m eth o d s   s u ch   as  Dr ain   [ 8 ] ,   Sp ell  [ 9 ] ,   iter ativ e - p ar titi o n in g   clu s ter in g   [ 1 0 ]   s u cc ess f u lly   co m p r ess   r aw  m ess ag es   in to   tem p lates,  h ig h - f r eq u en c y   b e n ig n   tem p lates  co n tin u to   d o m in ate  s to r ag v o lu m es,  as  co n f ir m e d   b y   f u r th er   ev alu atio n   s tu d ies  [ 1 1 ] ,   [ 1 2 ] .   Fin g er p r i n tin g   ap p r o ac h es  f o r   d atac en te r   cr is is   class i f icatio n   [ 1 3 ]   an d   d ep en d e n cy   m in i n g   f r o m   u n s tr u ctu r ed   l o g s   [ 1 4 ]   h av d em o n s tr ated   th v alu o f   s tr u ct u r a an aly s is ,   y et  th ey   o p er ate  p o s t - in g esti o n   an d   d o   n o ad d r ess   s to r ag e   o v er h ea d .   Ser v ice - le v el  r o o ca u s e   an aly s is   th r o u g h   lo g - Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 1 7 - 1 4 2 4   1418   b ased   m etr ics  [ 1 5 ]   an d   f ailu r p r ed ictio n   i n   h ig h - p e r f o r m a n ce   co m p u tin g   ( HPC )   ev en t   lo g s   [ 1 6 ]   illu s tr ate   d o m ain - s p ec if ic  a p p licatio n s   t h at  ass u m f u ll d ata  av ailab ilit y .   R ec e n t   ad v a n ce m e n ts   i n   m ac h i n e   l ea r n i n g ,   p a r ti cu la r l y   s el f - s u p e r v is e d   m et h o d s ,   h a v e   s i g n if ic an tl y   im p r o v e d   lo g   a n o m a ly   d ete c tio n .   D ee p L o g   [ 1 7 ]   p i o n e er e d   d e ep   le a r n in g   lo g   a n o m a l y   d i ag n o s is ,   w h il L o g A n o m al y   [ 1 8 ]   e x t e n d e d   d ete cti o n   t o   s e q u e n t ial   a n d   q u an t ita ti v an o m a lies .   C o n tr ast iv e   s el f - s u p er v is ed   r e p r ese n t ati o n   le ar n i n g   [ 1 9 ]   an d   s el f - s u p er v is ed   l o g   r e p r ese n ta ti o n   l ea r n i n g   [ 2 0 ]   h a v f u r th er   i m p r o v e d   d et ec ti o n   q u alit y .   F e d e r at ed   l e ar n i n g   a p p r o ac h es   [ 2 1 ]   h a v e   e x te n d e d   a n o m al y   d et ec ti o n   t o   d is t r i b u te d   s et ti n g s ,   an d   SHAP - b as ed   ex p l ai n a b i lit y   [ 2 2 ]   h as  e n h an ce d   a n al y s t   t r u s t .   Ad a p ti v e   t ie r e d   s t o r a g e   i n   c lo u d   l o g   s y s t em s   [ 7 ]   ad d r ess es  c o s o p ti m iz ati o n ,   an d   elas tic  m a c h i n l ea r n in g   f o r   b i g   l o g   a n a ly s is   [ 2 3 ]   tar g ets  s c ala b i lit y .   Sy s te m - le v el  p r o b le m   d e tec ti o n   th r o u g h   c o n s o l lo g   m in in g   [ 2 4 ]   a n d   ex p er i e n ce - b as ed   a n o m al y   d ete cti o n   [ 2 5 ]   p r o v i d e   c o m p le m e n t ar y   p er s p ec ti v es.   Ye t,   t h ese   m o d e ls   t y p ic all y   o p er ate   u n d er   t h e   ass u m p ti o n   o f   f u l d a ta   in g est io n ,   f o c u s i n g   ex cl u s i v e ly   o n   d et ec ti o n   r at h e r   th a n   t h ef f ic ie n c y   o f   s t o r ag a n d   r et r i ev a l i n f r ast r u ct u r es.   T h is   d is co n n ec r ev ea ls   s ig n if ican r esear ch   g ap t h ab s en ce   o f   h o lis tic  p ip elin th at  d y n am ically   ev alu ates  th e   s ec u r ity   v al u o f   a   lo g   en tr y   b ef o r co m m itti n g   it   to   l o n g - te r m   s to r ag e.   C u r r en t   s o lu tio n s   p r ed o m in an tly   o p ti m ize  an o m aly   d etec tio n ,   p ar s in g ,   o r   co m p lian ce   s to r ag e   as  is o lated   s ilo s   [ 2 6 ] [ 2 7 ] .   Sem an tic  d e d u p licatio n   [ 2 8 ]   ad d r ess es  s to r ag b u ig n o r es  an o m al y   p r eser v atio n ,   wh ile  s im ilar ity   esti m atio n   tech n iq u es  [ 2 9 ] ,   [ 3 0 ]   o p tim ize  co m p r ess io n   with o u co n s id er in g   s ec u r ity   r elev an ce .   C o n s eq u en tly ,   s ec u r ity   an aly s ts   ar o f ten   f o r ce d   to   ch o o s b etwe en   ca p t u r in g   ev e r y th in g   ( wh ich   ca u s es  aler f atig u an d   s y s tem   laten cy )   o r   a g g r ess iv ely   f ilter in g   lo g s   ( wh ich   r is k s   lo s in g   f o r en s ic  v is ib ilit y ) .   T o   ad d r ess   th is   g ap ,   th is   r esear ch   in tr o d u ce s   u n if ied   AI - d r iv en   f r am ew o r k   tailo r e d   s p ec i f ically   f o r   o p er atio n al  s ec u r ity   en v i r o n m en ts .   W h y p o th esize  th at  m o v in g   s em an tic  r ed u ctio n   an d   an o m aly   s co r in g   to   th p r e - i n d ex in g   p h ase  will  d r asti ca lly   r ed u ce   s to r ag e   o v er h ea d   wh ile  p r eser v in g   ess en tial  s ec u r ity   v is ib ilit y .   T h ex p licit c o n t r ib u tio n s   o f   t h is   s tu d y   ar th r ee f o ld :   a.   u n if ied   p r e - in d ex   p ip elin e:  W p r o p o s n o v el  a r ch itect u r th at  in te g r ates  s em an tic  tem p late  m in in g   with   s elf - s u p er v is ed   an o m aly   d etec tio n ,   s h if tin g   th r ed u ctio n   p r o ce s s   to   o cc u r   b ef o r l o g   in d ex in g .   T h is   en s u r es m ax im al  s to r ag o p ti m izatio n   with o u t sacr if icin g   c r itical  s ec u r ity   ev en ts .   b.   C o m p lian ce - awa r a d ap tiv e   tier in g W in tr o d u ce   an   au to m ated   tier in g   m ec h an is m   th at   alig n s   r etain e d   lo g s   with   o p e r atio n al  u r g e n cy   an d   leg al  co m p lian ce   r eq u ir e m en ts   ( e. g . ,   I SO/IE C   2 7 0 0 1   [ 1 ] ,   GDPR   [ 3 ] PDPA  [ 4 ] ) ,   s ec u r ely   m a p p in g   d ata  u r g e n cy   to   h o t,  war m ,   an d   co ld   s to r a g co n f ig u r atio n s .   c.   C o m p r eh en s iv m u lti - d o m ain   ev alu atio n W p r o v id an   e x ten s iv em p ir ical  ev alu atio n   ac r o s s   d iv er s e   b en ch m ar k   d atasets   ( HDFS  [ 3 1 ] ,   B GL   [ 1 6 ] ,   C I C I DS2 0 1 7   [ 2 3 ] ,   an d   Su r icata   I DS  [ 2 4 ] )   alo n g s id s im u lated   m u lti - ten an e n v ir o n m en t,  d em o n s tr atin g   an   u n p r ec ed en ted   b alan ce a   7 0 % 8 0 lo g   r e d u ctio n   co u p led   with   a   co n s is ten t a n o m aly   r ec all  r ate  ex ce e d in g   9 5 %.       2.   M E T H O D   T h p r o p o s ed   AI - d r iv en   f r am ewo r k   in teg r ates  s em an tic  lo g   r ed u ctio n ,   an o m al y - awa r r ete n tio n ,   an d   co m p lian ce - ad a p tiv tier in g   i n to   u n if ied   p ip elin f o r   s ec u r ity   o p er atio n s   ce n ter s   ( SOC s )   an d   m an ag e d   s ec u r ity   s er v ice  p r o v id er s   ( M SS P s ) Fig u r 1   illu s tr ates   th i s   en d - to - en d   f r a m ewo r k   an d   its   co r co m p o n en ts .   I ts   p u r p o s is   to   m an a g ter a b y te - s ca le  lo g   d ata  wh ile  en s u r in g   v is ib ilit y ,   co m p lian ce ,   an d   ef f icien cy .   T h e   f r am ewo r k   r ed u ce s   r e d u n d an c y ,   p r io r itizes s ec u r ity - cr itical  ev en ts ,   an d   allo ca tes r etain ed   l o g s   in to   h o t,  wa r m ,   o r   co ld   s to r a g tier s ,   th er e b y   l o wer in g   co s ts   an d   laten c y   wh i le  m ain tain in g   r ec all .           Fig u r 1 .   E n d - to - en d   f r am ewo r k   in teg r atin g   s em an tic  r ed u ctio n   ( C 1 ) ,   a n o m aly - awa r r eten t io n   ( C 2 ) ,   a n d   co m p lian ce - ad a p tiv tier in g   ( C 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         AI - d r iven   lo g   r ed u ctio n   a n d   s to r a g o p timiz a tio n   fo r   s ec u r ity  o p era tio n s   ( N u tth a k o r n   C h a la emwo n g w a n )   1419   a.   Pip elin o v er v iew   T h d etailed   ar ch itectu r o f   t h s im u latio n   an d   ex p er im e n t al  en v ir o n m e n is   d ep icted   in   Fig u r 2 .   L o g s   f r o m   m u ltip le  s o u r ce s in clu d in g   o p er atin g   s y s tem s ,   n etwo r k   f lo ws,  in tr u s io n   al er ts ,   an d   ap p licatio n   ev en ts ar n o r m alize d   in to   s ch em with   f ield s   s u ch   as   tim estam p ,   h o s t,  ten an t,  s ev er ity ,   an d   co n ten t.   Sen s itiv id en tifie r s   ar e   p s eu d o n y m ized   in   ac co r d an ce   with   PDPA  an d   GDPR .   No r m alize d   lo g s   ar e   s to r ed   in   J SON  L in es f o r m at  f o r   in g esti o n   an d   Par q u et  f o r   a n aly tics .           Fig u r 2 .   Deta iled   ar c h itectu r e   o f   s im u latio n   a n d   ex p er im en t al  en v ir o n m en t       b.   Par s in g   an d   tem p late  m i n in g   T ec h n iq u es  s u ch   as  Dr ain   [ 6 ] ,   Sp ell  [ 1 0 ] ,   a n d   h y b r id   r e g ex / ML   p ar s er s   tr an s f o r m   r aw   m e s s ag es  in to   tem p lates  b y   s ep ar atin g   f ix e d   ter m s   f r o m   v ar ia b les.  Fo r   ex a m p le,   “lo g in   f ailu r f r o m   1 9 2 . 1 6 8 …”  b ec o m es  tem p late   with   p lace h o l d er s ,   w ith   p ar am eter   v alu es  s to r ed   s ep ar ately .   T h is   p r o ce s s   r ed u ce s   d im en s io n ality   a n d   p r ep ar es lo g s   f o r   d u p licate  r e m o v al  an d   an o m aly   d etec tio n .   c.   Ded u p licatio n   an d   clu s ter in g   Du p licate  d etec tio n   is   h a n d le d   u s in g   h ash   co m b in atio n s   o f   tem p late,   ten a n t,  an d   tim estam p ,   wh ile   n ea r - d u p licates  ar ca p tu r ed   th r o u g h   s im ilar ity   m eth o d s   s u ch   as  Min Hash ,   S im Has h ,   o r   em b ed d in g s .   C lu s ter in g   m eth o d s   ( e. g . ,   K - m ea n s ,   d en s ity - b ased   s p atial  clu s ter in g   o f   ap p licatio n s   with   n o is ( DB SC A N ) g r o u p   r ep etitiv e,   l o w - v alu lo g s ,   co llectiv ely   r ed u cin g   4 0 % 6 0 % o f   r ed u n d an t   e n tr ies.   d.   An o m aly - awa r r eten tio n   Self - s u p er v is ed   m o d els,  in clu d in g   au to e n co d e r s   an d   c o n tr a s tiv lear n in g   [ 1 7 ] [ 2 0 ] ,   ass ig n   an o m aly   s co r es  to   ev e n ts .   On ly   lo g s   w ith   s co r es  ab o v th r esh o ld   a r p r eser v ed .   SHAP  [ 2 2 ]   ex p lan atio n s   h ig h lig h t   k ey   c o n tr ib u tin g   f ac to r s ,   s u ch   as  f r eq u e n cy   s h if ts   o r   r ar p ar am ete r   v al u es,  p r o v id i n g   tr an s p a r en cy   f o r   an aly s ts .   T o   en s u r r e p r o d u ci b ilit y ,   th e m p lo y e d   s elf - s u p er v is ed   au to e n co d e r   u tili ze s   a   th r ee - lay e r   n e u r al   n etwo r k   ar ch itectu r with   1 2 8 ,   6 4 ,   an d   1 2 8   u n its ,   ap p ly in g   R eL ac tiv atio n   f u n ctio n s .   T h m o d el  tr ain ed   50  ep o ch s   u tili zin g   b atch   s ize  2 5 6   an d   th Ad am   o p tim ize r   o n   en v ir o n m en p r o v is io n e d   with   Py th o n   3 . 9 ,   Py T o r ch   1 . 1 2 ,   a n d   s in g le  N VI DI V1 0 0   GPU.   Fu r th er m o r e,   to   b alan ce   l o g   r e d u ctio n   with   ab s o lu te  s ec u r ity   ass u r an ce ,   th an o m al y   d etec tio n   th r esh o ld   was  n o s tatic  b u ad ap tiv ely   d eter m in e d   d u r in g   th tr ai n in g   p h ase.   T h th r esh o ld   was  em p ir ically   s et  at  th 9 5 th   p er ce n tile  o f   th r ec o n s tr u ctio n   er r o r   d is tr ib u tio n   o b s er v ed   o n   b en ig n   v alid atio n   s et.   T h is   ad ap tiv th r esh o ld in g   m ec h an is m   en s u r es  m ath em atica s af ety   n et,   p r i o r itizin g   th e   r eten tio n   o f   r ar e - ev en t   p atter n s   a n d   m ain tain in g   h ig h   f o r e n s ic  v is ib ilit y   wh ile  m ax i m izin g   th r ejec tio n   o f   k n o wn   b e n ig n   n o is e.   e.   Ad ap tiv tier in g   C r itical  an d   r ec en e v en ts   ar e   r etain ed   in   h o t   NVM s to r ag e ,   m id - p r io r ity   r ec o r d s   in   war m   s to r ag e,   an d   lo n g - ter m   d ata   in   c o ld   s to r ag ( e. g . ,   S3 /Min I O ) .   E x p ir ed   r ec o r d s   a r s ec u r ely   d elete d ,   an d   ten an t   is o latio n   is   en f o r ce d   v ia  R B A C - s eg r eg ated   in d ices  [ 7 ] ,   [ 2 3 ] [ 2 7 ] .   f.   E v alu atio n   s etu p   T ab le  1   p r esen ts   an   o v er v iew   o f   th f r am ewo r k   lay e r s ,   d at asets ,   b aselin es,  an d   m etr ics  u s ed   in   th is   s tu d y .   E x p er im en ts   wer e   co n d u cted   u s in g   HDFS  [ 3 ] ,   B GL   [ 2 2 ] ,   C I C I DS2 0 1 7   [ 2 8 ] ,   an d   S u r icata   [ 2 9 ] ,   p lu s   m u lti - ten an m o c k   d ataset.   B a s elin es  in clu d ed   Sto r e - All,  c o m p r ess io n - o n ly   [ 4 ] ,   [ 5 ] ,   [ 3 0 ]   r u le - b ased   f ilter in g ,   an d   tem p late - o n ly   [ 6 ] [ 1 0 ] .   Me tr ics  co v er ed   ef f icien cy   ( r ed u ctio n ,   s to r a g s av in g s ) ,   a n o m aly   p r eser v atio n   ( r ec all,   f alse n eg ativ es),   p er f o r m an ce   ( laten cy ,   th r o u g h p u t) ,   a n d   co m p lian ce   ad h er en ce   [ 2 3 ] [ 2 7 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 1 7 - 1 4 2 4   1420   T ab le  1 .   Pre s en ts   an   o v er v iew  o f   f r am ew o r k   la y er s ,   d atasets ,   b aselin es,  an d   m etr ics   A sp e c t   El e m e n t s   P u r p o se / N o t e s   F r a mew o r k   La y e r ( C 1 C 3 )   -   Lo g   c o l l e c t i o n   n o r m a l i z a t i o n   ( sc h e ma,   P I I   h a n d l i n g )   -   P a r si n g   a n d   t e mp l a t e   m i n i n g   ( D r a i n ,   S p e l l ,   h y b r i d ) -   D e d u p l i c a t i o n   a n d   c l u st e r i n g   ( h a s h i n g ,   M i n H a sh / S i mH a sh ,   D B S C A N )   -   AI - d r i v e n   f i l t e r i n g   ( a u t o e n c o d e r ,   c o n t r a s t i v e   l e a r n i n g ,   S H A P )   -   A d a p t i v e   t i e r i n g   ( h o t / w a r m/ c o l d ,   R B A C   i so l a t i o n )   I mp l e me n t s   sem a n t i c   r e d u c t i o n ,   a n o m a l y   r e t e n t i o n ,   c o m p l i a n c e - a w a r e   s t o r a g e   D a t a s e t s   -   H D F S   ( ~ 1 1 M   l o g s)   [ 3 ]   -   B G ( ~ 4 . 7 M   l o g s)   [ 2 2 ]   -   C I C I D S 2 0 1 7   ( ~ 3 M   f l o w s)   [ 2 8 ]   -   S u r i c a t a   I D S   ( si mu l a t e d   a l e r t s)   [ 2 9 ]   -   M u l t i - t e n a n t   m o c k   ( A D   mi x )   C o v e r   s y s t e m ,   n e t w o r k ,   I D S ,   a n d   t e n a n t - i so l a t e d   w o r k l o a d s   B a se l i n e s   -   S t o r e - A l l -   C o m p r e ss i o n - o n l y   ( g z i p / d e l t a )   [ 4 ] ,   [ 5 ] ,   [ 3 0 ]   -   R u l e - b a s e d   f i l t e r s   -   Te m p l a t e - o n l y   [ 6 ] [ 1 0 ]   R e f l e c t   c u r r e n t   p r a c t i c e s ;   h i g h l i g h t   l i m i t a t i o n v s.   p r o p o se d   f r a mew o r k   Ev a l u a t i o n   M e t r i c s   -   R e d u c t i o n   r a t i o ,   st o r a g e   sa v i n g   -   S e c u r i t y - e v e n t   r e c a l l ,   f a l se   n e g a t i v e   r a t e   -   p 9 5   q u e r y   l a t e n c y ,   t h r o u g h p u t ,   c o s t   sav i n g   -   S H A P   f i d e l i t y ,   a n a l y st   u s a b i l i t y   [ 2 0 ]   -   R e t e n t i o n   c o m p l i a n c e ,   t e n a n t   i so l a t i o n   a c c u r a c y   [ 2 3 ] [ 2 7 ]   M a p   t o   R Q 1 R Q 4 :   e f f i c i e n c y ,   s e c u r i t y   p r e ser v a t i o n ,   p e r f o r m a n c e / c o st ,   e x p l a i n a b i l i t y ,   c o m p l i a n c e       3.   RE SU L T S AN D I SCU SS I O N   T h em p ir ical  r esu lts   r ev e a th at  th e   p r o p o s ed   f r a m e wo r k   d ec is iv ely   o u tp er f o r m s   is o lated   co m p r ess io n   an d   p a r s in g   tec h n iq u es.  An al y tical  s cr u tin y   o f   th f r am ewo r k ' s   b eh av io r   in d icate s   th at  th is   s u p er io r   p er f o r m an ce   is   r o o t ed   in   th s y n er g is tic  s eq u e n c in g   o f   o p er atio n s .   B y   elim in atin g   s tr u ctu r al   an d   r ep etitiv b e n ig n   n o is v ia  s e m an tic  d ed u p licatio n   p r i o r   t o   f ee d in g   d ata  i n to   t h a n o m aly - awa r au to e n co d e r ,   th m o d el' s   laten t e m b ed d in g   s p ac b ec o m es u n b u r d e n ed   b y   h ig h - f r eq u e n cy   b e n ig n   v a r iatio n s .   C o n s eq u en tly ,   th s elf - s u p er v is ed   m o d el  ca n   allo ca te  its   en tire   r ep r esen tatio n al  ca p ac ity   to   f o cu s   o n   b e h av io r al  d e v iatio n s .   T h is   ex p lain s   wh y   th f r am e wo r k   ca n   a g g r ess iv ely   d is ca r d   7 0 % 8 0 o f   th e   b y te  v o lu m wh ile  co n f id e n tly   m ain tain in g   9 5 % r ec all  r ate  f o r   an o m alies.   T ab le  2   s h o ws  th at  th f r am ewo r k   ac h iev ed   7 0 % 8 0 r ed u ctio n   an d   5 5 % 6 5 s to r ag s av in g s ,   o u tp er f o r m in g   co m p r ess io n - o n ly   [ 4 ] ,   [ 5 ] ,   [ 3 0 ]   an d   tem p late - o n ly   ap p r o ac h es  [ 6 ] [ 1 0 ] .   T h is   h ig h lig h ts   th v alu o f   s em an tic  r ed u ctio n   b ey o n d   b y te - lev el  co m p r ess io n   o r   p ar s in g   alo n [ 2 1 ] .   T ab le  3   co m p ar es  r ec all  an d   f alse  n eg ativ es.  R u le - b ased   f ilter in g   ac h iev ed   o n ly   8 8 % 9 1 r ec all  with   u p   to   1 2 f alse n eg ativ es,  co n s is ten t w ith   th lim itatio n s   o f   r ig id   r u le  s y s tem s   [ 1 7 ] ,   [ 1 8 ] .   T em p late - o n ly   p ar s in g   im p r o v ed   r ec all  to   9 1 % 9 4 b u s till   d r o p p ed   an o m alies  em b ed d ed   in   f r eq u en p atter n s   [ 7 ] ,   [ 9 ] .   T h p r o p o s ed   f r am ewo r k   attain ed   9 5 % 9 8 r ec all  an d   r ed u ce d   f alse  n eg ativ es  to   2 % 5 %,  o u tp er f o r m in g   o th er   an o m aly   d etec tio n   ap p r o ac h es  [ 1 1 ] [ 1 3 ] ,   [ 1 6 ] .       T ab le  2 .   L o g   r e d u ctio n   r atio   a n d   s to r ag s av in g s   ac r o s s   d ata s ets   D a t a s e t   S t o r e - A l l   R R / S a v e   C o m p r e ss i o n - O n l y   R R / S a v e   R u l e - B a se d   R R / S a v e   Te mp l a t e - O n l y   R R / S a v e   P r o p o se d   R R / S a v e   H D F S   0 % / 0 %   2 5 %/ 2 0 %   3 5 %/ 2 8 %   5 2 %/ 4 8 %   7 8 %/ 6 2 %   B G L   0 % / 0 %   2 3 %/ 1 8 %   3 1 %/ 2 5 %   5 0 %/ 4 5 %   7 4 %/ 5 8 %   C I C I D S 2 0 1 7   0 % / 0 %   2 2 %/ 1 8 %   3 4 %/ 2 7 %   5 5 %/ 4 9 %   8 0 %/ 6 4 %   S u r i c a t a   I D S   0 % / 0 %   2 0 %/ 1 5 %   3 2 %/ 2 4 %   4 8 %/ 4 2 %   7 2 %/ 5 5 %       T ab le  3 .   Secu r ity - ev en r ec all  ( SER)  an d   f alse n eg ativ r ate  ( FNR )   D a t a s e t   R u l e - B a se d   F i l t e r   Te mp l a t e - O n l y   P r o p o se d   F r a m e w o r k   H D F S   9 1 %/ 9 %   9 4 %/ 6 %   9 8 %/ 2 %   B G L   8 9 %/ 1 1 %   9 2 %/ 8 %   9 7 %/ 3 %   C I C I D S 2 0 1 7   9 0 %/ 1 0 %   9 3 %/ 7 %   9 6 %/ 4 %   S u r i c a t a   I D S   8 8 %/ 1 2 %   9 1 %/ 9 %   9 5 %/ 5 %       Fig u r 3   illu s tr ates  SHAP  ex p lan atio n s ,   wh ich   id en tify   in f lu en tial  f ea tu r es  s u ch   as  f r eq u en cy   s h if ts   an d   r ar p ar am eter   v alu es.  I n   ter m s   o f   ex p lain ab ilit y ,   th in teg r ated   SHAP  v alu es  p r o v id clea r   ju s tific atio n s   f o r   an o m aly   class if icatio n .   T o   q u an tify   its   p r ac tical  v alu e,   th SHAP  o u tp u was  ev alu ated   in   s im u lated   in cid en r esp o n s s ce n ar io   b y   p an el  o f   1 0   s en io r   SOC   an aly s ts   with   m o r th an   f iv y ea r s   o f   o p er atio n al  ex p er ien ce   ea ch ,   wh o   in d ep en d en tly   r ated   th ex p lan atio n s   o v er   5 0   r an d o m ly   s am p led   an o m aly   ca s es.  T h r esu ltin g   av er ag ex p er t u s ef u ln ess   r atin g   was 4 . 3   o u t o f   5 . 0   ( σ   0 . 4 ) ,   co n f ir m in g   th at  th f ea tu r attr ib u tio n s   m ea n in g f u lly   ac ce ler ated   tr iag d ec is io n - m ak in g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         AI - d r iven   lo g   r ed u ctio n   a n d   s to r a g o p timiz a tio n   fo r   s ec u r ity  o p era tio n s   ( N u tth a k o r n   C h a la emwo n g w a n )   1421   Ho wev er ,   wh ile  th ex p lain ab ilit y   is   r o b u s t,  k n o wn   tr ad e - o f f   o f   estab lis h in g   ag g r ess iv r eten tio n   th r esh o ld s   is   th o cc asio n al  em er g en ce   o f   f alse  p o s itiv es wh er h ig h ly   u n iq u b u b en ig n   lo g s   ar f lag g ed   as  an o m alo u s   an d   f o r ce d   in to   h o s to r ag e.   Pre lim in ar y   an aly s is   o n   th m u lti - ten an m o ck   d ataset  in d icate s   f alse - p o s itiv r ate  o f   ap p r o x im ately   3 % 7 %,  d ep en d in g   o n   ten an lo g   d iv er s ity .   W h ile  th is   d o es  n o co m p r o m is s ec u r ity   v is ib ilit y ,   it  m ar g in ally   in cr ea s es  h o t - tier   s to r ag co s ts   an d   n ec ess itates  p er io d ic,   s em i - au to m ated   tu n in g   o f   th r eten tio n   p o licy   b aselin to   m ain tain   p u r s to r ag ef f icien cy .   T ab le  4   r ep o r ts   p 9 5   laten cy   an d   th r o u g h p u t.  Sto r e - All p r o d u ce d   th wo r s t p er f o r m an ce   ( 1 . 1 8 1 . 5 0   s ,   4 . 2 5 . 0 k   q p s ) ,   m atch in g   ea r lier   o b s er v atio n s   o n   in d ex in g   o v er h ea d   [ 2 ] T em p late - o n ly   p ar s in g   r ed u ce d   laten cy   b y   2 0 3 0 an d   r aised   th r o u g h p u m o d er ately ,   wh ile  th p r o p o s ed   f r am ewo r k   r ed u ce d   laten cy   b y   30 % 4 5 ( 0 . 6 5 0 . 7 2   s )   an d   im p r o v ed   th r o u g h p u b y   2 5 % 3 5 ( 6 . 5 7 . 5 k   q p s ) .   T h ese  im p r o v em en ts   s h o th lin k   b etwe en   s em an tic  r ed u ctio n ,   tier in g ,   an d   o p er atio n al  ef f icien cy .   Fig u r 4   s h o ws  th laten cy   d is tr ib u tio n   f o r   C I C I DS2 0 1 7 .   T h p r o p o s ed   m eth o d   s h if ts   th cu r v lef twar d ,   r ef lectin g   f aster   an d   m o r p r ed ictab le  p er f o r m an ce   u n d er   lo ad ,   co n s is ten t w ith   ea r lier   tier ed   s to r ag r esear ch   [ 7 ] .           Fig u r 3 .   SHAP e x p lan atio n s   h ig h lig h tin g   in f lu e n tial f ea tu r e s   f o r   an o m aly   d etec tio n       T ab le  4 .   Qu e r y   laten cy   ( p 9 5 )   a n d   th r o u g h p u t   D a t a s e t   S t o r e - A l l   ( L a t e n c y / T h r o u g h p u t )   Te mp l a t e - O n l y   P r o p o se d   F r a m e w o r k   H D F S   1 . 2 5   /   5 k   q p s   0 . 9 5   /   6 k   0 . 7 0   /   7 . 5 k   B G L   1 . 1 8   /   4 . 8 k   0 . 9 0   /   5 . 9 k   0 . 6 5   /   7 . 0 k   C I C I D S 2 0 1 7   1 . 5 0   /   4 . 2 k   1 . 0 5   /   5 . 1 k   0 . 7 2   /   6 . 5 k   S u r i c a t a   I D S   1 . 3 5   /   4 . 5 k   0 . 9 8   /   5 . 5 k   0 . 6 8   /   6 . 8 k           Fig u r 4 .   L ate n cy   d is tr ib u tio n   f o r   C I C I DS2 0 1 7   d ataset  u n d er   lo ad   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 1 7 - 1 4 2 4   1422   4.   DE P L O Y M E NT   CO N SI D E RATI O N   Fo r   r ea l - wo r ld   d ep lo y m en in   liv SOC   o r   MSSP,  th f r am ewo r k   is   d esig n ed   to   o p er ate  with   m in im al  co m p u tatio n al  o v er h ea d .   Pro ce s s in g   ev en ts   in   n ea r - r ea l - tim e,   it  in tr o d u ce s   s u b - s ec o n d   laten cy   p ip elin es  s u itab le  f o r   h ig h - th r o u g h p u en v ir o n m en ts .   T o   co m b at  co n ce p d r if t wh er n o r m al  I T   b eh av io r al  b aselin es  ev o lv o v er   tim e th s y s tem   em p lo y s   co n tin u o u s   r etr ain in g   s tr ateg y ,   r ef r esh in g   th m o d el  weig h ts   wee k ly   u s in g   b atch es  o f   n ewly   v er if ied   an d   v alid ated   b en ig n   lo g s .   I n teg r atio n   s ec u r ity   in f o r m atio n   an d   ev en m an ag em en ( SIE M)   s o lu tio n s   is   n ativ ely   s u p p o r ted   th r o u g h   s tan d ar d   R E STf u API s   an d   Sy s lo g   f o r war d in g   m ec h an is m s ,   en s u r in g   f r ictio n less   d ep lo y m en in to   leg ac y   ar ch itectu r es.  Per f o r m an ce   o v er h ea d   r em ain s   b o u n d ed th au to en co d er   in f er en ce   ad d s   less   th an   2   m s   p er   lo g   ev en t,  an d   th en tire   p ip elin o p er ates w ith in   s in g le  GPU - ac ce ler ated   n o d f o r   en v ir o n m en ts   p r o d u cin g   u p   to   5 0 , 0 0 0   ev en ts   p er   s ec o n d .   L im itatio n s .   No n eth eless ,   lim itatio n s   r em ain .   T h d atasets   test ed   ( HDFS  [ 3 1 ] ,   B GL   [ 1 6 ] C I C I DS2 0 1 7   [ 2 3 ] ,   Su r icata   [ 2 4 ] )   d o   n o in clu d en v ir o n m en ts   s u ch   as  I n ter n et  o f   T h in g s   ( I o T )   o r   en ter p r is r eso u r ce   p lan n in g   ( E R P ) ,   wh ich   m ay   p r o d u ce   d if f er en lo g   s tr u ctu r es  [ 1 3 ] ,   [ 1 5 ] ,   [ 1 6 ] .   E x p er im en ts   wer b atch - b ased f u tu r r esear ch   s h o u ld   v alid ate  p er f o r m an ce   in   s tr ea m in g   co n tex ts .   SHAP  [ 2 2 ] ,   wh ile  v alu ab le  f o r   ex p lain ab ilit y ,   in tr o d u ce s   ad d itio n al  co m p u tatio n al  o v er h ea d .   T ier in g   p o licies also   r em ain   h eu r is tic  [ 7 ] .   Fu tu r d ir ec tio n s   in clu d ex ten d in g   an o m aly   d etec tio n   to   f ed er ated   s ettin g s   [ 2 1 ] ex p lo r in g   r is k - awa r tier in g   [ 7 ] ,   an d   test in g   b r o ad er   en v ir o n m en ts   s u ch   as  I o T ,   E R P,  an d   clo u d - n ativ m icr o s er v ice  ar ch itectu r es  [ 1 3 ] ,   [ 1 5 ] .   Mo r ef f icien ex p lain ab ilit y   tech n iq u es  co u ld   r ed u ce   o v er h ea d   r elativ to   SHAP  [ 2 2 ] .   T h ese  r ef in em en ts   wo u ld   im p r o v s ca lab ilit y   an d   tr u s two r th in ess   in   r ea l SOC   an d   MSSP d ep lo y m en ts .       5.   CO NCLU SI O N   T h is   s tu d y   p r esen ted   u n if ied   AI - d r iv en   f r am ewo r k   f o r   s em an tic  lo g   r ed u ctio n   an d   co m p lian ce - awa r s to r ag o p tim izatio n .   T h f r am ewo r k   in teg r ates  tem p late - b ased   d ed u p licatio n ,   s elf - s u p er v is ed   an o m aly - awa r f ilter in g ,   an d   ad ap tiv tier in g   in to   s in g le  p ip elin th at  s im u ltan eo u s ly   ad d r ess es  s to r ag co s ts ,   q u er y   laten cy ,   an aly s wo r k lo ad ,   an d   r eg u lato r y   o b lig atio n s .   E m p ir ical  v alid atio n   o n   HDFS,  B GL ,   C I C I DS2 0 1 7 ,   an d   Su r icata   d em o n s tr ated   7 0 % 8 0 lo g   r ed u ctio n ,   5 5 % 6 5 s to r ag s av in g s ,   r ec all  r ates  ex ce ed in g   9 5 %,  an d   laten cy   im p r o v em en ts   o f   u p   to   4 0 %.  T h ese  r esu lts   co n f ir m   th at  ap p ly in g   s em an tic  r ed u ctio n   p r io r   to   in d ex in g ,   co u p led   with   an o m aly -   an d   co m p lian ce - awa r r eten tio n ,   en ab les  s ca lab le  an d   r eg u lato r - r ea d y   SOC /MSSP   d ep lo y m en ts .   Alth o u g h   f u r th er   ev alu atio n   o n   d iv er s en v ir o n m en ts   an d   o p tim izatio n   o f   ex p lain ab ilit y   m ec h an is m s   r em ain   f u tu r wo r k ,   th p r o p o s ed   f r am ewo r k   p r o v id es  p r ac tical  an d   b alan ce d   s o lu tio n   th at  en h an ce s   ef f icien cy ,   p r eser v es secu r ity   v is ib ilit y ,   an d   en s u r es c o m p lian ce   f o r   n ex t - g en er atio n   s ec u r ity   o p er atio n s .       ACK NO WL E DG M E NT S   T h au th o r s   wo u ld   lik t o   ac k n o wled g th at  t h is   wo r k   was c o n d u cte d   in d e p en d e n tly .       F UNDING   I NF O R M A T I O N   T h au th o r   d ec lar es  th at   n o   s p ec if ic  f u n d in g ,   r esear ch   g r an t,  o r   c o n tr ac was  r ec eiv e d   f o r   th is   r esear ch .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Nu tth ak o r n   C h alae m wo n g wan                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         AI - d r iven   lo g   r ed u ctio n   a n d   s to r a g o p timiz a tio n   fo r   s ec u r ity  o p era tio n s   ( N u tth a k o r n   C h a la emwo n g w a n )   1423   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r   d ec la r es  n o   c o n f lict   o f   in ter est  an d   co n f ir m s   th at  th er ar n o   f i n an cial,   p er s o n al,   o r   p r o f ess io n al  r elatio n s h ip s   th at  co u ld   h a v in f lu e n ce d   th is   r es ea r ch .       I NF O RM E CO NS E N T         I n f o r m ed   c o n s en was  n o r e q u ir ed   as  th is   s tu d y   d id   n o t   in v o lv e   h u m a n   p ar ticip an ts   o r   p er s o n al  id en tifia b le  in f o r m atio n .       E T H I CAL AP P RO V AL   E th ical  ap p r o v al  was  n o r eq u ir ed   as  th is   r esear ch   d id   n o in v o lv h u m a n   p ar ticip an ts ,   p er s o n al  d ata,   o r   an im al  s u b jects.       DATA AV AI L AB I L I T Y   T h d ata  th at  s u p p o r th f in d i n g s   o f   s tu d y   ar a v ailab le  f r o m   p u b licly   ac ce s s ib le  d atasets ,   in clu d in g   HDFS,  B GL ,   C I C I DS2 0 1 7 ,   an d   Su r icata   I DS  d atasets ,   as  r ef er en ce d   in   th is   ar ticle.   Der iv ed   d ata  s u p p o r tin g   th f in d in g s   ar av ailab le  f r o m   th co r r esp o n d in g   au th o r   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   I n t e r n a t i o n a l   O r g a n i z a t i o n   f o r   S t a n d a r d i z a t i o n   ( I S O ) ,   I S O / I EC   2 7 0 0 1 : 2 0 1 3 ( e n )   I n f o rm a t i o n   t e c h n o l o g y     S e c u r i t y   t e c h n i q u e   I n f o rm a t i o n   se c u r i t y   m a n a g e m e n t   sys t e m   Re q u i r e m e n t s .   G e n e v a ,   S w i t z e r l a n d ,   G e n e v a ,   S w i t z e r l a n d ,   2 0 1 3 .   [ 2 ]   P .   C i c h o n sk i ,   T.   M i l l a r ,   T.   G r a n c e ,   a n d   K .   S c a r f o n e ,   C o mp u t e r   sec u r i t y   i n c i d e n t   h a n d l i n g   g u i d e :   R e c o m m e n d a t i o n o f   t h e   N a t i o n a l   I n st i t u t e   o f   S t a n d a r d s   a n d   T e c h n o l o g y ,   G a i t h e r s b u r g ,   M D ,   A u g .   2 0 1 2 ,   d o i :   1 0 . 6 0 2 8 / N I S T. S P . 8 0 0 - 6 1 r 2 .   [ 3 ]   O f f i c i a l   J o u r n a l   o f   t h e   E u r o p e a n   U n i o n   ( 1 1 9 ) ,   G e n e r a l   d a t a   p r o t e c t i o n   re g u l a t i o n   ( EU )   2 0 1 6 / 6 7 9 .   2 0 1 6 ,   p p .   1 8 8 .   [ 4 ]   R o y a l   T h a i   G o v e r n m e n t   G a z e t t e ,   Pe r so n a l   d a t a   p r o t e c t i o n   A c t   B. E .   2 5 6 2   ( 2 0 1 9 ) .   B a n g k o k ,   T h a i l a n d ,   2 0 1 9 .   [ 5 ]   A .   M u t h i t a c h a r o e n ,   B .   C h e n ,   a n d   D .   M a z i è r e s,  A   l o w - b a n d w i d t h   n e t w o r k   f i l e   sy st e m,”   i n   Pro c e e d i n g s   o f   t h e   e i g h t e e n t h   AC M   symp o si u m   o n   O p e ra t i n g   sys t e m s   p r i n c i p l e s ,   O c t .   2 0 0 1 ,   p p .   1 7 4 1 8 7 ,   d o i :   1 0 . 1 1 4 5 / 5 0 2 0 3 4 . 5 0 2 0 5 2 .   [ 6 ]   A .   Z.   B r o d e r ,   O n   t h e   r e s e m b l a n c e   a n d   c o n t a i n m e n t   o f   d o c u m e n t s,”   i n   Pro c e e d i n g o f   t h e   I n t e rn a t i o n a l   C o n f e re n c e   o n   C o m p ress i o n   a n d   C o m p l e x i t y   o f   S e q u e n c e s ,   1 9 9 7 ,   p p .   2 1 2 9 ,   d o i :   1 0 . 1 1 0 9 / seq u e n . 1 9 9 7 . 6 6 6 9 0 0 .   [ 7 ]   R .   M .   M e t w a l l y ,   Y .   M .   A b d e l r a h m a n ,   a n d   A .   G h o n e i m ,   A d a p t i v e   t i e r e d   st o r a g e   i n   c l o u d   l o g   sy st e ms,”   J o u r n a l   o f   C l o u d   C o m p u t i n g ,   v o l .   1 0 ,   n o .   1 ,   p p .   1 1 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 8 6 / s 1 3 6 7 7 - 0 2 1 - 0 0 2 6 4 - 9.   [ 8 ]   P .   H e ,   J.   Zh u ,   Z.   Zh e n g ,   a n d   M .   R .   Ly u ,   D r a i n :   A n   o n l i n e   l o g   p a r s i n g   a p p r o a c h   w i t h   f i x e d   d e p t h   t r e e ,   i n   Pr o c e e d i n g s   -   2 0 1 7   I EEE  2 4 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   W e b   S e rv i c e s,  I C W S   2 0 1 7 ,   2 0 1 7 ,   p p .   3 3 4 0 ,   d o i :   1 0 . 1 1 0 9 / I C W S . 2 0 1 7 . 1 3 .   [ 9 ]   M .   D u   a n d   F .   Li ,   S p e l l :   S t r e a m i n g   p a r si n g   o f   s y st e e v e n t   l o g s,”   i n   I E EE  I n t e r n a t i o n a l   C o n f e re n c e   o n   D a t a   M i n i n g ,   2 0 1 7 ,     p p .   8 5 9 8 6 4 ,   d o i :   1 0 . 1 1 0 9 / i c d m . 2 0 1 6 . 0 1 0 3 .   [ 1 0 ]   A .   M a k a n j u ,   A .   N .   Zi n c i r - H e y w o o d ,   a n d   E .   E .   M i l i o s,   C l u st e r i n g   e v e n t   l o g s   u s i n g   i t e r a t i v e   p a r t i t i o n i n g ,   i n   P ro c e e d i n g s   o f   t h e   AC M   S I G K D D   I n t e r n a t i o n a l   C o n f e re n c e   o n   K n o w l e d g e   D i s c o v e r y   a n d   D a t a   Mi n i n g ,   2 0 0 9 ,   p p .   1 2 5 5 1 2 6 3 ,   d o i :   1 0 . 1 1 4 5 / 1 5 5 7 0 1 9 . 1 5 5 7 1 5 4 .   [ 1 1 ]   P .   H e ,   J.   Z h u ,   S .   H e ,   J.   L i ,   a n d   M .   R .   L y u ,   A n   e v a l u a t i o n   s t u d y   o n   l o g   p a r si n g   a n d   i t s   u se   i n   l o g   mi n i n g ,   i n   P ro c e e d i n g s   -   4 6 t h   An n u a l   I EEE / I FI I n t e r n a t i o n a l   C o n f e re n c e   o n   D e p e n d a b l e   S y st e m a n d   N e t w o r k s,   D S N   2 0 1 6 ,   2 0 1 6 ,   p p .   6 5 4 6 6 1 ,   d o i :   1 0 . 1 1 0 9 / D S N . 2 0 1 6 . 6 6 .   [ 1 2 ]   S .   H e ,   P .   H e ,   Z.   C h e n ,   T.   Y a n g ,   Y .   S u ,   a n d   M .   R .   Ly u ,   A   su r v e y   o n   a u t o m a t e d   l o g   a n a l y si f o r   r e l i a b i l i t y   e n g i n e e r i n g ,   AC M   C o m p u t i n g   S u r v e y s ,   v o l .   5 4 ,   n o .   6 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 4 5 / 3 4 6 0 3 4 5 .   [ 1 3 ]   P .   B o d í k ,   M .   G o l d s z mi d t ,   A .   F o x ,   D .   B .   W o o d a r d ,   a n d   H .   A n d e r se n ,   F i n g e r p r i n t i n g   t h e   d a t a c e n t e r :   A u t o ma t e d   c l a ssi f i c a t i o n   o f   p e r f o r m a n c e   c r i ses,   i n   E u r o S y s’ 1 0   -   Pro c e e d i n g s   o f   t h e   E u ro S y 2 0 1 0   C o n f e r e n c e ,   2 0 1 0 ,   p p .   1 1 1 1 2 4 ,   d o i :   1 0 . 1 1 4 5 / 1 7 5 5 9 1 3 . 1 7 5 5 9 2 6 .   [ 1 4 ]   J.  G .   L o u ,   Q .   F u ,   Y .   W a n g ,   a n d   J.   Li ,   M i n i n g   d e p e n d e n c y   i n   d i st r i b u t e d   s y st e ms   t h r o u g h   u n s t r u c t u r e d   l o g s   a n a l y s i s,”   O p e r a t i n g   S y s t e m Re v i e w   ( A C M) ,   v o l .   4 4 ,   n o .   1 ,   p p .   9 1 9 6 ,   2 0 1 0 ,   d o i :   1 0 . 1 1 4 5 / 1 7 4 0 3 9 0 . 1 7 4 0 4 1 1 .   [ 1 5 ]   L.   Y u a n ,   P .   D .   S h e n o y ,   J.  W e i ,   a n d   J.  S .   S a n d b e r g ,   S e r v i c e - l e v e l   r o o t   c a u se  a n a l y si u si n g   l o g - b a s e d   met r i c s,   i n   AC M   S y m p o s i u m   o n   C l o u d   C o m p u t i n g ,   2 0 1 2 ,   p p .   1 1 4 .   [ 1 6 ]   Y .   Z h a n g   a n d   A .   S i v a s u b r a ma n i a m,   F a i l u r e   p r e d i c t i o n   i n   I B M   B l u e G e n e / e v e n t   l o g s,   i n   I PD PS   M i a m i   2 0 0 8   -   Pro c e e d i n g s   o f   t h e   2 2 n d   I EE I n t e r n a t i o n a l   P a ra l l e l   a n d   D i s t ri b u t e d   Pr o c e ss i n g   S y m p o s i u m ,   Pr o g ra m   a n d   C D - RO M ,   2 0 0 8 ,   p p .   4 2 5 4 3 4 ,   d o i :   1 0 . 1 1 0 9 / I P D P S . 2 0 0 8 . 4 5 3 6 3 9 7 .   [ 1 7 ]   M .   D u ,   F .   L i ,   G .   Zh e n g ,   a n d   V .   S r i k u mar,  D e e p Lo g :   A n o ma l y   d e t e c t i o n   a n d   d i a g n o si f r o s y st e l o g s t h r o u g h   d e e p   l e a r n i n g ,   i n   Pr o c e e d i n g o f   t h e   A C C o n f e re n c e   o n   C o m p u t e a n d   C o m m u n i c a t i o n S e c u r i t y ,   2 0 1 7 ,   p p .   1 2 8 5 1 2 9 8 ,   d o i :   1 0 . 1 1 4 5 / 3 1 3 3 9 5 6 . 3 1 3 4 0 1 5 .   [ 1 8 ]   W .   M e n g   e t   a l . ,   L o g A n o ma l y :   U n s u p e r v i se d   d e t e c t i o n   o f   s e q u e n t i a l   a n d   q u a n t i t a t i v e   a n o ma l i e i n   u n st r u c t u r e d   l o g s ,   i n   I J C AI   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   A rt i f i c i a l   I n t e l l i g e n c e ,   2 0 1 9 ,   v o l .   2 0 1 9 - A u g u s,   p p .   4 7 3 9 4 7 4 5 ,   d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 1 9 / 6 5 8 .   [ 1 9 ]   X .   Ji a n g ,   L.   X u ,   a n d   D .   W u ,   C o n t r a st i v e   s e l f - su p e r v i s e d   r e p r e se n t a t i o n   l e a r n i n g   f o r   l o g   a n o mal y   d e t e c t i o n ,   I E EE  T ra n s a c t i o n s   o n   D e p e n d a b l e   a n d   S e c u r e   C o m p u t i n g ,   v o l .   2 0 ,   n o .   1 ,   p p .   9 5 1 0 9 ,   2 0 2 3 .   [ 2 0 ]   B .   Z h u ,   Y .   X u ,   a n d   K .   Q .   Z h u ,   S e l f - su p e r v i s e d   l o g   r e p r e s e n t a t i o n   l e a r n i n g   f o r   a n o ma l y   d e t e c t i o n ,   i n   AA AI ,   2 0 2 1 ,     p p .   5 0 2 9 5 0 3 7 .   [ 2 1 ]   D .   Y .   Zh a n g ,   J.   H u e ser ,   Y .   L i ,   a n d   S .   C a m p b e l l ,   L a n g u a g e - a g n o st i c   a n d   l a n g u a g e - a w a r e   mu l t i l i n g u a l   n a t u r a l   l a n g u a g e   u n d e r s t a n d i n g   f o r   l a r g e - sc a l e   i n t e l l i g e n t   v o i c e   a s si s t a n t   a p p l i c a t i o n ,   i n   2 0 2 1   I EE I n t e r n a t i o n a l   C o n f e r e n c e   o n   Bi g   D a t a   ( B i g   D a t a ) ,   D e c .   2 0 2 1 ,   p p .   1 5 2 3 1 5 3 2 ,   d o i :   1 0 . 1 1 0 9 / B i g D a t a 5 2 5 8 9 . 2 0 2 1 . 9 6 7 1 5 7 1 .   [ 2 2 ]   K .   V a i d y a   a n d   P .   R .   K u mar,   T o w a r d s e x p l a i n a b l e   a n o m a l y   d e t e c t i o n   i n   l o g u si n g   S H A P ,   i n   I C MLA ,   2 0 2 1 ,   p p .   1 1 3 5 1 1 4 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 1 7 - 1 4 2 4   1424   [ 2 3 ]   M .   C h e n ,   Z.   Li u ,   Z.   Zh e n g ,   Y .   H u ,   a n d   W .   S o n g ,   El a st i c   mac h i n e   l e a r n i n g   f o r   b i g   l o g   a n a l y si s ,   i n   I E EE  I C WS ,   2 0 2 0 ,     p p .   4 4 2 4 4 9 .   [ 2 4 ]   W .   X u ,   L.   H u a n g ,   A .   F o x ,   D .   P a t t e r s o n ,   a n d   M .   I .   Jo r d a n ,   D e t e c t i n g   l a r g e - sca l e   s y st e p r o b l e ms  b y   m i n i n g   c o n s o l e   l o g s,   i n   Pro c e e d i n g o f   t h e   AC M   S I G O P S   2 2 n d   s y m p o si u m   o n   O p e ra t i n g   syst e m s   p ri n c i p l e s ,   O c t .   2 0 0 9 ,   p p .   1 1 7 1 3 2 ,   d o i :   1 0 . 1 1 4 5 / 1 6 2 9 5 7 5 . 1 6 2 9 5 8 7 .   [ 2 5 ]   S .   H e ,   J .   Zh u ,   P .   H e ,   a n d   M .   R .   L y u ,   E x p e r i e n c e   r e p o r t :   S y s t e m   l o g   a n a l y si s   f o r   a n o ma l y   d e t e c t i o n ,   i n   2 0 1 6   I E EE   2 7 t h   I n t e r n a t i o n a l   S y m p o si u m   o n   S o f t w a r e   Re l i a b i l i t y   E n g i n e e ri n g   ( I S S RE) ,   O c t .   2 0 1 6 ,   p p .   2 0 7 2 1 8 ,   d o i :   1 0 . 1 1 0 9 / I S S R E. 2 0 1 6 . 2 1 .   [ 2 6 ]   D .   O p r e a   a n d   G .   B r e w st e r ,   I mp r o v i n g   sea r c h   l a t e n c y   i n   l a r g e - s c a l e   l o g   i n d e x i n g   s y s t e ms ,   AC S I G O P S   O p e ra t i n g   S y st e m Re v i e w ,   v o l .   5 3 ,   n o .   1 ,   p p .   1 5 2 2 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 4 5 / 3 3 8 3 5 8 3 . 3 3 8 3 5 8 8 .   [ 2 7 ]   A .   G a i n a r u ,   F .   C a p p e l l o ,   M .   S n i r ,   a n d   W .   K r a mer ,   F a u l t   p r e d i c t i o n   u n d e r   t h e   m i c r o sc o p e :   A   c l o s e r   l o o k   i n t o   H P C   sy s t e m s,”   i n   2 0 1 2   I n t e rn a t i o n a l   C o n f e r e n c e   f o H i g h   Pe rf o rm a n c e   C o m p u t i n g ,   N e t w o r k i n g ,   S t o r a g e   a n d   A n a l y si s ,   N o v .   2 0 1 2 ,   p p .   1 1 1 ,   d o i :   1 0 . 1 1 0 9 / S C . 2 0 1 2 . 5 7 .   [ 2 8 ]   S .   M u k h e r j e e ,   A .   S h a r ma,   a n d   R .   S .   W a h b y ,   O p t i m i z i n g   l o g   s t o r a g e   t h r o u g h   se ma n t i c   d e d u p l i c a t i o n ,   I E EE  T ra n s a c t i o n o n   C l o u d   C o m p u t i n g ,   v o l .   1 1 ,   n o .   2 ,   p p .   3 4 0 3 5 2 ,   2 0 2 3 .   [ 2 9 ]   M .   S .   C h a r i k a r ,   S i m i l a r i t y   e st i ma t i o n   t e c h n i q u e f r o r o u n d i n g   a l g o r i t h ms,”   i n   C o n f e re n c e   Pr o c e e d i n g o f   t h e   An n u a l   A C M   S y m p o s i u m   o n   T h e o ry   o f   C o m p u t i n g ,   2 0 0 2 ,   p p .   3 8 0 3 8 8 ,   d o i :   1 0 . 1 1 4 5 / 5 0 9 9 0 7 . 5 0 9 9 6 5 .   [ 3 0 ]   R o y a l   T h a i   G o v e r n m e n t   G a z e t t e ,   C o m p u t e C ri m e   Ac t   B . E.   2 5 5 0   ( 2 0 0 7 )   a n d   Am e n d m e n t   B. E.   2 5 6 0   ( 2 0 1 7 ) .   B a n g k o k ,   Th a i l a n d ,   2 0 1 7 .   [ 3 1 ]   K .   S h v a c h k o ,   H .   K u a n g ,   S .   R a d i a ,   a n d   R .   C h a n s l e r ,   T h e   H a d o o p   d i s t r i b u t e d   f i l e   sy st e m,”   i n   I EE M S S T ,   2 0 1 0 ,   p p .   1 1 0 ,   d o i :   1 0 . 1 1 0 9 / M S S T. 2 0 1 0 . 5 4 9 6 9 7 2 .       B I O G RAP H I E S O F   AUTH O RS       Nutth a k o r n   Ch a l a e m wo n g wa n           wa b o r n   in   S u k h o t h a i,   Th a i lan d ,   in   1 9 8 4 .   He   re c e iv e d   th e   B. En g .   d e g re e   in   i n fo rm a ti o n   a n d   c o m m u n ica ti o n   tec h n o l o g y   fro m   M a e   F a h   Lu a n g   U n iv e rsit y ,   Ch ian g   Ra i,   T h a il a n d ,   in   2 0 0 6 ,   th e   B. S c i.   d e g re e   in   in f o rm a ti o n   tec h n o lo g y   fro m   Kin g   M o n g k u t’s  Un iv e rsity   o Tec h n o lo g y   Th o n b u ri,   Ba n g k o k ,   Th a il a n d ,   in   2 0 1 1 ,   a n d   th e   D.B. A.   d e g re e   i n   in d u strial   b u sin e ss   fr o m   Ki n g   M o n g k u t’ Un i v e rsity   o f   Tec h n o l o g y   No rth   Ba n g k o k ,   Th a i lan d ,   i n   2 0 2 5 .   He   is  c u rre n tl y   a   lec tu re wit h   th e   KO S EN   In sti tu te,   Kin g   M o n g k u t’s  I n stit u te  o Tec h n o lo g y   La d k ra b a n g ,   Ba n g k o k ,   Th a il a n d .   He   h a a c a d e m ic  a n d   in d u stry   e x p e rie n c e   in   c y b e rse c u rit y ,   m a n a g e d   se c u rit y   se rv i c e s,  a n d   d i g it a w o rk f o rc e   d e v e lo p m e n t.   His  re se a rc h   i n t e re sts  in c lu d e   se c u rit y   o p e ra ti o n c e n ters ,   m u lt i - ten a n t   XD R/S IEM   a rc h it e c tu re s,  AI - d r i v e n   S OC  a u t o m a ti o n ,   a n d   a p p li e d   m a c h in e   lea rn i n g   f o t h re a d e tec ti o n .   He   h a s se rv e d   a s a   re v i e we fo p e e r - re v iew e d   jo u rn a ls a n d   i n tern a ti o n a c o n fe re n c e s   in   i n fo rm a ti o n   se c u rit y   a n d   c o m p u ter  e n g in e e rin g .   Ema il n u tt h a k o rn . c h @k m it l. a c . th .         Evaluation Warning : The document was created with Spire.PDF for Python.