T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   1 8 ,   No .   5 ,  Octo b er   2 0 2 0 ,   p p .   2 4 1 2 ~ 2 4 2 0   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad e  b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 8 i 5 . 1 4 3 0 5     2412       J o ur na l ho m ep a g e :  h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Da taba se tec hni q ues for r esilient  n etw o rk   m o ni torin g     a nd inspection       Z a hra a   A.   J a a z 1 ,   Su ha   Sa hib   O leiw i 2 ,   Seba   Aziz   Sa hy 3 ,   I s ra a   Alba ra za nchi 4   1 Co ll e g e   o f   S c ien c e   Co m p u ter De p a rtm e n t,   A lN a h ra in   Un iv e rsity ,   I ra q ,     2 De p a rtme n t  o f   Co m p u ters ,   M in is try   o f   Hig h e r  Ed u c a ti o n ,   Ira q   3 M in istry   o f   Hig h e r  Ed u c a ti o n   a n d   sc ien ti f ic Res e a rc h ,   F o u n d a ti o n   o f   T e c h n ica l  Ed u c a ti o n ,     In stit u te  o f   M e d ica l  T e c h n o lo g y   A l - M a n su r,   Ira q     4  Ba g h d a d   C o ll e g e   o f   Eco n o m ic S c ien c e s Un iv e rsit y ,   Ira q       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Oct  1 0 ,   2 0 1 9   R ev i s ed   J an   1 6 ,   2 0 2 0   A cc ep ted   Feb   2 3 ,   2 0 2 0       Ne tw o rk   c o n n e c ti o n   lo g s  h a v e   lo n g   b e e n   re c o g n ize d   a s  in teg ra l  to   p r o p e r   n e tw o rk   se c u rit y ,   m a in ten a n c e ,   a n d   p e rf o rm a n c e   m a n a g e m e n t.   T h is  p a p e r  p ro v id e s  a   d e v e lo p m e n t  o f   d istri b u ted   sy ste m s  a n d   w rit e   o p ti m ize d   d a tab a se s:  Ho w e v e r,   e v e n   a   so m e w h a t  siz a b le  n e tw o rk   w il l  g e n e ra te  lar g e   a m o u n ts  o f  lo g s  a t  v e ry   h ig h   ra tes .   T h is  p a p e r  e x p lain s  w h y   m a n y   sto ra g e   m e th o d s   a re   in su f f icie n t  f o r  p ro v id in g   re a l - ti m e   a n a ly sis  o n   siz a b le  d a tas e ts  a n d   e x a m in e s   d a tab a se   tec h n i q u e s  a tt e m p t  t o   a d d re ss   th is   c h a ll e n g e .   W e   a rg u e   th a t   su f f icie n t  m e th o d s  i n c lu d e   d istr ib u ti n g   st o ra g e ,   c o m p u tatio n ,   a n d   w rit e   o p t im ize d   d a tas tru c tu re s  (W OD ).   Div e n ti ,   a   p ro jec t  d e v e lo p e d   b y   S a n d i a   Na ti o n a l  L a b o ra to ries ,   is  h e re   u se d   to   e v a l u a te  th e   p o ten t ial  o f   W O Ds   to   m a n a g e   larg e   d a tas e ts  o f   n e t w o rk   c o n n e c ti o n   l o g s.  It  c a n   in g e st  b il li o n s  o f   c o n n e c ti o n   l o g s   a t  ra tes   o v e r  1 0 0 , 0 0 0   e v e n ts  p e r  se c o n d   w h il e   a ll o w in g   m o st  q u e ries   to   c o m p lete   in   u n d e r  o n e   se c o n d .   S t o ra g e   a n d   c o m p u tatio n   d istri b u ti o n   a re   t h e n   e v a lu a ted   u sin g   El a stic - se a rc h ,   a n   o p e n - s o u rc e   d istr ib u t e d   se a rc h   a n d   a n a ly ti c s   e n g in e .   T h e n ,   to   p r o v id e   a n   e x a m p le  a p p li c a ti o n   o f   th e se   d a tab a se s,  w e   d e v e lo p   a   sim p le  a n a l y ti c   w h ich   c o ll e c ts  sta ti stica l  in f o r m a ti o n   a n d   c las sif ie s   IP   a d d re ss e s  b a se d   u p o n   b e h a v io r .   F in a ll y ,   w e   e x a m in e   th e   re su lt s  o f   ru n n i n g   th e   p ro p o se d   a n a ly ti c   in   re a l - ti m e   u p o n   b ro c o n n   ( n o w   Zee k )  f lo w  d a ta   c o ll e c ted   b y   Div e n ti   a t  IEE E/ A CM   S u p e rc o m p u ti n g   2 0 1 9 .   K ey w o r d s :   Data b ase  tech n iq u e s   E last icsear c h   Mo n ito r in g     Net w o r k   Qu er y   o p ti m izatio n   W r ite  o p tim ized   d atab ase     T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r  th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I s r aa   A lb ar az an c h i,   B ag h d ad   C o lleg e  o f   E co n o m i c  Scien ce   U n iv er s it y ,   B ag h d ad ,   I r aq .   E m ail:  i s r aa 4 4 4 4 @ g m ai l.c o m       1.   I NT RO D UCT I O N   T h e  ab ilit y   to   a n al y ze   tr af f ic   allo w s   n e t w o r k   o p er ato r s   to   i d en tify   n et w o r k   er r o r s ,   d etec t  an o m a lo u s   tr af f ic,   clas s i f y   m al w ar e  [ 1 ] ,   f i n d   b o tn et s   [ 2 ] ,   an d   m o r e.   T h is   an a l y s is   ca n   b e  p er f o r m ed   as  p ar t  o f   a n   in v e s ti g atio n   in to   a  d etec ted   b r ea ch   o r   as  p ar t  o f   a  r ea l - ti m e  an al y tic  to   g i v e  n et w o r k   in s i g h t  o r   d etec t  ze r o - d ay   attac k s   a s   th e y   o cc u r .   I n   o r d er   to   en ab le  th ese  ap p licatio n s ,   th e  s y s te m   s to r in g   n et w o r k   f lo w s   f ac es  m an y   ch alle n g e s .   I t m u s t  s i m u lta n eo u s l y   s to r e  a  co lo s s al  a m o u n t  o f   d ata,   in g es t  ev e n t  lo g s   at  a n   e x tr e m e l y   h i g h   r ate ,   an d   q u ic k l y   r esp o n d   to   q u er ie s .   T h e  i m p o r tan ce   o f   m a n y   e v en ts   is   n o t  k n o w n   a t  t h e  ti m e   t h e  as s o ciate d   lo g   is   g en er ated   t h er ef o r e  a  lar g e  a m o u n t  o f   d f ata  m u s t  b e  s to r ed .   T h e  ev e n t  co u ld   b e  in d icati v e  o f   a  m is co n f i g u r atio n   o r   o f   m a licio u s   ac t iv it y ,   b u t  t h e   s y s te m   m a y   n o t  k n o w   i m m ed i atel y .   T h is   i s   esp ec iall y   tr u e  i n   th e  ca s e  o f   s ec u r it y   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Da ta b a s e  tech n iq u es fo r   r esil i en t n etw o r k  mo n ito r in g   a n d   in s p ec tio n   ( I s r a a   A l B a r a z a n ch i )   2413   m o n ito r i n g .   I n   2 0 1 8   a   m a jo r i ty   o f   s u c ce s s f u l   b r e ac h e s   w e r e  n o t   d i s c o v e r e d   f o r   w ee k s   ( < 2 0 % ) ,   m o n th s   ( 4 0 % )   o r   y e a r s   ( 2 0 % ) .   [ 3 ]   T h e r e f o r e ,   f o r e n s i c   an a l y s is   o f   i n t r u s i o n s   c o u l d   n e c ess i t at e   th e   l o n g - t e r m   s t o r a g e   o f   th e s e   e v e n t s .   A d d itio n al l y ,   d ata  m u s t  b e  i n g e s ted   at  a  h i g h   r ate   in   o r d er   to   k ee p   p ac e  w it h   n et wo r k   ev e n ts .     T h e  s y s te m   m u s t  in g es t  at  lea s t  o n e  s ec o n d ’ s   w o r th   o f   n et wo r k   d ata  in   o n e  s ec o n d   s o   t h at   it  d o es  n o t  r ap id l y   f all  b e h in d .   Q u er ies  u p o n   s to r ed   lo g s   n ee d   to   co m p lete   q u ick l y   s o   t h at  a n al y tics   r u n n i n g   i n   r ea l  ti m e  g et   ac tio n ab le  r esu l ts ,   to   en ab le  r ap id   au to m ated   an al y s is   o f   p ast  ev e n t s ,   an d   to   en s u r e  t h e   s an it y   o f   n et w o r k   s ec u r it y   o p er ato r s   u s i n g   t h e  s y s te m .   Ma n y   ex i s ti n g   m e th o d s   f o r   s to r i n g   n et w o r k   f lo w   f a il  to   m a n a g e  th e s e   co m p eti n g   in ter ests :   -   P r o b lem   s tate m en t   I n   o r d er   to   im p r o v e  d ata  i n g es tio n ,   q u er y   p er f o r m a n ce ,   an d   ca p ac it y ,   ab ilit y   to   an al y ze   tr a f f ic  allo ws   n et w o r k   o p er ato r s   to   id en t if y   n et w o r k   er r o r s ,   d etec t  an o m alo u s   tr a f f ic.   Net w o r k   co n n ec tio n   lo g s   h av e   lo n g   b ee n   r ec o g n ized   as  in te g r al  to   p r o p e r   n et w o r k   s ec u r it y ,   m ai n te n a n ce ,   an d   p er f o r m an ce   m a n ag e m e n t .     T h e  p u r p o s e  o f   p r esen tin g   t h e  f o llo w i n g   in s u f f icie n t  s to r ag e  m et h o d s   is   n o t  to   m ak e  an   ar g u m e n t  t h at   d is tr ib u ti n g   d ata  o r   W ODs  ar e  th e  o n l y   t w o   s o l u tio n s   to   th is   c h alle n g e,   b u t  r ath er   to   f u r th er   ill u s tr ate   it s   co m p le x it y .   T h is   w o r k   p r ese n ts   it s   d ata  a m o n g   m a n y   n o d es   in   th e   clu s ter .   T h is   a llo w s   i n s er tio n s   a n d   q u er ies   to   d if f er e n t s h ar d s   to   r u n   in   p a r allel  an d   ad d itio n all y   allo w s   o p er ato r s   p r o v id e  th e  s y s te m   w it h   m o r e  r eso u r ce s   w it h o u t scali n g   u p   o n e  d ev ice.   Scale - u p   q u ick l y   b ec o m e s   p r o h ib itiv el y   e x p en s iv e,   b u t  s ca l e - o u t i s   m u c h   m o r e   co s t  ef f ec ti v e.   Data   in te g r it y   i s   also   en s u r ed   b y   d u p licati n g   th e  d ata  ac r o s s   n o d es.  I f   th e  am o u n t  o f   d ata  s to r ed   o n   ea ch   n o d e  is   n o t  to o   lar g e,   th e  d r aw b ac k   n o ted   ab o v e  ca n   n o w   b ec o m e  an   ad v a n ta g e  to   th e  s y s te m   a s   it   in cr ea s es t h e  li k eli h o o d   th at  d ata  is   f o u n d   o n   m an y   s h ar d s   in s tead   o f   j u s t o n e.     -   C o n tr ib u t io n s   T h e  m a in   co n tr ib u tio n s   o f   th is   w o r k   in v o lv e  i m p r o v i n g   t h e  r esu lt s   o f   p r ev io u s   s y s te m s   in   t h e  d o m ai n   o f   n e t w o r k i n g   an d   d ata b ase,   wh ile  w e   co m p ar e  Di v e n ti a n d   E last icsear c h   h er e,   it i s   w o r th   n o tin g   t h at   th e y   ar e   n o t  m u tu a ll y   e x cl u s i v e,   an d   b o th   p r o v id e  u n iq u e  b en e f its .   A s   an   e x a m p le,   u s e  ca s e  o f   th e s e  d atab ases ,     w e  cr ea ted   a  s i m p le  an a l y t ic   to   r u n   th r o u g h   t h e  n et w o r k   h is to r y   o f   an   I P   ad d r ess .   T h is   s cr ip t  p r o d u ce s   h is to g r a m s   o f   th e  f o llo w i n g   m etr ics:   n u m b er   o f   p ac k ets  in   an d   o u t,  n u m b er   o f   b y tes  i n   an d   o u t,  s o u r ce   an d   d esti n atio n   p o r t  n u m b er s ,   an d   n u m b er   o f   co n n ec tio n s   w it h   e ac h   n eig h b o r .   W e  u tili ze   t h ese   m etr ic s   to   clas s i f y   th e   I P   ad d r ess es a s   ex h ib itin g   o n e  o r   m o r e  n et w o r k   b eh a v io r s .   W e  d is cu s s   m et h o d s   f o r   s to r in g   n et w o r k   f lo w s ,   th en   co m p ar e  an d   co n tr ast  E l asti csear c h   an d   Div e n ti  in   s ec tio n   1 . 6 .   T h en ,   in   s ec tio n   2 ,   c u r r en t  an d   p o ten tial   n et w o r k   f lo w   an a l y s is   o f   lar g e  f lo w   d atas ets  ar e  d is c u s s ed .   Fin all y ,   i n   s ec tio n   3 ,   w e  p r e s en t  t h e  r es u lt s   o f   an al y tic  w e  d ev e lo p ed ,   th e  p e r f o r m an ce   o f   t h e  an al y tic  r u n n in g   i n   r ea l - ti m e  at  SC 1 9   ( s u p er co m p u ti n g   2 0 1 9 ) ,   an d   th e  r es u lt s   w e  g lea n ed   f r o m   t h is   in f o r m atio n .   E last icsear ch   [ 4 ]   an d   Div e n ti  [ 5 ]   ar e  t w o   ex a m p le s   o f   s y s te m s   w h ic h   p r o p er ly   ad d r ess   th ese  co n ce r n s ,   y et  th e  m ea n s   b y   w h ich   t h e y   d o   ar e  v er y   d if f er en t.  E last icsear c h   is     a  “ r ea l -   ti m e   d is tr ib u ted   s ea r ch   an d   a n al y t ics  e n g in e. ”   w h ich   allo w s   f o r   b o th   r ap id   in g esti o n   an d   q u er y   r esp o n s e  b y   s h ar d in g   d ata  ac r o s s   m an y   n o d es  in   a  clu s ter .   Di v en ti  o n   th e  o th er   h a n d   lev er a g es  t h e  w r ite  o p ti m izatio n s   o f   a  B   t o   th e  ep s ilo n   tr ee   ( B ε - tr ee )   to   k ee p   u p   w ith   d ata  in g esti o n   n ee d s   w h ile  u t ilizi n g   t h e  u n d er l y i n g   B - tr ee   s tr u ct u r e  to   en s u r e  ti m el y   q u er ies.  T h i s   allo w s   Di v en t i to   s to r e  a  h ig h   a m o u n t o f   d ata  o n   a  s i n g le  n o d e.     -   Net w o r k   f lo w   d atab ase   A   n et w o r k   f lo w   i s   a  u n id ir ec ti o n al  s tr ea m   o f   p ac k ets  w it h   c o m m o n   s o u r ce   an d   d esti n atio n .   Netf lo w  an d   I P FIX ,   tw o   co m m o n   f lo w  ex p o r t  p r o to co ls ,   ag g r eg ate  p ac k ets  f r o m   t h is   s tr ea m   w it h i n   a  g iv e n   w in d o w   o f   ti m e  i n to   a  s i n g le   f lo w .   B r o - co n n   lo g s   [ 6 ]   ar e  n o t  tr u l y   f l o w s ,   a s   ea c h   lo g   r e f er s   to   a   s in g le  b id ir ec tio n al   co n n ec tio n   w h ich   m a y   b e  c o m p o s ed   o f   m u ltip le  p ac k ets   to   o p en   th e  co n n ec tio n ,   s e n d   d ata,   an d   clo s e     th e  co n n ec tio n .   All  t h e  p ac k et s   in   t h i s   co n n ec tio n   ar e  a g g r e g ated ,   an d   f o r   t h e  p u r p o s es  o f   th is   r e s ea r ch   p ap er   w e  w i ll  r e f er   to   b r o - co n n   lo g s   as  f lo w s   f o r   t h e  s a k e  o f   s i m p licit y .   P ac k et  a g g r e g atio n   in h er e n tl y   r es u lt s   i n     th e  lo s s   o f   p ac k et  s p ec i f ic  in f o r m at io n   [ 7 ] .   T h i s   w as  an   ea r l y   s ac r i f ice  m ad e  to   ad d r ess   th e  ex tr e m el y   h i g h   v o lu m e  o f   ev e n ts   cr ea ted   b y   lo g g i n g   ev er y   p ac k et.   Ho w ev er ,   in   s p ite  o f   th is   r ed u ctio n   i n   v o l u m e,   n e t w o r k   f lo w  d ata  s till   s u f f er s   f r o m   B ig   Data   co m p lex i t y .   “ B ig   Data   is   d ata  w h o s e  co m p lex i t y   h i n d er s   it  f r o m   b ein g   m a n a g ed ,   q u er ied   an d   a n al y ze d   t h r o u g h   tr ad itio n a l  d ata  s to r ag e  ar c h itect u r es,  al g o r ith m s ,   an d   q u er y   m ec h a n is m s . ”     T h is   co m p lex i t y   is   d e f in ed   b y   th e  d ata ’ s   v o lu m e  -   th e  q u an t it y   o f   d ata  to   b e  s to r ed ;  v ar iet y   -   t h e  s y s te m   m u s t  s i m u lta n eo u s l y   h o ld   u n - s tr u ct u r ed ,   s e m i - s tr u ctu r ed ,   an d   s tr u ctu r ed   d ata;  an d   v elo cit y   -   th e   p ac e  at   w h ic h   d ata   is   g e n er ated   f o r   th e  e n ter p r is e  n et w o r k   f o r   NI DS  in   Fi g u r e  1 .   [ 8 ]   T h an k f u ll y ,   v ar iet y   i s   n o t  o f   co n ce r n   as   n et w o r k   f lo w s   all  f o llo w   a  s i m ilar   s tr u ct u r e.   Un f o r tu n atel y ,   an y   s y s te m   ta s k ed   w it h   s to r in g   t h is   d ata  w il l  s till   h av e  to   co n ten d   w it h   h i g h   v o l u m e  a n d   v elo cit y .   T h is   co m p l ex it y   h i n d er s   u n s o p h is t icate d   ef f o r t s   to   m a n ag e,   q u er y ,   an d   an al y ze   t h e  d ata.   T h e  f ield s   o f   n et w o r k   f lo w s   w h ic h   ar e  co m m o n l y   u s ed   as   d atab ase  k e y s   in c lu d e  th e  ti m esta m p ,   o r ig in ati n g   I P   a d d r ess   an d   r esp o n d in g   I P   a d d r ess .   T h is   r esear ch   p ap er   is   p r im ar il y   co n ce r n e d   w i th   q u er ies  u p o n   th e  h i s to r y   o f   I P   ad d r ess es  an d   s u b n ets.  A s   s u ch ,   m eth o d s   d is cu s s ed   h er e  u s e  I P   ad d r ess es  as  k e y s .   W h ile  n o t   n ec es s ar y   f o r   th e s e  ap p licatio n s ,   f u ll - tex t  s ea r ch   is   ce r tai n l y   a n   attr ac tiv e  f ea t u r e  as  it  allo w s   f o r   s p ec if ic  q u er ies   s ea r ch i n g   ac r o s s   m u ltip le  f ield s   s i m u ltan eo u s l y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,  Vo l.  1 8 ,   No .   5 ,  Octo b e r   2 0 2 0 :      2 4 1 2 -   2420   2414       Fig u r e  1 .  T h e  d esig n   f o r   th e  n et w o r k   i n tr u s io n   d etec tio n   u s i n g   t h e  n e t w o r k   f lo w   d at a  a n d   s to r ed   h is to r ical  d ata  in   th e  d atab ase  as  f o r en s i c  q u er ies  w er e  as k ed   b y   t h e  s e cu r it y   a n al y s t  f o r   th e  n e t w o r k   m o n ito r i n g   a n d   th r ea t in s p ec tio n   [ 9 ]       -   Naïv e  m eth o d s   T h e  p u r p o s e  o f   p r esen ti n g   th e   f o llo w in g   i n s u f f icie n t  s to r ag e  m et h o d s   is   n o t  to   m ak e   an   ar g u m e n t th at   d is tr ib u ti n g   d ata  o r   W ODs  ar e  th e  o n l y   t w o   s o l u tio n s   to   th is   c h alle n g e,   b u t  r ath er   to   f u r th er   ill u s tr ate  it s   co m p le x it y   [ 1 0 ] .   A   f ir s t a tte m p t to   m atch   t h e  s p ee d   o f   th e  n e t w o r k   co u ld   b e  to   d ir ec tly   w r i t e  ea ch   lo g   to   a  f ile,   h o w ev er   q u er y i n g   f o r   a  in d iv i d u al  lo g   w o u ld   r eq u ir e  a   O( n )   s ea r ch   th r o u g h   th e  d atab ase.   Fo r   r ea l - ti m e  an al y s i s   an d   r esp o n s i v e  q u er ies  t h is   i s   u n ac ce p tab l y   s lo w ,   esp ec iall y   as  n   g r o w s   to   m o n t h s   o r   y ea r s   o f   d ata.   I n   r esp o n s e  to   th is   s etb ac k   w e  m i g h t  atte m p t  to   u tili ze   a  d ata  s tr u ctu r e  s u ch   as  a  h as h   tab le  to   allo w   a  q u er y   f o r   a  s in g le  lo g   to   co m p lete  i n   O  ( 1 )   ti m e.   Ho w e v er ,   t h is   ap p r o ac h   f ail s   to   ta k e  i n to   ac co u n t  v o lu m e,   a s   it   is   o n l y   ef f ec t iv e  w h i le   a  lar g e  p o r tio n   o f   th e  s to r ed   d ata  ca n   f it  w i th in   R A M  [ 1 1 ] .   T h is   li m ita tio n   o f   d ata  to   R AM   is   a  d ir ec t  r esu lt  o f   th e  b en e f its   h as h i n g   t h e  k e y   n o r m all y   p r o v id es.  T h e  av alan ch e  e f f ec t,  w h er eb y   s m all  c h an g es  to   th e  te x t     cr ea te  a  lar g e  d if f er en ce   i n   t h e   h as h   v a lu e,   e n s u r es  t h at  h a s h ed   k e y s   ar e  s p r ea d   ac r o s s   t h e  u s ed   s to r ag e  s p ac e.   T h i s   is   an   i m p o r ta n t  f ea t u r e  o f   h a s h i n g   allo w i n g   t h e  h a s h   ta b le  to   r ed u ce   co llis io n s ,   b u t  in ev i tab l y   r es u lts   i n     an   in cr ea s i n g   r atio   o f   d is k   I Os  p er   in s er ted   lo g   [ 1 2 ] .   A   lar g e  n u m b er   o f   d is k s   I Os  ca u s e s   r ap id   d eg r ad atio n   o f   th e  in s er t io n   r ate  to   b elo w   t h e  p ac e  o f   th e  n et w o r k .   T h e  o n l y   s o lu tio n   w o u ld   b e  to   k ee p   a  m aj o r ity   o f   th e  d ata  in   R A M,   b u t  th i s   li m i ts   d ata  r eten tio n   as  i n cr ea s i n g   th e  s ize  o f   R A M  b ec o m e s   p r o h ib itiv el y   e x p en s iv e.   N f Se n   an d   Flo w s ca n   ar e  t w o   co m m o n   to o ls   u s ed   to   an al y ze   f lo w s   an d   b o th   s u f f er   f r o m   t h e  p er f o r m an ce   li m ita tio n s   n o ted   ab o v e.   T h ese  m e th o d s   u s e  a  R o u n d   R o b in   d atab ase   ( R R Dto o l)   [ 8 ,   1 3 ]   to   s to r e  th e  d ata.   As  a  co n s eq u e n ce ,   th e  I P   ad d r ess es  ar e  u n o r d er e d ,   an d   as  d is cu s s ed   ab o v e  m u s t  b e  k ep t  w ith in   R A M  i n   o r d er   to   f ac ilit ate  q u ic k   s ea r ch es.  R R Dto o l  is   a  ti m e  s er ies  d atab ase  w h ic h   m ai n ta in s   a  co n s tan t  s y s te m   f o o tp r in t  b y   au to m atica l l y   o v er w r iti n g   t h e  o ld est  v al u e s   w it h   t h e  n e w est,  o n ce   th e  m a x i m u m   s ize  o f   t h e  d atab ase  i s   r ea ch ed   [ 1 4 ] .   Ho w e v er ,   th is   s e v er el y   li m it s   h o w   lo n g   n et w o r k   ad m i n i s t r ato r s   ca n   s to r e  p o ten tiall y   i m p o r tan t  n et w o r k   f lo w s .   Ma n y   o t h er   p o ten tial  s o l u tio n s   f a ll  i n to   eit h er   o f   t h ese  tr ap s .   E la s tics ea r ch   an d   Di v e n ti  s er v e  as  t w o   ex a m p le s   o f   h o w   to   p r o p er ly   av o id   th e m .   -   E last ic  s ea r ch   E last icsear c h   u s e s   an   i n v er te d   in d ex   as  its   u n d er l y i n g   d ata  s tr u ctu r e  to   allo w   d ata  to   b e  s to r ed   in     th e  o r d er   it  ar r iv es  w h ile  m ai n tain i n g   q u er y   p er f o r m an ce .   An   i n v er ted   i n d ex   F ig u r e  2   [ 4 ]   is   a  s tr u ctu r e  w h ic h   lis ts   all  t h e  u n iq u e  v al u e s   th at  ap p ea r   in   an y   d o cu m en t  a n d   th e  d o cu m en t s   i n   w h ic h   t h at  v al u e  ap p ea r s .     T h e  in d ex   ca n   b e  i m a g i n ed   a   m ap   th r o u g h   t h e  u n o r g a n ize d   d ata  w h ich   a llo w s   q u er ie s   t o   q u ick l y   f in d   w h at   th e y ’ r e  lo o k i n g   f o r .   W h en   lo g g i n g   n et w o r k   f lo w s ,   d o cu m e n ts   ar e  i n d i v id u al  lo g s   a n d   i n d ices  in cl u d e  f ield s   s u c h   as   th e   o r ig i n ati n g   I P   ad d r e s s .   E last ic s ea r ch   cr ea te s   a n   i n d ex   f o r   ea ch   f ield   i n   th e  lo g ,   allo w i n g   o p er ato r s   to   q u er y   b y   ti m esta m p s ,   I P   ad d r ess es,  p o r ts ,   an d   m o r e.   W h en   p r ef o r m i n g   a  q u er y ,   th e   in v er ted   in d e x   r etu r n s   a  lis t o f   m atch in g   d o cu m en t s   w h ich   c an   th e n   b e   r etr iev ed   w it h   m i n i m a l  s ea r c h   co s t.  Ho w e v er ,   o n e   d r a w b ac k   o f   t h is   s tr u c tu r e  i s   t h at  f o r   q u er ies  o n   in d ice s   o th er   th an   ti m e,   m a tch i n g   d o cu m en t s   w ill  b e  s ca t ter ed   th r o u g h o u t  s to r ag e.   T h is   m ea n s   t h at  a  s i n g le  n o d e  is   u n ab le   to   tak e  ad v an ta g e  o f   s p atial  lo ca lit y   a n d   w i ll li k el y   h a v e  to   co n ten d   w i th   a  h ig h   r at io   o f   m e m o r y   I O s   to   ac ce s s   all  th e   d o cu m e n t s .   I n   o r d er   to   i m p r o v e  d ata  i n g e s tio n ,   q u er y   p er f o r m an ce ,   a n d   ca p ac it y ,   E last icsear c h   s h ar d s   its   d ata  a m o n g   m a n y   n o d es  i n   t h e  clu s ter .   T h is   allo w s   i n s er t io n s   a n d   q u er ies  to   d if f er e n t  s h ar d s   to   r u n   i n   p ar allel     an d   ad d itio n all y   al lo w s   o p er ato r s   p r o v id e  th e  s y s te m   w it h   m o r e  r eso u r ce s   w it h o u t  s ca l in g   u p   o n e  d ev ice.     Scale - u p   q u ic k l y   b ec o m e s   p r o h ib iti v el y   ex p e n s i v e,   b u t   s ca le - o u t is m u ch   m o r e  co s t   ef f ec ti v e.   Data   i n te g r it y   i s   also   en s u r ed   b y   d u p licati n g   th e  d ata  ac r o s s   n o d es.  I f   th e  a m o u n t  o f   d ata  s to r ed   o n   ea ch   n o d e  is   n o t  to o   lar g e,   th e  d r a w b ac k   n o ted   ab o v e  ca n   n o w   b ec o m e  a n   ad v a n ta g e  to   th e  s y s te m   a s   it  i n cr ea s es  t h e  l ik eli h o o d   th at  d ata   is   f o u n d   o n   m an y   s h ar d s   in s te ad   o f   j u s t o n e.   -   Div e n t i   W r ite  o p tim ized   d atastru ct u r e s   ar e  d esi g n ed   to   p r o v id e  e f f ic ien t  w r ite   p er f o r m a n ce   at  t h e  ex p en s e   o f   a  li m ited   q u er y   p er f o r m a n ce   p en alt y .   A   B ε - tr ee   is   a  B - tr ee   w i th   an   in s er tio n   b u f f er   p lace d   at   ea ch   n o d e.   Data   is   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Da ta b a s e  tech n iq u es fo r   r esil i en t n etw o r k  mo n ito r in g   a n d   in s p ec tio n   ( I s r a a   A l B a r a z a n ch i )   2415   in s er ted   to   th e  r o o t  b u f f er   w h i ch ,   w h e n   f illed ,   f l u s h e s   its   co n ten ts   to   its   ch ild r en   Fi g u r e  3   [ 1 5 ] .   T h is   s tr u ct u r e   h as  a  f e w   k e y   b en e f it s   o v er   a  B - tr ee   in   ex ch an g e  f o r   p ay i n g   a  s m al l - ti m e  p en alt y   o n   q u er ies.  T h e  co s t  o f   in s er ti n g   is   O   ( lo g B   N ) ,   as  o p p o s ed   to   a  B - tr ee ’ s   co s t  o f   O  ( l o g B   N ) .   N  is   th e  n u m b er   o f   en t r ies  in   th e  tr ee   an d   B 1 − ε   is   t h e  s ize  o f   t h e  b u f f er .   T h is   m a y   s ee m   to   b e  a  s m all   d if f er e n ce   i n   p er f o r m a n ce ,   b u t  h as  m u c h   lar g er   i m p licatio n s   u p o n   t h e  ca p ac it y   th e  d atab ase  ca n   m ai n tai n   w h ile  k ee p in g   p ac e  w it h   th e  n et w o r k   d ata.     I f   th e  s y s te m   m u s t  co m p lete  X  in s er tio n s   i n   o n e  s ec o n d   th e n   th e  m ax i m u m   n u m b er   o f   lo g s   N  is   r ea ch ed   w h e n     ( lo g B   N )   X   =  1 .   lo g   N  g r o w s   l o g ar ith m icall y   w it h   r esp ec t  to   N ;  th er e f o r e,   th e  m a x i m u m   v alu e  o f   N  in cr ea s e s   ex p o n en t iall y   w it h   r esp ec t to   th e  b u f f er   s ize  [ 1 6 ] .           Fig u r e  2 .   C o n s tr u cti n g   a n   in v e r ted   in d ex   f o r   th e  d atab ase,   th e  in d ex   ca n   b e  i m ag in ed   a  m a p   th r o u g h     th e  u n o r g a n ized   d ata  w h ic h   all o w s   q u er ie s   to   q u ick l y   f i n d   w h at  th e y ’ r e  lo o k in g   f o r .   W h en   lo g g i n g   n et w o r k   f lo w s ,   d o cu m en ts   ar e  in d i v id u al  lo g s   an d   i n d ices i n clu d e  f iel d s   s u c h   as t h e  o r ig i n atin g   I P   ad d r ess   [ 4 ]             Fig u r e  3 .   B ε - tr ee : I n s er t io n   o f   r ed   d ata  item   tr i g g er s   f l u s h   to   th e  ch i ld   n o d es,  d ata  is   in s er ted   to   th e  r o o t b u f f er   w h ic h ,   w h e n   f illed ,   f l u s h es it s   co n ten t s   to   its   ch ild r en   t h at  m ak e  u p   a  tr ee   [ 5 ]       As  an o th er   p er f o r m a n ce   b en ef it,  w r ites   to   d is k   ar e  am o r tiz ed   b ec au s e  b u f f er s   h ig h er   in   t h e  tr ee   ar e  h eld   w ith in   ca c h es  an d   R AM .   T h is   m ea n s   th at  o n l y   t h o s e  f lu s h es  w h ich   r ea c h   th e  lo w er   lev e ls   o f   th e  tr ee   tr ig g er   b lo ck in g   d is k   I Os.  T h is   in cr ea s es  th e  r ate  o f   in g e s tio n .   T h e  tim e  p en alt y   to   q u er y   p er f o r m a n ce   is   a  co n s eq u en ce   o f   th e  n ee d   to   s ea r ch   th r o u g h   t h e  b u f f er   o f   ea ch   n o d e  v is i ted   w h ile  tr av er s in g   th e  tr ee .   T h is   m ea n s   th at  t h er e  is   a  p o s itiv e  co r r elatio n   b etw ee n   b u f f er   s ize  an d   q u er y   late n c y .   Fo r   m o r e  d etails  s ee   R aize s   et  al.   [ 1 7 ] .   Div en t i   o r d er s   d ata  f ir s t  u p o n   t h e  s o u r ce   ip   ad d r ess es  a n d   th e n   th e   ti m esta m p .   T h e  b en e f it   o f   t h i s   i s   t h at  q u er ie s   to   I P   ad d r ess es  an d   s u b n et s   ar e  q u ick .   T h e  lo g s   w h ich   m atc h   th e  q u er y   w ill  b e  co n tig u o u s   w ith in   th e  d atab a s e  an d   q u ick   to   id en t if y   as  a  r es u lt  o f   t h e  B - tr ee   s tr u ctu r e.   T h e  s y s te m   ca n   tak e  ad v an ta g e  o f   s p ac ial  lo ca lit y   w h e n   p er f o r m in g   th e s e  q u er ies  in   ad d itio n   to   q u ick l y   id en ti f y in g   th e  m atc h i n g   lo g s .   As  s u c h ,   d is k   I O  p en alties  d u r in g   q u er ies  s h o u ld   b e  m i n i m ize d .   T h e  d r aw b ac k   i s   th at  t h e  s y s te m   ca n   n o t  ef f icie n tl y   q u er y   o n   an y   o t h er   f ield ,   h o w ev er ,   th e  w o r k lo ad   w e  a r e  co n ce r n ed   w ith   i s   p r i m ar il y   i n v esti g atio n s   i n to   in d iv id u al  ip   ad d r ess es  o r   s u b n e ts .   An o th er   d r a w b ac k   i s   th a t  i n   o r d er   to   r etr iev e  lo g s   w h e n   t h e  q u er ied   I P   ad d r ess   m atc h es  e ith er     th e  s o u r ce   o r   r esp o n d in g   I P   ad d r ess ,   t w o   lo g s   o f   ea ch   ev e n t  m u s t  b e  i n s er ted .   On e  w it h   n o r m al  I P   o r d er in g   a n d   th e  o th er   r ev er s ed .   Di v en t i  p r o v id es  ef f icie n t  u s e  o f   r eso u r ce s   to   allo w   a  lar g e  a m o u n t  o f   d ata  to   b e  s to r e d   o n     a  s in g le  n o d e  w h i le  m ai n tai n i n g   h i g h   p er f o r m an ce .   M u ltip l e  Div en ti  n o d es  r esp o n s ib le  f o r   d if f er en t  n et w o r k   tap s   o r   f o r   d ata  th at  is   s p lit  b etw ee n   th e m   b y   an o t h er   p r o ce s s   m a y   b e  d ep lo y ed   if   e v en   m o r e  ca p ac it y   is   r eq u ir ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,  Vo l.  1 8 ,   No .   5 ,  Octo b e r   2 0 2 0 :      2 4 1 2 -   2420   2416   2.   M E T H O DO L O G Y   Net w o r k   f lo w s   d o   n o t  co n t ain   p ac k et  p a y lo ad s   i n f o r m a tio n ,   an d   d o   n o t  p r o v id e  p a ck et  lev e l   g r an u lar it y   f o r   f ield s   s u ch   a s   th e  n u m b er   o f   b y tes  p er   p ac k et  o r   T C P   f lag s .   I n s tead ,   f lo w s   co n tai n   a g g r e g at e   to tals   o f   t h e  n u m b er   o f   p ac k e t s ,   b y tes,  f lag s   u s ed   in   a n y   p ac k et,   an d   m o r e.   De s p ite  t h is   lo s s   o f   s p ec i f ics,  f lo w s   s till   co n tai n   s u f f icien t  i n f o r m atio n   to   id en ti f y   n et w o r k   i n tr u s io n s   [ 1 8 ] .   T h is   s ec tio n   d es cr ib es  ex is tin g   a n d   p o ten tial n et w o r k   f lo w   a n al y s i s   to   b e  im p r o v ed   o r   en ab led   b y   n et w o r k   f lo w   d atab ases .     2 . 1 .     Curre nt  m et ho ds   a n d r esea rc h   -   B lack li s t a p p r o ac h   A t  th e  m o s t  b as ic  lev e l  N f s e n   an d   Flo w s ca n   ( p er f o r m a n ce   d is cu s s ed   in   s u b s ec tio n   1 . 4 )   p r o v id e  f o r   an al y s is   o f   f lo w   s tatis tics   an d   tr af f ic.   T h ey   cr ea te  s tatis t i ca l  s u m m ar ie s   an d   g r ap h ical   d is p lay s   o f   d ata  in   ad d itio n   to   p r o v id in g   th e  ab ilit y   to   f il ter   r esu lts   b y   a  v ar iet y   o f   f ield s .   N f s e n   ad d itio n all y   p r o v id es  th e  ab ilit y   to   d ef in e  aler t s .   T h ese  aler ts   ca n   ac t  u p o n   a  f ilter ed   s u b s et  o f   th e  o v er al l  tr af f ic,   tr i g g er   o n   u p   to   6   ch ain ed   co n d itio n s ,   an d   tak e  a  s et  o f   ac tio n s   [ 1 9 ] .   S im i lar l y ,   th e  B r o - I DS  p r o v id es  th e  ab ilit y   to   tr ig g er   ac tio n s ,   s u ch   as   b lo ck in g   tr af f ic  an d   cr ea tin g   a ler ts ,   b ased   u p o n   th e  co n ten t  o f   th e  p ac k ets4   co llected   b y   t h e  tap   [ 2 0 ] .   T h is   is   o f ten   ac co m p l is h ed   u s i n g   I P   b lack li s ts   a n d   ch ec k in g   p ac k et  co n ten t s   ag ai n s t c o m m o n   m al w ar e  p atter n s .   -   Z er o - d a y   at tack s   Statis t ical  an al y s is   a n d   m ac h i n e  lear n -   i n g   ar e  e m p lo y ed   f o r   d etec tin g   a n d   clas s if y i n g   a  w i d e  v ar iet y   o f   n et w o r k   tr a f f ic  p atter n s .   Ho w e v er ,   th e y   co m m o n l y   s h ar e  th e  g o als o f   r ed u ci n g   th e  f alse  p o s itiv es  g en er ated   b y   s y s te m s   lik e  t h o s e  d is c u s s ed   ab o v e,   an d   d etec tin g   ze r o - d ay   attac k s .   T h er e  ar e  m a n y   e x a m p le s   o f   u s in g   n et w o r k   f lo w s   to   d etec t  an d   cla s s i f y   ac tio n s   tak e n   b y   n et w o r k   p ar ticip an ts .   Mo u s ta f a  et  al.   p r esen t  an   e n s e m b le - b ased   tech n iq u e  f o r   d etec tin g   e x p lo its   o f   I o T   s y s te m s ,   p ar ticu l ar l y   b o tn ets,  u s in g   s tatis t ical  s u m m ar ie s   p r o v id ed   b y   th e  B r o - ID S   [ 2 ] .   Ma lC las s if ier ,   a  to o l  d ev elo p ed   b y   r e s ea r ch er s   at  Ox f o r d   [ 2 1 ] ,   u s es  th e   n et w o r k   f lo w   b eh av io r   o f   m a l w ar e  to   cla s s i f y   it  in to   v ar io u s   m al w ar e  f a m ilie s   w i th o u t  r eq u ir i n g   s a n d b o x   ex ec u tio n   [ 2 2 ] .   Ma lC als s i f ier   ad d itio n all y   h a s   th e  ab il it y   to   d eter m i n e  i f   th e  m al w ar e  d o es  n o t  f it  p r e v io u s l y   estab lis h ed   m al w ar e  f a m ilie s ,   allo w in g   s e cu r it y   o p er ativ es  to   p r o p o s e  n e w   f a m i lies .   Fi n all y ,   R o d r ig u ez   et  al.   p r esen t w o r k   in   u s i n g   ti m e  s er ies  d atab ase s   s t u d y i n g   h i s to r ical  p atter n s   to   p r ed ict  f u tu r e  b eh a v io r   an d   d ete ct  an o m alies .     T h ey   s tate  th a t th e  m o r e  d ata  th at  is   u s ed   in   t h e  ti m e  s er ie s   t h e  m o r e  ac cu r ate  t h e  p r ed ictio n s   w il l b e.     2 . 1 . 1 .   P o t ent ia l  a pp lica t io n   T h is   p o r tio n   o f   t h e  r esear c h   p ap er   atte m p ts   to   ad d r ess   t h e  p o s s ib le  u s es  o f   a  f u ll y   o p er atio n al  elastics ea r c h   o r   d iv en ti d atab a s e   -   L ater al  n e t w o r k   m o v e m en t   L ater al  n et w o r k   m o v e m e n t  is   a   p r o ce s s   b y   w h ic h   an   attac k er   t ak es  ad v an ta g e  o f   ac ce s s   to   o n e  m ac h in e   in   t h e  n et w o r k   to   g ai n   ac ce s s   t o   an o th er   m ac h i n e.   T h is   is   d o n e  f o r   th e  p u r p o s e  o f   r ec o n n a i s s a n ce   to   f in d   f u tu r e  tar g ets,  to   r ea ch   a n   o b j ec tiv e,   o r   g ain   a  h ig h er   le v el  o f   ac c ess   to   t h e  n et w o r k .   Dete cti n g   h o w   a  b ad   ac to r   o r   p iece   o f   m al w ar e  h a s   m o v ed   w ith i n   o n e’ s   n et w o r k   is   ess e n tial   f o r   a  p r o p e r   r esp o n s e  to   an   in t r u s io n .   Ot h er w is e,   m al w ar e  m a y   r e m ai n   w it h i n   th e  n et w o r k ,   co n ti n u i n g   to   ca u s e  d am a g e  af ter   ac tio n   h as  b ee n   tak e n   to   ad d r ess   th e  co m p r o m i s e.   A d d itio n all y ,   th is   t y p e  o f   m o n ito r in g   m a y   allo w   s ec u r it y   o p er ato r s   to   d etec t  an o m alie s .     A   c h ai n   o f   s s h   lo g in s   m a y   b e  i n d icativ e   o f   a n   attac k .   I n   o r d er   to   id en ti f y   t h i s   m o v e m en t,  it  i s   n ec e s s ar y   to   h o ld   a  lar g e  a m o u n t o f   n et w o r k   d at a  [ 2 3 ] .   T h is   r eq u ir e m e n t n ec e s s itates t h e  u s e  o f   a  p r o p er   n et w o r k   f lo w   d atab ase.   A d d itio n al l y ,   s en s o r s   th a t  m o n ito r   lo ca l  tr af f ic  ar e  r eq u ir ed .   T h e  m o r e  n et w o r k   v is ib il it y   t h e  s y s te m   i s   g iv e n   th e  b etter ,   i f   t h e  s y s te m   h a s   n o   v ie w   o f   t h e  co n n ec tio n   b et w e en   co m p u ter   A   a n d   B   th a n   i t c an n o t d etec t   later al   m o v e m e n t  b et w ee n   th e m .   T r ac k in g   la ter al  m o v e m en t  w as  co n s id er ed   f o r   t h is   r esear c h   p ap er   b u t  w as  u lti m atel y   f o r g o n e  as a   r es u lt o f   li m ited   n et w o r k   v i s ib ilit y .   -   Ma ch i n e  lear n i n g ,   h u m a n   i n te r ac tio n   an d   v er i f icatio n   T h e  cu r r en t  w o r k   p r esen ted   in   s u b s ec tio n   2 . 2   is   u s ef u l  in   d etec tin g   an o m alo u s   n et w o r k   b eh av io r   an d   ze r o - d ay   attac k s .   Ho w ev er ,   f o r   co m p licated   u s e  ca s e s ,   a  h u m an   s ec u r it y   o p er ato r   w ill  li k el y   h a v e  to   in ter ac t  w it h   t h e  m ac h in e   lear n i n g   al g o r ith m   to   v er if y   t h at  t h e  co r r ec t  ac tio n s   w er e  ta k en   o r   t o   in ter p r et  r esu lt s .     T o   f ac ilit ate  th is ,   it  m a y   b ec o m e  n ec ess ar y   f o r   th e  u s er   t o   lo o k   in to   th e  h is to r y   o f   ip   ad d r ess es  w h ic h     th e  al g o r ith m   h as  f la g g ed .   T h ese  q u er ies  b y   th e  h u m an   o p er ato r   n ee d   to   co m p lete  q u ic k l y   an d   h a v e  ac ce s s   to     a  lar g e  a m o u n t o f   d ata  i n   o r d er   to   f ac ilit ate  th e  i n ter ac tio n   an d   s av e  v al u ab le  an al y s t ti m e.     2 . 1 . 2 .   I P   f lo w   a na ly s is   a t   s up er co m p uting   T o   b eg in   to   e v alu a te  th e   p er f o r m a n ce   a n d   u s e  o f   a  n et w o r k   f lo w   d atab ase,   w e  d e v elo p ed   an   an a l y t ic   to   p r o d u ce   f lo w   m etr ics  in   r ea l - ti m e  at   S C 1 9   ( s u p er co m p u tin g   2 0 1 9 ) .   Div en ti   i n d ex ed   b r o - co n n   lo g s   f r o m     a  tap   u s ed   b y   t h e  SciNet  Secu r it y   T ea m   o v er   t h e  co u r s e  o f   th e  ev en t.  At  th e  ti m e  th e  a n al y t ic  w a s   r u n ,   Di v en t i   h ad   in d ex ed   a  q u ar ter   o f   a  b illi o n   ev en t s   co r r esp o n d in g   to   h alf   a  b illi o n   lo g s .   W h at  f o llo w s   is   a  d escr ip tio n   an d   ev alu a tio n   o f   t h e  a n al y t ic.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Da ta b a s e  tech n iq u es fo r   r esil i en t n etw o r k  mo n ito r in g   a n d   in s p ec tio n   ( I s r a a   A l B a r a z a n ch i )   2417   2 . 1 . 3 .   Descript io n   T h e  an al y tic  is   d esi g n ed   w it h   th e  g o al  o f   g a th er i n g   b asic  f lo w   s tatis t i cs  ab o u t  an   I P   ad d r ess .     W e  co llected   th e  to tal  n u m b er   o f   co n n ec tio n s ,   n u m b er   o f   p ac k ets  i n   an d   o u t,  n u m b er   o f   b y te s   in   an d   o u t,  s o u r ce   an d   d esti n atio n   p o r t  n u m b er s ,   an d   n eig h b o r s .   Div e n ti  r ec o r d s   th e  m a g n i tu d e  o f   t h e  p ac k ets  a n d   b y tes  b y   s to r in g   lo g 2   x   r a th er   th a n   th e  e x ac t  n u m b er   x .   Fo r   ex a m p le,   r ec o r d s   w i th   b y te  co u n t s   b et w ee n   1   an d   3   ar e  r ec o r d ed   u s i n g   m a g n it u d e  1   an d   r ec o r d s   w i th   a  b y te  co u n t  f r o m   4   to   7   r ec o r d ed   w it h   m ag n it u d e  2 .   T h e  n u m b er   o f   p ac k e ts   an d   b y tes  is   t h er ef o r e  alr ea d y   b u c k eted   s o   as  to   o b s c u r e  s m al l  d if f er en ce s   an d   h i g h lig h t  lar g e  o n es  [ 2 4 ] .     T h e  in f o r m atio n   w a s   co llected   in   r ea l  tim e  an d   th e n   p r o ce s s ed   to   s ee   w h at  b asic  co n cl u s i o n s   w e  co u ld   r ea ch   f r o m   t h e  d ata.   W e  class if y   ea c h   I P   ad d r ess   as f o llo w s :   -   A cti v e  i f   it  h as  m o r e  t h an   1 0 0   co n n ec tio n s   w it h i n   o u r   n et w o r k   an d   in ac tiv e  i f   it  h as le s s   t h a n   2 0 .   -   Hig h   d eg r ee   ( n u m b er   o f   n eig h b o r s )   if   th e  d eg r ee   is   g r ea ter   t h an   3 0   an d   a  s m all  d eg r ee   i f   les s   th a n   5 .   -   R ec eiv er   i f   it r ec eiv e s   t w ice  t h e  n u m b er   o f   p ac k ets i t sen d s   an d   a  s en d er   if   t h e  o p p o s ite  is   t r u e   -   E lep h an t  if   th e  a v er ag e   n u m b e r   o f   b y tes   s e n t  o r   r ec eiv ed   p er   c o n n ec tio n   is   g r ea ter   t h an   1 0 ,   0 0 0   b y tes,  a   m o u s e   if   b o th   ar e  less   t h a n   1 0 0 0   b u t  g r ea ter   th a n   8 0 ,   an d   a  g n at  i f   b o th   ar e  less   t h an   8 0 .   -   T h ese  ca teg o r ies  w er e  d ef i n e d   s o m e w h at  ar b itra r i l y   w it h   th e  g o al  o f   d e m o n s tr atin g   th e  ab ilit y   to   q u ick l y   ca teg o r ize  th e  b eh av io r   o f   an   I P  ad d r ess .   A s   d is c u s s ed   ea r lier ,   d ee p   in s p ec tio n   in to   th e  h is to r y   o f   I P s   o r   s u b n e ts   is   t h e  p u r p o s e  o f   t h is   w o r k .     2 . 1 . 4 .   Q uery   perf o r m a nce   W e  f ir s t  d i s co v er ed   t h at  t h e  p e r f o r m an ce   o f   q u er ies  ac r o s s   a  r an g e  o f   lo g s   w a s   f air l y   co n s ta n t  e v en   as   th e  s ize  o f   th e  d atab ase  g r e w   m u c h   lar g er .   W e  p o s it  th at  th i s   is   b ec au s e  th e  m aj o r ity   o f   a  q u er y   w o r k lo ad   is   co m p o s ed   later al  s ca n s   th r o u g h   th e  lea v es  o f   t h e  tr ee .   T h er ef o r e,   in cr ea s es  in   th e  s m al ler   co s t  to   tr av er s e  d o w n   th e  tr ee   an d   f in d   th e  f ir s t  m atc h in g   k e y   ar e  r elativ el y   i n s ig n i f ican t.  E s p ec iall y   as th e  co s t o f   tr av er s al  in cr ea s es   as  th e  lo g   o f   th e  n u m b er   o f   r ec o r d s .   W e  s h o w   th i s   tr en d   i n   T ab le  1   [ 9 ] .   T ab le  1   s h o w n   s er v er s id e  late n c y ,   av er ag ed   o v er   3   q u er ies.  Q u er y   late n c y   i n cr ea s ed   b y   2 0 %  wh ile  t h e  s ize  o f   t h e  d atab ase  i n cr ea s ed   b y   n ea r l y   1 0 0 0 %  o v er   th e  s a m e  p er io d ,   s h o w i n g   th e  r elati v el y   f lat  late n c y .   I n   o r d er   to   en s u r e  u n i f o r m   r es u lts ,   t h e  q u er y   ti m e  i s   an   a v er ag e  o f   3   q u er ies   [ 9 ] .   On e   m i llio n   lo g s   w er e  q u er ied   at  in ter v als  w h e n   t h e  d atab ase  h ad   s to r ed   b etw ee n   1   m il lio n   an d   1   b illi o n   lo g s .   Q u er y   late n c y   i n cr ea s ed   b y   2 0 %  w h ile  t h e  s iz e  o f   th e  d atab ase  in cr ea s ed   b y   n ea r l y   1 0 0 0 %  o v er   th e  s a m e  p er io d ,   s h o w i n g   t h e  r elativ el y   f lat  late n c y .   I n   o r d e r   to   en s u r e  u n i f o r m   r esu lt s ,   th e  q u er y   ti m e  is   an   av er ag e  o f   t h r ee   q u er ies  an d   th e  q u es y   p r o ce s s in g   an d   o p ti m i za tio n   w ith   h i g h   le v el  lan g u ag e  as  s h o w n   i n   Fi g u r e   4   [ 1 2 ] .   T h e  s er v er   w as  s h u t   d o w n   b et w ee n   ea c h   q u er y   to   p r ev en t  th e  r e s u l ts   f r o m   b ein g   ca ch ed .   A   Dell   P o w er E d g e  R 5 2 0   w i th   1 6 5 GB   o f   R AM   an d   3 2   co r es w as u s e d   f o r   th i s   test ,   h o w e v er ,   th e  s iz e  o f   t h e  R AM   w as   n o t a   s ig n i f ica n t  f ac to r ,   as Div en ti d o es n o t p r ee m p ti v el y   lo a d   d ata  f r o m   t h e  u n d er l y i n g   s to r ag e  in to   it s   ca c h e.   T ab le  2   [ 1 1 ]   s h o w s   t h e  p er f o r m an ce   o f   t h e  m etr ics  a n al y tic  r u n n i n g   u p o n   d i v en t i  at  s u p er co m p u ti n g .     An al y tic  p er f o r m a n ce   f o r   cr ea tin g   m etr ic s   en d   clien t ’ s   e n d ,   R ea l  r ef er s   to   th e  to tal  tim e  f r o m   t h e  s tar t  o f     th e  p r o g r a m   to   co m p letio n ,   U s er   to   th e   a m o u n t   o f   ti m e  th e   p r o ce s s   w a s   e x ec u t in g   o n   th e   C P U,   an d   S y s te m   to   th e  a m o u n t  o f   ti m e  th e  p r o ce s s   w as  ex ec u ti n g   s y s te m   ca ll s   [ 1 1 ] .   T h e  Un ix   u tili t y   ti m e  w as  u s ed   to   m ea s u r e     th e  to tal  a m o u n t  o f   ti m e  r eq u i r ed   to   cr ea te   th e  m etr ic s   o n   th e  clien t’ s   en d .   T o   e s tab lis h   th e  p er f o r m an ce   an d   g en er ate  d ata  w e  q u er ied   a  s i n g le  I P   ad d r ess ,   a  2 5 5 . 2 5 5 . 2 5 5 . 0   s u b n et  m a s k ,   a  2 5 5 . 2 5 5 . 0 . 0   s u b n et  m as k ,   an d     th e  e n tire   d atab ase  [ 2 5 ] .   R ea l   r ef er s   to   t h e  to tal  ti m e  f r o m   th e  s tar t  o f   t h e  p r o g r a m   to   co m p let io n ,   U s er   to     th e  a m o u n t   o f   ti m e  th e  p r o ce s s   w as e x ec u ti n g   o n   th e  C P U  ( c en tr al  p r o ce s s in g   u n it),   an d   S y s te m   to   th e  a m o u n t   o f   ti m e  t h e  p r o ce s s   w as  e x ec u ti n g   s y s te m   ca lls .   W e  s ee   a n   in cr ea s in g   a m o u n t  ti m e  s p en t  o f f   th e  C P U  in     T ab le   2   lik el y   b ec au s e  o f   t h e  in cr ea s i n g   s ize  an d   co m p l e x it y   o f   th e  d ata  s to r ed   o n   th e  cli en t  en d ,   ca u s in g   I O   b lo ck in g   w h en   p r e f o r m i n g   a n al y s i s .   T h e  an al y tic  w as  ab le  to   v er y   q u ick l y   e s tab lis h   t h e  s tatis tical  h i s to r y   o f     an   ip   ad d r ess   o r   s u b n et   b y   ta k in g   ad v an tag e  o f   t h e  B ε - tr ee ’ s   s tr u c tu r e.   T h is   p r o v id es   ev i d en ce   th a t  n e t w o r k   f lo w   d atab ases   w ill al lo w   co m p lex   an al y s i s   to   co m p lete  r ap id ly .       T ab le  1 .   Ser v er s id e  laten c y ,     av er ag ed   o v er   3   q u er ies   S t o r e d   L o g s   Q u e r y   L a t e n c y   (S) a   1   1 . 9 4 7 0 1 3   1 0 0   2 . 0 5 8 1 0 3   2 0 0   2 . 1 6 7 9 5 7   5 0 0   2 . 2 0 8 1 4 0   1 0 0 0   2 . 3 3 7 6 1 8     T ab le  2 .   T h e  p er f o r m an ce   o f   t h e  m etr ic s   an al y tic  r u n n i n g   u p o n   d iv e n ti a t s u p er co m p u ti n g   D e scri p t i o n   L o g s    P r o c e sse d   R e a l   U se r   S y st e m   S i n g l e   I P   1 , 0 0 5   0 . 0 7 9   0 . 0 2 4   0 . 0 2 8   S u b n e t   \ 8   3 2 , 8 6 4   0 . 4 2 5   0 . 1 0 0   0 . 0 7 6   S u b n e t   \ 16   3 7 2 , 7 5 5   2 . 3 8 6   0 . 9 3 6   0 . 3 3 6   Ev e r y t h i n g   4 8 5 , 9 9 7 , 7 4 6   1 0 4   mi n   2 2   mi n   1 6   mi n           Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,  Vo l.  1 8 ,   No .   5 ,  Octo b e r   2 0 2 0 :      2 4 1 2 -   2420   2418       F i g u r e 4 .   Qu es y   p r o cess in g   an d   o p tim izatio n   with   h ig h   lev el l an g u ag e q u er y   th r o u g h   th r ee lev el s   o f   q u er y   o p tim izatio n   i. e.  p ar s er   an d   tr an s lato r ,   q u er y   o p tim izer   an d   q u er y   ev alu atio n   en g in e to   g en er ate th e rea l  tim e  r esu lts   o f   o p tim ized   q u er y   b y   in s er tin g   d ata f r o m   th e d atab ase   [ 1 2 ]       3.   RE SU L T S   T h e  r esu lt  s h o w s   g r ap h ica l  r ep r esen tatio n s   o f   t h e  m etr ics  co ll ec ted   u p o n   a  s in g le  I P   ad d r ess   s h o w n   i n   Fig u r es  5 - 9 .   T h is   I P   h ad   6 0 3   co n n ec tio n s ,   t h e  s o u r ce   p o r t  w a s   s ca tter ed ,   b u t  t h e  d esti n at io n   p o r t  w as  al w a y s   1 3 5 6 8 .   Fro m   t h is   in f o r m a tio n   th e  I P   ad d r ess   i s   cla s s i f ied   as  ac ti v e,   o f   s m al l  d eg r ee ,   n eith er   a  s e n d er   n o r   r ec eiv er ,   an d   a  m o u s e.   T h is   I P   ad d r ess   w as  lik e l y   r ec ei v i n g   a n d   s en d i n g   d ata  to   a  s m al l  n u m b er   o f   o th er     I P   a d d r ess es f r o m   a  p r o ce s s   r u n n i n g   o n   p o r t 1 3 5 6 8 .   T h e  n eig h b o r   h is to g r a m   i n d icate s   t h at  t h e  b eh av io r   o f   th i s   I P   ad d r ess   is   lik el y   m o s t d ep en d en t  u p o n   n ei g h b o r   4 .   A t  t h e  ti m e  th e  an al y tic  w as  r u n   1 , 4 8 0 , 0 2 4   I P  ad d r ess es  w er e  s to r ed   w it h in   t h e  d atab ase.   B ased   u p o n   th e  s tat is tical  s u m m ar y   r et u r n ed   w h e n   t h e  an al y tic  w a s   r u n   ac r o s s   th e  en t ir e  d atab ase  ea ch   I P   ad d r ess   w a s   m atc h ed   w it h   t h e  clas s i f icati o n s   d escr ib ed   in   s u b s ec tio n   2 . 4 .   T h e  n u m b er   o f   I P   ad d r ess es  th a t  m atch   ea c h   ca teg o r y   ar e  s h o w n   i n   T ab le  3   alo n g   w it h   t h e  p er ce n tag e   o f   t h e  to tal  I P s   w h ic h   m atc h ed .   U s in g   t h i s   tab le,   it   is   o b s er v ed   th at  a   v as t  m aj o r ity   o f   I P s   w er e  class if ied   a s   i n ac t iv e,   s m all   d eg r ee ,   s e n d er s ,   o r   g n at s .   B ased   u p o n   th is   i n f o r m atio n ,   w e  co u ld   p o s it  th at  a  v ast  a m o u n t  o f   th e  tr af f ic  co llected   w as  co m p o s ed   o f   s i m p le  in ter ac tio n s   w h ic h   d id n ’ t  r eq u ir e  m u c h   d a ta  to   b e  tr an s f er r ed   b ac k   to   t h e  r ec eiv er   t h er ef o r e  m o s t  p a ck ets  w er e  s en t  b y     th e  o r ig i n ato r .   So m e  ex a m p le s   o f   th i s   t y p e  o f   tr a f f ic  in c lu d e  DNS  ( d o m ai n   n a m e  s er v i ce )   lo o k u p s ,   I C MP   ( in ter n et  co n tr o l  m es s ag e  p r o to co l)   m es s ag e s ,   an d   SYN  s ca n n i n g .             F i g u r e 5 .   Pack et - Ou t  f o r   s in g le I P  ad d r ess   o n   X - ax is .   L o g   s cale f o r   lo g g in g   with   q u er y in g   n etwo r k   f lo ws  an d   m atch in g   co n n ectio n s   o n   Y - ax is .     F i g u r e 6 .   Pack et - I n   f o r   s in g le I P   ad d r ess   o n   X - ax is .   L o g   s cale f o r   lo g g in g   with   q u er y in g   n etwo r k   f lo ws  an d   m atch in g   co n n ectio n s   o n   Y - ax i s.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Da ta b a s e  tech n iq u es fo r   r esil i en t n etw o r k  mo n ito r in g   a n d   in s p ec tio n   ( I s r a a   A l B a r a z a n ch i )   2419           F i g u r e 7 .   B y tes - I n   f o r   s in g le  I P  ad d r ess   o n   X - ax is .   L o g   s cale f o r   lo g g in g   with   q u er y in g   n etwo r k   f lo ws  an d   m atch in g   co n n ectio n s   o n   Y - ax is .     F i g u r e 8 .   Neig h b o r   h is t o g r am   w ith   f o u r   d i f f er en t  n eig h b o r s   o n   X - ax is .   L o g   s cale  f o r   lo g g in g   with   q u er y in g   n etwo r k   f lo ws  an d   m atch in g   co n n ectio n s   o n   Y - ax is           F i g u r e 9 .   Neig h b o r   h is t o g r am   w ith   f o u r   d i f f er en t  n eig h b o r s   o n   X - ax is .   L o g   s cale f o r   lo g g in g   w ith   q u er y in g   n etwo r k   f lo ws  an d   m atch in g   co n n ectio n s   o n   Y - ax is       T ab le  3 .   C lass if icatio n s   o f   s u p er co m p u ti n g   tr a f f ic   C l a ssi f i c a t i o n   N u mb e r   o f   M a t c h e s   %  o f   T o t a l   I n a c t i v e   1 , 1 7 6 , 0 9 7   7 9 . 4 6   A c t i v e   1 2 8 , 2 1 8   8 . 6 6   S mal l   d e g r e e   9 9 5 , 7 4 1   6 7 . 2 8   H i g h   d e g r e e   2 0 4 , 4 9 1   1 3 . 8 2   S e n d e r s   1 , 1 8 7 , 9 7 9   8 0 . 2 7   R e c e i v e r s   7 7 , 5 4 1   5 . 2 4   El e p h a n t s   1 4 , 7 8 9   1 . 0 0   M i c e   9 4 , 6 1 0   6 . 4 0   G n a t s   1 , 3 4 8 , 3 4 7   9 1 . 1 0       4.   DIS CU SS I O N   First,  it  s h o u ld   b e  n o ted   t h e  a n al y tic  p r o v id es  n o   ab ilit y   to   d e ter m i n e  t h e  p o r tio n   o f   I P s   w h i ch   m atch ed   m u ltip le  ca te g o r ies.  E ac h   s e t   o f   class if icatio n s :  i n ac ti v e  a n d   ac tiv e,   s m a ll  d eg r ee   an d   h ig h   d e g r ee ,   etc.   is   ca lcu lated   i n   is o latio n .   A   s i m p le  i m p r o v e m en t  to   th e  a n al y tic   w o u ld   b e  to   ad d   th is   ca p ab ilit y   allo w i n g   th e  u s er   to   ze r o   in   o n   p ar ticu lar ly   r ar e  b eh av io r s .   Div en ti  w a s   g r a n ted   o n l y   li m ited   ac ce s s   to   th e  s u p er co m p u tin g   n et w o r k .   A s   a  co n s eq u e n ce   o f   th is   li m ited   n et w o r k   v i s ib ilit y ,   s o m e  r esu lts   m a y   b e   in co m p l ete.   I t  is   im p o r tan t   th at  a n y   o r g a n izatio n   s ee k in g   t o   e m p lo y   n et w o r k   m o n ito r in g   ca r ef u ll y   co n s id er   t h e  i m p licat io n s   o f   t h e  v is ib ili t y   p r o v id ed   b y   th eir   n e t w o r k   tap s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,  Vo l.  1 8 ,   No .   5 ,  Octo b e r   2 0 2 0 :      2 4 1 2 -   2420   2420   5.   CO NCLU SI O NS   Usi n g   d atab ases   d esi g n ed   f o r   th e  b ig   d ata  ch alle n g e s   ass o ci ated   w it h   lo g g in g   an d   q u er y in g   n et w o r k   f lo w s   is   n ec e s s ar y   i n   o r d er   to   p r o v id e  n et w o r k   o p er ato r s   w it h   a  lar g er ,   m o r e  ef f icie n t w in d o w   in to   th e  n et w o r k   tr af f ic  o f   b o th   p a s t  a n d   p r esen t.  I ts   i m p er ati v e  f o r   t h e  d ev e lo p m e n t  o f   au to m ated   a n al y ti cs  an d   f o r   ef f ec ti v e   p o s t - i n tr u s io n   in v es tig a tio n s   t h at  th e s e  m et h o d s   ar e  ad o p ted   w h e n   lo g g i n g   n e t w o r k   f lo w s .   T h is   r esear ch   p ap er   s h o w s   t h at  Div e n ti  w as a b le  to   in g es t o v er   a  b illi o n   lo g s   w h i l e  p r o v id in g   r ap id   q u er y   r esp o n s e s   w it h   r elativ e l y   f lat  late n c y .   T h ese  q u er ies  ar e  ca p ab le  o f   q u ick l y   co llecti n g   in f o r m a tio n   r e g ar d in g   I P   a d d r ess es  to   class i f y     th e m   i n to   v ar io u s   ca teg o r ies.   R u n n i n g   th i s   an al y s i s   at  s u p er co m p u t in g   2 0 1 9   r ev ea led   th at  a  m aj o r it y   o f     th e  tr af f ic  co llected   w a s   co m p o s ed   o f   s i m p le  in ter ac tio n s   s u c h   as  DNS  ( d o m ain   n a m e   s er v ice)   lo o k u p s ,     I C MP   ( in ter n et  co n tr o l  m es s a g e  p r o to co l)   m es s ag e s ,   an d   SY N  s ca n n i n g .   I n   co n j u n ct io n   w it h   m ac h i n e  lear n i n g   an d   o th er   cu tti n g - ed g e  tec h n i q u es,  th ese  d atab ases   allo w   s ec u r it y   p er s o n n el  to   u s e  t h eir   ti m e  to   ef f icien tl y   id en ti f y   t h r ea ts   a n d   r esp o n d   to   aler ts   in s tead   o f   w a iti n g   f o r   in f o r m atio n .       RE F E R E NC E S   [1 ]   B.   A .   A lah m a d i  a n d   I.   M a rti n o v ic,  “ M a lCl a ss if ier:  M a l w a r e   f a m il y   c l a ss i f ica ti o n   u sin g   n e tw o rk   f lo w   se q u e n c e   b e h a v io u r, ”   2 0 1 8   AP W G S y mp o si u m o n   El e c tro n ic Crime   Res e a rc h   ( e Crim e ) ,   n o .   1 ,   p p .   1 - 1 3 ,   M a y   2 0 1 8 .   [2 ]   S .   Am b ro g io   e t  a l. ,   “ Ne u ro m o rp h ic  lea rn in g   a n d   re c o g n it i o n   w it h   o n e - tran sisto r - one - re sisto r  sy n a p se s  a n d   b istab le   m e tal  Ox id e   RR A M , ”   IEE E  T ra n s.  El e c tro n   De v ice s ,   v o l.   6 3 ,   n o .   4 ,   p p .   1 5 0 8 - 1 5 1 5 ,   A p ril   2 0 1 6 .   [3 ]   V e rizo n   b u sin e ss   re a d y ,   “ 2 0 1 9   Da ta Brea c h   In v e stig a ti o n s Re p o rt, ”   [ On l in e ]   A v a il a b le:  h tt p s:/ /en terp rise . v e rizo n . c o m /   re so u rc e s/re p o rts/2 0 1 9 - d a ta - b re a c h - in v e stig a ti o n s - re p o rt. p d f .   [4 ]   El a stics e a rc h   Re fe re n c e ,   “ T h e   De f in it iv e   G u id e , ”   [ O n li n e ]  A v a il a b le:  h tt p s:// w ww . e l a stic.c o /g u id e /en /ela stics e a rc h /   g u id e /m a ste r/i n d e x . h tm l   [5 ]   N.  P .   Do n o g h u e ,   e t  a l . ,   “ T ra c k in g   n e tw o rk   e v e n ts  w it h   w rit e   o p ti m ize d   d a ta  str u c tu re s:  T h e   d e sig n   a n d   im p le m e n tatio n   o f   T W I A D:  T h e   w rit e - o p ti m ize d   IP   a d d re ss   d a tab a se , ”   Pro c . 2 0 1 5   4 th   In t.   W o r k .   Bu i ld .   A n a l .   Da ta se ts Ga t h e r.  Exp .   Retu rn s   S e c u r.  BA DG ER S   2 0 1 5 ,   p p .   1 - 7 ,   2 0 1 7 .   [6 ]   Zee k ,   “ Ne t w o rk   S e c u rit y   M o n it o r , ”   [ O n li n e ]   A v a il a b le:  h tt p s:// ww w . z e e k . o rg /.   [7 ]   T .   M a h m o o d   a n d   U.  A f z a l,   “ S e c u rit y   a n a l y ti c s:  Big   d a ta  a n a l y ti c s  fo r  c y b e rse c u rit y :  A   re v ie w   o f   tre n d s,  tec h n iq u e s   a n d   t o o ls,”  2 0 1 3   2 n d   N a ti o n a l  Co n fer e n c e   o n   I n fo rm a ti o n   Assu r a n c e   ( NCIA) ,   p p .   1 2 9 - 1 3 4 ,   De c e m b e r  2 0 1 3 .     [8 ]   P .   Ha a g   Nfs e n ,   “ Ne tf lo w   se n so r, ”   [ O n li n e ]   A v a il a b le:  n f se n . so u rc e f o rg e . n e t.   [9 ]   D.  P l o n k a   F lo w sc a n ,   “ Ne tw o rk   T ra ff ic  F lo w   V is u a li z a ti o n   a n d   Re p o rti n g   T o o l ”   [ O n li n e ]  A v a il a b le:   ww w . c a id a . o rg /t o o ls/ u ti li ti e s/f lo w s c a n /.   [1 0 ]   T .   Oe ti k e r,   J.  Bru tl a g ,   a n d   A .   Bo g a e rd t  R,   “ A b o u t  RRDt o o l , ”   [ On li n e ]   A v a il a b le:  h tt p s:// o ss . o e ti k e r. c h /rrd t o o l/ .   [1 1 ]   D.  Hu tch iso n   a n d   J.   C.   M i tch e ll ,   “ IP   O p e ra ti o n s a n d   M a n a g e m e n t, ”   9 th   IEE E   In ter b a ti o n a l  W o rk sh o p ,   2 0 0 8 .   [1 2 ]   F .   M a tern it y   e t  a l. ,  “ N o   主 観 的健康感を中心とした在宅高 齢 者における   健康 関 連 指標に 関 する共分散構造 分析 T i t l e ,”   I n t.   Rev .   Imm u n o l. ,   v o l.   6 6 ,   n o .   1 ,   p p .   1 - 1 5 ,   2 0 1 8 .   [1 3 ]   N.  J.  Qa si m ,   e t  a l . ,   “ Re a c ti v e   p ro to c o ls  f o r  u n if ied   u se r  p r o f il in g   f o r  a n o m a l y   d e tec ti o n   in   m o b il e   A d   Ho c   n e tw o rk s,”   Per io d ica ls  o f  En g in e e rin g   a n d   N a tu ra l.   S c ien c e ,   v o l.   7 ,   n o .   2 ,   p p .   8 4 3 - 8 5 2 ,   A u g u st 2 0 1 9 .   [1 4 ]     J.  L iu ,   e t  a l . ,   “ S o f tw a re - d e f in e d   in tern e t   o f   th i n g s  f o r  sm a rt  u rb a n   se n sin g , ”   IEE E   Co mm u n ica ti o n s  M a g a zi n e ,    v o l.   5 3 ,   n o .   9 ,   p p .   5 5 - 6 3 ,   S e p tem b e r  2 0 1 5 .   [1 5 ]   O.  S a lm a n ,   e t  a l . ,   “ Id e n ti ty - b a se d   a u t h e n ti c a ti o n   sc h e m e   f o r  th e   I n tern e t  o f   T h in g s,”   Pro c .   -   IE EE   S y mp .   C o mp u t.   Co mm u n . ,   p p .   1 1 0 9 - 1 1 1 1 ,   Ju n e   2 0 1 6 .     [1 6 ]   S .   C h a k ra b a rty ,   e t  a l . ,   “ Blac k   S DN   f o r  th e   in tern e t  o f   th i n g s,”   2 0 1 5   IE EE   1 2 th   In ter n a ti o n a l   Co n fer e n c e   o n   M o b il e   Ad   Ho c   a n d   S e n so r  S y ste ms ,   p p .   1 9 0 - 1 9 8 ,   Oc t  2 0 1 5 .   [1 7 ]   T .   T h e o d o ro u ,   e t  a l . ,   “ A   m u lt i - p ro to c o l  so f tw a re - d e f in e d   n e tw o rk in g   so lu ti o n   f o r   t h e   I n tern e t  o f   T h in g s,”   IEE E   Co mm u n .   M a g . ,   v o l.   5 7 ,   n o .   1 0 ,   p p .   4 2 - 4 8 ,   Oc t  2 0 1 9 .   [1 8 ]   A .   K.  T ra n ,   e t  a l . ,   “ S DN   c o n tro ll e r  p lac e m e n t  in   Io T   n e tw o rk s:   A n   o p ti m ize d   su b m o d u larity - b a se d   a p p ro a c h , ”   S e n so rs   (S w it z e rlan d ),   v o l .   1 9 ,   n o .   2 4 ,   p p .   1 - 1 2 ,   De c e m b e r  2 0 1 9 .   [1 9 ]   I .   A l  Ba r a z a n c h i,   e t  a l . ,   “ In n o v a ti v e   tec h n o lo g ies   o f   w irele ss   se n so r  n e tw o rk  :  T h e   a p p li c a ti o n s  o f   W BA N  s y ste m   a n d   e n v iro n m e n t, ”   S u st a in .   En g .   I n n o v . ,   v o l.   1 ,   n o .   2 ,   p p .   9 8 - 1 0 5 ,   2 0 2 0 .   [2 0 ]     K.  S o o d ,   e t  a l . ,   “ S o f tw a re - d e f i n e d   w irele ss   n e t w o rk in g   o p p o rt u n it ies   a n d   c h a ll e n g e s  f o r  In tern e t  o f   T h in g s:    A   re v ie w , ”   IEE E  In ter n e t  T h in g s  J o u rn a l. ,   v o l.   3 ,   n o .   4 ,   p p .   4 5 3 - 4 6 3 ,   A u g u st 2 0 1 6 .   [2 1 ]   Z.   Qin ,   e t  a l . ,   “ A   so f t wa re   d e f i n e d   n e tw o rk in g   a rc h it e c tu re   f o r  th e   I n tern e t  o f   T h in g s,”   2 0 1 4   IEE E  Ne two rk   Op e ra ti o n s a n d   M a n a g e me n t  S y mp o siu m   ( NOM S ) ,   M a y   2 0 1 4 .   [2 2 ]   I.   S o sa ,   e t  a l . ,   “ T a c k li n g   g ra p h ica l  n a tu ra l   lan g u a g e   p ro c e ss in g ’s  p ro b lem s  w it h   re c u rre n t  n e u r a l  n e tw o rk s,”     J .   S o u th we st Ji a o t o n g   Un iv . ,   v o l.   5 4 ,   n o .   5 ,   p p .   1 - 9 ,   Oc t  2 0 1 9 .   [2 3 ]   A .   M .   Zarc a ,   e t  a l . ,   “ E n a b li n g   v irt u a l  AA A   m a n a g e m e n t  in   S D N - b a se d   Io T   n e tw o rk s,”   S e n so rs   ( S wit ze rla n d ) ,    v o l.   1 9 ,   n o .   2 ,   p p .   1 - 2 4 ,   Ja n u a ry   2 0 1 9 .   [2 4 ]   A .   C.   Ro d rig u e z   a n d   M .   R.   De   L o s  M o z o s,  “ Im p ro v in g   n e tw o rk   se c u rit y   th ro u g h   traf f ic  lo g   a n o m a l y   d e tec ti o n   u sin g   ti m e   s e ries   a n a l y sis,”   Co mp u ta tt i o n a l  In telli g e n c e   i n   S e c u rity fo r I n fo rm a t io n   S y ste ms ,   v o l.   8 5 ,   p p .   1 2 5 - 1 3 3 ,   2 0 1 0 .   [2 5 ]   H.  R.   A b d u ls h a h e e d ,   e t  a l . ,   “ A  re v ie w   o n   sm a rt  so lu ti o n s  b a s e d - o n   c l o u d   c o m p u ti n g   a n d   w irele ss   se n sin g , ”     In t.   J .   Pu re   A p p l.   M a th . ,   v o l.   1 1 9 ,   n o .   1 8 ,   p p .   4 6 1 - 4 8 6 ,   2 0 1 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.