I ndo ne s i a n J o ur na l  o f  E l e c t r i c a l  E ng i ne e r i ng  a nd C o m p u t e r  Sc i e nc e   V o l.   10 ,  N o.   1 Ap r i l   2 01 8 , p p 343 ~ 347   I SSN :   2502 - 4752 ,  D O I :  10. 11 591/ i j eecs . v 10 .i 1 .p p 343 - 34 7           343       Jou r n al  h om e p age h ttp : //ia e s c or e . c om / j our nal s / i nde x . php/ i j e e c s   Ano m a l y  De t ec t io n in L o g  Reco rds       R agh av R as t o gi Shr e y a ns h N a ha t a P o o n a m G hul i P r a ti b a  D Dr .   Sho bha   G   D ep ar t m e nt  of  C om put e r  S c i e nc e  a nd E ng i ne e r i ng ,  R . V .  C ol l e g e  o f  E ng i ne e r i ng ,  B e ng a l ur u,  I ndi a       A rt i cl e I n f o     AB S T RAC T   A r tic le  h is to r y :   R ecei v ed   J an   2 ,  201 8   Re v i se d   M ar   9 ,  2 01 8   A ccep t ed   M ar   24 ,  2 01 8       I n  r ecen t  t i m es  c o m p l ex  s o f t w ar e s y s t e m s  ar e co n t i n u o u s l y  g en er at i n g   a ppl i c a t i o n a n d s e r v e r  l og s  f or  t he  e v e nt s  w hi c h ha oc c ur r e i n t he  pa s t .   T h es g en er at ed   l o gs   c a n be  ut i l i z e d f or  a nom a l y  a nd i nt r us io n  d e te c tio n .   T he s e  l og  f i l e s  c a n be  us e d f or   d et ect i n g   c er t ai n  t y p es  o f  ab n o r m al i t i es  o r   e x c e pt i ons  s uc h a s  s pi k e s  i n H T T P  r e que s t s ,   num be r  of  e xc e pt i ons  r a i s e d i n   l o g s ,  et c.  T h es e t y p es  o f  ev en t s   r e c or de d i n t he  l og  f i l e s   ar e g en er al l y  u s ed   fo r   an o m al y   p r ed i ct i on a nd a na l y s i s   i n f ut ur e .  T he   pr op os e d p r o to ty p e   fo r   an o m al y  d et ect i o n   a s s um e s  t ha t  t he  l og  r e c or ds   a r e  upl oa de a s   i n put  us i ng   s t a nda r d a pa c he  l og  f or m a t .  N e x t ,  a  pr ot ot y pe  i s  de v e l ope d t o g e t  t he  num be r   of  H T T P  r e que s t s  f or  out l i e r   de t e c t i on.   T he n a n om a l i e s  i n num be r  of  H T T P   r eq u es t s  ar e d et ect ed   u s i n g  t h r ee t ech n i q u es  n am el y  I n t er Q u ar t i l eR an g e   m e t hod,   M ov i ng  a v e r a g e s  a nd M e di a n A bs ol ut e  de v i a t i o n.  O nc e  t he  out l i e r s   ar e d et ect ed ,  t h es o u t l i er s  ar e r em o v ed  f r o m  t h e cu r r en t  d at as et .   T h i s  o u t p u t   i s  g i v e n a s  i nput  t o  t he   M ul t i l a y e r   P e r c e pt r on  m ode l  t pr e di c t  t he   num be r  of   H TT P  r e q u e s ts  a t th e  n e x t tim e s ta m p .   T hi s  pa pe r  pr e s e nt s  a   w e b ba s e m ode l   t o a ut om a t e  t he  pr oc e s s  of  a nom a l y  de t e c t i on i n l og  f i l e s .   Ke y wo rd s :   A n o m al y  d et ect i o n   L o g a na l ys i s   L o g  r eco r d s   N eu r al  n et w o r k   C opy r i g ht   ©  201 8   I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   R a g ha v R a s t o gi   D ep ar t me n t  o f  C o m p u t er  S ci e n ce an d  E n g i n eer i n g ,   R. V .  Co l l e g e  o f   E n gi ne e r i n g,   B e nga l ur u 5 9 ,  I nd i a .       1.   I NT RO D UCT I O N   A  l ar g n u m b er  o f  co m m u n i cat i o n  l o g s  ar e g e n er at ed  b y  co r p o r at e s y s t e m s .  T h es e ar e u s ed  t o   m o n i t o r  t h e i n t er n e t  t r af f i t h a t  h as  b een   f l o w i n g   t o w ar d s  a p ar t i cu l ar  s o u r ce.  T h e y  p r o d u ce a l ar g n u m b er  o f   l o g s   w h i c h  ar e t h e n  co l l ect ed   an d  s t o r ed .  T h es e l o g s  ar e s cr ap ed  t o  ex t r act  t h e p ar t i cu l ar  p o i n t  o f  i n t er es t  a n d   t h e as s o ci at ed  t i m es t a m p   w h i ch  i s  co n v er t ed  t o  t i m e s er i es  d at as et .  S u c h  t y p e o f  d at a i s  t h en   u s ed  b y   d ev el o p er s  an d  p r o g r a m m er s   t o  f i n d  a n y  a n o m al i es   w i t h i n  t h e ex t r act ed  t i m s er i es   d at as et .  S u c h  an o m al i e s   can n o t  b e d et ect ed  m a n u al l y .   T h er e i s  a r e q u i r e m en t  t o  au t o m a t e t h e an o m al y  d et ect i o n   f o r   w h i c h  l ar g e an d   co m p l e x  s y s t e m s  ar e b u i l t .  T h es e s y s t e m s  s ca n  t h e d at as e t s  f o r  an y  a n o m al i es  i n v o l v i n g  an y  s u s p i ci o u s  o r   in te r e s ti n g  p a r t.   A  l ar g e  n u m b er  o f  t r af f i c a n o m al i es  i n cl u d i n g  a t t ack s ,  l ar g e  f i l e t r an s f er s ,  f l as h  cr o w d s  a n d   o ut a ge s  o c c ur  f a i r l y f r e q ue nt l y .   L ar g e  en t er p r i s e n e t w o r k s   h av e  d ed i cat ed  s ec u r i t y  o p er at i o n s   f o r   c on t i nu ous l y   m o n i t or i n g   t h e   ne t w or k t r a f f i c   i n  or de r  t o de t e c t ,  i de nt i f y a nd  t a ke  a c t i o n o n  t he  a no m a l i e s  t ha t   o ccu r  i n  l o g   f i l e s .  O n  a s m al l er  s cal e,  t h es e o p er at i o n s  ar e h an d l ed  b y   n et w o r k  ad m i n i s t r at o r s   w h o  can  al s o   s i m ul t a ne o u s l w o r k o n o t he r   d a y - to - d a y   m a i nt e na nc e  o p e r a t i o ns  a nd  p l a n ni n g a c t i vi t i e s .   A l t ho ug h t he r e  h a s   b e e n a  r e c e nt   gr o w t h  i n  ne t w o r m o ni t o r i ng   [1 ],     l o g a na l ys i s  [ 2 ]   a n d  i n tr u s io n  d e te c tio n  s y s te m s   [3 - 4] b ut   it  is  s till c h a lle n g i n g  to  c o r r e c tl y  d e te c v a r io u s  t y p e s  o f  a n o m a lie s .   T h i s  p ap er   d i s cu s s e s  t h e r eal i zat i o n  o f   w eb   ba s e d f r a m e w or k  t o de t e c t  ou tlie r s   in  te r m s  o f   num be r  of  H T T P  r e qu e s t s  f or  t h e  i n pu t   I P  ad d r es s   us i ng t hr e e   a l go r i t h m s  na m e l I nt e r - Q u a r tile - R an g e,  M o v i n g   A v er ag es ,  M o v i n g   m ed i an  ab s o l u t e d ev i at i o n .  T h er eaf t er  a   m u ltila y e r  p e r c e p tr o n   m o d e i s  b u il t to   p r e d ic t t h e  o u tlie r s   f o r  a  p a r ti cu l ar  t i m e p er i o d .  T h i s  pa pe r  f oc us  on  th r e e   m a i n  s ta g e s  i n  lo g  a n a l y s is  n a m e l y  o u tlie r  d e te c tio n ,  o u tlie r  r e m o v a l a n d  o u tlie r  p r e d ic tio n  f o r  th e  g i v e n   lo g  f ile .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   25 02 - 4752   I nd o ne s i a n J  E l e c  E ng  &  C o m p   Sc i ,   Vo l 10 , N o .   1 Ap r i l   2 01 8   :   34 3     3 47   344   2.   S TA TE O F   A R T D EV E LO P M EN T   I n  t h e  l as t  d ecad e l o t  o f   w o r k  h a s  b een  car r i ed  o u t  o n  t h e o u t l i er   d et ect i o n  f r o m  l o g   r eco r d s .   R ecen t l y  a n o m al y  d et ect i o n   b as ed  s y s t e m s  ar e al s o  u s ed   f o r  cy b er - in tr u s io n  d e te c tio n   [5 ] .  A n o m al i e s  can   ev en  b e g e n er at ed  i n  p a y m e n t  s ecu r i t y  d o m ai n .   A l l  t h e p a y m en t  t r an s ac t i o n  d o n e g e n er at e cer t ai n  t y p e o f  l o g   f i l e s  t h r ough   w h i c h a no m a l i e s  c a n b e  f o u nd  s uc h a s  r i s k   f act o r ,  f r au d  d et ect i o n  et c [ 6 ].     T h er ar d i f f er en t   t o o l s   a v a i l ab l i n   m ar k et   w h i ch   h el p s   u s   t o   d et ect   a n o m al y .   O n s u ch   t o o l   i s   l o ggl y [ 7 - 8 ] .  L o g g l y s  a n o m al y  d et ect i o n   f r a m e w o r he l p s  i f i nd i n f l uc t ua t i o ns  i n  e ve n t  f r e q ue nc y .   A n o m al i es   m a y   b o f   v ar i o u s   t y p es   s u c h   as   s p i k i n   n u m b er   o f   r eq u es t s   et c .   T he   t r e nd   c ha r t   p l o t t e d   b l o ggl y’ s   a no m a l d e t e c t i o f r a m e w o r a l l o w s   c ho o s i ng  a n f i e l d  o w hi c t he   a na l ys i s   ha s   t o   b e   d o ne .   I s ho w s  t he   f l uc t ua t i o ns  i n t he  f r eq u en ci es  o f  t h e c h o o s en   f i l e d s I t   a l s o  s ho w s  c ha n ge s   w i t r eap ect  t o  cu r r en t   t i me s t a mp ,   t h e  ba c kg r ou n d t i m e s t a m p a n d br i ng s  t h e  f i e l d on  t op of  l i s t   w i t h   m os t  f l u c t ua t i on s .   A no t he e x is tin g  to o i s N a g i o s [ 9 ]   w h ic h  a ls o  a le r ts   th e  d e v e lo p m e n t te a m  a b o u t he  v a r i ous   an o m al i e s .  N a g i o s   i s  ab l e  t o  d et ect  d i f f er en t  an o m al i e s  s u ch  as   m e m o r y   u s ag e,  d i s k   s p ace u s a g e,  p o r t   c o n n e c ti v it y ,   w h e t h e r  a  p r o c e s s  i s  r u n n i n g  o r  n o t,  e tc .  F o r  a ll th e  a n o m a lie s  d e te c te d  it  s e n d s  o u th e  a le r v ia   n o tif ic a tio n  s y s te m .   I n   th i s   t y p o f   s y s t e m   g en er al l y   al er t s   ar g en er at ed   o n l y   w h e n   p ar t i cu l ar   s er v i ce i s   d o w n.  I t  c a n no t  p r e d i c t   w hi c s e r vi c e   m a y   go  d o w n i f u t ur e .   E v er y  d a y ,  l ar g e a m o u n t  o f   en t er p r i s e d at a i s  g e n er at ed  i n  t h f o r m  o f  t i m e - s t a m pe d l og s  f r o m   n et w o r k  d e v i ces ,   s ecu r i t y  a p p l i an ces ,  s er v er s ,  e n d p o i n t s ,  ap p l i cat i o n s ,   u s er s  a n d   s o  o n .  T h e r eq u i r ed   k n o w l ed g e t o  ef f i ci e n t l y   m a n ag e an d  s ecu r e I T  i n f r as t r u ct u r es  i s  h i d d en  i n  t h i s  d at a,  b u t  i t s  i m p r act i cal  f o r   h u m a n s   to  e x tr a c th i s  i n f o r m a tio n .  P r e le r t [ 10 ]  i s  a n a n o m a l y d et ect i o n  e n g i n e.  I t  a n al y zes   t h e d at a a n d   d et ect s  an o m al i e s .  T h en  r el at e  t h e m   t o g et h er  a n d  p r o v i d es  t h e i n f o r m at i o n  ab o u t  ad v an ce d  t h r eat  act i v i t y  a n d   a n y  p r o b le m s  r e la te d  to  I T  o p e r a tio n s .  B u t P r e le r t is  n o t a n   o p e n  s o u r c e  to o l,  it is  a n  e n te r p r is e  a p p lic a tio n .     2 .1   C o nt r i but i o n t o w a r ds   F ra m ew o rk   f o A n o m al d et ect I o n i L og  R eco rd s   T h e  c on t r i bu t i on s   t o w a r ds  t he  de v e l op m e n t  o f   f r a m e w or k   fo r   an o m a l y  d et ect i o n   i l o f ile s   ar e   lis te d   b e lo w :     T h e p r o p o s ed  t o o l  p r o v i d es  eas y  t o  u s w eb  i n t er f ace  w h er u s er s   n e e d t o u pl oa d t h e  l og  f i l e s .     F o r  an o m al y  d et ect i o n ,  co n f i g u r ab l e p ar am et er s  ar e p r o v i d ed  i n  t h w eb  i n t er f ace s u c h  as   w i n d o w   s i ze  f o r   m ed i an ,   ab s o l u t e d ev i at i o n  an d  m o v i n g  a v er ag es .     P r o v is io n  is  g iv e n  to  s el ect   t he   I P  a d d r es s  f o r   w h i ch  a  u s er   w an t s  t o  d et e c t a n d  p r e d ic t a n o m a lie s  u s in g   dr op - dow n  m e nu .     T h e p r e d i ct i o n   m o d el s  ar e s av ed  t o  d i s k   w h i c h  r ed u ces   m e m o r y   u s a g e.   I t c o n s is ts  o f  a c ti v a tio n  f u c n tio n   us e d ,  i np ut  d i m e ns i o n t o  ne ur a l  ne t w o r k e t c .     T h e  pr opos e d t o ol  s u ppor t s   w e b ba s e d i n t e r f a c e .       3.   P RO P O S E D W O RK   T h e d ev el o p ed  f r am e w o r k   f o r  l o g  an al y s i s  i s  c u r r en t l y  b ei n g  u s ed  b y  C i s co ;  i t  i s  d e v el o p ed  as  a  w eb   b as ed   a p p lic a tio n   wi t h   t he  f o l l o w i ng d e s i g n go a l s :     I t  i s  l i gh t   w e i g ht  f r a m e w or k  b y  s u ppor t i n g   m i n i m um  de pe nde n c i e s .     I t   m ak e s  u s e o f   m i cr o   f ra m e w o rk  f o r s er v er  s i d e p r o ces s i n g .     I t  al s o  i n v o l v es  t h e u s e o f  K er as   [1 1 ] ,  a  hi gh - l e ve l   ne ur a l  ne t w o r k s   A P I ,   w r i t t e n i n P y t ho a nd  c a p a b l e  o f   r un ni ng o n t o p  o f  e i t he r  T e ns o r F l o w  o r  T he a no .     T h e  to o l a ls o  s u p p o r ts  th e  p lo ttin g  o f  a n o m a l y  d e te c tio n s  a s   w e ll a s  p r e d ic tio n s   w i t h t he  he l p  o f  go o gl e   ch ar t s  A P I .   T he   e n d us e r   m us t  u pl oa d t he  l og   f i l e ,  b y  pr oc e s s i ng   i n t h e  ba c kg r oun w i t h t h e   h e l of  R e gu l a r   E x p r es s i o n s ,  al l  t h e I P  ad d r es s es  co n t ai n ed  i n  t h e l o g  f i l e a r e p o p u l at ed  i n  t h e d r o p - d o w m e n u i n t he   w e b   i n t er f ace.  T h u s e r   m u s s e le c t th e  I P  f o r   w h ic h  h e   w a n ts  t h e  o u tlie r s  to  b e  p lo tte d .  C u r r e n tl y  t h e  o u tl ie r s  a r e   d et ect ed  i n  t er m s  o f  n u m b er  o f  H T T P   r eq u es t s  f o r  t h at  I P  ad d r es s .  T h en  u s er   m u s t  s el ec t  t h e al g o r i t h m s  o r   m e t h o d s   f o r  d e te c tin g   th e   o u t lie r s   f r o m  I n te r - Q ua r t i le - R a ng e ,   M ovi ng   A v e r a g e s ,  M o v i ng   m e di a a bs ol ut e   d ev i at i o n  al o n g   w i t h  t h ei r  t u n i n g  p ar a m et er s   f r o m   w eb  i n t er f ace  r es p ect i v el y .   A f t er  t h e o u t l i er  d et ect i o n   ph a s e  t h e   u s e r   h a s  t h e  opt i on  t o t r a i n  t h e  M u l t i l a y e r  pe r c e pt r on   m ode l  f or  e poc h s  pr ov i de d by   u s e r   f r o m w e b - i n t er f ace.   O n ce  t h m o d el   i s  t r ai n ed ,  i t  i s  p er s i s t ed   t o  t h e  d i s k   f o r   f u t u r e r e f er en ce.  T h en  t h u s er  i s  p r o v i d ed   an  o p t i o n  t o  p r ed i ct  t h e o u t l i er s  f o r  a p ar t i cu l ar  t i m e p er i o d ,   w h i ch   i s   g i v en  as  i n p u t  b y  u s er  t h r o u g h   w eb - i n t er f ace.  T h i s  p ap er  r eal i zes   t h e l o g  an al y s i s  i n  t h r e e  st a g e s.  F i r st   st a g e  f o c u s   o n  o u tl ie r  d e te c tio n ,   s eco n d   s t ag f o cu s  o n  r e m o v al  o f  o u t l i er s ,   t h ir d  s ta g e  d e a l s   w it h  o u tl ie r  p r e d ic tio n .       Evaluation Warning : The document was created with Spire.PDF for Python.
I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i     I SSN :   2502 - 4752       A nom al y  D e t e c t i on i n L o g R e c or ds   ( R aghav  R as t ogi )   345   3 .1   O u t lie r   D et ec t i o n   T h e  m a i n  o b j e c tiv e  o f  th is   m o d u le  is  to  d e te c t th e  o u tl ie r s  in  te r m s  of   n um be r  of  H T T P  r e qu e s t s .   T h i s   m o d u l m a k es   u s e o f   t h r ee al g o r i t h m s   n a m el y  I n t er q u ar t i l e r an g e,  M o v i n g  a v er ag es  an d  Med i an   A b s o l u te  d e v ia tio n .   T h e  I n te r q u a r tile  r a n g e  ( I Q R )  is  a   m e a s u r e  o f  v a r ia b ilit y .  I t d iv id e s  t h e  g iv e n  d a ta s e t in to   q u a r tile s .  I i s  a  m ea s u r e o f   s t a t i s t i cal  d ep r es s i o n .  T h es e ar e u s ed  t o  d i v i d e t h e d at as et  i n t o   4  eq u al  p ar t s  cal l ed   q u ar t i l es .  T h e v al u es  u s ed  t o  d i v i d e each  q u ar t i l e ar e cal l ed  t h f i r s t ,   s eco n d ,  an d  t h i r d  q u ar t i l es ;  a n d  t h e y  ar e   de n ot e d by  Q 1,  Q 2,  a n d Q 3,  r e s pe c t i v e l y .  Q 1  is  t h e  " m id d le "  v a lu e  in   th e   f ir s t  h a l f  o f  th e   d a ta  s e t.  Q 2  is  t h e   m ed i an  v al u i n  t h e  g i v e n  d at a s et .  Q 3  i s  t h e " m i d d l e"  v al u e i n  t h e  s eco n d   h al f  o f  t h e d at a s et .  T o  cal cu l at e   t h i n t er q u ar t i l e o n h a s   t o   co m p u t t h d i f f er e n ce b et w ee n   Q 3  an d  Q 1 .  F o r  t h i s   al g o r i t h m   t h p ar a m et er   n a m ed  a l p h n eed s  t o  b e s e l ec t ed   i n t he  r a nge   f r o m   0 t o 10.  A l p h a  pa r a m e t e r  i s  r e qu i r e f or  m a k i ng  t h e   u ppe r   a n d  lo w e r  q u a r tile   n o r m a liz e d   to  s i m p li f y  t h e  c a lc u la tio n .   I n o r d e r  t o  d e t e c t  o ut l i e r s  i n  t he  gi ve n o ne  d i m e ns i o na l   d at a t h e d at a p o i n t s  ar e m ar k ed  an d  ar cal cu l at ed  b as ed  o n  i t s  s t a n d ar d  d ev i at i o n s .  B u t  t h e p r es e n ce  o f  o u t l i er s  ca u s e s  a p r o f o u n d   ef f ec t  o n   t h e   m ea n   an d  s t a n d ar d  d ev i at i o n s  a n d  t h u s   t h e d i r ect   u s e  o f   s u ch  a  n v e t ec h n i q u e i s   n o t  p o s s i b l e.  T h m ed i an  ab s o l ut e   d e v ia tio n  ( M A D )  i s  o n e  o f  t h e  s o lu tio n s  to  h a n d le  t h e  v a r ia b ilit y  o f  a   u n iv a r ia te   s a m p le  o f  q u a n tita ti v e  d a ta .   F o r  i n s t an ce,   i t  ca n  al s o  r ef er   t o  t h e p o p u l at i o n  p ar a m et er .  T h i s  i s  es t i m at ed  b y  t h m ed i a n  ab s o l u t e d e v i at i o n   w h ic h  is  c o m p u te d  f r o m  a  s a m p l e .  F or  t h i s  a l g or i t hm   w i n d o w  s i z e   n e e ds  t o be  a dj u s t e d b e t w e e n  0 a n d 1000.   I n  t h m o v i n g  a v er ag m et h o d   w h i ch  i s  al s o  r ef er r ed  as  r o l l i n g  av er a g e o r  r u n n i n g  av er a g e,  an al y s i s   o f  d at a p o i n t s   i s  car r i ed  o u t  b y  g en er at i n g  a  s er i es  o f  av er a g e s  o n  d i f f er e n t   s u b s e t s  o f  th e  c o m p le te  d a ta  s e t.  I i s  a t y p e o f  f i n i t e i m p u l s e r es p o n s f i l t er .  S o m e v ar i at i o n s  i n cl u d e:  s i m p l e,  a n d  cu m u l at i v e,  o r   w ei g h t ed   f o r m s  ( d es cr i b ed  b el o w ) . F o r  i n s t a n ce,  g i v e n  a s er i e s  o f   n u m b er s  an d  a f i x ed   w i n d o w  s i ze,   t h f i r s t  el e m e n t  o f   t he   m o v i n g  av er a g e i s  o b t ai n e d  b y  t ak i n g  t h e av er a g e o f  t h e i n i t i al  f i x ed   w i n d o w  s i ze o f  t h e n u m b er  s er i es .   T he n i n t he   f ur t he r  s t e p s  t he   ne w  a ve r a ge  i s  c a l c ul a t e d  b m o vi n g t he   w i nd o w   f o r w a r d .  T he r e b y ,  t he   f i r s t   e le m e n t is  e x c l u d e d   w h ile  c a lc u la ti n g  a n d  t h is   i s  c o nt i n ue d  f o r  a l l  s uc h e l e m e nt s .   B y u s i ng o ne  o f  t h e   m e t h o d s  o u tlie r s  a r e  p lo tte d   w ith  h e lp  o f  g o o g le  c h a r ts   A P I .     3 . 2   R e m oval  of   O u t lie r     F o r  t h e r e m o v al  o f  o u t l i er s ,  f i r s t  t h m ea n  o f  t h g i v e n  d at as et  i s  co m p u t ed .  W h i l e co m p u t i n g  t h m ea n   ex cl u d e t h e p o i n t s   m ar k ed  as   an o m al o u s  i n  t h e p r ev i o u s  o u t l i er  d et ect i o n  s t ep .       T h e m ea n  i s  cal c u l at ed  u s i n g  t h e d at a co l l ect ed  ei t h er   f r o m  i n t er - q u a r t i l e   m e t h odol ogy  or  m o v i ng  a v e r a ge   ap p r o ach .     T h e s el ect i o n  o f  t h m ed i an  o r  av er ag e ca n  b g i v en  as  a n   o p t i o n  t o  t h e s y s t e m  w h i c h  n o r m al i zes   al l   t h e   o u t l i er  v al u es  i n  co r r es p o n d en ce t o  t h e g i v en  a v er ag e.     T h e o u t l i er  d at a p o i n t s  ar e t h en   m o d i f i ed  an d   n o r m al i zed   u s i n g  t h e s v al u e s .   A f t er  t h i s   t h m ean  a n d   d ev i at i o n  o f  t h e d at a i s  r ecal cu l at ed  an d  k ep t  f o r  t h e a n al y t i c s  p u r p o se s.     3.   O u t lie r   P red i ct i o n   T h e  m a i n  o b j e c tiv e  o f  th is   m o d u le  is  to  p r e d ic t th e  o u tlie r s  w it h  r e s p e c t to  n u m b e r  o f  H T T P  r e q u e s ts   c or r e s pon di n g  t o a   g i v e n I P  a ddr e s s .  I n  pr e di c t i on   m od u l e  t h e  M u l t i l a y e r  pe r c e pt r on   m od e l  i s   u s e w i t h t h e   h el p  o f  k er as   l i b ra ry .   A   m u l t i l a y er  p er cep t r o n  ( M L P )  i s  a f eed f o r w ar d  ar t i f i ci a l  n e u r al  n et w o r k   m o d el  t h a t   m ap s  s et s  o f  i n p u t  d at a o n t o  a s et  o f  ap p r o p r i at e o u t p u t s .  I n  t i m e s  s er i es  d at a,  t h e s eq u en ce o f  v al u es  i s   i m p o r ta n t.   F ir s th e  d a ta s e t i s   s p lit i n to  tr a i n in g  a n d   te s ti n g   d a ta s e w h ic h  is  in  t h e  r a tio  o f  7 :3 .  N o w  t h e   n e x s te p  is  to   f it t h e   m u ltila y e r  p e r c e p tr o n   m o d e l to  th e  tr a i n i n g  d a ta .  T h e  o p ti m iz e r  b e in g  u s e d  i s  R M S P R O P   ( R o o t  M ean  S q u ar e) .  A f t er  t h e f i t t i n g  o f  d at a,  f r o m  t e s t  d at a t h e v al u es  ar e p r ed i ct ed  an d   p l ot t e d u s i ng  g oogl e   ch ar t s  A P I .   T h e  a lg o r ith m  ta k e s  i n  a  lo o k - ba c k  v a l u e   w hi c h  de f i n e s  t h e  n um be r  of  poi n t s  us e d i n  pr e di c t i n g  t he   v al u e at  an y  p o i n t  t .  T h e t r ai n i n g  i s  d o n e o n  t h e d at as et  an d  n e w   v al u es  can  t h en  b e f o r ecas t ed  b y  t h e s y s t e m .   F o r  tr a in in g ,   t h e   u s e r  c a n  i npu t  t h e   n um be r  of  e poc h s  ( i t e r a t i on s )  t h e   m ode l  h a s  t o r un  u pon  t o i m pr ove   ef f i ci en c y .  T h e l o s s   v al u es  f o r  each  ep o ch  ar e al s o  cal c u l at e d  as  r o o t   m ea n   s q u ar ed  er r o r  v al u e s  a n d   g i v e s  a n   i d ea t o  t h e u s er  ab o u t  t h e acc u r acy  o f  t h m o d el  o n  t h at   d a ta s e t.       4.   R ES U LT S   A ND AN AL Y S I S   T h e m a i n  o b j ect i v e o f  t h e d i s cu s s ed  t o o l  i s  t o  an al y ze t h e l o g  f i l e s  an d  d et ect  a n d  p r ed i ct  o u t l i er s  i n   a v er y  s i m p l w a y .  T h e v i s u al i zat i o n  o f  o u t l i er  d et ect i o n  an d  p r e d i ct i o n  ar e s h o w n   u s i n g  g o o g l e ch ar t s   A P I .   T h e  to o l s u ppor t s   w e b e n a bl e d s i ng l e  pa g e  a ppl i c a t i on .  T h e  a dv a n t a g e  o f   u s i ng  t h e  c u r r e nt  pa r a di gm   i s  t h a t   i t   d o es  n o t  al l o w  t h w eb  p ag es  t o  b e r en d er e d  f r o m  s er v er  s i d e.   T h e R E S T  A P I s  ar e d ev el o p ed  f o r  t h e   pr ot ot y pe   w h i c h  s e n ds  r e s pons e  a s  J S O N  obj e c t .   T h e  v i e w  l a y er  i s  d eco u p l ed  f r o m   m o d el  l a y er .  T h e v i e w   l a y er  o n l y  co n s u m es  t h e r es p o n s e i n  J S O N  f r o m   m o d el  l a y er .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   25 02 - 4752   I nd o ne s i a n J  E l e c  E ng  &  C o m p   Sc i ,   Vo l 10 , N o .   1 Ap r i l   2 01 8   :   34 3     3 47   346   T h e m o d el  i s  t r ai n ed  o n  t h e e x t r act ed  t i m e s er i es  d at as et .  T h e x - a x i s  o f  t he   gr a p h s ho w i F i gur e   i nd i c a t e s  t he  i nc r e a s i ng  t i m e s t a m p  r a nge  a nd  t he   y - a x i s  i n d i cat es  t h n u m b er  o f  r eq u es t   h i t s  at   t h at   t i m e s t a m p .  T he  b l ue  r e gi o n s h o w s  t he  t r a i ni ng p a r t  o f  t he  d a t a  a nd  t he  gr e e n p a r t  o f  t he  gr a p h i s  us e d  t o  f i nd   t h e acc u r ac y  o f  t h g i v e n   m o d el  b y  t r eat i n g  i t  as  t e s t  d at a.  T h e p r o p o s ed  m o d el  u s es   R M S p r o p  o p t im iz e r  a s  it   p r o v i d es  b et t er  r es u l t s  b y  k e ep i n g  b al a n ce b et w ee n  t h s p eed  an d  accu r ac y  o f   m o d el  t r ai n i n g .  R M S p r o p   d i v i d es  t h e l ear n i n g  r at e b y  a n  ex p o n en t i a l l y  d eca y i n g  a v er ag e o f  s q u ar ed  g r ad i en t s .           F i g ur e   1.  S a m pl e   G r a p fo r   P r ed i ct ed   O u tlie r s  P lo tte i G r een  C o l o r       A f t e r  t h e   m ode l  i s  t r a i n e d,  i t   i s  s a v e d a n d c a n  be   f u r t h e r   us e d f or  pr e di c t i on .   A  s a m pl e   g r a ph   f or   pr e di c t e d v a l u e s  i s  pl ot t e d i n  r e d c ol or  a s  s h o w n i n   F i g ur e   2 .  T he  x - ax i s  o f  t h g r ap h  i n d i c at es  t h e i n cr eas i n g   t i m e s t a m p  r a n ge  a nd  t he   y - a x i s  i n d i cat es  t h n u m b er  o f  r eq u es t  h i t s  at  t h a t  t i m e s t a m p .  T h e u s er  can  i n p u t  t h n u m b er  o f  H T T P  r eq u es t s  t o  b e f o r ecas t ed  an d  a g r ap h  i s  d i s p l ay ed  i n   w h i c h  t h g r een  d o t s  g i v es  t h e o r i g i n al   r eq u es t   h i t s   v al u an d   t h r ed   d o t s   p r o v i d es   t h p r ed i ct ed   r eq u e s h it s .   B y   u s i n g   th is   m o d e th e   r o o t  m e a n   s q u ar e er r o r  w a s  r ed u ced  t o  s i g n i f i ca n t  l e v el .           Fi g ur e   2.  S a m pl e   G r a p wi t h   P r e d ic te d  V a lu e s  P lo tte d   i R e d C ol or       5.   CO NCL U S I O N   T hi s   p ap er   s u m m ar i zes   t he   de s i gn  a n d de v e l op m e nt  of   f r a m e w or k   f or  de t e c t i ng  a n p r e d ic tin g   an o m al i e s  i n  l o g  r eco r d s  i n  ap ach e f o r m at .  T h e cu r r en t  t o o l   p r o v i d es  a s i m p l e u s er  i n t er f ace.  T h e t o o l   s u c c e s s f u ll y  p lo ts   t h e o u t l i er s   d et ect ed  u s i n g   t hr e e  m e t ho d s  na m e l y   in te r q u a r tile  r a n g e s ,   m o v i n g   av er a g es  o r   m e di a n a bs ol ut e  de vi a t i on a l on w i t h  t he   ad j u s t m en t  o f  t h t u n i n g  p ar a m et er s .   T he   t o o l  a l s o  gi ve s  t he   us e r  t o   t r a i n  t h e   m ode l  f or  a  pa r t i c u l a r  n um be r  of  e poc hs .  A f t e r  t r a i n i ng  t h e   m ode l  i s  pe r s i s t e d t o di s k   w hi c h  r e du c e s   t h e t r ai n i n g  o f   m o d el  r ep eat ed l y .  T h i s   s i g n i f i ca n t l y  r ed u ce s  t h C P U   u tiliz a tio n  t i m e .  T h e  p r e d ic te d  v a l u e s   a r e  v i s u a l i z e d us i n g   g oog l e  c h a r t s   A P I  f or  a  g i v e n  t i m e  pe r i od pr ov i de d by   u s e r  t h r ou gh  w e b i n t e r f a c e .  T h e   m a j o r  lim ita tio n  o f  th i s  f r a m e w o r k  i s  th a t it s u p p o r ts  lo g  f ile s  in  s ta n d a r d  a p a c h e  f o r m a t.       ACK NO W L E D G E M E NT S   T h i s  pr o pos e w e b e n a bl e f r a m e w or k   f o r  an a m o l y   d et ect i o n   i s  ba s e d on   t h e   w or k  s u p por t e d   by   C i s c o I n di a .  W e  t h a n k   C i s c o S y s t e m s   f or  pr ov i di n g  a n  oppor t u ni t y  a n d s u ppor t  t o de v e l op t h i s  t ool .           Evaluation Warning : The document was created with Spire.PDF for Python.
I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i     I SSN :   2502 - 4752       A nom al y  D e t e c t i on i n L o g R e c or ds   ( R aghav  R as t ogi )   347   R EF ER EN C ES   [ 1]   B as av ar aj ,  G .  M .  " C r ow A nom a l y  D e t e c t i on U s i ng  M o t i o n  B as ed  S p at i o - T e m p o r al  F eat u r e A n al y s i s . "  I n d o n es i an   J our na l   of  E l e c t r i c a l  E ng i ne e r i ng   a nd C om put e r  S c i e nc e ,  vo l   7 (3 ) ,  pp.   7 37 - 7 4 7,  20 17 .   [ 2]   R ag h av   R a s t og i ,   A ka s h S ,  S h ob h a  G ,  P oo na m   G hul i ,   P r a t i ba  D ,  A nk i t  S i ng h ,  " D es i g n  an d  d ev el o p m en t  o f  g en er i c   we b  b a s e d f r a m e w or k   f or  l og  a n a l y s i s " ,  i n t he  pr oc e e di ng s  of  I E E E   R eg i o n  1 0  C o n f er en ce ( T E N C O N ) ,   2 01 p p 232 - 2 36.     [ 3]   L e i ,  L . ,  N e t w or k  i nt r us i on  de t e c t i on s y s t e m  ba s e d on o pt i m i z e d F uz z y  r ul e s  a l g or i t hm .   I ndone s i an  J our n al  of   Ele c tr ic a l En g in e e r in g  a n d  C o m p u te r  S ci en ce ,   vo l   12( 4) ,   p p.   28 16 - 282 5 ,  20 14 .   [ 4]   L i u,  L . ,  W a n,   P . ,  W a ng ,  Y . ,  &  L i u,  S . ,  " C l us t e r i ng  a nd  hy br i d g e ne t i c  a l g or i t hm  ba s e d i nt r us i o de t e c t i on s t r a t e g y " .   I nd one s i a n J o ur na l  o f  E l e c t r i c al   E ngi ne e r i ng  an d C om p ut e r  Sc i e n c e ,   vo l   12( 1) ,   p p.   76 2 - 77 0,  20 14 .   [ 5]   Co m b in in g  F ilte r in g  a n d  S ta tis tic a l M e th o d s  f o r  A n o m a l y   D e te c tio n .  A u g u s tin  S o u le  L I P 6 - UP M C  Ka v e   S al am at i an  ´   L I P 6 - U P M C  N i n a T af t  I n t el  R es ear ch .   [ 6]   S he n,  J u ny ua n,  a nd J i d ong  W a ng .  " N e t w or k i nt r us i o n de t e c t i o n by  a r t i f i c i a l  i m m une   s y s t e m . "   IE CO N 2 0 1 1 - 37 t A nn ua l  C o n f er en ce o n  I E E E  I n d u s t r i a l  E l ect r o n i cs  S o ci et y I E E E ,  2 0 1 1 , p p 4 7 1 6 - 47 20 .   [ 7]   A ppD y na m i c s   W hi t e  P a pe r ,  " A   M ode r n A ppr oa c h t M on i t or i ng   P e r f or m a nc e  i n P r od uc t i o n" ,  2 01 4.   [ 8]   h ttp s : / / w w w . l o g g l y . co m / d o cs / an o m al y - d et ect i o n /   [ 9]   Jo se p h se n ,  D a v i d.  B ui l di ng  a  m oni t or i n g  in f r a s tr u c tu r e  w ith  N a g io s .   P r e n tic e  H a ll  P T R ,  2 0 0 7 .   [ 1 0]   h ttp : //in f o . p r e le r t. c o m /   [ 1 1]   h ttp s :/ /k e r a s . io /   Evaluation Warning : The document was created with Spire.PDF for Python.