Indonesi an  Journa l  of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   24 ,  No.   2 ,  N ov em ber   20 21 ,  pp.  1063 ~ 1073   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v 2 4 .i 2 . pp 106 3 - 107 3          1063       Journ al h om e page :  http: // ij eecs.i aesc or e.c om   Anomal y event d etection  and lo calization  of vide o clips usi ng  global  an d local  outlie rs       Sa w sen  Abdul ha di  M ah m oo d 1 ,  Az al  M on s hed  Ab id 2 ,  Sadeq H .   L afta 3   1 , 2 Depa rtment   of   Com pute r  Sci en ce ,   Mus ta nsir i y a h  Univer sit y ,   Ba ghdad,   I raq   3 Depa rtment of  Applie d  Sc ie c e,  Univer sit y   of   T e chnol og y ,   Bagh dad,   I raq       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   A pr   30 ,  2021   Re vised  Sep   7 ,  2021   Accepte d  Se p   16 ,  2021       The   aut om atic  d et e ct ion  of  ano m aly   ev ent s  in  vide o  seque nc e  has  bec om e  a   cri tica l  issue  and  essenti al   deman d  for  the   ext ensi ve  depl o y m en t  of  computer   vision  s y stems   such  as  vide o  sur vei llanc e  applic a ti ons.  An  anoma l y   eve n t  in  vide o  ca n  be  denot ed  as  out li e r  beh avi or  withi n  vide o  fr ames  which  form ula te d  b y   a   devi at ion  from   the   stabl e  sc ene .   In  thi s  pape r,   a n  anomal y   eve nt  de tecti on   and  loc a li z atio n  m et hod  in  vide o  seque nc e  i s  pre sente d   inc ludi ng  m ult i l eve l  stra te g y   a s  te m pora l  fra m es  diffe ren ce s   esti m at ion,  m odel li ng  of  n orm al   and  abno rm al   beha v ior  u sing  reg ression  m odel   and   fina lly   d ensity – base d  cl uster ing   to  det ect  the   o utl ie rs  (ab norm a l  eve nt)  at  cl ips  le ve l.  Henc e,   ou tl i er  scor e  i s  obta in ed  at   the  segm ent   or   clip  le ve l  a long   vide o  fra m es  seq uenc es.   The   pr o posed  m et hod  sepli ts  vide o  fr ame s  int o  non - over la pp ed  c li ps  using  globa l  o utl ie r   detec t ion  proc ess.  After w ard ,   a t  e ach   cl ip ,   th e  lo ca l   outl ie rs  are   d eterm ine d  base d   on  density   of  ea ch   clip.   Ext ensiv e  exp erim ent s  were   cond uct ed   upon  two  publi c  vide o   datase ts  whic h   inc lud e  dense   a nd  sca tt er ed  outliers  al ong  vid eo   seque nce.  The   expe riments   were   per fo rm ed  on  two  comm on  publi c   da ta sets  (Avenue )  and   Univer sit y   o f   Cal ifornia,   San  Diego  (UCS D) .   The   exp er iment al   result s  exh ibited  that  the  proposed  m et ho d  detec ts  we ll  outl i er  fr ames  at  clip  l eve l   with  lower   computat ion al   c om ple xity   compari ng  to  th e  st ate - of - the - ar t  m et h ods.   Ke yw or d s :   Anom al y event   Den s e cluste ring   Local  ou tl ie rs   Ou tl ie rs   Tem po ral  dif fe ren ces   This   is an  open   acc ess arti cl e   un der  the  CC  B Y - SA   l ic ense .     Corres pond in g  Aut h or :   Sawse n Abd ul had i M a hm oo d   Dep a rtm ent o f C om pu te r  Scie nce   Mustansiriy ah   Un i ver sit y   Ba ghda d,   Ir a q   Em a il :  sawsenhad i @uom us ta ns iriy ah. e du.iq       1.   INTROD U CTION   Ou tl ie rs,   al s o  known  as  an om al ie s,  abn orm al i ti es  or   rare   even ts,  are  da ta   sa m ples  or   obj ect s  in  ra w   data  that  do   no t  a dap t  to  a  con ce pt  of  norm al   beh aviour  [ 1].  O wing  to  the  gr owing  re quirem e nt  a nd   app li cat io ns   in   wide  dom ai ns ,  su c h  as  vi deo  su r veill ance,   s ecur it y,  he al th care  an d  m edical   risk  [2 ]   as  w el l  as   intru si on  de te ct ion   [3 ] ,   an oma ly   and  outl ie r   detect io n  ta s k  play s  si gn ific ant  r ole  in   vari ant  fiel ds  incl ud i ng  com pu te r  vision,  sta ti sti cal   analy sis  an d  m achine  le ar ni ng .   O utli er  de te ct ion   is  a  t ask  of   d et erm ining  a    su b - r egi on   in  a  giv en  data  sa m ples  wh ic h  are  co ns ide red  as  abnor m al   su bse t  and   ha ve  unusual   be hav i ou r   from   oth er  sa m ples.  It  is  on e  of  the   esse ntial   data  m ining   obj ect ives   a nd  ba sic   fiel d  in  m any  app li cat ion s,  su c h  as  vid e o s urveil la nce sys te m s w hich  are  u se d  t o  rec ogn iz e the pote ntial  thr eat s  [2 ] - [ 4 ].   Ou tl ie rs  or  a nom aly  even ts  can  dev ia te   or  distor t  t he  sta ti sti cal   m easur em ents  an d  data  distrib uti on   du e   to   it s  rar el y  app ea ra nce  i n  the   real  li fe   e ven ts ,  al lo wing   a  c onfu s ed   re presentat io n  of  t he  im plici t  dat a  an d  relat ion s hip s   [ 5].  P racti cal ly ,  the  var ia nt  distribu ti on   of  norm al   and   a no m al y  even ts  w it hin   vid e o  f ra m es  is  un a nnou nced   with  ra re  pres entat ion   of   outl ie rs .  In   s urve il la nce  vid eo s,   the  pr e dom in ant  eve nts  occ urri ng   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   2 4 , N o.   2 ,  N ove m ber   20 21 :  106 3   -   107 3   1064   fr e qu e ntly   are  denote d  as  no r m al   beh avi our,  wh il e  a bnor m al   even ts  a re  r efer red   t o  the  even ts  occ urre d  with   low  pro ba bili ty   [6 ] .  The  aim  of   outl ie r  detect ion   an d  loc al iz at ion   is  to  determ ine  the  sp at ia l  and   te m po ral    su b - r egi on s  i nvol ved   t he  an om al ou s  eve nts  with  aut om a ti c  m ann er  [ 7] .   O utli er  detec ti on   m et ho ds   can  be   cl assifi ed  in   te rm s  of   the  dat a  ty pe  re quire d  to   trai n  the  m od el   su ch   as ;  po i nt,  c on te xt ual  an d  c ollec ti ve  ano m al ie s.  Po int  ou tl ie r  is  re ferred  to  a  sin gu la r  data  inst ance  de viate d  from   the  whol e  data  sa m ples.  A   con te xtu al   outl ie r  represe nts  an  in div id ual  da ta   sa m ple  devi at ed  within  a  con te xt  w hich  requires  a  no ti on   of  con te xt  as  we ll   as  con diti on al   ano m al ie s.  Coll ect ive  anom al ie s  are  den ote d  by  a  se t  of   co rr el at e d  data   instances  a nd   needs  a  relat ion s hi p  am on g  da ta   instance s  represe nted  by  seq uen ti al   and   s patia l  da ta .  The  singular  patte r ns   within  a  c ol le ct ive  ano m a ly   are  co ns ide red   not  an om a lou s  by  them sel ves.   Ba se d  on  the   ano m al y  def init ion   pro vid e d  in  [8 ] ,  “Vi de o  an om al ie s   c an  be  th ought   of   as  the  oc currence  of   unusual   app ea ra nce o r  m ot ion  p at te rns  or  the   occ urr ence o f  usual   a pp ea ra nce o r  m ot ion   at trib ut es  in u nus ual  l ocati ons   or   ti m es”  we  form ulate   the  pro blem   of   an om aly  even t  de te ct ion   as  re gr essi on  m od el   fitt ing   as  we ll   as   cl us te rin g base d - l ocal outl ie r dete ct ion t ask.    In   t his  sect io n,  a  discuss i on  of   rece nt  resea rch es   rele van t  ou tl ie r  a nd  a nom aly  even t  de te ct ion   in   vid e o  seq ue nc e  will   be  pr ese nted.   Re ce ntly ,  vid eo  a no m al y  detect ion s  ba sed  on  dee p  le arn i ng   m et ho ds   are   introd uced   incl ud i ng   diff e re nt  scenarios  s uc h  as;   sal ie ncy  vid e o  detect io n  m e tho d  base d  on  sp at ia l - te m po ral   featur e s  a nd  3D  co nvol utio n  netw ork  [9 ] ,  te m po ral  se gm ent  networ k  [ 10] ,  a uto e nc od e r  netw ork - base d  m ot ion   patte r n  le arn in g  [ 11 ] ,   end  to   en d  an om al y  detect ion   of  vid e o  base d  on  pre - trai ned  dee p  netw orks   [ 12 ] ,   deep   a nom aly  detect ion   with  dev ia ti on  net w orks  [ 13] .  H oweve r,   dee p  le arn i ng   m et ho ds  are  re quired  a  huge   dataset   sa m ple   to  ob ta in  an  a ccur at e  pe rform ance  m easur e   fo r  detect in g  ano m al y  even ts  within  vid e o  fr am es.   Othe r  resea rchers  f or m ulate d   the  pro blem   of   vi deo   a nom a ly   detect ion   as   a  regressio n  m od el   to  prov i de  an   ano m al y  scor e  by  fr am e  or  cl ip  le vel  [14 ] ,   [ 15 ] .  Sim ultaneousl y,  ot her   researc he r s  hav e  i nteres te d  by  trajecto ry - base d   vid e o  a no m al y detec ti on  m et hods   [16 ] ,  [ 17 ].   T r a j e c t o r y   b a s e d   m e t h o d s   i n c l u d e   l e a r n i n g   t h e   n o r m a l   t r a j e c t o r i e s   o f   p e d e s t r i a n   w i t h   a s s i s t a n c e   o f   t r a c k i n g   a l g o r i t hm s   t o   d e c i d e   w h e t h e r   t h e   v i d e o   n o r m a l   o r   a n o m a l y .   T h e   m a i n   o b s t a c l e   o f   t r a j e c t o r y - b a s e d   m e t h o d s  i s   t h e   i n f l u e n c e  o f  o c c l u s i o n  e s p e c i a l l y   i n  c r o w d e d  s c e n e s   a s   w e l l   a s  t h e  l i k e l i h o o d  o f  e x i s t i n g  d i f f e r e n t   t r a j e c t o r i e s   f o r   s i n g l e   s c e n e   [ 1 8 ] .   L o c a l   a nd   g l o b a l   a n o m a l y   d e t e c t i o n  m e t h o d   u s i n g   h i e r a r c h i c a l   f e a t u r e   r e p r e s e n t a t i o n   a n d   G a u s s i a n   p r o c e s s   r e g r e s s i o n   w a s   i nt r o d u c e d   i n   [ 1 9 ] ,   w h e r e   g l o b a l   a n o m a l i e s   r e f e r   t o   t h e  a n om a l i e s   a m on g   s e q u e n c e   f r a m e s   a n d   l o c a l   a n o m a l i e s   d e n o t e   t h e   a n om a l o u s   r e g i o n s   w i t h i n   a   f r a m e .   L o c a l   a n om a l i e s   a r e   c om m o nl y   d e t e c t e d   i n   v i d e o s   b a s e d   o n   l o c a l   s p a t i o -   t e m p o r a l   f e a t u r e s ,   w h e r e   m o t i o n   i s   o c c u r r i n g   a n d   g e n e r a t i n g   d u e   t o   m u l t i p l e   o b j e c t s   m o vi n g   w i t h i n   s i n g l e   s c e n e   [ 2 0 ] .   V i d e o   a n o m a l y   de t e c t i o n   m e t h o d s   a r e   i n t e r e s t e d   i n   d e t e r m i ni n g   w h e t h e r   t h e   c u r r e n t   f r a m e   o f   a   g i v e n   v i d e o   d e m o n s t r a t e s   a n   a n om a l y   o r   n o t   [ 2 0 ] ,  [ 2 1 ] .   Anothe r  ty pe  of   a nom alies  nam ed  con te xtu al   an om al y  wh ic h  c orresponds  t o  the  s a m ples  hav in g  sign ific a nt  va r ia ti on   causi ng  ano m al ie s  relat ed  to  certa in  co ntext  [ 20] .  Co ntextual   ano m al ie s  c an  be   cat egorized  ba sed  on  sp at ia l  and   te m po ral   f eat ur es  of  vi de o  fr am es  [22 ] ,  [ 23] .  O utli ers  detect ion   m e thod s   base d  on  cl us t erin g  al go rith m s  are  insp ire d  by  m any  ear ly   researc her s   to  ef fici ently   de te ct   ou tl ie rs  ba sed  on  the  entire  data set   [24].  The  pro posed  w ork  in  [ 25 ]   ha ndle d  the  ano m al y  detect ion   pro ble m   as  low  li kelihoo d  patte rn   detect ion   due  to  li m i t ed  avail a bili ty   of   a de qu at e  in s ta nces  of  a no m al y  even ts  with   assist ance  of  ne ur al   netw ork  f or  norm al   even ts  le arn i ng.  L u  et   al.   [ 26] ,  sug ge ste d  a  dicti on ary - ba sed   a ppr oach   t o  le ar n  norm al   beh a viors  an d  detect   ano m al y  even ts  us ing   r eco ns tr uct ed   erro r.   H oweve r,   this  m et hod  is  no t  rob us t  adequate ly   to  disti nguish  bet ween  norm al   and  ab norm al  eve nts  bas ed   on  the  rec onstructio n  e rror.  Th e   pro po se d  work  in  [27]  prese nt ed  a  le arn i ng   m od el   of   norm al   scenes  us i ng   two - stream   recu r ren t  a uto e nc od e r  in  a  sem i  su pervised  le a rn i ng   m ann er  a nd  tra j ect ory - ba sed  s patio - te m po ral   feature s.  Anot her   w ork  [ 28]   base d  on   a ut oen c ode r  net wor k  an d  sp at ia l  featu res   for  le ar ning  norm al   even ts.  The  m ai n  lim itati on   of   t his  m et hod  represe nted  by  it s  dep e nd e nc y  on   s uccee ding  the  tra j ect or y - base d  featu res   extracti on  ph a se  w hich  is  a ffec t ed   in cro wd e d  sce nes .   The  m ai n  obj e ct ive  of   t his  re search   is  t o  de sign   a nd  im ple m ent  a  com pu te r  visio n  syst e m   to  address  the  pr ob le m   of   a no m al y  even t  detect io n  i n  vid e o.   The   Anom al y  even ts  (outie rs )  ar e  detect ed   in  vide o  seq uen ce  b ase d on cl ip le vel.   W e  ca n sum m arize   the e ssent ia l con tri bu ti on s of the  pr opose d  m et ho d by ;     Determ in ing   a uto m at ic ally  th e  global  an d  lo cal   ou tl ie rs  in  vid e o  ba sed  on   tem po ral  re dund a ncy  of  f ra m es  and d e ns e  cli ps cl us te rin g.     Fu rt her,  trai ni ng   a  re gr essi on  m od el   can  e stim at e  the  g lo bal  an om al y  scor e  for  the  e nt ire  vid e o  f ra m es,   hen ce  d et ect s t he  a no m al ou s  po te ntial  f ram es w it hi n  eac h  c li p   in term  o f  local o utli er  detect ion .     In  a  c on ti nu ou s  m ann er,   the  t raine d  regressi on  m od el   is  updated   with   no r m al   segm ents  wh ic h  detect ed   in  the te sti ng m od e in  or der  t o  t ake a dv a nta ge of  nor m al  b eha viour  v a riat ion .   T h e   r e s t   o f   t h i s   p a p e r   i s   o r g a n i z e d   a s   f o l l ow s :   s e c t i o n s   2   a n d   3   p r e s e n t   t h e   d e t a i l   d e s c r i p t i o n   o f   a n om a l y   e v e n t   d e t e c t i o n   a n d   l o c a l i z a t i o n   m e t h o d   o f   v i d e o   c l i p s   u s i n g   gl o b a l   a n d   l o c a l   o u t l i e r s .   T h e   r e s ul t s   a n d   d i s c u s s i o n   a r e   i l l u s t r a t e d   i n   s e c t i o n   4 .   S e c t i o n   5   c o n c l u d e s   t h i s   p a p e r .     Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       An omaly eve nt d et ect io n and l oca li za ti on  of  vi deo  cli ps   us i ng  … ( Sawsen   Ab du l hadi M ahm ood )   1065   2.   THE  PROPO SED  METHO D   In   t his  sect io n,   we  will   dem on strat e  th e  pro posed   m et hod   of  an om al y  even t  de te ct ion   a nd   local iz at ion   al ong  vid e o  f ra m es  based   on  glob al   an d  loc al   ou tl ie r  pre di ct ion   as  s how n  in  Fi g ure   1.  In   t his  pap e r,   a  m ult ilevel  fr am ewo r k  is  adopted  to  determ ine  the  ano m al y  behavio ur   ( outl ie rs)   in  a  giv en  vid e o  sam ple.  First  le vel  is  re pr e se nted  by  est im a ti on   the   te m po ral  dif fer e nces   betwee n  se que nced  f ram es  based   on   visu al   featu res suc h  as m otion a nd  histo gr am  sim il arit y featu res .     Seco nd  le vel  m i m ic s  the  det ect ion   of  gl ob a l  ou tl ie rs  us i ng  tem po ral  dif fe ren ce   sco re  a nd  po ly nom ia l   fitt ing   m od el .  To  this  e nd,  a n  ass um ption   of   t he  re gr e ssion   m od el   is  presente d  a nd   t raine d  to  s peci fy  the   po ly nom ia l  fi tt ing   wit h  the  tem po ral  di ff e r ence  ra w  data   of   the  e ntire  vid e o  seq ue nc e.  Con se que ntly ,  the  sam ples  that  dev ia te   f ro m   the  re gr essi on  m od el   are  c and i date  to  be   global  outl ie rs.   Accor dingly ,  the   su ggest e d  global  outl ie r  det ect ion   m od el   is  trai ne d  us in g  on ly   no rm al  vid e os   with  norm al   beh avi ours  t o  pr e dict  the  optim al   po ly no m i al   coef fici ents .   W e  assum e  t hat  an  insta nt  segm ent  has  a  norm al   /a bn orm al  beh a viou r  bas ed  on  the  pr e dicti on   sc or e  of   the  ad opte d  regressi on   m od el   instea d  of   us i ng   pr e def i ned  thres ho l d.   I n  th is  le vel,  t he  vid e o  f ram es  are  se gm ented  into  set   of  pr i m itive  cl ips  or  shots  isolat ed   by  th e   corres pondin g  ind e xes  of  temporal   fr am es  diff e ren ces .  The  global  ou tl ie rs  are  ex plo it ed  to  segm ent  the  vid e o  fr am es into  cl ips .     F i n a l l y ,   t h e   l o c a l   o u t l i e r s ’   d e t e c t i o n   l e v e l   i s   i m p l e m e n t e d   w h e r e   t h e   c o n t e x t u a l   o u t l i e r s   w i t h i n   e a c h   v i d e o   c l i p   w a s   t a k e n   i n   o u r   c o n s i d e r a t i o n .   P r a c t i c a l l y ,   t h e   f r a m e w o r k   o f   a n   e f f i c i e n t   a n o m a l y   e v e n t   d e t e c t o r   s h o u l d   b e   e l i g i b l e   t o   u p d a t e   i t s   d e t e r m i n a t i o n   o f   n o r m a l   e v e n t s   i n   a   c o n t i n u o u s   m a n n e r .   T h u s ,   t h e   r e c e n t   a p p r o a c h   i s   a b l e   t o   u p d a t e   t h e   r e g r e s s i o n   m o d e l   t h r o u g h   f e e d i n g   t h e   d e t e c t e d   n o r m a l   s e g m e n t s   t o   t h e   t r a i n i n g   s a m p l e s   f r o m   a n y   a c q u i r e d   v i d e o .   F i g u r e   1   i l l u s t r a t e s   t h e   w o r k f l o w   o f   t h e   p r o p o s e d   a n o m a l y   e v e n t   d e t e c t i o n   m e t h o d .           Figure  1.  Wo r kfl ow  of  t he pr opose d an om al y  eve nt d et ect io n  m et ho d       2.1 .      Te mp or al  f r ames   d if f erence s  e s timat i on   As  a p re - proce ssing   of  v i deo   analy sis, w e segm ent the v ideo  into ind i vidu al  f ram es  an d  conve rt each   fr am e to Y Cb Cr for m at  in  order  t o  e xtract  t he  lum inance l ay er.  I n  t his p a per, an ef fici en t underst an ding  of  t he   vid e o  cl ip  be ha viours  has  be en  pro vide d  by  form ulati ng   the  tem po ral  rele van ce  am ong  s equ e nce d  f ram es.  I n  order  to   detect   an d  e xtract  t he   f or e gro und  obj ect s   (m ov in g  obje ct s)  over   the  vid e o  se qu ence,   the  te m po ral  diff e re ncin g  be tween eac h  tw o  co ns ec utive  f ram es is est i mate d.  T he  te m po ral  fr am es d if fer e nces a re ob ta ined   base d  on  t wo  m ai n  integrate d  par am et ers;  m ot ion   est im ation   a nd  c olour   histo gr am   dif fer e nce.  The   m ot ion   par am et er  bet ween  f r am es  F i ,  F i - 1   is  ob ta ined  t hro ugh  bin a rizat ion   t he   subtract e d  i m age  ( F i   -   F i - 1 )  with   a  Th res hold   val ue   that  is  s pecifi ed  acc ordin g  to  th e  inte ns it y  range  of  the   s ubtract ed   im age  ( F i   -   F i - 1 )  a nd  Otsu ' s  m et ho d [ 2 9 ]  as  il lustrate d  i n  ( 1) :     =   | −   − 1 |     >     ℎ  ℎ    (1)     Me anwhil e,  th e  foregr ound  obj ect s  are  e xt racted  an d  la belle d  usi ng  ( 8 – c onnecte d)   neig hbouri ng  pix el s  of  M O i   i m age  w hich  re pr ese nts  the   f oreg rou nd  ob j ec ts  in  the  c urre nt   fr am e  F i ,  whe re  i= 2,3,….N ,  an d  N   is  the  total  n um ber   of  f ram es  in  the   acq uire d  vid e o  sam ple.  A fter ward,   th e  area p r operty   AR i   is  e xtracte d  f r om  MO i   data  po i nt s  to  highli ght  the  interest e d  reg i on s ,  m ini m iz ing   the  co m pu ta ti on   tim e  as  well   as  to   m ake  a  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   2 4 , N o.   2 ,  N ove m ber   20 21 :  106 3   -   107 3   1066   decisi on  a bout   occ urrin g  m otion   betwe e n  th e  seq ue nce  fr a m es.  W e  a ssum ed  that  the   hi gh e r  values   of  AR i   m easur ed  in pi xels (w hite pix el s)  re ferred  to m ot ion  ca pturing bet ween t he  seque nce fram es.   The  sec ond  pa ram et er  us ed   in  our  f ram ewor k  f or  te m po ral  fr am es  dif fer e nces  e stim ation   i s   represe nted   by   the  sim i la rity   ben c hm ark   com m on ly   use d  i n  m achine  le ar ning  a nd  data   analy sis.  T he  Hau s dor ff  dist ance  ( HD )   dis ta nce   m easur e m ent  [ 30 ]   is  a   li gh twei gh t   ye t  eff ect ive   sim il arity  m eas ur e   f or   qu a ntifyi ng  th e  pro xim it y  of   two  grap hs .  The  Hausd orff  ( HD )   dista n c e  m easur e  qu a ntifie s  the  dif f eren c e   betwee n  two  s equ e nce d  fr am es  based   on  bl ock - based   c olour  hist ogram   d iffer e nces.  T he   tem po ral  diff e ren ce   betwee n  eac h  s equ e nce  fr am es  F i , F i - 1       us in g  Ha us do rff ( HD )   distance  m e asur e  is c om pu te d  acco r ding t o (2) :      =   ∑  ( , − 1 )       (2)     wh e re  Diff i   para m et er  denotes   the  weig hte d  s um   of   blo c ks   di ff ere nces  bet ween   seq ue nce   fr am es  F i   and   F i - 1   and  k   is   t he  c orrespo nd i ng  bl oc k  in de x  in   the  two f ram es   F i ,  F i - 1 .     A  li near   i nteg rati on   of  the  t wo   pa ram et ers   ( AR i   a nd   Diff i )  is  sp eci fie d  to  f or m ulate   t he  sc or e  of   tem po ral  diff e r ences  betwee n ea ch  tw o seq ue nced f ram es  as g ive n  i n  ( 3):      =  + ( 1 − )      (3)     wh e re  α   is  a  scal ar  sta nd   at   0.6  an d  it   is  dete rm ined  throu gh  the  e xp e rim e nts.  O bvio us ly ,   area  featu re  AR   is  aug m ented  by  scal ar  α   due  t o  it s  eff ect ive ne ss  of  ref le ct in g  the  dissim il ari ty   between  tw o  se quence   f ra m es.   The  te m po ral  diff e re nces  est i m ation   strat e gy   and   it s  visu a li zat ion   res ult  of   sam ple  vid e o  are   il lustrate d  in   Figure  2  a nd Fi gure   3  res pecti vely .           Figure  2 .  Bl oc k diag ram  o f  te m po ral fr am e d iffe re nces esti m at ion  strateg y         (a)       (b)     Figure  3 .  V is ua li zat ion  r es ult o f  te m po ral f r a m e d iffe ren ce s estim at ion  b a sed o n;  ( a )  area  (blue li ne )  a nd  HD  distance m easu re (re d  li ne) ;   ( b )  Tem pD iff  sc or e   of  vid e o   sa m ple   (0 4) from  AVEN U data s et   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       An omaly eve nt d et ect io n and l oca li za ti on  of  vi deo  cli ps   us i ng  … ( Sawsen   Ab du l hadi M ahm ood )   1067   3.   MO DELL IN G NOR M AL  BE HAV I OUR  AND A NOMAL Y  S COR E   3.1 .      Gl obal o ut li er detec tio n model   Ba sed on  t he  a ssu m ption ; a d at a sa m ple is con si der e d  as  g l ob al   outl ie r  if it  d eviat es s uffici ently  f ro m   the  w hole   data   set ,  the  first  le vel  of  detect in g  ou tl ie rs  is  re al iz ed  base d  on  e xtracti ng  th e  global  ou tl ie r  usi ng   the  re gr essi on   m od el .  Re gr ession  a naly sis  is  a  fun dam ental   an d  com m on   con ce pt  adopted   in  m achine   le arn in g  m od el s.  S pecifica ll y,  it   fall s  under  su pe r vised   le ar ning  i n  wh ic h  the  trai ni ng  m od el   is  trai ne d  us in g  input  pr op e rtie s  an d  ou t pu t  l abels.  It  assist s  in  in vestigat ing   a n d  est a blishin g  the  rele van ce   of  t he  m od el   var ia bles th rou gh guessi ng ho w on e  v a riable  influ e nces t he othe r.   In   the  case  of  occurri ng   a bru pt  il lu m inati on   change  or   s udden   obj ect   m ot ion   al ong  vi de o  seq uen ce ,   we  need  to   la be l  the  c orrespo nd i ng  vi de o  f r a m es  with  a ppropr ia te   outl ie r  sco re.  I n  this   con te xt,  a   no n - li near  regressio n  m od el   is  em plo ye d  to  ac hieve  a  po ly no m ia l  fitting   process  wi th  the  ra w  data   of   te m po ral  fra m e s   diff e re nces  Te m pD iff.   Co ns e qu e ntly ,  the  no rm al   beh avio ur  an d  the   gl ob al   outl ie rs  of  the   entire  vid e o  fra m es   are  est i m a te d  and   detect ed  r especti vely .  A s  a  con se qu e nc e,  global  ou tl ie rs  are  detect ed  by   le ver a gi ng   f r om  the  resi dual   er rors  wh ic h  s uf fici ently   descri bed   data  de viati on   from   the  fitt ed  po ly no m ia l  cur ve.  H ence ,   pr e dicti ng   th e  set   of   pote ntia l  values  of  po ly no m ial  coef f ic ie nts  will   info rm   us   of   how  ap pro pr ia te ly   our   current  m od el   is  able  to  des cribe  the  ra w  da ta   beh avi our.   The  m ai n  idea   of   ad opti ng   a  regressio n  m od el   for   global  ou tl ie r  detect ion  in  t he   w ho le   vi deo  fr am es  is  ba s ed  on  the   ass um ption   that  t he  te m po ral  fra m es  diff e re nces  ca n  be  represe nted  by  no n - li ne ar  po ly nom ia l  m od el .  The  ou tl ie r s  are  th os e   tem po ral  dif f eren c e   instants  that  ar e  no t  well   re presente d  by  th e  regressio n  m od el .  In   t his  le vel,  the  s udde n  or  ab rupt  ch ang e s   al ong  vi de o  f ra m es  are  detect ed  w hich   co rr e sp on de d  to  the   diff e re nces  sa m ples  that  far   su f fici ently   fro m   the   interva l  [ p+2∆ ,  p - 2∆ ] ,  wh e re   p   re pr ese nts  t he  po ly nom ia l   coe ff ic ie nts   a nd  ∆   ref e rs  t o  the  resi dual   er ror.   I n  this case, t he fr a m es ly ing  out  of this  range a r e label le d  as  g l ob al   outl ie r  f ra m es as sho wn in F i gure   4.    Hen ce f or th ,   th e  pr op os e d  fr a m ewo r k  of  gl ob al   ou tl ie r  de te ct ion   ta sk   is  designed  as  a   reg res sio n  m od el   fitting ,  wh ic h  co ns ide rs  a  certai n  segm ent  of   the  vid eo  has  a bnor m al   beh avio ur  based   on  re gressi on   pr e dicti on  sco r e  instea d  of  a doptin g  a   pre de fine d  th res ho l d  for  detect ing  ano m al y.  Wh e n  the re  a re  a nom al y  changes ,  the  ano m al y  scor e   ascents  si gn i ficantl y.  It  w or t h  noti ng  t ha t  the  detect e d  global  outl ie rs  are   exp l oited  to  autom at ic ally  s egm ent  vid eo  fr am es  into  prim i ti ve  sh ots  or   cl ips,  ye t  to  find   an d  local iz e  the  local   ou tl ie rs  within  eac h  cl ip.  Nei ghbo ur   fr am es  of   the   detect ed  glob al   ou tl ie r  fr am es  are  extracte d  an d  form ulate d  into  disti ng uish i ng  re gions  a nd yet   add e d  to  t he   m e m or y  bu ffer  to  c ollec t  the  ou tl ie r  reg i ons  al ong  vid e o  sam ple.  Fig ure   5  s how s  the  detect ed  global  outl ie rs  con stric te d  by   the  pr im itive  sh ots  bounda ri es  of   vid e o  sam ples 0 4,  06 take n from   AV EN U   da ta set .           Figure  4. Gl obal  o utli er  detec ti on   base d on poly no m ia l fit tin g st rategy  of  vid e o  sam ple (04)  from   AV E NU           (a)   (b)     Figure  5.  Dete ct ion   of cli ps   boun dar ie s  of:  (a ) vide o  sam ple 04, ( b)   vid e o sam ple 0 6  f r om   AV ENU   da ta set ,    X - a xis  represe nts fram es ind e xes;  Y -   a xis  de no te s  the tem po ral  dif fer e nce s scores     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   2 4 , N o.   2 ,  N ove m ber   20 21 :  106 3   -   107 3   1068   3.2.      L oca l  outli ers detec tio n   L o c a l   o u t l i e r s   c a n   b e   d e f i n e d   a s   t h e   p a t t e r n s   t h a t   p r om i n e n t   f r o m   t h e i r   n e i g h b o u r h o o d   i n   a   s p e c i f i c   d a t a   r e g i o n   [ 2 4 ] .   In   t h i s   s e c t i o n ,   w e   w i l l   e x p l a i n   h o w   t o   d e t e c t   t he   l o c a l   o u t l i e r s   i n   t h e   a c q u i r e d  v i d e o   s a m p l e   b a s e d   o n   c l i p s   d e n s i t y .   T h e   v i d e o   f r a m e s   a r e   s e gm e n t e d   a ut om a t i c a l l y   i n t o   n o n - o v e r l a p p e d   K   c l i p s   o r   s h o t s   b a s e d   o n   t h e   g l o b a l   o u t l i e r   d e t e c t i o n   p r o c e s s   i l l u s t r a t e d   i n   t h e   p r e v i o u s   s e c t i o n .   W e   c o p e   w i t h   e a c h   s e gm e nt e d   c l i p   a s   c l u s t e r   w i t h   v a r i a b l e   s i z e   S   a n d   a s s um e d   t h e   a v e r a g e   s c o r e   o f   t e m p o r a l   f r a m e   d i f f e r e n c e   o f   e a c h   c l u s t e r   i s   t he   c e n t r e   Co m   o f   c l u s t e r   C m .   A f t e r w a r d ,   t h e   d e n s i t y   o f   e a c h   c l u s t e r   i s   d e t e r m i n e d   b a s e d   o n   t h e   m e a n   d i s t a nc e   Md   b e n c hm a r k   b e t w e e n   e a c h   s a m p l e   x j   b e l o n g s   t o   m th   c l u s t e r   a nd   i t s   c e n t r o i d   Co m   a c c o r d i n g   t o  ( 4 ) :      ( ) = 1 ∑ ‖ − ‖   (4)     wh e re  m = 1,   . K ,  an d  K   is  t he  nu m ber   of   the  detect ed   cl ips  or  cl us te rs .  Ba se d  on  t he  m ean  dista nce  Md   m entioned   i n  ( 4),  a  lower   value  of  Md   re fers  to  pr ese nt  a  dense  cl us te r  wh il e  a  higher  value  of  Md   i ndic at es  that  the  cl us te r   is  scat te red   or   sp a rse.   Since   the  Md   value   is  inv ersely   relat ed  with  the   cl us te r  densi ty ,  the   densi ty   DS   of t he  cl ust er  C m   i s ide ntifie d  t o be the  in ver se   of  Md   ( C m )  as  il lustrate d  in   (5) :      ( ) = 1  ( )   (5)     Accor ding  to  c luster  de ns it y  def i niti on ,  t he  cl us te r  with  hi gh e r  de ns it y  le ads  to  be  it s  da ta   el e m ent s   are  cl os e r  t o  it s  centr oid.  In  con t rast,  lo w - de ns it y  cl us te rs   te nd  to  ha ve  data  el em ents  on  ave ra ge  f ar   from   cl us te r  ce ntre.   Re gards  to   loc al   ou tl ie r’s  d et ect ion   ta s k,   w e  ha ve  sel ect e d  the   hi gh e r  de ns it y  cl us te rs   w hich  include d   den se   ou tl ie rs  an d  re pr ese nt ed   a  ca nd i date  an om a ly   even t  with  r espect  to  the  w ho le   vi de o  seq uen c e   as  sh ow n  in  Figure   6.  The  c orrespo nd i ng  f ra m es  of   this  ty pe  of   cl us te r s  ar e  la belle d  as  ano m al y  even t  fr am es.  The  sel ect ion   be nch m ark   is  ba sed  m ai nly  on   a  pr e def i ned   th reshold  t o  ta ke   a  decisi on   a bout  lowe r  an d  hi gh e r   densi ty   cl us te r s  ta king  i n  our   co ns ide rati on  it s  m ean  va lue .   Furthe r,   t he  c entr oid   Co   of  lowe r  de ns it y  cl us te r;  i .e  ( DS ≈   0)   is  consi der e d  t o  be  sin gula r  outl ie r  within  cl ust er  or  cl ip  a nd  the  co rr es po nding   fr am e  is  la belle d  as an om al y fr am e as il lustrate d  in  Fig ure   6.             Figure  6 .  Dem on st rati on r es ul ts of   si ngular   and colle ct ive  ano m al ie s f ra m es captur e d f ro m  v ide o  sam ple (0 4)   from   AV E NU       4.   RES ULT S   AND  DI SCUSSION     In   t his  sect io n,  detai le d  descri ption   of  c omm on   even t  det ect ion   dataset s  ad op te d  in   ou r  ex pe rim ents  is  pr ese nte d  as   well   pe rfor m ance  e valuati on   m e tric s  of   a no m al y  detect ion   sco re  are   com pu te d  a nd  sim ulate d  gr a phic al ly .  Two   m ai n  publi c  dataset   are  e m plo ye d  in  ou r  ex per im ents  to  eval uate  the   perform ance  of   t he  pro po se d  a no m al y  detect ion   ta sk  in  vid e o  se qu e nce .  I n  the   trai ni ng  m od e,  vi deo  sam ples  with  norm al   beh a viou r  are  dep l oyed  in  ou r  exp e rim ents  i n  orde r  to  est im at e  the  reg re ssion   m od el   coef fici ents.  T he  t est ing  m od e  is  sta nd i ng  to  validat e  t he  occurri ng  of  outl ie r’ s   sco r es  in  the   acq ui red   vi deo   sam ple.  Fi gure  7  presents   so m e  fr am es  e xam ples  of   no rm al   and   anom al y  beh avio ur  ta ke n  from   UCSD   [ 31 ]   an d  ave nu  [ 26 ]   dataset s   resp ect ively .  Av e nue  datase t  [2 6]  co ns is ts   of   16   trai ning   vid e os   an d  21  te sti ng   vid e o.   Eac h  vi deo  sa m ple  ta kes  a s hort i nt erv al , a rou nd (1 - 2) m inu te s wi th f ram e reso l ution 6 40×3 60  pix el s.     4.1.     UCSD  d atase ts  ( Ped 1 and Ped 2)   The  UC SD   dat aset   [31]  com po ses   of   vid e o  s a m ples  of   pedest rian  wal kw a ys.  The  cr owd   den sit y  in   the  wal kw ay s  was  var ia ble ,  r ang i ng   from   sp arse  t o  ver y  c rowded .  I n  the   norm al   set t ing ,  the   vi deo   c on ta in s   on ly   pe destria ns .  Abn or m al  even ts  a re  due  to  ei the r:  the  ci rcu la ti on   of   non - pe des tria n  entit ie s  in  th e   walk ways  an d  ano m al ou s  pe de stria n  m otion   patte rn s .  Peds1  dataset   co nta ins  34  trai ning   vid eo  sam ples  an d  36   te sti ng  vide o  sam ples  with  a  res olu ti on   of   238× 158  pix el s.  Peds2  dataset   co ntains  16   t rainin g  vide o  sam ples  and   12  te sti ng   vid e o  sam p le s  with  a  reso l utio n  of  360× 240  pix el s.  All  te sti ng   s a m ples  are  ass ociat ed   with  a  m anu al ly - colle ct ed  fr a m e - le vel  ground   tr uth   rele va nt  to  abno rm al  even ts  an nota ti on .  Fig ure   7  sh ow s   fr am es exam pl es of  norm al  a nd anom al y events take n fro m  A ven u an d UCSD  d at aset s .   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       An omaly eve nt d et ect io n and l oca li za ti on  of  vi deo  cli ps   us i ng  … ( Sawsen   Ab du l hadi M ahm ood )   1069     (a)       (b)     Figure  7. Exa m ples o f  no rm al  an d an om al y  fr am es in; (a ) UCSD   - Ped2  da ta set , ( b)  A ve nu e  d at aset ,     the anom al y regions a re  dem on strat ed  b y  re d rect an gle       4.2.     Im plem e nt ati on  d e t ails   The  vi deo   fr a m es  are  extra ct ed  an d  resiz ed  into  reso l ut ion   ( 320× 200)   pix el s,  the n  c onve rt  each  fr am e  into  YC bCr  c olor  m odel   to  ex plo it   t he   lum inance  c om po ne nt  Y   i n  the  im ple m entat ion   f ram ewo r k.   I n   order  to  est im a te   the  an om al y  sco re  f or  c urr ent  f ram e  F i ,  w e  a dopt  a  Ha us do rff  distanc e  m easur e  as  well   as  m ot ion   fe at ur e s  betwee n  t he  two  se quence   fr am es  ( F i ,  F i - 1 ).   T he n,   th e  an om aly  scor e  is   est i m at ed  bas ed  on  integrati ng  the se  two  feat ur e s  by  us in g  li ne ar  ( 3) .  T he  e sti m at ed  ano m aly  scor es  value s  are  norm al ized   int o  [0,  10 ]   inter va l  to  facil ity  the  com pu ta ti on   pr oce ss.   T he  norm al iz a ti on   te chn iq ue  ad opte d  in  this  w ork  ha s   been  pe rfor m ed  acc ordin g  to   the  f ollow i ng  e qu at io n:    x n =  ( x - x m )/ std ,   w here  x n   re pr ese nts  the  norm al iz ed  data  po i nt,  x m   an d   st d   are  t he  m ean  and   sta ndar d  de viati on   of   al l  data  points  res pecti vely .  The   validat io n  w orkf l ow   of   the  pro pose d  an om al y  ev ent  detect io n  in  vi deo   is  c om po sed  of  tw o  m ai n  ph ases ;  trai nin g  a nd  te sti ng  m od el s as ill us trat ed  in  the  f ollow in g  sub sect ion s .     4.3.     Tr aining   m odel   We  purs ue  to   determ ine  anom al ie s  in  a  give n  vid e o  se que nce  with  lo we r   com pu ta ti on  tim e  as  well   as  sp eci fyi ng  the  re qu i red   false  al arm   rate.  Sign i ficantl y,  the  pro pose d  ano m al y  detect i on   a ppr oach   a s su m es  that  any  ano m a lou s  patte r n  w ou l d  hold  f or   a n  obscu re  pe riod  o f  tim e.  Mean w hile,  we  ha ve  no  pr e - kn owle dge   about  the   an om al y  even t  in  t he  vid e o  se qu e nce.  T hus,   the trainin g  m od e  i s  desire d  t o  a ddress   an d  desc r ibe  the  norm al   beh avi our  of  the  fr a m e  sequ e nces.   The  t rainin g  m od e  is  config ur e d  by  sel ect ing  the  vid e os   sam ples   V =  { vi :  i =1,   2,  ....,   M }  with   norm al   beh avi our  to   pe rfo rm   the  fitt in g  pr ocess  with  a   prede fine d  regr ession  m od el   with  4 th   po ly nom ia l   e qu at io n  ha vi ng  four   coe ff ic ie nts  ( b0,  b1,  b2 ,  b3 )  an d  one  tem po ral  dif fe ren ce   scor e  (in dep e ndent   var ia ble ).   The  te m po ral  fr am es  diff er ences  Te mpDiff   f or   eac h  vi de o  sam ple  hav e   been  com pu te d.   Co ns e qu e ntly ,  we   app li ed  the  po ly no m ial  fitting   m od el   up on  the  diff e re nces   values  to  extr act   the  su it able  c oeffici ents  an d  resi du al   er rors  of  the  re gressi on  m od e l.  In  this  con te xt,  t he  glo bal  outl ie rs  de no t e   tem po ral  diff e r ences i ns ta nts t hat are  not  well  r ep rese nted b y t he  est im a te d  re gr essi on m od el .     4.4.     Te s ting  m od el   An y  ne w  ra w  data  of   dif fer e nt  values  obta ined  from   the  t e m po ral  di ff e r entia l  ph ase  a r e  fitt e d  with  the  trai ne d  re gressi on  m od el   to  detect   the  outl ie r  in   the  ra w  data.  The   poly no m ia l  reg r ession  m od el   f it s  a   curve  li ne   to   th e  te m po ral  dif f eren ces   da ta   as   il lustrate d  i n  F igure  8.   Global   outl ie rs  are   de te ct ed  base d  on  the   assum ption   tha t  ou tl ie rs  a re   f ar  aw ay   from   the  fitt ed  m odel   and  ha ve  a   higher   resi du al   error  tha n  t he   oth e r  data  sam ples.  The  co rr es pondin g  fr am es  of   this  ty pe  of   an om alies  are  la belle d  as  ano m a ly   fr a m e.   Fu rth er,  th e   local   ou tl ie rs  of  the  vid e o  sa m ple   hav e  bee n  detect ed  at   cl ip  le vel  based  on   de ns it y  cl us te ring   strat e gy .  Th e   corres pondin g  fr am es  of   t his  ty pe  of  cl us te r s  are  la belle d  as  an om al y  fr am e  even t.  The   sel ect ion   ben c hm ark   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   2 4 , N o.   2 ,  N ove m ber   20 21 :  106 3   -   107 3   1070   is  base d  m ai nl y  on   a   prede fin ed  th res ho l d  to   ta ke  a  decisi on  a bout  lo wer  and  hi gh e r  densi ty   cl us te rs  ta king  i n  our  c onside rati on it s m ean  as the cen t re  of ea ch  cl ust er.             Figure  8. Vis ua li zat ion  r es ults o f  the  pr opose d  a no m al y event d et ect io n m et ho d.  (a )   ra w  r ep rese nts tem po ral  fr am es d iffe rence s,  (b)   ra w re pr ese nts t he glob al   outl ie r  det ect ion ,  (c)   ra w dem on strat es t he fit ti ng   proce ss  with  regressio n m od el ,  ( d)   ra w descri bed th e local  outl ie r dete ct ion,  (e )   r aw rep rese nts the  e xtracted  anom aly  reg i on s  or   cl ust ers,  last  r a w st at es the  den sit y of eac h cl us t er  DS       4.5.     Per fo r m an ce  m etrics   In   our  e xperim ents,  the   qua ntit at ive  resu lt s - base d   pe rfo rm ance  e valuati on  ha s  be en  c on du ct e d  us in g  a  receiver  oper at ing   cha racter ist ic   (ROC)  cu rv e  a nd  co rr es pondin g  area   unde r  the  c urve   (AUC)  m et ric s.  I n  this  w ork,  the   ano m al y  even t   is  detect e d  ba sed  on  a   cl ip  ( even t )  le vel   a nd  f ram e  le vel.  Co ns e quently ,  we   record   the   be gi n  an d  e nd  of  each  a no m al y  even t  with   ass ist ance  of  gro und  t ru t h  re su l ts  pro vid e d  for   each  te sti ng   vid e o  i n  orde r  to  co nst ru ct   a  su it abl e  groun d  trut h - cl ip  le vel  res ults  for  validat ion   an d  c om par iso n   pur po ses . To   obta in ROC cur ve  dem on strat i on   for  the test ed  vid e o  sam ples, tru e posit ive  rate (TPR)  a nd f al se   po sit ive  rate  ( FPR)  m et rics  are  cal culat ed  at   cl i p  le vel.   AU C  area  m eas ur es  a re  com pu te d  f or   eac h  vid e o  in   bo t h  dataset s,  t hen   we  a ver a ge   the  obta ined  resu lt s  to  s how   the  AU C  for  each  dataset   c om par ed  wit h  recent   m et ho ds   t hat  ba sed  on  neural  netw orks  s uch   as  [25]  an d  [ 2 7 ] .  Table  1  e xh i bits  the  co rr ect   detect ion   sc ore  and  false  al arm   ben chm ark   f or  A venu,   Ped1  a nd  Pe d2   dataset s  res pecti vely .  Fig ure   9  il lustr at es  the  ROC  curves   qu a ntit at ive r es ults f or Ave nu,  Ped2 a nd Pe d1  dataset s r es pe ct ively .       Table  1.   A  c om par ison   resu l ts of eve nt le ve l detec ti on in  t erm  o f  co rr ect   detect ion an d f al se ala rm  r at e   Metho d   Co rr ect detectio n /  f alse alar m   Av en u     Ped 1   Ped 2   An o m a ly  even ts   47     40   12   M.  H asan   et al .   [ 2 5 ]   4 5 /4     3 8 /6   1 2 /1   S.  Yan   et  al .   [ 2 7 ]   3 4 /6     3 8 /5   1 2 /0   Y.  S.  Ch o n g   an d   Tay   [ 2 8 ]   4 3 /8     3 6 /1 1   1 2 /3   The p rop o sed  work   4 5 /3     3 8 /4   1 2 /1   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       An omaly eve nt d et ect io n and l oca li za ti on  of  vi deo  cli ps   us i ng  … ( Sawsen   Ab du l hadi M ahm ood )   1071   A  c omm on ly ,  the  highe r  va lues  of  the  AU C   area   val ue  ref e rr e d  t o  highe r  perfor m ance  of  t he  detect or  or  cl a ssifie r  m et ho d.  As  s how n  i n  F igure  8,   t he  pr opos e d  m et ho d  pr e sents  a   hi gher  A UC  value   w he n  app li ed   on  ave nu e   dataset   t ha n  Pe d1  a nd  P ed2.  T he  c r ow ded  sce nes  i nc lud e d  i n  vid e o  sam ples  are  e ff ect s   m ai nly of  inc re asi ng   false al ar m  r at es as sh own  in Fi g ure   10. Fr om  o ther han d, we  g et  c om petit ive r esults a nd   higher  pe rfor m ance  f or  a venu   an d  Pe d2  data set s  w hen   com par e d  with  the   pro posed  ap proach  to  sta te   of  the   art m et ho ds  as   il lustrate d  in  T able 2.           Figure  9. Roc  curves  vis ualiz at ion   resu lt s  of the  pro po se d work at  cli p  le vel for   ave nue ,  Ped2 a nd Pe d1  dataset s             Figure  10. T w o  e xam ples o f fai lure  c ases  of the  pro po se d  a no m al y detec tor       Table  2.   A  c om par ison   resu l ts of f ram e level  d et ect ion i n t erm  o f  A UC  m et ric   Metho d   AUC ( %)   Av en u     Ped 1   Ped 2   G.  Pan g   et al .   [ 1 2 ]   -     8 3 .2   7 1 .7   M.  H asan   et al .   [ 2 5 ]   7 5 .2     90   8 1 .5   Lu  et al.   [ 2 6 ]   6 5 .5     -   6 3 .8   S.  Yan   et  al.   [ 2 7 ]   7 9 .6     7 1 .9   7 5 .0   The p rop o sed   wo rk   83     76   82       Fr om   the  e xp e rim ents,  we  f ound  t hat  the   cl us te r  with  de nsi ty   cl os e  to  ze ro  val ue  is  c on sidere d  as   a   singular   an oma ly   fr am e  (sudd e n  cha nge),   w hile  the   cl us te rs   with   hig he r  de ns it y  r epr ese nt  a n  a no m al y   colle ct ive  f ram e   in  te rm   of   a nom aly  even t  de te ct ion   in   the   a cqu i red  vi deo  s a m ple.  F ur the r ,  the   area   pa ra m et er   us e d  f or   fore gro und  obj ect s  extracti on  is  m or e  accurate   and   ref le ct s  a n  ef fici ent  crit erio n  of  the  se qu e nce   fr am es  beh a vi our  c om par ed   to  the  sim ilarity   distance   m easur e  bet ween  each   tw o  se qu e nce d  fr am es.   Fu rt her m or e,  t he  pr opos e d  a no m al y  even t  detect ion   sc he m e  is  validat ed  ba sed  on  th e  avail able  da ta set   without  need i ng  to  perform   an  a ug m entat ion   of  the  dataset s  in  co ntra st  to  dee p  le a rn i ng - an om al y  eve nt   detect ion - b a se d   m et ho ds w hi ch req uire d  a l arg e  d at aset  t o l earn  t he  a no m al y beh a viours.     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   2 4 , N o.   2 ,  N ove m ber   20 21 :  106 3   -   107 3   1072   4   CONCL US I O N     We  ha ve  sug ge ste d  an d  pres ented  a n  an oma ly   even t  detect ion   an d  loca li zat ion   schem e  based   on   determ ining   th e  global  an d  local   outl ie rs  in  vi deo   se que nce.  T he  prob l e m   of   global  ou tl ie r  detect ion   was   assum ed  as  re gr essi on  m od e l  fitt ing   in   ord er  to   segm ent  the   vi deo  f ram es  into   no n  overlap ping  cl ips .  T he   pro po se d  m odel   is  able  to  up date  the  trai ne d  re gr es sio n  m od el   us ing   ne wly  detect ed  ano m al y  clips .   The  global  outl ie rs   are  ex plo it ed   to  segm ent  the  vid e o  f ram es  into  cl ips.  Furt her m or e,  t he  local   outl ie rs  at   eac h  cl ip  are  detect ed  us in g  de ns i ty   of   each  cl ip  ta kin g  in  our  consi der at io n  the  co ntextual  ou tl ie rs  withi n  each  vid e o  cl ip.  Ba sed  on  the  e xperim ents  that  i m ple m ented  on   public  an om aly  even t  de te ct ion   datas et ,  we  exh i bited  that  the  pro posed  a no m al y  detecto r  si gn i ficantl y  has  a  com petit ive  per f or m ance  com par e d  to  the   sta te - of - the - art  m e tho ds i n t er m s o f  detect io n  acc ur acy  a nd  f al se ala rm  r at es at cl ip level.       ACKN OWLE DGE MENTS   This  re searc h  was  par ti al ly   su pp or te d  by  com pu te r  sci e nce  dep a rtm ent - colle ge  of  e du c at io n  i n  Mustansiriy ah   Un i ver sit y.       REFERE NCE S     [1]   G.  Pang,   C.   Shen,   L .   Cao,   and   A.  Van  Den  Henge l ,  " De ep  le arn ing  for  ano m aly   de tecti on :   a  rev ie w ,"   ACM  Computing  Surv ey s ,  vo l. 54,   no.   2,   pp .   1 - 38 ,   Mar .   2021 ,   doi:  10. 11 45/3439950 .   [2]   K.  Yan,   X.  You,  X.  Ji,  G.  Yin ,   and  F.  Yang,   "A   hy br id  outlier   det ection  m et h od  for  hea lt h  c a re  big  data, "  20 16   IEE E   Inte rnat io nal  Confe r enc es  on  Bi g   Data  and   Cloud  Computi ng  ( BDCloud) ,   Soci al  Comput ing   and  Ne tworki ng   ( Soci alCom) ,   Sustainabl e   Computing  and   Comm unic ati ons   ( SustainCom )   ( BDCl oud - Soci alCom - SustainCom) ,   Oct.   2016,   pp .   157 - 1 62,   doi :  10 . 1109 /BDCloud - SocialCom - Sus ta inCom . 2016. 34 .   [3]   Y.  W ang,   Z .   W u ,   Y.  Zhu ,   and  P.  Zha ng,   "Resea r c h  on  anomal y   d e te c ti on  al gori th m   base d  on  general i za t ion  l at en c y   of  te lecom m unic ation  net work, "   Fut ure  Gene ration  Computer  Syste ms ,   vol.   85,   pp.   9 - 18,   Aug.  2018 ,    doi:   10.10 16 / j . f uture. 2018. 02. 022 .   [4]   W .   L i ,   V .   M a h a d e v a n ,   a n d   N .   V a s c o n c e l o s ,   " A n o m a l y   D e t e c t i o n   a n d   L o c a l i z a t i o n   i n   C r o w d e d   S c e n e s , "   i n   I E E E   T r a n s a c t i o n s   o n   P a t t e r n   A n a l y s i s   a n d   M a c h i n e   I n t e l l i g e n c e ,   v o l .   3 6 ,   n o .   1 ,   p p .   1 8 - 3 2 ,   J a n .   2 0 1 4 ,     d o i :   1 0 . 1 1 0 9 / T P A M I . 2 0 1 3 . 1 1 1 .   [5]   Y.  Cong,   J.  Yu an ,   and   J.  L iu,   "S par se  rec onstr uct ion  cost  for  abnor m al   ev ent  det e ct ion , "  CV PR   2011 ,  2011,     pp.   3449 - 3456 ,   doi:   10 . 1109/CV PR . 2011. 599543 4.   [6]   T.   Xiao ,   C.   Zh a ng ,   and  H.  Zh a,  "Le arn ing  to  de te c t  anomalies  i n  surveil la n ce   v i deo, "  in  IE EE   S ignal   Proce ss in g   Lett ers ,   vo l. 22,  no.   9 ,   pp .   1477 - 1481,   Sept .   2015 ,   doi :  10 . 1109/LS P.2015. 2410031 .   [7]   L.   Krat z  and  K.   Nishino,   "A nom aly   de tecti on  i n  ext remel y   cro wded  sce nes  using  sp atio - te m po ral   m oti on  patte rn  m odel s,"  2009  IEE E  Confe r enc e  on  Computer  Vi sion  and  Pat te rn  Re c ognit ion ,  2009 ,   pp.   1446 - 1453,     doi:   10 . 1109/CV PR . 2009. 520677 1 .   [8]   V.  Sali gr ama,  J.   Konrad ,   and   P.   Jodoin,   "V id eo   Anom aly   Ide n tification, "   in  IEEE  Signa l  Proc essing  M agazine ,    vol.   27 ,   no .   5 ,   pp .   18 - 33 ,   Sept .   20 10,   doi :  10 . 1109 /MS P.2010. 937393 .   [9]   K.  Min  and  J.  Corso,  "TAS ED - Net:   Te m pora l l y - agg reg a ti ng  spatial  rnc oder - d ec oder   ne twork  for  vide o  salie n c y   det e ct ion , "  201 9  IEEE/CVF  I nte rnational   Co nfe renc e  on   C omputer  Vi sion   ( ICCV) ,   2019,   pp.   2394 - 240 3,     doi:   10 . 1109/IC CV.2019. 00248 .   [10]   L.   W ang   et  al. ,   " Te m pora l  segm e nt  net works :   tow ard s  good  pra ct i ce s  for  d ee p   acti on  rec ogn it ion , "  2016  European   Confe renc e  on   C omputer  Vi sion   ( ECCV ) ,   vol .   991 2 ,  2016 ,  pp .   20 - 36 ,  doi :   10 . 1007 /978 - 3 - 319 - 4648 4 - 8_2 .   [11]   Y.  Zhu  and  S.   News am,  "M o ti on - awa r e  fe at u re  for  improve d  vide o  anomal y   de tecti on , "  arXiv :1907 . 10211 ,    pp.   1 - 12 ,   2019 .     [12]   G.  Pang,   C.   Yan,   C.   Shen,   A.  Van ,   Den  Henge l ,   and  X.  Bai ,   "S e lf - t ra ine d  d e ep  o rdina l  r egr ession  for  e nd - to - e nd  v ide o  a nom aly   d et e ct ion , "  2020  IEE E/ C VF   Co nfe renc e  on  Computer  Vi sion  and  Pat te rn  Rec ognit ion  ( CVP R ) ,   2020,   pp .   12170 - 12179,   do i :  10 . 1109/CVPR 42600. 2020. 01219 .   [13]   G.  Pang,   C .   She n  and  A.  V an  D en  Henge l,   "D e e p  anomal y   d et e c ti on  with   deviation  net works , "  2 020  Proceedi ngs  of  the  25th   ACM   SIGKD D  Inte rnational   Con fe re nce   on   Knowle d ge  Discov ery   &   Data  Mini ng ,  20 20 ,  pp.   353 - 362 ,     doi:   10 . 1145/32 92500. 3330871 .   [14]   F.  La nd i, C. G.   Snoek ,   and   R.   C ucc hi ara,  "A nom aly   loc a li t y   in   vi deo  survei ll an ce, "  arXiv :1901 . 10 364 ,   2019 .     [15]   W .   Sulta ni,   C.   Chen ,   and  M.  Shah,   "Rea l - wo rld  anomal y   d etec t ion  in  survei ll an ce   vide os , "  2018  IEE E/ C VF   Confe renc e  on   C omputer  Vi sion   and  Pattern  R ecogniti on,   2018 ,   pp.   6479 - 6488 ,   doi:   10 . 1109/CV PR . 2018. 00678 .   [ 1 6 ]   F .   J i a n g ,   J .   Y u a n ,   F .   J i a n g ,   J .   Y u a n ,   S .   A .   T s a f t a r i s ,   a n d   A .   K .   K a t s a g g e l o s ,   " A n o m a l o u s   v i d e o   e v e n t   d e t e c t i o n   u s i n g   s p a t i o t e m p o r a l   c o n t e x t , "   C o m p u t e r   V i s i o n   a n d   I m a g e   U n d e r s t a n d i n g ,   v o l .   1 1 5 ,   p p .   3 2 3 - 3 3 3 ,   2 0 1 1 ,     d o i :   1 0 . 1 0 1 6 / j . c v i u . 2 0 1 0 . 1 0 . 0 0 8 .   [17]   Ce  Li,   Z.  H an,  Qixi ang   Ye,  a nd  J.   Jiao ,   "V isual   abnor m al  beha vior   d et e ct i on  base d   on   tr aj e ct or y   sparse   rec onstruc ti on   a naly s is,"   Neuro c omputing ,   vo l. 1 19,   pp .   94 - 100 ,   2013 ,   doi :  10 . 10 16/j . n euc om . 201 2. 03. 040 .   [ 1 8 ]   M .   G .   N a r a s i m h a n   a n d   S .   K a m a t h ,   " D yn a m i c   v i d e o   a n o m a l y   d e t e c t i o n   a n d   l o c a l i z a t i o n   u s i n g   s p a r s e   d e n o i s i n g   a u t o e n c o d e r s , "  M u l t i m e d i a   T o o l s   A p p l . ,   v o l .   7 7 ,   n o .   1 1 ,   p p .   1 3 1 7 3 - 1 3 1 9 5 ,   J u n .   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 7 - 4 9 4 0 - 2.   Evaluation Warning : The document was created with Spire.PDF for Python.