I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - A I )   V ol . 13, No.  4 , D e c e m be r  2024, pp.  4121 ~ 4128   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v13.i4.pp 4121 - 4128          4121     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   E n h a n c i n g vi d e o an o m al y  d e t e c t i on  f or  h u m an   su sp i c i ou s  b e h avi or  t h r ou gh  d e e p  h y b r i d  t e m p o r al  sp at i al  n e t w or k       K u s u m a S r ir am 1 ,2 , K ir an  P u r u s h ot h am 3   1 D e pa r t m e nt  of  I nf or m a t i on  S c i e nc e   a nd   E ngi ne e r i ng ,  M .   S .   R a m a i a h I ns t i t ut e   of  T e c hnol ogy , B e nga l ur u, I ndi a   2 D e pa r t m e nt  of  C om put e r  S c i e nc e   a nd   E ngi ne e r i ng,   V i s ve s va r a ya  T e c hnol ogi c a l  U ni ve r s i t y, B e nga l ur u, I ndi a   3 D e pa r t m e nt  of  C om put e r  S c i e nc e   a nd   E ngi ne e r i ng ,   R N S  I ns t i t ut e  of  T e c hnol o gy , B e nga l ur u, I ndi a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  D e c   15 ,  2023   R e vi s e d  A pr   2 ,  2024   A c c e pt e d  A pr   17 ,  2024       Abnormal  behavior  exhibited  by  individuals  with  pa rticular  intenti ons  is  common,   and  when  such  behavior   occurs  in   public  places,  it   can   cause  physical  and  mental  harm   to  others.   Considering  the   rise  in  th e  aut omated  approach  for  anomaly  detection   in  videos ,  accuracy  becomes  essential.  Most  existin g  models  follow  a  deep   learning  architectu re,  which   faces  chal lenges  due  to  variations  in  motion.  This   research  work  develops  a   deep  le arning - based  hybrid  architecture  with  temporal  and  spatial   feature s .  The  hybrid   temporal spa tial networ k (HTSNet)  consists of tw o customize d archite ctures:  a  graph  neural  network  (GNN)  and  a  convolutional  neural  network  ( CNN).  HTSNet  combined  with  a  novel  classifier  to  extract   features  and  c lassify  normal  and  abnormal  behavior.  The  p erformance  of  HTSNet  is  rigo rously  evaluated  using t he   University  of California,  San Diego - Pedestr ian  1   ( UCSD  Ped1 )  dataset,  a  benchmark  in   computer  vision  research  for   anomaly  de tection  in  video  surveillance.  The  effectiveness  of  HTSNet  is  demonstrated  th r ough  a  comparativ e  analysis   with  current  stat e - of - the - art  methods,  using   th e  area  under  the  curve  (AUC)  metric  as  a  standard  measure   of  performanc e.  This  paper  contributes  to  the  advanc ement  of  video   surveillance  techn ology,  providing  a  robust  framework  f or   enhancing  public   safety  and  securit y  in  an   increasin gly digital wor ld.    K e y w o r ds :   A nom a ly  de te c ti on   C r ow d a na ly s is   D e e p l e a r ni ng    G r a ph ne ur a l  ne twor k   H ybr id  t e m por a l  s pa ti a l  ne twor k   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   K us um a  S r ir a m   D e pa r tm e nt  of  I nf or m a ti on S c ie nc e   a nd   E ngi ne e r in g,  M . S . R a m a ia h I ns ti tu te  of  T e c hnol ogy   B e nga lu r u, I ndi a   E m a il :  kus um a s _12@ r e di f f m a il .c om       1.   I N T R O D U C T I O N   T he   w id e s pr e a d   a dopt io n  of   vi de o  c a pt ur e   e qui pm e nt   h a s   l e d  to   th e   ge ne r a ti on  of   a   s ig ni f ic a nt   vol um e   of   vi de o  da ta . T he   s e c ur it y  of   th e   r e s id e nt s   a nd  th e ir   pos s e s s io ns   is   c ont in ge nt   upon  th e   in te gr it y  of   th is   da ta .   T he   id e nt if ic a ti on  of   a ty pi c a l  c r ow d  be ha vi or   is   of   ut m os t  im por ta nc e ,  pa r ti c ul a r ly   in   s c e na r io s   in vol vi ng  la r g e   c ongr e ga ti ons   of   pe opl e .  A nom a ly   de te c ti on  is   a   c r uc ia l  c om pone nt   f or   e nha nc in g  s oc ia l  s e c ur it y  a nd   s a f e gua r di ng i ndi vi dua ls .  T he  ut il iz a ti on of  vi de o s ur ve il la nc e  s ys te m s  f or  publi c  s a f e t y i s  pr e va le nt   [ 1] .   T he   s tu dy  pr e s e nt s   two   di s ti nc t   a ppr oa c he s ,  na m e ly   a   di r e c t  t e c hni que   a nd   a n  in di r e c t   m e th od,  f or   c r ow d  de te c ti on.  T he   di r e c t  a ppr oa c h  is   a   de te c ti on  te c hni que   th a t  e m pl oys   e it he r   s e gm e nt a ti on  or   hum a n   de te c ti on  to   a c c ur a te ly   id e nt if y  a nd  di f f e r e nt ia te   be twe e n  in di vi dua ls   w it hi n  a   gi ve n  s c e ne .  T he   m a p - ba s e d  in di r e c t  a ppr oa c h  be gi ns   by  id e nt if yi ng  vi s u a l  f e a tu r e s   a nd  s ubs e que nt ly   e m pl oys   m a ppi ng  te c hni que s   to   e s ta bl is h  a s s o c ia ti ons   be tw e e n  th e s e   a tt r ib ut e s   a nd  th e   po pul a ti on  [ 2] .  T he   im pl e m e nt a ti on  of   th e s e   m e th odol ogi e s   w il l  r e s ul t  in   a n  e nha nc e m e nt   of   pe de s tr ia n  s a f e ty   a nd  a   de e pe r   c om pr e he n s io n  of   c r ow d  be ha vi or .  T he   m a c hi ne   le a r ni ng  s y s te m   ha s   b e e n  s pe c if ic a ll y  d e s ig ne d  to   e va lu a te   th e   nor m a li ty   or   a bnor m a li ty   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4121 - 4128   4122   of  va r io us  c r ow d s c e na r io s , s uc h a s  a nxi e ty , c la s he s , a nd s ta m pe de s .  T he  l a be l  di s tr ib ut io n  a ppr oa c h ha s  be e n  e m pl oye d  by  th e   a ut hor s   to   a ddr e s s   th e   i s s ue   of   m ix e d  be h a vi or .  T he   te r m   " m ix e d  be ha vi or "   is   us e d  to   de s c r ib e   th e  s im ul ta ne ous  m a ni f e s ta ti on of  m u lt ip le  be ha vi or s .  T hi s  phe nom e non r e s ul ts  i n a  s in gul a r  c onc e nt r a ti on on  a   s pe c if ic   ta s k,  a c c om pa ni e d  by  a   la c k  of   in te r e s t  in   e nga gi ng  in   ot he r   a c ti vi ti e s .  T he   c onve r ge nc e   of   be ha vi or a l  pa tt e r ns   c a n  b e   obs e r ve d  w he n   th e r e   is   a   s im ul ta ne ous   pr e s e n c e   of   f e a r f ul   or   c onf us e d  b e ha vi or   a lo ngs id e   a ggr e s s iv e  be h a vi or   [ 3] , [ 4] .   T he   pr opos e d  a ppr oa c h   in vol ve s   th e   in te gr a ti on  of   m ot i on  in f or m a ti on  im a ge s   ( M I I )   w it h  c onvolut io na l  ne ur a l  ne twor ks   ( C N N ) .  T he   v a r ia ti ona l  a be r r a nt   be ha vi or   de te c ti on  ( V A B D )   is   a   pr oba bi li s ti c   m e th od.  T he   obj e c ti ve   of   th is   a ppr oa c h  is   to   pr om p tl y  id e nt if y   a bnor m a l  c r ow d  be ha v io r   in   vi de o  c li ps .  T he   a nom a ly   a na ly s i s   m e th od  d e s c r ib e d  in   [ 5]   is   ba s e d  on   a n  im pr ove d  ve r s io n  of   th e   k - m e a n s   a lg or it hm .  A     pr e - tr a in e d  2D - C N N   w a s   de ve lo p e d  f or   m ot io n  in put ,  a lo ng   w i th   a   s im pl if ie d  2D - C N N . T he   obj e c ti ve   w a s   to   a c hi e ve   th e   hi ghe s t  r e c ogni ti on  a c c ur a c y  w hi le   m in im iz in g  th e   c om put a ti ona l  r e qui r e m e nt s .  M e hm ood   [ 6]   in c lu de d  a   c om pr e he ns iv e   e va lu a ti on  of   th e   pr ogr e s s   m a de   i n  th e   f ie ld   of   c r ow d  a na ly s is   u s in g  phys ic a l   a ppr oa c he s .  T he   id e nt if ie d  a ppr oa c he s   c a n  be   c a te gor iz e d   in to   t hr e e   di s ti nc t  c a te gor ie s :   c om pl e x  c r ow d   m ot io n  s ys te m s ,  f lu id   dyna m ic s ,  a nd  in te r a c ti on  f or c e s .  H u  e t  al .   [ 7]   f oc us e d  on  e va lu a ti ng  a   f r a m e w or k  th a t  ha d  li m it e d  m oni to r in g  c a pa bi li ti e s   f or   de te c ti ng  a nd  id e nt if yi ng  a bnor m a l  be ha vi or   de te c ti on  a nd  lo c a li z a ti on   ( A B D L )  i n c r ow de d e nvi r onm e nt s .   Z ha ng  e t  al .  [ 8]   in tr oduc e d  a   va lu a bl e   e m be ddi ng  t e c hni que   kn ow n  a s   b a g - of - e ve nt - m ode ls   ( B oE M )   to   c ha r a c te r iz e   vi de o  c li ps   th a t  di s pl a y  bot h  nor m a l  a nd  a bn or m a l  be ha vi or .  T he   r e s e a r c he r s   e m pl oye d  a   m e th odol ogy  to   ge ne r a te   s ynt he ti c   a nom a lo us   e ve nt s   th a t  f a it hf ul ly   r e pl ic a te   s pe c if ic   in s ta nc e s   of   a nom a lo us   in c id e nt s .  C ha ndr a ka la   e t  al .   [ 9]   pr opos e d  a n  a ppr oa c h  f or   s c e ne   pe r c e pt io n  th a t  in te gr a te s   pr in c ip le s   f r om   ps yc hol ogy  th e or y  w it h  th e   r e pr e s e nt a ti on  of   f lu id   dyna m ic s .  T hi s   s tu dy  in ve s ti ga te s   a   te c hni que   f or   e xt r a c ti ng  a c ti ons   f r om   c ont in uous   unc ons tr a in e d  vi de os .  T he   pr opos e d  a ppr oa c h  c ons is ts   of   th r e e   ke y  c om pone nt s :  te m por a l  a c ti on  r out e   s e a r c hi ng,  s pa ti a l - te m por a l  a c ti on  c om pe ns a ti on,  a nd  s p a ti a l  lo c a ti on  e s ti m a ti on.  D e e p   le a r ni ng  ha s   d e m ons tr a te d  not a bl e   a dva n c e m e nt s ,   s pe c if ic a ll y  i n  th e   dom a in s   of   f a c ia l  r e c ogni ti on   a nd  ta r ge t  tr a c k in g,  a m ong  va r io us   ot he r   f ie ld s   [ 10] .  C N N s   a nd  lo ng  s h or t - te r m   m e m or y  ne twor ks   ( L S T M s )   a r e   two   pr om in e nt   ty pe s   of   ne ur a l  ne twor k s   ut il iz e d  in   th e   f ie ld   of   de e p  le a r ni ng.  C N N   e m pl oys   a   c om bi na ti on  of   f or w a r d  a nd  r e ve r s e   pr opa ga ti on  a lg or it hm s   to   it e r a ti ve ly   m od if y  th e   th r e s hol ds   a nd  w e ig ht s   i n  th e   t r a in in g   pr oc e s s .  T he   a c hi e ve m e nt   of   th is   ta s k  is   a c c om pl is he d  by  s uppl yi ng  th e   m ode l  w it h  in put   la be ls   a nd  out put ti ng   vi de o i m a ge s .   L i  e t  al .   [ 1 1]   ut il iz e d  c a s c a de d  c la s s if ie r s   to   gr a dua ll y  di s ti n gui s h  be twe e n  ty pi c a l  a nd  a bnor m a l  pe de s tr ia n  be ha vi or .  T he   id e nt if ic a ti on   of   a bnor m a l  r e gi ons   w a s   s uc c e s s f ul ly   a c hi e ve d  by  e m pl oyi ng  c a s c a de d  C N N s   a nd c a s c a de d a ut o e nc ode r s .  T he r e f or e , t o  e xt r a c t  a s pe c t s   o f  pe de s tr ia n a c ti vi ty , t he  ut il iz a ti on of  opt ic a l   f lo w   da ta   f r om   a n  in put   im a ge   a nd  dua l - s tr e a m   C N N s   w a s   im pl e m e nt e d.  T he   c ha ll e nge   of   ha ndl in g  in f or m a ti on  tr a ns f e r  ove r  e xt e nde d  i nput  s e qu e nc e s  pos e s   a   s ig ni f ic a nt  obs ta c le  f or  c onve nt io na l  r e c ur r e nt  n e ur a l  ne twor ks   [ 12] .  T he   L S T M   ne twor k   w a s   s pe c if ic a ll y  de ve lo pe d  to   a dd r e s s   th is   pa r ti c ul a r   pr obl e m .  T he   m ode l  f or   de te c ti ng  a bnor m a l  be h a vi or   w a s   de ve lo pe d   us in g  L S T M ,  in c or por a ti ng  ti m e - dom a in   a nd  ge ogr a phi c a l  da ta   a c qui r e d  th r ough  a ut oe nc ode r s   [ 13] .  A   de e p  le a r ni ng  ne twor k  w a s   c ons tr uc te d  by  c om bi ni ng  a n  L S T M   a nd   s pa ti a l - te m por a l  C N N   to   e f f e c ti ve ly   id e nt if y   a nd  c la s s if y  pe de s tr ia n  be ha vi or s .  T he   ne twor k  w a s   s ubs e que nt ly   e m pl oye d t o de te c t  a bnor m a l  pe de s tr ia n be ha vi or .   D ir e kogl u  [ 14]   pr e s e nt s   a   f r a m e w or k  f or   a nom a ly   de te c ti on  ba s e d  on  de e p  ne ur a l  ne twor ks .  T hi s   f r a m e w or k  ut il iz e s   w e a k  s upe r vi s io n  a nd  is   tr a in e d  us in g  onl y  vi de o - le ve l  la be ls .  T he   s e lf - r e a s oni ng - ba s e d   tr a in in g  te c hni que   in vol ve s   ut il iz in g  bi na r y  c lu s t e r in g  of   s pa ti o - te m por a l  vi de o  da ta   to   c on s tr uc t  ps e udo  la b e ls .   T hi s   f e a tu r e   a id s   in   m it ig a ti ng  th e   noi s e   pr e s e nt   in   th e   la be ls   of   f il m s   th a t  e xhi bi t  a nom a lo us   c ha r a c te r is ti c s .  T o  e nha nc e   th e   a c c ur a c y  of   a nom a ly   de te c ti on,  our   pr opos e d  f o r m u la ti on  a dvoc a te s   f or   th e   in te gr a ti on   of   th e   c or e   ne twor k a nd c lu s te r in g, e na bl in g t he m  t o w or k c ol la bor a ti ve ly .   T he   dua l - s tr e a m   va r ia ti ona l  a ut o - e nc ode r   ( D S V A E )   [ 15 ]   is   a   pr opos e d  m ode l  f or   voi c e   a c ti vi ty   de te c ti on   ( V A D ) ,  c ons i s ti ng  of   two  s ta c ke d  va r ia ti ona l  a ut o - e n c ode r s   ( V A E )   m ode ls . T he   f ir s t  m ode l  c ons i s ts   of   two  s ha ll ow   ge ne r a ti ve   m od e ls :  th e   f ul ly   c onne c t e d  va r i a ti ona l  a ut o - e nc ode r   ( F C V A E )   a nd   th e   s ki p  c onne c te d   va r ia ti ona l  a ut o - e nc od e r s   ( S C V A E ) .  T he   F C V A E   m ode l  a im s   to   le a r n  th e   ove r a ll   f e a tu r e s   of   th e   m ode l  w hi le   e xc lu di ng s pe c if ic   und e s ir a bl e  a s pe c ts . T he   s pa ti a l   a nd  te m por a l  pr ope r ti e s   of   th e   pi c tu r e   f r a m e s   a r e   a c c ur a te ly   e xt r a c te d   by  th e   S C V A E .  T o  m in im iz e   in f or m a ti on  lo s s ,  th e   s ki p - c onne c te d  va r ia ti ona l   a ut oe nc ode r   ( S C V A E )   e s ta bl is he s   a   c onne c ti on  be twe e n  th e   e nc ode r   a nd  de c ode r   f e a tu r e s .  T hi s   c onn e c ti on  he lp s  m a in ta in  t he  f lo w  of  i nf or m a ti on t hr oughout t he  m ode l.   T he   m ot iv a ti on  f o r   th is   pa pe r   is   gr ounde d  in   r e li a bl e   vi de o  s ur ve il la nc e   s ys te m s   in   a n  e r a   w he r e   publ ic   s a f e ty   a nd s e c ur it y  a r e   pa r a m ount . W it h  th e  e xpone nt ia l  in c r e a s e   in   th e   a m ount   of   vi de o   da ta   ge n e r a te d  da il y ,  tr a di ti ona l  m a nua l  m oni to r in g  m e th ods   a r e   no  lo nge r   f e a s ib le ,   ne c e s s it a ti ng  th e   de ve lo pm e nt   of   a ut om a te d   s ys te m s   c a pa bl e   of   e f f e c ti ve ly   id e nt if yi ng  a nom a lo us   e ve nt s .  T he   c ha ll e nge   li e s   in   th e   in he r e nt  c om pl e xi ty   of   vi de o  da ta ,  w hi c h  in c lu de s   di ve r s e   a nd  of te n  s ubt le   va r ia ti ons   in   be ha vi or   a nd   e nvi r onm e nt .  T he   a bi li ty   to   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       E nhanc in g v id e o anomaly  de te c ti on f or  hum an  s us pi c io us  b e ha v io r  t hr ough de e p h y br id   …  ( K u s um a Sr i r am )   4123   a c c ur a te ly   di s ti ngui s h  be twe e n  nor m a l  va r ia ti ons   a nd  ge nui ne  a nom a li e s   is   c r uc ia l  in   a   r a nge   of   a ppl ic a ti ons ,  f r om   ur ba n  s ur ve il la nc e   to   tr a f f ic   c ont r ol   a nd   f r om   r e ta il   e nvi r onm e nt s   to   hom e   s e c ur it y .  B y  e nh a nc in g  a nom a ly   de te c ti on  a lg or it hm s ,  th is   r e s e a r c h   a im s   to   c ont r ib ut e   to   s a f e r   a nd  m or e   s e c ur e   e nvi r onm e nt s ,  w hi le   a l s o  a ddr e s s in g  th e   s ig ni f ic a nt   c om put a ti ona l  a nd  a c c ur a c y  c ha ll e n ge s   pos e d  by  th e   v a s t  a nd   gr ow in g  vol um e s   of   vi de o  da ta . T hi s  a dva nc e m e nt   is   not   ju s t  a   te c hnol ogi c a l  pur s ui t ;  it   is   a   s te p   t ow a r ds   c r e a ti ng  m or e   r e s pons iv e   a nd  in te ll ig e nt   m oni to r in g   s ys te m s   th a t  c a n  pl a y  a   c r uc ia l  r ol e   in   e ns ur in g  publ ic   s a f e ty   a nd  s e c ur it y  in   a n   in c r e a s in gl y di gi ta l  w or ld .   −   H ybr id   te m por a l  s pa ti a l  n e twor k  ( H T S N e t)   a r c hi te c tu r e :  ba s e d   h ybr id   a r c hi te c tu r e   c om bi ni ng  te m por a l  a nd   s pa ti a l  f e a tu r e   a na ly s i s   ( T S F A ) ,  le ve r a gi ng  th e   s tr e ngt hs   of   gr a ph  ne ur a l  ne twor k s   ( G N N )   a nd   C N N   f or   e nha nc e d m ot io n va r ia ti on a na ly s i s .   −   C us to m iz e d  G N N   a nd   C N N   ut il iz a ti on:   th e   ta il or e d  G N N   e f f e c ti ve ly   is ol a te s   a nom a lo u s   pa tt e r ns ,   w hi le   th e   c us to m iz e d  C N N  i m pr ove s  s pa ti a l - te m por a l  f e a tu r e   e xt r a c ti on,  le a di ng t o m or e  pr e c i s e  a nom a ly  de te c ti on.   I nc or por a ti on  of   a   nove l  c la s s if ie r   w it hi n  H T S N e t  s ig ni f ic a nt ly   b oos ts   th e   a c c ur a c y  in   di f f e r e nt i a ti ng  nor m a l   f r om  a bnor m a l  be ha vi or s .   −   B e nc hm a r ki ng  a nd  e va lu a ti on:   th e   m ode l’ s   e f f e c ti ve ne s s   is   va li da te d  th r ough  r ig or ous   te s ti ng  on   th e   U ni ve r s it y  of   C a li f or ni a ,  S a n  D ie go   –   P e de s tr ia n  1  ( U C S D   P e d1 )   da ta s e t,   o f f e r in g  c om pa r a ti ve   in s ig ht s   a ga in s t  e xi s ti ng  s ta te - of - th e - a r t  m e th ods .  T he   s tu dy  c ont r ib ut e s   t o  publ ic   s a f e ty   a dva n c e m e nt s   by  e nha nc in g   th e   a c c ur a c y a nd  r e li a bi li ty   of   vi de o  s ur ve il la nc e  s ys te m s   in   de te c ti ng  a bnor m a l  be ha vi or s . T he   us e   of   th e   a r e a   unde r   th e   c ur ve   ( A U C )   m e tr ic   f or   pe r f or m a nc e   e va lu a ti o n  s e ts   ne w   b e nc hm a r ks   f or   f ut ur e   a no m a ly   de te c ti on s ys te m s .       2.   P R O P O S E D   M E T H O D O L O G Y   T he   m e th odol ogy  pr opos e d  is   d e e p  H T S N e t  f or   a nom a ly   de te c ti on  is   di s c us s e d  in   de ta il   in   th is   s e c ti on  of   th e   s tu dy ,  w he r e   a nom a lo us   pa tt e r n  de te c ti on  is   de a lt   w it h  a   s im pl e   pr obl e m   of   c la s s if ic a ti on,  a   vi de o  is   s pl it   in to   va r io us   le ngt hs   of   vi de o  s e gm e nt s     ha vi ng  c ons ta nt   le ngt h .  F ur th e r ,  a   c la s s if ie r   is   tr a in e d  f or   th e   us ua l   c la s s   a s   w e ll   a s   e xt r a c ti on  of   th e   c ha r a c te r is ti c   ve c to r   f r o m   e ve r y  vi de o  s e gm e nt   a nd  e ve r y  vi de o   s e gm e nt   r e c e iv e s   a n   a nom a ly   va lu e .  T he   c ha r a c te r is ti c   ve c to r   is   d e n ot e d  by    of   th e   vi de o  s e gm e nt ,  w he r e   th e     − ℎ   vi de o  s e gm e nt   ha s   th e   c ha r a c te r is ti c   ve c to r   .  H ow e ve r ,  th e   a tt r ib ut e s   a r e   r e pr e s e nt e d  gr a phi c a ll y     = ( , , )   f or   s im il a r   f e a tu r e s   a nd  = ( , , )   f or   c ons is te n c y  be in g   te m por a l.   H e r e ,  th e   ve r te x   s e t   is   de not e d  a s   ,    is   us e d  to   de not e   th e   f r ont ie r   s e t,   a nd  th e   ve r te x  a tt r ib ut e   is   r e pr e s e nt e d  a s   .  T he   vi de o  s e gm e nt   is  de not e d a s   , t he  f e a tu r e  r e s e m bl a nc e   a s  w e ll  a s  t he  c ons i s te nc y t e m por a ll y i s  de not e d a s   ,   a nd t he  f e a tu r e   ha vi ng d - di m e ns io n f or  t he     vi de o s e gm e nt s  i s  de not e d  a s           × .   T he  e xpone nt ia l  f unc ti on t ha t  is   us e d  he r e   i s   nor m a li z e d  be c a u s e   th e   a dj a c e nc y  i s   s how n  a s   non - ne ga ti ve   f or   th e   c onf in e m e nt   of   s im il a r it y   in s id e   r a nge s   0  a nd  1.  S im u lt a ne ous ly ,  th e   a dj a c e nt   m a tr ix   f or   f e a tu r e s   is   s how n  by    th a t  de pi c ts   s im il a r   f e a tu r e s   qua nt it a ti ve ly   f or   vi de o  s e gm e nt s .  H ow e ve r ,  th e   ti m e   du r a ti on  of   th e   vi de o  is   e xpr e s s e d  by  th e   a dj a c e nt   m a tr ix   ha vi ng  a   c ons is te nc y  th a t  is   te m por a l  w hi c h  i s   s how n  a s   .   T he r e f or e ,    a nd    a r e   bot h  de s c r ib e d  a s  gi ve n i n ( 1)   a nd ( 2) .     ( , ) = e x p   ( . −  ( . ) )   ( 1)     ( , ) = e x p   ( − ‖ − ‖ )   ( 2)     I n  F ig ur e   1,  w e   s e e   th a t  th e   vi de o  s e gm e nt s   de pi c t  s im il a r   f e a tu r e s .  T he y  a r e   li nke d  th r ough  th e   s m a ll e r   f r ont ie r ,  w he r e a s   th e   de e p - c ol or e d  ve r te xe s   de pi c t  th e   vi de o  s e gm e nt s   th a t  ha ve   in c r e a s e d  a nom a ly   va lu e s .  L a s tl y ,  th e   ve r te xe s   th a t  a r e   c lo s e   a r e   a ls o  m a r ke d  us in g  th e   s a m e   la be l  of   a nom a ly   th r ough   th e   L a pl a c ia n  gr a phi c a l  ope r a to r .  S pe c if ic a ll y ,  th e   uni t  m a tr ix   is   e xpr e s s e d   us in g          × .   W hi le   th e   m a tr ix   a dj a c e nc y a lo ng  w it h e dge s  i s  s how n  a s   ̂ .  T hi s  i s  f or m ul a te d a s   gi ve n i n ( 3) . H e r e , t he  de gr e e  of  t he  m a tr ix  i s   e xpr e s s e d  a s   ̃ .   T hi s   is   de f in e d  a s   gi ve n  ( 5) .  T he r e f or e ,  th e   gr a phi c a l  r e pr e s e nt a ti on  of   th e   s im il a r it y  in   f e a tu r e s   r e s ul ts  i n t he  f ol lo w in g f or m ul a ti on a t  th e  m ode l  le ve l  a s  s how n  i n ( 6) .      ̂ = ̃ − 1 2 ⁄ ̃ ̃ − 1 2 ⁄   ( 3)     ̃ = +   ( 4)     ̃ ( , ) = ∑ ̃ ( , )   ( 5)     = (  ̂ )   ( 6)   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4121 - 4128   4124       F ig ur e  1 .   P r opos e d f r a m e w or k f or   th e  huma n a nom a ly  pa tt e r n de te c ti on       C ons id e r in g  in   ( 6) ,  th e   a c ti va ti on  f unc ti on  is   gi ve n   a s   ,   th e   tr a i na bl e   m a tr ix   va r ia bl e   is   gi ve n  a s   ,   a nd t he  c ha r a c te r is ti c s  a t  th e  i nput  l e v e l  a r e  gi ve n a s   . L a s tl y , t he  m ode l  of  s im il a r  c ha r a c te r is ti c s  r e s ul ti ng i n  th e   out put   is   c om bi ne d   w it h   th e   te m po r a l  c ons is te nt   s ys te m   a t  th e   pool in g   le ve l  a nd  ut il iz e s   th e   a c ti va ti on   f unc ti on  s ig m oi d.  T he r e f or e ,  th e   p r oba bi li ty   o f   pr e di c ti on  f or   e ve r y  gr a phi c a l  ve r te x    m a tc he s   w it h  th e   pr oba bi li ty   of   a nom a ly   of   om it ti ng  noi s e   f or   th e   ℎ   vi de o  s e gm e nt   a s   w e ll   a s   th e   la s t  lo s s   f unc ti on    th a t  r e s ul te d i n t he  s um m a ti on of  t w o t ype s  of  l os s  t ha t  a r e  gi ve n  in   ( 7) .      = +   ( 7)     T he   va lu e s   of     a nd     a r e   obt a in e d  by   e va lu a ti on  of   di r e c t   a s   w e ll   a s   in di r e c t   s upe r vi s io n   r e s pe c ti ve ly .  B e f or e   noi s e   e li m in a ti on,  a   c la s s if ie r   is   tr a in e d  f r om   w he r e   a n  a ppr oxi m a te   va lu e   f o r   a nom a ly   pr oba bi li ty   c oul d  be   obt a in e d  f or   e v e r y  vi de o  s e gm e nt   ha vi ng   a   c on s ta nt   le ngt h.  W e   a r e   gi ve n  th e   va lu e   of   a nom a ly   pr oba bi li ty   a s   ̃ = { ̃ } = 1 ,  th e   a lg or it hm s   th a t  a r e   di r e c tl y  s upe r vi s e d  a r e   us e d  f or   e xpr e s s in g  lo s s   of   c r os s - e nt r opy a s  gi ve n i n ( 8) .     = − ( ‖ ‖ ) − 1 ∑ [ ̃        ln     + ( 1 − ̃ )   ln   ( 1 −   ) ]   ( 8)     I n  th is   e qua ti on,  th e   vi de o  s e gm e nt s   th a t  ha v e   hi gh  c onf id e nc e   a r e   r e pr e s e nt e d  a s   .  T e n  im a ge s   a r e   c r oppe d  f r om   e ve r y  f r a m e   o f   th e   vi de o  th a t  is   us e d  in   th e   a ugm e nt a ti on  of   da ta   a s   w e ll   a s   th e   c om put a ti on  of   th e   m e a n  a nom a ly   pr oba bi li ty   ̃   a nd  th e   va r ia nc e   is   pr e di c te d  in   th e   c la s s if ie r . T he   unc e r ta in   pr e di c ti ons   a r e   m e a s ur e d us in g va r ia nc e .  T he  l e s s e r  t he  va lu e  of  va r ia nc e , t he   hi ghe r  t he  c onf id e nc e . I ndi r e c t  s upe r vi s io n i s  a   ty pe   of   te m por a l  a ppr oa c h  th a t  is   ut il iz e d  f or   f ut u r e   im pl e m e nt a ti on  of   s om e   la be le d  da ta   in s ta n c e s ,  a s   onl y  a   por ti on  of   th e   e nt ir e   vi de o  ha s   a   pr e di c ti on  of   hi gh  c onf id e nc e .  T he   goa l  is   to   e a s e   th e   pr e di c ti on  of   th e   ne twor k  f or   a ll   th e   vi de o  s e gm e nt s   f or   va r io us   tr a in in g  pha s e s   a s   gi ve n  in   ( 9) .  I n  th e   ( 9) ,  th e   m e a n  o f   w e ig ht e d  pr e di c ti on   f or  noi s e  om it ti ng i s  gi ve n a s   ̅   in  e ve r y t r a in in g pha s e .     = ( ) − 1 ∑ | − ̅ | = 1   ( 9)     2.1.   A n om al y p at t e r n  c la s s if ic at io n   I n  pr e vi ous   s tu di e s ,   a nom a ly   pa tt e r n  c l a s s if ic a ti on  w a s   p e r f or m e d  di r e c tl y  ba s e d   on  tr a in in g  a s   w e ll   a s  a n  e nt ir e  vi de o ha vi ng  a nom a li e s  be in g c l a s s if ie d.   A lt hough,  pr a c ti c a ll y , i f  a  huge  c ount  of  nor m a l  be ha vi or   vi de o  s e gm e nt s   c a n  be   s e pa r a te d  f r om   th e   vi de os   ha vi ng   a n om a li e s ,  th e   pe r f or m a nc e   of   a nom a ly   pa tt e r n   c la s s if ic a ti on  w oul d   be  e nha n c e d. I n t he  pr opos e d m e th od, we   s pl it  e ve r y vi de o i nt o    vi de o s e gm e nt s  ha vi ng  a  pa r ti c ul a r  c ons ta nt  l e ngt h. F or  e ve r y vi de o s e gm e nt , a  c or r e s ponding a nom a ly  va lu e  i s  obt a in e d a t  th e  pha s e   of   a nom a ly   pa tt e r n  de te c ti on.  H e nc e ,  a   li br a r y  of   vi de o  s e gm e nt s   is   obt a in e d  th a t  h a s     e le m e nt s   of   a nom a ly   va lu e s  a s  gi v e n i n ( 10) .      = { |       { 1 , 2 , … … , }   }   ( 10)     T o  om it   th e   nor m a l  vi de o  s e gm e nt s ,  a n   a ppr oa c h  is   pr opos e d  th a t  ha s   a   f ix e d  th r e s hol d  .   T he   vi de o   s e gm e nt s   th a t  a r e   hi ghe r   in   c om pa r is on  to   th e   th r e s hol d  a r e   la b e le d  a nd  th e   one s   lo w e r   th a n  th e   th r e s hol d  a r e   c ons id e r e d  a s   nor m a l,   th e   nor m a l  one s   a r e   de le te d.  T he r e f or e ,  th e   vi de o  pos t  in te r c e pt io n  is   e xpr e s s e d  a s     gi ve n  in   ( 1 1) .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       E nhanc in g v id e o anomaly  de te c ti on f or  hum an  s us pi c io us  b e ha v io r  t hr ough de e p h y br id   …  ( K u s um a Sr i r am )   4125    = {   |         ℎ    ,         }   ( 11)     In   th e   ( 1 1) ,  th e   a nom a ly   va lu e   pr e di c ti on  is   gi ve n   a s     by  th e   m ode l  f or   a nom a ly   de te c ti on  f or   th e   vi de o  s e gm e nt   .   C ons id e r in g  th e   ( 1 1) ,  w e   ob s e r ve   th a t  dur in g  t he   in c r e a s e   in   th r e s hol d,  th e   c ount   of   vi de o   s e gm e nt s   ha vi ng  a nom a li e s   th a t  m e e t  th is   r e qui r e m e nt   is   le s s   f or   a n  in di vi dua l  v id e o  w it h  a nom a li e s ,  w hi c h   c oul d  r e s ul t  in   in a de qua te   in f or m a ti on   f or   tr a in in g  th e  m ode l  f or   c la s s if ic a ti on  a nd  la s tl y  le a ds   to   ove r f it ti ng  o f   th e  m ode l.  O n t he  c ont r a r y ,  th e  l e s s e r  t he  t hr e s hol d, t he  hi ghe r  t he  vi de o s e gm e nt s  w it h a nom a li e s  t ha t  s a ti s f y  th is   r e qui r e m e nt   th a t  e xi s t  in   th e   s a m e   a nom a ly   vi de o,  a nd   th e   hi ghe r   th e   pos s ib il it y   f or   nor m a l  vi de o  s e gm e nt s   not   be in g  c om pl e te ly   om it te d.  T he r e f or e ,  s e le c ti ng  a n  a ppr opr ia te   th r e s hol d  is   e s s e nt ia l.   T he or e ti c a ll y ,  w e   c oul d   pr e di c t,   a s s um in g  th e r e   i s   no  ove r f it ti ng,  in c r e a s e d  th r e s hol d  le a ds   to   le s s e r   noi s e   in   in put   in f or m a ti on  f or   th e   c la s s if ic a ti on s y s te m  a nd t he r e  i s   a n i nc r e a s e  i n t he  r a te  of  a c c u r a c y .   C onve r s e ly ,  ba s e d  on  ( 1 1)   if   th e   a nom a ly   pa tt e r n  lo c a li z a ti on  i s   m a de ,  m a ny  vi de o  s e gm e nt s   w oul d  m e e t  th e   th r e s hol d  f or   s e le c ti on.  T he s e   s e pa r a te   vi de o  s e gm e nt s   a r e   c om bi ne d   a s   on e   vi de o  a nd   f ur th e r   c la s s if ie d. T hi s   c oul d  r e s ul t  in   te m por a l  s e que nc e   da ta   l os s   of   th e   vi de o  a t  th e   ti m e   of   e xt r a c ti ng  f e a tu r e s ,  th e   lo c a li z a ti on a ppr oa c h i s  e nh a nc e d a s  gi ve n  in   ( 12) .      = { | ∀         { , + 1 , … . , + } ,         { 1 , 2 , … . , − } }   ( 12)     I n  ( 12)   s ig ni f ie s   th a t  th e   c ont in ui ty   li m it a ti on  in c lu de s   w hi le   lo c a li z a ti on  of   a nom a ly   s e gm e nt s . T hi s   is   tr ue   if ,  a t  le a s t    c ont in uous   vi de o  s e gm e nt s   s a ti s f y  th e   ( 12) ,  th e s e   c on s e c ut iv e   vi de o   s e gm e nt s   a r e   put   in   th e   vi de o  s e gm e nt   s e t  w it h  a nom a li e s   a nd  in put   in to   th e   a nom a ly   pa tt e r n  c la s s if ic a ti on  m ode l  f or   te s ti ng  or   tr a in in g.  L a s tl y ,  th is   s e c ti on  f or  s e le c ti on  in   th e   pr opos e d   m e th odol ogy  is   s um m a r iz e d   a s   gi ve n  in   ( 13) .  U s in g  th is  a ppr oa c h, w e  om it  t he  noi s e  i n t he  vi de o  s e gm e nt s  a s  w e ll  a s  t he  t e m por a l   f e a tu r e s  a r e  c on s e r ve d.      ′ = {   |         ℎ    ,          ,         }   ( 13)       3.   P E R F O R M A N C E  E V A L U A T I O N   A   th or ough  a s s e s s m e nt   of   th e   pr opos e d  d e e p  H T S N e t  a ppr o a c h  on  th e   U C S D   P ed 1  da t a s e t s   f or   a nom a ly   id e nt if ic a ti on  is   c a r r ie d  out   in   th is   s e c ti on.  A   c om pr e he ns iv e   s tu dy  is   c onduc te d  to   s how   th e   r obus tn e s s   a nd e f f ic a c y of  t he  t e c hni que  by c om pa r in g e s ti m a te d a bnor m a l  f r a m e s  w it h gr ound tr ut h l a be ls .  T he  s ys te m ' s   pe r f or m a nc e   is   e va lu a te d  a ga in s t  c ur r e nt   s ta te - of - th e - a r t  m e th ods   by  c a lc ul a ti ng  th e   A U C   by  s how c a s in g  th e   a nom a ly  s c or e s .     3.1.  Dat as e t  d e t ai ls   T he  U C S D  P e d1 da ta s e t,  c r e a te d by the  U ni ve r s it y of  C a li f or ni a , S a n D ie go, i s  a  pr om in e nt  r e s our c e   in   c om put e r   vi s io n  r e s e a r c h,  pa r ti c ul a r ly   f or   a nom a ly   de t e c ti on  in   vi de o  s ur ve il la nc e .  I t  c om pr is e s     lo w - r e s ol ut io n,  gr a ys c a le   vi de os   f oc us in g  on   pe de s tr ia n  w a lk w a ys ,  w he r e   a nom a li e s   a r e   de f in e d  a s   non - ty pi c a l   pe de s tr ia n  be ha vi or s   li ke   s ka te bo a r di ng,  bi ki ng,  or   de vi a ti ng  f r om   w a lk w a ys .  T he s e   vi de os   a r e   a nnot a te d  to   m a r k a nom a lo us  e ve nt s ,  a id in g i n t he  de ve lo pm e nt  a nd t e s ti ng of  s ur ve il la nc e  a lg or it hm s .      3.2.  M e t r ic  u s e d  f or  c om p ar is on   T he   A U C   m e tr ic ,  pa r ti c ul a r ly   a s   pa r t  of   th e   r e c e iv e r   ope r a ti ng  c ha r a c te r is ti c   ( R O C )   a n a ly s is ,  s e r ve s   a s   a   c r it ic a l  to ol   f o r   e va lu a ti ng  th e   pe r f or m a nc e   of   a nom a ly   de te c ti on  a lg or it hm s .  A U C   in   vi de o  a nom a ly   de te c ti on  qua nt if ie s   how   w e ll   a n   a lg or it hm   c a n   di s ti ngui s h  b e t w e e n  nor m a l  a nd  a nom a lo u s   e v e nt s .  A   hi ghe r   A U C   va lu e   in di c a te s   a   hi ghe r   li ke li hood  th a t   th e   m ode l   c or r e c tl y  id e nt if ie s   a nom a li e s   a nd  nor m a l   a c ti vi ti e s .   D ue   to   th e   of te n  c om pl e x   a nd  dyn a m ic   na tu r e   of   vi de o  d a ta ,  a no m a li e s   c a n  va r y   w id e ly   in   a ppe a r a nc e   a nd   be ha vi or ,  m a ki ng  th e   A U C   a   va lu a bl e   m e a s ur e   f or   a s s e s s in g  th e   ge ne r a li z a bi li ty   of   a n  a lg or it hm   a c r os s   di f f e r e nt   ty pe s  of  a nom a li e s .     3.3.  Re s u lt s  an d  D is c u s s io n   T he  gr a ph i n F ig ur e  2 pr e s e nt s  t he   A U C  pe r f or m a nc e  m e tr ic s  f o r  va r io us  a nom a ly  de te c ti on me th ods   a ppl ie d  to   th e   U C S D   P e d1  da ta s e t.   T he   P S   m e th od  le a ds   w it h  th e   hi ghe s t  A U C   of   96.34 % ,  in di c a ti ng   it s   s upe r io r   a bi li ty   to   di s ti ngui s h  b e twe e n  nor m a l  a nd  a nom a lo u s   b e ha vi or   w it hi n  th e   vi de o  f oot a ge .   P lu g  a nd  pl a y   C N N   a ls o  p e r f or m s   e xc e pt io na ll y  w e ll   w it h  a   95.7%   A U C .  I n  c o nt r a s t,   m e th ods   li ke   m ot io n  in f lu e nc e   m a p  a nd   M a r c he nko - P a s tu r   pr in c ip a l  c om pone nt   a na ly s i s   ( M P P C A )   a r e   a t  th e   lo w e r   e nd  of   th e   s pe c tr um ,  w it h A U C s   of   61.9%   a nd  66.8%   r e s pe c ti ve ly ,  s ugge s ti ng   a   le s s e r   d e gr e e   of   a c c ur a c y   in   a nom a ly   d e te c ti on.  T he   m a jo r it y  of   m e th ods   c lu s te r   be twe e n  th e   70%   to   95%   r a nge ,  r e f le c ti ng  a   w id e   va r ia nc e   in   e f f e c ti ve n e s s ,   w it h  s e v e r a l  m e th ods   li ke   s pa r s e   r e c ons tr uc ti on ,  a pp e a r a nc e   a nd  m ot io n  D e e pN e t  ( A M D N ) ,  a nd  G r ow in gG a s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4121 - 4128   4126   de m ons tr a ti ng  hi gh  e f f ic a c y ,  a ll   s c or in g  a bove   90% .  T he   gr a ph  vi s ua ll y  e nc a ps ul a te s   th e   pe r f or m a nc e   r a nge   a c r os s   th e   m e th ods ,  hi ghl ig ht in g  th e   s ig ni f ic a nt   di f f e r e nc e s   in   th e ir   a bi li ty   to   m ode l  a nd  de te c t  a nom a li e s   w it hi n   th e  da ta s e t.   T a bl e  1 s how s  t he   A U C   c om pa r is on f or  t he  U C S D   pe d 1 da ta s e t.       T a bl e  1.  A U C   c om pa r is on f or  U C S D  pe d1 da ta s e t   M e t hod   AUC   (%)   M P P C A   [ 16]   66.80   SF  [ 17]   67.50   M P P C A +S F   [ 17]   74.20   S pa r s e   r e c ons t r uc t i on  [ 18]   86.00   C onvA E   [ 19]   81.00   C onvL S T M - A E   [ 20 ]   81.50   M ot i on  i nf l ue nc e  m a p  [ 21]   61.90   U nm a s ki ng  [ 22]   68.40   C hong  a nd  T a y   [ 23]   89.90   A M D N   [ 24]   92.10   G r ow i ngG a s   [ 25]   93.80   S t a c ke d R N N   [ 26]   83.10   F r a m e - pr e d  [ 27]   81.10   P l ug a nd  pl a y  C N N   [ 28]   95.70   D e e p  or di na l  r e gr e s s i on  [ 29]   71.70   R a m a c ha ndr a   e t  al .  [ 30]   77.30   R a m a c ha ndr a   a nd  J one s   [ 31]   86.00   G e or ge s c u  e t  al .   [ 32]   76.30   E S   [ 33]   94.20   PS   96.34           F ig ur e   1 .   A U C  c ur ve  f or  U C S D  pr e d 1 da ta s e t       4.   C O N C L U S I O N   I n  c onc lu s io n,  th e   s tu dy   s uc c e s s f ul ly   de m ons tr a te s   th e   e f f ic a c y  of   th e   d e e p  H T S N e t  f or   a nom a ly   de te c ti on  in   vi de o  s ur ve il la nc e ,  m a r ki ng  a   s ig ni f ic a nt   s tr id e   in   a ut om a te d  a nom a ly   de te c ti on  te c hnol ogy .  B y  in nova ti ve ly   s e gm e nt in g  vi de o  in to   c ons ta nt - le ngt h  s e gm e nt s   a nd  e m pl oyi ng  a   gr a ph - ba s e d  f e a tu r e   a na ly s is ,  d e e p  H T S N e t  not   onl y  e nha n c e s   th e   a c c ur a c y  of   de te c ti ng  a no m a li e s   in   c om pl e x  a nd  dyna m ic   e nvi r onm e nt s   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       E nhanc in g v id e o anomaly  de te c ti on f or  hum an  s us pi c io us  b e ha v io r  t hr ough de e p h y br id   …  ( K u s um a Sr i r am )   4127   but   a ls o  s ig ni f ic a nt ly   boos t s   c om put a ti ona l   e f f ic ie n c y .  T he   m e th od' s   r obus tn e s s   a ga in s t  noi s e   a nd  f a ls e   po s it iv e s   is  a  not a bl e  a dva nc e m e nt , a ddr e s s in g ke y c ha ll e nge s  i n t he  f ie ld .  T he  c om pr e he ns iv e  e va lu a ti on of  t he  U C S D   P e d1  da ta s e t,   w he r e   th e   m e th od  s how c a s e d  s up e r io r   pe r f or m a nc e   ove r   e xi s ti ng  s ta te - of - th e - a r t  te c hni que s ,  pa r ti c ul a r ly  i n t e r m s  of   A U C , r e a f f ir m s  i ts  pot e nt ia l  f or  pr a c ti c a l  im pl e m e nt a ti on.  T hi s  r e s e a r c h pa ve s  t he  w a y   f or  m or e  r e s pons iv e  a nd  i nt e ll ig e nt  s ur ve il la nc e  s y s te m s ,  c ont r ib ut in g t o  he ig ht e ne d publi c   s a f e ty   a nd s e c ur it y  in  our  i nc r e a s in gl y di gi ta l  a nd ur ba ni z e d w or ld .       R E F E R E N C E S   [ 1]   C . K .  M e he r , R .  N a ya k,  a nd U .  C . P a t i , “ D u a l  s t r e a m  v a r i a t i ona l  a ut oe nc ode r  f or  vi de o a nom a l y de t e c t i on i n  s i ngl e   s c e ne  vi de o s , ”   2nd  O di s ha  I nt e r nat i onal   C onf e r e nc e   on  E l e c t r i c al   P ow e r   E ngi ne e r i ng,  C om m uni c at i on  and  C om put i ng  T e c hnol ogy ,  O D I C O N   2022 , 2022, doi :  10.1109/ O D I C O N 54453.2022.10010086.   [ 2]   S .  Y u,  C .  W a ng,  Q . M a o,  Y . L i ,  a nd  J .  W u,  “ C r os s - e poc h  l e a r ni ng  f or   w e a kl y  s u pe r vi s e d  a nom a l y  de t e c t i on  i n  s ur ve i l l a nc e   vi de os , ”   I E E E  Si gnal  P r oc e s s i ng L e t t e r s , vol . 28, pp. 2137 – 2141, 2021, doi :  10.1109/ L S P .2021.3117737.   [ 3]   S .  B i s w a s   a nd  R .  V .  B a bu,  “ R e a l   t i m e   a nom a l y  de t e c t i on  i n  H .264  c om pr e s s e d  vi de os ,”   2013  4t h  N at i onal   C onf e r e nc e   on  C o m put e r   V i s i on, P at t e r n R e c ogni t i on, I m age  P r oc e s s i ng and G r aphi c s ,  N C V P R I P G  201 3 , 2013, doi :  10.1109/ N C V P R I P G .2013.6776164.   [ 4]   C .  K .  M e he r ,  R .  N a ya k,  a nd  U .  C .  P a t i ,  “ V i de o  a nom a l y  de t e c t i on  us i ng  va r i a t i ona l   a ut oe nc ode r ,”   2022  I E E E   2nd  I nt e r nat i onal   Sy m pos i um   on   Sus t ai nabl e   E ne r gy ,  Si gnal   P r oc e s s i ng  and   C y be r   S e c ur i t y ,   i SSSC   2022 ,   2022,  doi :   10.1109/ i S S S C 56467.2022.10051511.   [ 5]   G .  V .  P i l l a i ,  A .  V e r m a ,  a nd  D .  S e n,  “ T r a ns f or m e r   ba s e d  s e l f - c ont e xt   a w a r e   pr e di c t i on  f or   f e w - s hot   a nom a l y  de t e c t i on  i n  vi de os ,”   I nt e r nat i onal  C onf e r e nc e  on I m age  P r o c e s s i ng, I C I P , pp. 3485 – 3489, 2022, doi :  10.1109/ I C I P 46576.2022.9897615.   [ 6]   A .  M e hm ood,  “ E f f i c i e nt   a nom a l y  de t e c t i on  i n  c r ow d  vi de os   u s i ng  pr e - t r a i ne d  2D   c onvol ut i ona l   ne ur a l   ne t w or ks ,”   I E E E   A c c e s s ,  vol . 9, pp. 138283 – 138295, 2021, doi :  10.1109/ A C C E S S .2021.3118009.   [ 7]   X .  H u  e t   al . ,  “ A   w e a kl y  s upe r vi s e d  f r a m e w or k  f or   a bnor m a l   be ha vi or   de t e c t i on  a nd  l oc a l i z a t i on  i n   c r ow de d  s c e ne s , ”   N e ur oc om put i ng , vol . 383, pp. 270 – 281, 2020, doi :  10.1016/ j .ne uc om .2019.11. 087.   [ 8]   X .  Z ha ng,  Q .  Y u,  a nd  H .  Y u,  “ P hys i c s   i ns pi r e d  m e t hods   f or   c r ow d  vi de o  s ur ve i l l a nc e   a nd  a na l ys i s :   A   s ur ve y,”   I E E E   A c c e s s ,  vol .   6, pp. 66816 – 66830, 2018, doi :  10.1109/ A C C E S S .2018.2878733.   [ 9]   S .  C ha ndr a ka l a ,  K .  D e e pa k,  a nd  V .  L .K .P .,  “ B a g - of - e ve nt - m ode l s   ba s e d  e m be ddi ngs   f or   de t e c t i ng  a nom a l i e s   i n  s ur ve i l l a nc e   vi de os ,”   E x pe r t  Sy s t e m s   w i t h A ppl i c at i ons , vol . 190, 2022, doi :  10.1016/ j .e s w a . 2021.116168.   [ 10]   W .  L i n,  J .  G a o,  Q .  W a ng,  a nd  X .  L i ,  “ L e a r ni ng  t o  de t e c t   a nom a l y  e ve nt s   i n  c r ow d  s c e ne s   f r om   s ynt he t i c   da t a ,”   N e u r oc om put i ng ,  vol . 436, pp. 248 – 259, 2021, doi :  10.1016/ j .ne uc om .2021.01.031.   [ 11]   N . L i , Y . B . H ou, a nd Z . Q . H ua ng , “ I m pl e m e nt a t i on of  a  r e a l - t i m e   f a l l  de t e c t i on a l gor i t hm  ba s e d on body’ s  a c c e l e r a t i on,”   J our nal   of   C hi ne s e   C o m put e r   Sy s t e m s ,  vol .  33,  no.  11,   pp.   2410 – 2413,  2012 .  [ O nl i ne ] .  A va i l a bl e :   ht t ps : / / kns .c nki .ne t / kc m s / de t a i l / de t a i l .a s px? F i l e N a m e =X X W X 201211019& D b N a m e =C J F Q 2012   [ 12]   D .  P a n,  H .  L i u,  D .  Q u,  a nd  Z .  Z ha ng,  “ H um a n  f a l l i ng  de t e c t i on  a l gor i t hm   ba s e d  on  m ul t i s e ns or   da t a   f us i on  w i t h  S V M ,”   M obi l e   I nf or m at i on Sy s t e m s , vol . 2020, 2020, doi :  10.1155/ 2020/ 8826088.   [ 13]   Y .  Z hong,  X .  C he n,  Y .  H u,  P .   T a ng,  a nd  F .   R e n,  “ B i di r e c t i ona l   s pa t i o - t e m por a l   f e a t ur e   l e a r ni ng  w i t h  m ul t i s c a l e   e va l ua t i on  f or   vi de o  a nom a l y de t e c t i on,”   I E E E  T r ans ac t i ons  on  C i r c ui t s  and  Sy s t e m s  f o r  V i de o T e c hnol ogy , vol . 32, no. 12,  pp. 8285 – 8296, 2022,  doi :   10.1109/ T C S V T .2022.3190539.   [ 14]   C .  D i r e kogl u,  “ A bnor m a l   c r ow d  be ha vi or   de t e c t i on  us i ng  m ot i on  i nf or m a t i on  i m a ge s   a nd  c onvol ut i ona l   ne ur a l   ne t w or ks ,”   I E E E   A c c e s s , vol . 8, pp. 80408 – 80416, 2020, doi :  10.1109/ A C C E S S .2020.2990355.   [ 15]   J . L i , Q . H ua ng, Y .  D u, X . Z he n, S . C h e n, a nd  L . S ha o,  “ V a r i a t i ona l  a bnor m a l   be ha vi or  de t e c t i on w i t h m ot i on c ons i s t e nc y,”   I E E E   T r ans ac t i ons  on I m age  P r oc e s s i ng , vol . 31, pp. 275 – 286, 2022, doi :  10.1109/ T I P .2021.3130545.   [ 16]   S .  G uo,  Q .  B a i ,  S .  G a o,   Y .  Z ha ng,  a nd  A .   L i ,  “ A n  a na l y s i s   m e t hod  of   c r ow d  a bnor m a l   be ha vi or   f or   vi de o  s e r vi c e   r obot ,”   I E E E   A c c e s s , vol . 7, pp. 169577 – 169585, 2019, doi :  10.1109/ A C C E S S .2019.295454 4.   [ 17]   Z .  M a ,  Y .  L uo,  C .  B .  Y un,  H .  P .  W a n,  a nd  Y .  S he n,  “ A n  M P P C A - ba s e d  a ppr oa c h  f or   a nom a l y  de t e c t i on  of   s t r uc t ur e s   unde r   m ul t i pl e   ope r a t i ona l   c ondi t i ons   a nd   m i s s i ng   da t a ,”   St r uc t u r al   H e al t h  M oni t or i ng ,  vol .  22,  no.   2,  pp.   1069 – 1089,  2023,  doi :   10.1177/ 14759217221100708.   [ 18]   T .  A .  M a ngol i ,  C .   S uj a t ha ,  a nd  U .   M ude n a gudi ,  “ A nom a l y  de t e c t i on  i n  s ur ve i l l a nc e   vi de o  us i ng  m ot i on - di r e c t i on  m ode l , ”   P r oc e e di ngs   of   2018  2nd  I nt e r nat i onal   C onf e r e nc e   on  A dv anc e s   i n  E l e c t r oni c s ,  C om put e r s   and  C om m uni c at i on s ,  I C A E C C   2018 ,  2018, doi :  10.1109/ I C A E C C .2018.8479508.   [ 19]   M .  H a s a n,  J .  C hoi ,  J .  N e um a nn,  A .  K .  R .  - C how dhur y,  a nd  L .  S .  D a vi s ,  “ L e a r ni ng  t e m por a l   r e gul a r i t y  i n  vi de o  s e que nc e s , ”   P r oc e e di ngs   of   t h e   I E E E   C om put e r   Soc i e t y   C onf e r e nc e   on   C om put e r   V i s i on  and  P at t e r n  R e c ogni t i on ,  pp.  733 – 742,  2016,   doi :   10.1109/ C V P R .2016.86.   [ 20]   W .  L uo,  W .  L i u,  a nd  S .  G a o,  “ R e m e m be r i ng  hi s t or y  w i t h  c onvol ut i ona l   L S T M   f or   a nom a l y  de t e c t i on,”   I E E E   I nt e r nat i onal   C onf e r e nc e  on M ul t i m e di a and E x po , pp. 439 – 444, 2017, doi :  10.1109/ I C M E .2 017.8019325.   [ 21]   D .  G .  L e e ,  H .  I .   S uk,  S .   K .  P a r k,  a nd   S .  W .   L e e ,  “ M ot i on  i nf l ue nc e   m a p   f or   u nus ua l   hum a n  a c t i vi t y  de t e c t i on   a nd  l oc a l i z a t i on  i n   c r ow de d  s c e ne s ,”   I E E E   T r ans ac t i ons   on  C i r c ui t s   and  Sy s t e m s   f o r   V i de o  T e c h nol ogy ,  vol .  25,  no.  10,  pp.  1612 – 1623,  2015,   doi :   10.1109/ T C S V T .2015.2395752.   [ 22]   R .  T .  I one s c u,  S .  S m e ur e a nu,  B .  A l e xe ,  a nd  M .  P ope s c u,  “ U nm a s ki ng  t he   a bnor m a l   e ve nt s   i n  vi de o,”   P r oc e e di ngs   of   t he   I E E E   I nt e r nat i onal  C onf e r e nc e  on  C om put e r  V i s i on , pp. 2914 – 2922, 2017, doi :  10.1 109/ I C C V .2017.315.   [ 23]   Y .  S .  C hong  a nd  Y .   H .  T a y,  “ A bnor m a l   e ve nt   d e t e c t i on  i n  vi de o s   us i ng s pa t i ot e m por a l   a ut oe nc ode r ,”   A dv anc e s   i n   N e u r al   N e t w o r k s   -   I SN N  2017 , pp. 189 – 196, 2017, doi :  10.1007/ 978 - 3 - 319 - 59081 - 3_23.   [ 24]   D .  X u,  Y .  Y a n,  E .  R i c c i ,  a nd  N .  S e be ,  “ D e t e c t i ng  a nom a l ous   e ve nt s   i n  vi de os   by  l e a r ni ng  de e p  r e pr e s e nt a t i ons   of   a ppe a r a nc e   a n d  m ot i on,”   C om put e r  V i s i on and I m age  U nde r s t andi ng , vol . 156, pp. 117 – 127, 2 017, doi :  10.1016/ j .c vi u.2016.10.010.   [ 25]   T .  H a r a da   a nd  H .  L i u,  “ O nl i ne   gr ow i ng  ne ur a l   ga s   f or   a nom a l y  de t e c t i on  i n  c ha ngi ng  s ur ve i l l a nc e   s c e ne s ,”   P at t e r n  R e c ogni t i on ,  vol . 64, pp. 187 – 201, 2017, doi :  10.1016/ j .pa t c og.2016.09.016.   [ 26]   W . L uo, W . L i u, a nd S . G a o, “ A  r e vi s i t  of  s pa r s e  c odi ng - ba s e d a nom a l y de t e c t i on i n s t a c ke d R N N  f r a m e w or k,”   P r oc e e di ngs  of  t he   I E E E  I nt e r nat i onal  C onf e r e nc e  on C om put e r  V i s i on , pp. 341 – 349, 2017, doi :  10.1109/ I C C V .2017.45.   [ 27]   W .  L i u,  W .  L uo,  D .  L i a n,  a nd  S .   G a o,  “ F ut ur e   f r a m e   p r e di c t i on  f o r   a nom a l y   de t e c t i on  -   a   ne w   ba s e l i ne ,”   P r oc e e di ngs   of   t he   I E E E   C om put e r   Soc i e t y   C onf e r e nc e   on  C om put e r   V i s i on  and  P at t e r n   R e c ogni t i on ,  pp.  6536 – 6545,  2018,  doi :   10.1109/ C V P R .2018.00684.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4121 - 4128   4128   [ 28]   Z .  Y a ng,  Y . L i ,  J .  Y a ng,  a nd   J .  L uo, “ A c t i on  r e c ogni t i on  w i t h s pa t i o – t e m por a l   v i s ua l   a t t e nt i on  on s ke l e t on  i m a g e   s e que nc e s ,”   I E E E   T r ans ac t i ons   on   C i r c ui t s   and   Sy s t e m s   f o r   V i de o  T e c hnol ogy ,  vol .  29,  no.  8,  pp.   2405 – 2415,  2019,  doi :   10.1109/ T C S V T .2018.2864148.   [ 29]   G .  P a ng,  C .   Y a n,   C .  S he n,   A .  V.   D.   H e nge l ,  a nd   X .  B a i ,  “ S e l f - t r a i ne d  de e p  or di na l   r e gr e s s i on  f or   e nd - to - e nd  vi de o   a nom a l y   de t e c t i on,”   P r oc e e di ngs   of   t he   I E E E   C om put e r   Soc i e t y   C onf e r e nc e   on  C om put e r   V i s i on  and  P at t e r n  R e c ogni t i on ,  pp.   12170 – 12179,  2020, doi :  10.1109/ C V P R 42600.2020.01219.   [ 30]   B .  R a m a c ha ndr a ,  M .  J .  J one s ,  a nd  R .  R .   V a t s a va i ,  “ L e a r ni ng  a   di s t a nc e   f unc t i on  w i t h  a   S i a m e s e   ne t w or k  t o  l oc a l i z e   a nom a l i e s   i n   vi de os ,”   P r oc e e di ng s   -   2020  I E E E   W i nt e r   C onf e r e nc e   on  A ppl i c at i ons   of   C om p ut e r   V i s i on,  W A C V   2020 ,  pp.  2587 – 2596,  2020,  doi :   10.1109/ W A C V 45572.2020.9093417.   [ 31]   B .  R a m a c ha ndr a   a nd  M .  J .  J one s ,  “ S t r e e t   s c e ne :   a   ne w   da t a s e t   a nd  e va l ua t i on  pr ot oc ol   f or   vi de o  a nom a l y  de t e c t i on,”   P r oc e e di ngs   -   2020  I E E E   W i nt e r   C onf e r e nc e   on  A ppl i c at i ons   of   C om put e r   V i s i on,  W A C V   2020 ,  pp.  2558 – 2567,   2020,  doi :   10.1109/ W A C V 45572.2020.9093457.   [ 32]   M .  I .  G e or ge s c u,  A .  B a r ba l a u,  R .  T .  I one s c u,  F .   S .  K ha n,  M .  P ope s c u,  a nd  M .  S h a h,  “ A nom a l y  de t e c t i on  i n  vi de o  vi a   s e l f - s upe r vi s e d  a nd  m ul t i - t a s k  l e a r ni ng,”   P r o c e e di ngs   of   t he   I E E E   C om put e r   Soc i e t y   C onf e r e nc e   on C om put e r   V i s i on  and  P at t e r n   R e c ogni t i on ,  pp .   12737 – 12747, 2021, doi :  10.1109/ C V P R 46437.2021.01255.   [ 33]   S . Z ha ng  e t  al . , “ I nf l ue nc e - a w a r e  a t t e nt i on ne t w or ks  f or  a nom a l y de t e c t i on i n s ur ve i l l a nc e  vi de os ,”   I E E E  T r ans ac t i ons  on C i r c ui t s   and Sy s t e m s  f o r  V i de o T e c hnol ogy , vol . 32, no. 8, pp. 5427 – 5437, 2022, doi :  10.1109/ T C S V T .2022.3148392.       B I O G R A P H I E S  O F  A U T H O R       Mrs. Kus uma  Sriram           r eceived B. E .   degree under  VTU in 2004,  an d M.Tech .   from   RVCE in the  year  2010. She  is an  active  acade mician  having 1 8  +  yea rs of te aching e xperie nce .   Currentl y  she  is  working  at   Ramaiah  Institute  of  Technol ogy,   Be ngaluru,   as  an  Assistant   Profes sor  in  the  Department  of  Information  Science  and  Engineering.   She  is  p ursuing  Ph.D .   in   the  area  of  video  processing/machine   learning .  She  is   a  trained  Fac ulty  of  Infosys  InfyTQ  t o   motivate  students  for  i nfosys   job  opportunities.   She  has   worked  as   tr ainer  for  infosys  campus  connect pro gram. Sh e can be con tacted at  email:  kusumas _12@ rediffmail .com.          Dr.  Kiran  Purusotham           currently  working  as  HOD,  Departme nt  of  Compute r   Scienc e  and  Engine ering .  with  total  experience  of  20  years.   He  has  done  research  on  privacy  preserving  data  mining  with  focus  on   detection  of  sensitivity   patterns  and  was  awarded  Ph.D .   from  VTU  in  2014.  His   research  interests  include   cryptograp hy,  rand omizati on,  anonymi zation  methods  in  generaliz ation,  indexing  techniques  and  design  patterns .  He  has  guided  several  M.Tech .   and B.E .   projects &  internships  and is cu rrently g uiding  four  research scho lars at V TU.  He can be contacted at email :   kiranpmys@ gmail.com.      Evaluation Warning : The document was created with Spire.PDF for Python.