I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   4 ,  A u g u s t   201 9 ,   p p .   2 4 5 1 ~2 4 5 9   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v9 i 4 . p p 2 4 5 1 - 2459          2451       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Cro w d  recog nition sy ste m  bas ed o n optica l f lo w  along  w ith  SVM  clas sifier       Sh re eda rsh a n  K . 1 ,  S.   Set h u Selv i 2   De p a rtme n t  o f   El e c tro n ics   a n d   C o m m u n ica ti o n   E n g in e e rin g ,   M   S   Ra m a iah   In sti tu te  o f   T e c h n o l o g y ,   In d ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   No v   11 ,   2 0 1 7   R ev i s ed   Dec   2 8 ,   2 0 1 7   A cc ep ted   Mar   4 ,   2 0 1 9       T h e   m a n u sc rip t  d isc u ss e s  a b o u t   a b n o rm a li ti e s  in   a   c ro w d e d   sc e n a rio .   T o   p re v e n t  th e   m ish a p   a t  a   p u b li c   p la c e ,   th e re   is  n o   m u c h   m e c h a n is m   wh ich   c o u l d   p re v e n t  o r   a lert  th e   c o n c e rn e d   a u t h o rit y   a b o u t  su s p e c ts  in   a   c ro w d .   Us u a ll y   in   a   c ro w d e d   sc e n e ,   th e re   a r e   c h a n c e s  o f   so m e   m ish a p   li k e   a   terro rist  a tt a c k   o r  a   c rime .   Ou r  targ e t  is  f in d in g   tec h n i q u e s  t o   id e n t ify   su c h   a c ti v it ies   a n d   t o   p o ss ib ly   p re v e n t  t h e m .   If   th e   c ro w d   m e m b e rs  e x h ib it   a b n o rm a l  b e h a v io r,   w e   c o u ld   i d e n ti f y   a n d   sa y   th a t  th is   p a rti c u lar  p e rso n   is  a   su sp e c t   a n d   t h e n   th e   c o n c e rn e d   a u th o rit y   w o u ld   l o o k   i n to   th e   m a tt e r.   T h e re   a re   v a rio u s  m e th o d s to   id e n ti f y   th e   a b n o rm a l  b e h a v io r.   T h e   p ro p o se d   a p p ro a c h   is  b a se d   o n   o p ti c a l   f lo w  m o d e l.   It  h a s  a n   a b il it y   to   d e tec t  th e   su d d e n   c h a n g e s  in   m o ti o n   o f   a n   in d iv id u a l  a m o n g   th e   c ro w d .   F irs t,   th e   m a in   re g io n   o f   m o ti o n   is  e x trac ted   b y   th e   h e l p   o f   m o ti o n   h e a t  m a p .   Ha rris  c o rn e r   d e tec to r   is  u se d   f o r  e x trac ti n g   p o in t   o f   in tere st  o f   e x trac ted   m o ti o n   a r e a .   Ba se d   o n   th e   p o in t   o f   i n tere st  a n   o p ti c a l   f lo w   is  e sti m a ted   h e re .   Af ter  a n a ly z in g   th is  o p t ica l  f lo w   m o d e l,   a   th re sh o ld   v a lu e   is  f ix e d .   Ba sic a ll y   o p ti c a l  f lo w   is  a n   e n e rg y   lev e l  o f   in d iv id u a l  f ra m e .   T h e   th re sh o l d   v a lu e   is  f o rw a rd e d   to   S V M   c las sif ier,  w h ich   p ro d u c e s  a   b e tt e r  re su lt   w it h   9 9 . 7 1 %   a c c u ra c y .   T h i s  a p p r o a c h   is  v e ry   u se f u l  in   re a l  t im e   v id e o   su rv e il lan c e   s y ste m   w h e re   a   m a c h in e   c a n   m o n it o r  u n w a n ted   c ro w d   a c ti v it y .     K ey w o r d s :   A b n o r m al  b eh a v io u r   Mo tio n   h ea t  m ap   Op tical  f lo w   Co p y rig h t  ©   2 0 1 9   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Sh r ee d ar s h a n   K . ,    Dep ar t m en t o f   E lectr o n ics a n d   C o m m u n icat io n   E n g i n ee r in g ,   M  S R a m aiah   I n s tit u te  o f   T ec h n o lo g y ,   MSR I T   P o s t,  B an g alo r e  - 5 6 0 0 5 4 ,   Kar n atak a,   I n d ia .   E m ail:  s h r ee d ar s h a n . k @ m s r i t.e d u       1.   I NT RO D UCT I O N   Den s i t y   o f   p o p u latio n   i n   u r b a n   ar ea s   is   m u ch   h i g h er   co m p ar ed   to   r u r al  ar ea s .   So ,   th er e  i s   a  h i g h er   o cc u r r en ce   o f   ab n o r m al  ac ti v itie s   s u ch   a s   ille g al  g at h er i n g ,   g r o u p   f ig h ti n g   etc.   T h es e  ac tiv itie s   m a y   b e  d an g er o u s   f o r   o u r   s o cial  p u b l ic  s ec u r it y .   T o   d etec t  s u ch   ill eg al  ac ti v ities ,   cr o w d   b e h av i o r   p r e d ictio n   is   an   in ter esti n g   to p ic  o f   a  v id eo   m o n ito r in g   s y s te m   an d   h as  a  g r e at  v alu e  f o r   s t u d y   an d   r esear c h .   I t  is   v er y   d i f f ic u lt   to   an al y ze   in d i v id u al  cr o w d   m e m b er s   w h et h er   th eir   b eh av io r   is   n o r m al  o r   ab n o r m al.   T h er e  ar e  s o m e  f ac to r s   lik e  n u m b er   o f   cr o w d   o b j ec ts ,   m o tio n   o f   cr o w d   o b j ec ts ,   an d   s eg r eg atio n   o f   cr o w d   o b j ec ts ,   eli m i n ati n g   t h e   b ac k g r o u n d   d is t u r b an ce ,   ca tc h   th e  v ar ian ce   a m o n g   cr o w d   o b j ec t e tc. ,   w h ich   is   r eq u ir ed   to   an al y ze   an d   p r ed ict  th e  o u tco m e.   So m e  s c h o lar s   h av e  m ad e  s ev er al  ac h iev e m e n ts   i n   th i s   ar ea .   T o   d escr ib e   th e  cr o w d   b eh av io r   W an g   et  al .   [ 1 ]   h as  i m p le m en ted   an   i m p r o v ed   s p atial - te m p o r al  f ea tu r e  w it h   ad ap tiv e  s iz e.   A   g r ad ien t  b ased   s p atial  m o d el  is   u s ed   to   d ef in e   th e  m o tio n   o f   o b j ec ts   in   s ce n es  an d   r ec o g n ize  th e  t y p e  o f   lo ca l  cr o w d   b eh av io r   b y   Kr atz  et  al .   [ 2 ] .   L B P - T O P   alg o r ith m   i s   i m p le m e n ted   b y   X u   et  al .   [ 3 ]   to   ex tr ac t  th e  cr o w d   b eh av io r .   T h is   alg o r ith m   m ak e s   a  L D A   m o d el  b y   th e  h elp   o f   tr ain i n g   an d   b ased   o n   th at  m o d el   it d ec id es th e  lo ca l c r o w d   b eh av io r .   T h e  ab o v e  d is cu s s ed   m o d el  m ai n l y   i m p le m e n ts   s p a tial - te m p o r al  f ea tu r e,   g r ad ien t f ea t u r e  o r   tr ain in g   tex t u r e  f ea t u r e  to   d eter m in e  th e  lo ca l  cr o w d   b eh a v io r .   I n   all  th ese  m o d els  t h er e  is   a   lack   o f   p r o v id in g   in f o r m atio n   o f   g lo b al  c h ar ac ter is tics   o f   t h e  cr o w d ,   a n d   h en ce   th e  co m p lete  i n f o r m atio n   o f   t h e  cr o w d   ca n n o t  b e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 87 08   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 ,  A u g u s t 2 0 1 9   :   2 4 5 1   -   2459   2452   o b tain ed .   So   it  is   i m p o r ta n t  to   u n d er s ta n d   th e  cr o w d   b eh av io r al  o f   co m p lete  s ce n e  w i th o u t  k n o w in g   t h e  in d iv id u al  ac t io n .   R ec en t l y   s o m e  m o d els  ar e  p r o p o s ed   w h ic h   a r e  b ased   o n   Hid d en   m ar k o v   m o d el   ( HM M)   [ 4 ,   5 ] ,   L ag r an g ia n   C o h er en t  Stru ct u r es  ( L C S)   [ 6 ] ,   So cial  Fo r ce   Mo d el  ( SF M) [ 7 ] ,   MA P R M  [ 8 ] ,   C h ao tic   I n v ar ia n ts   ( C I )   [ 9 ]   an d   Kin e m atic  Featu r e  ( K F)   [ 1 0 ]   . T h ese  m o d el s   ca n   g i v e  b etter   p er f o r m an ce   in   d etec tio n   o f   cr o w d   b eh av io r al  o n   s o m e  g i v en   b en ch m ar k   [ 7 ,   9 ] .   B u t th es e  m eth o d s   m a y   f ail  to   d etec t   th e  cr o w d   b eh av io r al  in   ca s e  o f   lo w   r eso l u tio n   v id eo   o r   if   th e  s p ee d   o f   o b j ec t  is   to o   f ast  o r   t o o   s lo w .   I n   [ 1 1 ] ,   a  m et h o d   is   p r o p o s ed   to   o b tain   b eh a v io u r al  r ec o g n itio n   wh ich   is   b a s ed   o n   Vio le n ce   Fl o w s   th a t  s tar t s   f r o m   co m p u tatio n   o f   o p tical  f lo w   b et w ee n   ad j ac en t  f r a m e s .   T h is   m et h o d   is   w el l  s u itab le  f o r   a  ch o s en   v id eo   s et  b u t   it n ee d s   m o r e  en h a n ce m en t s   t o   g et  m o r e  ac cu r ate  r esu lt.   I n   th is   p ap er ,   w e  h a v e  d em o n s tr ated   an   ap p r o ac h   th at   is   b ased   o n   o p tical  f lo w   p atter n .   So m e  tr ea t m en t  h a s   b ee n   d o n e  alo n g   w it h   o p tical  f lo w   p atter n   in   o r d e r   to   d etec t  th e  cr o w d   b eh av io r .   T o   ex tr ac t th e  r eg io n   o f   m o tio n   ac tiv it y ,   w e  ta k e  th e  h elp   o f   m o tio n   h ea t  m ap   i n   a  cr o w d   s c en e.   T h is   h ea t  m ap   r ed u ce s   th e   ti m e  o f   p r o ce s s i n g   an d   g iv e s   b etter   r esu lt  t h at  p l a y s   a  v er y   i m p o r tan t  r o le  in   r ea l  ti m e  ap p licatio n .   A   h o t  r e g io n   o f   t h e  s ce n e   g iv es  t h e  p o in t  o f   i n ter est   ea s i l y .   T h ese  p o in ts   o f   in ter e s t  m ak e  a  b o u n d ar y   in   h o t   ar ea s   o f   th e  s ce n e  an d   b ased   o n   th e  m ar k ed   ar ea ,   o p tical  f lo w   is   co m p u ted .   Op tical  f lo w   i n f o r m atio n   m ak e s   a  m u lti  m o d el  o p tical  f lo w   p atte r n   in   d i f f er e n t ti m e  b ased   o n   t h e  b eh a v io r al  o f   th e  cr o w d .   V ar iatio n s   o f   m o tio n s   ar e  esti m ated   to   m ak e  a  d is tin ctio n   in   f a v o r   o f   p o ten tial  ab n o r m al  ev e n t s .   W e  c o n s id er   th at  w e  ar e  in   a  c r o w d   en v ir o n m e n t  w i th   n o   r estrictio n s   o f   th e  n u m b er   o f   p eo p le.   T o   an al y ze   t h e  o p tical  f lo w   m o d el,   w e  h av e  ta k e n   s tan d ar d   UM N  d ataset  an d   p er f o r m   t h e  p r o p o s ed   ap p r o ac h .     T h e  p ap er   is   o r g an ized   is   as  f o l lo w :  I n   s ec tio n   2   a   b r ief   r ela ted   w o r k   is   p r esen ted .   Sec tio n   3   ta lk s   ab o u t   th e  p r o p o s ed   m et h o d .   W e  co m p ar e  t h e  p r o p o s ed   m et h o d   w ith   Sp ar s e  R ec o n s tr u ctio n   C o s t  ( SR C )   [ 1 ] ,   C h ao tic   I n v ar ia n ts   ( C I )   [ 1 2 ] ,   So cial  Fo r ce   Mo d el  ( SF )   [ 4 ]   an d   th e  f o r ce   f ie ld   m o d el  ( FF )   [ 1 3 ]   o n   UM N  d ataset.   I n   s ec tio n   4   o u tco m e  is   e v alu a ted   an d   an al y s is   i s   p er f o r m ed .   L ast  s ec tio n   co n clu d es t h e  p ap er .       2.   RE L AT E D  WO RK   L i u   et  al .   [ 1 4 ]   h as  p r o j ec ted   an   ap p r o ac h   i.e .   ag en t - b ased   m o ti o n   m o d els  ( A MM s )   w h ic h   u s e s   m u ltip le   ex e m p lar   to   d etec t  cr o w d   b e h a v io r   o f   ca p tu r ed   s ce n e  tr aj ec to r y .   T h e y   p r o p o s ed   an   o p tim iza tio n   al g o r ith m   t h at  co r r elate s   b et w ee n   tr aj ec to r y   d ata  an d   ex e m p lar   A MM   t h at  is   b ased   o n   KL - d i v er g e n ce   an d   E x ten d ed   Kal m a n   S m o o th er .   I n   o r d er   to   d escr ib e  th e  cr o w d   m o tio n ,   th e y   i n tr o d u ce d   th e  n o v el  in d i v id u al  f ea tu r e  al o n g   w it h   h o lis tic  f ea t u r e  th at  i s   b ased   o n   p r o p o s ed   m ea s u r e m e n t  o f   co r r elatio n .   T h e  r esu lt  p r o v es  th at  t h e  p r o p o s ed   ap p r o ac h   is   w ell  s u itab le  f o r   r ec o g n izi n g   r ea l  w o r ld   cr o w d e d   s ce n es.   I n   [ 1 5 ] ,   B er a  et  al .   h as p r o p o s ed   an   alg o r it h m   f o r   lo w   to   m e d iu m   d e n s i t y   cr o w d   t h at  u s e s   a  tr aj ec to r y   b eh av io r   lear n i n g   p r o ce s s .   T h i s   alg o r it h m   co m b i n es  tr ac k i n g   alg o r ith m ,   m o d el  o f   n o n - li n ea r   p ed estrian   m o t io n   an d   tech n iq u es  o f   B a y esia n   lear n in g   to   co m p u te  t h e  b eh av i o u r   o f   ea ch   p ed estrian   in d iv id u all y   i n   th e  s ce n e .   T h ese  co m b i n atio n s   o f   f ea t u r es  ar e  u s ed   to   id en ti f y   t h e  d i f f er en t  m o tio n   p atter n s   o f   p ed estrian   an d   s e g m en t  t h e   tr aj ec to r ies.  P E T S  2 0 1 6   A R E NA   d ata s et  h a s   b ee n   u s ed   f o r   t h is   a lg o r it h m .   T h i s   alg o r it h m   i s   s u itab le  f o r   in d o o r   o r   o u td o o r   cr o w d   s ce n e  an d   h as g o t a   b etter   p er f o r m a n ce .   I n   [ 1 6 ]   au th o r   h as p r o p o s ed   a   n o v el  alg o r it h m   to   d etec t a b n o r m al  cr o w d   b eh av io u r   w h ic h   is   b ased   o n   th e  ac ce ler atio n   f ea t u r e.   T h is   alg o r ith m   e x p lo r es  th e  g lo b al  f ea tu r e  o f   th e  c u r r en t  b e h av i o u r al  s tate  an d   t h e   p r ev io u s   b eh a v io r al  s tate  u n l i k e  p r ev io u s   w o r k   th at  e x p lo r es  o n l y   lo ca l  f ea t u r es.  I n   t h i s   p ap er ,   au th o r   h as   p r o j ec ted   a  n e w   g lo b al  ac ce ler atio n   f ea t u r e  t h at  is   b ased   o n   in v ar ia n ce   o f   th r ee   co n s ec u ti v e  f r a m es  o f   g r e y - s ca le  i m a g e s .   I t  h as  a n   ab ilit y   t o   m a tch   p i x els  a n d   p r o v id es  th e  s p ee d   ch an g es  p r ec is el y .   Af t er   th at,   an   lo g ar it h m   o f   d etec tio n   i s   d esi g n ed   w it h   t h e  h elp   o f   ac ce ler atio n   co m p u tatio n   alo n g   w ith   a  f o r eg r o u n d   s tep   o f   e x tr ac tio n .   T h is   alg o r ith m   i s   r o b u s t  b ec au s e  it  is   in d ep en d e n t  o f   d etec tio n   an d   s eg m e n tatio n .   T h is   alg o r ith m   g i v es  t h e   r esu lt  b ased   o n   th e  t h r esh o ld   an al y s is .   Se v er al  d atasets   h a v e  b ee n   tak e n   an d   b ased   o n   th at  r esu l t  h as  b ee n   co m p u ted .   R es u lt s   o b tain ed   ar e  p r o m is i n g .   C r o w d   b eh av io r al  d etec tio n   is   an   ac tiv el y   r esear ch ed   ar ea   w h er e  b eh av io r al  f ea t u r es  ar e  u s ed   to   d if f er e n tiate  b et w ee n   n o r m al  a n d   ab n o r m al  ac ti v ities .   I n   [ 1 7 ] ,   v ar io u s   t y p e s   o f   f ea tu r es  ar e  s u m m ar ized   in   o r d er   to   ca p tu r e  t h e  b eh a v io r   o f   th e   c r o w d .   T h ese  f ea tu r es   ar e  p r o j e cted   f o r   en co d in g   th e   cr o w d   b e h av io r ,   w h ic h   m a y   b e  lo ca l  o r   g lo b al,   eith er   tem p o r al  o r   s p atial  o r   b o th .   P o s itio n ,   m o tio n   b y   o p tical  f lo w   [ 1 8 ] ,   f o r eg r o u n d   o b j ec t   s ize   [ 1 9 ,   2 0 ]   g r ad ien t  [ 2 1 ] ,   h i s to g r a m   o f   ( d ir ec tio n ,   m o tio n ,   tex t u r e,   f ield )   [ 2 2 ] ,   tex tu r e  a n d   te m p o r al  s p atial  f ea t u r es  ar e  th e  d if f er en t  t y p e s   o f   f ea t u r es.  A   late n t  Dir ic h let  a llo c atio n   m o d el  is   in tr o d u ce d   i n   [ 2 3 ]   f o r   c r o w d ed   s ce n e  w h er e  m o tio n   f ea t u r e  o f   d ir ec tio n ,   v elo cit y   an d   p o s itio n   is   u s ed .   A   Ma r k o v   r an d o m   f ield   m o d el  is   p r o p o s ed   b y   th e   au t h o r   i n   [ 1 2 ]   f o r   ab n o r m a l d etec ti n g   ac ti v it ies.  A t e ac h   f r a m e  le v el,   o p tic al  f lo w   f ea t u r e   w a s   ex tr ac ted .   T h e  d etec tio n   is   b as ed   o n   th e  p r o b ab ilit y   m atr i x .   T h ese  m o d els  ar e  w e ll  s u itab l e  f o r   s ev er al  s ce n es.   A   tr aj ec to r y   is   e x tr ac ted   f o r   n o r m al  e v en t  v id eo s   an d   i s   co m p ar ed   w it h   ab n o r m al  v id eo s   in   [ 2 4 ] ,   s o   th at  th e   ab n o r m al  ac ti v itie s   ca n   b e  d i f f er en tia ted   f r o m   n o r m a l  ac ti v i ties .   I n   [ 2 5 ]   au t h o r   h as  g e n er ated   a  m o d el  th at  is   b ased   o n   m i x tu r e  o f   o u tlier s   an d   d y n a m ic  te x t u r es,  w h ich   is   lab elled   as  an o m a lies .   I n   [ 2 6 ] ,   a   co n d itio n al   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C r o w d   r ec o g n itio n   s ystem  b a s ed   o n   o p tica l flo w   a lo n g   w ith   S V M c la s s ifier   ( S h r ee d a r s h a n . K )   2453   f u n ctio n   w as  co n s tr u cted   b as ed   o n   th e  f ea tu r e  o f   d ir ec tio n ,   m ag n it u d e  an d   p o s itio n   as  w ell   as  a  B a y e s ian   f r a m e w o r k   w as  p r o j ec ted   f o r   escap in g   d etec tio n   t h r o u g h   m o d ellin g   cr o w d   m o tio n   i n   b o th   t h e  ab s e n ce   an d   p r esen ce   o f   escap e  ev e n t s .   Se v er al  Sp atio - te m p o r al  t y p es  ar e  also   i m p le m en ted .   I n   o r d er   to   id en tify   an o m al y   d etec tio n ,   a  Sp atio - te m p o r al  t y p e  b lo ck   w i s e  ap p r o ac h   is   u s ed   ap p ly in g   K - n ea r e s t  n ei g h b o r s   th at  i m p le m e n ts   co - o cc u r r en ce   m o d el  [ 13 - 27 ] .   A   cr o w d   m o tio n   p atter n   i s   p r o p o s ed   in   [ 2 8 ]   f o r   cr o w d   b eh a v i o r al  d etec tio n   w h ich   u s e s   Sp atio - te m p o r al  t y p es.  I n   [ 2 9 ] ,   au th o r   h as  co n s id er ed   b o th   te m p o r al  an d   s p atial  f r a m e w o r k   to   p r o p o s e  a  f ea t u r e  th at  is   b ased   o n   n e w  r eg io n   in   o r d er   to   d escr ib e  ap p ea r an ce   an d   m o tio n   o f   b o th   th e  f r a m e w o r k .   B o th   s p atial  an d   te m p o r al  f r a m e w o r k   f ea t u r e  is   d eter m i n ed   to   g en er ate  t h e  lo ca l  m o t io n   p atter n   b e h a v io r   [ 2 2 ]   ev en   in   e x tr e m el y   cr o w d ed   s c en ar io .   HM M  f ea t u r e  i s   u s ed   t o   d eter m i n e  lo ca l  m o tio n   p att er n   th at  is   b ased   o n   th e  3 D  Gau s s ian   d is tr ib u tio n .   A   Sp atio - te m p o r al  m o d el  is   also   i m p le m e n ted   in   [ 3 0 ] ,   w h er e  ab n o r m al  ac ti v itie s   in   t h e  s p ee d ,   s ize  a n d   d ir ec t io n   o f   o b j ec t  w er e  d etec ted .   A   v id eo   s u r v ei llan ce   s y s te m   is   d e v elo p ed   in   [ 3 1 - 3 2 ]   f o r   ab n o r m al  v i s u a l d etec tio n   an d   r ec o g n itio n   in   cr o w d .       3.   P RO P O SE D  SYS T E M     3 . 1 .    M o t io n hea t   m a p   T h is   w o r k   Mo tio n   h ea t  m ap   is   a  t w o   d i m e n s io n al  ( 2 D)   g r ap h ical  r ep r esen tatio n   o f   an   i m ag e  t h at   r ep r esen ts   a  h i s to g r a m   w h er e  m o s t  ac tiv it y   o f   m o tio n   o cc u r s .   L e t  H  a n d   I   i n d icate   t h e  h ea t  m ap   a n d   i n te n s it y   o f   f r a m e  r esp ec tiv el y .     ( , )   =   − 1 ( , )   +   ( , )     ( 1 )     0 =   0 ( , )     ( 2 )   W h er e  n   an d   ( n - 1)   r ep r esen ts   t h e  cu r r en t a n d   th e  p r ev io u s   f r a m e  n u m b er s ,   i a n d   j   ar e  th e  co o r d in ates ( lin e  a n d   co lu m n )   o f   t h e  p ix el  ( i,j )   o f   a  f r a m e.   Hea t  m ap   is   j u s t  u s ed   f o r   an al y s i n g   th e  ar ea   w h er e  th e  m o tio n   ac tiv it y   o cc u r s .   T h is   w i ll  h elp   in   r ed u cin g   p r o ce s s in g   ti m e  a n d   i m p r o v es t h e  q u alit y   o f   t h e  r es u lt.     3 . 2 .   P o ints o f   inte re s t   ex t ra c t io n   On ce   h ea t  m ap   is   g e n er ated ,   n e x t  w e  g o   f o r   ex tr ac ti n g   t h e  p o in ts   o f   in ter e s t.  Mo r av ec ’ s   co r n er   d etec to r   is   a  s i m p le   alg o r it h m   t h at  i s   co m m o n l y   u s ed   f o r   th is   p u r p o s e.   B u t  n o w   it  is   o u td ated .   So m et i m es   it  w a s   n o t  ab le  d etec t th e  ac cu r ate  co r n er   ed g e  d u e  to   w ea k   i n v ar ian t r esp o n s e  w it h   r esp ec t to   d ir ec tio n .   S o   it is   co n s id er ed   as  n o is e  s e n s iti v e.   Mo r av ec ’ s   co r n er   m o d el  h ad   m i n i m al  co m p lex i t y   i n   co m p u tatio n al  p r o ce s s ,   b u t  th er e  ar e  li m i ta tio n s   th at  w er e  d is c u s s e d   ea r lier .   T h e  o th er   w a y   o f   ex tr ac tin g   p o in t  o f   in ter est  is   Har r is   co r n er   d etec to r   m o d el.   I t  is   co m p u tatio n a ll y   d em a n d i n g   a n d   o v er co m e s   all   th e  li m itatio n s   o f   Mo r av ec ’ s   co r n er .   T h is   m o d el  is   i m p le m en ted   in   t h e  c u r r en t   p ap er .   I t  is   in v ar ia n t  to   d ir ec tio n   an d   ill u m in a tio n   v ar iatio n .   I t   is   en tire l y   b ased   o n   a  lo ca l  au t o   co r r elate d   s ig n al   f u n ctio n .   T h e  im p le m en ted   f u n ctio n   ca n   m ea s u r e  th e  s i g n al  w it h   h elp   o f   p atch   s h if t  in   v ar io u s   d ir ec tio n s ,   th e   s h i f t  b ein g   v er y   s m all.   L et  u s   ass u m e  a   p o in t  ( x ,   y )   an d   a  s h i f t  ( ∆x ,   ∆ y )   t h e n   th e  lo ca l  au to - co r r elatio n   f u n ctio n   is   d ef i n ed   as:     ( , ) = ∑ [ ( , ) − ( + ∆ , + ∆ ) ] 2   ( 3 )     w h er e  I   d en o tes  t h e  i m a g e  f u n ctio n   an d   ( x _ i,   y _ i) ar e  th e  p o i n ts   i n   t h e  s m o o t h   cir cu lar   w i n d o w   w   ca n ter ed   o n   ( x ,   y ) . T h e  s h i f ted   i m a g e  is   ap p r o x i m ated   b y   a  T ay lo r   ex p a n s i o n   tr u n ca ted   to   th e  f ir s t o r d er   t er m s   as         ( + ∆ , + ∆ ) ≈ ( , ) + [ ( , ) ( , ) ] [ ∆ ∆ ]   ( 4 )     w h er e  I _ x   ( . , . )   an d   I _ y   ( . , . ) d en o tes  th e  p ar tial  d er iv ati v e s   in   x   an d   y ,   r esp ec tiv el y .   S u b s ti tu tin g   th e  r i g h t  h an d   s ite  o f   ( 4 )   in to   ( 3 )   y ield s :     ( , ) = ∑ ( [ ( , ) ( , ) ] [ ∆ ∆ ] ) 2   ( 5 )        = [ ∆ ∆ ] ( , ) [ ∆ ∆ ]   ( 6 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 87 08   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 ,  A u g u s t 2 0 1 9   :   2 4 5 1   -   2459   2454   ( , ) = ( ∑ ( ( , ) ) 2 ∑ ( , ) ( , ) ∑ ( , ) ( , ) ∑ ( ( , ) ) 2 )   ( 7 )     No w   w e  a s s u m e  t h at   λ 1   an d   λ 2 ar e  th e  E ig e n   v al u es  o f   m atr ix   M ( x , y ) T h is   E ig e n   v alu e   w ill  d escr ib e   o u r   p o in t  o f   in ter est.  I f   th e  v alu e  o f     λ 1   an d   λ 2 is   s m all,   th e n ,   p o in t  o f   in ter est  d o es  n o t  ex is t  an d   th e  o b tain ed   au to   co r r elate d   f u n ctio n   is   f la t  in   n atu r e.   I f   t h e  v a lu e  o f     λ 1 is   h i g h   an d   o t h er     λ 2 v alu e  is   lo w ,   t h e n   it  d en o tes  t h at   an   ed g e  is   f o u n d   an d   th e  co r r esp o n d in g   au to   co r r elate d   f u n ct io n   is   r ig id   in   s h ap e.   A l s o   if   th e  v alu e  o f   b o th     λ 1   an d   λ 2 is   h i g h   t h at  m ea n s   a  p o in t  o f   in ter est  is   f o u n d   an d   co r r esp o n d in g   au to   co r r elatio n   f u n ctio n   is   s h ar p l y   p ick ed .   I t d en o tes th er e  is   a  s i g n i f ica n t i n cr ea s e  i n   c ( x , y ) .     3 . 3 .     O ptic a l f lo w   m o de l   A   m o d ellin g   o f   o p tical  f lo w   i s   d escr ib ed   in   th i s   s ec tio n   to   an al y s e  t h e  cr o w d   b eh a v io u r .   I n ten s it y   p ar am eter   is   av o id ed   in   esti m a tin g   o p tical  f lo w .   Her e  w e  h a v e  u s ed   alp h a  p ar am eter s   to   i m p r o v e  th e  r esu lt  an d   en h a n ce   t h e  p er f o r m a n ce .   A   n o r m al   m o v e m e n t  o f   cr o w d   i s   s h o w n   in   F ig u r e  1 ,   w h ic h   co n tain s   a  v ar iatio n   i n   b ac k g r o u n d .   T h is   v ar iat io n   i s s u e  co m es  i n   p atter n   an a l y s is   o f   th e   cr o w d   a n d   an al y s in g   i n   h u m a n   d etec tio n .   I n   o r d er   to   eli m i n ate  t h is   p r o b l e m   a n   o p tical  f lo w   m o d el  i s   p r ep ar ed .   A s s u m e  t h at  a n   i m ag e   P   w it h   b ac k g r o u n d   B   an d   f o r eg r o u n d   F  is   co n s id er ed .   T h is   i m ag e  i s   n o t h in g   b u t   a  f r a m e.   T h is   f r a m e  i s   ac h ie v ed   f r o m   v id eo s   th a t   w e  g et  f r o m   s u r v eilla n ce   s y s te m   an d   t h e  n u m b er   o f   f r a m e  d e p en d s   o n   th e  v id eo   d u r atio n .               Fig u r e  1 .   E x a m p le  o f   v id eo   f r a m es i n   UM N  d ataset       A t  a n y   t i m e  t  t h e  p o s itio n   o f   i m ag e  ca n   b e  r ep r esen ted   as  I ( p , q , t) w h er e  p   an d   q   is   th e  co r r esp o n d in g   co o r d in ates   an d   th e  i m ag e  m o d el  is   r ep r esen ted   as:     ℱ ( , , ) . ( , , ) +   ℬ ( , , ) . ( 1 − ( , , ) ) =   ( , , )   ( 8 )     T h is   m o d el  is   u s e f u l  in   esti m a tin g   th e  p ar am e ter s   o f   th e  s eq u en t ial  i m a g e.   W e  ass u m e  t h at   th e  i m ag e   in ter v a l  is   2 5   f r a m es  p er   s ec o n d   i.e .       ( t ϵ   ) .   T o   ac h iev e  th i s   m o d el,   it  is   co n s id er ed   th at  t h e  b ac k g r o u n d   i s   s tatio n ar y .   Mo v ab le  o b j ec ts   ar e  r ep r esen ted   b y   h i g h er   b r ig h t n es s .   B ac k g r o u n d   p i x el  i s   est i m ated   b y   th e  lo w e s t   i m a g e  b r ig h tn e s s .   T h e  v al u e  o f   ex tr ac ted   p ix el  ca n   b e  d ef in e d   as:     1 ( , ) = min ( ( , , 1 ) , ( , , 2 ) … . , ( , , ) )   ( 9 )     Her e  b1   is   ex tr ac ted   p ix el  an d   t h i s   is   n o t  d ep en d en t  o n   t h e  ti m e  in ter v a l.  Usi n g   t h e  v al u e  o f   b1   w e   ca n   esti m ate   th e  f o r eg r o u n d   i m ag e  f1     th at  ca n   b e  d ef in ed   as:     1 ( , , ) =   ( , , ) − 1 ( , )   ( 1 0 )     I f   th e  n u m b er   o f   f r a m e s   v ar ie s ,   th e  in te n s i t y   o f   t h at  f r a m e  w ill   also   v ar y .   I t  also   ef f ec ts   o n   t h e   i m ag e  b ac k g r o u n d   an d   f o r eg r o u n d .   So   th e  v ar iati o n   in   i n ten s it y   ca n   co m p u ted   i n   ( 11 ) .     = ( − ) /   ( ℱ − )   ( 1 1 )     β   d en o tes in te n s i t y   tr a n s f o r m ati o n .   No w   w e  n ee d   to   co m p u te  t h e  o p tical  f lo w   o f   th e  h u m a n   o r   an y   m o v in g   o b j ec t  in   th e  cr o w d   s ce n e.   I n   o u r   w o r k ,   w e  ass u m e  t h at  th e  t o tal  s p ac e  d er iv ativ e  an d   ti m e  d er iv ativ e  ar e  s to r ed   in     β   an d   ea ch   o f   th e  p ar ticle  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C r o w d   r ec o g n itio n   s ystem  b a s ed   o n   o p tica l flo w   a lo n g   w ith   S V M c la s s ifier   ( S h r ee d a r s h a n . K )   2455   in   f r a m e  i s   d en o ted   b y s .   Fu r th e r   w e  f o llo w   T a y lo r   ex p a n s i o n   o n   th e  i n p u t  f r a m e  s eq u en ce   a n d   i m p le m e n ti n g   p o s itio n   o f   th e  i m a g e  p , q , t .   I t c an   b e  g iv e n   as:     ℰ ( ) ≈   ( ) +   ( ) +     ( 1 2 )     p   d en o tes  f ir s t  o r d er   d e r iv ativ e s   w i th   r esp ec t  to   ti m e  an d   s p ac e  d ata  v ec to r . T h e  f u n ct io n   o f   o p tical  f lo w   esti m atio n   i s   g i v e n   as e q u atio n .   T h e  f u n ctio n   o f   o p tical  f lo w  esti m a tio n   is   g i v en   a s   eq u atio n .     ( , ) = ∑ ( ) 2 ( , )   ( 1 3 )     A   co m p lete  f lo w   d iag r a m   o f   o u r   p r o p o s ed   m o d el  is   s h o w n   i n   F i g u r e  2 .           Fig u r e  2 .  C o m p lete  f lo w   d ia g r a m   o f   p r o p o s ed   m o d el       4.   SI M UL AT I O N  R E S UL T   A ND  ANAL YSI S   T h is   s ec tio n   d e s cr ib es  th e   r esu lt   esti m atio n   a n d   th e  p r o p o s ed   m o d el  p er f o r m a n ce .   T h is   m o d el  is   i m p le m en ted   w it h   t h e  h elp   o f   Ma t  L ab   u s er   in ter f ac e.   T h e   v i d eo   d ata  s et  w h at  w e  h av e  u s e d   in   o u r   ap p r o ac h   is   tak en   f r o m   Un i v er s i t y   o f   Mi n n e s o ta  an d   co n tain   n o r m a l  o r   ab n o r m al  ac tiv itie s .   T o   ev alu ate  p er f o r m an ce   co m p ar is o n ,   w e  h a v e  u s ed   G R OUND   tr u t h   o f   d ataset.   I n te r m ed iate  r es u lt  o f   th e   p r o p o s ed   ap p r o ac h   is   s h o w n   in   th e  f o r m   o p tical  f lo w   a n d   s t r ea k   lin e  f lo w .   First  th e  v id eo   s eq u en ce   is   s el ec ted   an d   co n v er ted   in to   f r a m es.  No w   ea ch   f r a m e  is   ta k e n   as  an   in p u t   o n   a  s p ec if ic  ti m e  in ter v a l,  th en   th e  p r e - p r o ce s s in g   s tep s   is   ap p lied .   I n   p r e - p r o ce s s in g   s t ep s   im a g e  f r a m e s   is   co n v er ted   in to   g r a y s ca le  an d   f u r t h er   n o is e  r e m o v i n g   a n d   en h a n ci n g   p r o ce s s   is   p er f o r m e d .   T h e  ex p er im e n tal   re s u lt s   ar e  g iv e n   i n   th e  f o r m   o f   F i g u r e s   3 ,   4 ,   5   an d   6 .           Fig u r e  3 . o p tical  f lo w   o f   th e  v id eo   s eq u e n ce       Fig u r e  4 .  Stre ak   lin e  f lo w   o f   th e  v id eo   s eq u en ce       Fig u r e  5 .   No r m al  f r a m e s           Fig u r e  6 .   A b n o r m al  f r a m e s       I n   Fig u r e . 3   an   o p tical  f lo w   p a tter n   d iag r a m   is   s h o w n .   Fig u r e   4   illu s tr ates  t h e  s tr ea k   li n e  f lo w   o f   t h e  co r r esp o n d in g   f r a m e.   Ne x t  in   Fig u r e  5   s o m e  p r o ce s s in g   h a p p en s   th at  b elo n g s   to   a n al y s i n g   f r a m es.  Fi g u r e  6   d em o n s tr ate s   th a t th e  ab n o r m a l a ctiv it y   is   s tar tin g   n o w .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 87 08   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 ,  A u g u s t 2 0 1 9   :   2 4 5 1   -   2459   2456   Nex t,  w e  ar e  j u s t  co m p ar i n g   o u r   p r o p o s ed   alg o r ith m   to   g r o u n d   tr u th   a n d   SF M  m o d el.   I n   o u r   m o d el   w e  to o k   4 2   f r a m es  o f   cr o w d   s a m p le,   4 4   f r a m es  o f   co u r t y ar d   s a m p le  a n d   3 6   f r a m e s   o f   co r r id o r   s am p le.     I n   Fi g u r e s   7 ,   8   an d   9 ,   w e  h av e  s h o w n   t h e  co m p ar ati v e  r esu lt  o f   o u r   p r o p o s ed   ap p r o ac h   to   g r o u n d   tr u th   a n d   SF M  m o d el  ac r o s s   f r a m e s .           Fig u r e  7 .   C o m p ar is o n   o f   p r o p o s ed   alg o r ith m   w it h   Gr o u n d   tr u th   a n d   ex i s ti n g   al g o r ith m   ( S F M)     f o r   d ataset  cr o w d .           Fig u r e  8 . C o m p ar is o n   o f   p r o p o s ed   alg o r ith m   w it h   Gr o u n d   tr u th   a n d   ex i s ti n g   al g o r ith m   ( S F M)     f o r   d ataset  co u r t y ar d           Fig u r e  8 .   C o m p ar is o n   o f   p r o p o s ed   alg o r ith m   w it h   Gr o u n d   tr u th   a n d   ex i s ti n g   al g o r ith m   ( S F M)     f o r   d ataset  co r r id o r       As  f r o m   th e  ab o v e  g r ap h s   a n d   it  is   p r o v ed   th at  o u r   ap p r o ac h   g i v es  b etter   r es u lt  co m p ar e  to   ex is ti n g   ( SF M)   alg o r ith m.   R OC   is   a  m o s t  co m m o n   tech n iq u e  to   v is u alize   p er f o r m a n ce   o f   a  class if i er .   Her e,   w e  h a v e   u s ed   SVM  clas s i f ier   w h ic h   is   b in ar y .   B in ar y   i n   th e  s e n s e,   th at  w e  h a v e  o n l y   t w o   clas s .   A c co r d in g   to   o u r   p ap e r   s ce n ar io   a  cr o w d   ca n   b e  class i f ied   in to   t w o   ca te g o r ies  f ir s t  o n e  is   n o r m al  an d   o th er   i s   ab n o r m al.   T h ese  SVM   class i f ier   h as  a  s u cc e s s   r ate  o f   9 7 %  w h ic h   is   b etter   co m p ar is o n   to   ea r lier   SF M  m et h o d .   R OC   cu r v e  is   s h o w n   in     Fig u r e  1 0 ,   1 1   an d   1 2   f o r   d if f er en t  UM N  d ata s et.   T ab le  1   in d icate s   th a t  t h e  p r o p o s ed   m et h o d   h as   a  b etter   s u cc e s s   r ate  w h en   co m p ar ed   to   th e  o th er   m e th o d s .             Fig u r e  9 .   R o c  cu r v e  f o r   SVM  class i f ier   f o r   cr o w d   ( 9 7 . 1 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C r o w d   r ec o g n itio n   s ystem  b a s ed   o n   o p tica l flo w   a lo n g   w ith   S V M c la s s ifier   ( S h r ee d a r s h a n . K )   2457       Fig u r e  10 .   R o c  cu r v e  f o r   SVM   class i f ier   f o r   co u r t y ar d   ( 9 7 . 3 6 %)       Fig u r e  11 .   R o c  cu r v e  f o r   SVM   class i f ier   f o r   co r r id o r   ( 9 5 . 6 5 %)       T ab le  1 .   C o m p ar is o n   w i th   d i f f er en t  s tate  o f   ar t s   m et h o d   AU C   M e t h o d   A U C   S F M   [ 3 3 ]   9 4 . 9   C h a o t i c   i n v a r i a n t s  [ 3 4 ]   9 9 . 4   S p a r se   r e c o n s.  [ 3 5 ]   9 9 . 6   L o c a l   st a t i st i c s  [ 3 6 ]   9 9 . 5   M D T   [ 3 7 ]   9 9 . 5   H O G + H O S   [ 3 8 ]   9 7 . 0 2   L M V D   [ 3 9 ]   9 8 . 6 1   O U R   P R O P O S ED   9 9 . 7 1       5.   CO NCLU SI O N   I n   o r d er   to   in cr ea s e  th e  ac cu r ac y   o f   th e  b eh a v io u r   o f   an   ab n o r m al  cr o w d   d etec tio n   s y s te m   we  p r o p o s ed   o p tical  f lo w   m et h o d .   I n itiall y   w e  h a v e  d o n e  p r e - p r o ce s s in g   o n   th e  co n v er ti n g   i m a g e  f r a m es  e x tr ac ted   f r o m   v id eo   s a m p le.   T h is   i m a g e  f r a m e  i s   s u b j ec ted   to   m o tio n   h ea t  m ap ,   w h ic h   ex tr ac ts   t h e  m ai n   r eg io n   o f   m o tio n .   L ater   p o in ts   o f   in ter es t  ar e  ex tr ac ted   f r o m   t h o s e  ar ea s   o f   m o ti o n   h ea t  m ap .   T h is   p r o ce s s   r ed u ce s   o u r   ca lcu latio n   co m p le x it y .   O n ce   w e  g e t  th e  p o in t  o f   in ter est,  w e  co m p u te  o p tical  f lo w   m o d el.   Op tical  f lo w   m o d el  d escr ib es  th e  f lo w   o f   m o tio n   o f   t h e  cr o w d .   Af ter   an a l y s i n g   th e  o p tical  f l o w   m o d el,   w e  s et   a  t h r es h o ld   p o in t.  T h is   t h r es h o ld   v alu e  i s   s u b j ec ted   to   SVM  class if ier .   I f   t h e  v a lu e  o f   t h e  o p tical   f lo w   i s   les s   th a n   t h e  th r es h o ld   v alu e,   t h e  clas s i f ier   p ass es a   d ec is io n   n o r m al.   I f   th e  o p tical  f lo w   v al u e  is   g r ea ter   th an   t h e  th r es h o ld   v alu e,   t h en   th e  s y s te m   p as s es a   d ec is io n   ab n o r m al.   T h is   cla s s i f icatio n   h as 9 9 . 7 1 % a cc u r ac y .       RE F E R E NC E S     [1 ]   X .   S .   L i ,   e t  a l. ,   " A n a l y sis  a n d   S i m p li f ica ti o n   o f   T h re e - Di m e n sio n a l  S p a c e   V e c to r  P W M   f o r  T h re e - P h a se   F o u r - L e g   In v e rters , "   IEE E  T ra n s a c ti o n s o n   In d u stria l  El e c tro n ics ,   v o l .   5 8 ,   p p .   4 5 0 - 4 6 4 ,   F e b   2 0 1 1 .   [2 ]   K.  k ra tzL n ish in o ,   “ A n o m a l y   d e tec ti o n   i n   e x trem e l y   c ro w d e d   sc e n e s  sp a ti o - t e m p o ra l  m o ti o n   p a tt e rn   m o d e ls,”   in :  Pr o c .   CVP R ,   p p .   1 4 4 6 - 1 4 5 3 ,   2 0 0 9 .   [3 ]   J.  Xu ,   S .   De n m a n ,   C.   F o o k e s  e t. a l,   “ Un u su a l  e v e n t  d e tec ti o n   i n   c ro w d e d   sc e n e s  u si n g   b a g   o f   L BP s  i n   s p a ti o - tem p o ra l   p a tch e s,”   in :  Pro c .   DICTA ,   p p .   5 4 9 - 5 5 4 ,   2 0 1 1 .   [4 ]   E.   L .   A n d ra d e ,   S .   Blu n sd e n ,   a n d   R.   B.   F ish e r,   “ Hid d e n   m a rk o v   m o d e ls  f o r  o p ti c a l  f lo w   a n a l y sis  in   c r o w d s,”   in :  Pro c .   ICPR ,   p p .   4 6 0 - 4 6 3 ,   2 0 0 6 .   [5 ]   G u o   Jin g * ,   Zh o u   M i n g q u a n ,   L i  Ch a o ,   “ A u to m a ti c   3 D  M o d e l  A n n o tati o n   b y   a   Tw o - Di m e n sio n a l  Hid d e n   M a rk o v   M o d e l ,”   T EL KOM NIKA  I n d o n e sia n   J o u rn a l  o f   El e c trica l  E n g in e e rin g ,   V o l. 1 2 ,   No . 5 ,   p p .   3 2 7 2 ~ 3 2 8 0   DO I:   h tt p : // d x . d o i. o rg /1 0 . 1 1 5 9 1 /t e lk o m n ik a . v 1 2 i5 . 4 9 4 6 ,   M a y   2 0 1 4 .   [6 ]   S .   A li   a n d   M .   S h a h ,   “ A  l a g r a n g ia n   p a rticle   d y n a mic s  a p p ro a c h   f o r  c ro wd   f lo w   se g me n ta ti o n   a n d   sta b il it y   a n a lys is , ”   in :  Pr o c .   CVP R ,   p p .   1 - 6 ,   2 0 0 7 .   [7 ]   R.   M e h ra n ,   A .   Oy a m a ,   a n d   M .   S h a h ,   “ Ab n o rm a l  c ro w d   b e h a v io r   d e t e c ti o n   u sin g   so c i a l  f o rc e   mo d e l , ”   i n :  Pro c .   CVP R ,  p p .   9 3 5 - 9 4 2 ,   2 0 0 9 .   [8 ]   M e n g   L i * 1 ,   J ia - h o n g   L ian g   1 ,   S h i - lei  L i  2 ,   “ S o ld iers ’  G ro u p   Be h a v io rs  S i m u latio n   Ba se d   o n   Im p ro v e d   M A P RM , ”   T e lec o mm u n ica ti o n   C o mp u ti n g   El e c tro n ics   a n d   Co n tro l   ( T E L KOM NIKA ) ,   V o l.   1 1 ,   No .   5 ,   p p .   2 5 4 5 ~ 2 5 5 2   IS S N :   2 3 0 2 - 4 0 4 6 ,   M a y   2 0 1 3 .   [9 ]   S .   W u ,   B.   E.   M o o re   a n d   M .   S h a h ,   “ Ch a o ti c   in v a ri a n ts  o f  la g ra n g ia n   p a rt icle   tra jec to rie s  fo r  a n o ma l y   d e tec ti o n   in c ro wd e d   sc e n e s , ”   in :  P r o c .   C VPR,   p p .   2 0 5 4 - 2 0 6 0 ,   2 0 1 0 .   [1 0 ]   S .   A li   a n d   M .   S h a h ,   “ H u m a n   a c ti o n   re c o g n it i o n   in   v id e o s  u sin g   k i n e m a ti c   fe a tu re s  a n d   m u lt ip le  in s tan c e   lea rn in g , ”   IEE E  T ra n s.  P a tt .   An a l.   M a c h .   I n tell . ,   v o l.   3 2 ,   p p .   2 8 8 - 3 0 3 ,   2 0 1 0 .   [1 1 ]   T .   Ha s s n e r,   Y.  Itch e r  a n d   O.  Klip e r - G ro ss ,   “ Vi o len t  fl o ws: R e a l - ti me   d e tec ti o n   o f  v io len t  c ro w d   b e h a v io r , ”   in :   Pro c .   CVP RW ,   p p .   1 - 6 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 87 08   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 ,  A u g u s t 2 0 1 9   :   2 4 5 1   -   2459   2458   [1 2 ]   J.  Kim   a n d   K.   G ra u m a n ,   “ Ob se rv e   lo c a ll y ,   i n fer   g lo b a ll y :   A  s p a c e - ti me   M RF   f o r  d e tec ti n g   a b n o rm a l   a c ti v it ies   w it h   in c re me n ta l   u p d a tes , ”   i n   Pro c .   I E EE   Co n f.   CV PR ,   p p .   2 9 2 1 – 2 9 2 8 ,   Ju n .   2 0 0 9 .   [1 3 ]   Y.  Be n e z e th ,   P . - M .   J o d o in ,   V .   S a l ig ra m a ,   a n d   C.   Ro se n b e rg e r,   “ A b n o rm a l  e v e n ts  d e tec ti o n   b a se d   o n   sp a ti o - tem p o ra l  co - o c c u re n c e s,”   in   C o mp u ter   Vi si o n   a n d   P a tt e rn   Rec o g n it io n   ( CVP R),     p p .   2 4 5 8 – 2 4 6 5 ,  2 0 0 9 .   [1 4 ]   W e n x i L iu ,   Ry n so n   W . H.  L a u   a n d   Din e sh   M a n o c h a   “ Ro b u st   i n d iv id u a l   a n d   h o li st ic  f e a tu re s  f o r  c ro w d   sc e n e   c las si f ica ti o n . ”   Pa tt e r n   Rec o g n it i o n   5 8 ,   1 1 0 - 1 2 0 ,   2 0 1 6 .   [1 5 ]   A .   Be ra ,   S .   Ki m   a n d   D.  M a n o c h a ,   " Rea lt ime   An o m a ly  De tec ti o n   Us in g   T ra jec to ry - L e v e l  Cro wd   Be h a v io r  L e a rn i n g , "  2 0 1 6   IE EE   Co n fer e n c e   o n   C o m p u ter   Vi si o n   a n d   P a tt e rn   Rec o g n it io n   W o rk sh o p s  ( CVP RW ) ,   L a s  V e g a s,  NV ,   p p .   1 2 8 9 - 1 2 9 6 ,   2 0 1 6 .   [1 6 ]   Na j m u z z a m a   Zerd i,   S u b h a sh   S   Ku lk a rn i,   V D  M y tri ,   Ka sh y a p   D  Dh ru v e , ”   Cro w d   Be h a v io r  A n a l y sis  a n d   Clas sif ic a ti o n   u si n g   G ra p h   T h e o re ti c   A p p ro a c h ,”   Glo b a l  J o u rn a l  o f  Co mp u ter   S c ien c e   a n d   T e c h n o l o g y ,   2 8   M a rc h ;  V o l u m e   1 4   Iss u e   1   V e rsio n   1 . 0 .   I S S N:  0 9 7 5 - 4 1 7 2 ,  2 0 1 4 .   [1 7 ]   O.  P .   P o p o o la  a n d   K.  W a n g ,   “ Vid e o - b a se d   a b n o rm a l  h u m a n   b e h a v io r  re c o g n it io n - A   re v ie w , ”   IE EE   T ra n s.  S y st . ,   M a n ,   Cy b e rn .   C,   A p p l.   Re v .   , v o l.   4 2 ,   n o .   6 ,   p p .   8 6 5 – 8 7 8 ,   N o v .   2 0 1 2 .   [1 8 ]   A .   A d a m ,   E.   Riv li n ,   I.   S h im sh o n i ,   a n d   D.   Re in it z ,   “ Ro b u st  re a l - ti m e   u n u s u a l  e v e n t  d e tec ti o n   u si n g   m u lt ip le  f ix e d - lo c a ti o n   m o n it o rs,”  IE EE   T r a n s.  Pa tt e rn   A n a l.   M a c h .   In tell .   ,   v o l.   3 0 ,   n o .   3 ,   p p .   5 5 5 – 5 6 0 ,   M a r.   2 0 0 8 .   [1 9 ]   Z.   Ju n   a n d   L .   Zh ij in g ,   “ De tec ti n g   irre g u la rit ies   b y   ima g e   c o n t o u r  b a se d   o n   f u zz y   n e u ra l   n e two rk , ”   i n   Pro c . 3 rd   In t .   Co n f.   In n o v a ti v e   Co mp u t.   I n f.   C o n tro l ,   Ju n .   1 8 – 2 0 ,   2 0 0 8 ,   p p .   4 0 1 .   [2 0 ]   J.  Kim   a n d   K.   G ra u m a n ,   “ Ob se rv e   lo c a ll y ,   i n fer   g lo b a ll y :   A  s p a c e - ti me   M RF   f o r  d e tec ti n g   a b n o rm a l   a c ti v it ies   w it h   in c re me n ta l  u p d a tes , ”   i n   Pro c .   I E EE   Co n f.   C o mp u t.   V isio n   Pa tt e rn   Rec o g ,   p p .   2 9 2 1 – 2 9 2 8 ,  2 0 0 9 .   [2 1 ]   L .   Kra tz  a n d   K.   Nish i n o ,   “ An o m a ly  d e tec ti o n   in   e x tre me ly  c ro wd e d   sc e n e s  u si n g   sp a ti o - tem p o ra l   mo ti o n   p a t ter n  mo d e ls,”   i n   Pr o c .   IEE E   Co n f.   C o mp u t.   Vi sio n   P a tt e rn   Rec o g ,   p p .   1 4 4 6 – 1 4 5 3 ,   2 0 0 9 .   [2 2 ]   T ian   W a n g ,   a n d   Hic h e m S n o u ss i,   “ De tec ti o n   o f   A b n o rm a l  V isu a l  Ev e n ts  v ia  G lo b a l   Op ti c a l  F lo w   Orie n tatio n   Histo g ra m ”   IEE E  T ra n s.   In f o rm a ti o n   Fo re n sic s a n d   S e c u rity ,   v o l.   9 ,   n o .   6 ,   p p :  9 8 8 - 9 9 8 ,   J u n .   2 0 1 4 .   [2 3 ]   S .   Kw a k   a n d   H.  By u n ,   “ De tec ti o n   o f   d o m in a n t  f lo w   a n d   a b n o rm a l  e v e n ts  in   s u rv e il lan c e   v id e o , ”   Op ti c a l  E n g i n e e rin g ,   v o l.   5 0 ,   n o .   2 ,   p p .   0 2 7 2 0 2 - 1 – 0 2 7 2 0 2 - 8 ,   2 0 1 1 .   [2 4 ]   Y.  Zh o u ,   S .   Ya n ,   a n d   T .   S .   H u a n g ,   “ De tec ti n g   a n o m a ly i n   v id e o s   fr o m t r a jec to ry   simil a rity a n a lys is , ”   in   Pro c .   IEE E   In t.   C o n f .   M u lt ime d ia   Ex p o ,   p p .   1 0 8 7 – 1 0 9 0 ,  2 0 0 7 .   [2 5 ]   M .   T h id a ,   H.   En g ,   M .   D o ro t h y ,   a n d   P .   P e m a g n in o ,   “ L e a rn i n g   v i d e o   ma n if o ld   fo r  se g me n ti n g   c ro wd   e v e n ts  a n d   a b n o rm a li ty d e tec ti o n , ”   i n   Pro c .   Asia n   C o n f.   Co m p u t .   Vi si on ,   p p .   4 3 9 – 4 4 9 ,   2 0 1 0 .   [2 6 ]   S i  W u ,   Ha u - S a n   W o n g ,   a n d   Zh i w e n   Yu ,   “ A   Ba y e sia n   M o d e l  f o r  Cro w d   Esc a p e   Be h a v io r  De tec ti o n , ”   IEE E   T ra n s .   Circ u it s a n d   S y ste ms   fo r V i d e o   T e c h n o l o g y ,   v o l.   2 4 ,   n o .   1 ,   p p :   8 5 - 98 ,  Ja n .   2 0 1 4 .   [2 7 ]   V .   S a li g ra m a   a n d   Z.   C h e n ,   “ Vi d e o   a n o ma ly  d e tec ti o n   b a se d   o n   l o c a l   sta ti stica l  a g g re g a tes , ”   i n   C o mp u ter   Vi sio n   a n d   Pa tt e rn   Rec o g n it io n   ( CVP R),   2 0 1 2   IEE E   Co n fer e n c e   o n .   IEE E ,   p p .   2 1 1 2 – 2 1 1 9 ,  2 0 1 2 .   [2 8 ]   Ha n g   S u ,   Hu a   Ya n g ,   S h i b a o   Zh e n g ,   Ya we n   F a n ,   a n d   S h a   W e i,   “ T h e   L a rg e - S c a le Cro w d   Be h a v io r  P e rc e p ti o n   Ba se d   o n   S p a ti o - T e m p o ra l  Visc o u s  F lu i d   F iel d , ”   IE EE   T r a n s.   In f o rm a ti o n   F o re n sic s a n d   S e c u rity ,   v o l.   8 ,   n o .   1 0 ,   p p :1 5 7 5 - 1 5 8 9 ,  Oc t.   2 0 1 3 .   [2 9 ]   V   . D.  M y tri   a n d   Ka sh y a p   D  Dh r u v e   N  Zerd i,   S   S   Ku lk a rn i, ” Cr o w d   b e h a v io u r   a n a y sis  c o n sid e rin g   in ter - p e rso n n e l   a c ti v it ies   in   su rv il la n c e   sy ste m s , ”  In ter n a ti o n a l  J o u rn a l   of   Co m p u t e r  En g i n e e rin g   &   T e c h n o lo g y ,   F e b ru a ry ;  V o l   5 ,   No .   2 ,   P a g e s 7 1 - 87 ,  2 0 1 4 .   [3 0 ]   Y.  Be n e z e th ,   P . - M .   Jo d o in ,   a n d   V.  S a li g ra m a ,   “ A b n o rm a li t y   d e tec ti o n   u sin g   l o w - lev e l  c o - o c c u rrin g   e v e n ts,”  Pa tt e rn   Rec o g n it io n   L e tt e r,   v o l .   3 2 ,   n o .   3 ,   p p .   4 2 3 – 4 3 1 ,   2 0 1 1 .   [3 1 ]   Ya sir  S a li h   A li ,   M o h a m m e d   T a l a l  S im si m , ”   V isu a l  S u rv e il lan c e   f o r  Ha jj   a n d   Um ra h :  A   Re v ie w ”   In ter n a ti o n a l   J o u rn a l  o f  Arti fi c i a l  I n telli g e n c e   ( IJ - AI) ;  Vo l. 3 ,   No . 2 ,  ju n e   2 0 1 4 .   [3 2 ]   A li   Ba z m i,   k a ri m   F a e z , ”   In c re a sin g   th e   Ac c u ra c y   o f   De t e c ti o n   a n d   Re c o g n it io n   i n   V isu a l  S u rv e il lan c e , ” In ter n a ti o n a l   J o u rn a l  o f  El e c trica l  a n d   C o mp u t e r E n g i n e e rin g   ( IJ ECE ) ;  V o l. 2 ,   N o . 3 , p p .   3 9 5 ~ 4 0 4 ,  Ju n e   2 0 1 2 .   [3 3 ]   S .   W u ,   B.   E.   M o o re ,   a n d   M .   S h a h ,   “ Ch a o ti c   in v a rian ts  o f   lag ra n g i a n   p a rti c le  traje c to ries   f o r  a n o m a ly   d e tec ti o n   in   c ro w d e d   sc e n e s,”   in   IEE E  C o n fer e n c e   o n   C o mp u ter   Vi sio n   a n d   Pa t ter n   Rec o g n it io n ,   C VPR,   p p .   2 0 5 4 – 2 0 6 0 ,   2 0 1 0 .   [3 4 ]   R.   M e h r a n ,   A .   Oy a m a ,   a n d   M .   S h a h ,   “ A b n o rm a l  c ro w d   b e h a v io r  d e tec ti o n   u sin g   so c ial  f o rc e   m o d e l , ”   i n   IEE E   Co n fer e n c e   o n   Co m p u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n ,   C VP R,   p p .   9 3 5 – 9 4 2 ,   2 0 0 9 .   [3 5 ]   Y.  Co n g ,   J.  Y u a n ,   a n d   J.   L iu ,   “ S p a rse   re c o n stru c ti o n   c o st  f o r  a b n o rm a l  e v e n t  d e tec ti o n . ”   i n   C o mp u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n ,   C VP R ,   2 0 1 1 ,   p p .   3 4 4 9 – 3 4 5 6 .   [3 6 ]   V .   S a li g ra m a   a n d   Z.   Ch e n ,   “ Vi d e o   a n o m a ly d e tec ti o n   b a se d   o n   l o c a l  st a ti stica l   a g g re g a tes , ”   in   IEE E  Co n fer e n c e   o n   Co mp u ter   V isio n   a n d   Pa t ter n   Rec o g n it io n ,   C VPR,   p p .   2 1 1 2 – 2 1 1 9 ,  2 0 1 2 .   [3 7 ]   W .   L i,   V .   M a h a d e v a n ,   a n d   N.  V a sc o n c e lo s,  “ A n o m a l y   d e tec ti o n   a n d   lo c a li z a ti o n   i n   c ro w d e d   sc e n e s , ”   IEE E  T ra n s.   Pa tt e rn   A n a lys is a n d   M a c h i n e   In t e ll ig e n c e ,   v o l.   3 6 ,   n o .   1 ,   p p .   1 8 – 3 2 ,   2 0 1 4 .   [3 8 ]   V .   Ka lt sa ,   A .   Brias so u li ,   I.   Ko m p a tsiaris,  L .   J.  Ha d ji leo n ti a d is ,   a n d   M .   G .   S tri n tzis,  “ S w a r m   in telli g e n c e   f o r  d e tec ti n g   in tere stin g   e v e n ts  in   c ro w d e d   e n v iro n m e n ts,”  IEE E  T ra n sa c ti o n s  o n   Ima g e   Pro c e ss in g ,   v o l .   2 4 ,   n o .   7 ,   p p .   2 1 5 3 – 2 1 6 6 ,   2 0 1 5 .   [3 9 ]   H.  F ra d i;   B.   L u v iso n ;   Q.  C .   P h a m ,   " Cro w d   Be h a v io r  A n a ly sis  Us in g   L o c a l  M id - L e v e l  V isu a l  De sc ri p to rs,"   i n   I EE E   T ra n sa c ti o n s  o n   Circ u it s  a n d   S y ste ms   fo r  Vi d e o   T e c h n o l o g y ,   v o l . P P ,   n o . 9 9 ,   p p . 1 - 1   d o i:   1 0 . 1 1 0 9 /T CS V T . 2 0 1 6 . 2 6 1 5 4 4 3 ,   2 0 1 6 .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C r o w d   r ec o g n itio n   s ystem  b a s ed   o n   o p tica l flo w   a lo n g   w ith   S V M c la s s ifier   ( S h r ee d a r s h a n . K )   2459   B I O G RAP H I E S   O F   AUTH O RS       S h r e e d a r s h a n . K   is  A ss istan t  P r o f e ss o r  in   E&C  d e p a rt m e n t  a t  M . S . Ra m a iah   In sti tu te  o f   Tec h n o lo g y   Ba n g a lo re .   He   G ra d u a ted   w it h   B. E.   d e g re e   in   El e c tro n ics   a n d   Co m m u n ica ti o n   E n g in e e rin g .   H e   d i d   M . T e c h   w it h   sp e c ializa ti o n   in   Di g it a l  El e c tro n ics   a n d   Co m m u n ica ti o n s  f ro m   M a n ip a l  Un iv e rsity .   He   is  c u rre n tl y   w o rk in g   to wa rd s  th e   P h . D.  d e g re e .   His   re se a rc h   in tere sts  in c lu d e   im a g e   p ro c e ss in g   a n d   c r y p to g ra p h y .           S .   S e th u   S e lv i   is w o rk in g   a s th e   P ro f e ss o r  &   He a d   o f   th e   El e c tro n ics   a n d   Co m m u n ica ti o n   De p a rtm e n t  o f   M S RIT .   S h e   g ra d u a ted   w it h   B. E  in   El e c tro n ics   a n d   C o m m u n ica ti o n   En g in e e rin g   f ro m   M a d u ra i  Ka m a ra j   Un iv e rsit y ,   M E  f ro m   A n n a   Un iv e rsity ,   a n d   P h . D   in   S ig n a l  P ro c e ss in g   f ro m   IIS C,   Ba n g a lo re .   He r  su b jec ts  o f   in tere sts a re   sig n a l  p ro c e ss in g ,   im a g e   p ro c e ss in g   a n d   d ig it a l  c o m m u n ica ti o n .     Evaluation Warning : The document was created with Spire.PDF for Python.