I AE I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   3 ,   No .   2 J u n e   201 4 ,   p p .   9 0 ~ 1 0 4   I SS N:  2252 - 8938          90       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J AI   Visua l Surveilla n ce f o H a j a nd U m ra h:  A  Rev iew       Ya s ir  Sa lih 1 ,   M o ha mm ed  S i m s i m 2   1 S c ien c e   a n d   T e c h n o l o g y   Un it ,   Um m   A l - Qu ra   Un iv e rsit y ,   M e c c a   S a u d A ra b ia   2 El e c tri c a En g in e e rin g   De p a rtm e n t,   Um m   A l - Qu ra   Un iv e rsit y ,   M e c c a   S a u d A ra b ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec  2 5 ,   2 0 1 3   R ev i s ed   Ma r   2 5 ,   2 0 1 4   A cc ep ted   Me i   1 ,   2 0 1 4       T h is  p a p e p re se n ts  a d v a n c e o n   c ro w d   m a n a g e m e n re se a rc h   w i th   sp e c if ic   in tere st  o n   h ig h   d e n sity   c ro w d s u c h   a Ha jj   a n d   Um ra h   c ro w d s.  I n   th e   p a st   f e w   y e a rs,  th e re   h a b e e n   i n c re a sin g   in tere st  i n   p u rs u in g   v id e o   a n a l y ti c a n d   v isu a su rv e il lan c e   to   i m p ro v e   th e   se c u rit y   a n d   sa fe t y   o f   p il g ri m a g e d u rin g   th e ir  sta y   in   M e c c a .   M o st  w o rk p u b li sh e d   in   t h e se   a sp e c ts  a d d re ss e d   to p ics   ra n g in g   f ro m   p e o p le  c o u n ti n g ,   d e n sity   e sti m a ti o n ,   p e o p le  tra c k in g   a n d   m o d e li n g   o f   m o ti o n   a n d   b e h a v io rs.  De sp it e   th e   f a c th a v isu a s u rv e il lan c e   re se a rc h   h a m a tu re d   sig n if ica n tl y   in   th e   re st  o f   th e   w o rld   a n d   h a d   b e e n   im p le m e n ted   in   m a n y   sc e n a rio s,  re se a rc h   o n   v isu a su rv e il lan c e   f o Ha jj   a n d   U m ra h   a p p li c a ti o n   stil re m a in a it e a rly   st a g e a n d   th e re   a re   m a n y   issu e s   th a n e e d   t o   b e   a d d re ss e d   i n   f u tu r e   re se a rc h .   T h is  is  m a in l y   b e c a u s e   Ha jj   is  a   v e r y   u n iq u e   e v e n th a sh o w th e   c lu ste rin g   o m il li o n o f   p e o p le  in   s m a ll   a re a   w h e re   m o st  a d v a n c e d   im a g e   p ro c e ss in g   a n d   c o m p u ter  v isio n   a lg o rit h m s   f a il   to   g e n e ra te  a c c u ra te  a n a l y sis  o f   th e   i m a g e   c o n ten t.   T h e re   is  a   s tro n g   n e e d   to   d e v e lo p   n e w   a lg o rit h m sp e c if i c a ll y   tailo re d   f o Ha jj   a n d   Um ra h   a p p li c a ti o n s.  T h is  re v ie a i m t o   g iv e   a tt e n ti o n to   th e se   in tere stin g   f u tu re   re se a rc h   a re a b a se d   o n   a n a ly sis  o f   c u rre n v isu a su rv e il lan c e   re se a rc h .   T h e   re v ie w   a lso   p in p o in t o   p i o n e e t e c h n iq u e o n   v isu a su rv e il lan c e   in   g e n e ra th a c a n   b e   c u sto m ize d   to   Ha jj   a n d   Um ra h   a p p li c a ti o n s .   K ey w o r d :   C r o w d   m a n a g e m e n t   an d   p eo p le   co u n ti n g     D en s i t y   e s ti m atio n   V is u a l s u r v eilla n ce     Co p y rig h ©   201 4   In s t it u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Yasir  Sali h ,   Scien ce   a n d   T ec h n o lo g y   U n it ,   U m m   A l - Q u r Un i v er s it y ,   Me cc Sau d A r ab ia.   E m ail:  y s ali @ u q u . ed u . s a       1.   I NT RO D UCT I O N   1 . 1   Vis ua l Surv eil la nce   Vis u a s u r v eilla n ce   i s   o n o f   th i m p o r ta n to o ls   f o r   i m p r o v in g   p u b lic  s af e t y   a n d   s ec u r it y   in   u r b an   ar ea s .   A ll  m aj o r   cities  in   th w o r ld   h a v b eg u n   i n s tall in g   C C T ca m er as  i n   p u b lic  ar ea s   an d   s en s iti v ar ea s   f o r   p r ev en ti n g   an d   p r ed ictin g   p o s s ib le  cr im e s   an d   ac cid en t s .   Mo r eo v er   an d   d u to   th av ailab ilit y   o f   ch ea p   an d   u b iq u ito u s   s u r v eilla n ce   ca m er a,   t h ese  ca m er as   h a v e   b ee n   i n s talled   in   s h o p s ,   h o tels   a n d   ev e n   s m all   o u tlets .   Ho w e v er ,   m o s o f   t h ese  ca m er as  ar u s ed   f o r   r ec o r d in g   p u r p o s es  an d   it  is   o n l y   v ie w ed   f o r   p o s t - ac cid en i n v e s ti g atio n s .   R ep lay in g   h o u r s   o f   v id eo   r ec o r d in g   i s   h i g h l y   lab o r io u s   w h ich   m a k es  th e   u s o f   th ese  ca m er as  in e f f ec ti v an d   it  d o es  n o p r ev e n cr i m i n   r ea lit y   b ec au s it  i s   u s ed   af te r   th i n cid en ta k e s   p lace .   T h ese  tech n iq u e s   ar k n o w n   a s   p ass iv v i s u a s u r v eilla n ce   s y s te m   w h er t h c a m er as  o n l y   r ec o r d   v id eo   s eq u en ce   a n d   an al y s i s   is   d o n b y   h u m a n   ex p er ts .   T h ese  p r o b lem s   w it h   p ass i v e   v is u al  s u r v eilla n ce   h a s   m o ti v ated   r esear ch er s   to   d ev elo p ed   m et h o d s   an d   al g o r ith m s   to   i n ter p r et  t h i m a g ca p t u r ed   b y   t h ese   v id eo   ca m er as  a n d   p r ed ict  ce r tain   s u s p icio u s   b eh av io r s   b e f o r in cid en an d   cr i m es  tak e s   p lace   [ 1 ] .   T h is s u o f   a u to m ated   v i s u a ll y   s u r v eilla n ce   h ad   b ee n   in v e s ti g ated   f o r   m a n y   y ea r s   a n d   s o m e   au to m ated   v is u al  s u r v eilla n ce   s y s te m s   h av e   b ee n   i m p le m e n ted   i n   lar g e   en ter p r i s es  s u ch   as  air p o r ts   an d   p u b lic  p ar k s   b u n o in   s h o p s   an d   s m al b u s i n es s es .   E f f ec ti v v i s u a l   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       V is u a l S u r ve illa n ce   fo r   Ha jj a n d   Umra h :   A   R ev iew   ( Ya s ir   S a lih )   91   s u r v eilla n ce   s y s te m   i s   o n o f   t h k e y   co m p o n en t s   f o r   cities  to   b r ea d y   f o r   m aj o r   w o r ld   ev en ts   s u c h   a   r elig io u s   g ath er i n g   ( Haj j ) ,   s p o r ev en t s   s u c h   as  W o r ld   C u p   a n d   Ol y m p ic  Ga m e s   as  well  as  p o liti ca a n d   b u s i n ess   g at h er i n g s   ( d e m o n s tr atio n s ,   co n f er e n ce s   etc) .   A ll   c ities   h o s ti n g   m aj o r   w o r ld   ev e n ts   p r o u d l y   d ec lar th s o p h is ticatio n   o f   v is u al  s u r v eilla n ce   s y s te m s   t h e y   i m p le m en ted   s u c h   as  L o n d o n   w h ic h   is   th w o r ld   m o s t   s u r v eilla n ce   cit y   a n d   Van co u v er   w i n ter   Ol y m p ics  [ 2 ] .     1 . 2   Appl ica t io ns   o f   Vis ua l S urv eilla nce   1 . 2 . 1 .   T ra f f ic  M o nito ring   Mo n ito r in g   o f   h ig h w a y s   an d   r o ad s   is   v er y   u s e f u l   f o r   tr af f ic  m a n ag e m e n to   r ed u ce   t h r ate  o f   ac cid en r ates  [ 3 ] .   I n telli g en t r af f ic  m a n a g e m e n s y s te m   ca n   b u s ed   to   d etec tr af f ic  j a m s   an d   d iv er tr a f f ic  ac co r d in g l y   to   av o id   co n g esti o n s   g r o w i n g   i n   r o ad s   an d   h ig h w a y   f ee d er s   [ 4 ] .   Veh icle  tr ac k in g   i s   also   u s ed   f o r   ac cid en p r ed ictio n   b y   id e n ti f y in g   v e h icles  th at  s u d d en l y   s t o p s   in   t h m id d le  o f   h ig h w a y   o r   o n es  th at  m o v in   o p p o s ite  d ir ec tio n   to   th e   m ain   f lo w .   Mo r eo v er ,   v e h icle  tr ac k in g   is   u s ed   to   d etec v e h icle s   t h at  e x ce ed   s p ee d   li m it s   an d   id en ti f y   ir r e g u lar   m o v e m e n o f   ca r s   s u c h   as  zi g za g   m o v e m e n ts   [ 5 ] ,   [ 6 ] .   Vis u al  s u r v eilla n ce   h a s   b ee n   i m p le m en ted   s u cc es s f u f o r   in telli g e n ca r   p ar k in g   in f r astru ct u r th at  a u to m at icall y   ca p tu r th v e h icle   r eg is tr atio n   n u m b er   f o r   b illi n g   p u r p o s es  w it h o u p ar k in g   tic k ets.  Fig u r 1   s h o w s   m o d els  o f   tr af f ic  an d   v e h icle   m o n ito r i n g   s y s te m   u s in g   v i s u al  s u r v e illan ce   ca m er as.  A   ca m er ca n   b p lace d   to   d etec z eb r a - cr o s s   v io latio n   an d   ca p tu r th r eg is tr atio n   n u m b er   o f   th v eh icle.   Vis u al  s u r v eilla n ce   s y s te m   ca n   al s o   b u s ed   to   d etec t o v er - s p ee d   as in   ( b )   an d   f o r   d etec tio n   tr af f ic  s i g n   v io latio n   as ill u s tr ated   in   ( c) .         ( a)   ( b )   ( c)     Fig u r e   1 .   Mo d el  f o r   v is u al  s u r v eilla n ce   b ased   tr af f ic  m o n ito r in g   s y s te m .   ( a)   Z eb r a - cr o s s   v i o latio n   d etec tio n ,   ( b )   o v er - s p ee d in g   d etec tio n   a n d   ( c)   t r af f ic  s ig n   v io latio n   d ete ctio n       1 . 2 . 2 .   H u m a n B eha v io a nd   Act io n Re co g nitio n   Au to m a ted   v is u al  s u r v eilla n c ca n   b u s ed   to   u n d er s tan d   th e   b eh a v io r   o f   p eo p le  s u c h   a s   t h eir   d ir ec tio n   o f   m o v e m e n t,  id en t if y   i f   t h e y   ar ca r r y in g   a   b ag   o r   d etec ti n g   t h p r esen ce   o f   a   lar g cr o w d   i n   u n w an ted   ar ea .   Fo r   e x a m p le   a   v i s u al   s u r v eil lan ce   ca n   ea s il y   d etec t illeg al   i n tr u s io n   i n   a   N o   E n tr y   d o o r   o r   On e   W a y   w al k w a y .   Si m i lar l y   b eh a v io r   an al y s is   ca n   b u s ed   in   s h o p p in g   ar ea   to   s u r v e y   v i s ito r s   p r ef er en ce s   s u c h   as  id en tify i n g   w h ic h   i te m s   at t r ac m o r v is ito r s   a n d   w h ic h   i te m s   t h at  tak e s   lo n g   v ie w i n g   ti m e   f r o m   v is ito r s .   A r tic u lated   h u m a n   b o d y   tr ac k in g   ca n   b u s ed   f o r   id en t if y in g   h u m a n   b eh a v io r s f o r   e x a m p le  in   cl in ica l   ap p licatio n ,   th e   m o v e m en t   o f   n o r m al   h u m a n   a n d   ab n o r m a w al k in g   s t y le  ca n   b co m p ar ed   to   ass es s   t h e   s u b j ec h ea lt h   [ 7 ] [ 8 ] .   T h ex a m p le  i n   Fig u r 2   s h o w s     zi g za g   m o t io n   p r o f ile   i n   p ar k i n g   lo w h ic h   m ea n s   eith er   t h p er s o n   i s   lo s o r   h is   t h ie f   an d   b o th   ca s es   d r a w s   th e   atte n tio n   o f   s ec u r it y   p er s o n n e l.  T h s ec o n d   i m a g s h o w s   h o w   b o d y   s k elet o n   ca n   b u s ed   to   d etec an d   u n d er s ta n d   th h u m a n   b eh av i o r s   an d   r ec o g n ized   th ac tio n   t h e y   ar d o in g   s u ch   as th Mic r o s o f t K in ec t a p p .           Fig u r e   2 .   A ctio n   r ec o g n it io n   f r o m   i m a g e.   ( a)   Z ig za g   m o v e m en t in   ca r   p ar k   as a   s i g n   f o r   p o s s ib le  ca r   th ef an d   ( b )   d etec tio n   o f   e m p lo y ee 's b eh av io r s   o n   s ite   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.   3 ,   No .   2 J u n e   201 4 :   9 0     1 0 4   92   1 . 2 . 3 .   Securit y   a nd   M o nito ring   On o f   th m ai n   ap p licatio n s   o f   v is u al  s u r v ei llan ce   is   m o n i t o r in g   s e n s it iv ar ea s   s u ch   as  g o v er n m en t   b u ild in g ,   o f f ices  a n d   m e tr o   s t atio n s .   T h is   m o n i to r in g   in cl u d es  id en ti f y in g   s u s p icio u s   e v e n ts   s u ch   a s   lo iter in g ,   cr o w d s   i n   u n w a n ted   lo ca tio n   an d   id en ti f y i n g   u n atte n d ed   o b j ec ts .   Secu r it y   an d   m o n ito r in g   ar t h m o s t   co m m o n   t y p o f   v is u al  s u r v eil lan ce   ap p licatio n s f o r   ex a m p l e,   cr o w d   f l u x   s ta tis t ic  is   u s ed   t o   in d icate   ar ea s   o f   co n g es tio n   a n d   aler au th o r iti es  ab o u ab n o r m al  g a th er i n g s   an d   lo iter in g   i n   s e n s i tiv ar e as  s u c h   as  m ilit ar y   b ases   an d   g o v er n m e n b u ild i n g s   [ 9 ] [ 1 0 ] .   Fig u r 3   s h o w s   ex a m p le   f o r   u s i n g   v i s u al  s u r v eilla n ce   to   d etec p o s s ib le  s ec u r it y   th r ea d s   s u c h   as   d etec tio n   o f   u n a tten d ed   o b j ec ts ,   d etec tio n   o f   lo iter in g   o r   cr o w d s   ar o u n d   g o v er n m e n t b u i ld in g .         ( a)   ( b )   ( c)     Fig u r e   3 .   Usi n g   v is u al  s u r v eil l an ce   f o r   d etec tin g   s ec u r it y   th r ea d s .   ( a)   Dete ctio n   o f   p o ten tia l th e f t in   A T r o o m ,   ( b )   u n atte n d ed   o b j ec d etec tio n   in   air p o r t a n d   ( c)   lo it er in g   d etec tio n   in   p u b lic  ar ea s       1 . 2 . 4 .   H a za rd  Are a   M o nito ring   Vis u a s u r v ei llan ce   is   a ls o   u s ed   f o r   h az ar d   m o n ito r in g   s u c h   as  v o lca n o s ,   f o r est  f ir es  a n d   also   to   p r o tect  n atio n al   r eser v lan d s   f r o m   illeg a ta m p er in g .   Ma n u al  m o n ito r in g   o f   t h ese   p lace s   is   eit h er   d an g er o u s   o r   ca u s es  f ati g u as   th e   o p er ato r   o r   s ec u r it y   p er s o n n el  h a v t o   lo o k   at  th e   s cr ee n   f o r   lo n g   h o u r s   an d   i n ca s e   o f   an y   i n cid e n h e /s h o n l y   ca ll  t h r esp ec ted   au t h o r ities   to   ta k ac tio n s .   T h ese  ta k es  ca n   ea s i l y   b au to m ated   b y   s en d i n g   alar m   m e s s a g es to   t h e   au th o r itie s   in   ca s ed   o f   h az ar d   o r   illeg a l ta m p er i n g   [ 1 1 ] .     1 . 3 .   H a j j   Securit y   T h city   o f   Me cc a,   h o m f o r   A l - m asj id   A l - Har a m   is   p r a y er   f ac o f   Mu s li m s   an d   to   w h ic h   m i llio n s   o f   Mu s li m s   a s s e m b le  at  t h e n d   o f   e v er y   M u s l i m 's  l u n ar   y ea r   f o r   th Haj j .   I n   s h o r p er io d ,   th Ho l y   cit y   o f   Me cc f ac es  m o r t h a n   t h r e ti m es  it s   u s u a ca p ac it y   w h ic h   p o s es  s er io u s   s ec u r i t y ,   s af et y   a n d   h ea l th   ch alle n g e s   to   th e   au th o r itie s   o f   t h e   Ki n g d o m   o f   Sa u d A r ab i a.   Haj j   co n tain s   s e v er al  r it u als   th at   ar p er f o r m ed   in   A l - m a s j id   A l - Har a m   an d   t h h o l y   s i tes  ( Me n n a,   Mu za d l if an d   A r a f at)   [ 1 2 ] .   Ha jj   in v o lv es  h u g s ec u r it y   p r ep ar atio n   f r o m   t h au th o r iti es  in   Sa u d A r ab ia  f o r   th s ec u r it y   a n d   co m f o r o f   p ilg r i m s   an d   in   2 0 1 3   th er w er m o r t h an   1 0 0 , 0 0 0   s ec u r it y   an d   ci v ilia n   p er s o n n el  f o r   t h s er v ice  o f   p ilg r i m s .   Fig u r 4   s h o w s   s a m p le  i m ag e s   f o r   Haj ca p tu r ed   at  d if f er en lo ca tio n s ,   th f ir s r o w   s h o w s   i m a g e s   ca p tu r ed   f o r   T aw a f   w h ic h   is   cir cu lati n g   ar o u n d   th Kab b an d   it  s h o w s   s o m o f   th r it u al   p lace s   s u ch   as  t h e   B lack s to n an d   Ma g a m   I b r ah i m .   T h s ec o n d   r o w   s h o w s   i m ag es   ca p tu r ed   f r o m   a J a m ar at   w h ich   is   t h p lace   f o r   s to n in g   t h Dev i l.  T h th ir d   r o w   s h o w s   i m ag e s   ca p tu r ed   in   Sa f f a n d   Ma r w w h er p il g r i m s   r u n   b et w ee n   t w o   h ill s   s ev e n   ti m e s .   T h f o r th   r o w   i s   m o u n A r a f at  i n   w h i ch   p il g r i m s   as s e m b le  f o r   th g r ea ter   Hajj   d ay   ( 9 th   o f   Z u l - Hj j ah ) .   T h last   r o w   s h o w s   t h ten t s   o f   Me n n w h er e   p ilg r i m s   s ta y   t h er f o r   th r ee   d a y s   f o r   s to n i n g   th e   Dev il i n   th J a m ar at  p lace .   Du r in g   t h f ir s t w o   w ee k s   ( ex ce p o n   9 th )   o f   Z u l - Hij j ah   ( th last   m o n th   i n   t h Mu s li m s   l u n ar   ca len d ar ) ,   m o r th a n   t w o   m il l io n   p il g r i m s   as s e m b le  in   th A l - m asj id   A l - Har a m   to   p er f o r m   t h T a w a f   w h ic h   is   cir cu m a m b u lati n g   th Kaa b ah   s ev e n   ti m es  i n   co u n ter   cl o ck w is d ir ec tio n   an d   also   r u n n in g   b et w ee n   Sa f f an d   Ma r w aa   h ills   s ev e n   ti m es.   T aw a f   is   p er f o r m ed   in   t h M attaf   w h ich   i s   s e m i - ci r cu lar   r eg io n   w it h   r ad iu s   o f   les s   t h a n   5 0 m .   I n   p ea k   t i m es,   th i s   ar ea   ac co m m o d ate s   m o r t h a n   3 2 , 0 0 0   p ilg r i m s   s i m u lta n eo u s l y   [ 1 3 ] T h u s   T a w af   ar ea   is   a n   ex tr e m el y   d en s p lace   d u r i n g   Haj j   s ea s o n s   w h ic h   ca n   ca u s s er io u s   p r o b lem s   s u c h   as   d if f ic u lt y   in   b r ea th i n g   an d   th r is k   o f   f al lin g   a n d   b ei n g   s tep p ed   o n   b y   o th er   p il g r i m s .   A n o t h er   cr o w d ed   lo ca tio n   in   th Haj j   is   th J am ar at  ar ea ; J am ar at  ar ea   is   lo ca ted   in   Min o u ts id th Ma s j id   A l - Har a m .   On   1 0 th   Z u l - Hij j ah ,   p ilg r i m s   h ea d   to   th J am ar at  ar ea   o f   Min to   s t o n th Dev il.  T h is   is   an o t h er   cr o w d ed   s itu a tio n   w h er o v er cr o w d i n g   ca n   r es u lt  in   lo s s   o f   li v e s   d u to   d if f i cu ltie s   in   b r ea t h in g   esp ec ial l y   f o r   eld er l y   p eo p le  w h o   r ep r esen ts   lar g p o r tio n   o f   th p ilg r i m s .   O n k e y   is s u in   th J a m ar at  ar ea   is   p eo p le  s to n in g   f r o m   f ar   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       V is u a l S u r ve illa n ce   fo r   Ha jj a n d   Umra h :   A   R ev iew   ( Ya s ir   S a lih )   93   d is tan ce s   w h ic h   m i g h ca u s s er io u s   i n j u r ies  to   p eo p le  w it h in   c lo s p r o x i m it y   f r o m   th J am ar at.   Mo n ito r in g   th t w o   k e y   ar ea s   o f   Ma ta f   a n d   J a m ar at  d u r i n g   Haj j   s ea s o n s   i s   o n e   o f   t h k e y   ch al len g es  f o r   Sa u d Haj au th o r itie s   [ 1 4 ] .           Fig u r e   4 .   C r o w d ed   ar ea s   at  d if f er en t p ar ts   o f   Haj j   r itu als       T h is   p ap er   d is cu s s es   v is u al  r esear ch   tr e n d s   w it h   s p ec i f ic   ap p licatio n   to   Haj j   an d   U m r ah   r elate d   r esear ch   ac tiv i ties .   Mo n i to r in g   th ac ti v itie s   o f   p il g r i m s   d u r in g   Haj j   as  w ell  as  m o n i to r in g   U m r a h   v is ito r s   is   v er y   lab o r io u s   a n d   lar g n u m b er   o f   p o lice  a n d   ci v ilia n   s ta f f s   w er d ed icate d   f o r   t h is   j o b .   I n   2 0 1 3   th au th o r itie s   i n   Sa u d A r ab ia  an n o u n ce   t h estab li s h m e n o f   4 0 , 0 0 0   s ec u r ity   o f f icer s   to   b d ed icate d   Hajj   an d   U m r ah   s ec u r it y .   Mo r eo v er   an d   d u to   th lar g n u m b er   o f   cr o w d s   i n   s m all  p lace ,   t h c o m m u n icatio n   a n d   co o r d in atio n   b et w ee n   th e s f o r ce s   is   n o e f f icie n a n d   m u ch   n ee d s   to   b d o n to   i m p r o v th eir   w o r k .   On   t h e   o th er   h an d ,   s u r v eilla n ce   ca m er as  ar w id el y   in s talled   in   Al - m asj id   A l - Har a m   a n d   in   th e   h o l y   s ites   o f   Haj j   ( Min a,   Mu zd ali f an d   A r af at) .   Ho w ev er ,   t h ese  ca m er a s   ar o n l y   u s ed   f o r   r ec o r d in g   p u r p o s es  an d   th e y   ar e   m o n ito r ed   in   th co n tr o r o o m s   w h ich   ca u s e s   o p er ato r   f atig u b ec au s s i n g le  o f f icer   i s   a s s i g n ed   to   m o n ito r   lar g n u m b er   o f   ca m er as  f o r   lo n g   h o u r s .   P r ev io u s   w o r k s   o n   Haj j   an d   U m r ah   v i s u a s u r v eil lan ce   h a s   m ai n l y   f o cu s ed   o n   f o u r   asp ec ts ,   p eo p le   co u n ti n g ,   d en s i t y   e s ti m atio n ,   p eo p le  tr ac k in g   a n d   m o d eli n g   o f   p ilg r i m s   m o tio n .   T h r e m ain i n g   o f   t h is   p ap er   is   o r g an ized   as  f o llo w s s ec tio n   2   p r e s en r esear ch   p r o g r ess es  o n   p eo p le  co u n ti n g   f o r   Hajj   an d   o th er   ap p licatio n s .   Sectio n   3   p r esen ts   r esear ch   w o r k   o n   cr o w d   d en s it y   e s ti m atio n ,   Sectio n   4   d escr ib es  p u b lis h ed   w o r k s   o n   p eo p le  tr ac k i n g   an d   s ec tio n   5   d escr ib es  r elate d   w o r k s   o n   m o tio n   m o d eli n g   an d   c r o w d   m a n a g e m e n t.   Fin all y   s ec t io n   6   p r esen ts   co m p r e h e n s i v co n cl u s io n   to   th i s   s u r v e y   a n d   it  s h o w s   f u t u r r esear ch   d ir ec tio n   o f   v is u al  s u r v e illa n ce   f o r   Haj j   a p p licatio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.   3 ,   No .   2 J u n e   201 4 :   9 0     1 0 4   94   2.   P E O P L E   CO UN T I N G   T h is   s ec tio n   co v er s   s o m o f   t h p u b li s h ed   w o r k s   o n   p eo p le  co u n ti n g   f r o m   i m a g es  ca p t u r ed   u s in g   s u r v eilla n ce   ca m er a s .   T h s ec tio n   s tar ts   b y   s ca n n in g   t h p u b lis h ed   r esear ch   ar ticles  in   t h is   m atter .   T h en   i t   p r o v id es a   d etailed   d is cu s s io n   an d   an al y s is   to   th e s w o r k s   a n d   f i n all y   it p o in ts   o u w h at  m e th o d s   a m o n g   t h ese   ar s u ita b le  f o r   Haj j   an d   Um r a h   ap p licatio n s   a n d   h o w   th e y   c an   b ap p r o ac h ed .     2 . 1 .   Rela t ed  Wo rk s   Z h ao   et  al.   [ 1 5 ]   p er f o r m ed   i m ag s e g m e n tatio n   w it h   B a y esa n   m o d el  an d   co u n ti n g ed   t h en   n u m b er   o f   co r r ec tly   s e g m e n ted   b lo b s .   Ho w e v er ,   s u c h   m et h o d   is   n o a p p licab le  f o r   h ig h   d e n s it y   cr o w d s   li k A l - m asj id   Al - Har a m   b ec a u s o f   h i g h   l ev el  o f   o cc lu s io n   an d   in co m p lete  b o d y   s il h o u ette s .   Yo s h i n a g et  a l.  [ 1 6 ]   e m p lo y ed   f ea t u r es  o f   ex tr ac te d   b lo b s   to   eli m i n ated   b ac k g r o u n d   o b j ec ts   an d   s h ad o w   e f f ec ts   f r o m   t h i m a g e.   T h en   th ese  f ea tu r es  ar f ed   to   n eu r al  n et w o r k   esti m ato r   f o r   d eter m in i n g   th n u m b er   o f   p eo p le  in   th i m a g e.   T h au th o r s   h av s h o w n   ac cu r ac y   o f   8 0 f o r   co u n ti n g   p e o p le  in   r ea cr o w d   i m a g e s   w i th   m ax i m u m   o f   3 0   p er s o n s   in   ea c h   f r a m e.   T er a d et  al.   [ 1 7 ]   p r o p o s ed   s y s te m   to   ca lc u la te  th e   d ir ec tio n   o f   m o v e m e n t o f   a n d   co u n t   t h n u m b er   o f   p eo p le  as  th ey   cr o s s   s o m v ir tu al  li n e.   T h is   m et h o d   ca n   b i m p le m e n ted   in   g ates  a n d   en t r an ce s   b u it  is   n o ap p licab le  f o r   j u n ctio n   p o in ts .   Hash i m o to   et  al.   [ 1 8 ]   u s ed   s p ec ialized   i m a g in g   s y s te m   u s in g   in f r ar ed   i m a g i n g   to   co u n t   t h p eo p le  in   t h cr o w d .   I n f r ar ed   i m a g ar i n v ar ian to   ill u m in at io n   v ar iatio n s   b u t h e y   s u f f er   f r o m   d if f u s io n   p atter n   ar o u n d   th b lo b s   w h ic h   m a k es  n ei g h b o r   o b j ec ts   co n n ec ts   a n d   th u s   y iel d s   w r o n g   co u n ti n g .   R o q u eir o   et  al.   [ 1 9 ]   us ed   b ac k g r o u n d   r e m o v al  co n ce p to   co m p u te  cr o w d   co u n b y   u s in g   t h r atio   o f   f o r eg r o u n d   to   i m a g r id   a n d   f ed   it   to   r eg r es s io n   al g o r ith m s   s u c h   as   li n ea r   r eg r e s s io n   a n d   n ea r est  n ei g h b o r   m et h o d .   T h ey   m a n a g ed   to   ac h iev e   m o r t h a n   8 0 ac cu r ac y   w it h   1 - n ea r es n e ig h b o r   alg o r ith m .   I n   an o t h er   w o r k ,   R o d u eir o   et  al  [ 2 0 ]   al s o   ex tr ac ted   th i m a g f o r eg r o u n d   f o r   co u n ti n g   p eo p le  in   th i m a g u s i n g   b ac k g r o u n d   s u b tr ac tio n   m et h o d .   T h b ac k g r o u n d   w a s   lear n u s i n g   m ed ia n   f ilter in g   o f   n u m b er   o f   clea r   s ce n e   i m a g es.  Fo r eg r o u n d   p i x el s   ar e   co n v er ted   to   b i n ar y   u s i n g   t h r esh o ld   a n d   th e n   m o r p h o lo g ica f i lter s   ar ap p lied   to   s m o o t h   t h r es u lt s .   T h e y   ig n o r ed   zo n es  w i th   m o t io n   b lu r   u s i n g   m as k i n g   ar ea .   T h en   th e y   ap p lied   class i f icatio n   al g o r ith m s   li k s u p p o r v ec to r   m ac h in e s   ( S V M) ,   k - n ea r es t   a n d   n e u r al  n et wo r k s   to   co m p u te   th e   n u m b er   o f   p eo p le  in   th i m a g e .   R eis m a n   et  al.   [ 2 1 ]   m o u n ted   a   ca m er f ac in g   o n   a   v e h icle  to   d etec t p ed estrian s .   T h ca m er is   f ac in g   th f o r w ar d   d ir ec tio n   o f   t h v e h icle  t h u s   it  w ill  h a v o u t w ar d   o p tical  f lo w .   An y   o b j ec in   th ca m er v ie w   w i ll   p r o d u ce   in w ar d   m o tio n   v ec to r   th at  ar clea r l y   d etec ted   in   t h i m a g e.   T h e y   h av u s ed   m o d if ied   Ho u g h   li n d etec to r   to   d etec d is tu r b an ce   in   th ca m er o p tical  f lo w   d u to   p eo p le  m o tio n .   Ho w e v er ,   th e y   h av n o p u t   an y   as s u m p tio n   f o r   th e   d ir ec tio n   o f   p eo p le  m o v e m en t   a n d   in   a   ca s e   o f   h ap h az ar d   m o v e m e n t   t h ca m er o p tical  f lo w   w il f a il  to   ca p tu r th is   m o tio n .   S h en g   et  a l.  [ 2 2 ]   tr ain ed   s u p p o r v ec to r   m ac h in e s   u s i n g   H AAR   f ea t u r es  to   id en ti f y   h ea d s   o f   p eo p le  f o r   ac cu r ate  p eo p le  co u n ti n g   an d   d en s it y   esti m atio n .   H is to g r a m   eq u aliza tio n   w as  ap p lied   b ef o r h ea d   d etec tio n   to   eli m in ate  illu m i n atio n   ch a n g es  i n   cr o w d .   T h e y   u s e d   te m p late  o f   d if f er e n s ize   to   d etec h ea d s   w it h   v ar io u s   s izes.   I n   A l - m asj id   A l - Har a m   m a n y   p eo p le  w ea r   s ca r f   o r   ca p s   w h ic h   m a k e s   d etec ti n g   t h h ea d   m u c h   h ar d er .   H u an g   e al.   [ 2 3 ]   co m b i n ed   n e u r al  n et w o r k s   w i th   i m a g f ea t u r es  to   co u n t h n u m b er   o f   p eo p le  in   cr o w d   i m ag e s .   Ya n g   et   al.   [ 2 4 ]   u s e d   m u ltip le  i m a g i n g   s en s o r s   f o r   s eg m e n ted   o b j ec ts   b lo b s   f r o m   t h i m a g an d   t h e n   p r o v id ap p r o x i m ate  es ti m a tio n   th n u m b er   o f   p eo p le  in   th s ce n e.   R ec en t l y   m a n y   r esear ch er s   h a v e x p lo r ed   th u s o f   i n f r ar ed   s en s o r s   f o r   cr o w d   co u n ti n g   p eo p le  an d   d en s it y   est i m a tio n   a s   th co s t   o f   th e s s e n s o r s   is   d ec r ea s i n g   t h u s   t h in s tallat io n   o f   th e s ca m er as  b ec o m i n g   af f o r d ab le  [ 2 5 ] .   M o s o f   th es ca m er as  ar eq u ip p ed   w i th   in f r ar ed   L E D s   w h ic h   m ak e s   it  w o r k i n g   in   to tal   d ar k n es s   a n d   f o r   n i g h v is io n   ap p licatio n s .   I R   i m ag e s   ar i n v ar ian t   to   ill u m i n atio n   an d   p h o to m etr ic   v ar iat io n s   d u to   co lo r   o f   clo th e s   an d   le v el  o f   ill u m in a tio n .   An d er s s o n   et  al.   [ 2 6 ]   co m b in ed   R GB   i m ag e s   w i th   th er m al   i m a g es i n   th lo n g   w av i n f r ar ed   b an d   f o r   p er d ictin g   cr o w d   b eh av io r s .   T eix eir et  al.   [ 2 7 ]   p r o p o s ed   th u s o f   ca m er as  s en s o r   n et w o r k   f o r   d ep lo y m en t   o f   lar g e   n u m b er   o f   s m a ll  ca m er to   b u s ed   f o r   i n d o o r   p eo p le   co u tin g   b ased   o n   m o tio n   h is t o g r a m   w h ic h   ca n   ea s il y   b i m p l m e n eted   o n   s m a ll  s y s te m   s u c h   as  I m o te2   k it.   C u r r en tl y   th er ar m a n y   i n f r ar ed   s en s o r s   s p ec i f icall y   d es ig n ed   f o r   p eo p le  co u n ti n g   ar av ailab le  i n   t h e   m ar k et  [ 2 8 ] [ 2 9 ] .   A r i f   et  al.   [ 3 0 ] [ 3 1 ]   p e r f o r m ed   p eo p le  co u n tin g   d u r i n g   ta w a f   in   Al - m a s j id   A l - h ar a m .   B o th   p ap er s   u s ed   m ed ian   f ilter i n g   to   lear n   th b ac k g r o u n d   o f   t h s ce n e.   T h en   th b ac k g r o u n d   is   s u b t r ac ted   f r o m   ev er y   n e w   f r a m to   ex tr ac t h f o r eg r o u n d   i m a g w h ic h   co n tai n s   t h p eo p les  to   b co u n ted .   I n   [ 3 0 ]   th r esh o ld   o f   5 0   ( in ten s it y   v alu e)   h a s   b ee n   u s ed   to   ex tr ac t h b lo b s   w h ile  i n   [ 3 1 ]   th i s   t h r es h o ld   h a s   b ee n   lear n ed   u s in g   Gen etic  al g o r ith m   f r o m   th f ir s f o u r   f r a m e s .   Af ter   t h at,   b o th   p ap er s   p e r f o r m ed   b lo b   f ilter i n g   to   r e m o v s m all  b lo b s   an d   k ee p   o n l y   t h o n e s   b elo n g   to   h u m a n s   p er f o r m i n g   ta w a f .   I n   b o t h   p ap er s   s i m p l m et h o d s   h a s   b ee n   u s ed   w h ich   ar n o r o b u s to   illu m i n atio n   v ar iatio n s .   I n   ad d itio n ,   tr ain i n g   t h Ge n etic  al g o r ith m   w it h   o n l y   f o u r   f r a m es lea d s   to   u n s tab le  r es u lt s   d u i n   s u f f icie n t tr ai n i n g   d ata.     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       V is u a l S u r ve illa n ce   fo r   Ha jj a n d   Umra h :   A   R ev iew   ( Ya s ir   S a lih )   95   A b u af r a f ah   a n d   K h o ziu m   [ 3 2 ]   s tu d ied   th i m p o r tan ce   o f   b ac k g r o u n d   r e m o v al  f o r   th er m al  i m a g e s   w h ic h   ca n   i m p r o v t h cr o w d   co u n tin g   ac c u r ac y .   T h au t h o r s   clai m ed   th e   b ac k g r o u n d   r e m o v al   w it h   n o r m al   i m a g es   g i v es   i n ac cu r ate   r es u l ts   d u e   to   t h p r ese n ce   o f   s h a d o w s   a n d   t h e y   p r o p o s th e   u s o f   b ac k g r o u n d   r e m o v al  w it h   t h er m a i m ag e s .     T h ey   b u i lt  s i m p le  ex p er i m en s et u p   to   test   t h eir   m et h o d   th at  co n tain s   1 3   p er s o n s   i n   5 0 m 2   ar ea   an d   t h e y   m ea s u r ed   t h d e n s it y   w i th   n o r m al  i m a g e,   w i th   th er m al  i m a g a n d   w it h   th er m a i m a g w it h   b ac k g r o u n d   r e m o v al.   T h e y   h av co n c l u d ed   th at  u s i n g   b ac k g r o u n d   r e m o v al  w i th   t h er m a i m a g es  g iv e s   th h i g h er   ac c u r ac y   f o r   co m p u t in g   t h cr o w d   d en s it y   an d   co u n ti n g .         T ab le  1 .   C o m p ar is o n   o f   r esear ch   ar ticles p u b li s h ed   o n   p eo p le  co u n ti n g   P a p e r   A l g o r i t h m   u se d   A d v a n t a g e s   D i sad v a n t a g e s   R e p o r t e d   a c c u r a c y   [ 1 5 ]   U se d   B a y e si a n   mo d e l   f o r   i mag e   se g me n t a t i o n   - B a y e si a n   mo d e l   c a n   l e a r n   c o mp l e x   i mag e   f e a t u r e s   N o t   g o o d   f o r   h i g h   d e n s i t y   c r o w d   N / A   [ 1 6 ]   -   U se d   b l o b   e x t r a c t i o n   f r o se q u e n c e   o f   i m a g e s   -   C o u n t i n g   u si n g   t r a i n e d   mo d e l   w i t h   n e u r a l   n e t w o r k s   - R e mo v i n g   sh a d o w   a n d   b a c k g r o u n d   - R e q u i r e s t r a i n i n g   p h a se   a n d   t r a i n i n g   d a t a   - A ssu me d   max i mu m o f   3 0   p e d e st r i a n p e r   i m a g e   8 0 %   [ 1 7 ]   - P a ssi n g   p e o p l e   c o u n t i n g   u si n g   o v e r h e a d   st e r e o   c a me r a   -   N o   i ssu e s o f   o c c l u s i o n   -   G i v e s c o u n t   a s w e l l   a s t h e   d i r e c t i o n   o f   mo v e m e n t   -   L i mi t e d   t e st i n g   w a s p e r f o r me d   -   N a r r o w   f i e l d   o f   v i e w   f o r   c a me r a s   N / A   [ 1 8 ]   - U se d   sp e c i a l i z e d   I R   se n so r   f o r   d e t e c t i n g   a n d   c o u n t i n g   h u ma n s   -   F a st   p r o c e ssi n g   -   A c c u r a t e   f o r   l o w   d e n si t y   c r o w d   -   N a r r o w   f i e l d   o f   v i e w   -   N o t   su i t a b l e   f o r   l a r g e   c r o w d   N / A   [ 1 9 ]   -   U se d   b l o b s e x t r a c t i o n   f r o se q u e n c e   o f   i m a g e   w i t h   a   k n o w n   b a c k g r o u n d   i m a g e   -   Jo i n t   e st i m a t i o n   o f   d e n si t y   a n d   c o u n t   -   N o t   su i t a b l e   f o r   h i g h   d e n si t y   c r o w d   -   Er r o r s d u e   t o   o c c l u s i o n s   8 5 %   [ 2 1 ]   -   U se d   a   c a me r a   mo u n t i n g   o n   a   mo v i n g   c a r   t o   d e t e c t   a n d   c o u n t   c r o w d   -   S i mp l e   me t h o d   t o   d e t e c t   a   mo v i n g   p e r so n     - C a n   d i st i n g u i s h   b e t w e e n   v e h i c l e   a n d   h u m a n   -   I t   a ssu me s mo v e me n t   o f   t h e   c a me r a   -   I t   f a i l s t o   d e t e c t   c r o w d   mo v i n g   i n   u n d e t e r mi n e d   d i r e c t i o n   N / A   [ 2 2 ]   - U se d   H a a r   w a v e l e t s t o   d e t e c t   h e a d - l i k e   f e a t u r e s a n d   f i l t e r   i t   u s i n g   S V M   c l a ss i f i c a t i o n   -   A p p l y   p e r sp e c t i v e   c o r r e c t i o n     - P e o p l e   c o u n t i n g   f o r m si n g l e   i mag e   - R e q u i r e s t r a i n i n g   p h a se   - V e r i f i c a t i o n   w a s d o n e   w i t h   h u m a n   l i k e p u p p e t   n o t   r e a l   c r o w d   sce n a r i o s     A b o v e   9 0 %   [ 2 4 ]   - U se   b a c k g r o u n d   d i f f e r e n c i n g   t o   d e t e c t   p e o p l e   - U se   f o r e g r o u n d   r a t i o   i n   sm a l l   b l o c k a r e   r e c o r d e d   f o r   smal l   mo v i n g   w i n d o w   - R a d i a l   B a sse s F u n c t i o n s ( R P F )   f e a t u r e s l e a r n   g o o d   mo d e l   f o r   f i l t e r i n g   o u t   f a l se   b l o b s   - U se s a   se q u e n c e   o f   o n l y   7   f r a me s t o   d o   n e u r a l   n e t w o r k   c l a ssi f i c a t i o n   o f   d e t e c t e d   b l o b s   - R e q u i r e s t r a i n i n g   p h a se   8 9 %   [ 2 5 ]   - U se   a   g r o u p   o f   se n so r s t o   e x t r a c t   t h e   f o r e g r o u n d   i mag e   - U se d   n e u r a l   n e t w o r k   w i t h   t h e   e x t r a c t e d   s i l h o u e t t e   t o   p r o j e c t   t h e   v i su a l   h u l l   o f   t h e   sce n e   - R e a l   t i me   c o u n t i n g   p e r f o r man c e   - U si n g   m u l t i p l e   se n so r s i n d u c e h i g h   c o st   - C a me r a s c a l i b r a t i o n   o v e r h e a d   - Te st i n g   w a s d o n e   w i t h   l i m i t e d   d a t a   N / A   [ 2 6 ]   - F u si o n   o f   I R   w i t h   v i s u a l   c a me r a   t o   d e t e c t   a n d   c o u n t   p e o p l e     - I R   c a n   w o r k   i n   t o t a l   d a r k n e ss   - I R   i mag e s d o e s n o t   p r o v i d e   sh a r p   e d g e s fo r   b o d y   si l h o u e t t e   N / A   [ 2 7 ]   - Emp l o y e d   h i s t o g r a m fil t e r   t o   e x t r a c t   h u m a n   si z e d   b l o b s fr o f o r e g r o u n d   i mag e   - U l t r a   l o w   c o mp u t a t i o n s   b e e n   i mp l e me n t e d   o n   I mo t e 2   se n so r   n o d e   - h i st o g r a i s ro b u s t   t o   i n t e n s i t y   f l u c t u a t i o n s   - su i t a b l e   f o r   c o u n t i n g   f e w   p e o p l e s o n l y   N / A   [ 3 1 ]   - Emp l o y e d   me d i a n   f i l t e r i n g   f o r   se l e c t i n g   t h e   b a c k g r o u n d   - G e n e t i c   a l g o r i t h m w a s u se d   f o r   se l e c t i n g   f o r e g r o u n d   t h r e sh o l d   a n d   b l o b   si z e   - T h e   a l g o r i t h m   h a b e e n   d e v e l o p e d   f o r   r e a l   c r o w d   sce n a r i o s w i t h   t h o u sa n d s   o f   p e o p l e s   - L i mi t e d   t r a i n i n g   d a t a   w a u se d   f o r   g e n e t i c   a l g o r i t h m   t r a i n i n g   - N o t   r o b u st   t o   i l l u mi n a t i o n   v a r i a t i o n s   N / A   [ 3 2 ]   U se d   l o c a l   f e a t u r e s o f   t h e   o b j e c t   b l o b   s u c h   a s   ( a r e a   a n d   p e r i me t e r )   w i t h   c a me r a   c a l i b r a t i o n   a s   p r i o r   st e p     - I n v a r i a n t   t o   t h e   sce n e   b y   t a k i n g   k n o w l e d g e   o f   t h e   c a me r a   p o si t i o n   w i t h   r e sp e c t   t o   t h e   sce n e   ( sce n e   i n v a r i a n t )   - A p p l i e d   p e r sp e c t i v e   c o r r e c t i o n   t o   t h e   i m a g e   - R e q u i r e s c a me r a   c a l i b r a t i o n   - R e q u i r e s a   t r a i n i n g   st e p   u s i n g   a n n o t a t e d   se t   o f   d a t a   - I t   r e l i e s o n   a c c u r a t e l y   d e t e c t i n g   t h e   h u m a n   i n   t h e   i mag e   N / A       R y a n   et   al.   [ 3 3 ]   d ev elo p ed   s ce n e   i n v ar ia n a lg o r it h m   f o r   co u n ti n g   t h n u m b er   o f   p e o p le  in   t h e   i m a g u s in g   lo ca i m a g f ea t u r es.  T h is   m et h o d   esti m ates  t h e   cr o w d   d en s i t y   a n d   its   d is tr ib u tio n   in   t h ca m er vi e w   b y   u s i n g   ca m er a n g le  an d   r elativ o b j ec s ize  to   th s ca le  b et w ee n   d i f f er e n v ie w s .   T h d ev elo p ed   alg o r ith m   r eq u ir e s   i n itial   tr ain in g   i n   o r d er   to   lear n   f ea t u r es   s ca lin g   b ased   o n   ca m er ca lib r atio n .   Af ter   tr ain in g   s tag e,   t h d ev elo p ed   tech n iq u ca n   b u s ed   f o r   ac cu r ate  cr o w d   co u n tin g .   Ho u   a n d   P an g   [ 3 4 ]   d ev elo p ed   a   m et h o d   b ased   o n   b ac k g r o u n d   s u b tr ac tio n   p r o ce s s   f o r   co u n ti n g   t h n u m b er   o f   p eo p le  in   r e al  cr o w d   s it u atio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.   3 ,   No .   2 J u n e   201 4 :   9 0     1 0 4   96   T h is   i m p le m e n tatio n   r elie s   o n   a n   ad ap tiv e   b ac k g r o u n d   s u b tr ac tio n   tech n iq u b ec au s t h e   i m a g co n ten t   is   al w a y s   e v o l v in g .   Ne u r al  n e t wo r k   lear n in g   w a s   u s ed   to   lear n   t h r elatio n s h ip   b et w ee n   f o r eg r o u n d   i m a g an d   n u m b er   o f   p eo p le  in   i m a g e.     2 . 2 .   Dis cus s io n a nd   S u mm a r y   T h is   p r ev io u s   liter at u r r ev ie w s   s h o w ed   r ic h   an d   d iv er s a tte m p ts   to   p eo p le  co u n ti n g   f r o m   i m a g e s   th at  e m p lo y s   d if f er e n co m p u ter   v is io n   a n d   i m a g p r o ce s s i n g   al g o r ith m s .   T ab le  1   s u m m ar izes  th p r ev io u s   lis ted   w o r k s .   T h ac cu r ac y   r e p o r is   b ased   o n   w h at  w a s   r ep o r ted   o n   th p ap er   w it h   th e ir   d ataset.   T h is   m ea n   th ac c u r ac ies  ar n o co m p a r ab le  w it h   ea c h   o t h er   ac r o s s   d if f er e n w o r k s   a s   s o m u s ed   s i m p le  d ata  w h il e   o th er   u s ed   h i g h   d en s it y   cr o w d   im a g es.  Si m p le  p eo p le  co u n ti n g   ap p r o ac h   w h er p er f o r m ed   b y   s u b tr ac ted   k n o w n   o r   tr ain ed   b ac k g r o u n d   o f   th s ce n f r o m   ea c h   n e w   f r a m an d   th e n   co u n ti n g   t h n u m b er   o f   v alid   b lo b s   in   th f o r eg r o u n d   i m a g [ 1 6 ] ,   [ 1 9 ] .   T h is   is   o n l y   v iab le  in   lo w   d en s it y   cr o w d   w h er all  p eo p le  ar e   clea r ly   v is ib le  to   th ca m er a n d   th e y   ca n   ea s il y   b d is ti n g u is h ed   f r o m   t h b ac k g r o u n d   o f   t h s ce n e.   So m e   w o r k ed   tr ied   tu n in g   th e   b ac k g r o u n d   r e m o v al   an d   b lo b s   f il ter in g   s tag es  i n   o r d er   to   g et   ac cu r ate  co u n b y   u s i n g   g en et ic   alg o r ith m   o p ti m izatio n   [ 3 1 ]   an d   h is to g r a m   f il ter s   [ 2 7 ] .   A n o th er   w o r k s   p er f o r m ed   p eo p le  co u n ti n g   at  g ate s   u s i n g   t h co n ce p o f   v ir tu al   g ates   w it h   o v er h ea d   ca m er as   [ 1 7 ]   o r   w it h   s p ec ialized   I R   ca m er as  [ 1 8 ] .   So m e   r esear ch er   h ad   p r o p o s ed   p r ep r o ce s s in g   s tep s   to   i m p r o v t h co u n ti n g   s u c h   as  [ 1 6 ]   w h ic h   r e m o v ed   s h ad o w   an d   [ 1 5 ]   w h ic h   p r esen ted   B a y esian   es ti m ato r s   f o r   i m a g s e g m en tatio n .   An o th er   clas s   o f   m et h o d   lear n ed   th co u n ti n g   o f   cr o w d   f r o m   lo w   lev el  i m a g f ea tu r es.  T h m o tiv a tio n   o f   t h ese  w o r k s   w a s   th d i f f icu l t y   i n   d etec ti n g   t h p r esen ce   o f   p eo p le  in   h i g h   d en s it y   cr o w d s   d u to   s ev er o cc l u s io [ 2 2 ] .   I m a g f ea tu r es  co u ld   b i n   f o r m   o f   te x tu r e   o r   co lo r   h is to g r a m   an d   t h e y   h a v lear n ed   i t   u s i n g   r eg r ess io n   m et h o d   s u c h   as  s u p p o r v ec to r s   r eg r ess io n   o r   lin ea r   r eg r ess io n .   Su c h   alg o r ith m s   ar m o s tl y   co m m o n   f o r   co m p u tin g   th e   c r o w d   d en s it y   b u t   th e y   ca n   a l s o   b e m p lo y ed   f o r   cr o w d   co u n t in g   ap p licatio n .   Ne w   r esear ch   tr en d s   o n   p eo p le  co u n t in g   f o r   A l - m asj id   A l - Har a m   s h o u ld   u s i m a g e   f ea t u r es   in s tead   o f   d etec tin g   p eo p le  b ec au s o f   th lar g n u m b er   o f   p eo p le  in   o n i m a g e.   T h ese  i m ag f ea tu r es  ca n   b f r eq u en c y   pr o p er ties   o f   tex tu r es  o r   co lo r   d is tr ib u tio n   o r   in ter est  p o in d etec to r s   s u c h   as  HO o r   SIFT   o r   o th er   lo w   le v el   o r   h ig h   le v el  i m ag e   f ea t u r es   th at  ca n   b co m b i n ed   w it h   m ac h in lear n i n g   to   p r o d u ce   ac cu r ate  co u n t.  I n   ad d itio n   to   th at,   u s i n g   t h is   k in d   o f   al g o r it h m s   s h o u ld   k ee p   in   m in d   th a th d en s it y   i s   n o u n i f o r m l y   d is tr ib u ted   all  o v er   t h i m a g as  s o m e   p ar ts   o f   th i m a g te n d s   to   b w it h   n o   p eo p le  d u to   b ar r ier s .   I n ter est   p o in d etec to r   ca n   f a ls d etec p eo p le  in   th e s ar ea s   w h ich   p r o d u ce   w r o n g   co u n t.  T o   o v e r co m e   th o s lo ca l   f ea t u r es  ca n   b p r o ce s s ed   in   s m al an d   o v er lap p in g   i m a g e   b lo ck s   w i th   a s s o ciate   co n f id en ce   lev el  o f   ea ch   b lo ck   th at  ca n   b later   ag g r eg a ted   to   p r o d u ce   th f i n al  co u n [ 3 5 ] .           Fig u r 5 .   Hier ar ch ical  class if i ca tio n   o f   tec h n iq u es a n d   m et h o d s   u s ed   f o r   p eo p le  co u n tin g   f r o m   i m a g es       3 .   DE NSI T E ST I M AT I O N   T h is   s ec tio n   s u m m ar izes  a n d   lis ts   r elate d   w o r k s   o n   cr o w d   d en s it y   e s ti m atio n .   C r o w d   d en s it y   i s   o n e   o f   t h m ai n   m ea s u r e m e n t s   f o r   m a n ag in g   a n d   co n tr o lli n g   cr o w d s .   Fo r   e x tr e m el y   d en s p l ac es  li k Al - m asj id   Al - Har a m   cr o w d   d en s it y   is   m o r ac cu r ate  an d   p r o v id es f ar   m o r u s e f u l i n f o r m atio n   t h at  p eo p le  co u n tin g .   T h s ec tio n   p r o v id es c o m p ar is o n   b et w ee n   t h ese  w o r k s   an d   th m ain   alg o r it h m s   u s ed   in   t h ese  f i eld s .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       V is u a l S u r ve illa n ce   fo r   Ha jj a n d   Umra h :   A   R ev iew   ( Ya s ir   S a lih )   97   3 . 1 .   Rela t ed  Wo rk   Xiao h u et  al.   [ 3 6 ]   e m p lo y e d   s u p p o r v ec to r   m ac h i n es  w it h   w a v elet  d escr ip to r s   f o r   class i f y in g   cr o w d   d en s it y   i n to   f o u r   g r o u p s .   T h eir   w o r k   ac h ie v ed   clas s if ica tio n   ac cu r ac y   o f   9 5 f o r   m o d er ate  d en s it y   cr o w d s .   Ma   et  al.   [ 3 7 ]   ca lcu lated   tex tu r f ea tu r e s   f o r   s m all  i m ag e s   b lo ck s   f o r   co m p u ti n g   c r o w d   d en s it y .   T h e y   ass u m ed   t h at  th e   i m ag is   al w a y s   u p r ig h t   an d   t h s ize  o f   i m a g b lo ck   d ec r ea s e s   f r o m   b o tto m   to   u p   i n   t h e   d ir ec tio n   o f   d ep th .   T h e y   clas s if ied   i m a g b lo ck s   i n to   f iv e   d en s it y   g r o u p s   u s i n g   K - m ea n s   cl u s ter s   a n d   th e   d is tan ce   is   co m p u ted   u s i n g   t h eir   p atter n   d escr ip to r .   Du r i n g   t h test i n g   s tag e   t h d en s it y   w a s   co m p u ted   f o r   ea ch   s m al b lo ck   u s in g   t h b i n ar y   p atter n   a n d   t h K - m ea n   class i f icatio n ,   a n d   th e n   t h f i n al  d en s i t y   o f   t h f u ll   i m a g w as c o m p u ted   b y   ag g r e g ati n g   t h i n d iv id u al  b lo ck s   d e n s it ies.   Dav ies  et  al.   [ 3 8 ]   h av u s ed   th r atio   o f   f o r eg r o u n d   p ix els/ ed g es  to   th to tal  i m a g s ize  as  i n d icatio n   o f   th i m a g d en s it y .   Vela s ti n   et  al.   [ 2 0 ]   em p lo y ed   b o th   b a ck g r o u n d   r e m o v al  f o llo w ed   b y   ed g d etec tio n   to   esti m ate  th cr o w d   ar ea   i n   th i m ag e.   I n   an o t h er   w o r k ,   V elasti n   et  al.   [ 3 9 ]   u s ed   Kal m an   f i lter   f o r   cr o w d   co u n ti n g   a n d   cr o w d   d en s it y   e s ti m atio n   a s   w e ll  as   m o tio n   e s ti m atio n .   R eis m a n   et   al.   [ 2 1 ]   p r esen ted   n e m et h o d   f o r   cr o w d   d etec tio n   b y   d etec tin g   t h in w ar d   m o tio n   v ia  Ho u g h   tr an s f o r m   a n al y s i s .   Ma r an et  al.   [ 4 0 ]   u s ed   tex tu r a n al y s is   to   esti m ate  th cr o w d   d en s it y .   T h e y   h av n o ted   h i g h   te x tu r f r eq u e n cies  ar as s o ciate d   w it h   f i n te x t u r es  w h ic h   co r r esp o n d   to   h i g h   d en s it y   cr o w d s .   T h ey   h a v u s ed   s ta tis tica l te x t u r p r o p er ties   s u c h   as  g r e y   lev el   d ep en d en ce   m a t r ix   a n d   s p ec tr al  a n al y s i s   o f   f r eq u en cie s   p r ese n i n   th e   tex t u r to   e s ti m ate  t h d en s it y   o f   t h cr o w d .   Ma   et  al.   [ 4 1 ]   p r o p o s ed   g eo m etr ic  p er s p ec tiv co r r ec tio n   m eth o d   to   co r r ec p er s p ec tiv e   d is to r tio n   i n   i m a g es.  T h e y   h av e   as s u m ed   t h at  al p eo p le  ar s ta n d i n g   u p r ig h t   a n d   th u s   t h eir   lo ca tio n   i n   t h i m a g is   f u l l   d eter m in ed   b y   th eir   f ee lo ca tio n th u s   t h s a m s ca le  co m p u ted   f o r   co r r ec tin g   th f e et  lo ca tio n   w ill  b u s ed   f o r   th e   w h o le  b o d y   o f   t h at  p er s o n .   Ho w ev er   th i s   m o d el  is   p r u n to   f ai lu r a s   it  a s s u m es   all  p eo p le  ar e   s tan d i n g   u p r i g h a n d   th e y   ar all  t h s a m le v el  f r o m   t h g r o u n d .   I n   ad d itio n   it   r eq u ir es  s tr ict  ca m er a   ca lib r atio n   to   i m p le m e n t   t h i s   m o d el.   T h ey   d etec h u m a n   in   t h i m a g u s i n g   ad ap ti v ar ea   g r o w i n g   a n d   m as k i n g   f o r   d etec tin g   t h f o r e g r o u n d   p i x el s .   T h g eo m etr ic al  co r r ec tio n   is   in teg r ated   i n   t h p eo p le  d etec tio n   m et h o d   v ia  lo o k u p   tab les.  M ar an et  al.   [ 2 2 ]   c o m p u ted   cr o w d   d en s it y   u s i n g   co m b in a tio n   o f   f o u r   tex t u r e   f ea t u r es  w h ich   ar g r e y   le v el  d ep en d en ce   m atr i x ,   s tr ai g h li n s e g m en ts ,   Fo u r ier   an al y s i s   an d   f r ac tal   d i m en s io n s .   T h e y   h a v i m p le m en ted   th r ee   class if ica tio n   m eth o d s   to   class i f y   t h i m ag e s   in to   f i v d en s i t y   lev els   ( v er y   lo w ,   lo w ,   m ed i u m ,   h i g h   an d   v er y   h ig h ) .   T h t h r ee   clas s i f icatio n   f u n ctio n s   a r n eu r al   n e t w o r k s ,   B ay e s ian   cla s s i f ier s   a n d   p o ly n o m ial  f u n ct io n s   f itti n g .   T h B ay esia n   clas s i f ier s   ac h iev e d   th b est  ac cu r ac y   a m o n g   al t h ese   co m b i n atio n   w it h   g r e y   le v el  d ep en d e n ce   m a tr i x .   C h ao   et   al.   [ 4 2 ] [ 2 3 ]   d ev elo p ed   n e u r al   n et w o r k   b ased   s y s te m   f o r   es ti m ati n g   cr o w d   d en s it y   i n   u n d er g r o u n d   s tatio n s .   T h e y   h av i m p le m e n ted   a   h y b r id   o f   lea s s q u ar m et h o d s   w it h   b o th   s i m u la ted   an n ea li n g   an d   g e n etic   al g o r ith m s   o p ti m izatio n   to   en s u r e   gl o b al  s o lu tio n   is   ac h ie v ed .   Xiao h u et  al.   [ 2 5 ] ,   [ 3 6 ]   h av u s ed   m u ltip le  s ca le  w a v elet  f ea tu r es  w it h   s u p p o r t   v ec to r   m ac h i n es  cla s s i f ica tio n   f o r   esti m atio n   cr o w d   d en s it y .   P ar ticu lar l y   t h u s ed   e n er g y   a s   f ir s o r d er   w a v elet   f ea t u r es   an d   b o th   h o m o g e n eit y   a n d   c o n tr ast  a s   s e co n d   o r d er   f ea tu r e   f o r   tr ai n i n g   t h s u p p o r v ec to r   m ac h in f o r   d en s it y   clas s if ic atio n .   T h co m b i n atio n   o f   b o th   th e s f ea t u r p r o v id ed   b etter   class i f icatio n   ac cu r ac y   t h a n   u s in g   t h e m   i n d iv id u all y .   G u o   et  al.   [ 4 3 ]   u s ed   Ma r k o v   r an d o m   f ie ld s   f o r   co m p u ti n g   cr o w d   d en s it y   u s i n g   t h r ee   i m a g f ea t u r es  w h ic h   ar t h e   o p tical  f lo w ,   f o r eg r o u n d   d etec tio n   an d   e d g d etec tio n .   T h ese   f ea t u r es  w er s ca led   s o   t h at  o b j ec ts   f ar   f r o m   th ca m er w i ll  b s i m ilar   i n   s ize  to   o b j ec t s   n ea r   t h ca m er a.   T h en   s u itab le  n ei g h b o r h o o d   is   d ef in ed   w h er w ei g h i s   ass i g n ed   to   ea ch   p ix el  b ased   o n   its   p r o x i m it y   f r o m   th p ix el  o f   in ter e s t.     3 . 2 .   Dis cus s io n a nd   S u mm a r y   T h p r ev io u s   r elate d   w o r k s   p r esen ted   v ar io u s   m eth o d   b ee n   i m p le m e n ted   f o r   cr o w d   d en s it y   esti m atio n .   T h i s   m eth o d s   r an g es  f r o m   d ev e lo p in g   ex p lic it  m o d els  f itt in g   f o r   co m p u ti n g   th d en s it ies  to   u s in g   m ac h in e   lear n i n g   to o ls   to   le ar n   cr o w d   d e n s it y   f r o m   lab eled   i m a g es.  T ab le  2   s u m m a r ized   s o m o f   th e   alg o r ith m s   u s ed   f o r   d en s i t y   e s ti m atio n .   I i s   clea r   th at  m o s o f   th p r e v io u s   w o r k s   r elie d   o n   u s i n g   tex tu r e   f ea t u r es  w ith   m ac h in lear n i n g   to o ls .   A   cr o w d ed   i m ag s ee n   f r o m   f ar   ca n   b co n s id er ed   as  tex tu r p atter n   [ 3 6 ] .   Ho w e v er ,   th e   d en s it y   o f   th is   tex tu r m a y   n o b al w a y s   u n i f o r m   w h ic h   m a k es   th e   s t atis tical  a n al y s is   o f   tex t u r q u ite  m i s lead in g .   T h e   f a m o u s   to o f o r   ex tr ac tin g   te x tu r f ea t u r es  ar w a v elet  d e co m p o s i tio n   w h ic h   ca n   o f f er   m u lt ip le  s ca le  an al y s is   o f   tex t u r e .   Als o   w a v elet  c o u ld   b an aly ze d   b ased   o n   f r eq u en c y   d is tr ib u tio n   an d   p o w er   s p ec tr u m   o f   t h e n er g y   co n tai n ed   i n   ea c h   w a v ele lev el.   Stati s tical   an a l y s is   o f   t h w a v elet   co n te n t   w a s   also   p u r s u ed   b ased   o n   tex t u r h o m o g e n eit y   a n d   co n tr ast.  An o t h er   s et   o f   m et h o d s   also   u s ed   b lo b s   co u n ti n g   tec h n iq u es  to   in f er   d en s it y   k n o w led g af ter   b ac k g r o u n d   r e m o v al  s tep   [ 3 9 ]   o r   af ter   ed g d etec tio n   an d   f ilter i n g   [ 2 1 ] .     T ex tu r p r o p er ties   ca n n o in f er   t h d en s it y   in f o r m atio n   d ir ec tl y   a n d   in   m o s ca s e s   it  is   co u p led   w it h   m ac h in l ea r n i n g   to o ls   li k B a y es  c lass if ier s   [ 2 2 ] ,   s u p p o r v ec to r   m ac h in e s   [ 3 6 ]   an d   K - m ea n s   clu s ter i n g   [ 3 7 ] .   C lass i f ier   r et u r n   d is cr ete  v alu e s   f o r   th d e n s ities   s u c h   as   lo w ,   m ed i u m   a n d   h i g h   d en s i ties   a n d   th er w as  n o   atte m p t to   u s ed   r eg r ess io n   m e th o d   th at  ca n   p r o d u ce   co n ti n u o u s   q u a n titat iv v alu f o r   t h d en s it y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.   3 ,   No .   2 J u n e   201 4 :   9 0     1 0 4   98   ( p er ce n tag e) .   Fig u r 6   s h o w s   h ier ar ch ical  c lass if ica tio n   f o r   th m eth o d s   u s ed   f o r   d en s i t y   est i m a tio n   f r o m   p r ev io u s   w o r k s .   T h f ig u r clea r l y   in d icate d   th at  m o s w o r k s   u s ed   co m b i n atio n   o f   t ex tu r an a l y s is   a n m ac h in lear n i n g   to o ls   to   esti m ate  t h d en s i t y   o f   cr o w d s .       T ab le  2 .   C o m p ar is o n   o f   r esear ch   ar ticles p u b li s h ed   o n   cr o w d   d en s it y   e s ti m atio n   P a p e r   A l g o r i t h m   u se d   A d v a n t a g e s   D i sad v a n t a g e s   A c c u r a c y   [ 3 6 ]   D e n si t y   e st i mat i o n   b a se d   o n   S V M   c l a ssi f i c a t i o n   o f   w a v e l e t   f e a t u r e   - W a v e l e t   c a n   e x t r a c t   d i st i n c t   f e a t u r e   a t   v a r i o u s   sca l e s   - I t   d i d   n o t   p r o v i d e   e x a c t   d e n si t y   e st i mat i o n   b u t   r a t h e r   c l a ssi f i c a t i o n   i n t o   g r o u p b a se d   o n   d e n si t y   l e v e l   9 5 %   [ 3 7 ]   U si n g   b i n a r y   p a t t e r n   f e a t u r e   w i t h   K - me a n s c l u st e r i n g   - Te x t u r e   f e a t u r e s a r e   g o o d   f o r   mo d e l i n g   h i g h   d e n s i t y   c r o w d s   -   T h e   d e n si t y   i s n o t   g i v e n   i n   e x a c t   n u m b e r   p u t   r a t h e r   i n t o   c l a sse s o f   d e n s i t y   l e v e l s   9 5 %   [ 3 9 ]   C o mb i n a t i o n   o f   b a c k g r o u n d   r e mo v a l   a n d   e d g e   d e t e c t i o n   -   si mp l e   f e a t u r e s a n d   me t h o d s   - n o t   s u i t a b l e   f o r   d e n se   c r o w d s   N / A   [ 4 0 ]   U se d   t e x t u r e   a n a l y si s t o   e st i m a t e   d e n si t y     - C o mb i n e d   b o t h   s t a t i s t i c a l   a n d   s p e c t r a l   t e x t u r e   a n a l y si s   - N o   e x p e r i me n t   w a s c o n d u c t e d   o n   h i g h l y   d e n se   c r o w d s (e g .   1 0 0 s o f   p e o p l e )   8 2 %   [ 4 1 ]   P i x e l   b a se d   c r o w d   c o u n t i n g   w i t h   g e o m e t r i c   c o r r e c t i o n   - I n n o v a t i v e   w a y   f o r   c o r r e c t i n g   p e r sp e c t i v e   d i s t o r t i o n   - T h i s me t h o d   i s   n o t   s u i t a b l e   f o r   h i g h   d e n si t y   c r o w d s a i t   r e l i e s o n   d e t e c t i n g   f e e t   l o c a t i o n   N / A   [ 2 2 ]   I mp l e me n t e d   mu l t i p l e   f e a t u r e   a n d   c l a ssi f i e r   a n d   t e x t u r e   f e a t u r e   f o r   d e n si t y   e st i mat i o n     - c o mp r e h e n si v e   st u d y   - I t   w o u l d   b e   g o o d   i f   t h e se   me t h o d   w e r e   t e st e d   w i t h   e x t r e mel y   d e n se   c r o w d s   8 5 %   [ 2 3 ]   C r o w d   d e n si t y   e st i mat i o n   f o r   u n d e r g r o u n d   st a t i o n s   - c o mb i n e d   g o o d   o p t i mi z a t i o n   me t h o d   t o   e n s u r e   g l o b a l   so l u t i o n     - T h e   f e a t u r e s u se d   a r e   n o t   s u i t a b l e   f o r   r e a l   c r o w d   sce n a r i o s   9 4 %   [ 3 5 ]   T h e y   u se d   mu l t i p l e   sca l e   w a v e l e t   f e a t u r e   w i t h   S V M   c l a ss i f i c a t i o n   f o r   d e n si t y   e st i mat i o n   - c o mb i n a t i o n   o f   mu l t i p l e   sca l e   w a v e l e t   f e a t u r e s   - T h o u g h   t h i s   a l g o r i t h m   i s   g o o d ,   i t   w a s   n o t   t e st e d   w i t h   h i g h l y   d e n se   c r o w d s   9 5 %           Fig u r e   6 .   Hier ar ch ical  class if i ca tio n   o f   m eth o d s   a n d   tech n iq u es  u s ed   f o r   cr o w d   d en s it y   e s t i m atio n       C o n s id er in g   t h ap p licab ilit y   to   Hajj   an d   Um r a h   d en s it y   e s ti m atio n ,   b lo b s   co u n tin g   m e th o d s   w ill   ce r tain l y   f ail s   b ec au s m o s o f   th o b j ec ts   ar s ev er el y   o cc lu d ed   d u to   h ig h   d en s it y   an d   th er w il n o b e   clea r   ed g es  to   d is tin g u i s h   p eo p le  f r o m   ea ch   o th er .   T h is   leav es  o n l y   tex tu r an d   m ac h i n e   lear n in g   to o ls   ar e   p o s s ib le  ch o ices.  Ho w ev er ,   in   all  p r ev io u s   w o r k s   t h ese  m et h o d s   w h er test ed   w it h   lo w   a n d   m o d er ate  d en s it y   cr o w d s .   T h er ef o r e,   f u r th er   r es ea r ch   n ee d   to   b p u r s u ed   f o r   esti m ated   cr o w d   d en s it y   w i th   a   g o o d   co m b in atio n   o f   tex t u r f ea t u r es  an d   m ac h i n lea r n i n g   r eg r es s io n   to   esti m ate  th d en s it y   o f   th cr o w d   in   A l - m asj id   A l - Har a m .       4.   P E O P L E   T RACK I N G   T r ac k in g   i s   an   i m p o r tan s te p   in   v id eo   s u r v eilla n ce   a n d   i h elp s   e x tr ac ti n g   m o r i n f o r m atio n   f o r   s u r v eilla n ce   v id eo s   s u c h   a s   d etec tio n   o f   ev e n t s   a n d   id en t if y in g   s u s p icio u s   p eo p le.   T h is   s ec t io n   d e s cr ib es   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       V is u a l S u r ve illa n ce   fo r   Ha jj a n d   Umra h :   A   R ev iew   ( Ya s ir   S a lih )   99   s o m o f   t h r elate d   w o r k s   o n   th p eo p le  tr ac k in g   an d   as s e s   th co n tr ib u tio n   p r ese n ted   b y   ea ch   w o r k .   T h is   s ec tio n   s tar ts   b y   elab o r atin g   o n   th w o r k s   d ev elo p ed   o n   v i s u al  tr ac k i n g   an d   also   p r ese n ts   it  in   co m p ar is o n   tab le.   A f ter   th at  it  d is c u s s e s   t h ese  w o r k   b ased   o n   th alg o r ith m s   u s ed   an d   h o w   th e y   w er i m p le m e n ted   an d   p r esen ted   th e m   in   h ier ar ch ic al  d iag r a m .     4 . 1 .   Rela t ed  Wo rk   L e y k i n   a n d   Ha m m o u d   [ 4 4 ]   co m p u ted   R GB   ( R ed ,   Gr ee n   a n d   B lu C o lo r   Sp ac e)   i m a g es   w it h   t h er m a l   o n es  f o r   tr ac k i n g   p ed estrian s .   T h ad v an ta g es  o f   f u s i n g   t h er m al   an d   v is ib le  s p ec tr u m   is   t h at  it  f o r m s   a n   illu m i n atio n   in v ar ia n o b j ec b lo b s   w h ic h   m a in ta in s   t h ac tu al  co lo r   an d   tex tu r p r o p er ties   o f   th p ed estria n s .   E s h el  a n d   Mo s es  [ 4 5 ]   d ev elo p ed   m et h o d   f o r   tr ac k i n g   d en s cr o w d   f r o m   m u l tip le  ca m er as  w i th   o v er lap p in g   v ie w s .   T h d ev elo p ed   m eth o d   co r r ec tly   d etec te d   th h ea d   o f   an y   p er s o n   in   th ca m er v ie w   a n d   tr ac k s   it i n   m u lt ip le  v ie w s .   T h is   m et h o d   w a s   i m p le m e n ted   to   cr o w d   d en s it y   o f   2 . 5   p er s o n s m 2 .   A li   an d   S h a h   [ 4 6 ]   u s ed   f lo o r   f ield s   f o r   tr ac k i n g   h i g h   d en s it y   s tr u ct u r ed   cr o w d .   Flo o r   f ield s   ar e   ex tr ac ted   f r o m   s ce n e   la y o u to   co n s tr ai n   t h cr o w d   m o tio n .   T h ese  f ield s   d eter m i n th e   p r o b ab ilit y   o f   a n   o b j ec m o v in g   f r o m   o n lo ca tio n   to   an o th er   b y   tr an s f o r m in g   lo n g   r an g f o r ce s   in to   lo ca l   f o r ce s .   T h er ar e   th r ee   t y p e s   o f   F lo o r   f ield s t h e   Static  Flo o r   Fi eld   w h ic h   s p ec if ies   attr ac ti v r eg io n s   i n   t h s ce n s u ch   as  e x its .   D y n a m ic  F lo o r   Field   s p ec if ies   i m m ed iate  b eh a v io r   ar o u n d   th tr ac k ed   tar g et  w h ile  t h b o u n d ar y   Flo o r   Field s   s p ec if ie s   t h i n f l u en ce   o f   b o u n d ar ies  i n   th e   f lo w .   R o d r ig u e s   et  a l.  [ 4 7 ]   e m p lo y ed   a   co r r elate d   to p ic  m o d el  ( C T M)   f o r   tr ac k in g   cr o w d s   i n   a n   u n s tr u ct u r ed   e n v ir o n m e n w h er p eo p le  m o v at   r an d o m   d ir ec tio n s .   T h is   m o d el  e n ab les  tr ac k i n g   i n d iv i d u al  tar g ets  i n   h ig h l y   u n s tr u ctu r ed   en v ir o n m e n s u ch   as  m icr o s co p ic  ce lls   an d   f o o tb all  s tad iu m   s p e ctato r s .   C T allo w s   m u ltip le  m o d alit ie s   o f   cr o w d   b eh a v io r   an d   co r r e latio n   a m o n g   t h e m .   I n   C T M,   o b j ec ts   ar tr ac k ed   d ir ec tly   i n   t h s ce n w it h o u th n ee d   f o r   o b j ec d etec tio n   s tep   b y   d ir ec tl y   p r o ce s s in g   t h lo w   le v el  m o tio n   v ec to r s .       T ab le  3 .   C o m p ar is o n   o f   r esear ch   ar ticles p u b li s h ed   o n   v is u al   tr ac k in g   al g o r ith m s   P a p e r   A l g o r i t h m   u se d   A d v a n t a g e s     D i sad v a n t a g e s   R e p o r t e d   a c c u r a c y   [ 4 4 ]   C o mb i n e d   R G B   w i t h   t h e r mal   i mag e s fo r   t r a c k i n g   p e d e st r i a n   I n v a r i a n t   t o   i l l u mi n a t i o n   v a r i a t i o n w h i l e   mai n t a i n i n g   t h e   s u b j e c t t e x t u r e   a n d   c o l o r   - Te st e d   o n   l o w   d e n si t y   d a t a se t   - h i g h   l e v e l   o f   mi ss d e t e c t i o n   a n d   I D   sw i t c h i n g   ( 1 6 . 6 %)   9 4 %   [ 4 5 ]   - T r a c k i n g   p e o p l e   w i t h   mu l t i p l e   c a me r a   - T h e   c a me r a   i p l a c e d   a t   h i g h   e l e v a t i o n   a n d   o n l y   h e a d   i t r a c k e d   - T o p   v i e w   c a me r a s so l v e   o c c l u si o n   i ss u e s a n d   g i v e s h i g h l y   a c c u r a c y   t r a c k i n g   - R o b u s t   t o   i l l u mi n a t i o n   c o n d i t i o n   - T h e   o b j e c t   i d e n t i t y   w i l l   b e   l o st   b e c a u se   o n l y   t h e   h e a d   i s o b se r v e d   - T h i s me t h o d   i s   n o t   s u i t a b l e   f o r   e x t r e m e l y   d e n se   si t u a t i o n   b e c a u se   t h e   h e i g h t   o f   t h e   p e r so n   c a n n o t   b e   d e t e c t e d   B e st   a c c u r a c y   1 0 0 %   [ 4 6 ]   U se d   f l o o r   f i e l d   t o   r e p r e se n t   t h e   t r a c k e d   p e o p l e   - I t   mo d e l s t h e   e f f e c t   o f   t h e   sce n e   l a y o u t   o n   t h e   c r o w d   mo v e m e n t   - I t   a l so   mo d e l s t h e   i n t e r a c t i o n   o f   mo v i n g   p e o p l e   a n d   h o w   t h e y   a f f e c t   e a c h   o t h e r   - Ex t r a c t i n g   c u e s t h a t   c o r r e sp o n d   t o   e a c h   c o mp o n e n t   o f   t h e   f l o o r   f i e l d   i a mb i g u o u s   - T h e   t r a c k i n g   w a d o n e   o n   se l e c t e d   p e o p l e   i n   t h e   c r o w d   r a t h e r   t h a n   t h e   f u l l   n u m b e r   o f   p e o p l e   i n   t h e   s c e n e   B e st   a c c u r a c y   9 7 . 5 %   [ 4 7 ]   Emp l o y e d   c o r r e l a t e d   t o p i c   mo d e l s fo r   t r a c k i n g   u n s t r u c t u r e d   c r o w ds   - D o e s n o t   r e q u i r e d e t e c t i n g   o b j e c t i n   t h e   sce n e   a n d   t h e y   c a n   d i r e c t l y   p r o c e ss fe a t u r e s fr o i mag e s   - P r o v i d e   a   mu l t i p l e   mo d a l i t y   f o r   c r o w d   b e h a v i o r   a n d   i t   h a n d l e c o r r e l a t i o n   b e t w e e n   t h e m   - T r a c k i n g   w a p e r f o r me d   o n   se l e c t e d   p e o p l e   i n   t h e   sce n e   o n l y   - Di scre t e   mo t i o n   v e c t o r   i s a ssi g n e d   t o   e a c h   mo v i n g   p i x e l   ( f o u r   d i r e c t i o n o n l y )   U p   t o   8 9 %   [ 4 9 ]   U si n g   t h e   p r i n c i p a l   a x i s o f   h u m a n   b o d y   f o r   t r a c k i n g   p e o p l e   i n   m u l t i p l e   c a me r a   - I t   i s re l a t i v e l y   e a si e r   t o   e x t r a c t   f r o m i mag e   - En a b l e s p a ss i n g   i n f o r mat i o n   b e t w e e n   mu l t i p l e   c a me r a a n d   v i e w s   - I t   a ssu me s t h e   h u ma n   b o d y   i a l w a y s   u p r i g h t   - H a v e   n o t   b e   t e st e d   i n   c r o w d e d   sce n e   a n d   i t   i p r o n e   t o   f a i l   i n   t h e se   si t u a t i o n s   N / A   [ 5 0 ]   C o mp a r a t i v e   st u d y   f o r   t h r e e   t r a c k i n g   me t h o d s   - P r e s e n t e d   d e t a i l e d   e v a l u a t i o n   f o r   p a r t i c l e   f i l t e r s,  K a l man   f i l t e r s a n d   me a n   s h i f t   t r a c k i n g   - T h e   st u d y   f o c u se d   o n   r e c e n t   w o r k s a n d   s t a t e   t h e   a r t   t e c h n i q u e s   - I t   p r o v i d e d   t h e o r e t i c a l   a n d   e x p e r i me n t a l   a n a l y si s o f   d i f f e r e n t   t r a c k i n g   a l g o r i t h ms   - T h e   d a t a se t   u se d   f o r     t h e   st u d y   c o n t a i n e d   f e w   n u m b e r   o f   p e o p l e     - I t   r e l i e d   o n   o b j e c t   d e t e c t i o n   u si n g   b a c k g r o u n d   su b t r a c t i o n ,   w h i c h   f a i l f o r   l a r g e   c r o w d s   A b o v e   9 0 %   f o r   K a l man   f i l t e r s       Hae r in g   e al.   [ 4 8 ]   p r esen ted   s tu d y   ab o u t h ev o l u tio n   o f   au to m ated   s u r v eilla n ce   i n   th p a s t   d ec ad e.   T h e y   clea r l y   s tated   t h at  d esp ite  t h g r ea a m o u n o f   r esear ch ,   s o m co r p r o b le m s   s u ch   a s   o b j ec Evaluation Warning : The document was created with Spire.PDF for Python.