I n t e r n a t io n a J o u r n a o f   E le c t r ic a a n d   Co m p u t e r   E n g in e e r in g   ( I J E CE ) Vo l. 6 ,   No . 2 , A p r il 2 0 1 6 ,   p p . 8 7 7 ~ 8 8 6 I S S N:  2 0 8 8 - 8 7 0 8 , DOI : 1 0 . 1 1 5 9 1 / i j e c e . v 6 i 2 . 9 5 7 8 8 7 7 J o u r n a h o m e p a g e : h ttp : //ia e s jo u r n a l. c o m/o n lin e /in d e x . p h p /I J E C E H u m a D et ec t io n   F ra m ew o rk   f o Aut o m a t ed  Surv e illa nce Sy s t e m s Re d w a n   A. K .   No a m a n * , M o h d   Ala u d d in   M o h d   Ali * , Na s h a r u d d in   Z a i n a l * , F a is a S a e e d * * * D e p a rt m e n t   o f   E l e c t ri c a l ,   E l e c t ro n i c ,   a n d S y s t e m s   E n g i n e e ri n g ,   U n i v e rs i t i K e b a n g s a a n   M a l a y s i a ,   M a l a y s i a * * D e p a rt m e n t   o f   In f o r m a t i o n   S y s t e m s ,   F a c u l t y   o f   Co m p u t i n g ,   U n i v e rs i t i T e k n o l o g i   M a l a y s i a ,   M a l a y s i a Ar t ic le   I n f o AB S T RAC T A r tic le   h is to r y : R e c e iv e d Oc 5 ,   2 0 1 5 R e v i s e d De c   2 3 ,   2 0 1 5 A c c e p te d J a n   1 4 ,   2 0 1 6 V i s i o n - b a s e d   s y s t e m s   f o s u rv e i l l a n c e   a p p l i c a t i o n s   h a v e   b e e n   u s e d   w i d e l y a n d   g a i n e d   m o re   re s e a rc h   a t t e n t i o n .   D e t e c t i n g   p e o p l e   i n a n i m a g e   s t re a m   i s c h a l l e n g i n g   b e c a u s e   o f   t h e i r   i n t ra - c l a s s   v a ri a b i l i t y ,   t h e   d i v e rs i t y   o f   t h e b a c k g ro u n d s ,   a n d   t h e   c o n d i t i o n s   u n d e w h i c h   t h e   i m a g e s   w e re   a c q u i re d . E x i s t i n g   h u m a n   d e t e c t i o n   s o l u t i o n s s u f f e i n   t h e i e f f e c t i v e n e s s   a n d e ff i c i e n c y . In   p a rt i c u l a r,   t h e   a c c u ra c y   o f   t h e   e x i s t i n g   d e t e c t o rs   i s c h a ra c t e ri z e d   b y   t h e i h i g h   f a l s e   p o s i t i v e   a n d   n e g a t i v e . In   a d d i t i o n ,   e x i s t i n g d e t e c t o rs   a re   s l o w   f o o n l i n e   s u r v e i l l a n c e   s y s t e m s   w h i c h   l e a d   t o   l a rg e   d e l a y t h a t   i s   n o t   s u i t a b l e   f o s u rv e i l l a n c e   s y s t e m s   f o re a l - t i m e   m o n i t o ri n g .   In   t h i s p a p e r,   a   h o l i s t i c   f ra m e w o rk   i s   p ro p o s e d   f o e n h a n c i n g   t h e   p e rf o rm a n c e   o f h u m a n   d e t e c t i o n   i n   s u rv e i l l a n c e   s y s t e m .   In   g e n e ra l ,   t h e   f ra m e w o r k   i n c l u d e s t h e   f o l l o w i n g   s t a g e s :   e n v i ro n m e n t   m o d e l i n g ,   m o t i o n   o b j e c t   d e t e c t i o n ,   a n d h u m a n   o b j e c t   re c o g n i t i o n .   I n   e n v i ro n m e n t   m o d e l i n g ,   m o d a l   a l g o ri t h m   h a s b e e n   s u g g e s t e d   f o b a c k g ro u n d   i n i t i a l i z a t i o n   a n d   e x t ra c t i o n .   T h e n   f o r e ffe c t i v e l y   c l a s s i fy i n g   t h e   m o t i o n   o b j e c t ,   e d g e   d e t e c t i n g   a n d   B - s p l i n e a l g o ri t h m   h a v e   b e e n   u s e d   f o s h a d o w   d e t e c t i o n   a n d   re m o v a l .   T h e n ,   e n h a n c e d L u c a s K a n a d e   o p t i c a l   f l o w   h a s   b e e n   u s e d   t o   g e t   t h e   a re a   o f   i n t e re s t f o r o b j e c t s e g m e n t a t i o n .   F i n a l l y ,   t o   e n h a n c e   t h e   s e g m e n t a t i o n ,   s o m e   m o rp h o l o g i c a l p ro c e s s e s   w e re   p e r f o r m e d .   In   t h e   m o t i o n   o b j e c t   re c o g n i t i o n   s t a g e , s e g m e n t a t i o n   f o e a c h   b l o b   i s   p e r f o r m e d   a n d   p ro c e s s e d   t o   t h e   h u m a n   d e t e c t o r w h i c h   i s   a   c o m p l e t e   l e a rn i n g - b a s e d   s y s t e m   f o r d e t e c t i n g   a n d   l o c a l i z i n g o b j e c t s / h u m a n s i n   i m a g e s   u s i n g   m i x t u re s   o f   d e f o r m a b l e   p a rt   m o d e l s   ( P F F d e t e c t o r ) .   Re s u l t s   s h o w   e n h a n c e m e n t   i n   e a c h   p h a s e   o f   t h e   p ro p o s e d f ra m e w o rk .   T h e s e   e n h a n c e m e n t s   a re   s h o w n i n   t h e   o v e ra l l   p e rf o rm a n c e   o f h u m a n   d e t e c t i o n   i n   s u rv e i l l a n c e   s y s t e m . K e y w o r d : Au to m a tic   S u r v e il la n c e   S y s te m B a c k g r o u n d   S u b tr a c tio n Hu m a n   De te c tio n L u c k a s - Ka n a d e Op tic a F lo w P F F   d e te c to r S h a d o w   R e m o v a l Co p y r i g h t   ©   2 0 1 6 In s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e . A l l   r i g h t s   r e s e r v e d . C o r r e s p o n d in g A u th o r : R e d w a n   A . K.   No a m a n De p a r t m e n o f   E le c tr ic a l,   E le c tr o n ic ,   a n d   S y s te m s   E n g i n e e r i n g , Un i v e r s iti Ke b a n g s a a n   M a la y s ia , 4 3 6 0 0   B a n d a r   B a r u B a n g i,   S e l a n g o r ,   M a la y s ia . E m a il:  r e d w a n _ e n g @ y a h o o . c o m 1 . I NT RO D UCT I O N Hu m a n   d e te c tio n   is   c u r r e n tl y   o n e   o f   th e a c ti v e   r e s e a r c h   to p ic s   in   c o m p u te r   v i s io n .   W id e   r a n g e   o f a p p lic a tio n s   f o r   tr a c k in g   a n d   b e h a v io r   r e c o g n itio n   w e r e   s t u d ie d   b y   m a n y   r e s e a r c h e r s .   Au to m a te d   s y s te m   f o r e s ti m a ti n g   a n d   tr a c k i n g   m o v i n g   o b j e c ts   h a v e   r e c e iv e d   a   lo t   o f   a tte n tio n   f r o m   i n d u s tr ie s   a n d   a c a d e m ia   f o r   its p o te n tia a p p lic a tio n s   in   t h e   f i e ld s   o f   s u r v e i lla n c e   a n d   e n g i n e e r in g   s u c h   a s   v id e o   s u r v e il la n c e ,   c o n te n b a s e d i m a g e   r e tr ie v a l,   a n d   g a it  r e c o g n i tio n   [ 1 - 4 ] .   C u r r e n a c ti v e   r e s e a r c h   i n   th is   a r e a   f o c u s e s   o n   th r e e   m a i n   s ta g e s : lo w   le v e ( De te c t io n ) ,   in te r m e d ia te   le v e ( T r a c k in g ) ,   a n d   h ig h   le v e ( B e h a v io r a A n a l y s is )   [ 5 ] .   T h is   p a p e r f o c u s e s   o n   p r o p o s in g   a   f r a m e w o r k   i n   o r d e r   to   e n h a n c e   h u m a n   d e te c tio n   s ta g e . T h e   e f f o r ts   h a v e   b e e n   d o n e   in v is u a s u r v e i lla n c e   r e s e a r c h e s   a i m e d   to   p r o v id e   r o b u s a n d   e f f ic ie n a u to m a te d   s u r v e illa n c e   s y s te m .   T h e Evaluation Warning : The document was created with Spire.PDF for Python.
I S S N : 2 0 8 8 - 8 7 0 8 I J E C E   Vo l. 6 ,   No . 2 , A p r il  2 0 1 6 : 8 7 7 8 8 6 8 7 8 p u r p o s e   o f   u s i n g   th e   s u r v e illa n c e   s y s te m   i s   n o o n l y   f o r   m o n ito r in g   s u b j e c te d   a r e a ,   e . g .   p a tie n t s   a n d   c h i ld r e n , b u m o r e   i m p o r ta n tl y   t h e   a n a l y s i s   o f   th e   m o v e m e n to   u n d e r s ta n d   s u s p ic io u s   b e h a v io r   s u c h   a s   te r r o r is t a tta c k s ,   s h o p   li f ti n g ,   a n d   r o b b e r y .   M o r e o v e r ,   m o v e m e n tr a c k in g   i s   u s e d   to   tr a in   m a c h i n e s   to   i m ita te   d i f f e r e n t m o v e m e n b e h a v io r s   o f   b io lo g ic a o b j e c ts   s u c h   a s   f l y in g   a n d   m a n e u v e r in g .   U n f o r tu n a te l y ,   h u m a n   d e te c tio n in   s u r v e illa n c e   s y s te m s   s u f f e r   f r o m   t w o s i g n if ic a n t   p r o b le m s :   e f f e c ti v e n e s s   a n d   e f f ic ie n c y .   E f f e c ti v e n e s s   is d e f in e d   a s   t h e   a b ilit y   o f   a   s y s t e m   to   c la s s if y   t h e   h u m a n   o b j e c ts a c c u r a te l y .   T h e   p r o b le m   o f   e f f e c tiv e n e s s   is   d u e to   m a n y   e n v ir o n m e n ta n o i s e s   s u c h   a s   c h a r a c te r is t ic s   o f   lig h ts   a n d   s h a d o w o b j e c ts .   T h e   r e s u lt  is m is c la s s if ic a tio n   o f   t h e   h u m a n   in   t h e   s c e n e   a n d   c o n s e q u e n t   h ig h   f a l s e   a la r m s a n d   lo w   a c c u r a c y .   T h e   c r ite r io n o f   e f f ic ie n c y   is   d e f i n e d   a s   t h e   a b ilit y   o f   t h e   d e te c to r s   to   c o p e   w ith   t h e   r e q u ir e m e n o f   o n lin e   s u r v e illa n c e s y s te m s   s u c h   a s d e te c to r   s p e e d   w it h   le s s   c o m p u ta t io n   o v e r h e a d . Hu m a n   d e te c tio n   a n d   tr a c k in g   i n   s u r v e illa n c e   a p p lic a tio n s   r e q u ir e   m a n y   d i s c ip lin e s   ( i. e . e n v ir o n m e n ta l   m o d e li n g )   in   o r d e r   to   s u b tr a c t h e   b a c k g r o u n d ,   m o tio n   o b j e c d e te c tio n ,   r e m o v e   s h a d o w s   a n d n o is e s ,   a n d   to d o   h u m a n   c la s s if ic a tio n .   I n   t h is   p a p e r ,   a   h o lis tic   f r a m e w o r k   i s   p r o p o s e d   to   e n h a n c e   h u m a n d e te c tio n   in   s u r v e illa n c e   s y s te m s .   T o   d e te c m o v i n g   o b j e c ts ,   th e   f ir s s ta g e   in v o lv e s   d iv id in g   t h e   s c e n e   i n to t w o   r e g io n s ,   f o r e g r o u n d   a n d   b a c k g r o u n d . T h e   f o r e g r o u n d   c o n ta i n s   o n l y   e v e n ts   o f   in te r e s t,   a n d   th e b a c k g r o u n d   is   r e la tiv e l y   u n c h a n g i n g   o v e r   ti m e .   De te c tio n   o f   m o v i n g   o b j e c ts   f r o m   a   v id e o   s e q u e n c e   is   t h e f ir s s ta g e   o f   t h e   e x tr a c tio n   o f   v is u a in f o r m a t io n .   F o r   v id e o   s u r v e i lla n c e   r e s e a r c h e s ,   b a c k g r o u n d   s u b tr a c tio n te c h n iq u e s   a r e   u s u a ll y   u s e d   f o r   d e te c tin g   m o tio n   i n   m a n y   r e a ti m e   tr a c k in g   s y s te m s   a n d   v id e o   s u r v e illa n c e a p p lic a tio n s   [ 1 ] ,   [ 2 ] ,   [ 6 ] . M a n y   m o tio n   d e te c tio n   a n d   tr a c k in g   a l g o r ith m s   d e p e n d   o n   t h e   p r o c e s s   o f   b a c k g r o u n d   s u b tr a c tio n ,   a te c h n iq u e   w h ic h   d e te c ts c h a n g e s   f r o m   a   m o d e o f   t h e   b a c k g r o u n d   s c e n e .   B a c k g r o u n d   s u b tr a c tio n   ta k e s a d v a n ta g e   o f   b o t h   s p a tia a n d   te m p o r a c u e s   to   id e n ti f y   a n d   tr a c k   r e g io n s   o f   i n te r e s t   ( R OI ) k n o w n   a s f o r e g r o u n d   o b j e c ts   lik e   p e o p le   r u n n i n g   o r   w a l k i n g ,   a n i m a l s ,   c a r s   a n d   o t h e r s .   T o a c h ie v e   th i s   s e p a r a tio n   o f f o r e g r o u n d   a n d   b a c k g r o u n d ,   t e c h n iq u e s   s u c h   a s   m o t io n   d e t e c tio n   o r   o p tic a f lo w   a r e   u s e d   [ 7 ] ,   [ 8 ] .   S h a d o w s a f f e c t h e   p r o c e s s   o f   f o r e g r o u n d   o b j e c d e te c tio n .   T h e y   c a u s e   m a n y   p r o b le m s   i n   th e   o b j e c lo c a liz a tio n , s e g m e n ta tio n ,   e x tr a c tio n   o f   t h e   o b j e c ts   a n d   tr a c k in g   [ 9 ] .   F u r th e r m o r e ,   s h a d o w s   m a y   c a u s e   m e r g i n g   o f   o b j e c ts w it h   e a c h   o th e r o b j e c s h a p e s   m a y   b e   d is to r te d ,   a n d   a s   a r e s u lt,   t h e   b a c k g r o u n d   m a y   b e   c la s s i f ie d   a s f o r e g r o u n d   a n d   m is s i n g   o b j e c ts .   I n itia b a c k g r o u n d   m o d e c a n   b e   o b ta in e d   b y   u s in g   a   s h o r tr a in in g   s e q u e n c e in   w h ic h   n o   f o r e g r o u n d   o b j e c t s   a r e   p r e s e n t.   Ho w e v e r ,   in   s o m e   m o n ito r in g   a r e a s ,   s u c h   a s   p u b lic   a r e a ,   c r o w d e d c o r r id o r s ,   a n d   tr a f f ic ,   it  is   d i f f ic u lt   to   c o n tr o t h e   a r e a   b e in g   m o n ito r e d .   I n   s u c h   c a s e s ,   t h e r e   m a y   b e a   n e e d   to tr a in   t h e   m o d e u s i n g   a   s e q u e n c e   w h ic h   c o n ta in s   f o r e g r o u n d   o b j e c ts .   An   id e a b a c k g r o u n d   s u b tr a c tio n   c o u ld p r o d u c e   g o o d   r e s u lts   w h ile   f o r e g r o u n d   r e g io n s   a r e   in   m o tio n   d u r in g   tr a i n in g   s e q u e n c e .   T h e r e   is   a ls o   a   n e e d   to m a i n ta i n   a   b a c k g r o u n d   m o d e to a d a p to   a ll  p o s s ib le   c h a n g e s   in   t h e   m o n ito r in g   a r e a . F ig u r e   1 .   R e g io n   o f   I n te r e s ( R OI ) I n   g e n e r a l,   h u m a n   d e te c tio n   m e th o d s   r e q u ir e   la r g e   a m o u n t s   o f   c o m p u ta tio n a p r o c e s s i n g   a n d c o m p le x   m o d e ls .     I n   t h i s   f r a m e w o r k ,   w e   p r o p o s e d   a n   e n h a n c e d L u c a s Ka n a d e   Op tic a F l o w   [ 1 0 ]   in   o r d e r   to i m p r o v e   h u m a n   d e te c tio n   r e s u lts   u s i n g   a   p r e - p r o c e s s in g   s ta g e   b e f o r e   in i tia ti n g   a   s ta te - o f - t h e - a r d e te c to r .   T h e Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E I S S N:  2 0 8 8 - 8 7 0 8 Hu ma n   De te c tio n   F r a me w o r k   fo r   A u to ma te d   S u r v e illa n c e   S y s te ms ( R e d w a n   A . K .   N o a ma n ) 8 7 9 L u c a s - Ka n a d e   m e t h o d   is   w i d e ly   u s e d   a s   a   d i f f e r e n tia m e t h o d   f o r   o p tic a f lo w   e s ti m a tio n   f o r   c o m p u te r v is io n .   Ho w e v e r ,   th e   d r a w b a c k s   o f   t h is   m e t h o d   in c l u d e   e r r o r s   r e g a r d in g   th e   b o u n d a r ie s   o f   m o v in g   o b j e c t w h e r e   m a n y   u n w a n te d   v e c to r s   a p p e a r   d u e   to   lig h ti n g   a n d   c a m e r a   n o i s e   [ 1 1 ] .   R e s e a r c h e s   in   th i s   a r e a   a r e in te r e s te d   in   lo w   le v e ( d e te c tio n ) ,   in te r m e d ia te   l e v e ( tr a c k i n g )   a n d   h ig h   le v e ( b e h a v io u r a a n a l y s is ) s u c h   i n [ 1 2 ] .   I n s te a d   o f   a n a l y z i n g   th e   w h o le   f r a m e ,   t h e   e n h a n c e d   L u c a s Ka n a d e   te c h n iq u e   w a s   u s e d   to   o b ta in   a R e g io n   o f   I n te r e s ( R OI )   a s   s h o w n   i n   F i g u r e   1 .   R OI   is   u s e d   a s   th e   in p u f o r   th e   h u m a n   d e te c to r .   T h is e n h a n c e m e n r e d u c e d   th e   p r o c e s s i n g   ti m e   a n d   in c r e a s e d   t h e   a c c u r a c y   o f   t h e   d e te c to r . 2 . RE S E ARCH M E T H O D T h e   p r o p o s e d   f r a m e w o r k   c a n   b e   d e s c r ib e d   in   t h r e e m a in   p h a s e s   a s   s h o w n   i n   F ig u r e 2 .   F ir s p h a s e   i s b a c k g r o u n d   m o d e w h ic h   a i m s   to   e x tr a c t   th e f o r e g r o u n d   p a r o f   t h e   p ic t u r e   th a c o n ta i n s   t h e   m o v i n g   o b j e c ts . T h e   s e c o n d   p h a s e   is   to   e f f e c tiv e l y   e x tr a c th e   m o v in g   o b j e c ts   b y   d e s i g n in g   s h a d o w   r e m o v a m o d e l.   S h a d o w r e m o v a m o d e i s   r e s p o n s ib le   f o r   o p ti m iz in g   t h e   e x tr a c tio n   p r o c e s s   o f   t h e   m o v i n g   o b je c t s   s o   t h a t   h u m a n o b j e c ts   c a n   b e   e f f e c ti v e l y   r e c o g n iz e d .   T h e   th ir d   p h a s e   i s   t o   e f f ic ie n tl y   r e c o g n iz e   t h e   h u m a n   o b j e c ts   a m o n g th e   e x tr a c te d   o b j e c ts .   F o r   th is   p u r p o s e ,   a n   e n h a n c e d   v e r s i o n   o f   L u c a s Ka n a d e   o p tic a f lo w   te c h n iq u e   i s p r o p o s e d   to   e f f e c tiv e l y   a n d   e f f ic ie n tl y   d e te c h u m a n   o b j e c t s in th e   v id e o   s tr e a m . F ig u r e   2 .   E n h a n c e d   Hu m a n   D e te c tio n   F r a m e w o r k 2 . 1 . B a c k g r o u n d   S u b t r a c t io n   Alg o r it h m B a c k g r o u n d   s u b tr a c tio n   i s   a   m e th o d   th a ta k e s   a d v a n ta g e   o f   b o th   s p a tia a n d   te m p o r a c u e s   to id e n ti f y   a n d   tr a c k   r e g io n s   o f   i n te r e s c a lle d   f o r e g r o u n d   o b j e c lik e   p e o p le   r u n n in g   o r   w a l k in g ,   a n i m a l s ,   c a r s , e tc . B y   c o m p a r in g   i n c o m i n g   i m a g e   f r a m e s   to   a   r e f e r e n c e   i m a g e ,   r e g io n s   o f   th e   i m a g e   wh ic h   h a v e   c h a n g e d a r e   e f f ic ie n tl y   lo c a te d .   I f   th e s e   r e g io n s   o f   i n te r e s c a n   b e   d e te c te d   p r e c is e ly   a n d   e f f e c ti v e l y ,   th e n   s u b s e q u e n t i m a g e   p r o c e s s i n g   s ta g e s   w ill   b e   p r e s e n te d   w it h   a   m u c h   li m ite d   p r o c e s s in g   a r e a   w i th in   a n   i m a g e .   T h i s r e d u c tio n   w i ll  le a d   to   b e tte r   e f f ic ie n c y ,   a c c u r a c y   a n d   c o m p u ta tio n a l   c o s f o r   t h e   c o m p l e te   v i s io n   s y s te m . C u r r e n tl y , v a r io u s   te c h n iq u e s   e m p lo y   b a c k g r o u n d   s u b tr a c tio n   [ 1 ,   2 ,   5 ,   1 3 - 1 5 ] . M o s o f   th e s e   te c h n iq u e s   u s e   a b a c k g r o u n d   r e f e r e n c e   i m a g e   t o   p e r f o r m   b a c k g r o u n d   s u b tr a c tio n .   T h is   r e f e r e n c e   i m a g e   is   o b ta in e d   a f te r   t h e b a c k g r o u n d   is   m o d e le d   m a th e m a tic a ll y .   I n   th e   f i n a s te p ,   th e   c u r r e n i m a g e   is   s u b tr a c te d   f r o m   th e   r e f e r e n c e i m a g e   to   p r o d u c e   a   m a s k   th a t h i g h lig h t s   a ll   f o r e g r o u n d   o b j e c ts .   T h e   p r o c e s s   o f   i m a g e   a c q u i s itio n , b a c k g r o u n d   m o d e lin g   a n d   f i n a ll y   s u b tr a c ti n g   th e   c u r r e n i m a g e   f r o m   t h e   b a c k g r o u n d   r e f e r e n c e   i m a g e   i s i m p le m e n te d   in   w h a is   k n o wn   a s   t h e   b a c k g r o u n d   s u b tr a c tio n   a lg o r it h m .   I n i tia b a c k g r o u n d   m o d e is   o f te n o b ta in e d   b y   u s i n g   a   s h o r tr a in i n g   s e q u e n c e   in   w h ic h   n o   f o r e g r o u n d   o b j e c ts w e r e p r e s e n t e d .   Ho w e v e r ,   in s o m e   m o n ito r in g   a r e a s ,   s u c h   a s   p u b lic   a r e a ,   c r o w d e d   c o r r id o r s , o r tr a f f ic , it   is   d if f ic u lt  o r   i m p o s s ib le   to c o n tr o th e   a r e a   b e in g   m o n i to r e d .   I n   s u c h   c a s e s   t h e r e is a   n e e d   to   tr a in   th e   m o d e u s in g   a   s e q u e n c e   w h ic h c o n ta in s   f o r e g r o u n d   o b j e c ts .   An   id e a b a c k g r o u n d   s u b tr a c t io n   c o u ld   p r o d u c e   g o o d   r e s u l ts   w h ile   f o r e g r o u n d r e g io n s   a r e   in   m o tio n   d u r i n g   tr a in i n g   s e q u e n c e .   T h e r e   is   a ls o   a   n e e d   to m a k e   m a i n te n a n c e   f o r   b a c k g r o u n d m o d e to   a d a p a ll  p o s s ib le   c h a n g e s   in   t h e   m o n ito r i n g   a r e a . I n   t h is   p a p e r , in   o r d e r   to   p e r f o r m   b a c k g r o u n d   m o d e l,   a   m o d a l   a lg o r it h m   is   d e v e lo p e d   b a s e d   o n b r ig h t n e s s   o r   th e   i n te n s i t y   v a lu e   o f   th e   i m a g e   i n   t h e   c u r r e n f r a m e .   T h e   v a l u e   t h a a p p e a r s   m o s o f te n in d ic a te s   t h e   n e e d f o r   m o r e r e d u n d a n c y   d u r i n g   tr a in in g   s e q u e n c e s   to   r e p r e s e n th e   b a c k g r o u n d   m o d e f o r   th a t p ix e l.   L e F   r e p r e s e n a   f u n c t io n   th a r e t u r n s   v e c to r   c o n ta i n in g a n u m b e r   o f   f r e q u e n b r ig h t n e s s   v a l u e s o f   a p ix e w i t h i n   a   s e q u e n c e   o f   i m a g e ,   B ^t  ( z )   is   t h e   b r ig h t n e s s   v a lu e   o f   p ix e l s   a lo c a tio n   z   w it h i n   t h e   i m a g e s e q u e n c e   t.   T h e   in i tia b a c k g r o u n d   m o d e M ( z )   f o r   a   p ix e a lo c a tio n   z   c a n   b e   o b ta in e d   f r o m   t h e   e q u a t io n   ( 1 ) . M ( z ) = M o s t f r e qu e n t v a l u e F B ( z ) E q . ( 1 ) w h e r e F ( B ( z ) ) r e p r e s e n ts   a   v e c to r   c o n ta in i n g f r e q u e n c y   o f   in te n s i t y t h a o c c u r r e d   in   z   lo c a tio n   o n   i m a g e s e q u e n c e   t.     F i g u r e   3   s h o w s p s e u d o   c o d e   f o r     th e   p r o p o s e d   m o d a a lg o r ith m . B a c k g r o u n d   S u b t r a c t i o n M o d e l l i n g S t a g e M o t i o n   O b j e c t   D e t e c t i o n a n d   O p t i m i z a t i o n S t a g e H u m a n   D e t e c t i o n S t a g e B a c k g r o u n d   M o d e l A l g o r i t h m N o i se   a n d   S h a d o w R e m o v a l   A l g o r i t h m H u m a n D e t e c t i o n M e t h o d Evaluation Warning : The document was created with Spire.PDF for Python.
I S S N : 2 0 8 8 - 8 7 0 8 I J E C E   Vo l. 6 ,   No . 2 , A p r il  2 0 1 6 : 8 7 7 8 8 6 8 8 0 F ig u r e 3 . P s e u d o   C o d e   f o r   M o d a A l g o r ith m F ig u r e 4 s h o w s   th e   h i s to r y   m a p   in   w h ic h   t h e   f ir s c e ll , la b e le d   D , in d ic a te s   t h e   n u m b e r   o f   d if f e r e n t b r ig h t n e s s   v a l u e s   ta k e n   f o r   th e   p ix e a lo c a tio n   z   d u r in g   th e   tr a in in g   s e q u e n c e .   T h e   s e c o n d   t w o   c e ll s   c o n c e r n th e   p ix e a lo c a tio n   z w h ic h   a r e   la b e le d   A 1   a n d   B 1 r e s p e c tiv e l y . C e l l A 1   in d ic a te s   b r ig h t n e s s   v a lu e ,   w h e r e a s c e ll B 1 s h o w s   th e   n u m b e r   o f   r e d u n d a n c y   o f   th a b r ig h tn e s s   v a l u e   d u r in g   t h e   tr a i n in g   s e q u e n c e . T h e   s a m e p r o c e s s w il c o n ti n u e f o r   e v e r y   f r a m e f o r   th e   r e s o f   t h e   tr a i n in g   s e q u e n c e , w h e r e   e v e r y   t w o   c e ll s   a r e   u s e d   to s to r e   th e   s a m e   i n f o r m a tio n   f o r   o th e r   b r ig h t n e s s   v a l u e s   ta k e n   f o r   th e   p ix e a lo c a tio n   z   a n d   th e ir   r e d u n d a n c y n u m b e r s   r e s p e c ti v e l y   u n le s s   t h e   p ix e l   h a s   b r ig h t n e s s   v a l u e   a lr e a d y   ta k e n .   T h e   s iz e   o f   t h e   a r r a y   l is a s s i g n e d   to th e   p ix e a lo c a tio n   z   is   d y n a m ic   b e c a u s e   it  d e p e n d s   o n   t h e   n u m b e r   o f   p o s s i b le   d if f e r e n b r ig h t n e s s   v a lu e s th a c a n   b e   ta k e n   f o r   th a p i x e f o r   a ll  f r a m e s   d u r in g   t h e   tr a i n in g   s e q u e n c e .   T h e   s a m e   p r o c e s s   is   r e p e a te d   f o r e a c h   p ix e a n d   s to r e d   in   th e   h i s to r y   m a p . F ig u r e 4 .   ( a )   I m a g e   S e q u e n c e   ( b )   His to r y   m a p P ix e in te n s it y   is th e   m o s c o m m o n l y   u s e d   f e a t u r e   in   b a c k g r o u n d   m o d e lin g .   T h e   b a s ic   m e t h o d   is   to m o n ito r   t h e   c h a n g e   o f   t h e   i n te n s it y   o f   t h e   p i x e in   s e q u e n t ia f r a m e s .   Ho w e v e r ,   n o is e ,   c a m e r a ,   j itte r , a u to m a t ic   a d j u s t m e n t o f   t h e   c a m e r a ,   ill u m in a t io n   c h a n g e ,   s h a d o w ,   d y n a m ic   b a c k g r o u n d s   a n d   s le e p i n g o b j e c ts   c a u s e   c h a n g e   i n   p ix e l   in te n s it y   a n d   le a d s   to   r e d u c e   th e   p e r f o r m a n c e   o f   t h e   b a c k g r o u n d   s u b tr a c tio n m o d e l s . 2 . 2 . No is e   a n d   S h a d o w   Re m o v a M o d e l T h e   n e x t   s ta g e   a f te r   g e tti n g   th e   b a c k g r o u n d   r e f e r e n c e   i m a g e   ( B R )   f r o m   p r e v io u s   s ta g e   is   t o   d e a w it h th e   s h a d o w   i n   th e   f r a m e   s e q u e n c e .   S h a d o w s   a r e   c a s o n   t h e   b a c k g r o u n d   a n d   c h a n g e   it s   c o lo r   in f o r m a tio n w h ic h   is   w h y   a   B lu e   b a n d   f r o m   R GB   c o lo r   m o d e ls   h a s   b e e n   c h o s e n   to   b e   th e   m a i n   b a n d .   T h e   R GB   c o lo r m o d e s h o w s   m o r e   s ig n i f ic a n s h a d o w   i n   t h e   B lu e   b a n d .   F ir s t,   th e   B lu e   b a n d   o f   th e   b a c k g r o u n d   r e f e r e n c e ( _ ) , ( _ ) _ _ = 2 0 _ ( _ _ ) _ _ < _ = _ _ = _ _ ( _ ) _ = [ _ ] _ = _ _ _ = _ _ ( _ _ _ ) _ = _ _ ( _ ) / / C a l c u l a t e   t h e   b a c k g r o u n d   i m a g e   f r o m   e q u a t i o n   ( 1 ) / / U p d a t e   t h e   h i s t o r y   m a p   t o   m a i n t a i n   Ba c k g r o u n d Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E I S S N:  2 0 8 8 - 8 7 0 8 Hu ma n   De te c tio n   F r a me w o r k   fo r   A u to ma te d   S u r v e illa n c e   S y s te ms ( R e d w a n   A . K .   N o a ma n ) 8 8 1 i m a g e B R blue is   ta k e n   a n d   m o v e d   to   n o r m a liz a tio n   p r o c e s s .   T h e n ,   t h e   B lu e   b a n d   o f   th e   c u r r e n f r a m e C F blue is ta k e n   a n d   s u b tr a c te d   f r o m B R blue ,   th e   r e s u lti m a g e   is S blue .   T h e n ,   a   t h r e s h o ld   a p p lie d   f o r S blue to   r e m o v e   n o is e a n d   th e   r e s u lt  i m a g e   i s S B th . As s u m e   th a t h e   e d g e s   o f   t h e   o b j e c ts   a r e   n o c h a n g e d   b e c a u s e   o b j e c ts   o f te n   h a v e   s tr o n g   e d g e s   th a n its   s h a d o w .   De p e n d s   o n   th a t,   a   P r e w itt  e d g e   f i lte r   is   a p p lie d   to   g e th e   e d g e in f o r m a ti o n   f r o m S B th .   T h e P r e w i tt  f ilte r   is   c h o s e n   b e c a u s e   it  p r o d u c e s   c le a r   e d g e s   a n d   it  is   m o r e   r e lia b le   to   s h o w   t h e   r e g io n s   w h e r e   th e in te n s it y   c h a n g e d . F o r   e d g e   d e te c tio n ,   th e   e d g e s   o f   th e   o b j e c ts   s u f f e r   f r o m   s o m e   d i s c o n n e c te d   p o in t s .   B - s p li n e a lg o r it h m   is   u s e d   i n   o r d e r   to   o v e r c o m e   t h i s   p r o b le m .   A   s p lin e   c u r v e   is   a   s e q u e n c e   o f   c u r v e   s e g m e n ts   t h a a r e c o n n e c te d   to g e t h e r   to   f o r m   a   s in g le   c o n t in u o u s   c u r v e .   F o r   t h is   r e a s o n ,   th e   B - s p lin e   te c h n iq u e   h a s   b e e n   u s e d to   r e c o n s tr u c t h e   e d g e s   f o r   th e   o b j e c ts   w h ic h m a y   d i s c o n n e c a n d   d is to r te d   th r o u g h   p r e v io u s   s ta g e s   f o r s h a d o w   r e m o v a l.   B - s p li n e   a l g o r ith m   g o e s   th r o u g h   th e   wh o le   i m a g e   u s i n g   a   s p e c ia k e r n e [ 1 5 * 3 0 ]   a n d d e te r m in e s   m a x i m u m   n u m b e r   o f   e d g e   p o in t s   i n   e a c h   k e r n e l,   if   th e   n u m b e r   o f   p o i n ts   is   s m a lle r   th a n   a c e r ta in th r e s h o ld ,   m e a n s   th a th e r e   is   a   s m a ll  c o n n e c t iv i t y , t h e n   B - s p lin e   w o r k s   a n d   c o n n e c t s   t h e   p o in ts   in   t h a k e r n e l . I f   th e   n u m b e r   o f   p o in ts   i s   g r e a te r   th a n   a   c e r ta in   t h r e s h o ld ,   m e a n s   t h a t h e r e   a r e   m o r e   c o n n e c ti v it y   a n d c o m m o n   b o r d e r s   w i th i n   t h a k e r n e l,   t h e n   a s s u m e   t h e   e d g e s   in   th a k e r n e i s   c o n n e c te d   p r o p e r ly   a n d   n o   n e e d to   u s e   B - s p i n e   t h e r e .   T h e   s a m e   s te p s   a r e   r e p e a te d   u n til  th e   s p e c ia k e r n e m o v e s   to   t h e   e n d   o f   th e   i m a g e . 2 . 3 . H u m a n   De t e c t io n M e t h o d Ne x t s ta g e   i s   to p r o p o s e   a   m e th o d   to   e n h a n c e t h e   p e r f o r m a n c e   o f   t h e h u m a n   d e te c tio n   m e c h a n i s m s . T h e   L u c a s Ka n a d e   o p tic a f l o w   te c h n iq u e [ 1 0 ] is   e n h a n c e d   a n d   u s e d   to   i m p r o v e   t h e   h u m a n   d e te c to r   s p e e d a n d   a c c u r a c y . T h e   L u c a s K a n a d e   m e t h o d   is   c o m m o n l y   u s e d   a s   a   d if f e r e n tia m e th o d   f o r   o p tic a f lo w e s ti m a tio n   i n   c o m p u te r   v is io n .   I u s e s   le a s s q u a r e s   c r ite r io n   to   s o lv e   b a s ic   o p tic a f lo w   e q u a tio n s   f o r   a ll  th e p ix e ls   i n   a   n e ig h b o u r h o o d .   I is   a   p u r e l y   lo c a m e t h o d   a s s u m e s   t h a t h e   f lo w   i s   c o n s ta n i n   lo c a l n e ig h b o u r h o o d s   o f   t h e   p ix e u n d e r   c o n s id e r a tio n .   I ts   a d v a n ta g e s a r e   t h a i c a n   m a k e   v e r y   f a s c a lc u la tio n s a n d   a c c u r a te   ti m e   d e r iv a ti v e s .   T h e   d is a d v a n ta g e   o f   t h e   L u c a s - Ka n a d e   m e t h o d   is   th e   c r e a tio n   o f   e r r o r s r e g a r d in g   t h e   b o u n d a r ie s   o f   m o v in g   o b j e c t. As   s h o w n   in   F i g u r e   5 ,   e v e r y   t w o   f r a m e s   w e r e   p r o c e s s e d th r o u g h   th e   e n h a n c e d   o p tic a f lo w t e c h n iq u e   to   g e m o tio n   v e c to r s   ( m a p   o f   v e c to r s ) .   T h e n ,   Ga u s s ia n   s p e c ia f il te r   w a s   u s e d   to   r e d u c e   u n w a n te d m o tio n   v e c to r s   to   a v o id   w r o n g   s e g m e n ta tio n .   I n   o r d e r   to   u s e   th is   n e w   m a p   to   d o   s e g m e n t a tio n   a n d   o b ta in   th e R e g io n o f   I n te r e s t   ( R o I ) ,   th e   n e w   m a p   o f   m o tio n   v e c to r s   we r e   c o n v e r te d   to   b in a r y   b lo b s .   F u r t h e r m o r e ,   s o m e m o r p h o lo g ic a l p r o c e s s e s   w e r e   p e r f o r m e d   to   e n h a n c e   s e g m e n ta tio n   s ta g e b y r e m o v i n g is o la te d   n o is e s . F in a ll y ,   s e g m e n ta tio n   f o r   e a c h   b lo b   w a s   p e r f o r m e d   a n d   p r o c e s s e d   to   h u m a n   d e te c to r . F ig u r e   5 .   S te p s   f o r   e n h a n c i n g   m o ti o n   o b j e c d e te c tio n   p e r f o r m a n c e L - OF M o tio n   Ve c to r s M a p S p e c ia Ga u s s ia n   F ilte r M o r p h o lo g ic a l P r o c e s s T o   P F F   De te c to r R OI R OI R O I s 2   S e q .   F r a m e s F 2   S e q .   F r a m e s F Evaluation Warning : The document was created with Spire.PDF for Python.
I S S N : 2 0 8 8 - 8 7 0 8 I J E C E   Vo l. 6 ,   No . 2 , A p r il  2 0 1 6 : 8 7 7 8 8 6 8 8 2 T o a c h ie v e   a n e f f ic ie n t a n d   e f f e c ti v e   h u m a n   d e te c tio n ,   P F F   d e te c to r [ 1 2 ] is   u s e d   to   r e c o g n iz e h u m a n m o tio n   a m o n g   a ll  m o tio n   o b je c ts   in   t h e   s c e n e .   P F F   is d e s c r ib e d   a s   a   c o m p le te   le a r n i n g - b a s e d   s y s te m   f o r d e te c tin g   a n d   lo c a liz i n g   o b j e c ts   a n d   h u m a n s   i n   i m a g e s   u s i n g   c o m b i n e d   m u l ti - s c a le   d e f o r m a b le   p a r m o d e ls . P F F   h a s   th e   a b ilit y   to   r e p r e s e n h i g h l y   v a r ia b le   o b j e c c la s s e s   a n d   a c h ie v e   s ta te - o f - th e - a r t   r e s u lts i n   P A S C AL o b j e c d e te c tio n   c h a lle n g e s .   W h ile   d e f o r m a b le   p a r m o d e ls   h a v e   b e c o m e   p o p u la r ,   th e ir   v a lu e   h a d   n o b e e n d e m o n s tr a te d   u s i n g   d if f ic u lt  b e n c h m a r k s   s u c h   a s   P A S C AL   w it h   P E T S   d a ta s e ts [ 1 9 ] .   T h e   P F F   d e te c to r   r e lie s o n   n e w   m e t h o d s   f o r   d is c r i m i n a ti v e   tr a i n in g   w i th   p a r ti a ll y   la b e lle d   d a ta .   A   m a r g i n - s e n s iti v e   a p p r o a c h c o m b i n e d   w ith   d a ta - m in i n g   h a r d   n e g a tiv e   e x a m p le s   a n d   f o r m a li s m i s   k n o w n   a s la te n S V M .   A   la te n S VM   i s s e m i - c o n v e x   a n d   t h e   tr a in i n g   p r o b le m   b e c o m e s   c o n v e x   o n c e   la te n i n f o r m a tio n   i s   s p e c if i e d   f o r   th e   p o s itiv e e x a m p le s .   T h is   le a d s   to   a n   ite r a tiv e   tr a in in g   a l g o r ith m   th a a l te r n a te s   b e t w e e n   f i x i n g   la te n v a lu e s   f o r   p o s iti v e e x a m p le s   a n d   o p ti m iz i n g   th e   l a te n S VM   o b j e c tiv e   f u n c t io n [ 1 2 ] . Dif f e r e n r e s e a r c h e s   h a v e   b e e n   d o n e   to w a r d p e d e s tr ia n   d e te c tio n s u c h   a s   in [ 2 0 - 2 2 ] . 3 . RE S U L T S   AND  D I S CU S S I O N T h e   p r o p o s e d   e n v ir o n m e n ta l l y m o d e l   n a m e l y   M o d a a l g o r i th m   p r o d u c e d   e n c o u r a g i n g   r e s u lt s   f o r a m o r e   r o b u s t,   r e lia b le   a n d   a p p lic a b le   a p p r o a c h   f o r r e a l - ti m e   b a c k g r o u n d   m o d e li n g   f o r   s u r v e illa n c e   o n   b o t h s h o r a n d   lo n g   t i m e   p e r io d   th r o u g h   m a n y   v id e o   s e q u e n c e s   w h ic h w e r e u s e d   to   te s i t. A   c o m p a r is o n   b e t w e e n M o d a l,   m e d i a n   a n d   m e a n   i s   s h o w n   in   F ig u r e   6 a n d   T a b le   1 ,   w h e r e   o n e   s c e n e   w a s   c h o s e n   f r o m   C AVI A R d a ta s e ts   ( a   m a n   w a l k i n g   i n   a   h a ll  s to p p e d   f o r   a   w h ile a n d th e n w a lk e d b a c k   a g a in )   a n d   t h e   n u m b e r   o f   e r r o r p ix e ls   p lo tte d . C A VI AR d a ta s e c o n ta in s a   n u m b e r   o f   v id e o   c lip s w h ic h r e c o r d e d th e a c tin g   o u t o f d i f f e r e n t s c e n a r io s   o f   in te r e s t.   T h e s e   in c lu d e   p e o p le w a lk in g   a lo n e ,   m e e t in g   w it h   o th e r s ,   w i n d o w   s h o p p in g ,   e n te r in g a n d   e x i t in g   s h o p s ,   f ig h ti n g   a n d   p a s s in g   o u a n d   la s t,   b u n o le a s t,   le a v in g   a   p a c k a g e   i n   a   p u b lic   p la c e [ 1 6 ] . T h e   p lo in   F i g u r e 6 a n d   T a b le   1 a ls o s h o w s   t h a t h e   M o d a a lg o r ith m   g i v e s f e w e r e r r o r   p ix e ls   c o m p a r e d   to m e d ia n   a n d   m e a n . T h e   a d v a n t a g e s   o f   M o d a a lg o r it h m   o v e r   m e d ia n   a n d   m e a n   c a n   b e   s u m m a r iz e d   a s   f o llo w s : ( I ) M o d a a lg o r ith m   is   m o r e   f le x ib le   a n d   a p p lic a b le   f o r   r e a e v e n t s   b e c a u s e   it  d e p e n d s   o n   th e   h i g h e s t r e d u n d a n c y   o f   t h e   b r ig h t n e s s   v a lu e s   w h ile   m e d ia n   f ilte r   r e q u ir e s   e v e r y   p ix e to   a p p e a r   m o r e   th a n   f if t y p e r c e n d u r in g   tr a in i n g   s e q u e n c e . ( I I ) M o d a a lg o r ith m   o v e r c o m e s   t h e   p r o b le m   o f   b li n d in g   p ix e ls   w h ic h   a p p e a r   in   m e a n   a lg o r it h m . ( I I I ) M o d a a lg o r ith m   g i v e s f e w e r e r r o r   p ix e ls   i f   th e   o b j e c s to o p e d   f o r   a   lo n g   ti m e . F ig u r e   6 .   C o m p a r is o n   b e t w e e n   M o d a l,   m e d ia n   a n d   m e a n T a b le   1 .   Nu m b e r   o f   e r r o r   p ix e ls T h r e sh o l d M a x i m u m   n u m b e r   o f   e r r o r   p i x e l s M o d a l 8 9 2 M e d i a n 9 5 5 M e a n 9 6 0 T o   e v a lu a te   th e   e f f e c ti v e n e s s   o f t h e   p r o p o s e d   s h a d o w   r e m o v a m e th o d ,   t h e   p r o p o s e d   m e th o d   w a s c o m p a r e d   w it h   t w o   m e t h o d s ,   Ho r p r a s e r t’ s   m e t h o d   [ 1 7 ]   a n d   C o n a ir e s   m e t h o d   [ 1 8 ] .   H o r p r a s e r t’ s   m e t h o d d e te c te d   th e   s h a d o w   b y   p r o p o s in g   a   c o m p u ta t io n a c o lo r   m o d e th a s e p a r a te s   t h e   b r ig h t n e s s   c o m p o n e n t   f r o m I S S N : 2 0 8 8 - 8 7 0 8 I J E C E   Vo l. 6 ,   No . 2 , A p r il  2 0 1 6 : 8 7 7 8 8 6 8 8 2 T o a c h ie v e   a n e f f ic ie n t a n d   e f f e c ti v e   h u m a n   d e te c tio n ,   P F F   d e te c to r [ 1 2 ] is   u s e d   to   r e c o g n iz e h u m a n m o tio n   a m o n g   a ll  m o tio n   o b je c ts   in   t h e   s c e n e .   P F F   is d e s c r ib e d   a s   a   c o m p le te   le a r n i n g - b a s e d   s y s te m   f o r d e te c tin g   a n d   lo c a liz i n g   o b j e c ts   a n d   h u m a n s   i n   i m a g e s   u s i n g   c o m b i n e d   m u l ti - s c a le   d e f o r m a b le   p a r m o d e ls . P F F   h a s   th e   a b ilit y   to   r e p r e s e n h i g h l y   v a r ia b le   o b j e c c la s s e s   a n d   a c h ie v e   s ta te - o f - th e - a r t   r e s u lts i n   P A S C AL o b j e c d e te c tio n   c h a lle n g e s .   W h ile   d e f o r m a b le   p a r m o d e ls   h a v e   b e c o m e   p o p u la r ,   th e ir   v a lu e   h a d   n o b e e n d e m o n s tr a te d   u s i n g   d if f ic u lt  b e n c h m a r k s   s u c h   a s   P A S C AL   w it h   P E T S   d a ta s e ts [ 1 9 ] .   T h e   P F F   d e te c to r   r e lie s o n   n e w   m e t h o d s   f o r   d is c r i m i n a ti v e   tr a i n in g   w i th   p a r ti a ll y   la b e lle d   d a ta .   A   m a r g i n - s e n s iti v e   a p p r o a c h c o m b i n e d   w ith   d a ta - m in i n g   h a r d   n e g a tiv e   e x a m p le s   a n d   f o r m a li s m i s   k n o w n   a s la te n S V M .   A   la te n S VM   i s s e m i - c o n v e x   a n d   t h e   tr a in i n g   p r o b le m   b e c o m e s   c o n v e x   o n c e   la te n i n f o r m a tio n   i s   s p e c if i e d   f o r   th e   p o s itiv e e x a m p le s .   T h is   le a d s   to   a n   ite r a tiv e   tr a in in g   a l g o r ith m   th a a l te r n a te s   b e t w e e n   f i x i n g   la te n v a lu e s   f o r   p o s iti v e e x a m p le s   a n d   o p ti m iz i n g   th e   l a te n S VM   o b j e c tiv e   f u n c t io n [ 1 2 ] . Dif f e r e n r e s e a r c h e s   h a v e   b e e n   d o n e   to w a r d p e d e s tr ia n   d e te c tio n s u c h   a s   in [ 2 0 - 2 2 ] . 3 . RE S U L T S   AND  D I S CU S S I O N T h e   p r o p o s e d   e n v ir o n m e n ta l l y m o d e l   n a m e l y   M o d a a l g o r i th m   p r o d u c e d   e n c o u r a g i n g   r e s u lt s   f o r a m o r e   r o b u s t,   r e lia b le   a n d   a p p lic a b le   a p p r o a c h   f o r r e a l - ti m e   b a c k g r o u n d   m o d e li n g   f o r   s u r v e illa n c e   o n   b o t h s h o r a n d   lo n g   t i m e   p e r io d   th r o u g h   m a n y   v id e o   s e q u e n c e s   w h ic h w e r e u s e d   to   te s i t. A   c o m p a r is o n   b e t w e e n M o d a l,   m e d i a n   a n d   m e a n   i s   s h o w n   in   F ig u r e   6 a n d   T a b le   1 ,   w h e r e   o n e   s c e n e   w a s   c h o s e n   f r o m   C AVI A R d a ta s e ts   ( a   m a n   w a l k i n g   i n   a   h a ll  s to p p e d   f o r   a   w h ile a n d th e n w a lk e d b a c k   a g a in )   a n d   t h e   n u m b e r   o f   e r r o r p ix e ls   p lo tte d . C A VI AR d a ta s e c o n ta in s a   n u m b e r   o f   v id e o   c lip s w h ic h r e c o r d e d th e a c tin g   o u t o f d i f f e r e n t s c e n a r io s   o f   in te r e s t.   T h e s e   in c lu d e   p e o p le w a lk in g   a lo n e ,   m e e t in g   w it h   o th e r s ,   w i n d o w   s h o p p in g ,   e n te r in g a n d   e x i t in g   s h o p s ,   f ig h ti n g   a n d   p a s s in g   o u a n d   la s t,   b u n o le a s t,   le a v in g   a   p a c k a g e   i n   a   p u b lic   p la c e [ 1 6 ] . T h e   p lo in   F i g u r e 6 a n d   T a b le   1 a ls o s h o w s   t h a t h e   M o d a a lg o r ith m   g i v e s f e w e r e r r o r   p ix e ls   c o m p a r e d   to m e d ia n   a n d   m e a n . T h e   a d v a n t a g e s   o f   M o d a a lg o r it h m   o v e r   m e d ia n   a n d   m e a n   c a n   b e   s u m m a r iz e d   a s   f o llo w s : ( I ) M o d a a lg o r ith m   is   m o r e   f le x ib le   a n d   a p p lic a b le   f o r   r e a e v e n t s   b e c a u s e   it  d e p e n d s   o n   th e   h i g h e s t r e d u n d a n c y   o f   t h e   b r ig h t n e s s   v a lu e s   w h ile   m e d ia n   f ilte r   r e q u ir e s   e v e r y   p ix e to   a p p e a r   m o r e   th a n   f if t y p e r c e n d u r in g   tr a in i n g   s e q u e n c e . ( I I ) M o d a a lg o r ith m   o v e r c o m e s   t h e   p r o b le m   o f   b li n d in g   p ix e ls   w h ic h   a p p e a r   in   m e a n   a lg o r it h m . ( I I I ) M o d a a lg o r ith m   g i v e s f e w e r e r r o r   p ix e ls   i f   th e   o b j e c s to o p e d   f o r   a   lo n g   ti m e . F ig u r e   6 .   C o m p a r is o n   b e t w e e n   M o d a l,   m e d ia n   a n d   m e a n T a b le   1 .   Nu m b e r   o f   e r r o r   p ix e ls T h r e sh o l d M a x i m u m   n u m b e r   o f   e r r o r   p i x e l s M o d a l 8 9 2 M e d i a n 9 5 5 M e a n 9 6 0 T o   e v a lu a te   th e   e f f e c ti v e n e s s   o f t h e   p r o p o s e d   s h a d o w   r e m o v a m e th o d ,   t h e   p r o p o s e d   m e th o d   w a s c o m p a r e d   w it h   t w o   m e t h o d s ,   Ho r p r a s e r t’ s   m e t h o d   [ 1 7 ]   a n d   C o n a ir e s   m e t h o d   [ 1 8 ] .   H o r p r a s e r t’ s   m e t h o d d e te c te d   th e   s h a d o w   b y   p r o p o s in g   a   c o m p u ta t io n a c o lo r   m o d e th a s e p a r a te s   t h e   b r ig h t n e s s   c o m p o n e n t   f r o m I S S N : 2 0 8 8 - 8 7 0 8 I J E C E   Vo l. 6 ,   No . 2 , A p r il  2 0 1 6 : 8 7 7 8 8 6 8 8 2 T o a c h ie v e   a n e f f ic ie n t a n d   e f f e c ti v e   h u m a n   d e te c tio n ,   P F F   d e te c to r [ 1 2 ] is   u s e d   to   r e c o g n iz e h u m a n m o tio n   a m o n g   a ll  m o tio n   o b je c ts   in   t h e   s c e n e .   P F F   is d e s c r ib e d   a s   a   c o m p le te   le a r n i n g - b a s e d   s y s te m   f o r d e te c tin g   a n d   lo c a liz i n g   o b j e c ts   a n d   h u m a n s   i n   i m a g e s   u s i n g   c o m b i n e d   m u l ti - s c a le   d e f o r m a b le   p a r m o d e ls . P F F   h a s   th e   a b ilit y   to   r e p r e s e n h i g h l y   v a r ia b le   o b j e c c la s s e s   a n d   a c h ie v e   s ta te - o f - th e - a r t   r e s u lts i n   P A S C AL o b j e c d e te c tio n   c h a lle n g e s .   W h ile   d e f o r m a b le   p a r m o d e ls   h a v e   b e c o m e   p o p u la r ,   th e ir   v a lu e   h a d   n o b e e n d e m o n s tr a te d   u s i n g   d if f ic u lt  b e n c h m a r k s   s u c h   a s   P A S C AL   w it h   P E T S   d a ta s e ts [ 1 9 ] .   T h e   P F F   d e te c to r   r e lie s o n   n e w   m e t h o d s   f o r   d is c r i m i n a ti v e   tr a i n in g   w i th   p a r ti a ll y   la b e lle d   d a ta .   A   m a r g i n - s e n s iti v e   a p p r o a c h c o m b i n e d   w ith   d a ta - m in i n g   h a r d   n e g a tiv e   e x a m p le s   a n d   f o r m a li s m i s   k n o w n   a s la te n S V M .   A   la te n S VM   i s s e m i - c o n v e x   a n d   t h e   tr a in i n g   p r o b le m   b e c o m e s   c o n v e x   o n c e   la te n i n f o r m a tio n   i s   s p e c if i e d   f o r   th e   p o s itiv e e x a m p le s .   T h is   le a d s   to   a n   ite r a tiv e   tr a in in g   a l g o r ith m   th a a l te r n a te s   b e t w e e n   f i x i n g   la te n v a lu e s   f o r   p o s iti v e e x a m p le s   a n d   o p ti m iz i n g   th e   l a te n S VM   o b j e c tiv e   f u n c t io n [ 1 2 ] . Dif f e r e n r e s e a r c h e s   h a v e   b e e n   d o n e   to w a r d p e d e s tr ia n   d e te c tio n s u c h   a s   in [ 2 0 - 2 2 ] . 3 . RE S U L T S   AND  D I S CU S S I O N T h e   p r o p o s e d   e n v ir o n m e n ta l l y m o d e l   n a m e l y   M o d a a l g o r i th m   p r o d u c e d   e n c o u r a g i n g   r e s u lt s   f o r a m o r e   r o b u s t,   r e lia b le   a n d   a p p lic a b le   a p p r o a c h   f o r r e a l - ti m e   b a c k g r o u n d   m o d e li n g   f o r   s u r v e illa n c e   o n   b o t h s h o r a n d   lo n g   t i m e   p e r io d   th r o u g h   m a n y   v id e o   s e q u e n c e s   w h ic h w e r e u s e d   to   te s i t. A   c o m p a r is o n   b e t w e e n M o d a l,   m e d i a n   a n d   m e a n   i s   s h o w n   in   F ig u r e   6 a n d   T a b le   1 ,   w h e r e   o n e   s c e n e   w a s   c h o s e n   f r o m   C AVI A R d a ta s e ts   ( a   m a n   w a l k i n g   i n   a   h a ll  s to p p e d   f o r   a   w h ile a n d th e n w a lk e d b a c k   a g a in )   a n d   t h e   n u m b e r   o f   e r r o r p ix e ls   p lo tte d . C A VI AR d a ta s e c o n ta in s a   n u m b e r   o f   v id e o   c lip s w h ic h r e c o r d e d th e a c tin g   o u t o f d i f f e r e n t s c e n a r io s   o f   in te r e s t.   T h e s e   in c lu d e   p e o p le w a lk in g   a lo n e ,   m e e t in g   w it h   o th e r s ,   w i n d o w   s h o p p in g ,   e n te r in g a n d   e x i t in g   s h o p s ,   f ig h ti n g   a n d   p a s s in g   o u a n d   la s t,   b u n o le a s t,   le a v in g   a   p a c k a g e   i n   a   p u b lic   p la c e [ 1 6 ] . T h e   p lo in   F i g u r e 6 a n d   T a b le   1 a ls o s h o w s   t h a t h e   M o d a a lg o r ith m   g i v e s f e w e r e r r o r   p ix e ls   c o m p a r e d   to m e d ia n   a n d   m e a n . T h e   a d v a n t a g e s   o f   M o d a a lg o r it h m   o v e r   m e d ia n   a n d   m e a n   c a n   b e   s u m m a r iz e d   a s   f o llo w s : ( I ) M o d a a lg o r ith m   is   m o r e   f le x ib le   a n d   a p p lic a b le   f o r   r e a e v e n t s   b e c a u s e   it  d e p e n d s   o n   th e   h i g h e s t r e d u n d a n c y   o f   t h e   b r ig h t n e s s   v a lu e s   w h ile   m e d ia n   f ilte r   r e q u ir e s   e v e r y   p ix e to   a p p e a r   m o r e   th a n   f if t y p e r c e n d u r in g   tr a in i n g   s e q u e n c e . ( I I ) M o d a a lg o r ith m   o v e r c o m e s   t h e   p r o b le m   o f   b li n d in g   p ix e ls   w h ic h   a p p e a r   in   m e a n   a lg o r it h m . ( I I I ) M o d a a lg o r ith m   g i v e s f e w e r e r r o r   p ix e ls   i f   th e   o b j e c s to o p e d   f o r   a   lo n g   ti m e . F ig u r e   6 .   C o m p a r is o n   b e t w e e n   M o d a l,   m e d ia n   a n d   m e a n T a b le   1 .   Nu m b e r   o f   e r r o r   p ix e ls T h r e sh o l d M a x i m u m   n u m b e r   o f   e r r o r   p i x e l s M o d a l 8 9 2 M e d i a n 9 5 5 M e a n 9 6 0 T o   e v a lu a te   th e   e f f e c ti v e n e s s   o f t h e   p r o p o s e d   s h a d o w   r e m o v a m e th o d ,   t h e   p r o p o s e d   m e th o d   w a s c o m p a r e d   w it h   t w o   m e t h o d s ,   Ho r p r a s e r t’ s   m e t h o d   [ 1 7 ]   a n d   C o n a ir e s   m e t h o d   [ 1 8 ] .   H o r p r a s e r t’ s   m e t h o d d e te c te d   th e   s h a d o w   b y   p r o p o s in g   a   c o m p u ta t io n a c o lo r   m o d e th a s e p a r a te s   t h e   b r ig h t n e s s   c o m p o n e n t   f r o m Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E I S S N:  2 0 8 8 - 8 7 0 8 Hu ma n   De te c tio n   F r a me w o r k   fo r   A u to ma te d   S u r v e illa n c e   S y s te ms ( R e d w a n   A . K .   N o a ma n ) 8 8 3 th e   c h r o m a t ic it y   c o m p o n e n t .   S h a d o w   is id e n ti f ie d   a s   p ix e ls   t h a h a v e   s i m ila r   c h r o m a tic it y   b u lo w e r b r ig h t n e s s   th a n   t h e   c o r r e s p o n d in g   p i x e ls   i n   t h e   b a c k g r o u n d   i m a g e . C o n a ir e s   m e t h o d is b a s e d   o n   th e   m a x i m iz a tio n   o f   t h e   a g r e e m e n b e t w e e n   t w o   i n d e p e n d e n s h a d o w d e te c to r s   ( L u m i n a n c e   &   S a tu r a tio n )   w it h o u tr a in i n g   d a ta .   H o w e v e r ,   a p p r o p r ia t e   th r e s h o ld s   w e r e a u to m a t ic a ll y   c h o s e n   f o r   s h a d o w   d e te c tio n .   A s   s h o w n   i n   F ig u r e 7 ,   th e   p r o p o s e d   m e t h o d   s h o w s   b e tte r p e r f o r m a n c e   a n d   th e   a d v a n ta g e s   o f   th e   p r o p o s e d   m e t h o d   c a n   b e   s u m m a r iz e d : ( I ) P r o p o s e d   m e t h o d   is   m o r e   f le x i b le   a n d   a p p lic a b le   f o r   r e a e v e n ts   f o r   s u r v e illa n c e ( I I ) P r o p o s e d   m e t h o d   g iv e s f e w e r e r r o r   p ix e ls ( I I I ) P r o p o s e d   m e t h o d r e q u ir e s   le s s   p r o c e s s in g   ti m e   b e c a u s e   it  w o r k s   w it h o u t h e   n e e d   f o r   tr a in i n g   s ta g e . F ig u r e   7 .   S h a d o w   r e m o v a p e r f o r m a n c e   c o m p e r is o n I n   th e   f i n a s ta g e ,   th e   e n h a n c e d   L u c a s - Ka n a d e   o p tic a f lo w   te c h n iq u e   w a s   d e v e lo p e d   t o   i m p r o v e h u m a n   d e te c tio n   i n   te r m s   o f   s p e e d   a n d   a c c u r a c y . An   e x p e r im e n w a s   p e r f o r m e d   u s in g   a   b e n c h m a r k   d a ta s e t ( P E T S   2 0 0 6 )   [ 1 9 ] th a c o n ta in e d   7 4 4   f r a m e s .   T h is   d a ta b a s e   h a s   b e e n   r e c o g n iz e d   a s   a   s ta n d a r d   in   v id e o s u r v e illa n c e   e n v ir o n m e n ts   th a u s e   p u b lic   s p a c e s   s u c h   a s   s h o p p in g   m a ll s ,   tr a in   s ta t io n s ,   a i r p o r ts ,   a n d   o u td o o r p a r k s .   W e   c o m b in e d   o b j e c s e g m e n ta t io n   o u tp u w i th   a   h u m a n   d e te c to r   u s in g   a n   o p tic a f l o w   a l g o r ith m .   T h e p r o p o s e d   te c h n iq u e   u s e d   th e   o p tic a f lo w   to   f i n d   th e   a r e a   o f   in te r e s to   c o m p le te   o b j e c t   s e g m e n ta t io n   a n d u s e d t h o s e   r e s u l ts   a s   a n   i n p u f o r   t h e   h u m a n   d e te c to r .   T h is   te c h n iq u e   h a s   b e e n   d e v e lo p e d   to   b e   u s e d i n s u r v e illa n c e   s y s te m s . T o e v a lu a t e th e   p e r f o r m a n c e   o f   th e   p r o p o s e d   a lg o r ith m ,   i w a s   c o m p a r e d   w ith   t h e   P F F   s ta n d a r d a lg o r ith m   f o llo w i n g   a   P r e c is io n - R e c a ll  c u r v e .   A   P r e c is io n - R e c a ll  c u r v e   i s   a   tr a d e - o f f   b e tw e e n   P r e c is io n   a n d R e c a ll.   P r e c is io n   i s   t h e   n u m b e r   o f   tr u e   p o s iti v e s   d i v id e d   b y   th e   to ta n u m b e r   o f   e le m e n ts   la b e lle d   a s b e lo n g i n g   to   th e   p o s iti v e   c la s s   ( E q u a tio n   2 ) .   R e c a ll  is   d e f in e d   a s   th e   n u m b e r   o f   tr u e   p o s it iv e s   d iv id e d   b y   th e to ta n u m b e r   o f   e le m e n t s   th a a c tu a ll y   b e lo n g   to   t h e   p o s itiv e   c la s s   ( E q u a tio n   3 ) . P re c i s i o n   = ( ) ( ) ( ) E q . ( 2 ) Re c a l l   = ( ) ( ) ( ) E q .   ( 3 ) Evaluation Warning : The document was created with Spire.PDF for Python.
I S S N : 2 0 8 8 - 8 7 0 8 I J E C E   Vo l. 6 ,   No . 2 , A p r il  2 0 1 6 : 8 7 7 8 8 6 8 8 4 F ig u r e 8 . Hu m a n   De te c t io n   p e r f o r m a n c e   c o m p a r i s o n u s i n g P r e c is io n - R e c a ll  c u r v e An   e x p e r i m e n ta l   te s t   w a s   p e r f o r m e d   f o r   t h e   p r o p o s e d   te c h n i q u e   u s i n g   P F F   d e te c to r   t h r e s h o ld s   ( 0 , - 0 . 3 , - 0 . 5 , - 0 . 7 , - 1 . 0   a n d - 1 . 5 ) . As   s h o w n   i n T a b le   2 , th e   n u m b e r   o f   F a ls e   P o s itiv e   ( F P ) d e c r e a s e d ,   w h ic h   le a d to   h ig h e r   p r e c is io n   a n d   g r e a te r   a c c u r a c y .   T h e   im p le m e n te d   m e t h o d   h a d   a   m a x i m u m   tr u e   d e te c tio n   r a n g e   o n c e w e   i n c r e a s e d t h e   t h r e s h o ld .   Ad d itio n a ll y ,   t h e   f a ls e   p o s it iv e   f o r   th e   p r o p o s e d   m e th o d   w a s   le s s   t h a n   it  w a s   f o r th e   s ta n d a r d   P F F   d e te c to r .   A n   a v e r a g e   c a lc u la tio n   w a s   p e r f o r m e d   to   d e te r m i n e   th e   e n h a n c e m e n v a lu e   f o r p r o p o s e d   m e th o d   in   te r m s o f   a c c u r a c y .   F i g u r e 8 s h o w s p e r f o r m a n c e   c o m p a r i s o n   b e t w e e n   t h e   p r o p o s e d d e te c tio n   m e t h o d   a n d   th e   P F F   d e te c to r   in   te r m s   o f   p r e c is io n   a n d   r e c a ll. As   s h o w n   i n   T a b le   3 ,   th e   r e s u lt s   r e v e a l th a t h e   p r o p o s e d   m e th o d is 3 7 %   f a s te r   t h a n   P F F   s ta n d a r d . T a b le   2 . C o m p a r is o n   b e t w e e n   th e   o r ig i n a P F F   d e te c to r   a n d   th e   p r o p o s e d   m e th o d T h r e sh o l d   =   0 n P T P F P P r e c i si o n R e c a l l P F F   d e t e c t o r O r i g i n a l - 1 1 6 5 7 0 8 7 0 . 9 9 0 . 6 1 O F - P F F   d e t e c t o r ( T h e   p r o p o se d   M e t h o d ) 1 1 6 5 6 3 4 8 0 . 9 8 7 0 . 5 4 T h r e sh o l d   = - 0 . 3 n P T P F P P r e c i si o n R e c a l l P F F   d e t e c t o r O r i g i n a l - 1 1 6 5 7 9 3 2 1 0 . 9 7 4 0 . 6 8 O F - P F F   d e t e c t o r ( T h e   p r o p o se d   M e t h o d ) 1 1 6 5 7 3 3 1 6 0 . 9 7 8 0 . 6 3 T h r e sh o l d   = - 0 . 5 n P T P F P P r e c i si o n R e c a l l P F F   d e t e c t o r O r i g i n a l - 1 1 6 5 8 5 1 4 8 0 . 9 4 7 0 . 7 3 O F - P F F   d e t e c t o r ( T h e   p r o p o se d   M e t h o d ) 1 1 6 5 7 8 6 2 9 0 . 9 6 4 0 . 6 8 T h r e sh o l d   = - 0 . 7 n P T P F P P r e c i si o n R e c a l l P F F   d e t e c t o r O r i g i n a l - 1 1 6 5 9 0 0 1 0 2 0 . 8 9 8 0 . 7 7 O F - P F F   d e t e c t o r ( T h e   p r o p o se d   M e t h o d ) 1 1 6 5 8 5 6 5 7 0 . 9 3 8 0 . 7 4 T h r e sh o l d   = - 1 . 0 n P T P F P P r e c i si o n R e c a l l P F F   d e t e c t o r O r i g i n a l - 1 1 6 5 1 0 0 0 3 4 3 0 . 7 4 5 0 . 8 6 O F - P F F   d e t e c t o r ( T h e   p r o p o se d   M e t h o d ) 1 1 6 5 9 4 1 1 9 5 0 . 8 2 8 0 . 8 1 T h r e sh o l d   = - 1 . 5 n P T P F P P r e c i si o n R e c a l l P F F   d e t e c t o r O r i g i n a l 1 1 6 5 1 0 7 9 2 6 1 6 0 . 2 9 2 0 . 9 3 O F - P F F   d e t e c t o r ( T h e   p r o p o se d   M e t h o d ) 1 1 6 5 1 0 4 2 5 9 2 0 . 6 3 8 0 . 8 9 n P =   T o t a l   n u m b e r   o f   o b j e c t i n   G r o u n d   t r u t h T P = T r u e   P o si t i v e F P = F a l s e   P o si t i v e 0 0 . 2 0 . 4 0 . 6 0 . 8 1 0 . 5 0 . 6 0 . 7 0 . 7 0 . 8 0 . 9 P re c i s i o n Re c a l l P F F P ro p o s e d Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E I S S N:  2 0 8 8 - 8 7 0 8 Hu ma n   De te c tio n   F r a me w o r k   fo r   A u to ma te d   S u r v e illa n c e   S y s te ms ( R e d w a n   A . K .   N o a ma n ) 8 8 5 T a b le   3   E x e c u tio n   ti m e s   f o r th e   o r ig in a P F F   d e te c to r   a n d   th e   p r o p o s e d   m e t h o d T h r e sh o l d P F F ( s e c ) P r o p o se d m e t h o d ( se c ) 0 2 . 3 3 7 * 1 0 0 0 1 . 8 6 * 1 0 0 0 - 0 . 3 2 . 9 4 2 * 1 0 0 0 1 . 5 4 * 1 0 0 0 - 0 . 5 3 . 2 0 3 * 1 0 0 0 1 . 6 7 5 * 1 0 0 0 - 0 . 7 2 . 2 7 2 * 1 0 0 0 1 . 7 4 * 1 0 0 0 - 1 . 0 2 . 2 9 6 * 1 0 0 0 1 . 7 6 * 1 0 0 0 - 1 . 5 2 . 3 6 6 * 1 0 0 0 1 . 4 9 * 1 0 0 0 4 . CO NCL U S I O N I n   th i s   p a p e r ,   a   f r a m e w o r k   f o r   e n h a n c i n g   th e   p e r f o r m a n c e   o f   h u m a n   d e te c tio n   in   s u r v e illa n c e s y s te m s is   p r o p o s e d .   I n   th is   f r a m e w o r k ,   a   n u m b e r   o f   m o d e ls   h a v e   b e e n   p r o p o s e d   in   e a c h   s ta g e   o f   t h e d e te c tio n   p r o c e s s .   M o d a a lg o r ith m   h a s   b e e n   u s e d   f o r   b a c k g r o u n d   i n itia liz a t io n   a n d   e x t r a c tio n .     T h e n ,   B - s p lin e   a l g o r ith m   h a s   b e e n   u s e d   f o r   s h a d o w   d e te c tio n   a n d   r e m o v a l.   Ne x t,   e n h a n c e d   L u c a s Ka n a d e   o p tic a l f lo w   h a s   b e e n   u s e d   to   g e a r e a   o f   in te r e s to   d o   o b j e c s e g m e n ta t io n .   T o   e n h a n c e   t h e   s e g m e n ta t io n ,   s o m e m o r p h o lo g ic a p r o c e s s e s   a r e   p e r f o r m e d .   F i n a ll y ,   s e g m e n ta t io n   f o r   e a c h   b lo b   is   p e r f o r m e d   a n d   p r o c e s s e d   to th e   h u m a n   d e te c to r   w h ic h   is   a   c o m p le te   le a r n in g - b a s e d   s y s t e m   f o r   d e te c tin g   a n d   lo c a liz in g   o b j e c ts /h u m a n   i n i m a g e s   u s in g   m i x t u r e s   o f   d e f o r m a b le   p a r m o d e ls   c a lle d   a s   P F F   d e te c to r . I n   f u t u r e   w o r k ,   w e   w ill   in v e s tig a te th e   e f f e c ti v e n e s s   a n d   e f f ic ie n c y   o f   tr a c k i n g   h u m a n s   i n   v id e o   s tr e a m s . ACK NO WL E D G E M E NT S T h e   a u th o r s   w o u ld   lik e   to   th a n k   U n i v e r s iti  Ke b a n g s a a n   M a l a y s ia   ( UKM )   f o r   s u p p o r tin g   th is   p r o j e c t u n d e r g r a n ( 0 1 - 0 1 - 0 2 - S F 1 0 3 7 ) . RE F E R E NC E S [1 ] Be n e n s o n ,   R . , e t   a l . , P e d e s t ri a n   d e t e c t i o n   a t   1 0 0   f ra m e s   p e s e c o n d .   I n   Co m p u t e V i s i o n   a n d   P a t t e rn   Re c o g n i t i o n ( CV P R ) , I E E E   C o n f e r e n c e   o n 2 0 1 2 ( p p .   2 9 0 3 - 2 9 1 0 ) . [2 ] D o l l ´ a r,   P . , e t   a l . ,   P e d e s t ri a n   d e t e c t i o n :   a b e n c h m a rk . IE E   Co n f .   o n   Co m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n , M i a m i   Be a c h ,   F L ,   U S A [3 ] T a f a z z o l i ,   F . ,   a n d   S a f a b a k h s h ,   R. ,   M o d e l - b a s e d   h u m a n   g a i t   re c o g n i t i o n   u s i n g   l e g   a n d   a rm   m o v e m e n t s , E n g i n e e r i n g   A p p l i c a t i o n s   o f   A r t i f i - c i a l   I n t e l l i g e n c e 2 3   ( 2 0 1 0 )   1 2 3 7 1 2 4 6 . [4 ] H a j e F ra d i , e t   a l . , S p a t i o - t e m p o ra l   c ro w d   d e n s i t y   m o d e l   i n   a   h u m a n   d e t e c t i o n   a n d   t ra c k i n g   f ra m e w o rk , S i g n a l P r o c e s s i n g Im a g e   Co m m u n i c a t i o n ,   V o l u m e   3 1 ,   F e b r u a ry   2 0 1 5 ,   P a g e s   1 0 0 - 1 1 1 ,   I S S N   0 9 2 3 - 5 9 6 5 [5 ] G e r ´ o n i m o ,   D . , e t   a l . ,   S u rv e y   o f   p e d e s t ri a n   d e t e c t i o n   f o a d v a n c e d   d ri v e a s s i s t a n c e   s y s t e m s , IE E E   T r a n s .   o n P a t t e r n   A n a l y s i s   a n d   M a c h i n e   In t e l l i g e n c e 3 2 ( 7 ) ,   1 2 3 9 1 2 5 8 , 2 0 1 0 . [6 ] Z h a n g ,   P . , e t   a l . , .   M o v i n g   p e o p l e   t ra c k i n g   w i t h   d e t e c t i o n   b y   l a t e n t   s e m a n t i c   a n a l y s i s   f o v i s u a l   s u rv e i l l a n c e a p p l i c a t i o n s , M u l t i m e d i a   T o o l s   a n d   A p p l i c a t i o n s ,   6 8 ( 3 ) ,   9 9 1 - 1 0 2 1 .   2 0 1 0 . [7 ] L i h i z e l n i k m a n o r,   ‘M o t i o n   E s t i m a t i o n ,   Ca m b ri d g e   U n i v e rs i t y ,   y e a r . 2 0 0 8 . [8 ] H u s t o n S J . , e t   a l . ,   V i s u o m o t o r   T ra n s f o r m a t i o n   i n   t h e   F l y   G a z e   S t a b i l i z a t i o n   S y s t e m , B i e l e f e l d   U n i v e r s i t y , G e r m a n y .   2 0 0 8 [9 ] D a l a l ,   N . ,   a n d   T ri g g s ,   B. , H i s t o g ra m s   o f   o ri e n t e d   g ra d i e n t s   f o h u m a n   d e t e c t i o n . I E E E   C o m p u t e r   S o c i e t y Co n f e r e n c e   o n   Co m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n .   CV P R   2 0 0 5 .   V o l .   1 ,   p p .   8 8 6 - 8 9 3 ,   2 0 0 5 [1 0 ] L u c a s ,   B. D .   a n d   K a n a d e ,   T . ,   A n   i t e ra t i v e   i m a g e   re g i s t r a t i o n   t e c h n i q u e   w i t h   a n   a p p l i c a t i o n   t o s t e re o   v i s i o n , P r o c e e d i n g s   o f   t h e   7 t h   I n t e r n a t i o n a l   J o i n t   Co n f e r e n c e   o n   A r t i f i c i a l   In t e l l i g e n c e ,   IJ CA I,   1 9 8 1 ,   V a n c o u v e r,   BC, Ca n a d a ,   V o l .   2 ,   p p . 6 7 4 6 7 9 .   1 9 8 1 [1 1 ] T u ra g a ,   P . , e t   a l . ,   M a c h i n e   Re c o g n i t i o n   o f   H u m a n   A c t i v i t i e s :   A   S u rv e y , IE E E   T r a n s a c t i o n s   o n   Ci r c u i t s   a n d S y s t e m s   f o r   V i d e o   T e c h n o l o g y ,   v o l .   1 8 ,   p p .   1 4 7 3 - 1 4 8 8 ,   2 0 0 8 . [1 2 ] F e l z e n s z w a l b ,   P . e t   a l . ,   O b j e c t   d e t e c t i o n   w i t h   d i s c ri m i n a t i v e l y   t r a i n e d   p a rt - b a s e d   m o d e l s . IE E E   T r a n s a c t i o n s   o n P a t t e r n   A n a l y s i s   a n d   M a c h i n e   In t e l l i g e n c e , 3 2 ( 9 ) ,   1 6 2 7 - 1 6 4 5 .   2 0 1 0 . [1 3 ] H o rn ,   B. K . ,   a n d   S c h u n c k ,   B. G . , D e t e r m i n i n g   o p t i c a l   f l o w . T e c h n i c a l   S y m p o s i u m   E a s t 1 9 8 1 ( p p .   3 1 9 - 3 3 1 ) . In t e r n a t i o n a l   S o c i e t y   f o r   O p t i c s   a n d   P h o t o n i c s . 1 9 8 1 . [1 4 ] H u a n g   Z ,   X u   Y , e t   a l . ,   M e t h o d   f o O p p o s i n g   F l o w   A b n o rm a l   E v e n t   D e t e c t i o n   B a s e d   o n   O p t i c a l   F l o w . V i d e o a p p l i c a t i o n   a n d   p r o j e c t ,   2 0 1 1 ,   3 5 ( 1 3 ) : 1 0 2 - 1 0 5 . [1 5 ] M o e s l u n d ,   T . B. , e t   a l . ,   A   s u rv e y   o f   a d v a n c e s   i n   v i s i o n - b a s e d   h u m a n   m o t i o n   c a p t u re   a n d   a n a l y s i s . Co m p u t e r v i s i o n   a n d   i m a g e   u n d e r s t a n d i n g ,   1 0 4 ( 2 ) ,   9 0 - 1 2 6 .   2 0 0 6 . [1 6 ] CA V I A d a t a s e t , h t t p : / / h o m e p a g e s . i n f . e d . a c . u k / rb f / C A V IA RD A T A 1 / ,   re t ri v e d   a t   1 1 / 1 1 / 2 0 1 5 . [1 7 ] T .   H o rp ra s e rt , e t   a l . , A   ro b u s t   b a c k g ro u n d   s u b t ra c t i o n   a n d   s h a d o w   d e t e c t i o n , P r o c e e d i n g s   o f   t h e   A S IA c o n f .   o n Co m p u t e r V i s i o n ,   2 0 0 0 . [1 8 ] Co n a i re ,   C, e t   a l . , D e t e c t o a d a p t a t i o n   b y   m a x i m i s i n g   a g r e e m e n t   b e t w e e n   i n d e p e n d e n t   d a t a   s o u rc e s , P r o c e e d i n g s o f   IE E E   Co n f .   o n   Co m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n ,   p . 1 - 6 .   2 0 0 7 . Evaluation Warning : The document was created with Spire.PDF for Python.
I S S N : 2 0 8 8 - 8 7 0 8 I J E C E   Vo l. 6 ,   No . 2 , A p r il  2 0 1 6 : 8 7 7 8 8 6 8 8 6 [1 9 ] P E T S   ( 2 0 0 6 ) ,   N i n t h   I E E E   In t e rn a t i o n a l   W o rk s h o p   o n   P e rf o rm a n c e   E v a l u a t i o n   o f   T r a c k i n g   a n d   S u rv e i l l a n c e , h t t p : / / w w w . c v g . re a d i n g . a c . u k / P E T S 2 0 0 6 / d a t a . h t m l ,   re t ri v e d   a t   1 2 / 1 1 / 2 0 1 5 . [2 0 ] Ba z m i ,   A . , In c r e a s i n g   t h e   A c c u r a c y   o f   D e t e c t i o n   a n d   R e c o g n i t i o n   i n   V i s u a l   S u r v e i l l a n c e . In t e rn a t i o n a l   J o u rn a l   o f E l e c t ri c a l   a n d   Co m p u t e E n g i n e e ri n g   ( IJ E CE ) ,   2 0 1 2 . 2 ( 3 ) :   p .   3 9 5 - 4 0 4 . [2 1 ] F e n g - M e i ,   L .   a n d   T .   L i n - L i n , A n   Im p r o v e d   M o v i n g   M u l t i - H u m a n   T a r g e t   D e t e c t i o n   A l g o r i t h m . T E L K O M N IK A In d o n e s i a n   J o u rn a l   o f   E l e c t ri c a l   E n g i n e e ri n g ,   2 0 1 3 . 1 1 ( 1 2 ) :   p .   7 1 6 6 - 7 1 7 3 . [2 2 ] K e - y a n g ,   C. ,   M .   Q i - ro n g ,   a n d   Z .   Y o n g - z h a o , P e d e s t r i a n   D e t e c t i o n   B a s e d   o n   S p a r s e   a n d   L o w - R a n k   M a t r i x D e c o m p o s i t i o n . T E L K O M N IK A   In d o n e s i a n   J o u rn a l   o f   E l e c t ri c a l   E n g i n e e ri n g ,   2 0 1 4 . 1 2 ( 2 ) :   p .   1 5 4 4 - 1 5 5 0 . B I O G RAP H I E S O F   AUT H O RS Re d w a n   A . K .   N o a m a n   re c e i v e d   h i s   BE n g   i n C o m p u t e ra n d   C o n t r o l   E n g i n e e ri n g   f ro m   t h e U n i v e rs i t y   o f   S a n a ’a   ( Y e m e n ) ,   i n   2 0 0 3 .   In 2 0 0 8 ,   h e   j o i n e d   a s   a   r e s e a rc h e r   i n   t h e   c o m p u t e a n d n e t w o rk   s e c u ri t y   g ro u p ,   U K M .   H e   re c e i v e d   h i s   M E n g   i n   C o m p u t e a n d   Co m m u n i c a t i o n E n g i n e e ri n g f ro m   U n i v e rs i t i K e b a n g s a a n M a l a y s i a   ( U K M ) ,   M a l a y s i a ,   i n   2 0 0 8 .   Cu rre n t l y ,   h e i s w o rk i n g   t o w a rd   h i s   P h D   i n   t h e   D e p a rt m e n t   o f   E l e c t ri c a l ,   E l e c t ro n i c ,   a n d S y s t e m s   E n g i n e e ri n g , U K M .   H i s   c u rre n t   re s e a rc h   i n t e re s t s   a re   m a i n l y   f o c u s e d o n   i m a g e   p ro c e s s i n g   a n d   c o m p u t e r v i s i o n   w i t h   e m p h a s i s   o n   h u m a n   d e t e c t i o n a n d   t ra c k i n g   f o s u rv e i l l a n c e . M o h d   A l a u d d i n   M o h d   A l i   i s   a   P r o f e s s o a t   t h e   D e p a rt m e n t   o f   E l e c t ri c a l   E l e c t ro n i c   a n d   S y s t e m s E n g i n e e ri n g ,   F a c u l t y   o f   E n g i n e e ri n g   a n d   Bu i l t   E n v i ro n m e n t ,   U n i v e rs i t i K e b a n g s a a n   M a l a y s i a ( U K M ) ,   Ba n g i , M a l a y s i a .   H e   w a s   a l s o   t h e   H e a d   o f   t h e   d e p a rt m e n t   a n d   D e p u t y   D e a n   o f   t h e f a c u l t y   f o t h e   p e ri o d s   1 9 9 5 1 9 9 7   a n d   1 9 9 7 2 0 0 2   re s p e c t i v e l y .   H e   a l s o   s e rv e d   a s   t h e   D i re c t o o f t h e   In s t i t u t e   o f   S p a c e   S c i e n c e ,   U K M   f o t h e   p e ri o d   2 0 0 9 2 0 1 3 .   H e   re c e i v e d   h i s   BE n g ( E l e c t ri c a l ) ,   BS c   ( M a t h e m a t i c s )   a n d   M E n g S c   ( E l e c t ri c a l )   d e g re e s   f ro m   t h e   U n i v e rs i t y   o f T a s m a n i a ,   H o b a rt ,   A u s t ra l i a   i n   1 9 7 8 ,   1 9 7 9   a n d   1 9 8 4   re s p e c t i v e l y .   H i s   P h D   d e g re e   w a s   f ro m   t h e U n i v e rs i t y   o f   N o t t i n g h a m ,   N o t t i n g h a m ,   E n g l a n d   i n   1 9 9 4 .   H e   w o rk e d   i n   t h e   a re a   o f m i c ro e l e c t ro n i c s   f o h i s   M a s t e rs   d e g re e   a n d   m e d i c a l   e l e c t ro n i c s   f o h i s   P h D .   H i s   re s e a rc h i n t e re s t s   i n c l u d e   b i o m e d i c a l   s i g n a l   p r o c e s s i n g ,   i n s t ru m e n t a t i o n ,   i n t e g ra t e d   c i rc u i t   d e s i g n   a n d t e s t a b i l i t y ,   a n d   i o n o s p h e ri c   s t u d i e s . N a s h a ru d d i n Z a i n a l   re c e i v e d h i s   BE n g   i n   Co m p u t e S c i e n c e   f ro m   T o k y o   In s t i t u t e   o f   T e c h n o l o g y ( J a p a n ) ,   i n   1 9 9 8 ,   M E n g   i n   Co m m u n i c a t i o n   a n d   Co m p u t e E n g i n e e ri n g   f ro m   U n i v e rs i t i K e b a n g s a a n   M a l a y s i a   ( U K M ) ,   M a l a y s i a ,   i n   2 0 0 3 ,   a n d   D rE n g   d e g re e   f ro m   T o k y o   In s t i t u t e   o f T e c h n o l o g y   ( J a p a n )   i n   2 0 1 0 .   H e   i s   c u rre n t l y   a   L e c t u re a t   t h e   D e p a rt m e n t   o f   E l e c t ri c a l , E l e c t ro n i c   a n d   S y s t e m s   E n g i n e e ri n g ,   U n i v e rs i t i K e b a n g s a a n   M a l a y s i a ,   Ba n g i ,   M a l a y s i a .   H i s m a i n   re s e a rc h   i n t e re s t s   i n c l u d e   c o m p u t e e n g i n e e ri n g ,   i m a g e   a n d   v i d e o   p ro c e s s i n g   a n d   p a t t e r n re c o g n i t i o n . F a i s a l   S a e e d   i s   a   S e n i o r   L e c t u re a t   t h e   D e p a rt m e n t   o f   In f o r m a t i o n   S y s t e m s ,   F a c u l t y   o f Co m p u t i n g ,   U n i v e rs i t i   T e k n o l o g i   M a l a y s i a   ( U T M ) ,   M a l a y s i a .   H e   r e c e i v e d   h i s   BS c   i n   Co m p u t e rs ( In f o rm a t i o n   T e c h n o l o g y )   f ro m   Ca i ro   U n i v e rs i t y ,   E g y p t ,   M S c   i n   In f o r m a t i o n   T e c h n o l o g y M a n a g e m e n t   a n d   P h D   i n   C o m p u t e S c i e n c e   f ro m   U T M ,   M a l a y s i a .   H i s   re s e a rc h   i n t e re s t s   a re m a c h i n e   l e a rn i n g ,   d a t a   m i n i n g ,   a n d   i n f o rm a t i o n   re t ri e v a l . Evaluation Warning : The document was created with Spire.PDF for Python.