I n t ern a t i o n a l  J o u rn a l  o f  E l ect ri ca l  a n d  C o m p u t er E n g i n eeri n g  ( I J E C E )   V o l.   8 ,  No .   5 O c t obe r   20 1 8 ,  p p.  32 96~ 3 303   I S S N :  2088 - 8708 D O I :  10. 11 591/ i j ece . v8 i 5 . pp 329 6 - 3303          3296       Jou r n al  h om e p age h ttp : //ia e s c o r e . c o m/ j our nal s / i nde x . php/ I J E C E   New  Appro a ch f o r Det ect ing  a nd  T ra ck ing  a  M o v ing  O b j ect       H.   H a t i mi 1 , M .   F a ki r 2 , M .   C ha bi 3 , M .   N a j i mi 4   1, 3 L ab o r at o r y  o f  M at h e m at i cs  an d  A p p l i cat i o n s ,   F acu l t y  o f  S ci en ce s  an d  T ech n i cs ,  U n i v er s i t y  S u l t an  M o u l ay  S l i m an e,   M o r o cco   2 L a bor a t or y  of  I n f or m a t i on  P r oc e s s i ng  a nd D e c i s i on  S u pp or t  ( T I A D ) ,  F a c ul t y  of  S c i e nc e s  a nd T e c h ni c s ,  U ni v e r s i t y   S u l t a n M ou l ay  S l i m an e,   M o r o cco   4 L a bor a t or y  of  B i ol og i c a l  E ng i ne e r i ng ,  F a c ul t y  of  S c i e nc e  a nd T e c hno l og y ,  S ul t a M o ul a y  S l i m a ne  U ni v e r s i t y ,   M o r o cco       A rt i cl e I n f o     AB S T RAC T     A r tic le  h is to r y :   R ecei v ed   No v   12 ,  201 7   Re v i se d   J an   4 ,  201 8   A ccep t ed   J an   20 ,  2 01 8       T h is  a r tic le  p r e s e n ts  th e  im p le m e n ta tio n  o f  a  tr a c k in g  s y s te m   f o r  a  m o v in g   t ar g et  u s i n g  a f i x ed  ca m er a.  T h e o b j ect i v e o f  t h i s  w o r k  i s  t h e ab i l i t y  t o  d et ect   a  m ov i ng  obj e c t  a nd  l oc a t e  t he i r  pos i t i o ns .  I pi c t ur e   pr oc e s s i n g ,  t r a c k i ng  m ov i ng  obj e c t s  i n a  k no w n or  un k now n e nv i r onm e nt  i s  c o m m onl y  s t udi e d.  I t   i s  b as ed   o n  i n v ar i an ce p r o p er t i es  o f  o b j ect s  o f  i n t er es t .  T h e i n v ar i an ce can   a f f e c t  t he  ge o m e t r y  of  t he  s c e ne  or  t he  obj e c t s .  T he  pr opos e d a ppr oa c h i s   c om pos e d of  s e v e r a l  s t e ps ;  t he  f i r s t is  th e  e x tr a c tio n  o f  p o in ts  o f  in te r e s t in   t h e cu r r en t  i m ag e.  T h en ,  t h es e p o i n t s  w i l l  b e t r ack ed  i n  t h e f o l l o w i n g  i m a g e   b y  u s in g  te c h n iq u e s  f o r  c a lc u la tin g  th e  o p tic a l f lo w .   A f te r  th is  s te p ,  th e  s ta tic   poi nt s  w i l l  be  r e m ove d t o f oc us  on m ov i ng  obj e c t s ,  T h a t is  to  s a y ,  th e r e  is   onl y  t he  c ha r a c t e r i s t i c  poi nt s  be l ong i ng  t o m ov i ng  obj e c t s .  N ow ,  t o de t e c t   m ov i ng  t a r g e t s  us i ng  i m a g e s  o f  t he  v i de o,  t he  ba c k g r ound i s  f i r s t  e x t r a c t e d   f r o m  t h e s u cces s i v e i m ag es .  I n  o u r  ap p r o ach ,  a m et h o d  o f  t h e av e r ag v al u es   of   e v e r y  pi x e l  ha s  be e n de v e l op e d f or  m ode l i ng  ba c k g r ound.  T h e  l a s t  s t e p   w hi c h s t a y s  be f or e  s w i t c hi ng  t t r a c k i ng   m ov i ng  obj e c t  i s  t he  s e gm e nt a t i on  w hi c h a l l ow s  i de nt i f y i ng   e ve r y   m ov i ng  obj e c t .  A nd by   us i ng  t he   ch ar act er i s t i c p o i n t s   i n  t h e p r ev i o u s  s t ep s .   K e y wo r d :   B a c k g r oun d m ode l i ng   M o vi n g t a r ge t   O p tic a l f lo w   S e g m e n ta tio n   T r ack i n g  o b j ect   C opy r i g ht   ©  201 8   I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   H .  H a ti m i,     L a bor a t or y  of  M a t h e m a t i c s  a nd A ppl i c a t i on s ,     F acu l t y  o f  S c i en ce s  an d  T ech n i cs ,     U ni ve r s i t y S ul t a n M o ul a y S l i m a ne ,     B en i  M el l al ,  Mo r o cco .   E m a il: h . h a ti m i @ u s m s . m a       1.   I NT RO D UCT I O N     T r ack i n g  a  m o v i n g  o b j ect  i s  t h e s u b j ect  o f  act i v e r es ear ch  i n  co m p u t er  v i s i o n   [1 ] .  S ev er a l   m et h o d s   ar e u s ed   f o r  t h e d et ect i o n   a n d   t r ack i n g  o f  a  m o v i n g  o b j ec t   [2 ] ,   [ 3 ] ,   [ 4 ] ,  u s in g   o p tic a l f lo w   [ 5 ] [ 6 ] .   S o me   m et h o d s  ar e b as ed  o n  act i v co n t o u r s   w h i c h  o r i g i n at e  el as t i m o d el s   h a v e t h ei r  o r i g i n s   f r o m  e l as t i c   m o d el s   [ 7 ] ,   o r  b a c kgr o und  s u b t r act i o n .  B ack g r o u n d  s u b t r act i o n  i s  g en er al l y   u s ed  t o  d et ect  m o v i n g  o b j ect s  i n  a s cen e   [ 8 ] .   T h i s   m e t h o d  i s  t o  co m p ar e t h e c u r r en t  i m ag t o  a s t at i c   m o d el  o f   t h e  s ce n e,  cal l ed  t h e r ef er en ce  i m a g e,   an d  an y  el e m en t  p r es e n t  i n  t h e cu r r en t  i m a g e an d  ab s en t  i n   t h e r ef er en ce i m a g e i s  co n s i d er ed  m o b i l e.  T h er ar e ev en   m et h o d s  t h at   h av e b een  p r o p o s ed  f o r  t h e d et ect i o n  o f   m o v i n g  t ar g et s  b y   m i n i m i zi n g  t h e s t o c h as t i c   c o m p l e xi t [9 ] .   A s  r eg ar d s  t h e t r ack i n g  o f  a  m o v i n g  o b j ect  i n  t h e 2 D  i m a g e,  s e v er al   m et h o d s   h av e b ee n   pr opos e d.   F o r  ex a m p l e,  t h er e ar m et h o d s   w h i c h  co n s i s t  i n  d es cr i b i n g  t h e o b j ect  t o  b e t r ack ed  u s i n g   g eo m e t r i c   p r im iti v e s  a s  p a r tic u la r  p o in t s   [1 0 ] ,  [1 1 ],   a ngl e s ,  c o nt o ur s   [ 12] ,  [ 13] ,   se g m e n t [1 4 ],   o r  e llip s e s   [ 15] .  A c tiv e   c o nt o ur s  o r  s na ke s  c a n a l s o  b e  u s ed  t o  d et er m i n e a co m p l e x   f o r m   [ 16]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J  E le c  &   C o m p E ng     I S S N :  2088 - 8708       N e w  A ppr oac h f or  D e t e c t i ng a nd T r ac k i ng a  M ov i ng O bj e c t   ( H. Ha t i mi )   3297   T o f i l t e r  s m a l l  pe r i odi c   m o t i on s  i n t h e  ba c kg r oun d,   f or  e x a m p l e  l i gh t i n g c on t r ol ,  G a u s s i a n   m i x t u r e   m ode l   [ 17] ,  an d  t h e b a y es i an   m o d el   [1 8 ar e co m m o n l y   u s ed .   I n i m a ge  p r o c e s s i n g a nd  c o m p ut e r   vi s i o n,   t r a c ki n m o vi n g o b j e c t s  i n a  k no w n o r  u n kno w n  e nvi r o n m e nt  i s  c o m m o nl y s t ud i e d .  I t  i s   b a s e d  o n i n va r i a nc e   p r o p er t i es  o f  o b j ect s  o f  i n t e r es t .  T h e i n v ar i a n ce ca n  af f ect  t h g eo m et r y  o f  t h s ce n e o r  o b j ect s ,  t h ap p ear an ce o f  o b j ect s  ( t h at  i s  t o   s a y  p h o t o m et r y  o r  co l o r )  o r  k i n e m a tic  ( s u c h  a s  s p a tia l a n d  te m p o r a c o n s tr a in ts ) .   T h e o b j ect  o f  t h i s  p ap er  i s  t h e d et ect i o n  a n d  l o cat i o n  o f   a d ef o r m ab l e o b j ect  i n   m o t i o n  f r o m  a   s eq u en ce  o f  i m ag e s .  T h i s  r es ear ch  al l o w s  d et er m i n i n g   w i t h  a n  e f f ect i v e a n d  p r eci s m e t h o d ,  i t s  p o s i t i o n  i n   each   i m a ge  a nd  d e t e r m i ni ng  i t s   m o ve m e n t  o r  a p p a r e nt   m o ve m e nt   f r o m  o ne  i m a ge  t o   a no t he r .  F o r  go o d   r es u l t s ,   w as   u s ed  a ca m er a p o i n t ed  d o w n w ar d ,  i t s  o p t i c al  ax i s   i s  al i g n ed   w i t h  t h v er t i cal .  T h e r at  i n   m o ve m e nt   s ho ul d  b e  p ut  i n a   d e vi c e  a t  t he  b o t t o m  o f   t he  c a m e ra   in   F i gur e  1 .  T he  p r o b l e m  t o  s o l ve  i s   ho w  t o   co l l ect  i n f o r m at i o n  ab o u t  t h m o v i n g  o b j ect  d u r i n g  a cap t u r e s eq u en ce.  T h i s  i n f o r m at i o n  w i l l  b e t h e n u m b er   o f  acces s e s   t o  ev er y   zo n e o f   t h o p en   f i el d ,   t h m o b i l i t y   o f   r at   ( t h e t i m w h e n   t h e r at   i n   m o v e m e n t )   a nd   i m m o b i l i t y  ( t he  t i m e   w he n t he  r a t  s t a y s   w i t ho ut   m o ve m e nt ) .             F i g ur e   1 .  M o tio n   cap t u r e s y s t e m s       T h is  p a p e r  is  o r g a n iz e d  a s  f o llo w s : I n  th e  s e c tio n  I I  y o u   w i ll s e e  th e  s te p s  to  f o llo w  to  d e te c t a n d   t r ack  a  m o v i n g  o b j ect .   I n  t h i s  s ect i o n  t h er e i s  a n  e x p l an at i o n  o f  t h e d i f f er en t   s t ep s  o f  o u r   ap p r o ach .  T h e f i r s t   p a r t o f  th is  s e c tio n  d e a ls   w i th   e x tr a c tio n  o f  i n t er es t  p o i n t s .  T h e s eco n d  p ar t  d eal s   w i t h   m et h o d  o f  cal cu l at i n g   th e  o p tic   f lo w .  T h e   n e x t p a r t  d e a ls   w i th   m e th o d s  to  r e m o v e   i m m o b ile  i n te r e s t  p o in t.   N e x t,  t h e   f o llo w i n g   s e c t i on  di s c us s e s  t h e  ba c kg r ou n m ode l i ng   m e t h od.  F i na l l y ,  t h e  l a s t  t w o  of  t h e   s e c tio n  I I  d is c u s s e s   s eg m e n t at i o n   m et h o d s  an d  T r ack i n g  t h m o v i n g  o b j ect .  S ect i o n  I I I  r ep r es en t s  t h e r es u l t s  o f  e x p er i m e n t s   co n d u ct ed  i n  t h e l ab o r at o r y ,  i n  t h e en d  a co n cl u s i o n .         2.   R ES EA R C H  M ETH O D   T he  s t e p  f o r  d e t e c t i ng a nd  t r a c k t he   m o vi n g o b j ect  ar illu s tr a te d  i n  F i g u r e  2 .   T h i s  ap p r o ach  i s   c om pos e d of  6 s t e ps :         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :    329 6   -   3303   3 298       F ig u r e  2 .  E f f e c t s  o f  s e le c tin g   d if f e r e n t s w i tc h i n g  u n d e r  d y n a m ic  c o n d itio n       2 .1 .   E x tr a c ti n g  P o i n ts  o f I n te r e s t   E x t r act i o n  o f  i n t er es t  p o i n t s  i n  an  i m ag e i s  t o  f i n d  t h e p o i n t s  t h at  can  b e eas i l y  r eco g n i zed  an d   f o l l o w e d  b y  a n i m a ge  t o  a no t he r   i F i gu r e  3.  M a ny   m e t hods  h a v e  be e n  pr opos e d f or   t h i s   s i m pl e  c or n e r   d et ect o r   [1 9 w i th   m u ltis c a le   m e t h o d s ,  in v a r ia n t i n  t h e  r o t a t i o ns  a nd  i n t he  c ha nge s  o f  p e r s p e c t i ve .   A   nu m b e r   of   m e t h ods  h a v e  a l s o be e n  pr opos e d t o a s s e s s  t h e  r obu s t n e s s   of  t h e s e  e x t r a c t or s .   F o r  t h i s  p r o b l e m ,  t h e i n p u t  d at a o f  t h s y s t e m  i s  al w a y s  acq u i r ed  b y  t h e ca m er a.  H o w ev er ,  d at a   o u tp u h e r e   is  a  li s t o f  p o i nt s .  I t  i s  t h e r e f or e   n e c e s s a r y  t o  de f i n e  on e  or   m or e  ope r a t or s  t o bu i l d a  l i s t  of  poi n t s .   T h e m o s t  co m m o n l y   u s ed  f o r   t h i s  i s  t o  ex t r act  l o cal   m ax i m a  o f  an  i m ag e.  I t  i s  al s o  n ece s s a r y  t o  t r a n s f o r m  t h e   i np ut   i m a ge  i n o r d e r  t o  i d e nt i f y p o i nt s  o f  i nt e r e s t .   W u s e  t h e H ar r i s  co r n er  d et ect o r   [1 9 t o  ex t r act  t h e  f eat u r e   p o i nt s   w h i c h e xi s t  o n  t he  i m a ge s  o f  t he   vi d e o   i F ig u r e  3 .  N o w   w e   m u s t  e li m i n a te  th e  p o in ts  t h a t a r e   m o tio n le s s ,  ite m s  t h a t d o  n o t b e lo n g  to  th e   m o v in g  o b j e c t in  th e  v id e o  u s in g  o p tic a l f lo w .           F ig u r e  3 .  E x tr a c tio n   o f  i n te r e s t p o in t       2 .2 .   C a l c ul a t i o a nd P r o pe r t i e s  o f  t he  O pt i c a l  F l o w   T h e  m o tio n  e s ti m a tio n  i s  to  d e te r m i n e  th e   m o tio n   v e c to r s  f o r  p r e d ic tin g  t h e  p r o c e s s in g  o f  a n  i m a g e   t o  an o t h er  i m ag e i n  a v i d eo  s eq u en ce.  Mo t i o n   v ect o r s   m a y  b e f o r   t h e en t i r e i m a g e o r  a p ar t  o f  t h e i m a g e.   T h es m o t i o n   v ect o r s   m a y  co r r es p o n d  t o  a s i m p l e t r an s l at i o n  o r  g en er al l y  a n y  p at t er n  cap ab l e o f  ap p r o ach i n g   t h e act u a l   m o v e m e n t  o f  t h e ca m er a o r  m o v e m en t  o f  o b j ect s  i n  t h s cen e.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J  E le c  &   C o m p E ng     I S S N :  2088 - 8708       N e w  A ppr oac h f or  D e t e c t i ng a nd T r ac k i ng a  M ov i ng O bj e c t   ( H. Ha t i mi )   3299   I n  th i s   w o r k ,  th e  o p tic a l f lo w   p la y s   a v er y  i m p o r t an t  r o l e i n  t h e d et ect i o n  o f  t h m o v i n g  t ar g et .  T h pu r pos e  of  t h i s  s e c t i on i s  t i n t r odu c e  t h e  c o n c e pt  of  opt i c a l  f l o w ,  pr ope r t i e s  a n m e t h ods  of  c a l c u l a t i on  as s o ci at ed ,  an d  d ef i n e al s o  s o m e p r o p er t i es  o f  t h e o p t i cal   f l u x   u s ed  i n  t h e f i e l d  o f  vi s i o n.   T hi s   w o r k c o nt a i ns   ta x o n o m y  o f  t h e  v a r io u s   m e th o d s  o f  o p tic a f lo w  c a lc u la tio n  d e v e lo p e d  s in c e   th e  e a r l y  8 0 ' s  u n til  n o w .   F i n al l y ,   t h e a u t h o r s  d et er m i n w h at  ar t h e   m o s t   ap p r o p r i at m et h o d s   a n d   t h m o s t   r el ev an t   p r o p er t i es  t o   s ol v e  ou r  pr obl e m .     T h e o p t i cal  f l o w  ca n  b e d ef i n ed  as  t h m o v e m en t  o f  t h e i m ag e  o n  t h e r et i n a ( h u m an  o r  ar t i f i ci al ) ,   m o r e p r eci s el y ,  i t  i s  t h f i el d   o f  r et i n al   v el o ci t y :  t h v el o ci t y  o f  t h e p r o j ect i o n  s p ace o n  t h e r et i n a.  I t  d ep en d s   o n s e ve r a l  f a c t o r s ,   s uc h a s  t he  s ha p e s  o f   o b j ect s ,  t h ei r  o w n   s p eed ,  t h e d i s t a n ce o r  t h e r el a t i v s p eed  b et w ee n   t h e o b j ect  an d  t h e cam er a ( o r   t h e e y e) .   I t  i s  a v al u ab l e cl u i n  h u m an  p er cep t i o n  t o  a m o n g  o t h er s  es t i m at e a   ti m e  b e f o r e  c o llis io n .           F ig u r e  4 .  E x tr a c tio n  o f  t h e  o p tic a l f lo w       I n t hi s   s e c t i o n,  t he  a ut ho r s  gi ve  a n o ve r vi e w  o f  d i f f e r e nt  t e c hni q ue s   f o r  c o m p ut i n g t he  o p t i c a l  f l o w   w i t h  a  de t a i l e d t a x on o m y .   A  c om pr e h e ns i v e  r e v i e w  of   m e t hods  de v e l ope d i n  t h e  80 - 9 0  y e ar s  w as   co n d u ct ed   b y B a r r o n,  F l e e t  a nd  B e a uc h e m i [ 20] .  I t  d es cr i b es  i n  d et ai l  s o m e o f  t h m et h o d s  p r es en t ed  b el o w .  T h e   au t h o r s   w i d el y  u s e t h i s   s t u d y  t o  d es cr i b e t h e o l d es t   m et h o d s ,  an d   w i l l  co m p l et e b y  t h e   m o s t  r ecen t  r es u l t s .   In   1981 H or n  a n d S c h un c k   [ 21] ,  f o r m u la te   w h a w i ll b e  t h e   b a s is  o f  a ll  d if f e r e n tia m e t h o d s : s tr e s s   g r a d i e nt .   T h i s  co n s t r ai n t   f o l l o w s  d i r ect l y   f r o m  t h e h y p o t h es i s  ab o v e.   H er e i s  a q u i ck  d em o :   D i f f e r e n tia l tr a n s la tio n  o f   t he  h yp o t he s i s  i s :                           = 0      (1 )     T h a t is  to  s a y         +       +     = 0        (2 )       +     +     = 0                                                                                  (3 )     T h e eq u at i o n  ( 3 )  can  b e r e w r i t t en   i n  an o t h er  ex p r es s i o n  g i v en  i n  eq u at i o n  ( 4 ) .  T h i s   n e w  eq u at i o n  i s  cal l ed   " s tr a in  g r a d ie n t" .       . +     = 0                                                                                       (4 )     E q u a tio n  ( 4 )  c o n s tr a in s  th e  o p tic a l f lo w   f ie ld  ~  v  a c c o r d in g  t o  th e  g r a d ie n t o f  t h e  li g h t in te n s it y     = (    ,  )                                                                                      (5 )     T h i s  eq u at i o n  ( 3 )  g i v es  o n l y  o n e co n s t r ai n t  an d  t h er ef o r e n o t  p o s s i b l e t o  cal cu l at e t h e t w o   c om pon e n t s  of  t h e   opt i c a l  f l o w   di r e c t l y .  T ha t   i s   w h y   H o r n a nd  S c hu nc [ 21]   i m p o s a s ec o nd  c o ns t r a i nt   ( c a lle d  a c c r u a ls )  o n  th e  o p tic a l f lo w   f ie ld .  T h is  n e w  c o n s tr a in t i m p o s e s  a   f ie ld  o f   m o r e  r e g u la r  o p tic a f lo w .   T h e  c a lc u la tio n  o f  t h e  o p tic a l f lo w  f ie ld  in  t h is  c a s e  a m o u n t s  to  m i n i m iz e  t h e  f o llo w i n g  q u a n tit y :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :    329 6   -   3303   3300     . + λ 2 2 2 + 2 2                                                                     (6 )     I n  eq u at i o n  ( 6 ) ,  t h e r es ear ch er s   [ 21]   f i n d  t h e co n s t r ai n t  t er m  an d  a g r ad i en t  acco r d i n g  t o  t h e s p at i a l   v a r ia tio n  o f  th e  o p tic a l f lo w   f ie ld 2 2 2 2 y x v v + ,   w ei g h t ed   b y   co ef f i ci e n t   λ .   I nt ui t i ve l y ,   m i ni m i z i n g t h e   e q u a tio n  ( 6 )  b a c k ,  f ir s t to   m i n i m iz e  t h e  g r a d ie n t o f  th e  e q u a tio n ,  a n d  th e  s p a tia v a r ia tio n   o f  th e  o p tic a l f lo w   f ie ld .  T h e  c a lc u la tio n  o f  o p tic a l f lo w  t h e r e f o r e  r e tu r n s   to  th e  a p p lic a tio n  o f  a n  o p ti m iz a t io n   m e th o d   m in im i z in g  th i s  d o u b le  in te g r a l.     2 .3 T ra ck i n g  P o i n t s  o f  I n t eres t   T h e m aj o r  p r o b l em   f o r  t r ack i n g  a n  o b j ect   b et w een  t w o  i m ag e s  i s  t o  d et er m i n e t h e  p o i n t s  o f   r es e m b l an ce b et w ee n  t h e d i f f er en t  i m a g es .  T h e i d ea i s  t o  d et er m i n e t h f eat u r e p o i n t s  ( co r n er )   [1 9   i n  each   i m a ge  a nd  t he f i nd  t he  r e l a t i o ns hi p  b e t w e e n t he  p o i nt s   f o u n d  i n e a c h i m a ge .   T h es e s t ep s  a r e u s ed  t o  ex t r act  a  s et  o f  p o i n t s  o f  i n t er es t   f r o m  a n  i m ag e o f  t h v i d eo  s eq u e n ce  u s i n g  t h m et h o d  d es cr i b ed  i n   [ 19] .  A ll p o in ts  o f   in te r e s in   th e  i m a g e  a r e  t r a c k e d i n   t h e   f ol l o w i n g i m a g e   us i ng  t h e  a l g or i t hm  o f  H or n  a n d S c hun c [2 1 o o p tic a l f lo w   [ 10] .  T h e  r e s u lt o f  th is  o p e r a tio n  a t th e  i n s ta n t t  is  a  s e t o f   v e c to r s  V i :     =   { , }     W h er e X i   a nd  Y i   a r e  t h e  c o o r d in a te s  o f  p o in t i  r e la tiv e  to  th e  r e f e r en ce  i m a g e I t ;   N o w  t he  a ut ho r s   m u s t   c a lc u la te  t h e  d is ta n c e  b e t w e e n  th e  p o s itio n  o f  t h e  p o in t i i n  t h e  i m a g e  I t a n d  it s  n e w  p o s iti o n  in  t h e  i m a g e  I t + 1 T h is  s te p  r e m o v e s  th e  s ta ti c  in te r e s t p o in ts  t h a t h a v e  a  m a g n it u d e  o f   m o v e m e n t b e lo w  a   m in i m u m   m a g ni t ud e .     2 .4 .   E x t r ac t i on  of   t h e  B ac k gr ou n d   T o d e t e c t  m o vi n g t a r ge t s   us i ng p a no r a m i c  i m a ge s ,  t he  b a c kgr o u nd  s c e ne  i s   f i r s t  e xt r a c t e d  f r o m   s u cce s s i v e i m a g es .  T h m et h o d  i s  i n t e n d ed  t o  i m p r o v e  t h e  q u al i t y  o f  t h e  t r eat m e n t  co m p ar ed  w i t h  t h e b as i c   m e t h od,   bu t  a l s o t o   l i m i t  t he   i m p a c t  o f   c ha n ge s   i t he  b r i ght ne s s   o f   a   r e s ul t  o f  e xt r a c t i o o f  b a c k gr o und .   T hus ,  t he  q ua l i t y  o f  t he  r e s ul t   i s  s ub s t a n t i a l l y e n ha nc e d .   T he  r e s ul t  o f  t he   m e t ho d  i s  s ho w n  i n t he   F i g ur e  5 .     ( , ) =   ( , )    = 1                                                                                        ( 7)           ( a)       (b )   F i g ur e  5 .  E xt r a c t i n g b a c k gr o u nd ;  ( a )  O r i gi na l  i m a ge ;  ( b )  B a c kgr o u nd       2 .5 .   S e gm e n t at i on   S e gm e nt a t i on   i s   o n e   of   t h e   m o s t   s t u di e d pr obl e m s  i i m a g e   pr oc e s s i n g   [2 2 ],   [ 23] .  I ts  g o a is  th e   s e p a r a tio n  o f  th e  i m a g e  i n to  r e g io n s   w h o s e  p i x e ls  h a v e   s i m ila r  c h a r a c te r is t ic s .  T h is  p a r tit io n in g  p r o b le m  c a n   b e  f o r m ul a t e d  a s   f o l l o w s :  gi ve n  a  c l o ud  o f  N  p o i nt s  i t he  i m a ge ,  t he  a ut ho r s  t r y t o  f i nd  t he  k c l o ud s   c or r e s pon di n g   t t h e   k   cl as s e s   o f   p i x el s .   O b j ect s   a f t er   t h i s   s t ep   w i l l   cl a s s i f y   m o v i n g   o b j ect   an d   s t at i o n ar y   o b j ect  u s i n g  o p t i cal   f l o w  cal c u l at ed  at  eac h  p o i n t  o f  i n t er es t .   T he   m e t ho d   us e d  i n t hi s  p a p e r  c o ns t r uc t s  t he   r eg i o n s ,  r at h er  t h a n  ch ar act e r i zi n g  t h e b o u n d ar i es  b et w een   r e gi o n s .  W i t h t hi s   m e t ho d ,  t he  a ut ho r s   w i l l   co n s t r u ct  a n  i n i t i al  s t at e i n   w h i ch  each  p i x el  o f  t h e i m ag e i s  a u n i t  r eg i o n ,  an d  t h e n  t o  g r ad u al l y   m er g e r el at ed   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J  E le c  &   C o m p E ng     I S S N :  2088 - 8708       N e w  A ppr oac h f or  D e t e c t i ng a nd T r ac k i ng a  M ov i ng O bj e c t   ( H. Ha t i mi )   3301   r eg i o n s   t h at   s a t i s f y   cer t ai n   cr i t er i o n   o f   h o m o g e n ei t y .   A s   an   ex a m p l o f   s i m p l t es t ,   w ca n   co n s id e r   th e   d i f f er e n ce b et w ee n  t h m ea n  v al u e s   o f  p i x el s  i n  t h e t w o   r eg i o n s .  I f  t h i s  d i f f er e n ce i s   l es s  t h a n  a cer t ai n   t hr e s ho l d ,  t he  a u t ho r s   m e r ge   t he  t w o  r e gi o ns   i nt o  o ne .   T he   r e s ul t  i s  a n  i m a ge  i w h i c h a l l  p i xe l s  o f  a  r e gi o ar e i d en t i f i ed  b y  t h e  s a m v al u e.  I t  i s   m o r e n a t u r al  t o  t a k f o r  each  r eg i o n  t h e a v er ag e  v al u e o f  i t s  p i x el s  i n   t he  o r i gi na l   i m a ge .  W e  c a n a l s o  p r o d uc e  a c c o r d i ng t o  t he  c o l o r i ng  nu m b e r  o f  t he  r e gi o n.   M o r e d et a ils  c a n  b e   f o u n d  in  t h e  a r tic le   [ 24] .   T he  r e s ul t  o f  t hi s  s t e p  i s   s ho w n  i n t he   F i gur e   6 .           F ig u r e  6 .  D e te c tio n  o f  t h e  ta r g e m o b ile       2 .6 M o t i o n  D et ect i o n   I n  o u r   w o r k ,   t h e a u t h o r s   w i l l   u s e a  r ef er en ce  i m ag e.  T h e i d ea i s  t o   u s e a n  i m a g e o f  t h e s c en e d ev o i d   o f  o b j ect s  an d  u s e t h e m  as  r e f er en ce i m a g e   [ 25] .   S t ep  m o t i o n  d et ect i o n  i s   i m p o r t an t  b eca u s e al l  p r o ces s es  t h at   f o l l o w ,  i nc l ud i n m o ni t o r i ng   a r e  d i r e c t l y  d e p e nd e nt  o t he s e  r e s ul t s .  I n  t hi s  s t ud y ,  t he  a ut ho r s  c ho s e  a   m o d e l   b as ed  p i x el ,   w h i c h  r ep r es en t s   a g o o d  co m p r o m i s e b et w ee n  c o m p u t at i o n  t i m e / q u al i t y   i F i gur e   7.           ( a)       (b )     ( c)   F i g u r e 7 .  D i f f er en ce i m ag e b e t w ee n  t h e i n i t i al  i m ag e a n d  t h e b ack g r o u n d ;  ( a)  I n i t i al  i m a g e;  ( b )  B ack g r o u n d ;    ( c)  I m a g e d i f f er en ce       2 .7 O b j ect  T ra ck i n g   T h e t r ack i n g   m et h o d   w i l l  b u s ed  i n  t h i s   w o r k  i s  b as ed  o n  t h e d et ect i o n  o f  r el at i o n s h i p s  b et w ee n   o b j ect s  i n  t h e c u r r en t  i m a g e  an d  t h e o b j ect s  o f  t h e p r ev i o u s  i m ag e,   t h at   i s  t o  s a y ,  o n ce t h e o b j ect s  ar d et ect ed ,  t h f l o w  o p t i cs   i s  ca l cu l at ed   f o r  each  f eat u r e  poi nt  be l on g i ng  t o t h e  obj e c t  a n d t h e  c e n t e r .  S e c on d,   t h er m u s t  b e co r r es p o n d en ce  b et w ee n  t h e o b j ect s  i n  t h e p r ev i o u s  i m a g e a n d  t h e cu r r e n t  i m ag i F i g ur e   8.             ( a)             (b )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :    329 6   -   3303   3302   F i g u r e 8 .  M o n i t o r i n g  t h e i m a g e;  ( a)  I m a g e at  t i m e t ;  ( b )  I m a g e at   ti m e  t+ 1     2 .8 T ra j ect o ry     O u r  d e te c tio n   s y s te m  a n d   m o n ito r in g   n o t o n l y  a llo w s  to  f o l lo w  t h e   m o v i n g  o b j e c t,  b u t a ls o  to  tr a c e   t h e p at h  t r a v el ed  b y  t h e o b j ect   i F i gur e  9 .           F i g u r e 9 .  D r a w i n g  t h e t r aj ect o r y       3.   RE S U L T S  AND  D I SC U SS I O N   T o s ho w  t he  p o w e r   of  ou r   m e t h od,   w e  di d t e s t s   w i t h  t h e   m e t h ods   us i n m u ltip le   f eat u r es   a d a p tiv e   f us i on  [ 3] ,  a n m e t h od u s i ng  i m pr o v e d de t e c t or  of  obj e c t s  s i m i l a r  t t a r ge t  [ 4 ] .  O ur  s ys t e m  ha s   be e n  t e s t e d on  v ar i o u s  s eq u en ce s .  E s p eci al l y ,  o n  v i d eo s  acq u i r ed  i n  o u r  l ab o r at o r y .  T h e  a u t h or s  c ondu c t e d t w o s e t s  of   e xp e r i m e nt s  i nd o o r s  t o  a s s e s s  t he  r o b us t ne s s  o f  t he  a l go r i t h m  t o  o c c l us i o ns  a nd  t o  c ha nge s  i n t he   s c e ne .   M o r eo v er ,  t h e s ce n es   i n   w h i ch  t h e ap p l i cat i o n   w i l l  b e i m p l e m e n t ed   m ai n l y  i n d o o r  s cen es  a w a y   f r o m   p r o b l e m s  s u c h   a s  l ar g e l i g h t i n g  v ar i at i o n s .  O u r  i n t er es t  t h er ef o r e r el at es  s p eci f i cal l y  o n  p r o ces s es  ad ap t ed  t o   t he s e  c o nd i t i o ns .     T h e  pr o pos e d m e t h od i n  t hi s   w or k   h e l pe d de t e c t  de f or m a bl e   m ov i ng  obj e c t s  f r o m  a  v i de o.   T o  f ul l te s t th e   f u n c tio n a lit y  o f  o u r  p r o g r a m ,   we   h a v e m ad s e v e r a te s te d   w i th   v id e o s  f r o m  1 0  to   3 0  m i n u te s .   I n  a ll  cas es ,  o u r  al g o r i t h m   w a s  ab l e  t o  l o cat e t h m o v i n g  o b j ect  p er f ect l y .  T h e d et ect i o n  p h as e g i v es  g o o d  v i s u al   r e s u l t i F i g ur e  1 0 ,   w h i c he l p s  a  l o t  d ur i ng t he   m o ni t o r i n p ha s e .           ( a)       (b )     ( c)   F ig u r e  1 0 .  P r o c e s s  f o r  d e te c tin g  th e   m o b ile  ta r g e t; ( a )  E x tr a c tin g  p o in ts  o f  i n te r e s t; ( b )  E lim i n a tio n  o f  p o in ts   o f  i n t er es t ;  ( c)  S eg m en t at i o n  a n d  t r ack i n g  o f  t h m o v i n g  o b j ect .       T h e   f in a i m p le m e n ta tio n   o f   th e   p r o j e c t   is   to   o p e r a te  in   m in i m u m  t i me   a s   s ho w n   i T ab l 1 ,   t he   a ut ho r s  l o o ke d  a t  u s i ng  s i m p l e  a nd  i ne xp e ns i ve   m e t ho d s  o f  c o m p ut a t i o t i m e .  T he  p r o gr a m   ha s  b e e t e s t e d   o n  a co m p u t er   w i t h  a C o r e I 5   p r o ces s o r  w i t h  4 G B  o f  r a m .   A s   w e ca n  s ee i n  t ab l e ex ec u t i o n  t i m e i s  t o o  s m a l l .       4.   CO NCL U S I O N   T h e   w o r k s  p r e s e n te d  i n  t h is  a r tic le  h a n d le  th e  p r o b le m  o f  d e te c tio n  a n d  lo c a tio n  o f  a   m o b ile  ta r g e t.   T h m ai n  i d ea o f  t h i s  ar t i cl i s  t o  r eal i ze o f  a n  ap p r o ach   f o r  d et ect i n g  a u t o m at i cal l y  a   m o v i n g  o b j ect  f r o m  a   s et  o f   i m a g e s ,   f r o m  a  f i x ed   c a m er a .   I t c o n ta i n s  a   s e t o f   s t e p   to   ta k e  i n   o r d e r  to  d e te c t a n d   tr a c k   m u ltip le   m o v i n g  o b j ect s .   T h i s  ap p r o ac h  can  al s o  i d en t i f y  t h e p at h  t r av el ed  b y  each  o b j ect ,  t o  an al y ze an d  u n d er s t a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J  E le c  &   C o m p E ng     I S S N :  2088 - 8708       N e w  A ppr oac h f or  D e t e c t i ng a nd T r ac k i ng a  M ov i ng O bj e c t   ( H. Ha t i mi )   3303   t he  b e ha vi o r  o f  t he  o b j e c t .  T o i m p r o ve  t he  q ua l i t y  o f  o ur  r e s ul t s ,  a  s e t  o f  t e s t s   w er e o r g an i zed  t o  v al i d at e t h e   ap p l i cat i o n .  T h e p er f o r m a n ce s  i n  t i m e s  o f  cal c u l at i o n   w er e  as s es s ed  an d  g i v e n  r i s e t o  s o m e o p t i m i zat i o n s   a s   s ho w n i T ab l e 1 .       T a bl e   1.  R u n  T i m e  of  E v e r y   O pe r a t i on  A c c or di ng  t o t h e  R e s ol u t i on   O p e r a t io n   6 4 0 * 48 0   7 0 4 * 57 6   D e t e c tio n   o f  p o in ts   o f  in te r e s t   0 . 0 0 2 s   0 . 0 3   C a lc u la t i o n  o f  o p t i c a l f lo w   0 . 0 1 s   0 . 0 2 s   S e g m e n t a tio n   0 . 0 0 5 s   0 . 0 0 7 s   O b j e ct  T r ack i n g   0 . 0 0 1 s   0 . 0 0 2 s       R EF ER EN C ES   [ 1]   X .Z h o u , W .H u , Y .C h e n , a n d  W .H u M a r k ov  r a ndom  f i e l m ode l e d l e v e l  s e t s   m e t hod f or  obj e c t  t r a c k i ng   w i t m o v i n g  c a m e r a s .   A s i a n C onf .  C o m put e  v i s i on .   20 07 p p.  83 2 84 2.   [ 2]   D a ode  Z ha ng ,  C he ng  X u,  Y ua n z hong  L i R o b u s t  T r ack i n g  b as e d  o n  F ai l u r e R eco v er y T el k o m n i k a I n d o n es i an   J our na l  of   E l ect r i cal  E n g i n eer i n g .  20 14;   V ol . 12 ,  N o. 2 :   1 00 -   10 11 .   [ 3]   J i e C ao L e ile i G u o J i nh ua  W a ng D i  W u O bj e c t  T r a c k i ng  B a s e d on M ul t i pl e  F e a t ur e s  A da pt i v e   F u s i on T e l k om ni k a  I ndone s i a n J our na l  of  E l e c t r i c a l  E ng i ne e r i ng .  201 4;   12( 9) ,   68 11   -   68 18     [ 4]   S h in ji F u k u i,   R y uj i  N i s hi y a m a ,   Y uj i  I w a hor i ,  M . K . B h uy a n,  R ob e r t  J . W oodha m .  O bj e c t   T r a c k i ng  w i t h I m pr ov e d   D et ect o r  o f  O b j ect s  S i m i l ar  t o  T a r g et .  P r o ced i a C o m p u t er  S ci en ce.  2 0 1 5 ;  V o l   6 0 ,    P ag es  7 4 0 - 74 9   [ 5]   S hoi c hi  A r a k i ,  T a k a s hi  M a t s uoa k a ,  N a ok azu   Y o k o y a an d  H ar u T ak e m u r a.   R e a lti m e  tr a c k in g  o f   m u ltip le  m o v in g   o b j ect  co n t o u r s  i n  a m o v i n g  ca m e r a i m a g e s eq u en ce.   IE ICE  T ra n s .   In f .  &  S y s t .   2000 V o l . E 8 3 - D , N o . 7 .   [ 6]   J . F .  B o u l an g er ,   F .  G al l an d ,   P .  M a r t i n ,  et   P .  R éf r ég i er .   S t o ch as t i c co m p l ex i t y  i n t eg r al  i m a g e b as ed  t ech n i q u e f o r  f as t   vi d e o  t r a c ki n g.   O p tic s  L e tte r s .   20 08 V ol .  33   ( 2 1) ,  pp.   2 52 1 - 25 23 .   [ 7]   D . J .  Bu rr.   Ela s tic  M a tc h i n g  o f  lin e  d r a w in g s .   I E E E  t r an s act i o n  o n   P at t er n  an al y s i s  an d  m ach i n e i n t el l i g en ce 1 981 ;   v ol .  3,  n°  6 :  p p.   70 8 - 7 13 .   [ 8]   M a ha m uni  P . D , R P P a t i l , H .S . T h a k a r M ov i ng  obj e c t  de t e c t i o n us i ng  ba c k g r oun s u b tr a c tio n  a lg o r ith m  u s in g   s i m ul i nk .  I nt e r na t i o na l  j our na l  of   r e s e a r c h i n e ng i ne e r i ng  a nd  t e c hn ol og y .   201 4 ;   v ol  03 .   [ 9]   J.  R i ssa n e n .   S t o c h a s tic  C o m p le x ity  in  S ta tis tic a l I n q u ir y .   T e an eck ,   N J  :  W o r l d  S ci en t i f i c,   198 9 .   [ 1 0]   B .  L u cas ,  T .  K an ad e.   A n  ite r a tiv e  im a g e  r e g is tr a tio n  te c h n iq u e  w ith  a n  a p p lic a tio n  to  s te r e o  v is io n .   P r oc e e di ng s  of   I m a g i ng  U nde r s t a ndi ng  W or k s ho p .   19 81 ;  p p.   12 1 13 0.   [ 1 1]   J . S h i  a n d  C . T o m a s i G o o d  f eat u r es  t o  t r ack .   C o m put e r  V i s i on a nd  P a t t e r n R e c og ni t i o n,   P r o ceed i n g s  C V P R 9 4 W a s h in g to n  : S e a ttle 19 94 pp .  59 3 60 0.     [ 1 2]   M . O .  Be rg e r.   H ow  t o t r a c k  e f f i c i e nt l y  pi e c e w i s e  c ur ve d c ont o u r s  w i t h a   v i e w  t o r e c ons t r uc t i ng  3D  obj e c t s .   In   ICP R’ 9 4 19 94 ;  pp.   3 2 36 .     [ 1 3]   F ar i d ah ,  B al za A ch m ad ,  B i n ar  L i s t y an a S L i p  I m a g e F eat u r Ex tr a c tio n  U tiliz in g  S n a k e s  C o n tr o P o in ts   f or  L i R e a di ng  A ppl i c a t i ons I nt e r na t i ona l  J our na l  of  E l e c t r i c a l   a nd C om put e r  E ng i ne e r i ng  ( I J E C E ) 2015 V ol .  5,   N o.  4:  p p.   72 0 - 72 8 .   [ 1 4]   S .  B ouk i r ,   P .  B o ut he m y ,  F .  C ha um e t t e ,   a nd D .  J uv i n.   A  l oc a l  m e t hod f or  c ont our   m at ch i n g  an d  i t s  p ar al l el   im p le m e n ta tio n .   M a c hi ne  V i s i o a nd A ppl i c a t i o ns .   19 98 ;   pp .   3 21 330 .   [ 1 5]   M .  V i n cze .  R o b u s t  t r ack i n g  o f  el l i p s es  at  f r a m e r at e.   P a tte r n  R e c o g n itio n .   20 01 ;   pp .   48   49 8 .   [ 1 6]   G .  H ag er  an d  P .  B el h u m eu r .   E f f i ci en t  r eg i o n  t r ack i n g   w i t h  p ar a m et r ic   m o d e ls  o f   g e o m e tr y  a n d  illu m in a tio n .   I E E E   T r a ns ,  on  P a t t e r n A na l y s i s  a nd M a c hi ne  I n t el l i g en ce.   19 98 ;   p p.   10 25 10 39 .   [ 1 7]   D .  Le e .  E f f e c t i ve   G a us s i a m i x t ur e  l e a r ni ng  f or  v i de o ba c k g r ound   s ubt r a c t i o n.   I E E E   T r an s .  P at t er n  A n al 200 5 ;  p p 827 83 2.   [ 1 8]   Y . S h e i k h , M .   S ha h.   B ay es i an   m o d el i n g  o f  d y n a m i c s cen es   f o r  o b j ect  d et ect i o n .   I E E E  T r a n s . P a t t e r n  A n a l 2005 pp.   17 78 17 92 .   [ 1 9]   C .  H ar r i s ,  M .  S t ep h en s .   A  C om bi ne d C or ne r  a n d E dg e  D e t e c t or .   P r oc e e di ng s  of  4t h A l v e y V i s i o n C o nf e r e nc e 198 8 .   [ 2 0]   J . L . B a r r o n , D . J .   F l eet ,  an d  S .   S .  B eau ch em i n .   P e r f or m a nc e  of   opt i c a l  f l ow  t e c hni que s .   I nt e r na t i ona l   J o ur na l  of   C om put e r  V i s i on 19 94 p p.  43 77.   [ 2 1]   B . K . P .  H or n e t  B . G .  S c hunk .  D e t e r m in in g  O p tic a l F l o w .   A r ti f ic ia l I n te llig e n c e , p p 18 5 20 3 ,   19 81 .   [ 2 2]   T ah i r   S ag ,   M eh m et   Ç u n k .  C o l o r  i m a g s eg m en t a tio n  b a s e d  o n   m u ltio b je c tiv e  a r ti f ic ia l b e e   c o lo n y  o p tim i z a tio n .   A ppl i e d S of t  C om put i ng .   20 15 V o l  34 :   pp   38 9 40 1 .   [ 2 3]   W e n S hi ,  R ui - bi a o Z ou , ,  F a ng   W a ng ,   L e  S u.   A  ne w  i m a g e  s e gm e nt a t i on m e t hod  ba s e d on m ul t i f r a c t a l  de t r e nde d   m o vi n g a ve r a ge  a n a l y s i s .    P h ys i c a  A : S ta tis tic a l   M e c ha ni c s  a nd i t s   A ppl i c a t i ons .   20 15 V ol  43 2 :   pp.   197 20 5 .   [ 2 4]   Y . L .  T i a n a nd A .  H a m pa pur .   R obus t  s a l i e nt  m ot i o de t e c t i on  w i t h c om pl e x  ba c kg r ound  f or   r e a l - t i m e v i d eo   s u r v ei l l an ce.   I E E E  W or k s hop  o M ot i on a nd  V i de o C om put i ng 20 05 pp .   30 - 35 .   [ 2 5]   T.   Y a n g , S .Z . L i , Q P a n ,  J . L i . R e a l - t i m ean d  accu r at e s eg m en t at i o n  o f  m o v i n g  o b j ect s  i n  d y n am i c s cen e.   A C M  I n t .   W or k s hop o n v i de o  S ur v e i l l a nc e   &  S e ns or  N e t w or k s .  200 4;   pp.  1 3 6 - 1 43.   Evaluation Warning : The document was created with Spire.PDF for Python.