I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   2 ,  A p r il   2 0 2 0 ,   p p .   1 3 1 7 ~1 3 2 6   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 2 . p p 1 3 1 7 - 1 3 2 6          1317       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   O bje cts d etec tion  a nd t ra c k ing  usin g  f a st princi ple co m po nen t  purist and   k a l m a n f ilt er       H a deel  N.   Abdu lla h ,  Nu ha   H .   Abdu lg ha f o o r   De p a rtme n t  o f   El e c tri c a l  En g in e e rin g ,   Un iv e rsity   o f   T e c h n o lo g y ,   Ir a q       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ma y   2 4 ,   2 0 1 9   R ev i s ed   Oct  1 5 ,   2 0 1 9   A cc ep ted   Oct  2 7 ,   2 0 1 9       T h e   d e tec ti o n   a n d   trac k in g   o f   m o v in g   o b jec ts  a tt ra c ted   a   l o t  o f   c o n c e rn   b e c a u se   o f   th e   v a st  c o m p u ter  v isio n   a p p li c a ti o n s.   T h is  p a p e r   p r o p o se s  a   n e w   a lg o rit h m   b a se d   o n   se v e ra l  m e th o d s  f o r  id e n ti fy in g ,   d e tec ti n g ,   a n d   trac k in g   a n   o b jec t  in   o rd e r  t o   d e v e lo p   a n   e ff e c ti v e   a n d   e f f i c ien t  sy st e m   in   se v e ra l  a p p li c a ti o n s.   T h is  a lg o rit h m   h a s  th re e   m a in   p a rts:  th e   f irst  p a rt  f o r  b a c k g ro u n d   m o d e li n g   a n d   f o re g ro u n d   e x trac ti o n ,   th e   se c o n d   p a rt  f o r  sm o o th i n g ,   f il t e rin g   a n d   d e tec ti n g   m o v in g   o b jec ts  w it h in   th e   v id e o   f ra m e   a n d   th e   las t  p a rt  in c lu d e s  trac k in g   a n d   p re d ictio n   o f   d e tec ted   o b jec ts.  In   th is  p r o p o se d   w o rk ,   a   n e w  a lg o rit h m   to   d e tec t  m o v in g   o b jec ts  f ro m   v id e o   d a ta  is   d e sig n e d   b y   th e   F a st   P ri n c ip le   Co m p o n e n t  P u rist   (F P CP ) .   T h e n   w e   u se d   a n   o p t im a l   f il ter  th a t   p e rf o r m s  w e l l  to   re d u c e   n o ise   t h ro u g h   th e   m e d ian   f il ter.  T h e   F a s t  Re g io n - c o n v o lu ti o n   n e u ra l  n e tw o rk s  (F a st -   RCN N)  is  u se d   to   a d d   sm o o th n e ss   to   th e   sp a ti a l   id e n ti f ica ti o n   o f   o b jec t s a n d   th e ir   a re a s.  T h e n   th e   d e tec ted   o b jec t  is   trac k e d   b y   Ka l m a n   F il ter.  Ex p e ri m e n tal  re s u lt s  s h o w   th a t   o u r  a lg o r it h m   a d a p ts   to   d if fe re n t  situ a ti o n s a n d   o u tp e rf o rm s  m a n y   e x isti n g   a lg o rit h m s .   K ey w o r d s :   B lo b   an aly s is   Fas t  p r in cip le  co m p o n e n t  p u r i s t   ( FP C P   Kal m a n   f ilter   Ob j ec t d etec tio n   Ob j ec t tr ac k in g   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Had ee l N .   A b d u lla h ,     Dep ar t m en t o f   E lectr ical  E n g i n ee r in g ,   Un i v er s it y   o f   T ec h n o lo g y ,   Al - S in aa   S tr ee t,  B ag h d ad ,   I r aq .   E m ail :  3 0 0 0 2 @ u o ec h n o lo g y . e d u . iq       1.   I NT RO D UCT I O N   T h e  p r o ce s s   o f   tr ac k in g   i s   o n e  o f   th e  m ai n   ta s k s   in   co m p u t er   v is io n   [ 1 ] .   I t  h as  an   i m p o r t an t  t u r n   i n   m an y   ar ea s   o f   r esear ch ,   s u c h   as  m o v e m e n t  o b j ec ts ,   r ec o g n i tio n   an d   a n al y s is   h u m an   a n d   n o n h u m a n   Vital it y ,   3 D  r ep r esen tatio n ,   m o b ilit y   i n   v eh ic les,  a n d   o th er s .   Ob j ec t  tr ac k i n g   is   th e  m o s t  co m m o n   in   a u to m ated   m o n ito r i n g   ap p licatio n s   b ec a u s e  th e   in d i v id u a l  h u m a n   e m p lo y er   ca n n o t  m an a g e  t h e  co n tr o lled   ar ea ,   esp ec iall y   w h e n   th e  n u m b er   o f   ca m er as  r aises .   A l s o ,   in   t h e  m ed ici n al  a p p licatio n ,   th e  o p er ato r   ca n n o t   s o m eti m es  a n al y s e   th e  v id eo   tak e n   b y   th e  d e v ice .   I t  is   also   u s ed   in   s ec u r it y   s y s te m s ,   tr a f f ic  m a n ag e m e n t  s y s te m s ,   a n d   o th er s .   T h e  tr ac k in g   s y s te m   ca n   tr ac k   s in g le  o r   m u l tip le  an i m atio n   o b j ec ts   in   d if f er en t  e n v ir o n m e n ts   [ 2 ] .   I n   g en er al ,   th e  o b j ec t  d etec tio n   an d   tr ac k in g   s y s te m   i n clu d e s   th e  d i f f er en t  s ta g es  lik e  b ac k g r o u n d   s u b tr ac tio n ,   o b j ec t  d etec tio n ,   an d   o b j ec t tr ac k in g   as sh o w n   i n   th e  b lo ck   d ia g r a m   in   Fi g u r e  1 .   I n   m an y   f ield s   o f   i m a g e  p r o ce s s i n g   an d   co m p u ter   v is io n   ap p licatio n s ,   th e  b ac k g r o u n d   m o d elin g   is   an   i m p o r tan t  s tep ,   also   k n o w n   a s   f o r eg r o u n d   d etec tio n ,   w h ich   e x tr ac ts   t h e  f o r eg r o u n d   o f   th e  im ag e  f o r   s u b s eq u e n t   p r o ce s s in g   ( s u ch   as  o b j ec t  s el ec tio n   an d   id en tif ica tio n )   f r o m   b ac k g r o u n d .   T h ese  ar e   th e  m o s t  i m p o r tan t  ar ea s   o f   th e  p ictu r e,   w h ic h   ar e  ca lled   o b j ec ts   s u ch   as  h u m a n s ,   ca r s ,   tex t s ,   etc.   T h is   s tag e  m a y   b e  af ter   th e  p r e - p r o ce s s in g   p h a s e  o f   th e  i m a g e,   w h ich   m a y   i n cl u d e  n o is e  r ed u ctio n   o f   i m ag e s ,   an d   b ef o r e  th e  s u b s eq u e n t   tr ea t m e n t  p h ase  s u ch   as  m o r p h o lo g y ,   etc  [ 3 ] .   A   m o r e  co m m o n   w a y   to   d etec t  m o v i n g   o b j ec ts   in   v id eo s   is   b ac k g r o u n d   s u b tr ac tio n .   T h e  b asic  p r in cip le  is   to   d etec t  m o v i n g   o b j ec ts   f r o m   t h e  d if f er e n ce   b et w ee n   th e  c u r r en t   f r a m e  a n d   t h e  r ef er e n ce   f r a m e,   o f ten   ca lled   a  " b ac k g r o u n d   i m a g e"   o r   " b ac k g r o u n d   m o d el" .   So m e  co m m o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   2 ,  A p r il 2 0 2 0   :   1 3 1 7   -   1326   1318   m et h o d s   in   th is   ar ea   i n cl u d e  t h e  u s e  o f   f r a m e  d i f f er en tiat io n ,   o p tical  f lo w ,   a n al y s is   o f   p r in cip al  co m p o n e n t s ,   b ac k g r o u n d   m i x t u r e  m o d els [ 4 ] .   T h e  f o r eg r o u n d   r ep r ese n ts   th e  o b j ec t  o f   in ter est   in   a  s ce n e.   T o   r e p r esen t  an   o b j ec t,  f ea tu r es  ar e   ex tr ac ted   th at  u n iq u el y   d e f in e s   an   o b j ec t.  T h e s e  f ea tu r e s   o r   th e  d escr ip to r s   o f   a n   o b j ec t  ar e  th e n   u s ed   to   tr ac k   th e  o b j ec t.  A   f ea tu r e  i s   a n   i m a g e  p atter n   t h at  d i f f er en tia tes  a n   o b j ec t  f r o m   its   n ei g h b o r h o o d .   T h e  f ea tu r es  o f   an   o b j ec t  ar e   co n v er ted   in to   d escr ip to r s ,   also   r ef er r ed   to   as  ap p ea r an ce   f ea tu re s ,   u s i n g   s o m e   o p er atio n s   ar o u n d   th e  f ea t u r es  [ 2 ] .   T h e  co m m o n l y   u s ed   o b j ec t  r ep r esen tatio n s   f o r   tr ac k i n g   ar e  ce n tr o id ,   m u l tip le  p o in t s ,   r ec tan g u lar   p atch ,   an d   co m p l ete  o b j ec t  c o n to u r ,   etc.   w h ile   th e  d escr ip to r s   o f   an   o b j ec t  s u c h   as  p r o b a b ilit y   d en s itie s   o f   o b j ec t a p p ea r an ce   ( His to g r a m ) ,   te m p late,   b lo b   an al y s i s ,   etc.     T h e  o b j ec t   tr ac k in g   is   to   s elec t   an d   g iv e  in d i v id u al  p ath s   to   e ac h   o b j ec t   in   th e  v id eo   s eq u en ce .   Ob j ec ts   ca n   b e  h u m an s   o n   th e  s tr ee t,  ca r s   o n   th e  r o ad ,   p lay er s   o n   t h e   p itch ,   o r   f r o m   a  g r o u p   o f   an i m als.    T h e  o b j ec t  is   tr ac k ed   to   ex tr ac t  th e   o b j ec t,   id en ti f y   t h e  o b j ec t  an d   tr ac k   it,  an d   t h e  d ec is io n s   r elate d   to   th eir   ac t iv i ties .   T r ac e   o b j ec ts   ca n   b e  class if i ed   as  p o in ts   tr ac k in g ,   k er n el  tr ac k in g ,   an d   tr ac e  s h ad o w   i m ag e s .   T h e  g en er al   tech n iq u es o f   tr ac k i n g   s u c h   as   Kal m a n   Fil ter ,   P ar ticle  Fil ter ,   Me an   Sh if t M eth o d ,   etc  [ 5 ] .     T h e  m ai n   co n tr ib u tio n   o f   th i s   w o r k   i s :   a.   T h e  p r o p o s ed   alg o r ith m   u s es t h e  FP C P   tech n iq u e  to   ex tr ac t th e  m o tio n   ar ea s   f r o m   d if f er en t   b ac k g r o u n d s   o f   th e   ca p tu r ed   v id eo   f r a m e   w i th o u t   th e   n ee d   f o r   f u r t h er   in p u t .   As  a  r es u lt,  s o   th e   o u tp u ts   h a v e  g o o d   s p ee d   an d   ac cu r ac y .   b.   Usi n g   t h e  m et h o d   o f   a n al y s i n g   t h e  s p atial   an d   te m p o r al  s i m u ltan eo u s l y   to   s elec t  t h e  e f f ec tiv e  p i x els  in   th e  m o tio n   zo n e s   an d   to   d eter m i n e  th e  ar ea   o f   th e  o b j ec t  at  t h e  s a m e  ti m e  u s in g   Fas t  R C N N .   I n   ad d itio n   to   u s i n g   e f f icie n t  tr ac k in g   te ch n iq u e,   Kal m an   Fil ter   i s   th u s   a n   ef f ic ien t  a n d   in teg r ate d   w a y   to   tr ac k   m u ltip le  o b j ec ts   in   th e  s a m e  c ap tu r ed   v id eo   f r a m e.   T h is   p ap er   is   o r d er e d   as  f o llo w s .   Sec tio n   2   e x p lain s   th e  r elate d   w o r k s .   Sectio n   3   ex p lain s   Me th o d o lo g ies  ( Ma th e m at ical   B ac k g r o u n d ) ,   Sectio n   4   ex p lain s   t h e  p r o p o s ed   A lg o r ith m .   Sectio n   5   ex p lai n s   th e  r esu lts   a n d   p er f o r m an ce   a n al y s i s .   Fi n all y   th e  co n c lu s io n s   in   Sectio n   6 .           Fig u r e   1 .   T h e  b lo ck   d iag r am   o f   o b j ec t a n d   tr ac k in g   s y s te m       2.   RE L AT E D  WO RK S   Sin ce   th e  la s t  f e w   d ec ad es,  m an y   r esear ch er s   h av e  p r o v en   alg o r ith m s   f o r   d etec tin g   an d   tr ac k in g   o b j ec ts .   I n   th is   s ec tio n ,   w e  d e m o n s tr ated   s o m e  o f   th ese  alg o r ith m s   r elate d   to   th e  p r o p o s ed   s y s te m .   A cc o r d in g   to   [ 6 ] ,   m o tio n   b r i m   is   ex tr ac t ed   in   p o lar - lo g   co o r d in ate,   t h en   t h e  g r ad ie n t  o p er ato r   is   em p lo y ed   to   co m p u te   th e  o p tical  f lo w   d ir ec tl y   i n   e v er y   m o tio n   r eg io n s ,   t h en   t h e   o b j ec t  is   tr ac k e d .   I n   th e  p r o p o s ed   w o r k   in   [ 7 ] ,   th e  ac tiv e  b ac k g r o u n d   r ec o n s tr u cted   an d   th e  o b j ec t  s ize  d ete r m in ed   as  a  p r eli m in ar y   ta s k ,   t o   ex tr ac t  an d   tr ac k   th e  o b j ec t  in   th e  f o r eg r o u n d  . T h e  m et h o d   in   [ 8 ]   is   th e  o b j e ct  d etec tio n   is   d o n e  b y   Ga u s s ian   Mix tu r e  Mo d el   ( GM M) ,   an d   th e  tr ac k i n g   is   d o n e  b y   Kal m an   Fil ter .   I n   t h is   m et h o d ,   Ob j ec t  d etec tio n   is   d eter m i n ed   b ased   o n   th e  s ize  o f   t h e  f o r eg r o u n d .   T h er ef o r e  E r r o r s   w ill  o cc u r   in   d eter m in i n g   th e  o b j ec t  s u ch   a s   th e  o b j ec t  an d   its   s h ad o w   ar e  m er g ed   as  a n   o b ject  o r   r ep r esen tin g   t w o   ad j ac en t  co m p o u n d s   a s   a  s i n g le  o b j ec t.  T h e  p ap er   [ 9 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ob jects d etec tio n   a n d   tr a ck in g   u s in g   fa s t p r in cip le  co m p o n en t p u r is t a n d   ka lma n   filt er  ( H a d ee l N.  A b d u lla h )   1319   d ev elo p ed ;  th e  alg o r ith m   i n cl u d es  o p tical  f lo w   an d   t h e  m o tio n   v ec to r   esti m atio n   f o r   o b j ec t  d etec tio n   an d   tr ac k in g .   T h e  d etec tio n   an d   t r ac k in g   s y s te m   i n   [ 1 0 ]   is   s o p h is t icate d   d ep en d   o n   o p tical  f lo w   f o r   d etec tio n ;   th e  o b j ec t tr ac k in g   i s   d o n e  b y   b lo b   an aly s is .   I n   P r ab h ak ar   et  al.   [ 1 1 ] ,   a   m o v in g   o b j ec t  tr ac k in g   s y s te m   u s in g   m o r p h o lo g ical  p r o ce s s i n g   an d   b lo b   an al y s is ,   w h ic h   ab le  to   d is tin g u i s h   b et w ee n   ca r   an d   p ed estrian   i n   th e  s a m e  v id eo .   I n   th e  p ap er   [ 1 2 ] ,   th e  f o r eg r o u n d   is   ex tr ac ted   f r o m   t h e  b ac k g r o u n d   u s i n g   m u ltip l e - v ie w   ar ch itect u r e.   Af ter   th at,   th e  f o r w ar d   m o v e m e n t  d ate  an d   ed itin g   s c h e m e s   ar e  u s ed   to   d etec t  th e  an i m ated   o b j ec ts .   Fin all y ,   b y   d etec tin g   th e  ce n ter   o f   g r av it y   o f   t h e  m o v in g   o b j ec t,  it  i s   u s ed   to   tr ac e  t h e  o b j ec t  b ased   o n   t h e  Kal m a n   f ilter .   I n   t h e  m et h o d   [ 1 3 ] ,   an i m ated   o b j ec ts   ar e  r ep r esen ted   as  g r o u p s   o f   s p atial  a n d   t e m p o r al  p o in ts   u s in g   t h e  Gab o r   3 D  f ilter ,   w h ic h   w o r k s   o n   t h e  s p atia l  an d   te m p o r al  an al y s i s   o f   t h e  s eq u e n ti al  v id eo   an d   is   th e n   j o in t  b y   u s i n g   th e   Min i m u m   Sp an n in g   T r ee .   T h e  p r o p o s ed   tech n i q u e  d escr ib ed   in   [ 1 4 ] ,   s p lit  in to   th r ee   s ta g es;  Fo r eg r o u n d   s eg m e n tatio n   s tag e  b y   u s in g   Mi x tu r e  o f   A d a p tiv e  Gau s s ia n   m o d el,   tr ac k in g   s ta g e  b y   u s i n g   t h e  b lo b   d etec tio n   an d   ev al u atio n   s tag e   w h ich   in cl u d es  th e   clas s i f icatio n   ac co r d in g   to   t h e  f ea tu r e  ex tr ac tio n .   T h e  p r o p o s ed   w o r k   i n   [ 1 5 ] ,   it  m er g ed   B ac k g r o u n d   Su b tr ac tio n   w it h   L o w   R an k   tech n iq u es  f o r   e f f ec tiv e  o b j ec t  d etec tio n .   Fin all y   th e  s u g g ested   alg o r ith m   i n   [ 1 6 ] ,   it  em p lo y ed   B ac k g r o u n d   Su b tr ac tio n   an d   K - Me a n s   C l u s ter in g   te ch n iq u es  to   d etec t   th e  m o v in g   o b j ec t   an d   tr ac k in g   it.  Af ter   ex p lo r in g   s o m e  o f   th e  p u b lis h ed   r esear ch   o n   th e  d etec tio n   an d   tr ac k in g   o f   th e   o b j ec t,  it  w a s   f o u n d   th at  th e  d i s co v er y   an d   tr ac k i n g   o f   th e   o b j ec t  is   a  co m p le x   tas k   b ec au s e  o f   m a n y   ele m e n ts   o f   d y n a m ic  tr ac k i n g   s u c h   as  d eter m in i n g   t h e  t y p e  o f   ca m er a  m o v in g   o r   s tatic,   t h e  r an d o m   ch a n g e  o f   th e  s p ee d   o f   th e  o b j ec t,  th e  in t en s it y   o f   li g h t a n d   d ar k n es s ,   etc.       3.   M E T H O DO L O G I E S ( M AT H E M AT I CAL B ACK G RO UND)     3 . 1 .     F a s t   P rincipa l C o m po n ent   P urs uit    FP C P   w a s   r ec en tl y   s u g g e s ted   as  a  p o w er f u l  alter n a tiv e  to   P r in c ip al  C o m p o n e n t s   An al y s is   ( P C A ) .   T h is   m e th o d   w il l  b e  u s ed   in   v ar io u s   ap p licatio n s ,   in cl u d in g   f o r eg r o u n d /b ac k g r o u n d   m o d el lin g ,   d ata  an al y s i s ,   w h et h er   in   te x t o r   v id eo   f o r m a t a n d   i m a g e  p r o ce s s in g .   T h e  PC A   w as  f o r m u lated   in i tiall y   [ 1 7 ] .      ,     | | | | +     | | | | 1       s . t.        D  = L  + S   ( 3 )       W h er e  D  ∈ R m× n   is   th e  o b s er v ed   m atr i x ,   || L|| o   is   th e  n u clea r   n o r m   o f   m atr ix   L  ( i.e .   ∑ | ( ) | )   an d   | | S | | 1   is   th e  l 1   n o r m   o f   m atr ix   S .  Nu m er o u s   ch a n g es  h av e  b ee n   m ad e  t o   eq .   ( 1 )   b y   ch an g i n g   t h e  r estri ctio n s   o n   s an ctio n s   an d   v ice  v er s a.     So   th at  t h e  eq .   ( 1 )   b e ca m e:      ,     1 2 | | + − | | +     | | | | 1     s . t.      || L | | o   <  t   ( 2 )     T h e  co n s tr ain t  | | L   | | o   <  t  is   ac tiv e,   r ep r esen ts   a  co n s tr ain t  o f   eq u alit y ,   s o   it  is   s u g g ested   th at   th e  alg o r it h m   r an k s   t h e  s a m e  r ath er   th a n   r elax   t h e  n u clea r   b ase,   s o   th e  f u n ctio n   i s   as  f o llo ws      ,   1 2 | | + − | | +     | | | | 1       s . t.        r a n k( L)   ≈   t   ( 3 )     T h is   ad j u s t m en t  i g n o r ed   th e  in itial  s elec tio n   o f   t h e  p ar a m eter   λ ,   th e  b ac k g r o u n d   m o d ellin g   c o m p o u n d   L   is   o f te n   lo w ,   a n d   in   p r ac tice,   t h er e  is   n o   d if f ic u lt y   i n   s e lecti n g   th e  ap p r o p r iate  v alu e  f o r   t .   A   n o r m al   p r o ce s s   to   s o lv e  ( 3 )   is   th e  alter n ati v e  m in i m izat io n :                      + 1     =      | |   + −   | |     s . t.  r a n k  ( L)   ≈     t     ( 4 )   + 1     =        | | + 1   + −   | | +       | | | | 1   ( 5 )     T h e   ( 3 )   ca n   b e  s o lv ed   b y   tak i n g   a  p ar tial  Si n g u lar   Val u e  D ec o m p o s i tio n   SVD  o f   ( D  -   S k )   w i th   r e s p ec t  to   t.  w h ile  t h e  eq .   4   ca n   b e  s o lv ed   b y   e le m e n t - w i s e  s h r i n k a g e.   T h e  b ac k g r o u n d   o f   t h e  v id eo s   i s   s u p p o s e d   to   lie  in   a  lo w - lev el  s u b - s p ac e,   an d   th e  m o v i n g   o b j ec ts   s h o u ld   b e  in   th e  f o r eg r o u n d   as   i f   th e y   wer e  g r ad u all y   s o f t  in   th e  s p atial  a n d   te m p o r al  d ir ec tio n   [ 1 8 ] .   T h e  p r o p o s ed   m et h o d   in teg r ates  t h e  Fro b en i u s   a n d   l 1 - n o r m   b a s e  in to   a  u n i f ied   f r a m e w o r k   f o r   s i m u ltan eo u s   n o i s e  r ed u ctio n   a n d   d etec tio n .   T h e  Fro b en iu s   b ase   u s e s   th e  lo w - le v el   p r o p er ty   in   t h e  b ac k g r o u n d ; t h e  co n tr ast is   i m p r o v ed   b y   t h e  l 1   n o r m   s ta n d ar d .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   2 ,  A p r il 2 0 2 0   :   1 3 1 7   -   1326   1320   3 . 2 .     No is e  f ilte ring       An i m ated   d ig ital  p ictu r es  o f t en   o v er lap   w it h   a  s et  o f   n o is e  b ased   o n   p r ev ailin g   co n d itio n s .   So m e  o f   th is   n o is e  is   v er y   d is t u r b in g   wh en   i m p licated   in   alter i n g   t h e  i n ten s it y   o f   v id eo   f r a m es.  I t  s p o ils   p ix els  r an d o m l y   an d   d iv id es  i n to   t w o   e x tr e m e  lev els:   r elati v el y   lo w   o r   r elativ el y   h ig h ,   co m p ar ed   to   ad j a ce n t  p ix els  [ 1 1 ] .   Su b s eq u e n tl y ,   it  is   n ec es s ar y   t o   ap p ly   r ef i n e m e n t  tech n icalit ies  th at  ar e  ab le  to   h an d le  v ar i o u s   t y p es  o f   n o is e.   Mo r p h o lo g ical  p r o ce s s es a r e  p er f o r m ed   to   ex tr ac t   i m p o r tan t  f ea t u r es o f   u s ef u l  i m a g e s   i n   t h e  i m p er s o n a tio n   o f   s h ap es  in   th e  r e g io n   a n d   t h eir   d escr ip tio n .   W e  h a v e  u s ed   b o th   th e   m o r p h o lo g y   o f   t h e  clo s u r e  a n d   co r r o s io n ,   r esp ec tiv el y ,   to   r e m o v e  p ar ts   o f   th e  r o ad   an d   u n w a n ted   th in g s .   Af ter   th e  m o r p h o lo g ic al  clo s u r e  p r o ce s s ,   p r o v id ed   th at  th e  ap p ea r an ce   o f   th e  o b j ec t is n o t d estro y ed ,   an d   th at  m a n y   s m a ll p u n ctu r e s   an d   s ep ar ate  p ix el s   ar e  f illed   in   th e  f o r m   o f   o n e  la r g e  r ea l o b j ec t.   T h e  f o llo w i n g   is   th e  d ef i n itio n   o f   m o r p h o lo g i ca l c lo s u r e  p r o ce s s   an d   th e  ap p licab le  s tr u ct u r al  el e m en t   B .     P   *   B   =  ( P ⊕   B) ⊕   B   ( 6 )     W h er e:     = [ 0 0 1 0 1 0 1 0 0 ]   ( 7 )     T h e  m atr ix   P ,   w h ich   in cl u d es  m o v i n g   o b j ec t  in f o r m a tio n ,   i s   o b tain ed   th r o u g h   th e   d etec tio n   p r o ce s s .   An   i n te g r al  p ar t  o f   t h e  m o r p h o lo g ical  ex p a n s io n   a n d   er o s io n   p r o ce s s es   is   a  s tr u ct u r al  ele m en t  o f   a  f lat  s h ap e.   T h er e  is   a  b in ar y   f la t  s tr u ctu r e   ele m e n t  w i th   a   li v in g   v al u e,   e ith er   2 - D   o r   m u lti - d i m en s io n a l,  in   w h ic h   t h e  r ea l   p ix els  ar e  in c lu d ed   in   t h e  m o r p h o lo g ical  ca lc u latio n ,   a n d   f al s e  p ix els  ar e  n o t.  T h e  m id d le  p ix el  o f   t h e  s tr u ct u r e   ele m e n t,  ca lled   th e  p ar en t,  d et er m in e s   th e  p i x el  i n   th e  i m a g e   b ein g   p r o ce s s ed   [ 1 1 ]     3 . 3 .   F a s t - re g io n   co nv o lutio n neu ra l net w o rk   T h e  r ef er en ce   to   th e  r ec en t  ad v an ta g es  o f   co n v o l u tio n al  n eu r al  n et w o r k s   ( C NN)   h as  b ee n   v er y   s u cc e s s f u lin   a  v ar iet y   o f   co m p u ter   v is io n   tas k s ,   esp ec iall y   th o s e  ass o ciate d   w it h   d etec ti n g   o b j ec ts .   I n   th is   r esear ch ,   w e  u s e  C NN  n et wo r k s   to   id en tify   t h e  co m m er cial  o b j e ct  as  a   s u p er v is ed   lear n in g   tas k   [ 1 9 ] .     T h e  Fas t  R - C N N  Ob j ec t  Det ec tio n   to o l  ( R eg io n s   w it h   C o n v o l u tio n a l  Neu r al  Net w o r k s )   is   u s ed   to   l o ca te  d etec ted   o b j ec ts   th at  ar e  r etu r n ed   as  a  s e t  o f   p er ip h er al  b o x es.  T h e  d etec to r   h as  h ig h   co n f id en ce   i n   th e  d is co v er ies.  An n o tate  t h e   i m ag e  w it h   th e  s u r r o u n d in g   s q u ar es  o f   th e  d etec to r   an d   th e  co r r esp o n d in g   d etec tio n   g r ad es.  T h ese  p er ip h er al  b o x es w er e  ca lled   ar ea   s u g g e s tio n s   o r   o b j ec t  s u g g e s tio n s .   Z o n e  s u g g e s tio n s   w er e  j u s t  lis ts   o f   s q u ar e  b o x es  w it h   a   s m all  p r o b ab ilit y   o f   co n tain i n g   an   o b j ec t .   T h e  f r a m e  wo r k   o f   Fa s t  R - C NN   as  s h o w n   i n   F ig u r e  2   [ 2 0 ] .   I n   m an y   ap p licatio n s   w h er e  t h e  ca lcu latio n   is   t i m e - co n s u m in g ,   o n e  ca n   u s e  p o in t  an al y s is   to   eli m in a te  p o in ts   th at  d o   n o t  m atter   b ased   o n   s p ec i f ic  s p atia l  p r o p er ties   an d   r etain   r elev a n t  p o in ts   f o r   f u r t h er   an al y s is   T h e  o b j ec t  co r r esp o n d in g   to   t h e  p o in t  ar ea   is   d etec ted   as  a  c o m p o s ite  o b ject  an d   f ea t u r es  as   a  b o u n d ed   b o x .           Fig u r e   2 .  T h e  f r am e  w o r k   o f   F ast R - C NN       3 . 4 .   K a l m a n   f ilte r   Ob j ec t  tr ac k in g   is   a  w a y   to   f i n d   an d   cr ea te  a  p ath   to   th e  o b j ec t  th at  w as  d is co v er ed .   I n   t h is   s ea r c h ,   th e  Kal m a n   f ilter   m et h o d   w as   u s ed   to   tr ac k   a n   o b j ec t in   s eq u en ce   w it h   ca p t u r ed   v id eo   [ 2 1 ] .   T h e  Kal m a n   f ilter   is   a  lin ea r   ap p r o ac h   th at  o p er ates  in   t w o   b as ic  p h ases   o f   p r ed ictio n   an d   co r r ec tio n   ( u p d a te) .   T h e  p r ed ictio n   p h ase  is   ac co u n tab le  f o r   th e  s co o p   o f   th e  n ex t  s ta te  an d   p o s itio n   o f   th e  p r esen t  o b j ec t.   Ho w ev er   th e  co r r ec tio n   p h ase  p r o v id es  th e   p ar a m eter s   w it h   t h eir   i n s tan ce ,   th e y   co m b in e   th e   ac t u al  m ea s u r e m en t  w it h   t h e  p r ev io u s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ob jects d etec tio n   a n d   tr a ck in g   u s in g   fa s t p r in cip le  co m p o n en t p u r is t a n d   ka lma n   filt er  ( H a d ee l N.  A b d u lla h )   1321   esti m ate  to   i m p r o v e  t h e  tr aj ec to r y   w h er e  t h e  o b j ec t  in f o r m a tio n   d etec ted   in   t h e  p r ev io u s   f r a m e  i s   u s ed   an d   p r o v id es  an   esti m ate  o f   t h e  o b j ec t' s   n e w   p o s it io n .   T h e  Kalm an   f ilter   h a s   th e  ab ilit y   to   r atin g   th e  tr ac k i n g   lo ca tio n s   w it h   m in i m al  d at u m   o n   th e  lo ca tio n   o f   t h e  o b j ec t.  I n itiall y ,   t h e  s tat u s   St  an d   m ea s u r e m en t  Xt  p ar ad ig m   ar e  d eter m i n ed   to   p r ed ict  th e  n ex t sit e  a s   s h o w n   i n   Fi g u r e  3 .   T h e  Kal m an   f il ter   is   a  r ep etiti v e  alg o r it h m   to   esti m ate  t h e  e v o lv i n g   s tate  o f   a  p r o ce s s   w h en   m a k i n g   m ea s u r e m e n t s   i n   th e   p r o ce s s .   T h e  Kal m an   f i lter   is   li n ea r   w h e n   th e  e v o l u tio n   o f   t h e  ca s e  f o llo w s   t h e  li n ea r   m o tio n   m o d el  an d   t h e  m ea s u r e m en ts   ar e  li n ea r   f u n ctio n s   o f   th e  ca s e.   T h e  Kal m a n   f ilter   c an   ac cu r atel y   tr ac k   m o tio n   b ased   o n   ad ap tiv e  f ilt er in g   u s i n g   th e  s tate  ar ea   m o d el.   I t  is   n ec ess a r y   to   d esig n   a  d y n a m ic  m o d el  o f   th e  tar g et  m o v e m e n t  w h ic h   i s   th e  f i x ed   s p ee d   m o d el  ( C V) ,   w h ic h   as s u m e s   t h at  t h e  s p ee d   is   co n s ta n t  d u r in g   th e  s a m p li n g   p er io d .   T h is   m o d el  h as b ee n   u s ed   in   v ar io u s   ap p licatio n s   f o r   its   ea s e   an d   e f f e ctiv e n ess   [ 2 2 ] .           Fig u r e  3 .   T h e  b lo ck   d iag r am   o f   Kal m an   Fil ter   A l g o r ith m       W h er e;  A   -   s tate  tr an s itio n   m atr ix ,   B   -   co v er ts   co n tr o l  i n p u t ,   Q  -   p r o ce s s   n o is e  co v ar ia n c e     K -   Kal m a n   g a in ,     X -   m ea s u r e m e n t  m atr ix ,   S   -   m ea s u r e m en t e r r o r   co v ar ian ce   a n d   H   -   m o d el  m a tr ices.  T h e  p r ed ictio n   o f   th e  n ex t   s tate  S t + 1  is   d o n e  b y   in teg r ati n g   th e  ac t u al  m ea s u r e m e n t  w i th   th e  p r e - esti m ate  o f   th e  s itu a ti o n   S t - 1 .       4.   T H E   P RO P O SE D  SYS T E M   I n   th is   p ag er ,   o b j ec t d etec tio n   an d   tr ac k in g   alg o r it h m ,   a  co ll ec tio n   o f   t w o   f a m o u s   co m p u te r   v is ib ilit y   tech n o lo g ies,  Fas t  P r in cip le  C o m p o n en t   P u r is t  ( FP C P )   an d   t h e  Kal m a n   f ilter ,   w a s   i n tr o d u ce d .   FP C P   is   u s ed   i n   th e  o b j ec t  d is co v er y   p h a s e.   I t  p r o v id es  q u ic k   an d   d elica te  o b j ec t  d etec tio n   o n   o t h er   m e th o d s   s u ch   a s   b ac k g r o u n d   s u b tr ac tio n .   FP C P   d o es  n o t  p r o v id e  th e  p ath   o f   m o tio n ,   in s t ea d   it  s u p p lies   ac q u ain ta n ce   ab o u t  th e  o r ien tatio n   o f   th e  o b j ec t a n d   its   m o tio n   i n   v ec to r   f o r m .   T h e  P r o p o s ed   alg o r ith m   o f   FP C P   as sh o w n   in   Alg o r it m 1 .       A l g o r ith m 1 : FP C P   A lg o r it h m -      I n p u t :  C ap t u r ed   Vid eo   V  ∈ ,   R eg u lar iza tio n   P ar a m eter s       λ   =  2 0 /( Ma x ( s ize( V) , F),       μ o   =0 . 0 1 ,     T o le r an ce   Valu e  τ   .   I n itializatio n : S o   =  0   ,   L o   =  0 ,   R an k   r =1 ,   k =0 .   W h ile  n o   co n v er g e n ce     d o     [ U    Ʃ     V    to l]   =  lm S VD( D - S ( k ) ,   r )   L ( k+ 1)   =  U *   s h r i n k ( Ʃ ,   1 /μ k ) * V T   S (k+ 1)  =  s h r in k   ( D  -   L ( k+ ) ,   λ )   I f   ∑ = >   th e n   r   =r +1   %   co n v er g en ce   co n d it io n .       ( ξ = ‖ + − ‖   )   <  to l   k =k +1   μ k + 1  =    m in   ( τ * μ k   , μ m ax )   E n d   o f   W h ile   Ou tp u t: th e  o p ti m al  v al u e s   o f   L     an d   S     T h is   alg o r ith m   h as  a  s i m p ler   an d   clea r er   s t y le.   S in ce   t h e  v id eo   b ac k g r o u n d   m o d eli n g   ap p licatio n   co m p o n e n t  L   is   u s u a ll y   v er y   l o w ,   w e  s u g g est a  s i m p le  p r o ce d u r e  f o r   esti m ati n g   th e  u p p er   li m it o f   r ,   s o   w e  ca n   esti m ate  th e  co n tr ib u tio n   o f   th e  n e w   s i n g le  v ec to r ;  if   t h i s   in p u t  is   s m all  e n o u g h ,   w e  s to p   in cr ea s i n g   t h e  v a lu e   o f   r .   I n   o u r   ex p er i m en tal  s i m u latio n s ,   th i s   co r r esp o n d s   to   a n   esti m ate  o f   t h e  o r d er   m ad e  b y   t h e  i n e x ac t  AL M.   T h is   alg o r ith m   is   u s ed   L MSV D  ( L i m ited   Me m o r y   Si n g u lar   Valu e  Dec o m p o s itio n s ) .   T h is   f u n ctio n   is   b ased   o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   2 ,  A p r il 2 0 2 0   :   1 3 1 7   -   1326   1322   a  b lo ck   Kr y lo v   s u b s p ac e  o p ti m izatio n   tec h n iq u e  w h ic h   s i g n i f ica n tl y   ac ce ler ate s   th e   cl ass ic  s i m u lta n eo u s   iter atio n   m et h o d   [ 2 3 ] .     Ou r   co m p u tat io n al  r e s u l ts   al s o   s h o w   t h at  o u r   p r o p o s ed   alg o r ith m   h a s   lo w   m e m o r y   s p ac e  th at  ca n   b e  ap p lied   in   r e al - tim e  v id eo   ap p licatio n s ,   f aster   th an   m o d er n   ap p licatio n s   an d   d eliv er   co m p ar ab le  q u alit y   r es u lt s .   T h e  p r o p o s ed   s y s te m   a s   s h o w in   in   Fi g u r e  4 .   I t  s h o w s   th e  d e tail  s tag e s   o f   th e  s y s te m   ar e  f o llo w ed   to   th at  d ea ls   w it h   b ac k g r o u n d   s ep ar atio n ,   o b j ec t  an d   f ea tu r e  e x tr ac tio n .   A t  f ir s t,  th e   v id eo   is   ta k en   b y   th e   s tatio n ar y   ca m er a.   T h e  v id eo   is   o n l y   a  s er ies  o f   ca s ca d in g   f r a m e s ,   s o   th e  o b j ec t  d et ec tio n   m an n e r   m u s t  f ir s t  d etec t   th e  m o v i n g   o b j ec t  in   th ese  c ascad in g   f r a m es.  T h en   th e  al g o r ith m   co n v er ts   t h e  v id eo   i n to   t w o   d i m en s io n   m atr ices  to   f ac ilit ate  h a n d li n g   in   m at h e m atica l  ca lcu la tio n s ,   to   r ed u ce   th e  tim e  ca lcu l atio n   an d   m e m o r y   r eq u ir e m en ts T h e  p r o ce s s i n g   i n clu d e s   r e m o v i n g   th e   n o i s e.   T h en   th e   p r o ce s s   s tatu s   o f   all  p i x el  i s   te s ted   b y   Fas t   R C N N  an d   cl u s ter ed   it  t o   d etec t  th e  o b j ec t.  I n itialize  th e  tr ac k in g   s tag e  a n d   u p d ate  th e  tr ac k er   in   e v er y   n e w  f r a m e.   T h is   s y s te m   h as m a n y   f ea tu r es,  in cl u d in g   th e  p o s s ib ili t y   o f   tr ac k in g   m o r e  th a n   o n e  o b j ec t   an d   th e  s p ee d   o f   r esp o n s e  to   a  c h an g e  i n   s p e ed   an d   ch an g e  i n   t h e  s ca le .   Fi g u r e   4   s h o w s   th e  o r ig in al   v id e o   w as  co n v er ted   to   in d iv id u al  f r a m es to   b e  p r o ce s s ed   in   n ex t sta g e s .   T h e  f o r eg r o u ial  n d   w a s   ex tr ac   ted   b y   th e  F P C P   d etec tio n   an d   s h o w ed   h o les  a n d   n o i s e  o n   t h e  f r a m e.   I n   o r d er   to   clar if y   an d   s o f ten   th e   f r a m e,   t h e  m o r p h o lo g y   w a s   d o n e.   T h e  f o r eg r o u n d   f r a m e  is   s h o w n   a f ter   th e  m o r p h o lo g ical  p r o ce s s   an d   th e  f in al  o u tp u t  f r a m e  w h ic h   in cl u d es   tr ac k ed   o b j ec ts   w it h   b o u n d in g   b o x es.             Fig u r e  4 .   T h e  f o w   ch ar t o f   t h e  p r o p o s ed   alg o r ith m       5.   RE SU L T S AN D  P E RF O RM ANCE AN AL Y SI S   T h e  alg o r ith m   p r o p o s ed   in   MA T L A B   ( 2 0 1 8 b )   h as  b ee n   ap p lied ,   an d   th eir   ex p er im en ts   w er e   p er f o r m ed   o n   a  C o m p u ter   t y p e  MSI   GV6 3   w it h   I n tel  C o r e  i7   8 7 5 0 H,   NVI DI A   R T X  2 0 6 0     6 G,   2 5 6 GB   SS D+ 1 T B   an d   1 6   GB   R A M.     I t  h as  th r ee   s ta g es  ar e  f o r eg r o u n d   d etec tio n ,   f ilter i n g   an d   tr ac k in g .   T h e  p r o p o s ed   alg o r ith m   d etec t s   t h e  m o v ab l e  o b j ec ts   ac cu r atel y   a n d   k ee p s   tr ac k   o f   t h eir   ap p ea r an ce   i n   th e  s eq u e n ce   v id eo   f r a m e s .   Vid eo   d ata  h as  b ee n   u s ed   in   a n y   f o r m at  a s   a n   in p u t  t o   th e  p r o p o s ed   w o r k ,   a n d   g o o d   r esu lts   h a v e  b ee n   o b tain ed   in   v ar io u s   ar ticle   co n d itio n s   o n   t h is   i n d o o r ,   o u td o o r ,   lig h t  tr a f f ic  an d   d en s e  tr a f f ic .   T h e  ef f icien c y   o f   th e  p r o p o s ed   alg o r ith m   w as e v alu ated ,   th e  e x p er ien tial o u tco m es  w er e  as  f o llo w s   Sev er al  s a m p led   v id eo   is   u s ed   in   th e  v ar io u s   e n v ir o n m e n t  in   o r d er   to   test   th e  p er f o r m an c e  o f   th e  p r o p o s ed   alg o r ith m .   T h e  ex p er ien ti al  o u tco m es  ar e  g i v en   i n   Fi g u r e   5 .   T h e  f ir s t  co lu m n   as  s h o w n   i n   Fig u r e  5( a)   s h o w s   t h e  s a m p le d   f r a m es  o f   th e  v id eo   th en   th e  s ec o n d   co lu m n   as  s h o w n   i n   Fig u r e   5 ( b )   s h o w s   a  clea n   f o r eg r o u n d   e x tr ac ted   f r a m es  b y   FP C P   d etec tio n   a r e  g iv e n .   T h e  th ir d   co lu m n   a s   s h o w n   in   Fi g u r e   5 c)   in cl u d es  th e  d etec ted   an d   tr ac k ed   o b j ec ts   b y   m ar k i n g   it  w it h   a  cir cu m f er en tial  b o x .   T ab le  1   ex p lain s   th e  m ea n   ex ec u t io n   t i m e s   ( s ec )   o f   t h e  p r o p o s ed   s y s te m   w h e n   i m p le m en ted   o n   3 6 5   s a m p led   v id e o   f r a m e s   b y   Ma tlab   v er s io n   2 0 1 8 b .   A cc u r ac y   is   a  m ea s u r e  o f   t h e  p er f o r m an ce   ef f icie n c y   o f   t h e  o b j ec t  tr ac k i n g   s y s te m .   T h e  d etec tio n   an d   tr ac k in g   s y s te m   p r ec is io n   ca n   b e  ca lcu late d   u s in g   t h e  n e x t  f o r m u la:     A c c ura c y =   The   tota l   n umb e r   of   de te c te d   ob je c ts   by   s ys te m   The   tota l   n umb e r   of   a c tua l   ob je c ts   in   vide o   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ob jects d etec tio n   a n d   tr a ck in g   u s in g   fa s t p r in cip le  co m p o n en t p u r is t a n d   ka lma n   filt er  ( H a d ee l N.  A b d u lla h )   1323                                 ( a)   ( b )   ( c)     Fi g u r e  5 .   T h e  p r o p o s ed   alg o r it h m   r e s u lt s   o n   s e v er al  ca p tu r ed   v id eo ,   ( a)   Or ig in al  f r a m q ,   ( b )   T h e  f ilt er ed   f o r eg r o u n d   an d   ( c)   T h e  r esu lta n t  f r a m e       T h e  p r o p o s ed   alg o r ith m   f o r   t h e   d if f er e n t  v id eo   in p u t  h a s   b ee n   test ed   w ith   d i f f er en t  m et h o d s   to   ev alu ate   its   ac cu r ac y .   T h e  ac cu r ac y   o f   t h e  p r o p o s ed   tr ac k er   in   d if f er e n t i n p u t  s ce n e s   w as c o m p ar ed   an d   co m p ar ed   w it h   o th er   tr ac k i n g   s y s te m s ,   a s   s h o w n   in   T ab le  2 .     I t  s h o w s   t h at  th e  d etec tio n   a n d   tr ac k i n g   ac cu r ac y   r ate  u s i n g   th e  p r o p o s ed   alg o r ith m s   is   1 0 0 %.  T h e  r esu lts   ar e  o p ticall y   ac ce p tab le  ex ce p t  f o r   an   alg o r ith m   t h at  p r o v es  th a t   th is   m u lti - o b j ec t  tr ac k in g   m eth o d   is   v alid ated .   I t  w a s   co n clu d ed   th at  th e  p r o p o s ed   alg o r ith m   w as  s ti ll   co m p eti tiv e,   alt h o u g h   s o m e  r esu lt s   w er e  clo s est  to   a n o th e r ,   w it h   litt le  d e g r ad atio n   in   s o m e  a s   a  r esu lt  o f   th e  co s t  o f   s o m e  co m p le x   ca l cu latio n s .   T h e  d etec tio n   p r ec i s io n   o f   t h e  s u g g e s ted   alg o r it h m   i s   co m p ar ed   w it h   o th er   k n o w n   a n d   p r esen t   m et h o d s .   T h e  co m p ar is o n   s h o w s   th e  ef f icie n t  p er f o r m a n ce   o f   t h e  p r o p o s ed   m eth o d   o n   s o m e  o f   th e  s elec ted   f r a m es  s h o w n   i n   Fig u r e  6 .   W e   co m p ar ed   th e  p r o p o s ed   alg o r ith m   w i th   t h e  m o s t   r ep r esen tativ e   alg o r it h m s   a n d   f o r   d if f er e n t  f r a m e   s ize s   a n d   s etti n g s   f o r   t h e  tes ted   v id eo s ;  w e  u s ed   g r a y   o r   ch r o m atic  v id eo   s eq u en ce s .   T h e  r esu l ts   w er e  co m p ar ab le  to   th e  p r o p o s ed   alg o r ith m   w it h   o th er   alg o r it h m s .       T ab le  1 .   P er f o r m a n ce   ex ec u tio n   ti m e   T h e   S t e p   M e a n   Ex e c u t i o n   T i me     ( S e c o n d )   L o a d i n g   t h e   v i d e o   a n d   c o n v e r si o n   t o   mat r i x   9   P r e p r o c e ssi n g   a n d   f r a me   r e a d i n g   5 . 2   F o r e g r o u n d   d e t e c t i o n   1 2 . 2   N o i se   R e mo v a l   1 . 1 5   T h e   d e t e c t i o n   p r o c e ss   6 . 2   T r a c k i n g   S y st e m   4   T o t a l   3 7 . 7 5       T ab le  2 .   P er ce n tag e  ac cu r ac y   %   C o mp a r i so n   P a r a me t e r     B a c h g r o u n d   S u b t r a c t i o n   [ 1 5 ]   G M M   M e t h o d   [ 8 ]   O p t i c a l   F l o w   M e t h o d   [ 1 0 ]   P r o p o se d   T r a c k i n g   S y st e m   S i n g l e   H u ma n   1 0 0   1 0 0   90   1 0 0   S p e e d   D i v e r si t y   80   80   10   85   V i e w   P o i n t   D i f f e r e n c e   85   90   90   90   F i x e d   O b j e c t s   75   80   70   90   M u l t i p l e   O b j e c t s    90   85   20   95   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   2 ,  A p r il 2 0 2 0   :   1 3 1 7   -   1326   1324   T o   ev alu ate   th e  v is u al  p er f o r m an ce   o f   th e  p r o p o s ed   alg o r it h m ,   w e  co m p ar ed   th e  p r o p o s e d   alg o r ith m   to   3   alg o r ith m s .   T h e  v id eo s   ex a m i n ed   co n tain   d i f f er en t  b ac k g r o u n d   s ce n es,  a n d   m u ltip le  m o v i n g   o b j ec ts   b o th   o u td o o r s   an d   in d o o r s   ( p ed estr ian s ,   v eh ic les,  etc. ) .   W e  h av e   ch o s en   t h e  f o llo w i n g   m o s t  m eth o d s   to   co m p ar e  w it h   o u r   p r o p o s ed   m eth o d :  ( 1 )   T h e  B ac k g r o u n d   Su b tr ac tio n   ( B G  SUB )   [ 15 ] ,   ( 2 )   GM M   m et h o d   [ 8 ] ,   an d   ( 3 )   Op tical  Flo w   ( O F)  [ 1 0 ] .   Vis u al  r esu lts   ar e  s h o w n   o n   th e  v id eo s   test ed   in   Fig u r e  6 .   I n d iv id u al  an d   g r o u p   in f a n tr y ,   s m al l  d y n a m ic  b ac k g r o u n d ,   a n d   m u l tip le  tr af f ic  s u r v e y s ,   as  s h o w n   in   Fi g u r e  6 ,   t h e  p r o p o s ed   alg o r ith m   i s   clo s es t   to   Gr o u n d   T r u th   ( GT ) .   So m e  o f   th e   r esu lts   o f   t h e  test e d   alg o r ith m s   co n s id er   t h e  f o r eg r o u n d   o b j ec t  as   th e  b ac k g r o u n d .   T h e  m ain   r ea s o n   is   t h at  t h e   p ar ts   o f   t h e  o b j ec t  r e m ai n   s tatic  in   t h e  v id eo ,   an d   th at  t h e  p r o p o s e d   alg o r ith m   h as o v er co m e  t h i s   ef f ec t,  an d   o b v io u s l y   t h e  d etec t io n   ef f ec t is b etter   t h an   o t h er   alg o r ith m s .   I n   o r d er   to   en h an ce   t h e  r o b u s t n es s   an d   ef f icie n c y   o f   th e  p r o p o s ed   s y s te m ,   a  s ec o n d   co m p ar is o n   w as   m ad e  b et w ee n   Kal m a n   Fil ter   T r ac k er   an d   Me an   Sh if t  T r a ck er   [ 2 4 ]   as  s h o w n   in   Fig u r e   7 .   T h e  Me an   Sh if t  alg o r ith m   li s ts   t h e  n o n - p ar a m e tr ic  d en s it y   t h at  f i n d s   th at   t h e  p ictu r e  f r a m e  is   v er y   s i m ilar   to   t h e  co lo r   h is to g r a m   o f   th e  o b j ec t  in   th e  cu r r en t  f r a m e.   Me an - S h i f t  tr ac k in g   f r eq u en tl y   in cr ea s e s   ap p ea r an ce   s i m ilar it y   b y   co m p ar i n g   th e  o b j ec t  lay o u t  a n d   th e  w i n d o w   la y o u t  ar o u n d   t h e  lo ca tio n   o f   th e  f ilter   o b j ec t.  T h is   alg o r ith m   h a s   th e  a b ilit y   to   tr ac k   in   r ea l  ti m e,   th e  n o n lin ea r   m o v in g   o b j ec ts ,   an d   h as  g o o d   ap p licab ilit y   w it h   o b j ec t  d is to r tio n   an d   r o tatio n .   Ho w e v er ,   t h e  Me a n   Sh i f t  al g o r it h m   d o es  n o t u s e   th e  o b j ec t' s   d ir ec tio n   a n d   s p ee d   i n f o r m atio n   to   tr ac k   an   o b j ec t ,   an d   it   is   ea s y   to   lo s e  an   o b j ec t  w h en   th er e  is   in ter f er en ce   ( s u c h   as  lig h t  an d   s ca tter in g )   in   th e  s u r r o u n d i n g   e n v ir o n m en t  an d   ca n n o t  d ea l  w it h   s ca le   a n d   clu tter   d if f er e n ce s   [ 2 5 ] .   T o   ac h iev e  a  g o o d   tr ac e   ef f ec t,  it  is   e x tr e m el y   i m p o r tan t  to   i m p r o v e  t h e  p er f o r m a n ce   o f   t h e  tr ac e  alg o r it h m   b y   ch o o s i n g   a  d i s ti n ct  f ea tu r e   to   cr ea te  th e  o b j ec t  m o d el,   s o   th at  t h e  c h ar ac ter is tics   o f   t h e   o b j ec t  an d   th e  b ac k g r o u n d   ar e  clea r l y   d if f er en t.   T ab le  3   s h o w s   s o m e  ad v a n ta g es a n d   d is ad v a n tag e s   o f   b o th   m et h o d s .                                                                                                                     ( a)   ( b )   ( c)   ( d )   ( e)   ( f )     Fig u r e  6 .   T h e  co m p ar is o n   r es u lts   f o r   s e v er al  ex p er i m e n t c ap t u r ed   v id eo : ( a)   I n p u t Fr a m e  ( I / P ) ,     ( b )   T h e  Gr o u n d   T r u th   ( GT ) ,   ( c )   T h e  b ac k g r o u n d   Su b tr ac tio n   ( B G  SUB   )   [ 1 5 ]   ( d )   GM M  Me th o d   [ 8 ] ,     ( e)   Op tical  Flo w   ( OF)   [ 1 0 ] ,   an d   ( f )   T h e  P r o p o s ed   A lg o r ith m   ( FP C P )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Ob jects d etec tio n   a n d   tr a ck in g   u s in g   fa s t p r in cip le  co m p o n en t p u r is t a n d   ka lma n   filt er  ( H a d ee l N.  A b d u lla h )   1325           ( a)   ( b )   ( c)   ( d )       Fig u r e  7 .   T h e  co m p ar is o n   r es u lts   f o r   s e v er al  tr ac k i n g   tec h n iq u es:   ( a)   Or ig in al  Fra m e,   ( b )   o b j ec t  Dete ctio n ,   ( c)   KF T r ac k in g ,   a n d   ( d )   Me an   Sh i f t T r ac k in g   [ 2 4 ]       T ab le  3 : Co m p ar is o n   b et w ee n   Kal m a n   Fil ter   a n d   Me an   S h i f t  T r ac k er   T e c h n i q u e     A d v a n t a g e s   D i sad v a n t a g e s   K a l man   F i l t e r   1 .   Ea sy   t o   i m p l e me n t ,   P o i n t   t r a c k i n g     ( D i st a n c e   a n d   V e l o c i t y ) .   2 .   C o n t i n u o u s  t r a c k i n g   d e sp i t e   p a u se s   i n   mo v i n g   v i d e o s.   3 - I t   c a n   t r a c k   m u l t i p l e   o b j e c t s .   1 .   T h e   c o m p u t a t i o n a l l y   e x p e n si v e .   2 .   I t   i s l i n e a r   t r a c k e r .     M e a n   S h i f t   1 .   I t   t r a c k s  b a se d   o n   c o l o r   o f   o b j e c t   2 .   I t   i s n o n l i n e a r   t r a c k e r   1 .   I n e f f e c t i v e   w h e n   t h e r e   a r e   o c c l u si o n   o r   d i st o r t i o n   p r o b l e ms.   2   A   si n g l e   o b j e c t   t r a c k e r .       6.   CO NCLU SI O N   T h e  alg o r ith m   p r o v id ed   w a s   im p le m e n ted   in   Ma tlab .   Fra m es  ar e  p r o ce s s ed   in   d if f er en t  s izes  u s i n g   m s i  t y p e  I n tel  C o r e  i7   8 7 5 0 H   co m p u ter .   T h e  p r o p o s ed   alg o r ith m   s h o w s   its   ad v a n tag e  o v e r   ex is ti n g   o b j ec t   m et h o d s   m o r e  p r ec is ely   f r o m   th e  r esu lt s   o b tain ed . T h e  p r o p o s ed   alg o r ith m   w as  co m p ar ed   w it h   ex i s ti n g   v id eo   f ile  alg o r it h m s   w h er e  th e  r es u lts   s h o w   th e  e f f icien c y   o f   th e  p r o p o s ed   w o r k .   T h e  p r o p o s ed   s y s te m   ca n   p r o ce s s   g r a y   an d   co lo r   v id eo s   at  f e w   s ec o n d s   p er   GP U - Ma tlab   ap p licatio n   f r a m e.   T h e  p r o p o s ed   al g o r ith m   ca n   ad ap t  to   b ac k g r o u n d   ch a n g e s .   Ob j ec t  d etec tio n   an d   tr ac k i n g   ar e  m ai n   an d   af f r o n t  m i s s io n   in   m a n y   co m p u ter   v is ib ilit y   i m p le m en ta tio n s ,   s u c h   as  m o n ito r in g ,   ca r   s alt w o r k s ,   r o u ti n g ,   an d   au to m atio n .   T h is   al g o r ith m   p r ese n t s   s ev er a l   b en ef it s ,   s u ch   a s   m u ltip le  o b ject  d etec tio n   an d   tr ac k i n g   i n   d if f er e n t  en v ir o n m e n ts .   T h e  d is ad v a n tag e s   o f   t h i s   tech n iq u e  u s i n g   o n e  m et h o d   w il l  n o t  p r o d u ce   p er f ec t  r esu l ts   b ec au s e  it s   ac cu r ac y   is   i n f l u en ce d   b y   d i f f er e n t   o p er ato r s   s u ch   as  th e  lo w   r eso l u tio n   o f   ca p tu r ed   v id eo ,   ch an g e  in   w ea t h er .   E tc.   I n   th e  f u tu r e,   w e  h o p e  to   ex p an d   o u r   s co p e  o f   d etec tio n   a n d   tr a ck in g   o f   o b j ec ts   in   o v er cr o w d ed   s ce n er y   o r   t h e  ap p ea r an ce   o f   s e v er e  co n tr ast  in   lig h ti n g   a n d   r ea l - ti m e  s ce n es .       RE F E R E NC E S     [1 ]   Ch e n g ,   J.,   Ya n g ,   J. ,   Z h o u ,   Y.  a n d   Cu i,   Y . ,   “ F lex ib le  b a c k g ro u n d   m ix tu re   m o d e ls  f o r  f o re g ro u n d   se g m e n tatio n , ”   Ima g e   a n d   Vi si o n   C o mp u ti n g ,   24 ( 5 ):  4 7 3 - 4 8 2 ,   2 0 0 6 .   [2 ]   W u ,   Y.,   L im ,   J.  a n d   Ya n g ,   M . H.,   “ On li n e   o b jec t  trac k in g :  A   b e n c h m a rk , ”   In   Pro c e e d in g s o f  th e   IEE E  c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it i o n   (p p .   2 4 1 1 - 2 4 1 8 ) .   2 0 1 3 .   [3 ]   Na e e m ,   H.,   A h m a d ,   J.  a n d   T a y y a b ,   M . ,   “ Re a l - ti m e   o b jec t  d e tec ti o n   a n d   trac k in g ,”   In   INM IC   (p p .   1 4 8 - 1 5 3 ).   I EE E ,  De c e m b e r  2 0 1 3 .   [4 ]   C y g a n e k ,   B. ,   “ Ob jec t  d e tec ti o n   a n d   re c o g n it io n   i n   d ig it a l  im a g e s: t h e o ry   a n d   p ra c ti c e ,”   J o h n   W il e y   &   S o n s,  2 0 1 3 .   [5 ]   T a n g ,   S . L . ,   Ka d i m ,   Z. ,   L ian g ,   K. M .   a n d   L im ,   M . K.,   “ H y b rid   b l o b   a n d   p a rti c le  f il ter  trac k in g   a p p r o a c h   f o r  ro b u st  o b jec t  trac k in g , ”   Pro c e d ia   Co m p u ter   S c i e n c e ,  1 (1 ),   2 5 4 9 - 2 5 5 7 ,   2 0 1 0 .   [6 ]   Zh a n g ,   H.Y.,   “ M u l ti p le  m o v in g   o b jec ts  d e tec ti o n   a n d   trac k in g   b a se d   o n   o p t ica l  f lo w   in   p o l a r - lo g   ima g e s,”   In   In ter n a ti o n a l  C o n fer e n c e   o n   M a c h in e   L e a rn i n g   a n d   Cy b e rn e ti c s   (v o l.   3,   p p .   1 5 7 7 - 1 5 8 2 ) ,   Ju ly   2 0 1 0 .     [7 ]   M a n d e ll o s,  N.A . ,   Ke ra m it so g lo u ,   I.   a n d   Kira n o u d is,  C. T . ,   “ A   b a c k g ro u n d   su b trac ti o n   a lg o rit h m   f o r  d e tec ti n g   a n d   trac k in g   v e h icle s,”   Exp e rt S y ste m s wit h   A p p l ica ti o n s ,   38 ( 3 ):  1 6 1 9 - 1 6 3 1 ,   2 0 1 1 .   [8 ]   Ba k ti ,   R. Y.,   A re n i,   I. S .   a n d   P ra y o g i,   A . A . ,   “ V e h icle   De tec ti o n   a n d   T ra c k in g   u sin g   G a u ss ian   M ix tu re   M o d e l  a n d   Ka l m a n   F il ter,”  In ter n a ti o n a l  C o n fer e n c e   o n   C o mp u ta ti o n a l  In t e ll ig e n c e   a n d   Cy b e rn e ti c s   ( p p .   1 1 5 - 1 1 9 ),   IE EE ,  No v e m b e r  2 0 1 6 .   [9 ]   Ka le,  K.,   P a w a r,   S .   a n d   D h u lek a r,   P . ,   “ M o v in g   o b jec t  trac k in g   u sin g   o p ti c a l  f lo w   a n d   m o ti o n   v e c to r  e stim a ti o n , ”   In   4 t h   In ter n a ti o n a l  C o n fer e n c e   o n   Relia b il it y ,   In f o c o m  T e c h n o l o g i e s  a n d   O p ti miza t io n   ( ICRIT O)( T r e n d s  a n d   F u t u re   Dire c ti o n s)  (p p .   1 - 6 ),     IEE E ,   S e p t e m b e r  2 0 1 5 .     [1 0 ]   A sla n i,   S .   a n d   M a h d a v i - Na sa b ,   H.,   “ Op ti c a l  f lo w   b a se d   m o v in g   o b jec t  d e tec ti o n   a n d   trac k in g   f o r  traff ic   su rv e il lan c e . ”   In ter n a t io n a l   J o u rn a l  o f   El e c trica l,   El e c tro n ics ,   Co mm u n ica ti o n ,   En e rg y   S c ien c e   a n d   En g i n e e rin g ,   7 ( 9 ):  7 8 9 - 7 9 3 ,   2 0 1 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   2 ,  A p r il 2 0 2 0   :   1 3 1 7   -   1326   1326   [1 1 ]   T e la g a ra p u ,   P . ,   Ra o ,   M . N.   a n d   S u re sh ,   G . ,   “ A   n o v e l  traf f ic - tr a c k in g   sy ste m   u sin g   m o rp h o lo g ica l  a n d   Blo b   a n a ly sis,”   In   In ter n a ti o n a l  C o n fer e n c e   o n   C o mp u t in g ,   C o mm u n ic a ti o n   a n d   A p p li c a ti o n s  (p p .   1 - 4 ) .     IE EE ,   F e b r u a ry   2 0 1 2 .   [1 2 ]     Hu ,   W . C. ,   C h e n ,   C . H.,   C h e n ,   T . Y.,   Hu a n g ,   D.Y.  a n d   W u ,   Z. C. ,   “ M o v in g   o b jec t  d e tec ti o n   a n d   trac k in g   f ro m   v id e o   c a p tu re d   b y   m o v in g   c a m e ra , ”   J o u rn a l  o f  Vi s u a l   Co mm u n ica ti o n   a n d   Ima g e   Rep re se n ta ti o n ,   3 0 :   1 6 4 - 1 8 0 ,   2 0 1 5 .   [1 3 ]   Ra y ,   K.S .   a n d   C h a k ra b o rty ,   S . ,   “ Ob jec t  d e tec ti o n   b y   sp a ti o - tem p o ra l  a n a ly sis   a n d   trac k in g   o f   th e   d e tec ted   o b jec ts  in   a   v id e o   w it h   v a riab le  b a c k g ro u n d , ”   J o u rn a l  o f   Vi su a l   Co mm u n ica ti o n   a n d   Ima g e   Rep re se n ta t io n ,   58:   6 6 2 - 6 7 4 .   2 0 1 9 .   [1 4 ]   M a h a li n g a m ,   T .   a n d   S u b ra m o n i a m ,   M . ,   “ A   ro b u st  si n g le  a n d   m u lt ip le  m o v in g   o b jec t  d e tec ti o n ,   trac k in g   a n d   c las si f ica ti o n , ”   Ap p li e d   C o mp u ti n g   a n d   In f o rm a ti c s,  2 0 1 8 .   [1 5 ]   Ca o ,   W . ,   W a n g ,   Y.,   S u n ,   J. ,   M e n g ,   D.,   Ya n g ,   C. ,   Cich o c k i,   A .   a n d   X u ,   Z. ,   “ T o tal  v a riatio n   re g u lariz e d   ten so r  R P CA   f o r  b a c k g ro u n d   su b trac ti o n   f ro m   c o m p re ss iv e   m e a su re m e n ts,”   IEE E   T ra n sa c ti o n s   o n   Im a g e   Pro c e ss in g ,   25 ( 9 ):   4 0 7 5 - 4 0 9 0 ,   2 0 1 6 .     [1 6 ]   S u p re e th ,   H.   S .   G . ,   a n d   Ch a n d r a sh e k a r  M .   P a ti l .   " Ef f icie n t  m u lt ip le  m o v in g   o b jec t  d e tec ti o n   a n d   trac k in g   u sin g   c o m b in e d   b a c k g r o u n d   su b trac ti o n   a n d   c l u ste rin g , "  S ig n a l,   Ima g e   a n d   Vi d e o   Pr o c e ss in g ,   1 2 ( 6 ) :  1 0 9 7 - 1 1 0 5 ,   2 0 1 8 .   [1 7 ]   Bo u wm a n s,  T .   a n d   Zah z a h ,   E. H.,   “ Ro b u st  P CA   v ia  p rin c ip a l  c o m p o n e n t  p u rsu it :  A   re v i e w   f o r  a   c o m p a ra ti v e   e v a lu a ti o n   i n   v id e o   s u rv e il lan c e , ”   Co mp u ter   Vi sio n   a n d   Ima g e   Un d e rs ta n d i n g ,   1 2 2 :   2 2 - 3 4 ,   2 0 1 4 .   [1 8 ]   Ro d rig u e z ,   P .   a n d   W o h l b e rg ,   B. ,   “ F a st   p ri n c ip a l   c o m p o n e n t   p u rsu i t  v ia  a lt e r n a ti n g   m in im iz a ti o n , ”   In   IEE E   In ter n a t io n a l  C o n fer e n c e   o n   Im a g e   Pro c e ss in g c   ( p p .   6 9 - 7 3 ),   IE EE ,   S e p tem b e r  2 0 1 3 .     [1 9 ]   Zh a o ,   Z. Q . ,   Zh e n g ,   P . ,   X u ,   S . T .   a n d   W u ,   X.,   “ Ob jec t  d e tec ti o n   w it h   d e e p   lea rn in g :  A   re v ie w , ”   IEE E  tra n sa c ti o n s  o n   n e u ra l  n e two rk s a n d   lea rn i n g   sy ste ms ,   2 0 1 9 .   [2 0 ]   G irsh ick ,   R. ,   " F a st r - c n n . "   In   Pro c e e d in g s o f  th e   IEE E  i n ter n a ti o n a l  c o n fer e n c e   o n   c o mp u ter   v isio n   ( p p .   1 4 4 0 - 1 4 4 8 ) .  2 0 1 5 .   [2 1 ]   L i,   Q.,   L i,   R. ,   Ji,  K.  a n d   Da i,   W . ,   “ Ka l m a n   f il ter   a n d   it s  a p p li c a ti o n , ”   In   In ter n a ti o n a l  Co n fer e n c e   o n   In telli g e n t   Ne two rk s a n d   In tell ig e n t   S y ste ms   ( ICINIS )  (p p .   7 4 - 7 7 ) ,   IEE E ,   No v e m b e r  2 0 1 5 .   [2 2 ]   S a h o ,   K.,   “ Ka lm a n   F il ter  f o r  M o v in g   Ob jec t  T ra c k in g :  P e rf o rm a n c e   A n a l y sis  a n d   F il ter  De sig n , ”   In   Ka lma n   Fi lt e rs - T h e o ry   fo r  Ad v a n c e d   A p p l ica ti o n s .   In tec h Op e n ,   2 0 1 7 .   [2 3 ]   L iu ,   X . ,   W e n ,   Z.   a n d   Z h a n g ,   Y.,   " L i m it e d   m e m o r y   b lo c k   Kr y lo v   su b sp a c e   o p t im iza ti o n   f o r  c o m p u ti n g   d o m in a n t  sin g u lar v a lu e   d e c o m p o siti o n s,"   S IAM   J o u rn a l  o n   S c ien ti fi c   C o mp u ti n g ,   3 5 (3 ) :  A 1 6 4 1 - A 1 6 6 8 ,   2 0 1 3 .     [2 4 ]   S h iv h a re ,   A .   a n d   Ch o u d h a r y ,   V . ,   “ Ob jec t  trac k in g   in   v id e o   u sin g   m e a n   sh if t  a l g o rit h m :  A   re v i e w ,”   In ter n a ti o n a l   J o u rn a l  o f  Co m p u ter   S c ien c e   a n d   In fo rm a ti o n   T e c h n o l o g ies ,   2 0 1 5 .   [2 5 ]   Ka ra su lu ,   B.   a n d   Ko r u k o g lu ,   S . ,   “ P e rf o rm a n c e   Ev a lu a ti o n   S o f twa re :  M o v in g   Ob jec t   De tec ti o n   a n d   T ra c k in g   in   V id e o s, ”   S p rin g e r S c ien c e   &   Bu sin e ss   M e d ia ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.