I n t ern a t i o n a l  J o u rn a l  o f  E l ect ri ca l  a n d  C o m p u t er  En g i n e e r i n g  ( I J EC E)   V o l.   8 ,  No .   5 O c t obe r   20 1 8,  p p.  28 47~ 2 856   I S S N :  2088 - 8708 D O I :  10. 11 591/ i j ece . v8 i 5 . pp 284 7 - 2856          2847       Jou r n al  h om e p age h ttp : //ia e s c o r e . c o m/ j our nal s / i nde x . php/ I J E C E   B a ck g ro und E s t i m a t io Us ing  P ri ncipa l Co m po nen t  Ana ly s is   B a s ed o n L i m i t ed  M e m o ry  B lo c k K ry lo v  Subs pa ce  O p ti m i z a ti o n         I l m i yat i  S ar i 1 ,  A s e p J ua r na 2 ,  Sur y a di  H a r m a nt o 3 ,  D j a t i  K era m i 4   1, 2, 3 D ep ar t m e nt  of  C om put e r   S c i e nc e  a nd I nf or m a t i on T e c hnol og y ,   G una da r m a   Un i v e r si t y ,  I ndone s i a     4 D ep ar t m e nt  of  M a t he m a t i c s ,  U ni v e r s i t y  of  I ndone s i a ,  I nd on e s i a       A rt i cl e I n f o     AB S T RAC T   A r tic le  h is to r y :   R ecei v ed   No v   16 ,  201 7   Re v i se d   J an   1 2 ,  2 01 8   A ccep t ed   Ap r   1 ,  2 01 8       G i v en  a  vi d e o   o   f r a m es  o f  s i ze   × .  B a c kg r ound c om pone nt s   o f a   vi d e o   ar e   t h e el em en t s  m at r i x   wh i c h   r e la tiv e   c ons t a nt  ov e r     f ra m e s .   In  P CA   ( p r i n ci p al  co m p o n en t  an al y s i s )   m et h o d  t h es e el e m en t s   ar e r ef er r ed  a s   pr i nc i pa l  c om pone n t s .  I vi d e o   pr oc e s s i ng ,  ba c k g r ound s ub t r a c t i on m e a ns   e x c i s i on of  ba c k g r ound  c om pone nt  f r om  t he   vi d e o .   P C A  m e t hod  i s  us e d t o   g e t  t he  ba c kg r ound c om po ne nt .   T hi s   m e t hod t r a ns f or m s  3 di m e n s i ons  v i de o   ( ×   ×   )  i nt 2 d i m e ns i ons  one  ( ×   ) ,  w h er   i s  a l i n ear  a rra y  o f   s i ze   × .  T he  pr i nc i pa l  c om po ne nt s   a r e  t he  dom i na nt  e i g e nv e c t or s   w hi c ar e t h e b as i s  o f  an  ei g en s p ace.  T h e l i m i t ed   me mo r y   bl oc k   K r yl o v   s ubs pa c e   opt i m i z a t i on t he n i s   pr o pos e d  t o i m pr ov e  pe r f or m a nc e  t he  c om put a t i on.   B a c kg r ound e s t i m a t i on i s  obt a i n e d   as  t h e   p r o j ect io n   each  i n p u t  i m ag e  ( t h e   f i r s t   f r a m e  at  e ach  s eq u en ce   i m ag e)   ont o s pa c e  e x pa nde d  pr i nc i pa l   c om pone nt .   T he  pr oc e dur e  w a s  r un f or  t he  s t a nda r d da t a s e t  n a m e l y  S B I   ( S c e ne  B a c kg r ound I ni t i a l i z a t i o n)  da t a s e t  c ons i s t i ng  of  8 v i de os   w i t h i nt e r v a l   r e s ol ut i on  [ 14 15 0,   35 2 2 40 ] ,  t ot a l  f r a m e  [ 25 8, 5 00 ] .  T he  pe r f or m a nc e s  a r e   s h o w n  w i t h  8   m et r i cs ,  e s p eci al l y   ( i n  av er ag f o r  8  v i d eo s )  p er cen t ag e o f  er r o r   pi x e l s  ( 0. 24% ) ,  t he  pe r c e nt a g e  of  c l us t e r e d e r r or  pi x e l s  ( 0. 21% ) ,  m ul t i s c a l e   s tr u c tu r a l s im ila r it y  in d e x  ( 0. 8 8 f or m   m a x i m u m  1) ,  a nd r un ni ng  t i m e  ( 61. 6 8   s e c onds ) .   Ke y wo rd :   B ack g r o u n d  es t i m at i o n   E i ge n ve c t o r   K r yl o v   P CA   S u b s p ace o p t i m i zat i o n   C opy r i g ht   ©  201 8   I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   I l m i y a ti S a r i   D ep ar t m e n t  of  C om pu t e r   S ci e n ce an d  I n f o r m at i o n  T ech n o l o g y ,   G u n ad ar m a   U n iv e r s it y ,   M a r go nd a  R a ya   R oa d,   P o nd ok C i na D e pok ,  W e s t  J a v a  164 24,  I n don e s i a .   E m a il:  il m i y a ti. s a r i2 5 @ g m a il. c o m       1.   I NT RO D UCT I O N   B a c k g r oun d s u bt r a c t i on  i s  a n i m por t a n t   s t e p i m a ny  c o m pu t e r  v i s i on   s y s t e m s  t o de t e c t   m ovi n o b j ect s  [ 1 ] .   I t  i s  co m m o n l y   u s ed  i n  v i d eo  s u r v ei l l an ce ap p l i cat i o n s  t o  d et ect  p er s o n s ,  v eh i cl es ,  an i m al s ,  et c. ,   b ef o r e o p er at i n g   m o r e co m p l ex  p r o ces s es   f o r  i n t r u s i o n  d et ect i o n ,  t r ack i n g ,  p eo p l e co u n t i n g ,  et c.   T h e b as i c   o p er at i o n   co n s i s t s   o f   s ep ar at i n g   t h m o v i n g   o b j ect s   cal l ed   “f o r eg r o u n d ”  f r o m   t h s t at i c   i n f o r m at i o n   cal l ed   ba c kg r oun d” [ 2] .   I t  c on s i s t s  i n  u s i ng  a   m ode l  of  t h e  s c e n e  ba c k g r oun d i n  or de r  t de t e c t  f or e g r ou n d obj e c t s   b y d i f f e r e nc i n g i nc o m i n f r a m e s   w i t h t he   m o d e l .  I nd e e d ,  t he   f i r s t  s t e p  i n b a c kgr o und   s ub t r a c t i o n i s   ba c k g r oun d e s t i m a t i on .   W e   s t a t e   t h e   g e n e r a l   pr obl e m   of   ba c kg r oun e s t i m a t i o n ,   a l s kn o w n   a s   ba c kg r oun i ni t i a l i z a t i on ,   boot s t r a ppi n g ,   b a c k gr o und  r e c o ns t r uc t i o n,  i ni t i a l  b a c k gr o und  e xt r a c t i o n,  o r  b a c kgr o und   ge ne r a t i o n,  a s   f o l l o w s :  G i v e n  a s et  o f  i m a g e s  o f  a s cen e t a k en  at  d i f f er en t  t i m es ,  i n   w h i c h  t h e b ack g r o u n d  i s  o ccl u d ed  b y   a ny   num be r  of   f or e g r oun d obj e c t s ,  t h e  a i m  i s  t o de t e r m i n e  a   m o d e l  d e s c r i b i ng t he  s c e ne  b a c kgr o u nd   w i t h no   f or e g r oun d obj e c t s  [ 3] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   284 7   -   2856   2848   B a c k g r oun d E s t i m a t i on   ba s e d   on   e i g e ns pa c e   w a s   f i r s t l y   pr opos e by   O l i v e r   e t   a l   [ 4] .   F or e g r ou n d   d o n ' t  ap p ear  i n  t h e s a m e l o cat i o n  i n  t h   s a m p l e i m ag e s  an d  t h e y  ar e t y p i cal l y  s m al l ,  d o  n o t  h av e a  s i gn i f i c a n t  c on t r i but i on  t m ode l i n g  ba c kg r oun d.  C on s e q u e n t l y ,  t h e  por t i on s  of  a n  i m a g e  c o n t a i n i ng  a   f or e g r oun d c a nn ot  be   w e l l - d e s cr i b ed  b y  t h i s  e i g e n s p ace  m o d el  ( ex cep t  i n  v er y  u n u s u al   cas es ) ,   w h er eas   t h e   s t at i c p o r t i o n s  o f  t h e i m a g e c an  b e accu r at el y  d es cr i b ed  as  a s u m  o f  t h e v ar i o u s  ei g e n b as i s  v ect o r s .  T h at  i s ,   t h e  e i g e n s pa c e  pr ov i de s  a  r obu s t   m ode l  o f   t h e  pr oba bi l i t y  di s t r i bu t i on  f un c t i o n  o f  t h e  ba c kg r ou n d,  b u t   n ot   f or   t he  f o r e gr o und .   T h e ei g en s p ace  m o d el  i s  f o r m ed  b y   t ak i n g  a s a m p l e o f     i ma g e s  a nd  c o m p ut i ng b o t h t he   m e a n a nd   i t s  co v ar i a n ce  m at r i x .  T h e ei g en v ect o r s  o f  t h e co v ar i a n ce  m at r i x  ar e o b t ai n ed  b y  ei g e n v al u e d eco m p o s i t i o n .   I n  o r d er  t o   r ed u ce t h e d i m e n s i o n al i t y  o f  t h e s p ace,  i n  p r i n ci p al  co m p o n e n t  an al y s i s   ( P C A )  [ 4 ] - [ 6]  on l y     ei g en v ec t or s  a r e  k e pt ,  c or r e s pon di ng  t o t h e     l ar g es t  ei g en v a l u es .   A   C C T V  ( cl o s ed  ci r cu i t  t el ev i s i o n )  can   cap t u r e i m ag e s  i n   v a r i o u s  r e s ol u t i ons ,  e . g . ,  176x 120,  or   35 2x 240,  or  704x 4 8 0  p ix e ls  o n   th e  lo w   to   m e di um   r e s ol u t i on r a ng e  t o  1280x 720  or  1920x 108 0 pi x e l s  o n   t he  hi g h r e s o l ut i o n  [ 7 ] .  A   C C T V   w i t h t he  l o w e s t   r e s ol u t i on ,  176x 120,  s i z e  of   t h e co v ar i a n ce  m at r i x  i s  2 1 1 2 0 x 2 1 1 20 .  W hi l e  c o m p ut a t i o n e i ge n va l ue s  a nd   ei g en v ect o r s  o f  l ar g m a t r i x  t a k e a l o n g  t i m e [ 8 ] .   T h e l ef t  s i n g u l ar   v ect o r  at  s i n g u l ar  v al u e d eco m p o s i t i o n   o f  a  n o r m al i zed   m at r i x   w h i c h  r ep r es en t at i o n   v i d eo   w as  t h e  p r i n ci p al  co m p o n en t .  T h er ef o r e,  t h s i n g u l ar  v al u e d eco m p o s i t i o n  ca n   y i el d  t h e p r i n ci p al   c o m p o ne nt   w i t ho ut  c o m p ut i n g t he  c o va r i a nc e   m a t r i x.   A  s ub s p a c e  o p t i m i z a t i o n t e c h ni q ue  t o  s i ng ul a r  va l ue   d eco m p o s i t i o n   s i g n i f i ca n t l y   accel er at es   t h cl as s i s i m u l t a n eo u s   i t er at i o n   m et h o d   [ 9 ] .   W p r o p o s L i m i t ed   m e m or y  bl oc k  K r y l ov  s u bs pa c e  opt i m i z a t i on  f or  c o m pu t i ng pr i n c i pa l  c om pon e n t .   I w il l b e  u s e d  to  c o n s tr u c t   ba c k g r oun d e s t i m a t i on .       2.   R ES EA R C H  M ETH O D   T h e  f o llo w i n g  n o ta t io n   w ill b e  u s e d ita lic s   w ith  s u b s c r ip ts   to  in d ic a te  v e c to r s  a n d   m a tr i x   ( ,     i s  a  m a t r i x  o h   r ow s  a n c ol um n s ) ,  bol d l e t t e r s  w i t h  s u bs c r i pt s  f or   i ma g e s  ( ,   i s  a n i m a ge   w i t h he i gh t   h   a nd  wi d t h   w ).   G i ve n a n i m a ge   ,  o f  s i ze  ,     ( h e ig h t,   w id t h )  it c a n  b e   r ear r an g ed   as  a co l u m n  v ect o r   , 1 ,  wh e r e   = .                                   F i gu r e  1.  C on v e r s i on  of    ×   i m a ge  i nt o   × 1   v ect o r       G i v e n  a  v i d eo  co n s i s t s  o f   M f r a m es   1 , 2 , ,   T h es e f r a m es   ar e ar r an g ed  as  a co l u m n s   , 1 1 , , 1 2 , , , 1 .  T h es e v ect o r s   , 1 1 , , 1 2 , , , 1   ar e f o r m ed  i n t o  a m at r i x     w i t h he i g ht     a nd  w i d t ,     , = [ , 1 1 , 1 2 , 1   ]       2. 1.   P r i n c i p al  C o m p on e n t  vi a L i m i t e d  M e m or y K r yl ov S u b s p ac e  O p t i m i z at i on   E i g en v ect o r s  o f  co v ar i an ce  m at r i x  ca n  b e o b t ai n ed  b y   s i n g u l ar   v al u e  d eco m p o s i t o n .  S u p p o s e   n o r m a liz e d   m a tr ix   w h ic h  r e p r e s e n ta t io n  v id e o , = , 1 , ,   w h er   i s  av er ag e i m ag e a n d   1 ,   is  r o w   v e c to r  in   w h ic h  a ll e le m e n ts  a r e  s e t to  1 ,  s in g u la r  v a l u e  d e c o m p o s itio n  o f   m a tr i x   ,   is     , = , Σ , , ,   1 st   ro w     2 nd  r o   th   ro w   1 st   c ol um n   n th   c ol um n   n th   c ol um n     1 st   c ol um n   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       B ac k gr oun d E s t i m at i on U s i ng  P r i nc i pal  C om pone nt   A nal y s i s  B as e d on ... .   ( I lm iy a ti S a r i)   2849   w h er ,   is   le f t s in g u la r  m a tr i x ,   ,   i s   r i g ht  s i ng ul a r  m a t r i x a nd   Σ ,   is   d ia g o n a l m a tr ix  in  w h ic h   d ia g o n a l e le m e n ts  a r e  s i n g u la r  v a lu e .  M u ltip lic a tio n   ,   w it h  its  tr a n s p o s e ,   , ,  i s  gi ve n b y :        , , = , Σ , , , Σ , , ,   , = , Σ , 2 , .   (1 )     E q ua t i o n 1   i s  ei g e n v al u e d eco m p o s i t i o n  o f  co v ar i a n ce  m a t r i x ,   , ,   w h e r e  c ol um ns  of   ,   ar ei g en v ect o r s   o f   , .   S o ,   ei g en v e ct o r s   o f   co v ar i an ce  m at r i k s   a r s i m i l ar   w i t h   l e f t   s i n g u l ar  v ect o r   o f   , .   E i g en v ect o r s  o f  co v ar i a n ce  m at r i x  co r r es p o n d i n g  t o  t h m o s t  s i g n i f i ca n t  ei g en v al u es   w i l l  y i el d  t h e p r i n ci p al   c om pon e n t s .  S o,  pr i n c i pa l  c o m po n e nt  c a n  be  pr odu c e by  c om p u t e   le f s in g u la r  v e c to r  o f   m a tr i x   , X.   L i u  e t  a l l  [ 9]  pr opos e d l i m i t e m e m or y  bl oc k r y l ov s u bs pa c e  opt i m i z a t i on t o c o m p u t e  do m i n a n t  s i ng u l a r   v a lu e  d e c o m p o s itio n .  I ts   t ec h n i q u e i s  p r o p o s ed  t o  s i g n i f i can t l y  accel er at e  t h e  s i m p l e  s u b s p ace i t er at i o n   m e t h od.  T h e  f ol l o w i ng   w e  di s c u s s  h o w   t o obt a i n     l ar g es t   s i n g u l ar   v al u e d eco m p o s i t i o n  o f   ma t r i x   ,   us i ng   l i m i t e m e m or y  bl oc k k r y l ov  s u bs pa c e  opt i m i z a t i on .   S ta r ti n g   f r o m  a n  i n itia l p o in ( 0 ) × ,  SSI  ( Si m p l e   S u b s p ace i t er at i o n )  co m p u t es   t h e n e x t  i t er at ( + 1 )   b y  t he  f o r m ul a     ( + 1 ) or th ( )   (2 )     w h er or th   ( )   d en o t es  t h e s et  o f  o r t h o n o r m al  b as es  f o r  t h e r an g e s p ace o f   .  A s  s u c h ,  th e  ite r a te s  o f  S S I ,   w it h  a  p o s s ib le  e x c e p tio n  f o r  th e  in itia l g u e s s ,  s a ti s f y  t h e  o r th o g o n a l it y  c o n d it io n   = .  W he k = 1 ,  t he   S S I   m et h o d   r ed u ces   t o  t h w el l - k n o w po w e r   m e t h od  f o r   c o m p ut i ng t he   s i n gl e   l a r ge s t   e i ge n va l ue  a nd  i t s   ei g en v ect o r .  I n  t h e  S S I   m et h o d ,  t h e o r t h o n o r m al i zat i o n  s t ep  i s  i n d i s p e n s ab l e ( f o r  ex a m p l e ,  s ee [ 1 0 ]  f o r   m o r d e ta ils ) .   F o r  a n uns t r uc t ur e d   m a t r i x   ,  th e  c o m p u ta tio n a l c o s ts  o f  th e   m a tr i x - b lo c k  m u lti p lic a t i on    ( i .e .,  )  a n or t h on or m a l i z a t i on i n  ( 2)  a r e   (  )   a nd   ( 2 ) ,  r e s p e c tiv e l y .  I n   m o s t a p p lic a tio n s ,  th e   a p p r o xi m a t i n g r a n k k i s  f a r  l e s s  t ha n t he  d i m e ns i o m .  H e nc e ,  t he   m a t r i x - b lo c k   m u ltip li c a tio n s  o f  th e  t y p e     c o ns t i t ut e  t he  d o m i na t e co m p u t at i o n a l  co s t  o f  S S I .  O b v i o u s l y ,  an  accel er at i o n   w i l l  b e ach i ev ed  i f  o n e   can  r ed u ce t h e n u m b er  o f  i t er at i o n s   w i t h o u t  h a v i n g  t o  i n cu r  e x t r m at r i x - b lo c k   m u lt ip lic a tio n s  o r  o th e r   s i g n i f i ca n t  o v er h ead .   T o  ach i ev t h g o al   o f   r ed u ci n g  t h n u m b er   o f   i t er a t i on s ,   w e  pr opos e  t o m odi f y  t h e   b as i c S S I  f r a m e w o r k  a s  f o l l o w s .  W e r ep l ace t h e l a s t  i t er at ( )   i n t he  r i g ht - h a n d s i d e  of  ( 2)  by  a i m p r o v ed ” i n t er m ed i at e i t er at ( )   s o  t ha t     ( + 1 ) or th ( ) ,   (3 )     w h er e,  f o r  a ch o s e n  s u b s p ace  ( )   wi t h   a b l o ck  K r y l o v  s u b s p ace s t r u ct u r e,     ( ) a rg   ma x  ×  2 , s .t . = ,   ( ) .   (4 )     A ga i n,   ( )   m e a ns  a l l  c ol um ns  of     ar e f r o m  t h e s u b s p ace  ( ) .   T h e s el ect i o n  o f  t h s u b s p ace  ( )   wh i c h   i s  co n s t r u ct ed  f r o m  a l i m i t ed  m e m o r y  o f  t h e l as t  a f e w  i t er at es .  I t s  ch o i ce i s  o f  co u r s e n o t  u n i q u e.  W e f i r s t   co n s i d er  t h e s u b s p ace s p an n ed  b y  t h e cu r r en t   i - th  ite r a te  a n d  th e  p r e v io u s   p   ite r a te s ; i. e . ,     ( )    ( ) , ( 1 ) , , ( ) ;   (5 )     w h er e t h m em o r y l en g t h   0   w ill  b e  s p e c if ie d  in  la te r .   W e co l l ect  t h e cu r r en t  an d  t h e o t h er     s a v ed  i t er at b lo c k s  in  ( 5 )  in to  a   m a tr i x     = ( ) ( ) , ( 1 ) , , ( ) × ;     (6 )     w h er = ( + 1 )   i s  t h e  t ot a l  num be r  of  c ol um n s  i n   ( ) .  F o r  n o ta tio n a l s i m p lic it y ,  f r o m   h e r e  o n   w e  o f te n   c h o o s e   to   d r o p   th e   s u p e r s c r ip a n d   s u b s c r ip f r o m   q u a n titie s   lik e   ( )   w he ne ve r   no   c o n f u s i o w o ul d   a r i s e .   A l s o  n o te  th a t th e  c o lle c tio n  m a tr i x     is  b o ld f a c e d  to   m a k e  it  d is tin c f r o m  it s  b lo c k s .  S im i la r ly ,   w e  d e f i n e     = ( ) ( ) , ( 1 ) , , ( ) × ,   (7 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   284 7   -   2856   2850   w h i c h  i s  al s o  s av ed  i n   m e m o r y .  W e em p h a s i ze t h at  S S I  al r ead y  co m p u t es  t h es e b l o ck s  i n     an d  w o n l y  n eed   t o  s av e t h e m  o n ce co m p u t ed .   I t is  c le a r l y  t h a { }   i f  a n d on l y i f   =   f o r  s o me   × ,  a nd  t he   s u b s p ace o p t i m i zat i o n  p r o b l em  ( 4 )  i s  eq u i v al e n t  t o  a g e n er a l i zed  ei g en v al u e d eco m p o s i t i o n  p r o b l em :     ma x × ( )  2   s .t ( ) = .   (8 )     H o w e ve r ,  nu m e r i c a l  d i f f i c ul t y   m a y  a r i s e  i n s o l vi ng ( 8 )  a s  t he   m a t r i   can  b eco m e n u m er i cal l y  r a n k   d e f ic ie n t.  A   m o r e  s ta b le  a p p r o a c h ,   w h ic h   w e   w ill i m p le m e n t ,  is  to  f in d  a n  o r t h o n o r m a l b a s is  f o r   ( ) ,  s a y,     = ( ) or th ( ) ,     an d  t o  ex p r es s  a  m at r i x   ( )   a =   f or  s om e   × .  H er w e as s u m e t ha t     h as  a  f u l l  r an k  an d   w il l la te r  r e la x   th i s  a s s u m p tio n .  W e   n o w  c o n v e r t t h e   g e n e r a liz e d  e ig e n v a lu e  p r o b le m  ( 8 )  in to  a n  e q u i v a le n t   ei g en v al u e p r o b l e m     ma x ×  2   s .t = ,   (9 )     w h er e     = ( ) ( ) .   ( 10)     N ex t   w e d es cr i b e h o w  t o  cal cu l at e t h m at r i x  p r o d u ct     i n  ( 10)  f r om  h i s t or i c a l  i nf or m a t i on  w i t h out   a n y  a d d itio n a l c o m p u ta t io n  in v o lv i n g  th e   m a tr i x   .  S i n ce  or th   ( ) an d   w e as s u m e t h a t     ha s  a  f ul l  r a n k,   t he r e  e xi s t s  a   no n s i ng ul a r   m a t r i ×   s uc h   th a = .  H en ce,   = 1 ,  a nd     i n  ( 10)  c a n  be   co m p u t ed  as     = = 1 = 1 ,   ( 11)     W h er =   i s  acces s i b l f r o m  o u r  l i m i t ed   m e m o r y .  O n ce    i s  av a i l ab l e,   w e ca n  s o l v e ( 9 )  b y  co m p u t i n g   t he     l ead i n g  ei g en v ect o r s  o f   t h ×   ma t r i x   .  L e t  a  s ol u t i on  t o ( 9)  be   .  T h e   m a t r i x  pr oduc t  i eq u at i o n  ( 3 )  can  t h e n  b e as s e m b l ed  as     ( ) = = 1   ( 12)     T h e r em ai n i n g  i s s u e i s   h o w   t o  ef f i ci en t l y  a n d  s t ab l y  co m p u t e     a nd     e ve n w h e t he  m a t r i   is  n u m e r ic a ll y   r a nk d e f i c i e nt .  W e  us e  t he  f o l l o w i ng p r o c e d ur e  i n o ur  i m p l e m e nt a t i o n.   N o tin g  th a e a c h  b lo c k  in     is   in d iv id u a ll y  o r th o n o r m a l,   w e   c h o o s e  to  k e e p  t h e  la te s t b lo c k   ( )   i n t act ,  a n d  p r o j ect  t h e r es t  o f  t h e b l o ck s   on t o t h e  nu l l   s pa c e  of   ( ) ,  o b ta in in g     = ( ) ( ) ( ) ( 1 )     ( 2 )         ( ) .   ( 13)     N e x w e  p e r f o r m  a n  o r th o n o r m a liz a tio n  o f     v i a t h e ei g en v al u e d eco m p o s i t i o n  o f  i t s  G r a m   m at r i x     = Λ .   ( 14)     w h er   i s  o r t ho go na l  a nd   Λ   i s  d i ag o n al .  I t  can  b e eas i l y  v er i f i e d  t h at  t h m at r i x     = ( ) ( ) , Λ 1 2    ( ) ,   ( 15)     pr ov i de d t h a t   Λ   i s  i n v er t i b l e.  T h e ab o v e p r o ced u r e can  b e s t ab i l i zed  b y   m o n i t o r i n g  t h n u m er i cal  r an k  o f   ,   o r  s p eci f i cal l y   t h ei g e n v al u e s   o n t he   d i a go na l   o f   t he   m a t r i x Λ   i n   ( 14) .   W e   c h oos e   t i m p l e m e n t  t h e   f o llo w in g  t w o - s te p  s ta b iliz a tio n  s c h e m e :   St e p 1   D el et e t h e co l u m n s  o f     w h o s e E u c l i d ean  n o r m s  ar e b el o w  a t h r e s h o l d   1 > 0 .   St e p 2   D el et e t h e ei g en v al u es   i n   Λ ,  a n d c or r e s p on di n g  c ol um ns  i n   ,  t h at  ar e l es s  t h an   2 > 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       B ac k gr oun d E s t i m at i on U s i ng  P r i nc i pal  C om pone nt   A nal y s i s  B as e d on ... .   ( I lm iy a ti S a r i)   2851   W ith  a  s lig h t a b u s e  o f  n o ta tio n ,   w e   w ill c o n ti n u e  to  u s e     a nd   Λ   to  d e n o te  th e ir  s ta b iliz e d  v e r s io n s ,   r es p ect i v el y ,  a f t er  p o s s i b l e d el et i o n s .  T h er ef o r e,  a s t ab l co n s t r u ct i o n  o f     i s  s till  g i v e n  b y   f o r m u la  ( 1 5 ) .   A f te r  th is  s ta b le  o r th o n o r m a li z a tio n ,  th e  c o r r e s p o n d in g     m at r i x  can  b e g e n er at ed  as     = ( ) ( ) , Λ 1 2 ,   ( 16)     w h er e b ef o r e t h e s t ab i l i za t i o n   p r o ced u r e w h ad     = ( ) ( 1 )         ( ) ( ) ( ) ( 1 )         ( ) ,   ( 17)     bu t  s o m e  o f  t h e  c ol um ns  of     m a y   h a v e  be e n  de l e t e d c or r e s pon di n g  t o t h os e  de l e t e d c ol um ns  of     du r i ng  t h e s t ab i l i zat i o n   s t ep s .   A f t er  t h e r e m o v al  o f   n u m er i cal  r a n k   d ef i ci en c y ,  t h   m a tr ix  i n  ( 1 6 )  is   w e ll d e f in e d  a s   is  th e     m a t ri x  i n  (1 5 ).   I n   s um m a r y ,   t h e   a l g or i t hm   p e r f or m s   e i g e nv a l u e   de c o m pos i t i on s   on  t w s m a l l   s ym m e t r i c   pos i t i v e   d e f in i te  m a tr ic e s   i n  ( 14)  a n   i n  ( 9 ) .  T h e s i zes  o f  t h e  t w o   m at r i ces  ar   a nd   ( + 1 ) r es p ect i v el y ,   a n d  f r eq u en t l y  s m al l er   d u e  to  d e le tio n s .  O u r  c o m p u ta tio n a l e x p e r ie n c e  in d ic a te s  th a t in   g e n e r a l     s h ou l d be  s e t  t o 2 or  3,  or  a t   m o s t  4 bu t  n ot  g r e a t e r .  C ons e qu e n t l y ,   w h e n     is  s u f f ic ie n t l y   s m a l le r  th a n   ,  it   h o ld s  th a (   +   1 ) <   .     2. 1. 1.   M em o ry  L en g t h   T he  m e m o r y  l e n gt , u s ed  f o r  co n s t r u ct i n g  t h e s u b s p ace  ( )   in  ( 5 ) ,  is  a  c r u c ia l p a r a m e te r  to  th e   p e r f o r m a nc e  o f  o ur  a l go r i t h m .   T he  s i m p l e s t   w a y   i s  t o  a s s i gn a  c o ns t a nt  i nt e ge r  va l ue      to     at  ev er y   ite r a tio n  o n c e  t h e  ite r a tio n  c o u n te r     r each es    ; th a t is ,  a t ite r a ti o n   ,     =  ( ,  ) .   ( 18)     I n  g en er al  a l ar g er      le a d s  to  a  s m a lle r  n u m b e r  o f  ite r a tio n s ,  b u t in c r e a s in g      al s o  i n cr eas es  t h e   co m p u t at i o n al  co s t s  p er  i t er at i o n .  O u r  co m p u t at i o n al  e x p e r i m en t s  i n d i cat e t h at   u s u al l y   a g o o d  b al an ce i s   a tta in e d  f o r    { 2 , 3 , 4 }   W e h av e  al s o   f o u n d  t h at  a n  a d ap t i v e s t r at e g y  o n   s el ect i n g     i s   u s e f ul  t o i m pr ov i n g t h e  pe r f or m a n c e   o f  L M S V D .   A s  t h e i t er at e s eq u en ce co n v er g e s ,  t h n ei g h b o r i n g  i t er at e s  t en d  t o  b eco m m o r e an d   m o r e   l i n ear l y   d ep en d en t .   T h er ef o r e,   o n ce  j u d g ed   a p p r o p r i at i t   i s   b en ef i ci a l   t o   s h r i n k   t h m e m o r y   b y   d el et i n g   b l o ck  f r o m  t h m e m o r y ,  r ed u ci n g  t h e s i ze o f  l at er   s u b s p a c e  o p tim iz a tio n  p r o b le m s .  S p e c if ic a ll y ,  a f te r      i t er at i o n s ,   w e act i v at e t h e f o l l o w i n g  ad ap t i v m e m o r y  s i ze  s t r at eg y :     = ( ) 1 ,   ( 19)     w h er   is  th e  s m a lle s t in te g e r  g r e a te r  th a n  o r  e q u a l to   ,  a nd   ( )   i s  t h e  num be r  of  c ol um ns  i n      wh i c h   can  b e s m al l er  t h an ( + 1 )   d u e  to  p o s s ib le  d e le tio n s  d o n e  i n  th e   t w o  s ta b iliz a tio n  s te p s .  C o m b in i n g  ( 1 8 )   an d  ( 1 9 ) ,  w e r each  o u r   f o r m u l a f o r  s el ect i n g  t h m e m o r y  l e n g t h     a t th e   - t h  ite r a tio n :     =  , ( ) 1 ,  ,   ( 20)     w h i c i s  no nne ga t i ve .   G e ne r a l l y ,     i n i t i al l y  i n cr eas e s  t o  r each    ,  t he n b e c o m e s   no n - i nc r e a s i n w i t h a   p r o b a b i l i t y  t o  d ecr eas e t o  a  s m al l er  v al u e,  e v en  p o s s i b l y   t o  zer o .  O f  co u r s e,   w h e n  t h e   m e m o r y  l e n g t h     b eco m e s  zer o ,  o u r  m et h o d  r ed u ces  t o  t h e cl a s si c  S S I .     2. 1. 2.   L M S VD Al g o r i t h m     B as ed  o n  t h e d e s cr i p t i o n  ab o v e,   w s t at e o u r   f u l l   A l g o r i t h m .  F o r  eas e o f  r e f er en ce,  t h e  al g o r i t h m   w i l l  b e r ef er r ed  t o  as  L MS V D .               Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   284 7   -   2856   2852   A l g or i t hm   L M S V D :   L i m i t e d M e m or y  B l oc k  S u bs pa c e  K r y l ov  O pt i m i z a t i on   f or  S V D     1  I np ut   ,   a nd   .  I n itia liz e   = ( 0 ) × = ( 0 ) = ( 0 ) ,  a nd   =     =   0 ;   w h ile   no t  c o nve r ge d   do       / *  B l o ck  S u b s p ace O p t i m i zat i o n   * /     C o m put e     b y  ( 13)  a n d pe r f or m  s t a bi l i z a t i on   St e p 1 ;     C o m put e     b y  ( 17)  w i t h  t h e  s a m e  c ol um n  de l e t i on s  a s  f o ;     C o m p u t e t h e ei g e n v al u e d eco m p o s i t i o n  o f     i n  (1 4 );     P e r f o r m  s ta b iliz a tio n   St e p 2   t o pos s i bl y   s h r i nk   Σ   a nd   ;     C o m put e     b y  ( 16)  a n d e i g e nv a l u e  de c o m pos i t i on  of   ;     L e t     s o l ve  ( 9 ) ,  c o ns i s t i ng o f  t h e     l ead i n g  ei g en v ect o r s  o f   ;     C o m put e   ( ) =   a nd   ( ) =    ( w hi c h e q ua l s   ( ) );     / *  S i m u lta n e o u s  I te r a tio n   * /   10    C o m put e   ( + 1 ) or th ( )   a nd   ( + 1 ) = ( + 1 ) ;   11    I nc r e m e nt   ,  u p d at   a nd   ,  a nd  c o nt i n ue .   O u tp u , Σ ,   a nd       2. 2.   B ac k gr ou n d  E s t i m at i on   O n ce p r i n ci p al  co m p o n e n t  ( ) a n d   t h e   m e a n  ba c kg r oun d ( )  a r e  c o m p ut e d ,   t he  i np ut  i m a ge   ( w i t h  f o r eg r o u n d  o b j ect s  w as  s u b t r act ed  b y  t h m ea n  b ack g r o u n d .  D ef i n i n g  an  p r i n ci p al  co m p o n en t   m a t r i x  as   = [ 1 , 2 , , ] .  I t  f o l l o w s  t ha t  t he  c o o r d i na t e  ( w e i g ht )  i n e i ge ns p a c e  o f  i np ut  i m a ge ,   ,  can  b c o m p u te d  a s  f o llo w s     = ( ) ,   (2 1 )     wh e n     i s  b ack  p r o j ect ed   o n t o  t h e i m a g e s p ace,  a b ack g r o u n d   es t i m at i o n  i s  cr eat ed       = + .   (2 2 )     N o t i n g  t h at  s i n ce t h e p r i n ci p al  co m p o n e n t   m at r i x  d es cr i b es  t h e g e n er al  b ack g r o u n d  ap p ear an ces   w el l   ho w e ve r  no t  t he  s m a l l   m o vi n g  o bj e c t s ,     d o e s  n o t c o n ta in  s m a ll o b j e c ts .     2. 3.   M e t ri cs   T h e m et r i cs  ad o p t ed  t o  ev al u at e t h e accu r ac y  o f  t h e es t i m at e d  b ack g r o u n d   m o d el s  h a v e b een  ch o s e n   a m o n g t ho s e  u s e d  i t he  l i t e r a t ur e  f o r  b a c k gr o und  e s t i m a t i o n  [ 3 ] .  D e no t i ng  w i t G T  ( G r o und  T r ut h)  a n i m a ge   c o nt a i ni n g t he  t r ue  b a c k gr o u nd  a nd   w i t C B  ( C o m p ut e d  B a c kgr o und )  t he  e s t i m a t e d  b a c kgr o u nd  i m a ge   co m p u t ed   w i t h  o n e o f  t h e b ack g r o u n d  in itia liz a tio n   m e th o d s ,  th e  e ig h t a d o p te d  m e tr ic s  a r e :   a.   A ve r a ge  G r a y - l e v e l  E rro r (A G E ):  It  i s  t h e  a v e ra g e  o f   t h e  g r a y - l ev el  ab s o l u t e  d i f f er en ce  b et w ee n  G T  an d   C B  i m a ge s .  I t s   va l ue s  r a n ge  i n [ 0 ,  L - 1 ] ,   w he r e   L  i s  t he   m a xi m u m   n u m b e r  o f  gr e y l e ve l s ;  t he   l o we r  t h e   A G E   v al u e,  t h e b et t er  i s  t h e b ack g r o u n d  es t i m at e.   b.   T o t al  n u m b er  o f  E r r o r   P i x el s  ( E P s ) :  A n  er r o r  p i x el  i s  a p i x el  o f  C B   w h o s v al u e d i f f er s  f r o m  t h e v al u e   of   t h e   c or r e s pon di ng   pi x e l   i n   G T   by   m or e   t h a s o m e   t h r e s hol τ   ( i t h e   e x pe r i m e nt s  t he  s ug ge s t e d  va l ue         τ= 20 h a s  be e n  a dopt e d) .  E P s  a s s um e  v a l u e s  i n  [ 0;  N ] ,   w he r e  N  i s  t h e  num be r  of  i m a g e  pi xe l s ;  t h e  l o w e r   t h e E P s  v al u e,  t h e b et t er  i s  t h e  b ack g r o u n d  es t i m at e.   c.   P er cen t ag e o f  E r r o r  P i x el s  ( p E P s ) :  I t  i s  t h e r at i o  b et w ee n  t h e E P s  an d  t h e n u m b er  N   o f  i m ag e p i x el s .  I t s   v al u e s  r an g e i n  [ 0 ,  1 ] ;  t h e l o w er  t h e p E P s  v al u e,  t h e b et t er  i s  t h e b ack g r o u n d  es t i m at e.   d.   T o t al  n u m b er   o f  C l u s t er ed   E r r o r   P i x el s  ( C E P s ) :   A   cl u s t er ed   er r o r  p i x el   i s   d ef i n ed  as   a n y  er r o r  p i x el   w hos e   4 - co n n ect ed   n ei g h b o r s   ar al s o  er r o r   p i xe l s .   C E P s   va l ue s   r a n ge   i [ 0 ,   N ] ;   t he   l ow e r   t he   C E P s   v al u e,  t h e b et t er  i s  t h e b ack g r o u n d  es t i m a t e.   e.   P er cen t ag e o f   C l u s t er ed  E r r o r  P i x el s  ( p C E P s ) :  I t  i s  t h e  r at i o  b et w een  t h e  C E P s  a n d  t h e   n u m b er  N  o f   i m a ge  p i xe l s .  I t s  va l ue s  r a nge   i n [ 0 , 1 ] ;  t he  l o w e r  t he  p C E P s   v al u e,  t h e b et t er  i s  t h e b ack g r o u n d  es t i m a t e.   f.   P eak - S i g na l - to - N o i se - R a tio  ( P S N R ) I is  d e f in e d  a s    = 1 0 l og 1 0 ( ( 1 ) 2 /  ) w h e r e  L  is   t h m a x i m u m   n u m b er  o f   g r e y  l ev el s  a n d  M S E  i s  t h e M ea n   S q u ar ed  E r r o r  b et w een  G T  an d  C B  i m a g e s .   T hi s  f r e q ue nt l ad o p t ed  m e t r i c as s u m e s   v al u e s  i n  d eci b el s  ( d b ) ;  t h e h i g h er  t h e P S N R  v al u e,  t h e b et t er  i s   t h e b ack g r o u n d  es t i m a t e.   g.   M u lti S c a le  S tr u c tu r a S i m ila r it y  I n d e x  ( M S - S S I M ) : T h is  is  th e   m e tr ic  d e f in e d  i n  [ 1 1 ] ,  th a t u s e s   s tr u c t u r a d is to r tio n  a s   a n   e s ti m a te   o f   th e   p e r c e i v e d   v is u a d is to r tio n .   I a s s u m e s   v a l u e s   in   [ 0 1 ] th e   hi g he r  t he  va l ue  o f  M S - S S I M,  t h e b et t er  i s  t h e e s t i m at ed  b ack g r o u n d .   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       B ac k gr oun d E s t i m at i on U s i ng  P r i nc i pal  C om pone nt   A nal y s i s  B as e d on ... .   ( I lm iy a ti S a r i)   2853   h.   C o l o r  i m a g e Q u al i t y  Meas u r e ( C Q M ) :  I t  i s  a r ecen t l y  p r o p o s ed  m et r i c [ 1 2 ] ,  b as ed  o n  a r ev er s i b l e   tr a n s f o r m a tio n  o f  t h e  Y U V   c o lo r   s p ace an d  o n  t h e  P S N R  co m p u t ed  i n  t h e  s i n g l e Y U V  b an d s .  I t   as s u m e s  v al u e s  i n  d b  an d  t h h i g h er  t h e C Q M   v al u e,  t h e b et t er  i s  t h e b ack g r o u n d  es t i m at e.   W h i l e t h e l as t   m et r i c i s  d ef i n e d  o n l y   f o r  co l o r  i m ag e s ,   m et r i cs  1  t h r o u g h  7  ar e ex p r es s l y  d ef i n ed  f o r   gr a y - s cal e  i m ag e s .  I n  t h e ca s e  o f  co l o r  i m a g es ,  t h e y  ar g e n er al l y  ap p l i ed  t o  ei t h er  t h g r a y - s cal e co n v er t ed   i m a g e o r  t h e l u m i n a n ce co m p o n en t  Y  o f  a co l o r  s p ace s u c h   as  Y cb C r  .       3.   R ES U LT S   A ND AN AL Y S I S   T h is  s e c tio n  d e s c r ib e s  t h e  r e s u lt s  o f  t h e  i m p le m e n ta tio n   of  t h e  pr opos e d m e t h od .   T he   r e s ul t   is   ba c k g r oun d e s t i m a t i on   u s i ng  p r i n ci p al  co m p o n e n t .  T h e m et r i cs  ad o p t ed  t o  ev al u at e t h e accu r ac y  o f  t h e   es t i m at ed  b ack g r o u n d   m o d el s  h a v e b een  ch o s en  a m o n g  t h o s e u s ed  i n  t h e l i t er at u r e f o r  b ack g r o u n d   e s ti m a tio n .       3. 1.   B ac k gr ou n d  E s t i m at i on   I n  t h i s  p ap er ,  t h e S ce n e B ack g r o u n d  I n i t i al i zat i o n  ( S B I )  d at a s et   w as  c h o s en   f o r  t h b ack g r o u n d   e s t i m a t i o n.  T he  d a t a   s e t  c o nt a i ns   s e ve i m a ge   s e q ue nc e s  a n d  c o r r e s p o nd i ng  gr o und  t r ut ( G T )   b a c kgr o u nd s   a r e  gi ve n i F i g ur e  1 .   I n  T ab l e 1   w e r ep o r t ,  f o r  each  s eq u en ce,  t h e n a m e,  t h n u m b er  o f  a v ai l ab l e f r a m es ,  t h e   s ub s e t  o f  t he   f r a m e s  a d o p t e d  f o r  t e s t i ng,  a nd  t he  o r i gi na l  r e s o l ut i o n.  T he  s ub s e t s  ha ve  b e e n s e l e c t e d  i n o r d e r   t o  a vo i d  t he   i nc l us i o n i nt o  t he  t e s t i ng  s e q ue nc e s  o f  e m p t f r a m e s  ( f r a m e s   n ot  i n c l u di ng   f or e g r ou n d obj e c t s ) .   T he  gr o und   t r ut hs  ( G T )  ha ve   b e e m a n ua l l y o b t a i ne d  b y  e i t he r  c ho o s i n g o ne  o f  t he  s e q ue nc e   f r a m e s   f r e e  o f   f or e g r oun d ob j e c t s  ( n ot  i n c l u d e d i n t o t h e  s u b s e t s  of   u s e d f r a m e s )  or  by  s t i t c hi ng  t og e t h e r  e m pt y  ba c kg r oun d   r eg i o n s   f r o m  d i f f er en t  s eq u e n ce f r a m es .   B o t h  t h e co m p l et e S B I  d at as et  an d  t h g r o u n d  t r u t h  r e f er en ce   b ack g r o u n d  i m a g es   w er m ad e av ai l ab l e t h r o u g h  t h S B MI  2 0 1 5  w eb s i t e at   h ttp ://s b m i2 0 1 5 . n a . ic a r . c n r . it   [3 ] .                                 F i g u r e 1 .  E x a m p l f r a m e s  f r o m  t h s ev e n  s eq u en ce s  o f  t h e S B I  d at as et  ( f i r s t  r o w )   a n d  c or e s s pon di ng  G T   ( s eco n d  r o w )       T a bl e   1.  I n f or m a t i on  on   S eq u e n ces  A d o p t ed   fo r   E v a lu a tio n                     T h is  a lg o r ith m   is  i m p le m e n te d  o n  M a tla b  R 2 0 1 5 a  a t  p e r s o n a l c o m p u te r   w i th  i n te l c o r e  i - 5 pr oc e s s or   a n d  4  G B  R A M .  th e  r e s u lt o f  t h e  i m p le m e n ta tio n   i s  t h e  ba c kg r ou n d e s t i m a t i on  us i ng  t h e  pr i n c i pa l  c o m pon e n t   v ia  th e  L M S V D  a l g o r ith m .   T he  f r a m e  i n t he  f i r s t  r o w  o f  F i gur e  1  i s  us e d  a s     i n e q ua t i o n  2 5 ,  s o  w e  ge t  t he   ba c k g r oun d e s t i m a t i o n  i n  F i gur e  2 u s i n g e qu a t i o n  ( 26) .   T h e  pe r f or m a n c e  o f  t h e  pr opos e d m e t h od i s  e v a l u a t e b o th  q u a lita tiv e  a n d  q u a n tita t iv e .   I n  F i gu r e  2  w e  s h o w  t he  ba c k g r o u n d i m a g e s  obt a i n e d by  t h e  pr opos e Na m e   O ri g i n a l  fra m e s   U s ed  f r a m es   R e s ol u t i o n   H a l l& M o n it o r   0 - 2 9 9   4 - 2 9 9   3 5 2 × 2 4 0   H i g h w a y I   0 - 4 3 9   0 - 4 3 9   3 2 0 × 2 4 0   H i g h w a y I I   0 - 4 9 9   0 - 4 9 9   3 2 0 × 2 4 0   C aV i g n al   0 - 2 5 7   0 - 2 5 7   2 0 0 × 1 3 6   Fo l i a g e   0 - 3 9 9   6 - 3 9 9   2 0 0 × 1 4 8   P e o p l e & F o l i a ge   0 - 3 4 9   0 - 3 4 0   3 2 0 × 2 4 0   S n el l en   0 - 3 3 3   0 - 3 2 0   1 4 6 × 1 5 0   f r a m 2 9 5   f r a m 0   f r a m 0   f r a m 0   f r a m 2 6 1   f r a m 1 0   f r a m 0   H a l l& M o n it o r   H i g h w a y I   H i g h w a y I I   C aV i g n al   Fo l i a g e   F o li a g e & P e o p le   S n el l en   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   284 7   -   2856   2854   m e t ho d s  o n t he  S B I  d a ta s e t,   w h ile  i n  T a b le   2   w e r ep o r t  accu r ac y  r es u l t s  acco r d i n g  t o  t h m et r i cs  d es cr i b ed       i n  2. 3.                                                           F i g ur e  2 .  B a c kgr o und  e s t i m a t i o n,  G T  ( G r o und  T r ut h )  a n d C B  ( C om p u t e d B a c k g r oun ds   w e r e  obt a i n e d by   pr op os e d m e t h od)       T ab l e 2 .   A ccu r ac y   Re s u l t o f t h e   P r opos e d M e t h ods   o n t he  S B I   D at as et   S e q u e n c e   A GE   E Ps   p E Ps   C E Ps   p C E Ps   M SSS I M   PSN R   C QM   H i g h w a y I I   3 , 2 4   2 7 3   0 , 0 0   1   0 , 0 0   0 , 9 8   3 3 , 24   3 2 , 92   H i g h w a y I   3 , 7 1   2 5 7 1   0 , 0 3   1 4 0 0   0 ,0 4   0 , 9 5   2 9 , 82   2 9 , 82   Fo l i a g e   3 , 8 7   1 1 1 7   0 , 0 1   3 8 2   0 ,0 3   0 , 9 6   2 8 , 97   2 8 , 91   H a l l& M o n it o r   8 , 7 7   2 8 4 9   0 , 1 0   2 2 4 1   0 , 0 8   0 , 8 3   2 1 , 67   2 1 , 65   C aV i g n al   1 2 , 14   4 6 3 8   0 , 1 6   2 7 7 8   0 , 0 9   0 , 9 5   2 4 , 32   2 3 , 74   P e o p l e A n d F o l i a ge   3 4 , 93   4 7 7 0 6   0 , 6 2   4 1 9 1 3   0 , 5 4   0 , 7 4   1 5 , 24   1 4 , 76   S n el l en   4 3 , 55   1 5 7 7 1   0 , 7 6   1 4 4 1 6   0 , 6 9   0 , 7 5   1 4 , 25   1 4 , 16   A v e r a g e   1 5 , 74   1 0 7 0 4   0 , 2 4   9 0 1 9   0 , 2 1   0 , 8 8   2 3 , 93   2 3 , 7 1       F o r   s eq u e n ce H al l & M o n i t o r ,   m a n   w al k i n g   s t r ai g h t   d o w n   t h co r r i d o r  o ccu p i es  t h s a m i m a g e   r eg i o n   f o r   m o r e t h an  6 5 %  o f   t h e s eq u en ce  f r a m es ,   w h i l e  t h e b r i ef cas e i s  l e f t  o n  t h e  s m al l  t ab l e f o r  t h e l as t   6 0 %  o f  s eq u en ce  f r a m es .  T h e p r o p o s ed  m et h o d   w el l  h an d l e t h e ab an d o n ed  b r i ef cas e,  b u t  i t  i n cl u d es  a  m a n   wh o   w al k s  a b i t  o b s ce n el y .   F or  bot h  H i ghw a y I  a n d H i g h w a y I I  s e qu e n c e s ,  t h e  pr opos e d m e t h od s u c c e e d i n   pr ov i di n g   a  f a i t hf ul   r e pr e s e n t a t i on  of   t h e  ba c kg r oun m ode l .   T h i s   i s   d ue   t o  t he  f a c t   t ha t ,   e ve n t ho ug t he   h i g h w a y   i s  a l w a y s   f ai r l y  cr o w d ed  b y  p as s i n g  car s ,  t h e  b ack g r o u n d  i s  r e v eal ed   f o r  at  l ea s t  5 0 %  o f  t h e e n t i r e   b o o t s t r ap  s eq u en ce l en g t h  an d  n o  car s  r e m ai n   s t at i o n ar y  d u r i n g  t h e s eq u en ce.     F o r  s e q ue nc e   C a V i gna l ,  t he  o nl y   m a n  a p p e a r in g  in   th e   s e q u e n c e  s ta n d s  s till o n   th e  le f t o f  th e  s c e n e   f o r  t h f i r s t  6 0 %  o f   s eq u e n ce  f r a m e s ;  t h en   s t ar t s   w al k i n g  an d  r es t s  o n  t h e r i g h t  o f  t h e s ce n e f o r  t h e l as t  1 0 %   o f   s eq u e n ce  f r a m es .   T h p er s i s t en t   cl u t t er   at   t h b e g i n n i n g   o f   t h s ce n l ea ds   of   t h e   pr opos e m e t h ods   t i nc l ud e  t he   m a n o n t he  l e f t  i nt o  t he  e s t i m a t e d  b a c k gr o und .  F o r  s e q ue nc e  F o l i a ge ,  e ve n t ho ug m o vi n g l e a ve s   o ccu p y   m o s t  o f  t h e b ack g r o u n d  ar ea f o r   m o s t  o f  t h e t i m e,  t h e p r o p o s ed  m et h o d s  ach i ev e a q u i t e g o o d   r ep r es en t at i o n  o f  t h e s ce n e b ack g r o u n d .     P eo p l e &   Fo l i a g e   Fo l i a g e   S n el l en   GT   CB   H a ll &   M on i t o r   H i g h w a y I   H i g h w a y I I   C aV i g n al   GT   CB   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       B ac k gr oun d E s t i m at i on U s i ng  P r i nc i pal  C om pone nt   A nal y s i s  B as e d on ... .   ( I lm iy a ti S a r i)   2855   F o r  s eq u en ce  P eo p l e& F o l i a g e,  t h e ar t i f i ci al l y  ad d ed  l eav e s  an d   m en  o cc u p y  al m o s t  a l l  t h e s ce n e   ar ea i n  al m o s t  al l  t h e s eq u e n c e f r a m es .  T h e p r o p o s ed  m et h o d s  t o  i n cl u d e t h e co n t r i b u t i o n  o f  l eav e s  an d   m e n   i nt o  t he   f i na l  b a c kgr o u nd   m o d e l .   I n   s eq u e n ce S n el l e n ,  t h f o r eg r o u n d  l ea v es  o ccu p y  al m o s t  al l  t h s cen e  ar ea  i n  al m o s t  al l  t h e s eq u e n ce  f r a m es .  T h e p r o p o s ed  m e t h o d s   ach i ev e  a q u i t g o o d  r ep r es en t at i o n  o f  t h s cen e   b a c kgr o u nd .  H o w e ve r ,  t he  s c e ne  b a c kgr o un d  ha ve  l o w  l u m i na nc e  t ha n G T .     I n o r d er  t o  as s es s  t h e c h al l e n g e t h at  each  s eq u e n ce p o s es  f o r  t h e p r o p o s ed  m et h o d s ,   w e co m p u t ed  al l   m et r i cs  o b t ai n ed  b y  t h e p r o p o s ed  m et h o d s  f o r  each  s eq u e n ce,  an d  r an k ed  t h e s eq u en ce s  acco r d i n g  t o  t h es e   m e t r i c s ,  a s   s h o w n i n  T a bl e  2.  H e r e ,  H i ghw a y I  a n d H i ghw a y I I  s eq u en ce s  r ev eal  as   t h o s e  t h at  ar e b es t   h an d l ed ,   w h i l e  S ne l l e n i s  t he   w o r s t   ha nd l e d .  B e a r i ng  i m i nd  t h e  ki nd  o f  f o r e gr o u nd  o b j e c t s  i nc l ud e d  i nt o  t he   s eq u en ce s ,   w e can  o b s er v e t h at  t h ei r  s i ze i s   n o t  a  m aj o r  b u r d en ;  e. g . ,  F o l i ag e s eq u en ce i s   b et t er  h an d l e d t h a H a l l & M o ni t o r ,  e ve n t ho ug t he  s i z e  o f  t he   f o r e gr o u nd  o bj e c t s  i s   m uc h l a r ge r .   A s  i ns t a nc e ,  C a V i g na l   s eq u en ce i s   w o r s h an d l ed  t h a n  F o l i ag e,  s i n ce i t  i n cl u d es  al m o s t  s t at i c f o r eg r o u n d  o b j ect s  t h at  ar e f r eq u en t l y   m i s i n t er p r et ed  as  b ack g r o u n d .  I t  can  a l s o  b e o b s er v ed  t h at  t h v al u es  o f  p E P s  an d  M S - S S I M  m e tr ic s   p er f ect l y   v ar y  acco r d i n g   t o  t h e d i f f i cu l t y  i n  h a n d l i n g   t h s e q u en ces ;  t h es e t w o   m et r i c s  co n f i r m   t o  b e s t r o n g l y   i n d i cat i v e o f  t h e p er f o r m an ce  o f  b ack g r o u n d  i n i t i al i zat i o n   m et h o d s .     C o n ve nt i o na l  P C A   ca n   n o t  b e ap p l i ed  t o  g et  b ack g r o u n d  es t i m at i o n  f o r  t h e S B I  d at as et  b e cau s e t h e   co v ar i an ce  m at r i x  s i ze  o f  a l l   s eq u en ce s   i s  to o  la r g e   a s  sh o w n   i n T ab l e 3 .  T he  ha r d w a r e   m e m o r us e d  i s  no t   s u f f ic ie n t to  o b ta in  th e  e ig e n v e c to r  o f  t h e  c o v a r ia n c e   m a tr ix  ( p r in c i p al  co m p o n en t ) .   T ab l e 3  s h o w s  t h e   pe r f or m a n c e  of  t h e  pr opos e d m e t h od.  T h e  m e t h od s u c c e e d t pr o du c e  t h e  pr i n c i pa l  c om pon e n t   f or  a l l   s eq u en ce o f  i m a g e s   w i t h  t i m e v ar i es  d ep en d i n g  o n  t o t al   f r a m es  o f  s eq u e n ces .       T ab l e 3 .  P er f o r m a n ce  o f   P r op os e d M e t h od   S eq u en ce   R e s ol u t i o n   S i ze o f   co v ar i an ce  m a t r i x   T o t a l  fra m e s   tim e   ( p r o p o s e d  m e t h o d )   H a l l& M o n it o r   3 5 2 × 2 4 0   8 4 4 8 0 × 8 4 4 80   2 9 5  fra m e s   3 9 , 84   H i g h w a y I   3 2 0 × 2 4 0   7 6 8 0 0 × 7 6 8 00   4 4 0  fra m e s   9 5 , 95   H i g h w a y I I   3 2 0 × 2 4 0   7 6 8 0 0 × 7 6 8 00   5 0 0  fra m e s   2 2 3 , 8 3   C aV i g n al   2 0 0 × 1 3 6   2 7 2 0 0 × 2 7 2 00   2 5 8   fra m e s   6 , 1 5   Fo l i a g e   2 0 0 × 1 4 8   2 9 6 0 0 × 2 9 6 00   3 9 4  fra m e s   8 , 7 2   P e o p l e & F o l i a ge   3 2 0 × 2 4 0   7 6 8 0 0 × 7 6 8 00   3 4 1  fra m e s   5 4 , 87   S n el l en   1 4 6 × 1 5 0   2 1 9 0 0 × 2 1 9 00   3 2 1  fra m e s   2 , 3 7   A v e r a g e         6 1 , 6 8   S e q u e n c e   R e s ol u t i o n   S i ze o f   co v ar i an ce  m a t r i x   T o t a l  fra m e s   tim e   ( p r o p o s e d  m e t h o d )       4.   CO NCL U S I O N     I n  t h i s  p ap er ,   w h a v e p r es en t ed  a b ack g r o u n d  es t i m at i o n  u s i n g   t h e p r i n ci p al  co m p o n en t .   T h e   p r in c ip a l c o m p o n e n t is   obt a i n e by   c o m pu t e   t h e  dom i n a nt   s i n gu l a r   v a l u e  de c om pos i t i on  u s i ng   t h e   l i m i t e m e m o r y  K r y lo v  s u b s p a c e  o p ti m iz a tio n .   T he   c ol um ns  of   le f t s in g u la r   m a tr ix  o f  th e  d o m i n a n s i n g u la r   v a lu e   de c om pos i t i o n   i s   t h e   pr i n c i pa l   c om pon e n t .   B a c k g r oun e s t i m a t i o n   i s   obt a i n e a s   t he   p r o j ect io n   e a c i np ut   i m a g e ( t h f i r s t   f r a m e at  eac h   s eq u en ce   i ma g e )   on t o s pa c e  e x pa n de d pr i n c i pa l  c o m pon e nt .     T h e p r o ced u r w as  r u n   f o r   t h s t a n d ar d  d at as et   n a m e l y   S B I  ( S cen e B ac k g r o u n d  I n i t i al i zat i o n )   da t a s e t  c on s i s t i ng  of  8 v i de os   w i t h  i n t e r v a l  r e s ol u t i on  [ 146  150,  35 2 2 40] ,  t ot a l  f r a m e  [ 258, 50 0] .   T h e   p er f o r m a n ces  ar e s h o w n   w i t h  8   m et r i cs ,  es p eci al l y  ( i n  a v er ag f o r  8  v i d eo s )  p er cen t ag e o f  er r o r  p i x el s   ( 0. 24% ) ,  t h e  pe r c e n t a g e  of  c l u s t e r e d e r r or  pi x e l s  ( 0. 21% ) ,   m ul t i s c a l e  s t r u c t u r a l  s i m i l a r i t y   i n de x  ( 0. 88 f or m   m a xi m um  1) ,  a n d r u nn i n g  t i m e  ( 61. 68 s e c on ds ) .       R EF ER EN C ES     [ 1]   A . S o b r a l e t a l. , “ C om pa r i s on of  M a t r i C om pl e t i on A l g or i t hm s   f or  B a c kg r ound I n i t i a l i z a t i on i V i de os , ”  Spr i n ge r  I nt e r n at i on al  P ubl i s hi ng ,  p p.  51 0 - 51 7,  20 15 .   [ 2]   A.   S obr a l   an d   A .  V a c a v a nt ,  “ A   C om pr e he ns i v e  R e v i e w  of  B a c kg r oun d S ub t r a c t i on A l g or i t hm s   E v a l ua t e d w i t S y n t h et i c an d  R eal   V i d eo s ,”   E l s evi e r  J our nal , p p 4 - 21 ,  2 01 4.     [ 3]   L .  M ad d al en a   a nd   A .  P e t r os i no,   T o w ar d s  B en ch m ar k i n g  S cen e B ack g r o u n d  I n i t i al i zat i o n , ”  S pr i n g e r  I nt e r nat i on al   Pu b lis h in g  S w itz e r la n d , p p 46 9 - 4 76,  20 15 .   [ 4]   N.   M .  O liv e r ,   et  a l . ,  “ A  B a y e s i a n  C om put e r  V i s i on S y s t e m   f or  M ode l i ng  H um a n I nt e r a c t i ons ,”   I E E E  T r ans ac t i ons   on P at t e r n  A n al y s i s  a nd M ac hi ne   I nt e l l i ge nc e ,  v o l/is s u e :   22( 7) ,  pp.  831 - 8 43D ,  20 00 .   [ 5]   H .  S a br ol   an d   S .  K u m a r ,  “ R e c o g n itio n  o f  T o m a to   L a te  B lig h t b y  U s i ng  D W T   a nd C om pon e nt  A na l y s i s ,   I nt e r nat i o nal  J our n al   of  E l e c t r i c al  an d C om pue r  E ng i ne e r i ng  ( I J E C E ) ,  v o l/is s u e :   7( 1) ,   p p.  19 4 - 19 9.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   284 7   -   2856   2856   [ 6]   V en k at r am ap h an i k u m ar  S .   an d   K . V . K .   K i s hor e ,  “ F a c e  R e c og ni t i on w i t M o du l a r  T w o D i m e ns i ona l   P C A  un de r   U nc ont r ol l e d I l l um i na t i on V a i a t i ons ,   I nt e r n at i o na l  J our n al  of   E l e c t r i c al  and C om pue r  E n gi ne e r i ng ( I J E C E ) v ol / i s s ue :  6( 4) ,   pp.  1 61 0 - 16 16 .   [ 7]   w w w . cct v c a m er ap r o s . co m     [ 8]   M Tu r k   an d   A.   P en t l an d ,   E i g en f a ces   f o r  r eco g n i t i o n ,   J our n al   o f  C o g n i t i ve N eu r o s ci en ce,   v ol /is s u e :   3 ( 1 ) pp .   71 - 86 ,  1 99 1.   [ 9]   X . L i u e t a l. ,  “ L i m i t e d M e m or y  B l oc k  K r y l ov S ubs pa c e  O pt i m i z a t i on f or  C om put i ng  D om i na nt    S i ng ul a r  V a l ue   D e c o m p o s itio n , ”  SI A M  J our n al   o n Sc i e nt i f i c  C om put i n g ,  v o l / i ssu e :   35 ( 3 ) , p p .   A 164 1 - A 1668 ,  2 01 3.     [ 1 0]   Y .  S aad ,   N u m er i cal  M et h o d s  f o r  L ar g e E i g en v al u e P r o b l em s ,   M a nc he s t e r  U ni v e r s i t y  P r e s s ,  19 92.   [ 1 1]   Z . W a n g e t a l. ,  “ M u ltis c a le  s tr u c tu r a l s im ila r it y   f o r  i m a g e  q u a lit y   a s s e s s m e n t,  in   Si gn al s ,  Sy s t e m s  and C om pu t e r s 2 0 0 4 .  C o n f er en ce R eco r d   o f  th e  T h ir ty - Se v e nt A s i l om ar  C o nf e r e nc e  on ,  vo l .  2,  pp .   1 39 8 - 1 40 2,  20 03 .   [ 1 2]   Y .  Y a l m a n a nd I .  E r t ur k ,  “ A  ne w  c ol or  i m a g e  qua l i t y   m e a s ur e  ba s e d on Y U V  t r a ns f or m a t i on a nd P S N R  f or  hum a v i si o n  sy st e m ,   T ur k i s h J .  O f  E l e c t r i c al  E n g.  &  C om put .  Sc i .,  v o l . 2 1 , p p .  60 3 - 61 2,  20 13 .       B I O G RAP H I ES   O F  AUT H O RS         I lm i y a ti S a r i   r ecei v ed  h er  B . S .  d eg r ee i n  M at h e m at i cs   f r o m  U n i v er s i t y  o f  I n d o n es i a i n  2 0 0 9 he r  M . S .  i n M a t he m a t i c s   f r o m  U ni v e r s i t y  of  I ndone s i a  i n 2 0 12 a n d.  S he  ha s  pu bl i s he d   ex t en s i v el y  i n  t h e ar ea  o f   v i de pr oc e s s i ng .  H er  r es e ar ch  i n t er es t s  i n cl u d e   dy na m i c  m ode l s ,   s ta tis tic s ,   i m a g e p r o ces s i n g a nd  v i de o pr oc e s s i ng .   Em a il: i l m i y at i @ s t a f f . g u n ad ar m a. ac. i d       A s e p J ua r na   r ecei v ed   h is   doc t or a l   d eg r ee i n   T h eo r et i cal   In fo rm a t i c s  f ro m   U n iv e r s ite  d e   B our g og ne F r an ce.  C u r r en t l y ,  h e i s  a n  as s o ci at e   pr of e s s o r  a t th e   D ep ar t m en t   o I n f o r m at i cs   o G u n ad ar m a U n i v er s i t y .   H i s  r e s ear ch  i n t er es t  i n cl u d num e r i c a l  a na l y s i s ,   m ode l i ng  a nd  s im u la tio n ,  a n d   co m b i n at o r i cs .  H i s  cu r r en t  r es ear ch es  ar e ap p l i ed   co m b i n at o r i cs  i n   p o r t f ol i o of   s t oc k ,  v i de o pr oc e s s i ng ,  a nd  da t a   c l us t e r i ng  m ode l i ng .   Em a il: aj u ar n a @ s t a f f . g u n ad ar m a. ac. i d       S u r y ad i  H ar m an t o   r ecei v ed  t h m as t er   d eg r ee i n   i nf or m a t i on t e c hnol og y   f r o G una da r m a   Un i v e r si t y .   C ur r e nt l y ,  he  i s  a  pr of e s s o r  at  t h G u n ad ar m a   U n iv e r s ity .   H i s  r es e ar ch  i n t er es t   on   co m p u t at i o n al  m at h em at i cs  an d    i nf or m a t i on t e c h nol og y .   E m ai l : s u r y ad i _ h s @ s t af f . g u n ad ar m a. ac. i d     D j at i  K er a m i  r ecei v ed  t h e P h . D   d eg r ee i n  I n f o r m at i c s   f r o m  I n s t i t u t  N at i o n al   P o l y t ech n i q u e d T oul ous e ,  F r a nc e .   C ur r e n t l y ,   he  i s  a  pr of e s s o r  at  t h e D ep t .   o f  M at h em at i cs  o f  U n i v er s i t y  o f   I n d o n es i a. H i s  r es ear ch  i n t er es t  i n cl u d e co m p u t at i o n al  m at h e m at i cs ,   c o m b in a to r ia l a lg o r it h m s ,   a nd  b io i n f o r m a tic s .   Em a il:d ja tik r @ s ci . u i. ac. i d     Evaluation Warning : The document was created with Spire.PDF for Python.