TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol.12, No.1, Jan uary 20 14 , pp. 558 ~ 5 6 4   DOI: http://dx.doi.org/10.11591/telkomni ka.v12i1.3381            558     Re cei v ed  Jun e  5, 2013; Re vised July  1 1 , 2013; Accept ed Augu st 6, 2013   Face Tr acking Based on Particle Filter with Multi- feature Fusion      Zhiy u  Zhou* 1 , Dichong Wu 2 , Xiaolong  Peng  1 , Zefei  Zhu 1 , Chuan y u  Wu 1 , Jinbin Wu 1   1 Z hejia ng Sci-T e ch Un iversit y ,  Hangz ho u 310 018, Ch in a   2 Z hejia ng Un iv ersit y  of F i n anc e & Economics ,  Hangzh ou 3 1 001 8, Chi n a   *Corres p o ndi n g  author, e-ma i l : zhouzh i yu 19 93@ 163.com       A b st r a ct   T r aditio nal  par ticle filter c a n n o t acco mmo d a t e to the e n vir o n m e n t of bac kgrou nd i n terf erenc es,   illu min a tion v a riatio ns an d o cclusio ns. This  pap er pres ent s a face tracki ng  meth od w i th fusio n  of col o r   histogr a m co n t our  feat ures a nd grey  mod e l  base d  on parti cle fi lter. F i rst, it bro u g h t in  co ntour fe atures   as   the  mai n  cu of multip le fe atures w hen  tra cking th face  w i thout stabl e  color  histo g ra m. T h e n , as p r ior   infor m ati on w a s neg lecte d  in  traditi ona l p a rtic le filter , this  pa per e m ploy ed  GM(1,1) mo de l  to yiel d pr opo sa l   distrib u tion, su ch that the pr o posa l  distri buti on w oul d be ar  a hi gher  ap pr o x imatio n to po sterior pro b a b il ity.   F i nally,  in th e i m p o rtanc e sa mp lin g step, s a mpli ng w a s c o rresp ond ed to  the p a rticle w e ig ht in c a se o f  th e   particl e de gra datio n. T he e x peri m e n ts sh ow   that our meth od o u tper forme d  the pr evio us w i th more   accuracy  an d  flexi b ility,  pa rticularly  u nde r the c ond itio n of c o lor  b a ckgrou nd  inter f erences,  dras tic   illu min a tion var i atio ns an d co mp lete occ l usi ons.      Ke y w ords : F a ce tracking, col o r histogr a m , contour  feat ures , particle filter, GM(1,1) mod e l         Copy right  ©  2014 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion  Particle filter  [1-3] is  wildly  use d  recentl y , having sol v ed do zen s   of trackin g  issue s . To  overcome the  impacts of fa ce ro tatio n , complexion int e rferen ce an d partial o ccl usio n, Jianp o  G   [4] propo se a face tracki ng metho d  with the cue s   of colo r an d sha pe ba se d  on pa rticle fi lter.  Hui T  [5] put   forth a parti cle  filte r ing  method   wi th   the fusi on  of  col o r an d t e xture fe atures descri b ing th e face features with the  distin ctive en vironme n tal adapta b ility of weighted  color  histogram and rotated composite  wav e lets. To c ope with interferences  of illumination and pose   variation s , Ju an W [6] p r e s ented a n e w f a ce trackin g   method  with the cue s  of co lor an d conto u r.  All these me thods h o ld some rob u st  perfo rm an ce,  neverthele ss, yet  they never handl ed the   con d ition of complete o c cl usio ns. As th e tradition al particl e filter i gnored the g u idan ce effe ct of  prio r informat ion up on the  prop osal di stribution,  sim u l a ting the p o sterior  pro babi lity distributio woul d be very difficult. Haitao Y [7] expl oited t he searching ability of par ticle swarm optimization  throug h a  no nliner an d n o n -Ga u ss  mult imode  dist rib u tion. Ming qi ng Z  [8] empl oyed hi story  state  estimation  as the prior i n fo rmation to yield the  propo sal di stributio n. Yet all the method s abo ve  failed to solve  the interfere n ce i s sue s  in a poor  colo r e n vironm ent.   In orde r to bo ost the relia bi lity of  face tra cki ng,  this p a per treats  col o r info rmatio n as th e   first cue a nd  conto u as th e se co nd  cue ,  in addition  with an imp r ov ed GM (1,1 model to yeil d the   prop osal di stribution. In the  importan c sampling  pro c ess, sam p lin g is a c cordi n g to the parti cle   weights to all e viate the particl e degradation, thus the  accuracy  will  be enhanced  further m o re.        2. Particle Filter  w i th Mul t i-Feature Fusion  Traditio nal p a rticle filte r   merely em pl oy s the  col o r a s  the  single featu r e ,  which   posse sse s  a  fairly po or  a c cura cy. In t h is  pape r,  co lor  featu r e s , conto u fe atu r es  a s  well as   GM(1,1 ) mod e l will be mel t ing all togeth e r. A nd then  an ada ptive pro c ed ure wil l  be pro c e edi ng  by snatchi ng  a dominate d  value each time in fluc tuat ed weig hts. F o llowin g  are  major di stinct ive   feature s  used  in this pape r, they will fuse   together to p e rform  an ad aptive face tracking.          Evaluation Warning : The document was created with Spire.PDF for Python.
    ISSN: 2302-4 046   TELKOM NIKA   TELKOM NIKA  Vol. 12, No . 1, Janua ry 2014:  558 – 5 6 4   559   2.1. Color Fe ature s      The color  sp ace of  HSV dra w ing  cle a r  bou nd s bet wee n  bri ghtn e ss and  col o r, it is   invulnerable  to illuminatio n variation s . In this  paper, to minimize the impa cts of lumin ance   comp one nt V, a quantizati on pro c e s s wi ll be perfo rm e d  with model  8X8X4. Whe n  cal c ulatin g the  colo r hi stog ram, wei ghts impo sed  by discrepa nt  influen ce fa ctor of  parti cl es,  which h a ve   alleviated the  influen ce of  backg rou nd i n formatio n o n to the pixel s  locate d in e d ges. T h is a r ti cle   selects Epanechnikov Kernel func tion as the weight,  whi c could  i m prove the  reliability of  color  distrib u tion.  Suppo se th colo r hi stog ra m in candi da te are a  is ) ( y p , weighted  col o r histog ram  of face model  is 1, ˆˆ {} uu m qq , and then the similarity function  () y   betwee n  face m odel an d   can d idate mo del will be def ined a s :     1 ˆ ˆˆ ˆ () [ ( ) , ] ( ) m u u yp y q p y q     (1)     2.2. Conto u r Features      Face  contou rs a r e th e ve ry discri minativ e f eatures a s   well, it’s  re asonabl e to  ch o o se  the  conto u rs as t he se con d  cue. This pa p e r em ploy s a  method of shape context to extract th e   conto u r fe atu r es, i n itially p r opo se d by B e longi el S  et  al. [9]. Firstly, Can n y ope ra tor is  appli ed  to   acquire the face  edge, and  a unifo rm sampling will be  processed  af te r it. For each feature i n  t he  sampli ng  co ntours, to bu ild pola r  co o r dinate  sy ste m  in their  center p o sitio n . Suppo se  one  coo r din a te of  sel e cte d  feat ure  is (x 0 , y 0 ), anoth e r feat ure’ coo r di n a te  in i denti c al contou rs is (x,  y), then the polar coo r dinat e (r, ) is cal c ul ated. The co o r dinate of  on e  single featu r e in conto u rs  is a bout th e  vector len g th an d a ngle  histo g ra with relation   to anoth e r fe ature. A  stati s tic  numbe r of tot a l features l o cated i n  e a ch cell  of  rele vant pola r  co ordin a te  will then b e   cou n ted  up. After a  n o rmali z atio n tran sition, the   face  histog ra H s F   and th candid a te obj e c t hi stogram  H s O   will be  kno w n. Then, Chi - aqua re me asure will b e  used to descri b e the simila rity s d :      2 11 () () 0.5 * () () ij nK oF s ij ik oF hk h k d hk h k       (2)     Whe r () i o hk   is  the can d idate co ntours  histo g ram,  () j F hk  denotes  face mod e l hi stogram.     2.3. Proposa l  Distributio n Gener a te d w i th GM(1,1) Model   The traditio n a l GM(1,1 ) m odel sele cts t he first  value  of original  seque nce as t he initial  value, whi c h  lacks  of rat i onality as  well as the o re tical ba si s to  some  deg re e. A minimum  indicator fu nction is  set to  determi ne th e initial  value  in [10], havi ng imp r oved  the accu ra cy  of  GM(1,1 gen erally. Th rou gh a  solution  of first-o r de r   homog ene ou s e quatio n, the time  re sp on se   seq uen ce at the mome nt k+1 is:     (1 ) ( 0 ) (( 1 ) ) ak uu xx e aa  k+ 1   (3)     Whe r   is t he adj ustm e n t coef fici ent Then th ro ugh a  re cov e ry of first-orde r   regressive, the predi ction v a lue of  GM(1,1) model will  be updated as:    (0 ) ( 1 ) ( 1 ) ˆ ˆˆ () = ( ) - ( 1 ) xk xk xk   (4)     And the cova rian ce of pa rticle filter is:    Evaluation Warning : The document was created with Spire.PDF for Python.
ISSN: 2302-4 046                          Face T r a c kin g  Based o n  Particle Filte r  with Multi-fea t ure Fu sion (Zhiyu Z hou 560 () ( 0 ) ( 0 ) 1 ˆˆ ˆ ( ( )) ( ( )) N ii i T kk k k i wx xk x x k    (5)     Finally , the grey predi ction  model ge ne ra tes the propo sal di stributio n, which is:     (0 ) 1 ˆ ˆ (| , ) ( ( ) , ) ii kk k k qx x z N x k   (6)     2.4. Face Tra cking Metho d    Here are the major  stage of computatio n in our meth od:   1)  T o   cal c ulate  the histo g ra ms  H s F   from front, side  an d ba ck  part  in huma n  fa ce.  Th gene rated o u t puts will be p r eserve d in the related ve ctor .   2)  T o  sele ct  a rectan gle win dow and co mpute  t he  weighted  col o r histog ram  of face in t hat  wind ow a s  the matchi ng  template.  Then the thre shol d of color simila rity  T 1   will be   cal c ulate d .   3)  T o  initiali ze  N particl es i n  the center  of fa ce  area, the initial weight   of  each particle will  be  set as 1/N.  After that, configure the len g th of GM(1,1) model, m=5, and engen derin g the  initial GM(1,1 ) model.    4)  T o  d enote th e ren e wed p o sition  of ea ch parti cle, a c cording to  propo sal di strib u tion of the   GM(1,1 ) mod e l. In the previous m fram es, t he positi on of particle s  is to be updated ba sed  on Gau s s dynamic m odel.    5)  T o  count  the colo hi stogra m in the  cen t er win d o w  of each  ren e we d parti cle s . Each featu r e   is  to be c o mpared to the fac e  template, f o llowing  with  a crite r ion of  simila rity betwee n  them.   6)  T o  u pdate  the  weig ht of ea ch p a rti c le o n  the gr oun d o f  similarity val ue.  T o  sort th e pa rticle judgin g  by ea ch weight val ue.   7)  T o  pi ck u p  the maximum  weig ht, decid ing wh ether it s value withi n  the given thre shol T 2 The value  of thre shold  T 2  rest wit h  s i milarit y  of  contours hi sto g ram  d,  T 2 =0.3*d. After  capturing the  new position, GM(1,1) model will be updated.   8)  In the followi ng sta ge of  resam p ling, 1/ of the sort ed pa rticle will be  dupli c ated twi c e,  while the re m a inde rs  will duplicate only once.  The du plicatin g pro c ess will never cea s e until  the sum of pa rticle s app ro a c he s N.        3. Experimental Re sult a nd  Analy s is    The first experime n t proceed s by a  face  tra cki ng  sequen ce p r ovided by Stanford   University . In this task, 100 particle s  are sele ct ed to condu ct the contra st work.  The contra st   results of  refe ren c e [6], [8] and o u r m e th od are sho w n   in Figu re 1. I n  the tra d ition a l parti cle filte r particl es deg eneration o c curs frequ ent ly , thus targe t s will lo se  focu s e a sily  with the  simil a rity  interferen ce s of color .   Th e conto u rs cue is in corp orated into t he parti cle s  in referen c e [6],  amelio rating robu stne ss wh en encounte r i ng the com p lexion interference in the backgroun d.  The   obje c ts in  re feren c e [8]  will get lo st  easily  wh e n   encounte r ing  the simila rit y  interfere n ce of  compl e xion.  With a m e rg e of contou rs as th e se co nd cue in  ou r method, pl u s  with  sto r ag e of  side  and  ba ck face info rm ation in a d va nce. O u r m e thod mai n tain s a  rob u st tra cki ng, even  when  the colo r feature s  are not  evident and a  drasti c ro tati on of face occurs no w and  then. In addition   with grey information to yield the propo sal distri butio n ,  the  trouble  of particle de grad ation will  be   alleviated.  Th e erro r contrast di a g ram  of four m e tho d s m entione d  above in  x a nd y directio n  is   sho w n a s  Fig u re 2, the defi n ition of error is:    || 100% ro r pp e p    (7)     Whe r p r   den otes the  real  positio n of hu man face, an p 0  is the o b serve d  value  of face po siti on  with related track i ng methods , p r  d enot es the auth e n t ic displ a cem ent of two adj ace n t frame s The second experiment is performed wit h  dr asti c illum i nation variati ons.  The illumination   cha nge s app ear a s  a stron g  interfere n ce  factor onto  the colo r ,  the traditional pa rticle filter fails to  deal this pro b lem rea s on ably ,  thus easily losing focus in some face tra cki ng environ ment.  The   Evaluation Warning : The document was created with Spire.PDF for Python.
    ISSN: 2302-4 046   TELKOM NIKA   TELKOM NIKA  Vol. 12, No . 1, Janua ry 2014:  558 – 5 6 4   561   RGB sp ace is employed in  referen c e [6], performi ng well in a colo r-stable  situatio n. But once the  illumination  chang es d r a s tically , the tra c king ef fe ct  would be im pai red b adly .   As a fusion of the  color cue proposed in  referenc e [8], the tracking  ef fect woul d still  be weakened once the col o r   V a rie s  a c utel y .   The tra cki n g  re sult of fo ur  meth od s mentione d ab ove is sho w n  in Figure 3,  and  the error  cont rast dia g ram in x and y direction is  sho w n as Figu re 4.       (a)  Re sults of  traditional pa rticle filter    (b)  Re sults of  refere nc e [6]     (c ) Re sult s of refere nc e [8]     (d)  Res u lts   with our method     Figure 1. Con t rast re sult s o f  four  method s (F rame 3 2 , 86, 98, 137)        (a) T r a cki ng  error in di re ction x    (b) T r a cki ng  error in di re ction y    Figure 2. Erro r cont ra st dia g ram of fou r  method Evaluation Warning : The document was created with Spire.PDF for Python.
ISSN: 2302-4 046                          Face T r a c kin g  Based o n  Particle Filte r  with Multi-fea t ure Fu sion (Zhiyu Z hou 562 (a)  Re sults of  traditional pa rticle filter    (b)  Re sults of  refere nc e [6]    (c ) Re sult s of refere nc e [8]    (d) Res u lts  with  our  method    Figure 3. Tra cki ng re sult s with dra s tic ill um ination va riations (Fra m e  27, 30, 46, 49)          (a) T r a cki ng  error in di re ction x      (b) T r a cki ng  error in di re ction y             Figure 4. Error c ont rast diagram  with drastic illumination variations            Evaluation Warning : The document was created with Spire.PDF for Python.
    ISSN: 2302-4 046   TELKOM NIKA   TELKOM NIKA  Vol. 12, No . 1, Janua ry 2014:  558 – 5 6 4   563   (a)  Re sults of  traditional pa rticle filter      (b)  Re sults of  refere nc e [6]     (c ) Re sult s of refere nc e [8]     (d)  Res u lts   with our method     Figure 5. Tra cki ng re sult s with occlu s io ns (F ram e  40 , 43, 46, 48 )       The third exp e rime nt tracks the fa ce wi th compl e te  occlu s ion s . T he traditio nal  particl filter perform s a barely sa tisfacto ry face tracki ng. A s  is propo se d in referen c e [6], comple xio n   and contou rs information  are ju st too b a rren to fo cu s the targ ets.  Tradition al GM(1,1 ) mod e l is  applie d in  referen c e  [8] to  yield  pro p o s al di strib u tion , enjoying   ce rtain  rob u stn e ss in   several  ca se s of  occlusio ns.  This pap er prese n ts a n  im pro v ed GM (1,1 ) mod e l, which up date s  th predi ction  to  alleviate th e pa rticle  de grad ati on. T he exp e rim e ntal outp u ts  have p r oved  ou method with  a hig her ro b u stne ss an efficien cy . Figure  5  sho w s the  re sults  of face t r a cki ng   with occlu s io ns.       4. Conclusio n   This pap er p r esents  a particle  filter  fa ce  tra cki ng  wit h  data fu sio n  of col o r hist ogra m conto u r hi sto g ram. And a  merge of G M (1,1) m odel  is attached  to yield prop osal di strib u tion,  approximatin g the  re sults to aut h entic po sterio probability di st ribution  mo re cl osely. It is  demon strated   throu gh sev e ral  trackin g  tasks  t hat th e  new metho d  coul solve t he p r oble m o f   stron g   col o r interfe r en ce s, d r a s tic ill umination  va riation s   and  co mplete  o ccl usi o n s , a nd it   outperfo rm s the previo us  with better tra cki ng ro bu stn e ss and hi gh er co mputatio nal efficien cy.       Ackn o w l e dg ment  This  work i s  sup porte d by  Zhejian g  Provincial  Natu ral Scie nce  Found ation o f  China  (No. LY1 3 F0 3001 3, R11 1 0502 Evaluation Warning : The document was created with Spire.PDF for Python.
ISSN: 2302-4 046                          Face T r a c kin g  Based o n  Particle Filte r  with Multi-fea t ure Fu sion (Zhiyu Z hou 564 Referen ces   [1]  Agustie n  Sir a d j ud din I, R ahm at W i d y anto  M ,  Basarud d i n  T .  Particle F ilter   w i t h  Ga ussia n  W e ighti n g   for Huma n T r acking.  T E LKO M NIKA T e leco mmu n icati on  Co mp uting E l e c tronics a nd C ontrol . 20 12 10(4): 80 1-8 0 6 .   [2]  Ke yan L, Yu nh ua L, Sha nqi n g  L, Lia ng T ,  L e i W .    A ne w   para lle l particl e  filter face tracking meth o d   base d  on h e ter oge ne ous s y stem.  Journa l of Real-T i m e Ima ge Process i ng .  2012; 7(3): 1 5 3 -16 3 [3]  Suche ndr a MB , Xi ngzh i  L. Int egrate d  d e tecti on a nd  track i n g  of multi p l e  fa ces usi ng  parti cle filter ing   and  optic al fl o w - b as ed e l asti c matchin g C o mputer V i sio n  and  Image  U ndersta ndi ng . 200 9;  11 3(6):   708- 725.   [4]  Jian po G, Yuji an W ,  Hao Y,  Z hen ya ng W .  Particle f ilt er fa ce trackin g  usi ng co lor sh ap e  histogr am a s   clues.  Jour nal  of Imag e an d Graphics . 20 07 ; 12(3): 466-4 7 3 [5]  Hui T ,   T i ngzhi  S, San y ua n Z ,  Bing H. F a ce  tr acking  alg o ri thm combi ng c o lor  and te xtur e featur e s   base d  on p a rti c le filter.  T r ans action of Bei j i n g Institute of Techn o lo gy . 201 0; 30(4): 46 9-4 73.   [6]  Juan W ,  Yan x i a  J, Caiho ng T .  F a ce tracking  base d  on p a rti c le filter usi ng  color h i stogra m  and cont ou r   distrib u tions.  Opto-Electro nic Engi neer in g . 2012; 39( 10): 32 -39.   [7]  Haita o  Y, Fuxi  Z, Haiqian g  C .  Face tr acking  based o n  ad a p tive PSO particle filter.  Ge om a t i cs an Information Sci ence of W u h a n  University . 20 12; 37(4): 4 92- 495.   [8]  Ming qin g  Z ,  Z h ili ng  W ,  Z ong hai  C. Vis ual  trackin g  a l gor ithm b a sed  o n   gre y   pred iction  mod e  a n d   particl e.  Contro l and D e cisi on .  2012; 2 7 (1): 5 3 -57.   [9]  Mod G, Belongiel S, Malik J.  Shap e c ontext s  en abl efficie n t retriev a l  of s i milar  sh apes .  Procee din g s   of IEEE Conference o n  Com p uter Visio n   an d  Pattern Reco g n itio n. 200 1: 723-7 30.   [10]  Junfen g L, W e nzha n D.  Res e arch o n  the am elior a tin g  GM(1,1) Mod e  an Its Applicati on i n  the p o w e r   qua ntit y  mo de li ng of sha ngh ai  cit y Systems  Engi neer in g T heory an d Practi cal . 200 5; 25(3 ) : 140-14 4.     Evaluation Warning : The document was created with Spire.PDF for Python.