TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol. 12, No. 11, Novembe r   2014, pp. 77 7 2  ~ 777 7   DOI: 10.115 9 1 /telkomni ka. v 12i11.60 30          7772     Re cei v ed Ma rch 2 9 , 2014;  Re vised June  20, 2014; Accepte d  Jul y  1 0 , 2014   Robust Multiple Ship Tracking in Inland Waterway  CCTV System      Fei Teng* 1 , Qing Liu 2  1 School of En e r g y  a nd Po w e r  Engi neer in g, W uhan U n iver sit y  of T e chnol og y, W uhan, 4 300 70, Ch ina   2 W uhan Un iver sit y  of T e chnol og y, W uhan, 4 300 70, Ch ina   *Corres p o ndi n g  author, em ail :  change erh a o _ lov e @1 26.co m      A b st r a ct   In recent y e a r s, singl e o b j e ct tracking  h a s be en  exte nsively  studi e d  an d ac hiev ed  muc h   deve l op ment.  How e ver,  mu lti p le  ob jects tra cking  is st i ll  an  issu e th at re mains  to  be  ad d r essed. Ge ner all y   speak ing, ex isting  mu ltipl e  ob jects tracking  meth ods  e m pl oy a man ner  of simultan eo u s ly tracking e a c h   obj ect respecti vely. In this p a per, w e  dev elo p  a  mu ltip l e  sh ip tracki ng a l g o rith m b a sed  o n  defor mabl e p a r t   mo de l to acco mp lish  multip le  ship tracki ng i n  inl a n d  w a terw ay CCTV (Closed- Circu it Televisi on) a u to mate d   surveillance. Our meth o d  uti l i z e s  HOG feat ures to c onstr uct t he a p p ear ance  mod e ls  of ships. T h en  by   taking ful l  adv antag es of the spat ia l cons trains betw een  ships, w e  can successful ly  explor e mut u al   relati ons for mu ltipl e  shi p s, thus acco mp lishi ng  mu lt ipl e  ship tracki n g  in its true sense. More o v er,   structured le ar nin g  metho d  is  used to lear n how  to  update  the mode l par a m eters.  Nu mer ous exp e ri me n t al  results o n  ch alle ng ing  inl a n d  w a terw ay CCT V  video s e que nces d e m onstrate that  our  meth od c a n   effectively an d  accurate ly perf o rm  robust multiple ship tracking.     Ke y w ords :  multiple s h ip track i ng, CCTV system , De f o rmable part model, m u tual relations    Copy right  ©  2014 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion  In recent yea r s, CCTV a u tomated  surv eilla n c e sy ste m  has m ade  great  cont rib u tion to  inland  wate rway man age ment. Com p ared  with a r t i ficial monito ring, CCTV system ma ke s it  possibl e to  keep full 24 hours’  surv eillance and  cruise forensi c s proc ess records. I n  the   appli c ation of  electro n ic  cruise in inla nd  waterway , CCTV system  plays a s  an e y e’s role in  cruise  check, thus guaranteeing ship tr ajectory  tracking, illegal disposal , safety forewarning and so on.  Obje ct tracki ng is a fund amental chall enge in  com puter visio n  with appli c ati ons in a  wide  rang e o f  domain s  su ch a s  hum an -co m pute r   int e ra ction, mov i ng re cog n itio n, video index  and  so  on.  By now, obj e c t tra cki ng h a s a c hi ev ed  rema rkable  p r og re ss. In  g eneral, tra cki ng  method s fall i n to two  categ o rie s : ge nerative trac kin g  method and  discrimi native   trackin g   met hod  [1]. Generative tracking   method m o d e ls the  obje c t of intere st by just de scribing the  obj ect  appe ara n ce [ 2 -6].  Discri minant tracke r  model s b o th t he o b je ct of i n tere st a nd t he b a ckg r ou n d . It  focu se s on finding a d e ci sion bou nda ry to sepa rate the obje c t fro m  the backg round [7 -10]. Du e   to the co nsi d ered  ba ckgro und info rmati on, discri min a tive tracking  method al ways outp e rfo r ms   the gene rative one s.  Discri minativ e tra cki ng m e thod a c compl i she s  tr ackin g  by dete c tion.  In the field  of obje c t  detectio n , many prog re sses an d achie v ements  hav e been d e m onstrated. SVM classifier with  the HOG feat ure is a typical detecto r for detectin g  specifi c  huma n  [11], face [12] and so o n . In  recent yea r s,  anothe r det ector  ba sed  on the defo r mable p a rt  model [13] a l so d r a w s  pu blic  attention du e  to its pe rformable  dete c tion [14 ]. It is kno w n  as  one of th e b e st dete c to rs.  Re cently, Lu  Zhang  et al. [15] pro p o s e  a structu r e p r ese r ving o b je ct tra cki ng m e thod to tracking  arbitrary obj e c ts b a se d on  a singl e (b o undin g  box )  annotatio n of object of int e re st in the first  frame. It demonst r ate s  favorabl e perf o rma n ce by  combi n ing th e su ccess of  the Dalal-Tri ggle  detecto r a nd  the defo r mab l e pa rt mod e l .  Genqu an  Duan et  al. [16 ]  introdu ce  a  mutual relatio n   model to grou p multiple obj ects tog e ther.   Acco rdi ng to  the online  algorith m  the y  pr opo se d, they can track multiple  unseen   obje c ts. Moti vated by the  method  in [ 16], we  prop ose  a m u ltipl e  ship tracki ng meth od t o  be  applie d into CCTV su rveilla nce vide o se quen ce s in inl and waterwa y .  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Rob u st Multip le Ship Tra cki ng in Inland  Wate rwa y  CCTV System   (Fei Te ng)  7773 The re maind e r of this pa per i s  org ani zed a s  follo ws: In Sectio n 2, we de scrib e  ou r  tracke r in  det ails. In Se ctio n 3, we pe rfo r m expe rime nts to  sho w   how  ou r multi p le ship tracker  works  in inland waterway CCTV videos .  Fina lly, the concl u si on is g i ven in Sectio n 4.       2. Proposed  Track er   Gene rally, a   tracking   syst em  comp ri se s th ree  mai n  co mpo nent s [17]: an  ap p eara n ce   model, lo cati on mo del a n d  a  sea r ch st rategy. In the  pro p o s ed m u ltiple ship tracker,  we  m odel  the appe ara n c e of ou r shi p s of interest  with the Dal a l-Tri g g s  det ector [1 1]. Other tha n  tracking   multiple  ship   respe c tively, we  utilize  the  mutual  rel a tion m odel s [1 6] ba sed  on   deform able  p a rt  model to d e s cribe  a con f iguration  of ship s’  st ate. Then, an  onl ine structu r e d  SVM [18] is  adopte d  to learn  and i d e n tify the conf iguratio ns  of ship s. As fo r se arch  stra tegy, a slidin g- wind ow exha ustive se arch  is an advisab le choi ce.     2.1. Appea r a n ce Model   Feature represe n tation i s   critical to th e  perfo r m an ce o f  a  tr ack e r .  O u r tr ac ke r   u s es  th e  HOG  feature s  to  rep r e s e n t ea ch  ship  of inte rest a nd SVM to o b tain thei r ap pearan ce m o del   r e spec tively.  HOG featu r e s  mea s ure the magnitud e  and the  orie nt of the image  gradi ent. Actually, we   first assum e  to divide the image pat ch i n to many  8*8  pixel cells wi thout overlap p ing. Then  we   cal c ulate th e  gradi ent in e a c h  cell u s in g the sim p le  [-1, 0, 1] masks for ho ri zontal  dire ction a nd  [- 1, 0, 1] ’  for  vertical  direct ion. Each pix e l calculate s  a  weig hted  vote for a n   edge  ori entat ion   histog ram  ch annel ba se d on the orie ntation of  the gradi ent ele m ent cente r e d  on it, and the  votes a r e a c cumul a ted i n to (u nsi gne d) orie ntati on b i ns ove r   cell s. Thirdly, ea ch two  adja c e n t  cell s  comp rise a bl ock. Th e hi stogram  of gra d ient   of those blo c ks wo uld b e  n o rmalize d   with  the   L2-n o rm  re sp ectively. Finally, by simply jointing  all hist ogra m s of blo c ks, we  can o b tain the HO G  feature s  of the obje c t.  Dalal - Tri g g s  detecto r sh o w s  optim al  p e rform a n c e  in the  practi cal ap plication s  by  many  schola r s. In  a ddition,  HOG   feature s  al so   have ma ny th eoreti c al  adv antage s. Fi rst l y, it count s f o r   not only the hori z ontal  an d vertical di re ction s  but  al so many othe r dire ction s  so  as to de scri be  the ship s mo re pre c isely. Seco ndly, it is illumi nation - in variant due to  the normali zation and that   i t   works o n  the   relatively sm all pat che s  th at call ed  cell s. Both of the m  are h e lpful  for u s  to  mo del  those  ship s a ppea ran c e eff e ctively.  Next, we ta ke advanta ge  of the typical  linear SVM to model  ea ch shi p . Line a r  SVM is  t he simple st   sup port  v e ct or ma chin e.  I t  classi fie s  l a rge n u mb er of sample s  into two types,  positive or n e gative that labeled wi th 1  or 0, with a linear di scrimi native functio n . Acco rdin g to   maximum m a rgin  prin cipl e, we can fi nally  obtain the  co rrespo nding  weig ht output as  our  appe ara n ce model s by a certai n amo u n t of training sampl e s  with kno w n la bels.      2.2. Mutual Relatio n  Mo del Base d o n  Deformabl e  Part Model   The multiple  ship tra c king  framework we ad opt is the mutual rel a tion model [ 16]. We  denote  all th e  shi p s of inte rest a s  V. E a ch ship  patch i V  is re pre s ented as  O i  = { x i , w i , h i } w i th   c e n t er  loc a tion   x i = ( x i , y i ), width  w i  a n d  height  h i . T hen th e mo d e l can b e  int u itively described  usin g (1 ).    () ( ) , (i , j ) E (O ) , ii i i j i j iV f wO w O O fj ÎÎ =· + · åå           ( 1 )     Whe r e  ( ) i O f is the  HOG fe ature  vector exa c t ed from im ag e  I  corre s p o n d ing to  ship  patch es.  ( ) , ij OO j  is the  mutua l  relatio n  vect or b e twe en  i O  and  j O  that de scrib e s ho w m u ch i m pa ct  one o b je ct h a s o n  an oth e r on e.  i w  and  , ij w  are the relational  wei ghts that b a l ance all  intera ction s  o f  object s  and  the re spon ses of ea ch  o b ject.  G = ( V, E ) rep r e s ent s the relation al  grap h wh ose node s  V  are  obje c ts an d e dge s  e ij  indicate mutual rel a ted obje c ts.    Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 11, Novem ber 20 14:  77 72 – 777 7   7774 Actually, we  cho o se the  spring   chan ge  bet ween  two obj ect s  a s  the m u tual  relatio n   vectors. Th e n  we  can  de fine a  score  of  an asso ci ated c onfig uration C=  ( 1 O ,  2 O ,… V O ) a s   follows :  () 2 , (i , j ) E (C ) ( ) ii i j i j i j iV sO w bf ÎÎ =· - · - - åå wx ， x e         ( 2 )     Whe r e th e fi rst te rm in  the ri ght  side  of (2 ) i s  th e ap pea ran c e sco r e th at mea s u r e s  t he  compatibility between the  obser ved im age patches and the  object  patches. Especi a lly,  i w ar e   the HOG  feat ure  weights.   The  se co nd t e rm i s  t he  de formabl e  sco r e th at calcul ates th e  sp ri n g   cha nge  bet ween th e o b se rved o b je cts l o catio n s an d  the groun d truth lo cation  o f  those  obj ect s .  H e re  we  c ons id er  th e   , ij w  as a hyper-pa r a m eter an d se t    i, j  :  , ij ww = . The n  all paramet ers  can b e  rep r e s ented by  =( i w ,  |V| w , 1 , . .., E ee ).  The tra cki ng  output is the config urati on  that maximizing  (2) a nd this ca n be found   efficiently usi ng dyna mic  p r og ramin g . O b viously, t he  smalle r the  spring  chan ge  is, the  clo s e r   our  track i ng output is  to the true loc a tion.    2.3. Learnin g   In our t r a c ker, learni ng aim s  to u pdate  p a ram e ters    with pos i tive  (i.e. objec t of  interes t   sele cted fro m  the first frame an d the  output co nfiguratio ns i n  previou s  fra m es) and  ne gative  config uratio n s . We ad opt  the favora bl e structu r ed   SVM to upd ate mod e l p a ram e ters  wi th  a   gradi ent de ce nt method. Similar to [ 17], we defin e the  stru cture d  SVM loss   as  follows :      ( , ) m a x (s ( ) (C ) ( C , )) C CC s C ib b b =- + D ， ，         ( 3 )     Whe r e  C  is the  grou nd truth  and  C  is a particular  co nfig uration.  (, ) CC D  is  the loss  func tion  that indicate s the accu ra cy  of the predi ction.  (, ) CC D =0 if   CC = , or  (, ) CC D >0. Equation  (3)  attempts to le arn  a set of weight pa ram e ters    so th at the configu r ati on sco r e  of the ground  trut h  part lo catio n s is  greater th an the  sco r e   of any oth e r  possibl e  confi guratio ns of p a rt lo cation  b y  at  least  (, ) CC D , which  enco d e s  the penalty of  predi cting configuration s   C . Obvious ly, the  stru ctured S V M loss   is  convex in  pa ramete r  , b e ca use it is t he maximum  of a set of a ffine  function s.   The g r adi ent  of the structu r ed SVM lo ss in  (3)  with  respe c t to m odel p a ra met e rs   is   s h ow n  as  ( 4 ) .     * (, ) ( C ) ( C ) Cs s bb b ib b b Ñ= Ñ - Ñ ， ，               ( 4 )     Whe r e the ne gative config uration  * C  is given by:     * ar g m ax ( ( ) ( C , ) ) C CC C sb =+ D ，                         (5)    Ho wever, ta ki ng the tra d e - off betwee n  the  ap pea ran c e score an d the defo r matio n  score  into accou n t, we re define t he neg ative appea ran c e  score a s  follows:    () (C ) ii iV O s bf Î =· å w ，                             (6)    As a re sult, the sea r ching d i rectio n  p  for l earni ng is d e fined a s :    * (C ) ( C ) s ps bb b b =Ñ - Ñ ， ，                           (7)  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Rob u st Multip le Ship Tra cki ng in Inland  Wate rwa y  CCTV System   (Fei Te ng)  7775   And a pa ssin g-ag gressive  algorith m  [19 ]  is  used to p e rform  the p a r amete r s upd ate as  sho w n in ( 8 ).   2 (, ) 1 || | | 2 C p p K ib bb ¬- +                            (8)    Whe r e K  ∈  (0 , +  ∞ ) is a  hyper-pa r am eter that cont rols  the “agg ressivene ss”  of the param eter  update.       3. Experimental Re sults   To verify our multiple shi p  trackin g  m e thod, we te st on 3 CCTV videos in  inland   waterway. Fi gure 1  sho w s the experime n tal results.   In CCTV 1, t h ree  shi p s a r e sele cted  wi th the colo rful  boundi ng b o x es in the first frame .   All the three ship s are wit h  different a ppea ran c e s   and moving i n  the sam e  dire ction s . In the  scene  that i s   simple  an d with out  shi p  o ccl us i on, in-pla ne rotat i on  a nd so  on,  ou r  tracker  demon strates excellent mul t iple ship tra c king p e rfo r ma nce.   In additio n , in  CCTV 2,  we   sho w  t w o  shi p s trac kin g  in  the  ca se  of p a rtial o c clu s io n. The  two target  shi p s move in th e oppo site direction s . Du e to the appli c at ion of spatial  con s trai nts, we   can effe ctively identify th e ship b e ing  partial o ccl uded u s in g the shi p s tha t  are not bei ng   occlud ed.   CCTV  3  s u ffers  f r om the in-plane rotation. G enerally  speaki ng, shi p s in inland  waterwa y   are al ways  sailing in a re latively slow spe ed. As a  result, even  suffering fro m  the in-pla ne  rotation, the  appe ara n ce  of ship i s  alm o st with  little cha nge. On t he othe r han d, with the m odel  para m eters l earni ng  and   updatin g, ou r tra c ker can  effectively ad apt to th e a p pearan ce  ch a nge,  thus to pe rform robu st mult iple shi p  tracking.          CCTV 1  (Fra me 1/38/287/ 554in  seq uen ce)  Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 11, Novem ber 20 14:  77 72 – 777 7   7776     CCTV 2  (1/60 / 127/307 in  seque nce)          CCTV 3  (Fra me 1/98/150/ 282 in sequ e n ce )    Figure 1. Experime n tal Re sults  wi th Mul t iple Ship Tracki ng      4. Conclusio n   In this pape r, we pro p o s e  a robu st mult iple shi p  tracking meth od  in inland  wat e rway.  Benefitting from HOG fe ature s  a nd t he line a r  S V M, we  can  effectively model th e ship s  appe ara n ces.  More over, th e mutual  rela tions b a sed o n  the defo r m able p a rt mo del ma ke g r e a t  contri bution t o  utilize the spatial co nstraints to accom p lish multiple  ship tracing. Accordi ng to th e   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Rob u st Multip le Ship Tra cki ng in Inland  Wate rwa y  CCTV System   (Fei Te ng)  7777 theoreti c al  di scussio n  a n d  the exp e rim ental resu lts,  we  can  co n c lud e  that  o u r m u ltiple  ship   tracke r is  suit able for the i n land  wate rway and d e mo nstrate s   outst andin g  multip le shi p  tra c ki ng  perfo rman ce.  In future wo rk,  we  aim to  explore  the  filter meth od t hat can  opti m ize  ou r tra c ker  with the rob u s t perfo rman ce in seri ou s o ccl usi on.       Ackn o w l e dg ements   The autho rs  woul d like to  thank the e d itor and reviewe r s for the i r valuable co mments  and  sugg esti ons th at lead  to an improved man u scrip t.  This wo rk is supp orted  by the Nation al   Scien c e Fo un dation of Chi na (NS F C 51 2791 52).       Referen ces   [1]    Julia  A  Lass e r r e, Christ oph e r  M Bish op, T homas  P Mi nk a.  Princ i pl ed   Hybrids  of Ge nerativ e a n d   Discri m i native Mode ls.  Proc. of CVPR, Ne w   York. 2006; 8 7 - 94.  [2]    A Balan, M Black.  An ad ap tive app ear an ce mode l ap p r oach for  mo d e l-b a sed  articulate d ob ject   tracking.  Proc. IEEE Conf. Computer Visi on  and Patter n  Re cogn ition, N e w  York. 2006: 75 8–7 65.   [3]    MJ Black, A D   Jepso n . Ei gen T r acking: Rob u st ma tchi ng  a nd track i ng  of   articul a ted  ob j e cts usi n g   a   vie w -b ase d  rep r esentati on.  Intl J. Com p uter  Vision . 199 8; 26(1): 63– 84.   [4]    D Ross, J  Lim ,  RS Li n, MH  Yang. Incr eme n tal l ear nin g  f o r rob u st visu al tracki ng.  Intl J. Com p uter  Vision . 200 8; 77(1): 125 –1 41.   [5]    A Adam, E Rivlin, I Shimshon i. Robust frag m ents-bas ed trackin g  usin g the integr al histo g ram.  CVPR ,  Ne w  York. 20 0 6 : 798– 80 5.  [6]    SMS Nej hum,  J Ho, MH Y a ng. Visu al trac ki ng  w i th histo g rams  a nd arti culati ng blocks .  In  CVP R,   Anchor ag e, AK. 2008; 1-8.   [7]    F e i T eng, Qing Liu. Multi-sca l e  ship  tracki ng  via ran dom pro j ectio n s. In  SIV P . 2014; 8(3).   [8]    B Babe nko, M H  Yang, S Be l ong ie. Ro bust  obj ec t tracking  w i t h  on li ne mul t iple i n stanc e l earn i ng.  IEEE   T r ans. Pattern Analys is and M a chi ne Intel lig e n ce . 201 1; 33( 8): 1619 –1 632.    [9]    H Grabn er, C  Leistn e r, H Bi schof. Semi-su per vis ed o n -li n e bo ostin g  for  robust tracki n g . In  ECCV ,  Marseil l e-F r an ce. 2008: 2 34– 247.   [10]    Z  Kalal, J  Mata s, K Mikol a jcz yk. P-n le arni ng:  B ootstrappingbinar y  classifiers  b y  structura l  constrai nts.   Proc. IEEE Conf. Computer V i sion  and P a ttern Reco gniti on ,  San F r ancisco , CA. 2010: 49 –56.   [11]    N Dal a l, B T r iggs. Histogr ams  of  orie nted gr adi ents forhum an d e tectio n.  Proc. IEEE Conf. Computer   Visio n  and P a ttern Rec ogn it io n. San Die go,  CA. June 20 05 ; 886–8 93.   [12]    Qiang Z hu, Ye h MC, Avidan  S. F a st Huma n De tectio n Using a Casc ad e  of  Histograms  of Oriented  Gradients.  IEEE Com p uter S o ciety Conf erence on Computer Visi on and Pattern Rec ognition , Ne w   York. 2006; 2;  149 1-14 98.   [13]    P F e lzensz w a l b, D McAllest er. “A discrimi nat ive l y  tra i n e d , multiscal e , deforma ble  pa rt model,” In   CVPR , Anchor age, AK. June  200 8. pp. 1-8.   [14]    S Brans on, P  Peron a , S Be l ong ie, “Stron g  superv i si o n  fro m   w eak  a nnot ation: Inter a cti v e trai nin g  o f   deforma ble p a r t  models,” In  Proc. IEEE Int.  Conf. Com p uter Vision , Barce l ona .  Jun e  20 1 1 , pp. 183 2– 183 9.  [15]    Lu Z h an g, La urens  van  d e r  Maate n .  “Structure  preserv i ng  ob ject trac king.  IEEE Conferenc e  on  Co mp uter Visi on an d Pattern  Recog n itio n . Portlan d , Orego n. 2013. p p . 18 38-1 845.   [16]    Genqu an D u a n , Haizh ou Ai , Song Cao,  and Sh ih ong  Lao. “Group  T r acking: “Exp lorin g  Mutua l   Relati ons for M u ltipl e   Object Tracking. In  ECCV . F l orence.  October 201 2; 129- 143.   [17]   A Yilmaz, O Javed, M Shah. Object tracking : A surve y ,”  AC M Computi ng  Surveys . 200 6;  38(4):   [18]    I T s ochantarid is, T  Joachim s , T  Hofmann , Y  Altun.  Lar ge M a rgi n  M e thods for  Stru ctured  an d   Interdep en dent  Output Variab l e s.  JMLR . 200 5; 6: 1453- 148 4.  [19]    K Crammer, O  Dek e l, J K e sh et, S Sha l ev-S h w ar tz, Y S i ng er. Onli ne  pas sive-a ggress i v e  a l gor ithms .     Journ a l of Mac h in e Le arn-i ng  Rese arch . 20 0 6 ; 7: 551– 585.       Evaluation Warning : The document was created with Spire.PDF for Python.