I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 8 ,   No .   2 ,  Ma y   20 2 5 ,   p p .   997 ~ 1 0 0 9   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 3 8 . i 2 . pp 997 - 1 0 0 9           997     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   M ulti - ca mera  mu lti - perso n  trackin g   with  DeepS O R T a nd  M y SQ L       Sh a s ha nk   H o ra k o dig e  R a g h a v endra 1 ,   Ya s ha s v i So ra pa lli 1 ,   Neha s hri P o o j a r  S .   V . 1 ,   H rit hik   M a dd ira la 1 ,  Ra m a k a nth  K um a r   P . 1 ,   Azr a   Na s re en 1 ,   Nee t a   T riv edi 2 ,   Ash i s h Ag a rwa l 2 ,  Sree la k s hm i   K. 1   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   R V   C o l l e g e   o f   En g i n e e r i n g ,   B a n g a l o r e ,   I n d i a   2 I n f e r i g e n c e   Q u o t i e n t   P r i v a t e   Li m i t e d ,   B a n g a l o r e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   21 ,   2 0 2 4   R ev is ed   Oct   31 ,  202 4   Acc ep ted   No v   11 ,   2 0 2 4       M u lt i - c a m e ra   m u lt i - o b jec t   trac k i n g   re fe rs  to   t h e   p ro c e ss   o f  sim u lt a n e o u sl y   trac k in g   n u m e ro u s   o b jec ts  u sin g   a   n e two r k   o f  c o n n e c ted   c a m e ra s.  Co n stru c ti n g   a n   a c c u ra te  d e p ictio n   o f  a n   o b jec t ’ s  m o v e m e n ts  re q u ires   th e   a n a ly sis  o f  v id e o   d a ta  fr o m   m a n y   c a m e ra   f e e d s,  d e tec ti o n   o f  it e m s  o f  in tere st,   a n d   t h e ir   a ss o c iatio n   a c ro ss   v a rio u s  c a m e ra   p e rsp e c ti v e s.  T h e   o b je c ti v e   is  to   a c c u ra tely   e stim a te  th e   traje c to ries   o f  th e   o b jec ts  a s  th e y   n a v i g a te  th ro u g h   a   m o n it o re d   a re a .   It  h a s  se v e ra l  u se s,  in c l u d i n g   su r v e il lan c e ,   ro b o t ics ,     se lf - d riv i n g   c a rs,  a n d   a u g m e n ted   re a li ty .   T h e   c u rre n t  v e rsio n   o f  a n   o b jec t   trac k in g   a lg o rit h m ,   De e p S ORT ,   d o e sn ’ t  a c c o u n t   fo r   e rro rs  c a u se d   b y   o c c lu sio n   o r   imp lem e n tatio n   o f  m u lt ip le  c a m e ra s.  In   t h is  p a p e r,   De e p S ORT  h a s  b e e n   e x t e n d e d   b y   i n t r o d u c i n g   n e w   s t a t e s  t o   i m p r o v e   t h e   t r a c k i n g   p e r f o r m a n c e   i n   s c e n a r i o s   w h e re   o b j e c t s   a r e   o c c l u d e d   i n   t h e   p r e s e n c e   o f   m u l t i p l e   c a m e r a s .   T h e   c o m m u n i c a t i o n   o f   t r a c k   i n f o r m a t i o n   a c r o ss   m u l t i p l e   c a m e r a s   i s  a c h i e v e d   w i t h   t h e   h e l p   o f   a   d a t a b a s e .   T h e   s u g g e s t e d   s y s t e m   p e r f o r m s   b e t t e r   i n   s i t u a t i o n s   w h e r e   o b j e c t s  a re   o c c lu d e d ,   w h e t h e r   d u e   t o   o b j e c t   o c c l u s i o n s   o r   p e rso n   o c c lu sio n s.   K ey w o r d s :   Dee p SOR T   Kalm an   f ilter   Ob ject   Occ lu d ed   Occ lu d in g   Occ lu s io n   h an d lin g   Per s o n   Occ lu d ed   YOL Ov 4   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Azr a  Nasr ee n   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   R V  C o lleg e  o f   E n g in ee r i n g   B an g alo r e - 5 9 ,   I n d ia   E m ail: a zr an asre en @ r v ce . ed u . in       1.   I NT RO D UCT I O N   R ec en t  y ea r s   h av e  s ee n   s ig n if i ca n t  ad v an ce m e n ts   in   co m p u t er   v is io n ,   p ar ticu la r ly   in   o b ject  d etec tio n   an d   tr ac k in g ,   wh ich   ar e  v ital  f o r   ap p licatio n s   s u ch   as  s u r v eillan ce ,   au to n o m o u s   v eh icles,  v id eo   an aly tics ,   an d   h u m an - c o m p u ter   in te r ac tio n .   I n   d ee p   lear n in g ,   tr ac k in g   i n v o lv es  p r ed ictin g   th e   o b ject   p o s i tio n s   ac r o s s   v id e o s   u s in g   s p atial  [ 1 ]   an d   tem p o r al  [ 2 ]   attr i b u tes.  T h e   d etec tio n   m o d u le,   em p lo y in g   tec h n iq u e s   s u ch   as  YOL Ov 4 ,   lo ca tes  o b jects,  wh ile  th e   m o tio n   p r e d ictio n   m o d u le  f o r ec asts   f u tu r e  tr ajec to r ies  b ased   o n   p ast  b eh av i o u r .   C o m b in in g   th ese  m o d u les  e n a b les  th e  tr ac k in g   s y s tem   t o   f o l lo w  an d   an ticip ate   o b ject   m o v em en t,  p r o v i d in g   a  co m p r eh e n s iv e  u n d er s tan d in g   o f   s p atial  an d   tem p o r al  d y n am ics  [ 3 ] .   T h e  p r o ce s s   co m p r is es  two   s tag es:  d etec tio n   a n d   tr ac k in g .   Y OL Ov 4   id en tifie s   o b jects  in   th e  d etec tio n   s tag e,   an d   Dee p SOR T   [ 4 ] ,   an   ex ten s io n   o f   th e  SOR T   [ 5 ]   alg o r ith m ,   is   u s ed   f o r   tr ac k i n g .   D ee p SOR T   in teg r ates   d ee p   lear n in g   tech n iq u es,  in cl u d in g   Kalm an   f ilt er s   f o r   m o ti o n   p r ed ictio n   an d   f r am e - by - f r am e  d ata  ass o ciatio n   u s in g   th e   Hu n g a r ian   m eth o d   [ 6 ] .   An   ap p ea r an ce   d escr ip t o r ,   e x tr ac ted   t h r o u g h   C NNs,   m in im is es  id en tity   s witch es  b y   en co d in g   u n iq u e  v is u al  ch ar ac ter is tics .   T h i s   in teg r ated   ap p r o ac h   en s u r es  ef f icien t  tr ac k in g ,   ac cu r ate  co n tin u ity ,   an d   a  r o b u s t so lu tio n   f o r   m u ltip le  o b ject  tr ac k in g   ( MO T )   task s   [ 7 ] .   Desp ite  th ese  ad v an ce m en ts ,   o b ject  tr ac k in g   in   m u lti - ca m er a  en v ir o n m en ts   p r esen ts   s ig n if ican t  ch al   len g es.  On e  m ajo r   is s u e  is   o cc lu s io n   [ 8 ] ,   wh er e  o b jects  m a y   b e  p ar tially   o r   co m p letely   h id d en   f r o m   v iew,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 8 ,   No .   2 ,  May   20 2 5 :   9 9 7 - 1 0 0 9   998   co m p licatin g   t h e  tr ac k i n g   p r o ce s s .   C u r r en t  tr ac k in g   s y s tem s   o f ten   s tr u g g le  with   m ain tain in g   o b ject  id en titi es  an d   c o n tin u ity   in   th e  p r esen ce   o f   o cc lu s io n s   o r   wh en   o b jects  m o v e  ac r o s s   o v er lap p in g   ca m er a  v iews.    T h is   ch allen g e  is   f u r th er   co m p o u n d ed   in   m u lti - ca m er a  s etu p s   wh er e  s y n ch r o n is atio n   an d   d ata  in teg r atio n   a r e  cr u cial  f o r   ac cu r ate   tr ac k in g .   Var io u s   ex ten s io n s   an d   ad ju s t m en ts   h av e  b ee n   p r o p o s ed   in   r ec en t  r esear c h   to   en h an ce   tr ac k in g   ac c u r ac y ;   h o wev er ,   m an y   o f   th ese  tec h n iq u es  a r e  s till   u n ab le  t o   h an d le   co m p licated     r ea l - wo r ld   s itu atio n s   wh er e   c am er as  h av e   o v er lap p i n g   f iel d s   o f   v is io n   o r   o b jects  ar e  c o n s tan tly   o b s cu r ed .   Ad d r ess in g   th ese  p r o b lem s   r e q u ir es  in n o v ativ e  s o lu tio n s   to   en h an ce   th e  r o b u s tn ess   o f   tr ac k in g   alg o r ith m s ,   p ar ticu lar ly   in   c o m p lex   s ce n ar io s .   T h is   s tu d y   p r o p o s es  a  n o v el  s tr ateg y   to   ad d r ess   ex ten d e d   o cc lu s io n ,   r ed u ce   id en tity   s witch es,  an d   in tr o d u ce   a  d ata b ase  s y s tem   f o r   s ea m less   tr ac k   in f o r m atio n   tr an s f er   b etwe en   ca m er as.  T h is   ap p r o ac h   m ain tain s   a  u n iq u e  I D  f o r   a  p er s o n   ac r o s s   ca m er as  ev en   in   ch allen g in g   s ce n ar io s .   B y   co m b in in g   th ese  m eth o d o lo g ies,  th is   s tu d y   co n tr ib u tes to   ad v a n cin g   tr ac k in g   tech n o lo g y   an d   en h an cin g   p er f o r m a n ce   in   co m p lex   s ce n ar io s .   T h e  p a p er   is   s tr u ctu r ed   as  f o ll o ws:   s ec tio n   2 ,   Dee p SOR T   e n h an ce m e n t,  d is cu s s es  im p r o v em en ts   to   th e  Dee p SOR T   alg o r ith m   [ 9 ] ,   f o cu s in g   o n   o cc lu s i o n   h an d li n g ,   o v er lap   m an a g em en t   b etw ee n   ca m er a   v iews,  an d   id en tity   p r eser v atio n .   Sectio n   3 ,   ex p e r im en tal  s etu p ,   d et ails   th e  eq u ip m en t  an d   to o ls   u s ed ,   alo n g   with   th e  m u lti - ca m er a  v id e o   f ee d   s p ec i f icatio n s .   Sectio n   4 ,   d ata  s elec tio n ,   ex p lain s   th e  cr iter ia  f o r   d ata  in clu s io n   an d   p r o v id es  an   o v er v iew  o f   s in g le  an d   m u lti - ca m er a  f o o tag e  s ce n ar io s .   Sectio n   5 ,   m o d if icatio n s ,   o u tlin es   en h an ce m e n ts   m ad e  to   Dee p SOR T ,   in clu d in g   n ew  v ar iab les,   f ea tu r es,  an d   th e  d atab ase  s etu p   f o r   m u lti - ca m e r a  tr ac k in g .   Sectio n   6 ,   im p lem e n tatio n ,   d escr ib es  s in g le  a n d   m u lti - ca m er a  tr ac k in g   p r o ce d u r es,  em p h asizin g   o cc lu s io n   h an d li n g   an d   d atab ase  m an ag em en t.  Sectio n   7 ,   r esu lts   an d   d is cu s s io n ,   p r esen ts   em p ir ical  r esu lts   d em o n s tr atin g   th e  e f f ec tiv en e s s   o f   th e  p r o p o s ed   e n h an ce m en ts ,   d is cu s s in g   th eir   im p ac t  in   s in g le  an d   m u lti - ca m er a  en v ir o n m e n ts ,   alo n g   with   s y s tem   lim itatio n s .   F in ally ,   s ec tio n   8 ,   c o n clu s io n ,   s u m m ar izes  k ey   co n tr ib u tio n s   an d   s u g g ests   d ir ec tio n s   f o r   f u tu r e  r esear ch .       2.   DE E P SO RT   E NH ANC E M E NT   T h e  Dee p SOR T   co d e  was  m o d if ied   to   r ed u ce   i d en tity   m i s m atch es  [ 1 0 ]   in   ca s es  o f   o c clu s io n   b y   p er f o r m in g   a  v ar iety   o f   task s   s u ch   as  s to p p in g   v is u al  f ea tu r e   u p d ates  an d   th e   ad d itio n   o f   n e w  tr ac k   s tates.  T h ese   en h an ce m e n ts   in clu d e  th e  f o ll o win g :     2 . 1 .    O cc lus io n ha nd li ng   I n   th e  co n te x t  o f   o cc l u s io n   h an d lin g   [ 1 1 ]   in   a  s in g le - ca m er a  s ce n ar io ,   it  is   ess en tial   to   ad d r ess   s itu atio n s   wh er e  o n e  p e r s o n   i s   d ir ec tly   b eh in d   an o t h er   p e r s o n ,   th at  is ,   m u ltip le  p eo p le  a r e  with in   th e  s am e  b o u n d in g   b o x .   T h is   is   d o n e   to   p r ev en t   u n wa n ted   v is u al  f ea tu r e  u p d ates  th at  c an   lea d   to   co n f u s io n   a n d   id en tity   ex ch an g es a m o n g   i n d iv id u als.  I n s tead ,   s p ec if ic  m ea s u r es we r e  im p lem en ted   t o   en s u r e  ac cu r ate  tr ac k in g .     2 . 1 . 1 .   P a rt i a l a nd   co m plet e  o v er la p det ec t io n   T h e  in ter s ec tio n   o v e r   u n io n   ( I OU)   m etr ic   [ 1 2 ]   is   f r eq u e n tly   u s ed   to   d eter m in e  wh e n   p ar tial  o r   co m p lete  o v e r lap   tak es  p lace   b etwe en   two   tr ac k s   [ 1 3 ] .   T h e  am o u n t  o f   o v er lap   b etwe en   tw o   b o u n d in g   b o x es is   m ea s u r ed   b y   I OU.   I f   th e   I OU   v al u e   b etwe en   two   m atc h ed   tr ac k s   is   g r ea ter   th an   th e   I OU   th r esh o ld   ( 0 . 0 0 1 ) ,     th en   it  is   a  p ar tial  o v er lap .   I f   th e  I OU  v alu e  b etwe en   a  m atch e d   an d   an   u n m atch ed   tr ac k   is   g r ea ter   th an   th e  I OU  th r esh o ld ,   th e n   it is   a  co m p lete   o v er lap .     2 . 1 . 2 .   Sto pp ing   a pp ea ra nce  f ea t ure  up da t es   I n   ca s e  o f   th e  two   a b o v e  c o n d i tio n s   b ein g   tr u e ,   th e  tr ac k . u p d ate( )   f u n ctio n   is   m o d if ied   t o   o n ly   u p d ate   th e  m o v em e n t f ea tu r es o f   th e  p ar ticu lar   tr ac k   an d   n o t th e  a p p ea r an ce   f ea t u r es  [ 1 4 ] .     2 . 1 . 3 .   Av o idi ng   identit y   m is m a t ches   T h e  tr ac k er   r ed u ce s   th e  p o s s ib ilit y   o f   in ac cu r ate  id en tity   m is m atch es  b y   f o r g o in g   a p p ea r a n ce   f ea tu r e  u p d ates  d u r i n g   o cc lu s io n .   T h is   is   b ec au s e  wh en   n u m er o u s   p eo p le  ar e  p r esen t  in   th e  s am e  b o u n d in g   b o x ,   ap p ea r an ce   f ea tu r es  th at  s er v e  to   d is tin g u is h   b etwe en   i n d iv id u als  m ay   b ec o m e  in a cc u r ate  o r   u n clea r .     T h e  tr ac k er   ca n   p r eser v e  ea ch   p er s o n ’ s   tr ac k   a n d   r e d u ce   th e  l ik elih o o d   o f   id e n tity   ex ch a n g e s   b y   g iv in g   p r io r ity   to   m ain tain in g   t h e  Kalm an   [ 1 5 ]   m o v em e n t a ttrib u tes.       3.   E XP E R I M E N T A L   SE T UP   T o   co n d u ct  o u r   r esear ch ,   we  h ad   to   f ir s t  ca p tu r e  a  s er ies  o f   s in g le - ca m er a  f o o ta g e  an d   m u lti - ca m er a  f o o tag e.   T h ese  v id eo s   we r e  r e co r d ed   at  a   s ig n if ican t   h eig h t a n d   d is tan ce   to   allo w  th e   ca m er a  f ee d   to   b e  a b le  to   ca p tu r e  a  wid e  en o u g h   ar ea .   T h ese  v id eo s   wer e  th en   d o wn lo ad ed   in to   o u r   lap t o p s   f o r   p r o c ess in g   v ia  o u r   co d e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Mu lti - ca mera   mu lti - p ers o n   tr a ck in g   w ith   Dee p S OR T a n d   MyS QL  ( S h a s h a n k  Ho r a ko d ig e  R a g h a ve n d r a )   999   to   d eter m in e  th e  ac cu r ac y   an d   co n s is ten cy   o f   th e  co d e.   T h e y   also   allo wed   u s   to   ca p tu r e  u n k n o wn   e d g e  ca s es   an d   h el p   m o d if y   th e  c o d e  t o   b e tter   f it  th em .   W e  h ad   v id eo   f ee d s   f o r   s in g le - ca m er a   an d   m u lti - ca m er a  s itu atio n s .   B o th   th ese  ca s es we r e  h an d led   d if f er en tly   b y   im p lem en tin g   d if f e r en t m eth o d o lo g ies.     3 . 1 .    I ns t rum ent s   us ed   T ab le  1   h as  th e  s p ec if icatio n s   o f   th e  ca m er a  u s ed   f o r   s in g le - ca m er a  v id eo   f ee d .   T h ese  v id eo s   wer e  ca p tu r ed   f r o m   a  h eig h t  o f   3   s t o r ies.  T ab le  2   h as  t h e  s p ec if ic atio n s   o f   th e  ca m er a   u s ed   f o r   m u lti - ca m er a  v i d eo   f ee d .   T wo   o f   s u ch   ca m e r as  wer e  in s talled   at  a  h ei g h t  o f   4   s to r ies  with   s o m e  o v e r lap   b etwe e n   th e  two   r ec o r d in g   f ield s .       T ab le  1 .   Sam s u n g   Gala x y   M3 1 s   s p ec if icatio n s   S p e c i f i c a t i o n   D e t a i l s   D e v i c e   S a msu n g   G a l a x y   M 3 1 s   M a i n   c a m e r a   Tr i p l e :     64   M P ,   f / 1 . 8 ,   2 6 mm   ( w i d e ) ,   1 / 1 . 7 3 ” ,   0 . 8 µ m,   P D A F     1 2   M P ,   f / 2 . 2 ,   1 2 3 ° ( u l t r a w i d e )   5   M P ,   f / 2 . 4 ,   ( m a c r o )     5   M P ,   f / 2 . 4 ,   ( d e p t h )     64   M P ,   f / 1 . 8 ,   2 6 mm   ( w i d e ) ,   1 / 1 . 7 3 ” ,   0 . 8 µ m,   P D A F   F e a t u r e s   LED   f l a s h ,   p a n o r a ma,   H D R   V i d e o   r e c o r d i n g   r e so l u t i o n   UHD   4K   ( 3 8 4 0 × 2 1 6 0 )   @   3 0 f p s       T ab le  2 .   C P PLU S we ath er p r o o f   o u t d o o r   s ec u r ity   ca m er a   s p ec if icatio n s   S p e c i f i c a t i o n   D e t a i l s   M o d e l   C P   P LU S   w e a t h e r p r o o f   o u t d o o r   Ty p e   W i r e d   b u l l e t   s e c u r i t y   c a m e r a     R e s o l u t i o n   2 . 4   MP   Le n s   3 . 6   M M   f o r   w i d e   a n g l e     R e c o r d i n g   1 0 8 0 P   f u l l   HD   F e a t u r e s   D i g i t a l   w i d e   d y n a mi c   r a n g e   (D - W D R )       3 . 2 .    M ea s urem ent   f o r   m ulti - ca m er a   v ideo   f ee d   T wo   ca m er as   ( C AM 1   an d   C AM 2 )   h a v e  b ee n   s et  u p   p o in tin g   f r o m   a   h eig h t to war d s   a   f ield .   T h e   f ee d s   o f   b o th   ca m er as  h a v e  a   r eso lu tio n   o f   1 9 2 0 × 1 0 8 0 .   C AM 1   ca p tu r es  th e   lef t  ar ea ,   wh er ea s   C AM 2   ca p tu r es  th e   r ig h t.  B o th   ca m er as  h av e  an   o v er lap p in g   r eg io n   in   th e  m id d l e.   A  lar g e  p ar t  o f   th e  f ee d   b esi d e  th e  o v er lap p in g   r eg io n   h as  b ee n   u s ed   as  th e   ‘ wr itin g   r eg io n ’ .   W h en e v er   a   t r ac k   en ter s   th is   ‘ w r itin g   r e g io n ’ ,   its   f ea tu r es  a r e  wr itten   in to   th e  d atab ase,   wh ich   ar e  im m ed iately   r ea d   a n d   s to r ed   b y   th e  o th e r   ca m er a.   T h e  o v er lap   lin e  f o r   C AM 1   ex ten d s   f r o m   co o r d in ates  ( 1 6 0 0 ,   0 )   to   ( 2 0 0 0 ,   1 4 4 0 ) ,   an d   f o r   C AM 2 ,   f r o m   ( 1 2 0 0 ,   0 )   to   ( 6 0 0 ,   1 4 4 0 ) .     T h e   wr itin g   r ef e r en ce   lin e  is   d ef in ed   f o r   C AM 1   as  ( 1 9 0 0 ,   0 )   to   ( 1 9 0 0 ,   1 4 4 0 )   an d   f o r   C AM 2   as  ( 7 0 0 ,   0 )   to     ( 7 0 0 ,   1 4 4 0 ) ,   m ar k in g   th e  b o u n d ar ies o f   th is   r eg io n   f o r   b o th   c am er as.       4.   DATA S E L E C T I O N   B ef o r e  h ea d in g   i n to   th e  m o d if icatio n s   m ad e  to   th e  ex is tin g   Dee p SOR T   alg o r ith m ,   we  h ad   to   o b tain   s o m e  f o o tag e   f o r   b o th   s in g le  c am er a  an d   m u lti ca m er a  tr ac k i n g   p u r p o s es.     4 . 1 .    Da t a   s elec t io n c rit er ia   B elo w  is   th e  s elec tio n   cr iter ia  we  h ad   in   p lace   wh ile  co llectin g   f o o tag e  f o r   test in g .     4 . 1 . 1 .   Acc ept a ble   −   T h e   p e o p l e   i n   t h e   v i d e o   f e e d   a r e   o c c l u d e d :   t h is   is   o n e   o f   t h e   tw o   m a i n   p r o b l e m s   w e   t a c k l e d   in   o u r   r e s e a r c h .   −   T h e  p eo p le  in   th e   v id eo   f ee d   walk /r u n   at  v a r y in g   s p ee d s   an d   in   d if f er en t  d ir ec tio n s :  t h ese  s ce n ar io s   wer e   r eq u ir ed   in   o r d er   to   test   th e  ac cu r ac y   o f   o u r   m o d if icatio n s .   −   An y   n u m b er   o f   p eo p le  i n   th e  v id eo   f ee d :  a s   lo n g   as  th e  p eo p le  in   th e  f ee d   a r e  d etec tab le  th r o u g h o u t   th e   v id eo ,   th is   d ata  is   ac ce p tab le  a n d   with in   s co p e  o f   o u r   r esear c h .     4 . 1 . 2 .   O ut  o f   s co pe   −   T h e  m ain   o b ject  o f   tr ac k in g   is   n o t  a  p er s o n :  t h ese  m o d if ica tio n s   m ad e  to   th e  Dee p SOR T   alg o r ith m   h av e   o n ly   b ee n   test ed   o n   p eo p le  ( o b ject= p er s o n ) .   As  we  co u ld   cr ea te  as  m an y   s ce n ar io s   f o r   test i n g   b y   m o v in g   in   d if f er en t  d ir ec tio n s   at  will,  th i s   d ec is io n   was m ad e.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 8 ,   No .   2 ,  May   20 2 5 :   9 9 7 - 1 0 0 9   1000   −   T h e  p e o p le  i n   th e   f ee d   m u s t  b e  d etec tab le:  t h is   r esear ch   o n l y   f o cu s s es  o n   im p r o v in g   th e   tr ac k in g   a b ilit y   o f   Dee p SOR T .   T h er ef o r e,   it is   an   in h er en t r e q u ir em e n t th at  all  s u b jects m u s t b e  d etec tab le.   No   m o d if icatio n s   wer e  m ad e  to   YOL Ov 4 ,   th e  d etec tio n   al g o r ith m   u s ed   in   th is   r esear ch .     4 . 2 .    Sin g le - ca m er a   a nd   m ulti - ca m er a   f o o t a g e   det a ils   A  to tal  o f   s ev en   s ce n ar io s   f o r   s in g le - ca m er a  e n v ir o n m en ts   an d   ten   s ce n ar io s   f o r   m u l ti - ca m er a  en v ir o n m en ts   wer e  ca r ef u lly   d esig n ed ,   r ec o r d ed ,   an d   u s ed   as   in p u t  d ata  f o r   th e  Dee p SOR T   tr ac k in g   alg o r ith m .   T ab le  3   p r esen ts   th e  d etailed   d escr ip tio n s   o f   th e   s itu a tio n s   o b s er v ed   in   th e   s in g le - ca m er a   s etu p s ,   alo n g   with   th e   tr ac k in g   o u tco m es  u s in g   th e   o r ig in al   Dee p SOR T   alg o r ith m .   I m p r o v e m en ts   m ad e   to   t h ese  in itial  r esu lts ,   lev er ag in g   t h e  en h a n ce d   v er s io n   o f   Dee p SOR T ,   ar e  d is cu s s ed   in   s u b s eq u e n t sectio n s .   T h e  m u lti - cam er a   f o o ta g e,   ca p tu r ed   u s in g   two   s y n c h r o n ize d   ca m er as,  was  d esig n ed   t o   e n co m p ass   a  wid e  r an g e   o f   s ce n ar io s ,   r ef l ec tin g   r ea l - wo r ld   c o m p lex itie s   s u ch   as  o cc lu s io n s ,   cr o s s o v er s ,   an d   d ir ec tio n al   ch an g es.  T h ese  s ce n ar i o s   s im u late  co n d itio n s   o f ten   e n co u n ter ed   in   s u r v eillan ce   an d   tr ac k in g   ap p licatio n s ,   en s u r in g   th at  b o th   th e  r o b u s tn ess   an d   ad ap tab ilit y   o f   th e  tr ac k in g   alg o r ith m   wer e  th o r o u g h ly   ev alu ated .     A  d etailed   ac co u n t  o f   th e  s ce n ar io   d escr ip tio n s ,   al o n g   with   t h e  r esu lts   o b tain ed   u s in g   th e   e n h an ce d   Dee p SOR T   al g o r ith m ,   is   also   p r o v i d ed   i n   later   s ec tio n s .   T h is   co m b in atio n   o f   s in g le  an d   m u lti - c am er a  test s   en s u r es   co m p r eh e n s iv e  v alid atio n   o f   t h e  im p r o v e m en ts   m ad e  to   Dee p SOR T ,   d em o n s tr atin g   its   c ap ab ilit y   to   h an d l e   d iv er s e  tr ac k in g   ch allen g es e f f ec tiv ely .       T ab le  3 .   Sin g le - ca m er a  f o o tag e  an d   r esu lt d etails o n   o r ig in al   Dee p SOR T   Ev e n t   N o .   S i t u a t i o n   d e scri p t i o n   O u t p u t   1   Tw o   p e o p l e   w a l k   i n   o p p o si t e   d i r e c t i o n s a n d   c r o ss  o v e r   I D s 1   a n d   2   a ssi g n e d ;   o n   c r o ss o v e r ,   I D   1   b e c o m e s  3 ,   I D   2   b e c o m e s  1 .   2   Tw o   p e o p l e   w a l k   t o w a r d s   e a c h   o t h e r ,   t a l k ,   a n d   w a l k   o f f .   I D s 1   a n d   2   sw i t c h   b r i e f l y   a f t e r   o c c l u s i o n ;   P e r so n   1   g e t s  n e w   I D   3   p o st - i n t e r a c t i o n .   3   Tw o   p e o p l e   w a l k   o f f   a t   a c u t e   a n g l e s,  r e t u r n ,   a n d   c r o ss  o v e r .   I D   2   d i s a p p e a r s t e m p o r a r i l y ,   b u t   i s   c o r r e c t l y   re - a ssi g n e d   l a t e r .   4   O n e   p e r s o n   w a l k s ,   a n o t h e r   r u n s i n   o p p o s i t e   d i r e c t i o n s   D u r i n g   c r o ss o v e r ,   I D   2   d i sa p p e a r s   b r i e f l y   a n d   i s   r e - i d e n t i f i e d .   5   Tw o   p e o p l e   w a l k   i n   o p p o si t e   d i r e c t i o n s a n d   t u r n   r i g h t   o n   c r o ss o v e r .   I D   1   d i s a p p e a r s;   P e r so n   1   t a k e s   I D   2 ,   P e r so n   2   g e t s   n e w   I D   3 .   6   Tw o   p e o p l e   w a l k   a t   a n   a c u t e   a n g l e ;   o n e   d i st a n t   p e r s o n   r e ma i n s st a t i o n a r y .   I D s 1   a n d   2   sw i t c h   d u r i n g   c r o sso v e r   a n d   sw i t c h   b a c k   sh o r t l y   a f t e r .   7   Tw o   p e o p l e   w a l k   p e r p e n d i c u l a r l y   a n d   c r o ss   o v e r .   ID   1   d i s a p p e a r s   b r i e f l y   b u t   is   c o r r e c t l y   re - i d e n t i f i e d .       5.   M O DIFI CAT I O NS   T h e  o r ig in al  Dee p SOR T   alg o r ith m ,   th o u g h   ac cu r ate,   co u ld   n o t  ac co u n t  f o r   o cc lu s io n s .   T h is   p r o p o s ed   s o lu tio n   h an d les o cc lu s io n s   wh ile  also   m ak in g   th e   alg o r ith m   s u itab le  f o r   m u lti - ca m er a  tr ac k in g   [ 1 6 ] ,   [ 1 7 ] .     5 . 1 .    New ly   intr o du ce d v a ria bles   a nd   f ea t ures:  s ing le  ca m er a   t ra c k ing   I n   ca s e  o f   o cc l u s io n ,   th e   I D s   g iv en   to   th e   tr ac k s   wer e   a lm o s t  n ev er   m ain tain ed ,   in   th e  o r i g in al  Dee p SOR T .   T o   im p r o v e  th is ,   we  h av e  in cr ea s ed   th e  n u m b er   o f   tr ac k   s tates  b ein g   co n s id er ed   an d   ad d e d   ad d itio n al  m etad ata  f o r   b etter   u n d er s tan d i n g   o f   tr ac k s   ass ig n ed /ch an g e d .     5 . 1 . 1 .   Addi t io na l t ra ck   s t a t es   Fo u r   n ew  ad d itio n al  s tates  w er e  ad d ed   alo n g   with   th e  a v a ilab le  Dee p SOR T   s tates  o f   ‘ T en tativ e ’ ,  ‘ C o n f ir m ed ’ ,   an d   ‘ D elete d ’ .   T h e  n ew  s tates a r e:   a.   I n ac tiv e  s tate:  if   a  d etec tio n   ass o ciate d   with   a   ‘ C o n f ir m ed ’   tr ac k   h as   n o t   b ee n   d etec ted   ag ai n   f o r   o v er   ‘ m a x   ag e ’   n u m b er   o f   f r am es  ( d ef au l t  o f   6 0 ) ,   th en   its   s tate  ch an g es  to   ‘ I n ac tiv e ’   o r   else  it  will  s tay   as  ‘ C o n f ir m ed ’ .  I n   ca s e  o f   th e  o r ig in al  alo g r ith m ,   s u ch   tr ac k s   wo u ld   h av e  b e en   d elete d .   T o   im p lem en t  th is ,   a  t r ac k   is   s et  to   ‘ I n ac tiv e ’   if   its   tim e  s in ce   u p d ate  ( r ef er   ‘ Data b ase  s etu p   an d   ad d itio n s   to   c o d e ’ )   is   g r ea ter   th an   m ax   ag e.   T h e  in ac tiv e  s tate  s h o u ld   b e  tr ea ted   lik e  th e  co n f ir m ed   s tate  an d   b e  i n clu d ed   in   tr ac k   m atc h in g .   b.   Occ lu d in g   s tate:  if   a  tr ac k   m o v es  in   f r o n t o f   an o t h er   tr ac k ,   p r ev en tin g   th e   latter   tr ac k   f r o m   b ein g   d etec ted ,   th en   th e  f o r m er   t r ac k   is   s et  to   ‘ Occ lu d in g ’ .   T h e  v al u e  o f   o v er lap   b etwe en   th e  b o u n d in g   b o x   o f   th e  in v o lv ed   tr ac k s   is   u s ed   as  a  th r esh o ld   f o r   s ettin g   a   tr ac k   t o   ‘ Occ lu d in g ’ .   I f   it  is   g r ea te r   th an   ze r o   f o r   a n y   o f   t h e   u n m atch ed   tr ac k s ,   t h e  s tate  is   ch an g ed   to   ‘ Occ lu d in g ’ .   On ce   th is   v alu e  is   ze r o   ag ain ,   th e   s tate  is   ch an g ed   to   ‘ C o n f ir m ed ’ .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Mu lti - ca mera   mu lti - p ers o n   tr a ck in g   w ith   Dee p S OR T a n d   MyS QL  ( S h a s h a n k  Ho r a ko d ig e  R a g h a ve n d r a )   1001   c.   P er s o n O cc lu d ed   s tate:  if   a  tr a ck   is   h id d en   f r o m   th e  ca m e r a  b ec au s e  o f   an o th e r   tr ac k ,   th en   its   s tate  i s   s et   to   ‘ P er s o n Occ lu d ed ’ .   T h e   v alu e  o f   o v er lap   b etwe en   th is   tr ac k   an d   all  o t h er   m atch e d   tr ac k ed   is   d eter m in ed .     I f   th is   v alu e  is   g r ea ter   th an   0 ,   th en   th e  tr ac k   is   u n m atc h ed   with   a  ‘ P er s o n Occ lu d ed ’   s tate  an d   s tay s   th e  s am e  u n til  it  is   m atch ed   a g ai n .   O n ce   th is   tr ac k   is   n o   lo n g er   h id d en   a n d   d etec ted ,   its   s tate  is   ch an g ed   to   ‘ C o n f ir m ed ’ .   I f   t h is   o cc lu s io n   last s   f o r   m o r e  th an   m ax   a g e  f r am es th en   th is   tr ac k   is   m o v e d   to   ‘ I n ac tiv e ’ .   d.   O b ject O cc lu d ed   s tate:  if   a  tr ac k   is   h id d e n   f r o m   th e  ca m e r a  b y   a  s tatic   o b ject,   th en   its   s tate  is   s et  to   ‘ O b jectOc clu d ed ’ .   Ag ain ,   t h e  v alu e  o f   o v er la p   b etwe en   th is   tr ac k   an d   all  o th er   m atch ed   tr ac k ed   is   d eter m in ed .   I f   th is   v alu e  is   g r ea ter   th an   0 ,   th en   th e  tr ac k   is   u n m atch ed   with   a  ‘ O b jectOc c lu d ed ’   s tate  an d   s tay s   th e  s am e  u n til  it  is   m atch ed   ag ain .   I f   t h is   o cc lu s io n   last s   f o r   m o r e   th an   m ax   ag e  f r am es   th en   th is   tr ac k   is   m o v ed   to   ‘ I n ac tiv e ’ .     5 . 1 . 2 .   O t her  a dd ed  f ea t ures   I n   ad d itio n   to   th e  n ew  v a r iab les,  th e  u p d ated   Dee p SOR T   alg o r ith m   h as  a  co u p le  n ew  lo g ics   in tr o d u ce d .   T h ese  in clu s io n s   ar e  u s ef u l in   m ai n tain g   th e  I D  o f   th e  tr ac k   d u r in g   o cc lu s io n .   a.   Occ p air s :  a   tr ac k   in   th e  o cc lu d in g   s tate  r em ai n s   as  s u ch   u n til  it  n o   lo n g e r   o v er lap s   with   an y   tr ac k s   p r e d icted   b o x .   Su p p o s e,   i f   tr ac k   A  o cc lu d es  tr ac k   B   f o r   a  lo n g   e n o u g h   tim e,   tr ac k   B ’ s   p r e d icted   b o x   co u ld   m o v e  o u t   o f   th e   o v er lap   ca u s in g   tr ac k   A  to   r e g ain   its   co n f ir m ed   s tate.   T h is   lead s   t o   tr ac k   A   b ei n g   u p d ated   with   in co r r ec t  f ea tu r es  as  th e   two   d etec tio n s   ar e  s till   o v e r lap p in g .   T o   h a n d le  th is ,   ‘ Occ p air s ’   wer e  in tr o d u ce d .   T h e  ‘ Occ p air s ’   v ar iab le  is   a  l is t  o f   p air s   in   wh ich   ea ch   p ai r   is   o f   th e  f o r m   ( Occ lu d in g I D ,   Occ lu d ed I D) .     I t is u s ed   to   m ain tain   th e  tr ac k   s tates d u r in g   lo n g   p er io d s   o f   o cc lu s io n .   I t is u s ed   to   ass ig n   ‘ Occ lu d in g ’   a n d   ‘ P er s o n Occ lu d ed ’   s tates  b ef o r e  th e   o v er lap   ch ec k .   E v e r y   tim e  an   o cc lu s io n   o cc u r s ,   th eir   r e s p ec tiv e  I Ds  ar e   ad d ed   to   th is   lis t,  an d   o n ly   wh en   th e  tr ac k   with   th e  Occ lu d ed I D  is   m atch ed   ag ain ,   th e  p air   i s   r em o v ed   f r o m   th e  lis t.   b.   T wo   alp h ab et  g en er ato r :  alo n g   with   th e  tr ac k   I D,   ea ch   tr ac k   h as  a   u n iq u e  2 - alp h a b et  co d e  g en er ated   b y   a  2 - alp h ab et   g en e r atio n   lo g ic.   E v er y   tim e   a  n ew  tr ac k   is   in it ialis ed ,   th e  g en er at o r   co d e  r u n s   an d   ass ig n s   a  lex ical  v alu e  to   it.  T h is   alo n g   with   th e  tr ac k   id   s er v es to   d is tin g u is h   b etwe en   t r ac k s .     5 . 2 .    Da t a ba s e  s et up   a nd   a dd it io ns   t o   co de:   m ulti - c a m er a   t ra ck ing   I n   o r d er   to   e x ten d   t h e  s in g le  ca m er a  tr ac k in g   ca p ab ilit y   to   m u lti  ca m er a  tr ac k in g ,   it  is   n ec ess ar y   to   r etain   in f o r m atio n   ab o u t  th e  tr ac k s   an d   co m m u n icate   th is   b etwe en   th e  ca m er as.  T h is   r eq u ir es  a  d atab ase  to   s to r e  th e  co m m u n icatio n   d etails.     5 . 2 . 1 .   Select io n o f   da t a ba s e   B ef o r e  ch o o s in g   a   d atab ase,   a n   ex p er im e n t  was  p er f o r m ed   o v er   a  v i d eo   co n tain in g   1 0 , 0 0 0   f r am es  to   d eter m in e  th e  r ea d /wr ite  tim e s   o f   two   d atab ases ,   My SQL  a n d   Mo n g o DB .   T h e  r ea d /wr ite  tim es  m en tio n ed   in   T ab le  4 ,   ar e  t h e  tim es  tak en   t o   r ea d   a n d   wr ite  a  s in g le  f ea t u r e  v ec to r   r esp ec tiv ely   f r o m   an d   to   th e  d atab ase.   E ac h   f ea tu r e   v ec to r   co n s is ts   o f   1 2 8   v alu es.  B ased   o n   th e   r e ad /wr ite  tim es  o b tain ed   o v er   th e  1 0 , 0 0 0   f r am es,   v ar io u s   s tatis tical  v alu es  in clu d in g   m in im u m ,   m a x im u m ,   av er ag e,   v ar ian ce ,   an d   s tan d ar d   d e v iatio n   wer e   ca lcu lated .       T ab le  4 .   Per f o r m an ce   m etr ics f o r   1 0 , 0 0 0   f r a m es   M e t r i c s   M y S Q L( W )   M y S Q L( R )   M o n g o D B ( W )   M o n g o D B ( R )   M i n   1 . 1 1 4 9   ms   0 . 3 3 8 1   ms   a p p r o x .   0s   a p p r o x .   0s   M a x   4 3 . 7 8 7 4   ms   2 . 9 9 0 8   ms   2 0 1 . 6 7 7   ms   3 5 . 3 3 6   ms   M e a n   2 . 2 4 1 0   ms   0 . 8 2 6 4   ms   1 . 5 3 6 1   ms   0 . 6 3 9   ms   V a r s   0 . 0 0 9 3   ms   0 . 0 0 0 6   ms   0 . 0 0 9 9   ms   0 . 0 0 0 4   ms   S t d .   D   0 . 0 9 6 3   ms   0 . 0 2 4 6   ms   0 . 0 9 9 8   ms   0 . 0 1 9 8   ms       5 . 2 . 2 .   Schem a   T h e  s tr u ctu r e  o r   b lu e p r in t th at  s p ec if ies h o w  d ata  is   ar r an g ed ,   k ep t,  an d   ac ce s s ed   with in   a  d atab ase  is   r ef er r ed   t o   as  a  d atab ase  s ch e m a.   I t  s p ec if ies  th e  tab les,  f ield s ,   r elatio n s h ip s ,   co n s tr ain ts ,   a n d   o th e r   elem en ts   o f   th e  d atab ase ’ s   lo g ical  an d   p h y s ical  lay o u t.   T ab le  5   r ep r esen ts   th e  s ch em a  o f   th e  two   f ea tu r e  tab les  an d   th e   s h ar ed   tab le.   I t a ls o   p r o v i d es th e  attr ib u tes o f   th e   tab les.   I n   o u r   My SQL  d atab ase,   th r ee   d if f er en t ta b les ar e  m ain tain e d :   f ea tu r e  T ab le  1 :  c o n s is ts   o f   th e  tr ac k   f ea tu r es wr itten   b y   C AM 1 .   T h e  tab le  is   r ea d   b y   C AM 2 .   f ea tu r e  T ab le  2 :  c o n s is ts   o f   th e  tr ac k   f ea tu r es wr itten   b y   C AM 2 .   T h e  tab le  is   r ea d   b y   C AM 1 .   s h ar ed   tab le:  u s ed   f o r   allo win g   co m m u n icatio n   to   tak e  p lace   b etwe en   b o t h   C AM 1   an d   C AM 2 .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 8 ,   No .   2 ,  May   20 2 5 :   9 9 7 - 1 0 0 9   1002   T ab le  5 .   Data b ase  tab le  attr ib u tes   Ta b l e   n a me   A t t r i b u t e   D a t a   t y p e   D e t a i l s   F e a t u r e   t a b l e   id   i n t 3 2   S p e c i f i e s t h e   t r a c k   I D .   st a t e   i n t 3 2   S p e c i f i e s t h e   st a t e   o f   t h e   t r a c k   ( Te n t a t i v e = 1   a n d   C o n f i r me d = 2 )   f e a t u r e s   V a r c h a r   ( 3 0 0 0 )   A p p e a r a n c e   v e c t o r   ( A r r a y   of   1 2 8   v a l u e s)   f r a me   n u m   i n t 3 2   F r a me   n u m b e r   h i t s   i n t 3 2   N u mb e r   o f   t i mes   t h e   t r a c k   h a s  u n d e r g o n e   a   me a su r e me n t   u p d a t e   mea n   V a r c h a r   ( 3 0 0 0 )   8 - d i me n si o n a l   me a n   v e c t o r   c o v a r i a n c e   V a r c h a r   ( 3 0 0 0 )   8 × 8 - d i me n si o n a l   c o v a r i a n c e   m a t r i x   t r a c k   s t r   V a r c h a r   ( 2 )   R a n d o m   2 - a l p h a b e t   st r i n g   a ssi g n e d   to   t h e   t r a c k   a g e   i n t 3 2   To t a l   n u m b e r   of   f r a mes   si n c e   t h e   f i r s t   o c c u r r e n c e   of   t h e   t r a c k   o c c   id   i n t 3 2   Th e   ID   of   t h e   t r a c k   b e i n g   o c c l u d e d   by   t h i s   t r a c   S h a r e d   t a b l e   id   i n t 8   S e t   t o   1 .   U se d   o n l y   f o r   r e a d i n g / w r i t i n g   p u r p o ses   n e x t   i d   V a r c h a r   ( 2 )   U sed   t o   a ss i g n   t r a c k   I D s,  i n c r e me n t e d   ( + 1 )   b y   e i t h e r   c a mera  w h e n   a   c o mm 1   i n t 8   I n i t i a l i s e d   t o   0 .   S e t   t o   t h e   n u m b e r   o f   p e o p l e   i n   t h e   w r i t i n g   r e g i o n   b y   C A M 1   d u r i n g   i t s   w r i t e   o p e r a t i o n .   R e se t   t o   0   b y   C A M 2   a f t e r   r e a d i n g   e v e r y   r o w   i n   f e a t u r e   Ta b l e   1 .   c o mm 2   i n t 8   I n i t i a l i s e d   t o   0 .   S e t   t o   t h e   n u m b e r   o f   p e o p l e   i n   t h e   w r i t i n g   r e g i o n   b y   C A M 2   d u r i n g   i t s   w r i t e   o p e r a t i o n .   R e se t   t o   0   b y   C A M 1   a f t e r   r e a d i n g   e v e r y   r o w   i n   f e a t u r e   Ta b l e   2 .       6.   I M P L E M E NT A T I O N   T h e  Dee p SOR T   alg o r ith m ,   b a s ed   o n   th e  SOR T   [ 1 8 ]   ar ch itec tu r e,   h as  r ec eiv e d   s ig n if ican t  r ec o g n itio n   f o r   its   ca p ac ity   t o   tr ac k   o b jec ts   in   v id eo   s eq u en ce s .   I ts   ab il ity   to   in co r p o r ate   ap p ea r an ce   f ea tu r es  as  well  as  m o tio n   d ata  m a k es  it  id ea l  f o r   co m p lex   tr ac k i n g   s ce n ar io s   i n v o lv in g   m an y   c am er as  an d   o cc lu s io n s .   Pre v io u s   r esear ch   h as  s h o wn   th at   Dee p SOR T   is   u s ef u l  in   a  v ar iety   o f   tr ac k in g   ap p licatio n s .   Fo r   ex a m p le,   r esear ch   h as   s h o wn   th at   Dee p SOR T   o u tp e r f o r m s   c o m m o n   tr ac k in g   ap p r o ac h es  b y   r etain in g   id e n tity   c o n s is ten cy ,   r eg ar d less   o f   d if f ic u l t sit u atio n s .   Ou r   m eth o d o lo g y ’ s   r esu lts   ar e   esp ec ially   im p o r tan t  in   r ea l - wo r ld   ap p licatio n s   lik e  s u r v eil lan ce   [ 1 9 ] ,   [ 2 0 ] ,   r o b o tics   [ 2 1 ] ,   an d   s ec u r i ty   [ 2 2 ] ,   [ 2 3 ] ,   wh er e   co n tin u o u s   tr ac k in g   ac r o s s   m an y   ca m er a  f ee d s   is   ess en tial.  T h e  en h a n ce m en ts   p r o v id e  p r ac tical  b en ef its   b y   in cr ea s in g   t h e  r eliab ilit y   an d   p r ec is io n   o f   tr ac k in g   s y s tem s   in   ch allen g in g   s ce n a r io s .     6 . 1 .    P r o ce du re   o f   im ple m ent a t io n f o r   s ing le - ca m er a   t ra c k ing   T h e  p r o ce d u r e  f o r   s in g le - ca m er a  tr ac k in g   lar g ely   f o llo ws  th e  o r ig in al  Dee p SOR T   alg o r ith m ,     with   m o d if icatio n s   in tr o d u ce d   to   im p r o v e  ac cu r ac y ,   p ar ticu l ar ly   d u r in g   o cc lu s io n s .     6 . 1 . 1 .   I nitia lis a t io n   T h e  n ec ess ar y   lib r ar ies  an d   d ep en d e n cies  f o r   Dee p SOR T   an d   YOL O  [ 2 4 ]   ( o r   a n y   o th er   o b ject  d etec to r )   ar e   lo ad ed   at  th e  s tar t.  T h e  YOL O  d etec to r   i s   in itialized   to   d etec t  o b ject s   in   v id eo   f r am es.   Ad d itio n ally ,   th e  Dee p SOR T   tr ac k er   is   in itialized   with   s p e cif ic  co n f ig u r ati o n s ,   s u ch   as  s ettin g   th e  m ax   ag e   p ar a m eter   to   6 0   f r am es a n d   c o n f ig u r i n g   th e  I OU  th r esh o ld   f o r   o v er la p   d etec tio n   ( e. g . ,   0 . 0 0 1 ) .     6 . 1 . 2 .   T ra ck ing   wit h o cc lus io n ha nd li ng   Fo r   ev er y   f r am e  in   th e  v id eo   s tr ea m ,   th e  YOL O  d etec to r   is   u s ed   to   d etec t  o b jects,  p r o v id i n g   b o u n d in g   b o x es  an d   d etec tio n   co n f id en c es.  T h ese  d etec tio n s   ar e  f ed   i n to   th e  Dee p SOR T   tr ac k er .   Fo r   e ac h   d etec ted   o b ject ,   th e  I OU  is   ca lcu lated   b etwe e n   th e  c u r r e n t  d etec tio n   an d   a ll  ac tiv e  tr ac k s .   B ased   o n   th e  I OU  an d   f ea tu r e   s im ilar ity ,   d etec tio n s   ar e  ass ig n ed   to   tr ac k s .   I f   a  d etec tio n   m at ch es  a  tr a ck ,   th e  tr ac k ’ s   p o s itio n   is   u p d ated   u s in g   Kalm an   f ilter   p r ed ictio n s .     W h en   th e  I OU  in d icate s   p ar ti al  o r   co m p lete  o v er lap   with   an o th er   tr ac k ,   th e   tr ac k   s tate  i s   u p d ated   to   eith er   ‘ Occ lu d in g ’   o r   ‘ P er s o n Occ lu d ed ’ ,   a n d   t h e  p air   o f   tr ac k s   is   a d d ed   to   th e  ‘ Occ p air s ’   lis t.  At  th is   p o in t,  a p p ea r an ce   f ea tu r e  u p d ates  f o r   th e   tr ac k   a r e  s u s p en d e d   t o   p r ev en t   id en ti ty   m is m atch es.  I f   a   d etec tio n   d o es  n o t  m atch   an y   tr ac k ,   a  n ew  tr ac k   is   in itialized ,   ass ig n ed   a  u n iq u e  I D,   a n d   g iv en   a  r a n d o m   two - alp h a b et  co d e.   Fo r   ea ch   tr ac k ,   th e  s y s tem   c h e ck s   if   th e  tim e  s in ce   u p d ate  e x ce ed s   m ax   ag e.   I f   it  d o es,  th e   tr ac k ’ s   s tate   ch an g es  to   ‘ I n ac tiv e ’   an d   is   a d d ed   to   th e   p o o l  o f   t r ac k s   av ailab le  f o r   f u t u r e  m atch in g .   I f   an   ‘ I n ac tiv e ’   tr ac k   f in d s   a   m atch in g   d etec tio n ,   its   s tate  is   r e s to r ed   to   ‘ C o n f ir m ed ’ .   T r ac k s   o cc lu d ed   b y   s tatic  o b jects  f o r   m o r e   th a n   m ax   ag e  f r am es a ls o   s witch   to   ‘ I n ac tiv e ’ .     6 . 1 . 3 .   H a nd lin g   t ra c k   s t a t es   T r ac k s   in   th e  ‘ Occ lu d in g ’   s ta te  r ev er t  to   ‘ C o n f ir m ed ’   o n ce   th ey   n o   lo n g e r   o v er la p ,   an d   th e  p air   is   r em o v ed   f r o m   t h e  ‘ Occ p air s ’   lis t.  Similar ly ,   f o r   tr ac k s   in   th e  ‘ p er s o n Occ lu d e d ’   s tate,   if   th e  o cc lu d in g   tr ac k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Mu lti - ca mera   mu lti - p ers o n   tr a ck in g   w ith   Dee p S OR T a n d   MyS QL  ( S h a s h a n k  Ho r a ko d ig e  R a g h a ve n d r a )   1003   m o v es  an d   th e   o cc lu d e d   tr ac k   i s   d etec ted   ag ain ,   th e   s tate  ch an g es  to   ‘ C o n f ir m ed ’ ,   an d   th e   p a ir   is   r e m o v e d   f r o m   th e  lis t.  I f   o cc lu s io n   p er s is ts   b ey o n d   m ax   a g e  f r am es,   th e  tr ac k   b ec o m es  ‘ I n ac tiv e ’ .   T r ac k s   in   t h e  ‘ O b jectOc clu d ed ’   s tate  ch an g e  to   ‘ C o n f ir m e d ’   wh en   d etec ted   ag ain   b u t  tr an s itio n   to   ‘ I n ac tiv e ’   if   o cc lu s io n   ex ce ed s   m ax   ag e   f r am es.     6 . 1 . 4 .   O utput   T h e  f in al  o u t p u t  co n s is ts   o f   v i d eo   f r am es  with   o v e r laid   b o u n d in g   b o x es  an d   tr ac k   I d s   [ 2 5 ] .   Op tio n ally ,   d etailed   lo g s   o f   tr ac k   in f o r m at io n   an d   s tates c an   b e  g en er ate d   f o r   a n aly s is .     6 . 2 .    P r o ce du re   o f   im ple m ent a t io n f o r   m ulti - ca m er a   t ra c k ing   T o   s u p p o r t  m u lti - ca m er a  tr ac k in g ,   ad d itio n al  ch an g es  ar e  im p lem en ted   alo n g s id e  th e  m o d i f ied   s in g le - ca m er a  alg o r ith m .     6 . 2 . 1 .   I nitia lis a t io n   L ib r ar ies  an d   d ep e n d en cies  f o r   Dee p SOR T   an d   YOL O  ( o r   o th er   o b ject  d etec to r s )   ar e   lo ad ed .   YOL O  is   in itialized   f o r   ea ch   ca m er a   to   d etec t  o b jects  in   th ei r   r es p ec tiv e  f r a m es.  A  s ep ar ate   D ee p SOR T   tr ac k er   is   in itialized   f o r   ea ch   c am er a,   with   th e  m ax   ag e   p ar am eter   s et  to   6 0   f r am es  a n d   an   I OU  th r esh o ld   o f   0 . 0 0 1 .     A  s h ar ed   d atab ase  en v ir o n m en t  is   also   estab lis h ed   to   f ac ilit ate  co m m u n icatio n   b etwe e n   th e   ca m er as,  a n d   p o ly g o n   r e g io n s   ar e  d ef in ed   to   av o id   o v er lap .     6 . 2 . 2 .   Writ ing   t o   da t a ba s e   I n   th e  tr ac k . u p d ate( )   f u n ctio n   o f   ea ch   ca m er a,   t h e  s y s tem   ch ec k s   if   th e  tr ac k   is   n o n - ten tati v e  an d   h as  v alid   f ea tu r es.  I f   th e   tr ac k   lie s   with in   th e  s p ec if ied   p o ly g o n   r eg io n ,   its   f ea tu r es  ar e   wr itten   to   th e  d atab ase ’ s  f ea tu r e  tab le.   Ad d itio n ally ,   th e  n ex t  I D  is   f etch ed   f r o m   th e   s h ar ed   tab le  to   m ain tain   u n i q u e  I D  ass ig n m en ts   ac r o s s   ca m er as.  T h e  co m m 1   an d   co m m 2   v alu es  ar e  u p d ate d   b ased   o n   th e  n u m b e r   o f   tr a ck s   in   th e  p o ly g o n   r eg io n   f o r   ea c h   ca m er a.     6 . 2 . 3 .   Rea din g   f ro m   da t a ba s e   I n   th e  tr ac k er . u p d ate( )   f u n ctio n ,   ea ch   ca m er a  u s es  th e  co m m   v alu e  to   d eter m in e  h o w  m a n y   tr ac k s   to   r ea d   f r o m   th e  f ea tu r e   tab le.   T h e  s y s tem   r etr iev es   tr ac k s   o r d er ed   b y   f r am e   n u m b er   ( in   d escen d in g   o r d er )   to   en s u r e  th e   m o s t  r ec en t  d ata  is   ac ce s s ed .   Fo r   ea ch   r etr ie v ed   t r ac k ,   if   th e   tr ac k   I D  ex is ts   lo ca l ly ,   its   f ea tu r es,   h its ,   an d   ag e  a r e  u p d ated .   I f   th e  tr a ck   is   n ew,   it is   ad d ed   to   th e  lo ca l tr ac k   o b ject  lis t.     6 . 2 . 4 .   Co mm un ica t io n bet wee n c a m er a s   C o m m u n icatio n   b etwe e n   ca m er as  is   m an ag ed   th r o u g h   th e  c o m m 1   a n d   c o m m 2   v alu es.  I f   co m m 1   is   g r ea ter   t h an   0 ,   ca m er a   2   r ea d s   f r o m   ca m er a   1 ’ s   f ea tu r e   tab le,   an d   v ice   v er s a   if   c o m m 2   is   g r ea ter   th an   0 .   I n   t h e  tr ac k . u p d ate( )   f u n ctio n ,   d ata  f r o m   o th e r   ca m er as  is   u s ed   to   u p d ate  o r   cr ea t e  n ew  t r ac k s   as  n ee d ed .   T h e  c o m m   v alu es a r e  also   u p d ated   to   e n s u r e  s m o o th   co m m u n icatio n   a n d   d ata  co n s is ten cy .     6 . 2 . 5 .   O utput   T h e  v id eo   o u tp u t  f r o m   ea ch   c am er a  d is p lay s   b o u n d in g   b o x es  an d   tr ac k   I Ds.  T r ac k   in f o r m atio n   an d   s tates  ar e   lo g g ed   f o r   f u r th er   a n aly s is .   T h is   lo g g in g   o f   tr ac k   s tates  allo w s   f o r   d etailed   ex a m in taio n   o f   o b ject  m o v em en t  an d   tr ac k in g   ac cu r ac y   o v er   tim e.   As  a  r esu lt,   a  co m p r eh e n s iv e  v iew  o f   m u lti - ca m er a  tr ac k in g   p er f o r m an ce   is   p r o v id ed .       7.   RE SU L T S AN D  D I SCU SS I O N   T h is   s tu d y   in v esti g ated   t h e  ca p ab ilit ies  o f   an   en h an ce d   Dee p SOR T   alg o r ith m   f o r   m u lti - o b jec t  tr ac k in g   in   d y n am ic  en v i r o n m e n ts .   W h ile  ea r lier   s tu d ies  h av e  ex p lo r ed   v ar io u s   tr ac k in g   m eth o d s ,   th ey   h av e  n o t   ex p licitly   ad d r ess ed   th e  in f lu en ce   o f   co n tin u o u s   id en tity   m ain ten an ce   d u r in g   o cc l u s io n s ,   a  cr itical  f ac to r   in   r ea l - wo r ld   ap p licatio n s .   T h e  m eth o d   f o llo we d   in   th is   p ap er   d em o n s tr ated   th e  ca p ab ili ty   to   ac cu r ately   i d en tify   i n d iv i d u als  an d   co n s is ten tly   ass ig n   th em   th e  s am e  I Ds,  ev en   af te r   p er io d s   o f   o cc lu s io n .   W e  f o u n d   th at   th e  e n h an ce d   Dee p SOR T   alg o r ith m   c o r r elate s   with   im p r o v ed   tr ac k in g   ac cu r ac y ,   as  e v id en ce d   b y   h ig h e r   ac cu r ac y   p er ce n tag es  ac r o s s   v ar io u s   v id e o   s eq u en ce s .   T h i s   im p r o v em e n t  is   lar g ely   attr ib u ted   to   th e   en h a n ce d   Dee p SOR T ’ s   ab ilit y   to   m ain tain   o r ig i n al  I Ds  o f   i n d iv i d u als  d u r in g   o cc l u s io n s   b y   s u s p en d in g   ap p ea r an ce   u p d ates,  t h er eb y   r ed u cin g   t h e   lik elih o o d   o f   in co r r ec t  I D  ass ig n m en ts .   T h e  u s e  o f   My SQL  t o   f ac ilit ate  th e  co m m u n icatio n   o f   tr ac k   f ea tu r es  in   o r d er   to   r ec o g n ize  o b jects  ac r o s s   m u ltip le  ca m er as  is   an o th er   k ey   in n o v atio n   o f   th is   s tu d y ’ s   ap p r o ac h .     T h ese  in n o -   v atio n s   n o t  o n l y   i m p r o v e   th e  f id elity   o f   i n d iv id u al  tr ac k in g   in   co m p lex   s ce n ar i o s   b u t  also   s et  a  n ew  b en ch m ar k   f o r   f u tu r e  r esear c h   in   th e  f ield   o f   m u lti - ca m er a  m u lti - o b ject  tr ac k in g .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 8 ,   No .   2 ,  May   20 2 5 :   9 9 7 - 1 0 0 9   1004   T h e  p r o p o s ed   m eth o d   u n iq u el y   r ep r esen ts   ea ch   p er s o n ’ s   tr a ck   s tate  at  e v er y   s in g le  f r am e,   a  f ea t u r e  th at  was  n o t  p r esen t  in   o th er   r elate d   s tu d ies.  T h is   f r am e - by - f r am e  r ep r esen tatio n   allo ws  f o r   co n tin u o u s   an d   d etailed   tr ac k in g   o f   in d iv id u al s ,   p r o v id in g   a  r ich er   d ataset  a n d   en a b lin g   m o r e  g r a n u lar   a n aly s is .   Un lik e  o th er   m eth o d s   th at   m ay   s k ip   f r am e s   o r   p r o v id e  i n co m p lete   d ata,   th is   ap p r o ac h   e n s u r es  th at   n o   in f o r m atio n   is   lo s t   b etwe en   f r am es,  th e r eb y   e n h a n cin g   th e  ac c u r ac y   a n d   c o m p l eten ess   o f   th e  tr ac k in g   s y s tem .     7 . 1 .    Sin g le  ca m e ra   re s ults   T h e  en h a n ce d   Dee p SOR T   alg o r ith m   c o n s is ten tly   d em o n s tr ates  s u p er io r   ac c u r ac y   c o m p ar ed   to   t h e  o r ig in al,   as  e v id en ce d   b y   h i g h er   ac cu r ac y   p e r ce n tag es  ac r o s s   all  v id eo   s eq u en ce s .   T h is   im p r o v em en t   is   lar g ely   d u e  to   th e   en h an ce d   Dee p SO R T ’ s   ab ilit y   to   m ain tain   t h e  o r ig in al  I D  o f   in d iv id u als  ev en   af ter   o cc lu s io n s ,   p r o v id i n g   m o r e   r eliab le   tr ac k i n g   in   co m p lex   s ce n ar io s .   Fig u r e  1   illu s tr ates  th e  co m p ar ativ e   p er f o r m a n ce   o f   th e   o r ig in al  a n d   en h a n ce d   Dee p SOR T   alg o r ith m s   ac r o s s   th e  s ev en   v id e o   s eq u en ce s .   T h e  lin e   g r ap h   s h o ws  ac cu r ac y   p er ce n tag es  ca lcu lated   b ased   o n   th e  p r o p o r tio n   o f   f r am es  with   co r r ec t  I D  ass ig n m en ts   r elativ e  to   th e  to tal  n u m b er   o f   f r am es in   ea ch   s in g le - ca m er a  v id e o .   Fig u r e  2   co m p ar es  I D  ass ig n m en t  b y   th e  o r i g in al  Dee p SOR T   an d   th e  p r o p o s ed   e n h an c e d   Dee p SOR T   b ef o r e  a n d   af ter   o cc lu s io n .   Fig u r es  2 ( a)   an d   2 ( b )   s h o w  th e  o r i g in al  Dee p SOR T ’ s   p er f o r m an ce   b ef o r e  a n d   af ter   o cc lu s io n ,   wh ile  Fig u r es  2 ( c )   a n d   2 ( d )   r ep r esen t  th e  e n h an ce d   Dee p SOR T ’ s   r esu lts .   T h e  co r r ec t  I D  ass ig n m en t   in   Fig u r es  2 ( c)   an d   2 ( d )   is   th e  r esu lt  o f   s to p p in g   v is u al  f ea tu r e  u p d ates  in   ca s es  o f   p ar tial  o r   co m p lete  o v er lap   o f   tr ac k s   to   p r eser v e  p r o p e r   tr ac k   f ea tu r es.           Fig u r e  1 .   Acc u r ac y   c o m p ar is o n   b etwe en   o r ig in al  an d   en h a n c ed   Dee p SOR T   f o r   s in g le  ca m e r a  v id eo               ( a)   ( b )   ( c)   ( d )     Fig u r e  2 .   I D  ass ig n m e n t u s in g ;   ( a)   o r ig i n al  Dee p SOR T   b ef o r e  o cc lu s io n   an d   ( b )   af ter   o cc lu s io n ,   an d   u s in g   th e  ( c)   p r o p o s ed   en h a n ce d   De ep SOR T   b ef o r e  o cc lu s io n   an d   ( d )   af te r   o cc lu s io n       T h e  tr an s itio n   co n d itio n s   b etwe en   two   s tates  o f   a  tr ac k ,   o b tain ed   as  a  r esu lt  o f   im p lem en tin g   th e   en h an ce d   Dee p SOR T   alg o r ith m ,   ar e  d etailed   in   T ab le  6 .   T h e  r o w  h ea d er s   r ep r esen t  th e  s tate  o f   a  tr ac k   in   th e  cu r r en t  f r am e,   an d   th e  c o lu m n   h ea d er s   r e p r esen t  th e   s tate  o f   t h e  tr ac k   in   th e   n e x t  f r a m e.   T h e   ce lls   r ep r ese n t  th e   co n d itio n s   n ec ess ar y   f o r   a  tr ac k   to   ch a n g e  f r o m   o n e  s tate  to   an o th er .   T h e  p ar am eter s   u s ed   in   t h e  D ee p SOR T   alg o r ith m   in clu d e  ‘ n   in it, ’   wh ic h   s p ec if ies  th at  a   d etec tio n   m u s t  b e  co n tin u o u s ly   d etec ted   f o r   th e  f ir s t  th r ee   co n s ec u tiv e  f r am es  b ef o r e  b ein g   elig ib le  f o r   tr ac k   ass ig n m en t.  T h e  ‘ m ax   ag e ’   v ar ia b le  in d icate s   th e  m ax im u m   n u m b er   o f   f r am es  a  tr ac k   ca n   g o   u n d et ec ted   b ef o r e  b ein g   m ar k ed   f o r   d eletio n ,   s et  to   6 0   f r am es  in   th is   im p lem en tatio n ;  h o wev er ,   it  tr an s itio n s   to   an   ‘ I n ac tiv e ’   s tate  r ath er   th an   a   ‘ Dele ted ’   s tate  as  in   th e   o r ig i n al  v e r s io n .   A d d itio n ally ,   ‘ tim e   s in ce   u p d ate ’   tr ac k s   h o w  lo n g   a   d etec tio n   h as r em ain ed   u n d etec ted .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Mu lti - ca mera   mu lti - p ers o n   tr a ck in g   w ith   Dee p S OR T a n d   MyS QL  ( S h a s h a n k  Ho r a ko d ig e  R a g h a ve n d r a )   1005   T ab le  6 .   State  m atr ix   C u r r e n t   N e x t   f r a me   F r a me  s t a t e   n a m e   Te n t a t i v e   C o n f i r me d   I n a c t i v e   D e l e t e d   O c c l u d i n g   P e r so n - O c c l u d e d   O b j e c t - O c c l u d e d   Te n t a t i v e   -   D e t e c t e d   a n d   t r a c k e d   f o r   n _ i n i t     D e t e c t e d   a n d   t r a c k e d   f o r   l e ss  t h a n   n  _ i n i t   -   -   -   C o n f i r me d   -   -   O u t   o f   scree n   f o r   ma x   a g e     W h e n   i t   o c c l u d e s   a n o t h e r   p e r s o n   O c c l u d e d   b y   a n o t h e r   p e r s o n   O c c l u d e d   b y   a   s t a t i c   o b j e c t   I n a c t i v e   -   B a c k   t o   scree n   a f t e r   g o i n g   o u t   f o r   g r e a t e r   t h a n   max _ a g e     D e l e t e d   i f   t i m e   si n c e   u p d a t e   g r e a t e r   t h a n   1 0 0 0   I f   t h e   t r a c k   o c c l u d e s s o me o n e   a s s o o n   a s i t   b e c o m e s a c t i v e   -   -   D e l e t e d   -   -   -   -   -   -   -   O c c l u d i n g   N o   l o n g e r   o c c l u d i n g   a n o t h e r   p e r s o n   -   -   -   S w a p   b e t w e e n   Tr a c k I D s d u r i n g   p e r s o n   o c c l u s i o n   G o e s  b e h i n d   st a t i c   o b j e c t   d u r i n g   p e r s o n   o c c l u si o n   -   P e r so n O c c l u d e d   N o   l o n g e r   o c c l u d e d   b y   a n o t h e r   p e r s o n   O c c l u d e d   b y   a   p e r so n   f o r   mo r e   t h a n   max   a g e   S w a p   b e t w e e n   Tr a c k I D s  d u r i n g   p e r s o n   o c c l u si o n   -   -   G o e s  b e h i n d   st a t i c   o b j e c t   d u r i n g   p e r s o n   o c c l u si o n   -   O b j e c t O c c l u d e d   N o   l o n g e r   o c c l u d e d   b y   a   s t a t i c   o b j e c t   O c c l u d e d   b y   a   st a t i c   o b j e c t   f o r   mo r e   t h a n   max   a g e   -   -   M o v e s fr o m   b e h i n d   a   st a t i c   o b j e c t   t o   b e h i n d   a   p e r s o n   -   -       7 . 2 .    M ulti - ca m er a   re s ults   I n   th is   s ec tio n ,   we  p r esen t  th e   r esu lts   o b tain ed   f r o m   th e  m u l ti - ca m er a  tr ac k in g   s y s tem ,   em p h asizin g   th e  s itu atio n s   r ec o r d ed   an d   th e ir   r esp ec tiv e  o u tp u ts .   T ab le  7   d etails  v ar io u s   s ce n ar io s   ca p tu r ed   b y   th e  ca m e r as.  T h e  h i g h er   I Ds  ( g r ea ter   th an   2 )   in   th e   r esu lts   ca n   b e   attr ib u ted   to   m is s in g   d etec tio n s   at   th e  b e g in n in g   o f   th e   o b s er v atio n   p er io d ,   wh ich   lea d s   to   th e  cr ea tio n   an d   m ain ten an ce   o f   th ese  h ig h er   I D  v alu es .   Fig u r e  3   illu s tr ate  th e   o u t p u ts   ca p tu r e d   d u r n g   E v en t   5   ( as  d escr ib ed   in   T ab le   7 ) .   T h ese   F ig u r es   3 ( a)   an d   3 ( b )   s h o wca s e  th e   r ea l - tim e  tr ac k in g   r esu lts   f r o m   b o t h   ca m er as,  h ig h lig h tin g   h o w  Per s o n   1   ( with   I D  3 ( o x ) )   an d   Per s o n   2   ( with   I D  2 ( d u ) )   a r e  ass ig n ed   a n d   m ain tain ed   th e ir   r esp ec tiv e  I Ds  wh ile  tr a n s itio n in g   f r o m   C AM 1   to   C AM 2   in   a  s im u ltan eo u s   h o r izo n tal  m o v em en t.       T ab le  7 .   Mu lti - ca m e r a  r esu lt d etails   Ev e n t   N o .   S i t u a t i o n   d e scri p t i o n   O u t p u t   1   P e r so n   A   w a l k s   h o r i z o n t a l l y   f r o m   C A M 1   t o   C A M 2   C A M 1 :   I D 1 ( g j )   m a i n t a i n e d ;   C A M 2 :   S a me  I D 1 ( g j ) .   2   P e r so n   A   w a l k s   h o r i z o n t a l l y   f r o m   C A M 2   t o   C A M 1   C A M 1 :   I D 1 ( h v )   m a i n t a i n e d ;   C A M 2 :   S a me  I D 1 ( h v ) .   3   P e r so n   A   w a l k s   d i a g o n a l l y   f r o m  t o p - l e f t   C A M 1   t o   b o t t o m - r i g h t   C A M 2 .   C A M 1 :   I D 4 ( w k )   mai n t a i n e d ;   C A M 2 :   S a me  I D 4 ( w k ) .   4   P e r so n   A   w a l k s   d i a g o n a l l y   f r o m  b o t t o m - r i g h t   C A M 2   t o   t o p - l e f t   C A M 1 .   C A M 1 :   I D 1 ( mz) mai n t a i n e d ;   C A M 2 :   S a me  I D 1 ( mz).   5   P e r so n s A a n d   B   m o v e   h o r i z o n t a l l y   f r o m  C A M 1   t o   C A M 2 .   C A M 1 :   I D s 3 ( o x ) ,   2 ( d u ) ;   C A M 2 :   S a me  I D s.   6   P e r so n s A a n d   B   m o v e   h o r i z o n t a l l y   f r o m  C A M 2   t o   C A M 1   C A M 2 :   I D s 1 ( p m) ,   2 ( c l ) ;   C A M 1 :   S a me  I D s   7   P e r so n   A   w a l k s   f r o m   C A M 1   t o   C A M 2 ;   P e r so n   B   f o l l o w s  a f t e r   C A M 1 :   A   g e t s   I D 1 ( p f ) ;   C A M 2 :   B   g e t s I D 2 ( u s)   a f t e r   A   e x i t s   8   P e r so n   A   w a l k s   f r o m   C A M 2   t o   C A M 1 ;   P e r so n   B   f o l l o w s  a f t e r   C A M 2 :   A   g e t s   I D 1 ( o i ) ;   C A M 1 :   B   g e t s I D 2 ( w y )   a f t e r   A   e x i t s   9   P e r so n s A a n d   B   w a l k   d i a g o n a l l y   t o w a r d s  o p p o si t e   c o r n e r s   C A M 1 :   A   g e t s   I D 4 ( y r ) ;   C A M 2 :   B   g e t s I D 1 ( y x )   10   P e r so n   A   o c c l u d e s   P e r s o n   B,   b o t h   m o v e   to   C A M 1 ,   t h e n   s p l i t   C A M 2 :   I D s   1 ( o a ) ,   2 ( o w ) .   A   o c c l u d e s   B,   w h o   g o e s   i n a c t i v e   a f t e r   6 0   f r a mes .   C A M 1 :   A   n e w   d e t e c t i o n   b o x   m e r g e s  t h e m  i n t o   I D 8 ( l r ) .   I D s 1 ( o a ) ,   2 ( o w )   r e st o r e d   a f t e r   s p l i t t i n g .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 8 ,   No .   2 ,  May   20 2 5 :   9 9 7 - 1 0 0 9   1006     ( a)       ( b )     Fig u r e  3 .   Ou t p u ts   f o r   e v en t 5   ( d escr ib ed   in   T a b le  7 ) ;  ( a )   f r o m   C AM 1   an d   ( b )   C AM 2   s h o win g   tr ac k in g   r esu lts   an d   I D  ass ig n m en t       7 . 3 .    Ca v ea t s   a nd   lim it a t io ns   W h ile  th e  p r o p o s ed   m eth o d   a d v an ce s   m u lti - o b ject  tr ac k in g ,   s ev er al  lim itatio n s   wer e  en co u n ter ed   i n   th e  s tu d y ,   h i g h lig h tin g   ar ea s   f o r   p o te n tial r ef in em e n t a n d   f u t u r e  r esear ch :   −   I n co r r ec t  a s s ig n m en t  o f   ‘ O b j ec tOcc lu d ed ’ :  a   p er s o n   m ay   b e  m is class if ied   a s   ‘ O b jectO cc lu d ed ’   d u e  to   d etec tio n   lap s es o r   m o v in g   o b j ec t o cc lu s i o n s ,   ca u s in g   in c o r r e ct  ass u m p tio n s   o f   s tatic  o cc lu s io n .   −   I n co r r ec t  a s s ig n m en t  o f   ‘ Occ l u d in g ’ :  t h e  s y s tem   d eter m i n es  o cc lu s io n   u s in g   I OU  b ased   o n   b o u n d in g   b o x   o v er lap .   Ho wev e r ,   it  m ay   lab el  a  p er s o n   as  ‘ Occ lu d in g ’   ev en   wh en   th e  o b ject  ca u s in g   th e  o v er lap   is   h id d en ,   r esu ltin g   in   in ac cu r ate  tr ac k in g   s tatu s es.   −   Ov er lap   r eg io n   d ilem m a:  wh en   a  p er s o n   en ter s   th e  o v er la p   r eg io n   b etwe en   two   ca m er as  with o u t  p r io r   d etec tio n ,   th e y   m ig h t   b e  ass ig n ed   d if f er e n t  I Ds  in   ea ch   v iew  d u e  to   th e   lack   o f   d atab ase  i n f o r m atio n ,   u n d er - s co r in g   th e  n ee d   f o r   b etter   i d e n tity   tr ac k in g   ac r o s s   ca m er as.   −   No t  en ter in g   wr itin g   p o ly g o n :   if   a  p er s o n   ex its   ca m er a   1   with o u t  e n ter in g   th e  d esig n ated   wr itin g   p o l y g o n ,   th eir   f ea tu r es   wo n ’ t   b e  r ec o r d e d .   I f   th ey   later   a p p ea r   in   ca m er a  2 ,   t h ey   will  r ec eiv e  a   d if f e r en t  I D,   illu s tr atin g   th e  s y s tem ’ s   r elian ce   o n   p o ly g o n   r eg i o n s   f o r   f ea tu r e   r eg is tr atio n .       8.   CO NCLU SI O N   T h is   s tu d y   p r esen ts   k e y   en h a n ce m en ts   to   th e  Dee p SOR T   alg o r ith m ,   e n ab lin g   th e  m ai n ten an ce   o f   in d iv id u al  I Ds  ev en   af te r   o cc l u s io n s ,   a  ch allen g e  in   ea r lier   i m p lem en tatio n s .   T h e  m et h o d   was  test ed   o n   b o th   s in g le -   an d   m u lti - ca m er a   v id e o s ,   ac h iev in g   co n s is ten t  id en tity   tr ac k in g   ac r o s s   ca m er as.  A  n o v el  asp ec t   o f   th is   r esear ch   is   th e  u s e  o f   a  My S QL   d atab ase  f o r   s h ar in g   ap p e ar an ce   f ea tu r es  ac r o s s   ca m er as,  m ar k in g   th e  f ir s t  attem p t  at  s u ch   an   ap p r o ac h .   F o u r   n ew  s tates - Occ lu d in g ,   P er s o n Occ lu d ed ,   O b jectOc clu d e d ,   an d   I n ac tiv e - wer e  in tr o d u ce d ,   p r o v id i n g   a  m o r e  co m p r eh e n s iv e  f r am ew o r k   f o r   tr ac k in g   a n d   en c o u r a g in g   f u r t h er   r esear ch .   Evaluation Warning : The document was created with Spire.PDF for Python.