I n t e r n at ion al  Jou r n al   of   E lec t r ical  an d   Com p u t e r   E n gin e e r in g  ( I JE CE )   Vol.   1 4 ,   No.   5 ,  Oc tober   20 2 4 ,   pp .   5681 ~ 5690   I S S N:  2088 - 8708 ,   DO I :  10 . 11591/ ij e c e . v 1 4 i 5 . pp 5 681 - 5690             5681       Jou r n al  h omepage :  ht tp: // ij e c e . iaes c or e . c om   A  c ost - e f f e c t iv e ,  r e li ab le  a n d   ac c u r at e  f r am e w or k  f o r   m u ltip l e - t a r ge t  t r a c k i n g b y  d e t e c t io n  a p p r oac h  u si n g d e e p   n e u r al  n e t w o r k         Divyap r ab h a 1 ,  Gu r u p r as ad   S e e b aiah 2   1 D e pa r tm e nt  of  E le c tr oni c s  a nd C omm uni c a ti on E ngi ne e r in g, S r i  S id dha r th a   I ns ti tu te  of  T e c hnol ogy, T umkur , I ndi a     2 D e pa r tm e nt  of  B io me di c a l  E ngi ne e r in g, S r i  S id dha r th a  I ns ti tu t e  of  T e c hnol ogy, T umkur ,   I ndi a       Ar t icle   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e ived  F e b  27,   2024   R e vis e d  J ul  5,   2024   Ac c e pted  J ul  9,   2024       O v er  t h e  y ears   t h e  ar ea  o f  o b j ect   t rack i n g   an d   d et ec t i o n   h as   emer g ed   a n d   b eco me  u b i q u i t o u s   o w i n g   t o   i t s   p o t en t i a l   co n t ri b u t i o n   t o w ar d s   v i d e o   s u r v ei l l a n ce  ap p l i ca t i o n s .   Mu l t i p l e  o b j ect   t rac k i n g   ( MO T )  es t i ma t es   t h e   t raj ec t o r y   o f  s ev era l   o b j ec t s   o f  i n t ere s t   s i m u l t an e o u s l y   o v er  t i me  i n   a  s eri e s   o f  v i d eo   frame s .   E v en   t h o u g h   v ari o u s   res earc h   p ro p o s al s   h a v e  en c o u ra g e d   t h e  u s e  o f  mach i n e  l ear n i n g   t ech n i q u e s   i n   d e s i g n i n g   mu l t i - o b j ect   t rack er s ,   t h e  ex i s t i n g   s o l u t i o n s   n eed   t o   b e  mo re  p ract i cab l e  fo r  o n l i n e  t rack i n g   d u e  t o   mo re  co mp l i ca t ed   a l g o ri t h m s ,   T h e  s t u d y ,   t h erefo re,   i n t r o d u ces   a  co s t - effect i v e  t rack i n g   s o l u t i o n   fo r  mu l t i p l e – t ar g et   t rack i n g   b y   d e t ect i o n   w h ere  i t   i n c o rp o rat e s   t h e  y o u   o n l y   l o o k   o n ce  v er s i o n   4   (Y O L O v 4 )  an d   p ers o n   re - i d e n t i fi ca t i o n   n et w o r k ,   w h i ch   are  fu r t h er  i n t eg ra t ed   w i t h   t h e  p ro p o s e d   t rack i n g   mo d e l ,   w h i ch   co n s i d er s   b o t h   b o u n d i n g   b o x   an d   ap p earan ce  fea t u re s   t o   h an d l e  t h e  mo t i o n   p red i c t i o n   an d   d at a  as s o ci a t i o n   res p ect i v e l y .   T h e   n o v el t y   o f  t h i s   ap p ro ac h   l i e s   i n   co n s i d eri n g   ap p earan ce   feat u res ,   w h i ch   n o t   o n l y   h e l p   p red i ct   t rac k s   t h r o u g h   a l l o cat i o n s   p r o b l em  s o l v i n g   b u t   a l s o   h an d l e   t h e  co s t   o f  co m p u t at i o n   p ro b l em s .   H ere,   t h e  s y s t em  u t i l i zes   a  p re - t ra i n e d   as s o ci a t i o n   met ri c  w i t h   w h i ch   t h e  o cc l u s i o n   ch a l l e n g es   are  al s o   h an d l e d ,   w h erea s   t h e  t arg e t   t rack i n g   h as   t ak e n   p l ace  ev e n   i n   mo re   ex t en d e d   p eri o d s   o f   o ccl u s i o n ,   mak i n g   i t   s u i t ab l e  w i t h   t h e  ex i s t i n g   eff i ci e n t   t rack i n g   al g o r i t h ms .   K e y w o r d s :   C omput e r   vis ion   C onvolut ional  ne ur a l  ne twor ks   Da ta  a s s oc iation   De e p  lea r ning   M ult ipl e   tar ge t  tr a c king   P e r s onR e - I DN e twor k   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i ce n s e.     C or r e s pon din g  A u th or :   Divya pr a bha   De pa r tm e nt  of   E lec tr onics   a nd  C omm unica ti on   E n ginee r ing,   S r i  S iddhar tha   I ns ti tut e   of   T e c hnology    839V+ 8G9,   T umku r - Kuniga l  R d,   S a r a s wa thi pur a m,   T umkur ,   I ndia   E mail:   divyas y74@gmail. c om         1.   I NT RODU C T I ON   Ove r   the  ye a r s ,   the  unde r lyi ng  c onc e pt  of   obj e c t  de tec ti on  a nd  tr a c king  ha s   e mer ge d  a nd  i s   c ons ider e d  one   of   the  mos t  e s s e nti a l  a nd  c ha ll e nging  br a nc he s   of   c omput e r   vis ion.   How e ve r ,   it s   id e a s   ha ve   be e n  wide ly  a ppli e d  in  va r ious   f ields ,   including  he a lt hc a r e   moni tor ing,   a utonom ous   dr ivi ng ,   a nomaly  de tec ti on,   ve hicle   de tec ti on  a nd  pe de s tr ian  tr a c ki ng  [ 1] .   I t   c a n  a ls o  be   s e e n  that  a   va r iety  o f   mo da li ti e s ,   including  r a da r ,   l ight   de tec ti on  a nd  r a nging  ( L I DA R ) ,   a nd  c omput e r   vis ion  ( C V) ,   ha ve   be c ome  a va il a ble  f or   the  pur pos e   of   objec t  de tec ti on   a nd  t r a c king.   I n  r e c e nt  ye a r s ,   s igni f ica nt  p r ogr e s s   c ould  be   s e e n  e ve n  in  the   f ield  o f   im a ging   tec hnology  a s   c a mer a s   a r e   now   c he a pe r ,   s maller   a nd   of   higher   qua li ty   than   e ve r   be f or e .   On   the  other   ha nd,   c omput ing   platf o r ms   ha ve   be e n  opti mi z e d   towa r d   pa r a ll e li z a ti on,   s uc h  a s   m ult i - c or e   pr oc e s s ing  a nd  gr a phica l  p r oc e s s ing  unit s   ( GPUs ) .   S uc h   ve r s ions   a ll ow   C V  towa r ds   e f f icie nt   objec t  de tec ti on  a nd  tr a c king   to   pur s ue   r e a l - ti me  im p leme ntation.   T he   r a pid  de ve lopm e nt   o f   de e p  lea r ning   ( DL )   ne twor ks   a long  with  GPU ’ s   c omput ing   powe r   ha s   s igni f ic a ntl y  c ontr ibut e d   towa r ds   im p r oving  the  pe r f or m a nc e   of   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2088 - 8708   I nt  J   E lec   &  C omp   E ng ,   Vol .   1 4 ,   No.   5 ,  Oc tober   2 02 4 :   5681 - 5690   5682   objec t  de tec tor s   a nd  tr a c ke r s .   T he   c onc e pts   be hind  de e p  c onvolut ional  ne ur a l  ne twor k  ( C NN )   a n d  GPU’ s   e nha nc e d  c omput ing  powe r   a r e   the  pr im e   r e a s ons   be hind  f a s t  e volut ion  of   C V - ba s e d  objec t  de tec ti on  a nd  tr a c king  [ 2] .   I n  thi s   c ontext  it   ha s   to  be   mentio ne d  that  de e p  lea r ning  idea s   ha ve   e volved   f r om  mac hine  lea r ning  ( M L )   a nd   a ls o  ther e   c omes   c ha r a c ter is ti c s   dif f e r e nc e s .   B a s ica ll y,   M L   is   c ons ider e d  a s   a   br a nc h  of   a r ti f icia l   int e ll igenc e   ( AI )   whe r e   it   ba s ica ll y   lea r ns   pa tt e r ns   f r om   e xa mpl e s   or   s a mpl e   da ta.   He r e   the   mac hine  is   de s igned  in   s uc h  a   wa y   that   it   ha s   the   a bil it y   t o  a c c e s s   a nd  lea r n   f r om   the   da ta.   He r e   the   da ta  c ould  be   labe led,   unlabe led  o r   thei r   c ombi na ti on .   T he   lea r ning  c ould   be   e it he r   s upe r vis e d,   un - s upe r vis e d  or   s e mi - s upe r vis e d.   Ar ti f icia l   ne ur a l   ne twor ks   ( AN Ns )   a r e   s ubjec ted  to   ha ve   the   a bil it y   to   lea r n   the   r e lation   be twe e n  input   a nd  output   f r om  e xa mpl e s   a nd   a r e   ba s ica ll y  c ons ider e d  a s   potential  s olut ion s   of   M L .   I n  the  e a r ly   2000s ,   c e r tain  br e a kthr oughs   in   e nginee r ing  r e s e a r c h  f o r   mul ti - laye r e d  ne ur a l  ne twor ks   ( M L P )   ha d   a id  in   a r r ival  o f   de e p  lea r ning.   DL   r e f e r s   to  a   lea r ning  in  de pth  pa r a digm   whic h  invol ve s   dif f e r e nt  laye r s   a nd  s tage s   [ 3] .  Unlike  c onve nti ona l  s ha ll ow  lea r ning  models ,   D L   is   de pe nde nt  ove r   hundr e ds   or   thous a nds   of   f r a mes   a s   a   r e s ult   it   ha s   be c ome  c omput a ti ona ll y  int e ns ive  a nd  dif f icult  to   e nginee r   whic h  is   c ons ider e d   a s   a   pr omi ne nt   r e s e a r c h  c ha ll e nge   by   s tudi e s   [ 4]   a nd  [ 5] .   I t  r e quir e s   a   ve r y   high - pe r f or manc e   GPU  to  pr ovide  f a s t  a nd  a c c ur a te  objec t  r e c ognit ion  a nd  mot ion  de tec ti on.     E ve n  though   DL   models   a r e   mos tl y   c ompl e x  in   de s ign  a nd  ha ving  de pe nde nc y  ove r   huge   a mount   of   tr a ini ng  da ta  a nd  GPU’ s   c omput ing  powe r   but  thes e   f a c tor s   c a n  be   be tt e r   ha ndled  with  DL   models   a s   c laimed  by  [ 5 ]   a nd  [ 6] .   I t   ha s   be e n   f ound   that   ther e   e xis t  va r ious   be nc hmar k  da tas e ts   f o r   objec t  de tec ti on   s uc h  a s   C a li f or nia  I ns ti tut e   of   T e c hnology  ( C a lt e c h)   [ 6] ,   K a r ls r uhe   I ns ti tut e   of   T e c hnology  a nd  T oyota  T e c hn ologi c a l  I ns ti tut e   ( KI T T I )   [ 7] ,   I mage Ne t  [ 8 ] ,   P ASC AL   vis ua l  objec t  c las s e s   ( P ASC AL   VO C )   [ 9] ,   M icr os of t   C omm on   Obje c ts   in  C ontext  ( M S   C OC O)   [ 10]   a nd   T he   Op e n  I mage s   Da tas e t  V5  [ 11 ] .   Als o  due   to   the   a va il a bil it y  of   huge   a mount s   of   da tas e ts   a nd  the  r a pid  de ve lopm e nt  of   GPUs ,   DL   models   a r e   wide ly  a dopted  f or   objec t   de tec ti on  by  r e s e a r c he r s   a nd  the  a dva nc e ment  is   s ti ll   in  p r ogr e s s .    B oc hkovs kiy  e t  al.   [ 12]   a ddr e s s e s   the  de s ign  c ha ll e nge s   of   two  s tage   de tec tor s   s uc h  a s   r e gion   c onvolut ional  ne ur a l   ne twor k   ( R C NN )   [ 13 ]   a nd   f a s t   R C NN   [ 13]   whic h   is   the   ne xt  a dva nc e d   v e r s ion  of   R C NN .   R C NN   is   c ons ider e d  to  be   the  f i r s t  mod e l  of   two  s tage   de tec ti on  whic h   s hows   that  de e p - C NN   is   be tt e r   than  c onvolut ional  method  f or   objec t  de tec ti on.   On  the  other   ha nd,   R NN   is   f ound  to  be   inv olved  in  mul ti - s tage   tr a ini ng  pr oc e s s   wh e r e   a s   f a s t  R C NN   us e   only  one   s tage   e nd - to - e nd  tr a ini ng  pr oc e s s .   Hus s a in     e t  al.   [ 14 ]   in   thei r   s tudy  highl ight s   va r ious   de e p  lea r ning - ba s e d  s olut ions   f or   de tec ti ng  objec ts   in  im a ge   f r a mes   or   videos   us ing  s e ve r a l  a lgor it hms   whic h  include   you   only   look  onc e   ( YO L O) ,   s pa ti a l  pyr a mi d  pooli ng  ( S P P - ne t) ,   f a s t  R - C NN ,   C NN   ba s e d  on  r e gions   ( R - C NN ) ,   or ient  gr a dient  his togr a ms   ( HO G) ,   s ingl e   s hot  de tec tor   ( S S D ) ,   r e gion - ba s e d  f ull y   c onvolut i ona l  ne twor k   ( R - F C N) ,   howe ve r   the   s tudy  made   a   c laim   that  e ve n  though   objec t   de tec ti on  a lgor it hms   a r e   f ound  to   be   a c c ur a te  f r om  the  de tec ti on   a c c ur a c y  point   of   view   but   the  s pe e d  o f   in f e r e nc ing  is   a lwa ys   be i ng  a   p r oblem.   YO L O  ha s   be c ome  ve r y  popu lar   in  objec t   de tec ti on  a nd  c ons ider e d  to  be   s tate - of - the - a r t  tec h nology  in  objec t  de tec ti on  a lgor it hm.   YO L O  is   f ou nd  to  be   mor e   a c c ur a te   a nd  f a s ter   whe n   c ompar e d   with   R C NN   a nd  f a s t  R C NN   a nd   a ls o  f ound  s uit a ble   f o r   dyna mi c   mul ti - objec t  tr a c king.   I n  the   c ontext  of   YO L O,   obj e c t   de tec ti on  is   c ons ider e d  to  be   the  r e g r e s s ion  pr oblem.   I t   ha s   to  be   noted  that   thi s   a pp r oa c h  is   bui lt   on   the   t op  of   C NN   f ound   s uit a ble  f or   r e a l - ti me  objec t   de t e c ti on.   I n   the  c ontext  of   objec t  de tec ti on  one   s tage   de tec tor s   ha ve   be c ome  popular   whic h  include   YO L O  [ 15] ,   YO L Ov2   [ 16] ,   YO L Ov3  [ 17] .   He r e   YO L O  s tands   f or   you  only  look  onc e .   How e ve r ,   it   ha s   be e n  obs e r ve d  in  the  e xis ti ng  s ys tem  that  e ve n  though  c ompar e d  to  R C NN ,   YO L O  r e duc e s   the  ba c kgr ound  f a ls e   po s it ives   by  thr e e   ti mes ,   but  it   ha s   li mi tations   f a c tor s   s uc h  a s   it   im pos e s   s tr ong  s p a ti a l  c ons tr a int s   on  bounding  box  pr e dictions .   A  s igni f ica nt  im pr ove ment   ove r   YO L O  ha s   take n  plac e   in  it s   s e c ond  it e r a ti on  whic h   is   na mely  YO L Ov2   whic h  ha s   im pr ove d   the  s pe e d  a nd   the  de tec ti on   p r e c is ion  to  s ome  e xtent .   B ut   it s   l im it a ti on   c omes   with  high   r e s olut ion  de tec ti on  a nd  s ingl e   c las s   objec t s   whic h  is   f ur ther   a ddr e s s e s   in  YO L Ov3  whic h  is   the  a dva nc e d  ve r s ion  of   YO L Ov2,   a nd   it   inco r por a tes   de e p   C NN   Da r k N et - 53  f or   the   f e a tur e   ge ne r a ti on   model ing.   I t   is   ba s ica ll y  c a pa ble  of   mul t i - c las s   c las s if ica ti on  a nd  is   us e d  f o r   mos tl y  s mall   objec t  c las s if ica ti on  pr oblem,   howe ve r ,   YO L Ov3  model   lac ks   e f f e c ti ve ne s s   f or   the  de tec ti on  of   medium   a nd  la r ge   s ize d  objec ts   f or   whic h  li mi ts   it s   s c ope   of   a ppli c a bil it y  in   r e a l - ti me  t r a c king  ope r a ti ons .   How e ve r ,   W a ng   e t  al .   [ 18]   e xhibi ts   the   a dva ntage   of   YO L Ov4  in  mul ti   objec t  de tec ti on  a nd  pr opos e s   a   ne w  va r iant  of   YO L Ov4  thr ough  whic h  it   tar ge ted  to  e nha nc e   the  mul ti - objec t  tr a c king  pe r f o r manc e   a s   we ll .     How e ve r ,   the  ba s e li ne   a ppr oa c h  of   L iu  e t  al .   [ 19]   i s   a ls o  c ons ider e d  in  the  pr opos e d  s tudy  whe r e   it   is   f ound  that   the   da ta   a s s oc iation  a nd  t r a c k  mana ge ment  poli c ies   in   r e c e nt  a lgor i thm s   f a c e s   dif f i c ult ies   in   de a li ng  with  mo ti on  p r e diction  a nd   oc c lus ion  ha n dli ng  a nd  a ls o   objec t  pe r s on   r e - identif ica ti on  e nti f ica ti on.   M a ny  r e c e nt  a lgor it hms   a r e   f ound  to  e mpl oy   mot i on  a nd  a ppe a r a nc e   indi c a ti ons   to  de a l  with  s uc h  c ha ll e nge s   but  e nd  up  incr e a s ing  the  c omput a ti on  c os t  a nd  f or   thi s   r e a s on  the  s pe e d  of   the  a lgor it hm   a ls o  de c r e a s e s   whic h  make s   them  uns uit a ble  f or   onli ne   tr a c king  a ppli c a ti ons .   Als o  ther e   e xis t  va r ious   a lgor it hms   whic h  only  us e s   mot ion  c ue s   in  c ontr a s t  to  incr e a s e   the  s pe e d  of   a lgor it hm  but  c a nnot  p r ope r ly  ha ndle  oc c lus ions   a nd  pe r s on  r e - identif ica ti on  identif y   the  los t  objec ts   a s   s hown  in  the  s tudi e s   by  [ 20 ] – [ 22] .    Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   E lec   &  C omp   E ng     I S S N:   2088 - 8708         A   c os t - e ff e c ti v e ,   r e li able  and   ac c ur ate  fr ame w or k   for   multi ple - tar ge t  tr ac k ing  by   …   ( Div y apr abha )   5683   Dis c us s ion  on  r e late d  r e s e a r c h  e xhibi ts   that  s igni f ica nt  pr ogr e s s   ha s   be e n  made   in  the  li ne   o f   r e s e a r c h  f or   objec t  de tec ti on  a nd  tr a c king - by - de te c ti on  a ppr oa c he s ,   whic h  ha ve   a ls o  s igni f ica ntl y  c o ntr ibut e d   towa r ds   mul ti ple  objec t  t r a c king.   How e ve r ,   the  c h a ll e nge   a r is e s   to  a ppr opr iate ly  de a l  with   objec t  tr a j e c tor ies ,   mos tl y  c ons ider e d  global  opti mi z a ti on  pr oblem s .   R e late d  f r a mew or ks   s uc h  a s   the  idea   of   global  da ta   a s s oc iation  f or   mul ti   objec t  t r a c king  ( M OT )   whe r e   f low  ne two r k  f o r mul a ti ons   c ould   be   f ound ,   a ls o  globally   opti mal   gr e e dy  a lgor it hms   a r e   us e d  f o r   t r a c king  va r iable   number   o f   objec ts .   T he   us e   of   pr oba bil is ti c   gr a phica l  models   mainly  pr oc e s s e s   the  video  ba tche s   s im ult a ne ous ly  whe r e   non - li ne a r   mot ion  pa tt e r ns   a long  with   r obus t  a ppe a r a nc e   f e a tur e s   a r e   e xplor e d   a nd  e va luate d.   How e ve r ,   mos t  of   thes e   a ppr oa c he s   of   M OT   a r e   c omput a ti ona ll y  e xpe ns ive  a nd  do   not   pr ovide  s c ope   of   a ppli c a bil it y   in  on li ne   s c e na r ios   whe r e   tar ge t   identit ies   c ould  be   a va il a ble  in  e a c h  ti me  s tep.   T he   p r opos e d  a ddr e s s e s   the s e   c ha ll e nge s   a nd   f ur ther   int r oduc e s   a   c os t - e f f e c ti ve ,   r e li a ble  a nd  a c c ur a te  M OT   de s ign  f r a mew or k  c ons ider ing  YO L Ov4  a nd  a s s oc iation  metr ic  f or   the  pur pos e   of   tr a c king  a nd  dis c r im inating  pe de s tr ian  e nti ti e s   moveme nt  a c r os s   a   s tr e e t.   I n   thi s   joi nt   a ppr oa c h  of   M OT ,   YO L Ov4  c ontr ibut e s   towa r ds   obtaining  the  de tec ti ons   o f   o bjec ts   in  indi vidual  f r a mes .   And  a ls o,   f ur ther   thr ough   c onn otation  metr ic  the  p r opos e d  s tudy  model  e xe c utes   tr a c k  of   a s s oc iation  a nd  mana ge ment  a c r os s   the  f r a mes   to  de ter mi ne   the  tr a c king   a nd  dis c r im inating   objec t  o f   int e r e s t  moveme nt  whic h  is   pe de s tr ian  in   the  pr opos e d  s tu dy  c ontext.         2.   M E T HO D   T he   pr im e   objec ti ve   of   th is   s tudy  is   to  int r oduc e   a   joi nt  f r a mew or k  o f   M OT   whic h  e xplor e s   the   s tr e ngth  f a c tor s   of   a s s oc iation  metr ic  by  mea ns   of   int r oduc ing  s ingl e   hypothes is   tr a c king  meth od  with  Ka lm a n  f il ter ing   ( KF )   a pp r oa c h.   He r e   the  de s ig n  a nd  de ve lopm e nt  o f   the  f r a mew or k  f or   mul ti - objec t  of   int e r e s t  tr a c king   a im s   to   o f f e r   c os t - e f f e c ti ve ne s s   a long  with   a c c ur a c y  in  d is c r im inating  the  pe de s tr ian  moveme nt  pa tt e r ns .   He r e   the  de s ign  a nd  modeli ng  of   the  t r a c ke r   will   plan  to   uti li z e   the  de e p  a p pe a r a nc e   f e a tur e s   f r om   the   de e p   ne ur a l  ne two r k  ( DN N) - ba s e d  model   to   im pr ove   the   tr a c king   a c c ur a c y  of   iden ti f ica ti on  of   pe de s tr ians ’   e nti ti e s .   T he   pr im e   objec ti ve   of   t his   pr opos e d  s tudy  model  will   be   to  e s ti mate   the   c ount  of   objec t  of   int e r e s t  in   a   given  video   s c e ne .   I t  wil l  a ls o  a im   to  e s ti mate   thei r   pos it ion  p r e c is e ly  while  maintaining   their   unique   f or m  o f   identi ti e s .  T he   s tudy   model   he r e   a im s   to  pe r f or m   mul t i - objec t  tr a c king  e ve n  in   the  pr e s e nc e   of   ove r   oc c lus ions .   He r e   the  wor k - f low  s tr a tegic   de s ign  of   mul ti - objec t  tr a c king  will   a ls o  c ons ider   e f f icie nt  a nd  s im pli f ied  e xe c uti on  s teps   s o  that  c os t  of   ope r a ti ons   c a n  be   c ontr oll e d   with  a ppr op r i a te  da ta  a s s oc iation  metr ics .   T he   s tudy  a ls o  a im s   to  im pleme nt  the  DN N   model  f or   the  pur pos e   of   a ll oc a ti ons   ope r a ti ons   a nd  a ls o  pr e dict   the  t r a c ks   us ing  KF  methods .   T he   s tudy  a ls o  he r e   will   in tr oduc e   a   n ove l  c os t  model  to  opti mi z e   the  c os t  of   ove r a ll   a ll oc a ti ons   o pe r a ti ons   f or   both  de tec ti ons   a nd  t r a c ks .   T he   s tud y  f ur ther   e labor a tes   the  methodology  a dopted  in   the  pr opos e d  s ys tem  f or   M OT .       2. 1.     YOL O  ob j e c t   d e t e c t or     YO L O  is   c ons id e r e d  to  be   a n  e f f icie nt  objec t  d e tec tor   with  one   s tage   whic h  wa s   de s igned  a f ter   F a s ter   R C NN .   T he   a dva nc e d  va r iant  of   YO L Ov3  c ons ider s   mul ti - leve l  c las s if ica ti on  a nd  a dop ts   mor e   c ompl e x  da tas e ts   whic h  mi ght   c ontain   ove r lappi ng  labe ls .   I t   uti li z e s   th r e e   di f f e r e nt   s c a le  f e a tur e   maps   to   pr e dict  the  bound ing  box .   I n  YO L Ov3  the   las t  c onvolut ional  laye r   int e gr a tes   3D   tens or   e nc od ing  c las s   pr e dictions ,   objec tnes s   a nd  bounding  box.   How e ve r ,   it   is   obs e r ve d  that  YO L Ov3  int r oduc e s   mor e   e f f e c ti ve   a nd  r obus t  f e a tur e   e xtr a c tor   whe r e   inclus ion  of   Da r k N et - 53  c a n  be   s e e n  in  [ 23] ,   [ 24 ] .   T he   pr opos e d  s tudy  f or   de s igni ng  c os t - e f f e c ti ve ,   r e li a ble  a nd  a c c ur a te  f r a mew or k  of   M OT   c ons ider s   the  po tential  a s pe c ts   of   dif f e r e nt  va r iants   of   YO L O  a s   ba s e li ne   models   a nd  f inds   th e   s tr e ngth  of   YO L Ov4  a s   a   s tate - of - a r t  a lgor it hm  whic h  is   12%   f a s ter   c ompar e d  to  the   pr e vious   ve r s ion  o f   YO L Ov3.   I t  a ls o  r e a li z e s   that  if   a n  e f f e c ti ve   tr a c king  f r a mew or k  model   is   de s igned  e f f e c ti ve ly  c ons ider ing  YO L Ov4  de tec ti on  then  it   c a n  s igni f ica ntl y  c ontr ibut e   towa r ds   M OT   whic h  c ould  be   c ompar a ble  with   R C NN   a nd  F a s ter   R C NN .     T he   s tudy  c ons ider s   YO L O  one - s tage   de tec tor   a s   ba s e li ne   r e f e r e nc e   a nd  e xplo r e s   it s   a dva ntage   f a c tor s   to  bui ld  the   pr opos e d  t r a c king  s olut ion.   T he   c onve nti ona l  YO L O  ne twor k   ba s ica ll y  c ons is ts   of   24   c onvolut ion  laye r s   a nd  2   f ull y   c onne c ted  laye r s .   I n  it s   a dva nc e   ve r s ion  o f   YO L Ov2,   the   im p r ove ment  c a n   be   s e e n  ove r   s pe e d  a nd  de tec ti on  a c c ur a c y   whe r e   maj or   tas ks   include   s ix   major   c omput a ti ona l  s teps   viz.   i)   ba tch   nor maliza ti on,   ii )   h igh  r e s olut ion  c las s if ier ,   ii i)   c onvolut ion  with  a nc hor   boxe s ,   iv)   s ize   a nd  a s p e c t  r a ti o  pr e diction  of   a nc hor   box ,   v)   a na lys is   of   f ine - gr a ined  f e a tur e s   a nd  vi )   mul ti - s c a le  tr a ini ng  pha s e   [ 23 ] .     2. 2.     YOL Ov4    T he   ba s e li ne   de s ign  idea   o f   YO L Ov4  is   a   one - s tage   de tec ti on  ne twor k   modeling   ba s ica ll y  c ons is ts   of   thr e e   c or e   s e gments   whic h  include   ba c kbone ,   ne c k  a nd  he a d.   I n  the   de s ign  of   the  p r opos e d  s tr a tegy  of   M OT ,   the  ba c kbone   of   YO L Ov4  c a n  be   a   pr e - tr a ined  C NN   s uc h  a s   VG G16  or   C S P Da r kNe t53  whic h  tr a ined  on  the   r e s pe c ti ve   da tas e ts .   He r e   in   the   pr opos e d   s tudy  c ontext   the   ba c kbone   pa r t   o f   YO L Ov4  model   e na bles   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2088 - 8708   I nt  J   E lec   &  C omp   E ng ,   Vol .   1 4 ,   No.   5 ,  Oc tober   2 02 4 :   5681 - 5690   5684   f e a tur e   e xtr a c ti on   ne twor k   whic h  is   s uit a ble   f or   o bjec t  de tec ti on.   I n  f e a tur e   e xt r a c ti on  s tage   the   s tudy  model   c omput e s   f e a tur e   maps   ( ƒ )   whic h  is   obtaine d  f r om  the   input   im a ge   f r a mes   of   pe de s tr ian  da tas e ts .     T he   YO L Ov4  ne twor k   incor po r a tes   C S P Da r kNe t53  modul e   a s   the  ba c kbone   whic h  pe r f or ms   f e a tur e   e xtr a c ti on  f r om   the   input   im a ge   f r a mes .   T he   ba c kbone   ba s ica ll y  c onne c ts   with   f ive   r e s idual   lay e r s .   T he   pr opos e d  M OT   f r a mew or k  a ls o  int e gr a tes   YO L Ov4  s pa ti a l  pyr a mi d  pooli ng  ( S P P )   laye r   [ 25]   a nd  pa th  a ggr e ga ti on  ne twor k   ( P AN )   [ 26] .   He r e   S P P   in   n e c k  pa r t   ba s ica ll y  e na bles   c onc a tena ti on  o f   max - pooli ng  output s .   He r e   the  max - pooli ng  output s   a r e   c ons tr uc ted  in  the  f or m  of   low - r e s olut ion  f e a tur e   map  to  not  only  e xtr a c t  the  mos t  r e p r e s e ntative  f e a tur e s ,   bu t  i t  a ls o   he lps   in   f e a tur e   dim e ns ionalit y   r e duc ti on  f r om   c o mput ing  point   of   view .   T he   ba c kbone   C S P Da r kNe t53  is   d e s igned  ba s e d  on  c or e   c r os s - s t a ge   pa r ti a l  ne twor k   f e a tur e s .   He r e   the  output   o f   m - laye r   C NN   be   e xp r e s s e d  a s   ( 1) :      y = F ( x 0 ) = x k =  H k ( x k − 1 ) , H k − 1 ( x k − 2 ) , H k − 2 ( x k − 3 ) , … … H 1 ( x 0 ) , x 0 )   ( 1)     He r e   in   ( 1)   ( ∙ )   de notes   the   mapping   f unc ti on   whe r e a s   0   de notes   the   input   to   tar ge t   .   He r e     is   a n  ope r a ti ona l  f unc ti on  f o r   the  th  laye r   of   the  C NN .   How e ve r ,   the  c or e   e mphas ize   is   to  opti mi z e   the  f unc ti on    a t  dif f e r e nt  laye r .   I t  c a n  be   a c hieve d  with  the   e xpr e s s ion  ( 2) .     y = M ( [ x 0 ′ , T ( F ( x 0 ′′   ) ] )   ( 2)     He r e   f or   opti mi z a ti on  modeling   0   is   r e pr e s e nted   int o  two  dis ti nc t  pa r ti ti ons   whic h  c a n  be   s hown  a s     0 = [ 0 ′ , 0 ′′   ] .   He r e     is   the  tr a ns it ion  f unc ti on  to  tr unc a te  the  g r a diant  f lows   of     whe r e a s     is   a nother   tr a ns it ion  f unc ti on  whic h  is   us e d  to  mi x   two  s e gmente d  pa r ts .   How e ve r ,   in   the  pr opos e d  s tudy  c o ntext  the  YO L Ov4  ba c kbone   c ons is ts   of   f ive  r e s idual  block s   a nd  output   f r om   the   r e s idual  b locks   a r e   a ggr e ga t e d  a t   the  ne c k  of   YO L Ov4  ne twor k.   T he   de s ign  of   S P P   laye r   [ 1]   in  the  pr opos e d  s tudy  f oll ows   a   c onf igur a ti o n  s e tt ing  whe r e   it   incor por a tes   ke r ne ls   of   s ize   1 × 1,   5 × 5,   9 × 9 ,   a nd  13 × 13  whic h  a r e   s ubjec ted  to  pe r f o r m  max - pooing   ope r a ti ons   whe r e   the   c r os s - s tage   pa r ti a l  ne twor k   a ls o  c ontr ibut e s   towa r ds   im pr oving   the   lea r n   a b il it y  a nd   pa r a mete r   uti li z a ti on.   He r e   in   the  pr opos e d  s tudy  c ontext  the  s tr ide  va lue  is   s e t  to   1.   T he   s ys tem  f r a mew or k  int e gr a ti on  f or   mul ti - tar ge t  tr a c king  a ls o  c onf i gur e s   the  YO L Ov4  ne twor k  in  s uc h  a   wa y  whe r e   it   c onc a tena tes   the  ( ƒ ) c ons ider ing  the  S P P   pooli ng   ope r a ti ons .   He r e   the  a dva ntage   o f   e mpl oying   c onc a tena ti on  f unc ti on  is   that  it   inc r e a s e s   the  r e c e pti ve   f ield  of   ba c kbone   f e a tur e   c omponents   a nd  a ls o  incr e a s e s   the  a c c ur a c y  of   YO L Ov4  ne twor k  towa r ds   de tec ti on  of   s maller   objec ts .   T he   c onc a tena ted  f e a tur e   maps   ge ne r a ted  f r om   the   YO L Ov4  S P P   modu le  w hich  is   r e pr e s e nted  with   ƒ   a r e   f u r ther   f us e d   with   the   high - r e s olut ion  f e a tur e   maps   ƒ  us ing   P AN   a s   ( 3) :        ƒ m a p c om b ← ƒ m a p S P P ⊕ ƒ m a p HR   ( 3)     He r e   the  P AN   c omponent  ba s ica ll y  e mpl oys   up  s a mpl ing   a nd   downs a mpl ing  ope r a ti ons   to   s e t  bott o m - up  a nd  top - down  pa ths   whic h  f ur ther   c onc a tena te  low - leve l  a nd  high - leve l  f e a tur e s .   F ur ther   the  P AN   s e gment   e na bles   the  output   of   a ggr e ga ted     ƒ   whic h   is   f u r ther   us e d  f or   pr e diction .   He r e   in   the   p r opos e d  s tage   the  YO L Ov4  ba s ica ll y  c ons is ts   of   thr e e   dif f e r e nt  pr e diction  he a ds   whic h  a r e   YO L Ov3  ne twor ks   th a t  f ur the r   ge ne r a te   the  f inal  p r e dictions .   He r e   the   YO L Ov4  ne twor k  output s   the     ƒ   of   s ize s   19 × 19,   38 × 38 ,   a nd   76 × 76  f or   the  pur pos e   of   pr e dictive   a na lyt ics .       2. 3 .     M u lt i - t ar ge t   t r ac k in g   s t r at e gy   I n  the   pr opos e d   c onc e pt  of   mu lt i - objec t  or   tar ge t  tr a c king   poli c y   int e gr a tes   the  YO L Ov4  f or   the   pur pos e   of   pr e c is e   objec t   de tec ti on.   F u r ther   it   a im s   to  pe r f or m   mu lt i - tar ge t  t r a c king  e ve n   in   the   pr e s e nc e   of   oc c lus ions   a nd  ye t  a c c ompl is he s   higher   c omput a ti ona l  e f f icie nc y  f r om   the  pe r s pe c ti ve   of   e xe c uti on.   T he   pr opos e d  c ontext  of   tr a c king - by - de tec ti on  a ppr oa c h  ini ti a ll y  obtains   the  de tec ti ons   of   objec ts   in  e a c h  f r a me  a nd  f ur ther   it   t r a c ks   the  a s s oc i a ti on  a nd  mana ge m e nt  a c r os s   the  video  f r a me  s e que n c e s .   T he   s tudy  a ddr e s s e s   the  c omput a ti ona l   c ompl e xit y   c ha ll e nge s   in   e xis ti ng  a ppr oa c he s   a nd   a ls o  a im s   to  bu il d   a n  e f f icie nt   tr a c king  model  that  c a n  e a s il y   de a l   with  the   oc c lus ions .   I n  thi s   r e ga r d   a long  with   YO L Ov4,   it   a ls o  int e gr a tes   the  pe r s on  r e - identif ica ti on  ne twor ks   towa r ds   c omput ing  the  a ppe a r a nc e   f e a tur e s   f r om  the  video  f r a mes .   He r e   the  a ppe a r a nc e   f e a tur e s   ( )   a r e   a ls o  c a ll e d   a s   a ppe a r a nc e   e mbeddings   ( )   whic h  ba s ica ll y   r e pr e s e nts   the   vis ua l  a ppe a r a nc e   of   a n  objec t  withi n  the  f r a me.   He r e   the   im por tanc e   of     is   that  it   of f e r s   a n  a ddit ional  mea s ur e   of   s im il a r it y  f a c tor   ( o r   dis tanc e )   be twe e n  the  de te c ti ons   a nd  tr a c k  or   li ne   of   moveme nt  ( L oM ) .   He r e   the  pr opos e d  s tr a tegy  of   mul ti - objec t  of   in ter e s t  tr a c king  uti li z e s   the  a s s oc iation  metr ic  c onc e pt  whe r e   it   a ls o  Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   E lec   &  C omp   E ng     I S S N:   2088 - 8708         A   c os t - e ff e c ti v e ,   r e li able  and   ac c ur ate  fr ame w or k   for   multi ple - tar ge t  tr ac k ing  by   …   ( Div y apr abha )   5685   a dopts   the  s ingl e   hypothes is   tr a c king  methodology  us ing  KF   a ppr oa c h  [ 27] .   He r e   the   s tudy  a ls o  int e gr a tes   the  a ppe a r a nc e   inf or mation   int o   the   f r a me - by - f r a me  da ta  a s s oc iation  to  ha ndle   the   tr a c king   ove r   oc c lus ion.   T his   a ppr oa c h  a ls o  mi nim ize s   the  number   of   s witche s   in  tr a c k  identit ies .   T he   pr opos e d  f r a mew or k  o f   mu lt i  tar ge t   tr a c king  a ppr oa c h  ba s ica ll y  r e li e s   on   thr e e   d if f e r e nt  types   o f   dis tanc e s   f or   a ll oc a ti ons   s tage y   w hich  a r e   bounding  box  I oU,   M a ha lanobis   dis tanc e ,   a nd  a ppe a r a nc e   c os ine  dis tan c e .   I n  the  pr opos e d  mu lt i - tar ge t  tr a c king  model,   the  s tudy  ba s ica ll y  f or mul a tes   two   dis ti nc t  br a nc he s   whic h  a r e   a ppe a r a nc e   br a nc h  a nd  mot ion   br a nc h  r e s pe c ti ve ly.   He r e   the  p r opos e d  s tudy  ini t ially  f or mul a tes   a   f unc ti ona l  block  f or   tr a c k  ha nd li ng  a nd  s tate   a ppr oxim a ti on.   T he   pr opos e d  s tr a tegy  e na bles   the  tr a c ke r   with  di f f e r e nt   f e a tur e s   viz.   i)   e s ti mati on  f il ter ,  ii )   a s s oc iation  c os t ,   ii i )   a s s oc iation  type ,   a nd   iv)   tr a c k  maintena nc e .      2. 4 .     I n c lu s ion   o f   e s t im a t ion   f il t e r   a n d   t r ac k   as s oc iat ion   wit h   m e as u r e s     T he   pr opos e d  s tr a tegy  ini ti a ll y   de f ines   KF   by   mea ns   of   int r oduc ing   a   de tec ti on  mea s ur e ment  whic h   is   r e pr e s e nted  with  a   2D   bounding  box .   He r e   the  de tec ti on  mea s ur e   ne t   f or   KF   c a n  be   r e p r e s e nted  with  the   ( 4) .       = [ , , , ℎ ]   ( 4)     He r e     de notes   the  de tec ti on  mea s ur e ment  f or   2D  b ounding  box.   Als o,   he r e   ( , )   r e pr e s e nts   the  c oor dinate s   in  the  f or m  of   pixels   c or r e s pond  to  the  top - lef t  c or ne r   of   bounding  box  whe r e a s   ( , ℎ )   r e pr e s e nts   the  wi dth  a nd  he ight   o f   the   bounding   box.   How e ve r ,   de f in ing   the  s tate   e s ti mation  f i lt e r   f or   e ight - dim e ns ional   s pa c e   us ing  a   s tanda r d   KF   f or   bounding   box   tr a c king   c a n  be   r e pr e s e nted  a s   ( , , , ℎ , , ̇ ̇ , ̇ , ℎ ̇ ) .   He r e   ( , )   r e pr e s e nts   the  bounding  box  pos it ion  in  c e nter ,     r e pr e s e nts   a s p e t  r a ti o  a nd  ℎ   r e pr e s e nts   he ight   a long  with   their   r e s pe c ti ve   ve lociti e s   in  im a ge   c oor dinate s .   How e ve r ,   in  s tanda r d  KF   e s ti mation  model   the  bounding  c oor dinate s   s uc h  a s   ( , , , ℎ )   a r e   take n  a s   a   dir e c t  obs e r va ti on  of   the  objec t  s tate .   How e ve r ,   in  the  p r opos e d  s tr a tegy   the  e s ti mation  of   s tate   of   e s ti mate d  bound ing  box  c a n  be   mea s ur e d  with  the   f oll owing   math e matica l   e xpr e s s ion.       X = [ u , v , s , r , u , ̇ v ̇ , s ̇ , r ̇ ]   ( 5)     He r e     r e pr e s e nts   the  s c a le  o f   bounding   box   a nd     i mpl ies   width  to  he ight   r a t io  a s s oc iate d  with   the  b ouding  box.   How e ve r ,   unli ke   the  e xis ti ng   KF   ba s e d  s tate   e s ti mation  s tr a tegy,   he r e   the  s tate   e s ti mation  mea s ur e ment  in  c onve r s ion   c a n  be   r e p r e s e nted  with   the   ti me   r a t e   of   c ha nge   a s s oc iate d  with  the   a s pe c t  r a ti o.   T he   f oll owing  mathe matica l  e xpr e s s ions   a r e   f or mul a ted  to   pe r f or m  c onve r s ion  of   mea s ur e ment  to  s tate   whic h  a r e   a s   ( 6) - ( 9) :      u = ∑ x , w 2 ⁄   ( 6)     v = ∑ y , h 2 ⁄   ( 7)     s = w ∗ h   ( 8)     r =   w h ⁄   ( 9)     He r e   it   ha s   to   be   noted  that  thes e   e qua ti ons   a r e   no n - li ne a r ,   s o  the   c onve r s ion   is   pe r f or med   a s   pr e - pr oc e s s ing   s tage   in  the   pr opos e d  method.   He r e   the  KF   mea s u r e ment  f unc ti on   is   a ls o  us e d  a s   e xpli c it   f unc ti on   t o  ha ndle  the  non - li ne a r it y.     He r e   in  thi s   c omput a ti ona l  a ppr oa c h  the  s tr a tegy  c ons ider s   pe de s tr ian  tr a c king  da tas e t  a nd  f ur ther   ge ne r a tes   a   matr ix   f or m   of   s tor a ge   c o r r e s pond  to   de tec ti on  r e c or ds    [ ] .   He r e   the  mat r ix  f or m   of    [ ]   a r e   ge r e nr a ted   us ing   YO L Ov4  objec t  de tec tor   whi c h  is   a l r e a dy  de f ined   in   s ub s e c ti on   2 . 2.   He r e     r e f e r s   to   the  de tec ti on  indexe s   s tor e d  in   [ ] .   He r e   the  pr opos e d  s tr a tegy  f ur ther   pe r f o r ms   c onve r s ion   of    [ ]   c ons ider ing  the  ←  [ ]   of   bounding   box  c oo r dinate s   to   [ , , , ℎ ] .   I n   thi s   ope r a ti on ,   the   s ys tem  incor por a tes   a n  e xpli c it   f unc ti on  of   bounding  box  de tec ti ons    ( ∙ ) :   pa s s   in:    [ ] , .   He r e     r e f e r s   to  the   c ova r ianc e   e s ti mation  f or   s tanda r d  de viation   of   1 .   T he   ope r a ti on  o f   bounding   box  c onve r s ion  c on s ider ing  YO L Ov4  objec t  de tec ti ons   c a n  be   r e pr e s e nted  a s   ( 10) .     [ , , , ℎ ]   ← (  [ ] , )   ( 10)     T he   s tate   tr a ns it ion  pr inciple  in  the  pr opos e d  s tr a t e gy  is   buil t  on   the  top   of   c ons tant  ve locity   model.   How e ve r ,   the   pr opos e d   s tudy  a ls o   talks   a bout   t r a c k  ha ndli ng   s c he ma  c ons ider ing   li ne a r   c ons tant - ve locity  KF   f or   bounding  box   t r a c king.   T he   idea   o f   KF   is   us e d  in  thi s   pr opos e d  a ppr oa c h   in   s uc h  a   wa y   whe r e   it   t r a c ks   a n  Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2088 - 8708   I nt  J   E lec   &  C omp   E ng ,   Vol .   1 4 ,   No.   5 ,  Oc tober   2 02 4 :   5681 - 5690   5686   objec t  mos tl y   pe de s tr ian  e nti ty   us ing   a   s e que nc e   of   de tec ti ons   or   mea s ur e ments   to   e s ti mate   the   s ta te  of   the   objec t  ba s e d  on  the  mot ion  model  a s s oc iate d  with  t ha t  objec t.   I n   a   mot ion  model   s tate   r e pr e s e nts   c oll e c ti on  of   va r ious   qua nti ti e s   by  whic h  s tatus   of   a n  objec t  c a n  be   r e pr e s e nted.   He r e   the  s tate   c ould  be   it s   pos it ion,   ve locity  or   a c c e ler a ti on.   T he   s tate   tr a ns it ion  f r om   ti mes     to  + 1 = +   c ons ider s   a   c ons tant  ve locit y   model  s uc h  a s   ( 11) :      + 1 =   w h e r e   ∈   ( 11)     How e ve r ,   in  the  e xis ti ng   s ys tems   the  c ons tant  ve l oc it y  model  lac ks   e f f e c ti ve ne s s   in  de s c r ibi ng  the  a c tual  mot ion  of   the  objec t  o f   int e r e s t  ( i . e . ,   pe de s tr ians )   in  video.   Als o,   it   c a nnot  pr ope r ly  ha ndle  the  va r iations   a mong  a s pe c t  r a ti o  a nd   a r e a   s tate   mea s ur e s .   How e ve r ,   the  p r opos e d  a ppr oa c h  of   M OT   ha ndles   thes e   c ons tr a int s   by  c ons tr uc ti ng  a n  e nha nc e d  f unc ti on  of    ( ∙ ) .  He r e   the  c us tom ize d  f unc ti on   ini ti a ll y  e na bles   the  c ons tant  ve locity  Ka lm a n   f il ter   f o r   bounding  box  t r a c king  a nd  a ls o  mea s ur e s   the   de tec ti ons   in  a   s pe c if ic  f o r mat.   F ur the r   it   ini ti a li z e s   a   null   ve locity   a nd  a ls o  e s ti mate s   the  ve locity  s tate s   by  mea ns   of   c ova r ianc e   mea s ur e s .   How e ve r ,   the   s ys tem  a ls o  models   c a ptur ing   unknown  a c c e ler a ti on   thr ough   whic h  it   c ons tr icts   the   KF   f o r   tr a c king  c ons ider in g  both   mot ion   model   a nd   s tate   tr a ns it ion   model   a l ong  with   mea s ur e ment  model.     T he   pr opos e d  s tr a tegy  a ls o  f ur ther   e va luate s   the  mea s ur e ment  a s s oc iation  ( )   f or   e a c h  tr a c k  ( T i ) .  He r e   the   s tr a tegy  a s s oc iate s   the  t r a c k   with   a p pr opr iate   mea s ur e ments .   He r e   e a c h  de tec ti on   s hould  be   a s s oc iate d  with  the  e xis ti ng   tr a c ks   whic h  a r e   ma int a ined  by  the   mul ti - objec t  tr a c ke r .   T he   t r a c king  model   ba s ica ll y  hypothes ize s   a n  objec t  of   int e r e s t  with  a   s pe c if ic  tr a c k  va lue  in  the  c ur r e nt  f r a me.   F u r ther   the  s ys tem  is   us ing   e s ti mate s   it s   bounding  box.   All  the   de tec ti ons   a nd  it s   a s s oc i a ti ve   tr a c ks   a r e   f ur ther   loa de d  in  a   f il e   s tr uc tur e   c a ll e d   a s   ( ) .   I t  ha s   to   be   a ls o  noted  th a t  dur ing  Ka lm a n   F il ter   pr e diction ,   the  c ounter   o f   tr a c k  va lue  is   incr e mente d  a nd   onc e   the  t r a c k  is   a s s oc iate d  with  the  mea s ur e ment   then  it   is   r e s e t  to   0.   He r e   the  s ys tem  a ls o  c ons ider s   e s ti mation  of   pr e de f in e d  maximum   a ge   of   a   t r a c k  ( m a x   ) .   He r e   the  s ys tem  is   modele d  in  s uc h  a   wa y  whe r e   it   s e e s   if   t r a c ks   ha ve   e xc e e de d  the  pr e de f ined   li mi t   of   m a x     or   not   if   it   e xc e e ds   then  it   c ons ider s   that  the  tr a c ks   mi ght  ha ve   lef t  t he   s c e ne   a nd  de lete d  f r om  the  tr a c k  s e t .   T his   is   how  the  s ys tem  a ls o  e ns ur e s   memor y  uti li z a ti on   e f f icie n c y  dur ing   tr a c k  mana ge ment.   F u r ther   the  KF   model  is   ini ti a ted  f or   ne w  t r a c k  hypothes e s   whic h  c or r e s pond  to  mul ti ple  pe de s tr ian  de tec ti on   whic h  a r e   not   a s s oc iate d   with  the  e xis ti ng  t r a c ks .       2. 5 .    F or m u lat io n   of   all oc at io n s   m e t r ics   T he   s tudy  in  thi s   pha s e   of   r e s e a r c h  f or mul a tes   a l loca ti ons   pr oblem  whe r e   it   a ppli e s   the  poli c y  of   Hunga r ian  a lgor it hm  to  buil d  a s s oc iation  be twe e n  pr e dicte d  Ka lm a n  s tate s   a nd  ne wly  a r r ived  mea s u r e s .   T he   pr opos e d  s tr a tegy  ba s ica ll y  ut il ize s   thr e e   dif f e r e nt  types   o f   dis tanc e s   f or   a ll oc a ti ons   s tr a tegy   w hich  a r e :   bounding  box  int e r s e c ti on  ove r   union  ( B B I OU ) ,   M a ha lanobis   dis tanc e   mea s ur e ,   a nd  a ppe a r a nc e   c os ine   dis tanc e .   He r e   in  the  pr opos e d  a ppr oa c h  of   M OT ,   the  dis tanc e   of   B B I OU   r e f e r s   to  the  mea s ur e   be twe e n  a   tr a c k  a nd  de tec ti on  ba s e d  on  the   ove r lap  r a ti o  of   t wo  bounding  boxe s   whic h  c ould   be   de f ined   as   ( 12) .       = 1 −  ⁄   ( 12)     On  the  other   ha nd,   the  mea s ur e   of   M a ha lanobis   dis tanc e   is   a nother   e va luation  c r it e r ia  thr ough  whic h  the  dis tanc e   be twe e n  de tec ti on  a nd  t r a c ks   a r e   e v a luate d  c ons ider ing  a   s tatis ti c a l  e va luation  o f   p r oba bil it y  de ns it y  f unc ti ons .   How e ve r ,   the  e va luation  of   dis tanc e   M a h a lanobis   c a n  be   e s ti mate d  c ons ide r ing  the  f oll owing  e xpr e s s ion.        ℎ  = ( −  ) − 1 ( −  )   ( 13)     He r e     r e pr e s e nts   the  mea s ur e s   a s s oc iate d  with  bounding  box,     r e pr e s e nts   the  tr a c k  s tate   a nd    r e f e r s   to  J a c obian  mea s ur e ment  f unc ti ona li ty   f o r   dim e ns ional  s pa c e   mea s ur e .   On   the   other   ha nd,      r e f e r s   t o  th e   pr e dicte d  mea s ur e ment.   He r e     de notes   c ova r ianc e   matr ix.   How e ve r ,   the  s tudy  a ls o  e va luate s   the  dis tanc e   be twe e n  the  de tec ti on  a nd  pr e dicte d  tr a c ks   c on s i de r ing  a ppe a r a nc e   f e a tur e   ve c tor   whic h  is   a ls o  r e f e r r e d  a s   a ppe a r a nc e   c os ine  dis tanc e .     2. 6 .    F or m u lat io n   of   c os t   m e t r ic   T he   pr opos e d  idea   in  thi s   r e s e a r c h  a ppr oa c h  ba s ica ll y  c ombi ne s   both   ℎ    a nd  a ppe a r a nc e   f e a tur e   c os ine  dis tanc e   to  e s ti mate   the  s e t  of   ne w   de tec ti ons   to  the  s e t  of   c ur r e nt  li ne   of   moveme nt   ( L oM ) .   T he   c os t  e s ti mation  in   pr opos e d  s tudy  is   a   m ini mi z a ti on  pr oblem  whic h   is   f o r mul a ted  a s   ( 14 ) :    Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   E lec   &  C omp   E ng     I S S N:   2088 - 8708         A   c os t - e ff e c ti v e ,   r e li able  and   ac c ur ate  fr ame w or k   for   multi ple - tar ge t  tr ac k ing  by   …   ( Div y apr abha )   5687   = ∑ ×  ℎ  , ( 1 − ) × (    )   ( 14)     w he r e   0 < < 1 .   P r ope r   t r a c k  mana ge ment  c ould   a ls o  play   a   c r uc ial  r ole   in  the  pr opos e d  s tudy   to  ha ndle   the  c os t   metr ic.   T his   a pp r oa c h  of   c os t  e va luation   with   e f f e c ti ve   tr a c k  mana ge ment  ba s ica ll y  ha ndles   the   oc c lus ion  in   the  pr opos e d  t r a c king  model .   I n   thi s   r e ga r d,   th e   s tudy  int r oduc e s   a   matc hing   e va luation  s olut ion  that   pr ior it ize s   the  mo r e   f r e que ntl y  obs e r ve d  objec ts   ov e r   a   video  s c e ne   to  a s s e s s   the  a s s oc iation  li ke li hood.     2. 7 .     YOL Ov4  an d   p e r s on   r e - id e n t if ica t ion   n e t w or k   m od e li n g   T he   s tudy  in  the  pr opos e d  a ppr oa c h  o f   M OT   ba s ica ll y  c ons ider s   a   da tas e t  of   pe de s tr ian  tr a c king   whe r e   the  de tec ti ons   a r e   ge ne r a ted   f r o m  the   YO L Ov4  objec t  de tec tor   model .   He r e   the   s ys tem  c ons ider s   both   gr ound  tr uth   da ta  a nd   the  de tec ti ons   f r o m  the  p r e - tr a ined  YO L Ov4.   How e ve r ,   the  p r opos e d  a ppr oa c h  a ls o   f ur ther   pe r f o r ms   c onve r s ion  of   de tec ti ons   to  bounding  box  c oor dinate s   us ing  ( 11) .   F ur ther   the  s ys tem  a ls o  int e gr a tes   a   pe r s on  r e - identif ica ti on  ne twor k   whic h  is   a ls o  a   pr e - tr a ined  ne twor k   to   e va luate   the  a p pe a r a nc e   f e a tur e   f or   e a c h  de tec ti on.   I t   ha s   to  be   noted  that  f or   e xtr a c ti on  of   a ppe a r e d   f e a tur e   ve c tor   c o r r e s pond  to  e a c h  de tec ti on,   the   s ys tem  c ons ider s   bounding   box   c oor dinate s   a nd  c onve r t   them   to   c r op   f r a me.   F in a ll y,   the   a ppe a r a nc e   ve c tor   o f   (  )   is   c ons tr uc ted   c ons ider ing  a   pr e diction  s tr a tegy   f o r   pe r s on  r e - identif ica ti on .   He r e   the  c r oppe d  f r a me   objec t  of   int e r e s t  im a ge   is   us e d  to   pr e dict  the  a ppe a r a nc e   f e a tur e s   a nd  the   f inal      is   ge ne r a ted.   F ur ther   the  s ys tem  of   M OT   c ons ider s   thes e   bounding  boxe s   a nd     a nd  it e r a tes   them  to  e va l ua te   the  a lgor it hm   1  a nd   ge ne r a tes   a ll oc a ti ons   whic h   a r e   f ur ther   mana ge d  unde r   L oM   ini ti a ti on,   de le ti on  a nd  a ppe a r a nc e   f e a tur e   upda te .   T he   tr a c ke r   a ls o  e va l ua tes   KF   to   p r e dict  t r a c ks   whic h   a r e   f ur ther   u ti l ize d  f or   ge ne r a ti ng  a ll oc a ti ons .   F inally  with  thes e   opti mi z e d  it e r a ti on  s teps   the  s ys tem  pe r f or ms   tr a c king  of   p e de s tr ian   moveme nts .   F ur ther   outcome   o f   the  p r opos e d  tr a c king  model  is   e va luate d  c ons ider ing  dif f e r e nt  pe r f or manc e   pa r a mete r s   whic h  a r e   mul ti - objec t  t r a c king  a c c ur a c y  ( M OT A)   a nd   mul ti - objec t  tr a c king  p r e c is ion  ( M OT P ) .     Algor it hm  1 .   S t r a tegy  f o r   c os t - e f f e c ti ve   a ll oc a ti on  of   tr a c ks   a nd  t r a c k  mana ge ment  s c he me   Input: Track Indices ( ) ,   Detections ( [ ] )   ,  ma x     Output: Track Management   for minimum cost evaluation   Begin   1.   Video Sequence Exploration Frame Reading    2.   Apply YOLOv4, Person Re - Identification    3.   Initialize unallocated detections ( )   4.   Compute:   ℎ ,  (   )   for    and    5.   Evaluate cost using (14)   6.   Apply Linear Allocations of cost    7.   Update all Allocations and unallocated tracks    8.   Update unallocated detection   9.   Initialize  Predicted     10.   Formulate    for last  ( − 1 )   frame instances   11.   For  ( = 1 )   a.   Evaluate (Line - 4 to Line - 5)   b.   For  ( = + 1 )   i.   Compute    cost for remining unallocated detections and tracks   ii.   Linear Allocations   c.   If ( ( ≤ ma x )   d.   Evaluate (Line - 11, Line - 11a)   12.   Update cumulative Allocations with  unallocated detections and tracks   13.   End of For   End       3.   RE S UL T S   AN D  DI S CU S S I ON   T he   pr opos e d  s tudy  c ons ider s   e va luation  of   th e   M OT   f r a mew or k   to  jus ti f y  the  p r opos it ions   a ppli c a bil it y   in  r e a l - ti me  mul ti   objec t  tr a c king.   He r e   the  pr opos e d  tr a c king  wor kf low  model  c ons ider s   pe de s tr ian  tr a c king  video   da ta  f or   the   pur pos e   of   e va luation.   T he   s tudy   f ur the r   a ls o   c ons ider s   objec t - or iente d   a ppr oa c h  to  e va luate   the  M OT   tr a c ke r   f r a mew or k.   He r e   the  wor k - f low  f o r   the  e va luation   of   the  pr opos e d  M OT   tr a c ke r   model  ini ti a ll y  c ons tr uc ts   a   L oM   log  a nd  f ur ther   ini ti a li z e s   a   mi nim um  s c or e   f or   de t e c ti on  of   objec t  of   int e r e s t.   F ur ther   it   e na bles   a   pr oc e s s ing  l ooping  s tr uc tur e   to  s igni f ica nt  s c or e   of   de tec ti ons   whic h  a r e   f ur ther   us e d  to   r un  the  P e r s on  re - identif ica ti on   ne twor k  model.   He r e   the  t r a c ke r   c ons ider s   high - s c or e   de tec ti ons   to  pr e dict  the  tr a c king  o f   L oM   f or   the  d e tec ted  pe de s tr ian  moveme nt  on  the  s tr e e t .     T he   s tudy   a ls o  maintains   a   r e c or d   f or   the   log   o f   L oM   whic h  is   f u r ther   a ls o  us e d  f or   e va luation   of   the   pe r f or manc e   met r ic.   How e ve r ,   the  e va luation   m e a s ur e s   f ur ther   s how  how   the   tr a c king   outcome   in   the  pr opos e d  s tudy  model  is   c ompar a ti ve ly  be tt e r   than  the  e xis ti ng  tr a c king  models .   I n  thi s   r e ga r d  the  pe r f or manc e   e va luation  s c or e s   a r e   c omput e d  in   th e   mea s ur e   of   M OT A  a nd  M OT P   a long  with   f a ls e   pos it ive   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2088 - 8708   I nt  J   E lec   &  C omp   E ng ,   Vol .   1 4 ,   No.   5 ,  Oc tober   2 02 4 :   5681 - 5690   5688   ( F P ) ,   f a ls e   ne ga ti ve   ( F N ) ,   a nd   r e c a ll   s c or e s .   T he   s tudy  s hows   that   the   pr opos e d   wor kf low   model   f or   t he   M OT   tr a c king  a c c ompl is he s   c ons ider a ble  M OT A  s c or e   whic h  is   a ppr oxim a tely   85. 8%   whe r e a s   M OT P   s c or e   is   f ound  to   be   94. 5 % .   I t   a ls o   s hows   that  the   f a ls e   pos it ive  s c or e   o f   30   a long   with   F N   va lue   of   62.   How e ve r ,   the  r e c a ll   pe r f or manc e   is   f ound   to   be   90 %   whic h   a r e   c ompar a ble  with   the  e xis ti ng   ba s e li ne s .   T he   c ompar a ti ve   outcome   a s   highl ight e d  in  the  F igu r e   1  c lea r ly  s hows   that  the  pr opos e d  tr a c king  model  outper f or ms   the   ba s e li ne   a ppr oa c he s   of   k - de ns e   ne ighbor s   ba s e d  t r a c ke r   ( KDNT )   [ 28] ,  s im ple  onli ne   a nd  r e a l - ti me  tr a c king   ( S OR T )   [ 29]   a nd   li f ted   mul ti c ut   pr oblem   ( L M P )   [ 30]   in   the   mea s ur e   of   both   M OT A  a nd   M OT P .   T he   pr im e   r e a s on  be hind   thi s   is   the  inclus ion   of   c os t - e f f i c ient  tr a c k  Alloca ti ons   a nd  mana ge ment  s c he m e s .   T he   c ompar a ti ve   outcome   is   a ls o  vis ua li z e d  thr ough   F i gur e s  1( a )   a nd   1 ( b) .   T he   t r a dit ional  popu lar   M OT   methods   by   [ 28] – [ 3 0]   a ls o   talk  a bout   the   s c ope   of   mul ti ple  hypo thes is   ( M HT )   tr a c king  a long  with  pr oba bil is ti c   da ta  a s s oc iation  pr oblem.   E ve n  though  thes e   a ppr oa c he s   a r e   f ound  to  c a ter   the   r e quir e ments   f or   tr a c king   a c c ur a c y  whe n  int e gr a ted  with   pr uning   s c he mes ,   but  the  e f f icie nt  tr a c king - by - de te c ti on  c omes   with  incr e a s e d  c om putational  a nd  de s ign  c ompl e xit y  f or   a s s oc iatio n  metr ic   e va luation  unde r   f r e que nt   oc c lus ions .   Unlike   e xi s ti ng  ba s e li ne   s tr a tegie s   of   M OT ,   the   pr opos e d   model  of   M OT   c ons ider ing  the  c os t - e f f e c ti ve   a ppr oa c h  f or   opti mi z e d  tr a jec tor y  f or mu lation  a ddr e s s e s   thi s   c h a ll e nging  s c e na r io  in  c onve nti ona l  a ppr oa c he s   a nd  im pr ovis e   that  to  r e tain  we ll   ba lanc e   be twe e n  both   c ompl e xit y  a nd  M OT A.   T he   s tudy   model  a ls o   c laims   it s   e f f e c ti v e ne s s   in  im pleme nti ng  s im pli f ied  wo r k - f low  de s i gn  whic h  make s   the  ope r a ti ons   mor e   c os t - e f f e c ti ve   a nd  r e s our c e   f r iendly  whe n   c ompar e d   with   the   ba s e li ne   s tudi e s   of   M OT .   T he   c ompar a ti ve   a na lys is   a ls o  s hows   that   the  e f f icie nt  t r a c k  mana ge ment  s c he me  in  the  pr opos e d  s ys tem  not  only   im p r ove s   it s   ope r a ti ona l   a nd   de s ign  e f f icie nc y  f r om   the   c os t  o f   c omput a ti on   point   of   view   but  a ls o  e ns ur e s   higher   r e li a bil it y   in   e ns ur ing  be t ter   mul ti p le  tar ge t   tr a c king   a c c ur a c y  a nd  p r e c is ion  whic h   make s   it   mor e   s uit a ble  to   be   im pleme nted   ove r   r e a l - ti me  s c e na r ios .           ( a )       ( b)     F igur e   1.   C ompar a ti ve   a na lys is   ( a )   M OT A  ( % )   a n d  ( b)   M OT P   ( % )     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   E lec   &  C omp   E ng     I S S N:   2088 - 8708         A   c os t - e ff e c ti v e ,   r e li able  and   ac c ur ate  fr ame w or k   for   multi ple - tar ge t  tr ac k ing  by   …   ( Div y apr abha )   5689   4.   CONC L USI ON   T he   p r opos e d  s tudy  int r oduc e s   a   c os t - e f f e c ti ve   M OT   f r a mew or k   whe r e   it   int e gr a tes   bo th   YO L Ov4  a nd  P e r s on  re - identif ica ti on  ne twor k  with  a   mul ti - objec t  tr a c ke r   de s ign  c ons ider ing  the  a ppe a r a nc e   f e a tur e s   to  im pr ove   the   pe r f or manc e   of   pe de s tr ian  t r a c king.   He r e   the  s ys tem  f o r mul a ti on  a ls o  e va luate s   pr oblem  of   a ll oc a ti ons   dis tanc e s   whe r e   im pleme nts   a   uniq ue   a ppr oa c h  of   a ll oc a ti ons   s tr a tegy  with   e f f ici e nt  tr a c k  mana ge ment  s c he me  wh e r e   it   a ls o  e va luate s   the  c os t  c ons ider ing  both  M a ha l a nobis   c o s t  a nd  c os i ne   c os t.   He r e   the  p r opos e d  objec t  t r a c king  a lgor it hm   de s ign  is   modele d   a s   s im ple  a s   pos s ibl e   f r om   the  de s ign   point   of   view   a nd  a ls o  pe r s on  r e - id e nti f ica ti on  e nti f ica ti on   de e p  lea r ning  model  he r e   c ontr ibut e s   towa r ds   ge ne r a ti ng  de e p  a ppe a r a nc e   f e a tur e s   whic h  im pr ove   the  a ll oc a ti ons   ha ndli ng  s c he ma  with  tr a c k  mana ge me nt.   He r e   int e gr a ti on  o f   a ppe a r a nc e   inf or mation  int o   da ta  a s s oc iation  a ls o  ha ndles   the   pr oblem   of   oc c lus ion  to   a   higher   e xtent  ove r   longer   pe r iod  o f   ti me.   T he   outcome   o f   the  s tudy  s hows   that  the  pr opos e d  model  outper f or ms   the  e xis ti ng  ba s e li ne   tr a c king  s tr a tegie s   with  85. 8%   M OT A  a nd  94. 5%   M OT P   s c or e s   making  it   s uit a ble  f or   r e a l - ti me  tr a c king  of   objec t  of   int e r e s t.   T he   s c ope   of   the  s tudy  li e s   in  modi f ying  the  M a ha lanobis   dis tanc e   in  f utur e   s o  that   the  dis tr ibut ion  of   c ova r ianc e   c a n  be   ha ndled  mor e   a ppr opr iate ly  in   the  pr e s e nc e   of   oc c l us ion.         RE F E RE NC E S   [ 1]   L .  J ia o  e t  al . ,  “ A   s ur ve y  of   d e e p  le a r ni ng - ba s e d  obj e c t   de te c ti on,”   I E E E   A c c e s s ,  vol .  7,  pp.  128837 – 128868,   2019,  doi :  10.1109/AC C E S S .2019.2939201.   [ 2]   S .  K .  P a l,   A .  P r a ma ni k,  J .  M a it i,   a nd   P .  M it r a ,  “ D e e p  le a r ni n g  in   mul ti - obj e c t  de te c ti on  a nd  tr a c ki ng:   s ta te   of   th e   a r t, ”   A ppl ie d   I nt e ll ig e nc e , vol . 51, no. 9, pp. 6400 – 6429, S e p. 2021, doi:  10.1007/s 10489 - 021 - 02293 - 7.   [ 3]   B o  Y a ng   a nd  R .  N e v a ti a ,  “ M ul ti - ta r ge t  tr a c ki ng  by  onl in e   le a r ni ng  of   non - li ne a r   mot io n  pa tt e r ns   a nd  r obus t  a ppe a r a nc e   mod e ls ,”   in   2012  I E E E   C onf e r e nc e   on  C om put e r   V is io n  and  P at te r n  R e c ogni ti on ,  J un.  2012,   pp.  1918 – 1925,  doi :  10.1109/C V P R .2012.6247892.   [ 4]   S .  K .   P a l,   D .   B houmi k,  a nd  D .  B hu ni a   C h a kr a bor ty ,  “ G r a nul a te d   de e p   le a r ni ng   a nd  Z - nu mbe r s   i n  mot io n  de t e c t io n  a nd   o bj e c t   r e c og ni ti o n,”   N e u r al   C om put in g an d A ppl ic at io n s , v ol .  32,  no.  2 1, pp . 16 533 – 1654 8, N ov.  2020 ,   do i:  10 .100 7/ s 0052 1 - 019 - 0420 0 - 1.   [ 5]   D .  B .  C ha kr a bor ty   a nd  S .   K .  P a l,   G r anul ar   v id e o  c om put in g  w it h  r ough  s e ts ,  de e p  le ar ni ng  and  in   I oT .  W or ld   S c ie nt i f ic ,    2021.   [ 6]   P .  D ol la r ,  C .  W oj e k,  B .  S c hi e le ,  a nd  P .  P e r ona ,  “ P e d e s tr ia n  de t e c ti on:   a n  e va lu a ti on  of   th e  s ta te   of   th e  a r t, ”   I E E E   T r ans ac ti ons   on   P at te r n A nal y s is  and M ac hi ne  I nt e ll ig e nc e , vol . 34, no. 4, pp. 7 43 – 761, Apr . 2012,   doi :  10.1109/T P A M I .2011.155.   [ 7]   A .  G e ig e r ,  P .  L e nz ,  a nd  R .  U r ta s un,  “ A r e   w e   r e a dy  f or   a ut ono mous   dr iv in g?   th e   K I T T I   vi s io n  be nc hma r k  s ui te , ”   in   2012  I E E E   C onf e r e nc e  on C om put e r  V is io n and P at te r n R e c ogni ti on , J un.  2012, pp. 3354 – 3361, doi:  10.1109/C V P R .2012.6248074.   [ 8]   O .  R us s a kov s ky  e t  al . ,  “ I ma ge N e t  la r ge   s c a le   vi s ua l  r e c ogni ti o n  c ha ll e nge ,”   I nt e r nat io nal   J our nal   of   C om put e r   V is io n ,  vol .  115,  no. 3, pp. 211 – 252, De c . 2015, doi:  10.1007/s 11263 - 015 - 0816 - y.   [ 9]   M .  E ve r in gha m,  L .  V a n  G ool ,  C .  K .  I .  W il li a ms ,  J .  W in n,  a nd A .  Z is s e r ma n,  “ T h e   pa s c a l  vi s ua l  obj e c t  c la s s e s   ( V O C )   c ha ll e n ge ,”   I nt e r nat io nal  J our nal  of  C om put e r  V is io n , vol . 88, no. 2, pp. 30 3 – 338, J un. 2010, doi:  10.1007/s 11263 - 009 - 0275 - 4.   [ 10]   T. - Y .  L in   e t  al . ,  “ M ic r os of t  C O C O :  c omm on   obj e c ts   in   c on te xt ,”   I n:   F le e t,   D .,  P a jd la ,   T .,   S c hi e le ,  B .,  T uyt e la a r s ,  T .  ( e ds )   C om put e r   V is io n  –   E C C V   2014.  E C C V   2014.  L e c tu r e  N ot e s   in  C om put e r   S c ie nc e ,  vol .   8693.  S pr in ge r ,  C ha m.  2014,  pp.   740 – 7 55 ,   doi :  10.1007/978 - 3 - 319 - 10602 - 1_48 .   [ 11]   A .  K uz ne ts ova   e t  al . ,  “ T he   ope n  im a ge s   da ta s e t  V 4,”   I nt e r nat i onal   J our nal   of   C om put e r   V is io n ,  vol .  128,  no.   7,  pp.  1956 – 19 81,  J ul . 2020, doi:  10.1007/s 11263 - 020 - 01316 - z.   [ 12]   A .  B oc hkovs ki y,  C .  Y .  W a ng,  a nd  H .  Y .  M .  L ia o,  “ Y O L O v4:   opt im a l  s pe e d  a nd  a c c ur a c y  of   obj e c t  de te c ti on,”   a r X iv   pr e p r in t   ar X iv : 2004.10934 , 2020.   [ 13]   R .  G ir s hi c k,  J .  D ona hue ,  T .  D a r r e ll ,  a nd  J .  M a li k,  “ R ic h   f e a tu r e   hi e r a r c hi e s   f or   a c c ur a te   obj e c t  de te c ti on  a nd  s e m a nt ic   s e gme nt a ti on,”   in   2014  I E E E   C onf e r e nc e   on  C om put e r   V is io n  and  P at te r n  R e c ogni ti on ,  J un.  2014,  pp.   580 – 587,  doi :  10.1109/C V P R .2014.81.   [ 14]   J .  H us s a in ,  B . R .  P r a th a p,  a nd  A .  S ha r ma ,  “ A n  im pr ove d  a nd  e f f ic ie nt   Y O L O v4  me th od  f or   obj e c t  de te c ti on  in   vi de o  s tr e a mi ng,”   I n:   S hukl a ,  S .,  G a o,  X Z .,  K ur e e th a r a ,  J .V .,  M i s hr a ,  D .  ( e d s ) ,   D at a  Sc ie nc e   and   Se c ur it y .   L e c tu r e   N ot e s   in   N e tw or k s   and  S y s te m s ,  vol .   462. S pr in ge r , S in ga por e ,   2022, pp. 305 – 316 , doi :   10.1007 /9 78 - 981 - 19 - 2211 - 4_27 .    [ 15]   J .  R e dmon,  S .  D iv va la ,  R .   G ir s hi c k,  a nd  A .  F a r ha di ,  “ Y ou  onl y  lo ok  onc e :  uni f ie d,  r e a l - ti me   obj e c t  de te c ti on,”   in   2016  I E E E   C onf e r e nc e  on C om put e r  V is io n and P at te r n R e c ogni ti on ( C V P R ) , J un. 2016, pp. 779 – 788,   doi :  10.1109/C V P R .2016.91.   [ 16]   J .  R e dmon  a nd  A .  F a r ha di ,  “ Y O L O 9000:  be tt e r ,  f a s te r ,  s tr onge r ,”   in   2017  I E E E   C onf e r e nc e   on  C om put e r   V is io n  and  P at te r n   R e c ogni ti on ( C V P R ) , J ul . 2017, pp. 6517 – 6525, doi:  10.1109/C V P R .2017.690.   [ 17]   L .  A .  Z a de h,  “ A   not e   on  Z - nu mbe r s ,”   I nf or m at io n  Sc ie nc e s ,  vol .  181,  no.  14,  pp.  2923 – 2932,  J ul .  2011,  doi :  10.1016/j .i ns .2011.02.022.   [ 18]   C. - Y .  W a ng,  A .   B oc hkov s ki y,  a nd  H . - Y .  M .  L ia o,  “ S c a le d - Y O L O v4:   s c a li ng  c r os s   s t a ge   pa r ti a l  n e twor k,”   in   2021  I E E E / C V F   C onf e r e nc e   on  C om put e r   V is io n  and  P at te r n  R e c ogni ti on  ( C V P R ) ,  J un.  2021,  pp.  13024 – 13033,  doi :  10.1109/C V P R 46437.2021.01283.   [ 19]   K. - C .  L iu ,  Y . - T .  S he n,   a nd  L . - G .  C he n,  “ S im pl e   onl in e   a nd  r e a lt im e   tr a c ki ng  w it h  s phe r ic a l  p a nor a mi c   c a me r a ,”   in   2018  I E E E   I nt e r nat io nal  C onf e r e nc e  on C ons um e r  E le c tr oni c s  ( I C C E ) , J a n . 2018, pp. 1 – 6, doi:  10.1109/I C C E .2018.8326132.   [ 20]   S .  M e ns hov,  Y .  W a ng,  A .  Z hda nov,  E .  V a r la mov,  a nd  D .  Z hd a nov,  “ S im pl e   onl in e   a nd  r e a lt im e   tr a c ki ng  pe opl e   w it h  ne w   ‘ s of t - io u’  me tr ic ,”  i n  A O P C  2019:   A I  i n O pt ic s  and P hot oni c s , D e c . 2019, doi:  10.1117/12.254792 2.   [ 21]   O .  U r ba nn,  O .  B r e dt ma nn,  M .  O tt e n,  J .  P .  R ic ht e r ,  T .  B a ue r ,  a nd  D .  Z ib r ic z ky,  “ O nl in e   a nd  r e a l - ti me   tr a c ki ng  in   a   s ur ve il la nc e   s c e na r io ,”   ar X iv  p r e pr in t  ar X iv : 2106.01153 , 2021.   [ 22]   X .  H ou,  Y .  W a ng,  a nd  L . - P .  C ha u,  “ V e hi c le   tr a c ki ng  us in g  de e p  S O R T   w it h  lo w   c onf id e nc e   tr a c k  f il te r in g,”   in   2019  16t h   I E E E   I nt e r nat io nal   C onf e r e nc e   on  A dv anc e d  V id e o  and  Si gnal   B as e d  Sur v e il la nc e   ( A V SS) ,  S e p.  2019,  pp.  1 – 6,  doi :   10.1109/AVSS .2019.8909903.   [ 23]   S .  I of f e   a nd  C .  S z e g e dy,  “ B a tc h  nor ma li z a ti on:   a c c e le r a ti n g  de e p  ne twor k   tr a in in g  by  r e duc in g  in te r na l  c ova r ia te   s hi f t, ”   I nt e r nat io nal  c onf e r e nc e  on  m ac hi ne  l e a r ni ng , pp. 448 – 456, 2015.   [ 24]   J . R e dmon a nd A . F a r ha di , “ Y ol ov3:  a n i n c r e me nt a l  im pr ove me nt ,”   ar X iv  pr e p r in t  ar X iv : 1804.02767 , 2018.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2088 - 8708   I nt  J   E lec   &  C omp   E ng ,   Vol .   1 4 ,   No.   5 ,  Oc tober   2 02 4 :   5681 - 5690   5690   [ 25]   K .  H e ,  X .  Z ha ng,  S .  R e n,  a nd  J .  S un,  “ S pa ti a l  pyr a mi d  pool i ng  in   de e p  c onvolut io na l  ne twor ks   f or   vi s ua l  r e c ogni ti on,”   I E E E   T r ans ac ti ons   on   P at te r n  A nal y s i s   and   M ac hi ne   I nt e ll ig e nc e ,  vol .  37,   no.  9,   pp.  1904 – 1916,  S e p.   2015,  doi :   10.1109/T P A M I .2015.2389824.   [ 26]   H .  Y u,  X .  L i,   Y .  F e ng,  a nd  S .   H a n,  “ M ul ti pl e   a tt e nt io na l  pa th   a ggr e ga ti on  ne twor k  f or   ma r in e   ob je c t  de te c ti on,”   A ppl ie d  I nt e ll ig e nc e , vol . 53, no. 2, pp. 2434 – 2451, J a n. 2023, doi:  10.1 007/ s 10489 - 022 - 03622 - 0.   [ 27]   P .  R .  G unj a l,   B .  R .  G unj a l,   H .  A .  S hi nde ,  S .  M .  V a na m,  a nd  S .  S .  A he r ,  “ M ovi ng  obj e c t  tr a c ki ng  us in g  K a lm a n  f il te r ,”   in   2018   I nt e r nat io nal   C onf e r e nc e   O n  A dv anc e s   in   C om m uni c at io n  and  C om put in g  T e c hnol ogy   ( I C A C C T ) ,  F e b.  2018,  pp.  544 – 547,  doi :   10.1109/I C A C C T .2018.8529402.   [ 28]   F .  Y u,  W .  L i,   Q .  L i,   Y .  L iu ,  X .  S hi ,   a nd  J .  Y a n,  “ P O I :  mu lt ip l e   obj e c t  tr a c ki ng  w it h  hi gh  pe r f or ma nc e   de te c ti on  a nd  a ppe a r a nc e  f e a tu r e ,”   I n:   H ua ,  G .,  J é gou,  H .  ( e ds ) ,   C o m put e r   V is io n   –   E C C V   2016  W or k s hops .  E C C V   2016.  L e c tu r e   N ot e s   in   C o m p ut e r   Sc ie nc e , vol .   9914. S pr in ge r , C ha m.  2016, pp. 36 – 42 , doi :   10.1 007/ 978 - 3 - 319 - 48881 - 3_3   [ 29]   A .  B e w le y,  Z .  G e ,  L .  O tt ,  F .  R a mos ,  a nd  B .  U pc r of t,   “ S im pl e   onl in e   a nd  r e a lt im e   tr a c ki ng,”   in   2016  I E E E   I nt e r nat io nal   C onf e r e nc e  on I m age  P r oc e s s in g ( I C I P ) , S e p. 2016, pp. 3464 – 3468, doi:  10.1109/I C I P .2016.7533003.   [ 30]   S .  T a ng,  M .  A ndr il uka ,  B .  A ndr e s ,  a nd   B .  S c hi e le ,  “ M ul ti pl e   pe opl e   tr a c ki ng  by  li f te d  mul ti c ut   a nd  pe r s on  r e - id e nt if ic a ti on,”   in   2017  I E E E   C onf e r e nc e   on  C om put e r   V is io n  and  P at te r n  R e c ogni ti on  ( C V P R ) ,  J ul .  2017,  pp.  3701 – 3710,  doi :  10.1109/C V P R .2017.394.       B I OG RA P HI E S   OF   AU T HO RS       D i v y a pr a bha           i s   as s o c i at e  p ro fe s s o r  at   Sri   Si d d h art h a  In s t i t u t e  o f  T ec h n o l o g y ,   T u m k u r,   In d i a.   Sh e  rece i v e d   h er   b ac h el o r’s   d e g ree  fro m  Ban g a l o re  U n i v e rs i t y   an d   mas t er’ s   d eg ree  fro m  BI T S,   Pi l a n i ,   Ra j as t h a n .   Sh e  i s   a  memb er   o f  IST E .   H er  f i el d   o f  i n t eres t s   are   i mag e  p ro c es s i n g ,   mach i n e  l earn i n g .   Sh e  h as   p u b l i s h e d   p ap ers   i n   co n fere n ces   an d   j o u rn a l s .   Sh e  can   b e  co n t ac t ed   a t   emai l :   d i v y as y 7 4 @ g mai l . co m.           Gurupra s a d  Seeba i a h          i s   as s o c i at e  p ro fes s o r  at   Sri   Si d d h ar t h a  In s t i t u t e  o f   T ech n o l o g y ,   T u m k u r,   In d i a.   H e  recei v ed   h i s   b ach e l o r’ s ,   mas t er’s   an d   d o ct o ral   d e g ree  fro m   V i s v e s v ara y a  T ech n o l o g i ca l   U n i v ers i t y   (V T U ),   Bel g au m,   In d i a.   H e  i s   a  memb er   o f  IST E .   H i s   fi el d   o f  i n t eres t s   are  i mag e  p r o ce s s i n g   an d   b i o me d i c al   i n s t r u men t at i o n .   H e  h as   p u b l i s h e d   res earch   p a p ers   i n   rep u t ed   co n feren ce s   an d   i n t er n at i o n al   j o u r n al s .   H e  can   b e  co n t ac t ed   a t   emai l :   g u r u p ra s ad s @ s s i t . e d u . i n .         Evaluation Warning : The document was created with Spire.PDF for Python.