I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  9 ,   No .   2 J u n e   2020 ,   p p .   282 ~ 2 8 9   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 9 .i 2 . p p 282 - 2 8 9          282       J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Tra ining  config ur a tion a na ly sis  of a co nv o lutiona l ne ura netw o rk  object  t r a ck er  f o r n ig ht  su rv eilla nce applica tion       Z u la i kh a   K a di m 1 ,   M o hd   Asy ra f   Z ul kifley 2 ,   No Azw a M o ha m ed  K a m a ri 3   1 , 2, 3 De p a rtm e n o f   El e c tri c a l,   El e c tro n ic a n d   S y ste m s E n g in e e rin g ,   F a c u lt y   o f   En g in e e rin g   a n d   Bu il En v iro n m e n t,   Un iv e rsiti   Ke b a n g sa a n   M a la y sia ,   Ba n g 4 3 6 5 0 ,   M a lay sia   1 M IM OS  Be rh a d ,   T e c h n o l o g y   P a rk   M a la y sia ,   5 7 0 0 0   B u k it   Ja li l,   K u a la L u m p u r ,   M a lay sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   1 8 ,   2 0 20   R ev i s ed    A p r   3 ,   2 0 20   A cc ep ted   A p r   23 ,   2 0 20       A u to m a ted   su rv e il lan c e   d u rin g   th e   n ig h is  im p o rtan a it   is  th e   p e rio d   w h e n   c rime u su a ll y   h a p p e n e d .   By   p ro v id in g   c o n ti n u o u m o n it o ri n g ,   c o u p led   w it h   a   re a l - ti m e   a lert  s y ste m ,   a p p ro p riate   a c ti o n   c a n   b e   tak e n   imm e d iate l y   i f   a   c rime   is   d e tec ted .   Ho w e v e r,   lo li g h ti n g   c o n d it i o n d u rin g   th e   n ig h c a n   d e g ra d e   th e   q u a li ty   o f   su rv e il lan c e   v id e o s,  w h e re   th e   c a p tu re d   ima g e w il h a v e   lo w   c o n tras a n d   les d is c rim in a ti v e   f e a tu re s.  Co n se q u e n tl y ,   th e se   f a c to rs  c o n tri b u te  to   th e   p ro b le m   o f   b a d   a p p e a ra n c e   re p re se n tatio n   o f   th e   o b jec o f   in tere st  in   t h e   trac k in g   a lg o rit h m .   T h u s,  a   c o n v o lu ti o n a n e u ra l   n e tw o rk - b a se d   o b jec trac k e r   f o n ig h su rv e il lan c e   is  p ro p o se d   b y   e x p lo it in g   th e   d e e p   f e a tu re   stre n g th   i n   r e p re se n ti n g   o b jec f e a tu re sp a ti a ll y   a n d   se m a n ti c a ll y .   T h e   p ro p o se d   c o n v o lu ti o n a l   n e tw o rk   c o n sists   o f   six   la y e rs  th a c o n sist  o f   th re e   c o n v o l u ti o n a l   n e u ra n e tw o rk (CNN a n d   t h re e   f u ll y   c o n n e c ted   ( F C)  lay e rs.  T h e   n e tw o rk   w il b e   train e d   b y   u sin g   a   b i n a ry   c las si f ier  a p p ro a c h   o f   o b jec ts   a n d   it b a c k g ro u n d   c las se s,  w h ich   is  u p d a te d   o n   a   f ix e d   in terv a so   th a i f u ll y   e n c a p su late th e   c h a n g e in   o b jec t   a p p e a ra n c e   a s   it   m o v e in   th e   s c e n e .   T h e   a lg o rit h m   h a b e e n   t e ste d   w it h   d if fe re n se ts  o f   train in g   d a ta  c o n f ig u ra ti o n to   f in d   th e   b e st  o p t i m u m   o n e s   w it h   re g a rd to   V OT 2 0 1 5   e v a lu a ti o n   p ro t o c o ls,   tes ted   o n   1 4 - n ig h t   su rv e il lan c e   v id e o s.  T h e   re su lt s h o w   th a t h e   c o n f ig u ra ti o n   o f   a   to tal  o f   2 5 0   train in g   sa m p les   w it h   a   sa m p le  ra ti o   o f   4 :1   b e tw e e n   p o siti v e   a n d   n e g a ti v e   d a ta  d e li v e rs  th e   b e st  p e rf o rm a n c e   f o th e   se q u e n c e   len g th   o f   [1 , 5 5 0 ] .   I c a n   b e   in f e rre d   th a m o re   in f o rm a ti o n   o n   t h e   o b jec is  re q u ire d   c o m p a re d   to   th e   b a c k g ro u n d ,   w h e re   th e   b a c k g ro u n d   m ig h b e   h o m o g e n e o u d u e   to   lo w   li g h ti n g   c o n d it i o n s.  I n   c o n c lu sio n ,   t h is  a lg o rit h m   is  su it a b le  t o   b e   im p le m e n ted   f o n ig h su rv e il lan c e   a p p li c a ti o n .   K ey w o r d s :   C o n v o lu tio n al  o b j ec t tr ac k in g   Nig h t s u r v eil lan ce   T r ac k in g   alg o r it h m   T r ain in g   d ata  an al y s is   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h d   As y r a f   Z u l k i f le y ,   Dep ar t m en t o f   E lectr ical,   E lectr o n ic  an d   S y s te m s   E n g i n ee r i n g ,   Facu lt y   o f   E n g i n ee r i n g   a n d   B u ilt E n v ir o n m e n t,   Un i v er s iti Ke b a n g s aa n   Ma la y s ia,   B an g i 4 3 6 5 0 ,   Ma lay s ia .   E m ail: a s y r a f . zu l k i f le y @ u k m . ed u . m y       1.   I NT RO D UCT I O N   Vis u a o b j ec t   tr ac k in g   h as  b ee n   an   ac tiv r esear ch   ar ea   in   co m p u ter   v is io n   an d   i m a g p r o ce s s in g   f ield s   b ec au s e   o f   its   w id ap p licatio n   i n   n u m er o u s   r ea l - wo r ld   p r o b lem s   i n cl u d in g   v i s u al  s u r v eil lan ce   [ 1 ] ,   r o b o tics   [ 2 ] ,   h u m a n - c o m p u te r   in ter ac tio n s   [ 3 ] ,   tr af f ic  an al y s i s   [ 4 ] ,   p h y s io th er ap y   [ 5 ] ,   an d   au to n o m o u s   v eh ic les  [ 6 ] .   I n   t h is   p ap er ,   w e   p r o p o s an   o b j ec tr ac k in g   al g o r ith m   b ased   o n   co n v o l u ti o n al  n e u r al  n et w o r k   ( C NN)   ap p r o ac h   f o r   th n ig h s u r v eilla n ce   ap p licatio n .   T h r o le  o f   th o b j ec tr ac k er   is   to   e s ti m ate  m o v e m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a n e u r a l n e tw o r o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   283   tr aj ec to r ies  th r o u g h o u i m a g s eq u en ce s   b y   ass i g n in g   co n s is ten lab el  to   th tr ac k ed   o b j e ct.   T h tr ac k er   task   is   also   to   p r o v id o b j ec t - ce n t r ic  in f o r m atio n   s u c h   as  o r ien tatio n ,   ar ea   o r   s h ap o f   th tr ac k ed   o b j ec t.  T h is   tr ac k in g   i n f o r m atio n   s er v es  a s   lo w - le v el  i n p u f o r   h ig h er - l ev el  ap p licatio n s   s u c h   as  b eh av io r   an al y s i s   o f   th e   o b j ec o f   i n ter est   an d   co n d i tio n   m o n i to r in g   o f   p h y s io t h er ap y   p atien t s .   T h er ar n u m b er s   o f   tr ac k i n g   alg o r ith m s   th at   h a v b ee n   p r o p o s ed   in   th l iter atu r e,   h o w e v er ,   m o s o f   t h e m   ar d ev elo p ed   f o r   th ap p licatio n   in   b r ig h t e n v ir o n m en t,  w ith   l ittl e m p h asi s   o n   d ar k   s u r r o u n d in g s .   Vid eo s   f r o m   n i g h s ec u r it y   ca m er as  p o s m o r d i f f ic u lt   c h alle n g e   to   th e   s ta n d ar d   o b j ec tr ac k i n g   alg o r ith m s .   D u to   lo w   li g h ti n g   co n d itio n s   d u r in g   th e   n ig h t   ti m e,   t h q u alit y   o f   ca p t u r ed   i m a g es   is   n o r m all y   n o th at  g o o d   w ith   c h ar ac ter is tics   o f   lo w   b r ig h t n ess ,   lo co n tr ast,  an d   al m o s n o   d is tin g u i s h ab le  co lo r   in f o r m atio n .   T h is   co n d it io n   is   ev en   w o r s i f   t h tar g et  o b j ec t is s m all  in   s ize  [ 7 ] .   On o f   th ap p r o ac h es  in   h a n d lin g   tr ac k in g   p er f o r m an ce   f o r   th n ig h s eq u e n ce   i s   b y   e n h an cin g   th e   i m a g q u alit y   f ir s b ef o r d etec tio n   an d   tr ac k in g   ar d o n e.   T h is   en h an ce m e n ca n   b ac h iev ed   b y   ap p l y i n g   p r ep r o ce s s in g   s tep s   s u c h   as   h i s to g r a m   eq u aliza t io n ,   h is to g r a m   s p ec i f icatio n ,   a n d   in te n s it y   m ap p in g .   H u an g   et   al.   [ 8 ]   an al y ze   th o b j ec t' s   lo ca co n tr ast  c h an g es  to   i m p r o v o b j ec d etec tio n   ac cu r ac y   in   t h n i g h v id eo   ap p licatio n .   L o ca co n tr ast  i s   co m p u ted   b y   f in d i n g   t h r ati o   b et w ee n   t h lo ca s ta n d ar d   d ev iatio n   o f   i m a g in te n s it y   w it h   lo ca m ea n   i n te n s it y ,   w h ic h   is   t h b asis   f o r   Hu an g ' s   C o n tr ast  C h a n g ( C C )   m o d el.   Ob j ec ts   ar th en   d etec ted   b y   th r es h o ld in g   th co n tr ast  ch a n g v al u es  i n   th s u cc ess i v f r a m es.  T h co m p u tat io n   s p ee d   is   r elativ el y   f a s t;  h o w e v er ,   it  i s   p r o n to   th p r o b lem   o f   s i m ilar   ap p ea r an ce   b et w ee n   th o b j ec an d   its   s u r r o u n d in g   b ac k g r o u n d .   Hu an g   et  al.   [ 9 ]   f u r th er   i m p r o v th d etec tio n   ac cu r ac y   b y   u til izin g   m o tio n   p r ed ictio n   an d   s p atial  n ea r est  n eig h b o r   d ata  ass o ci atio n .   W an g   et  al.   [ 1 0 ]   f u r th er   i m p r o v Hu a n g s   C C   m o d el   b y   in tr o d u cin g   s alie n co n tr ast  c h an g ( S C C )   m o d el,   w h ich   r eq u ir e s   o n li n lear n i n g   a n d   an al y s is   o f   t h d etec ted   o b j ec tr aj ec t o r ies.  T h w o r k   i n   [ 1 1 ]   in tr o d u ce s   ill u m in at io n   i n v ar ian t   r ep r esen t atio n   b y   m u ltip l y i n g   Sh a h n o n s   en tr o p y   e s ti m atio n   w it h   t h eir   o w n   co n tr a s t e s ti m a tio n .   I n   g e n er al,   tr ac k in g   r eq u ir es  t h tar g et  to   b r ep r esen ted   b y   m o d el  t h at  m i g h i n cl u d i n f o r m atio n   ab o u th s h ap o r   ap p ea r an ce   o f   th o b j ec t.  T h m o d el  w il b u s ed   as  r ef er en ce   i n   f i n d i n g   t h m o s t   p r o b a b le  lo ca tio n   o f   th o b j ec in   t h n e x f r a m e.   Ob j ec ap p ea r an ce   ca n   b r ep r esen ted   u s in g   g lo b al  o r   lo ca l   f ea t u r es,  in   w h ich   s o m ar m o r s u itab le  f o r   ce r tai n   tr a ck in g   c h alle n g es  s u c h   as  ill u m i n atio n   v ar iatio n ,   b ac k g r o u n d   cl u tter ,   an d   o cc l u s io n .   Ya n g   et  a l.  [ 1 2 ]   an d   L et  al.   [ 1 3 ]   p r o v id g o o d   o v e r v ie w   o f   lo ca a n d   g lo b al  f ea tu r r ep r ese n tatio n s   f o r   tr ac k in g   p u r p o s es  a n d   s u m m ar y   o f   tar g et  a p p ea r an ce   m o d els,   r esp ec tiv el y .   A   g o o d   o b j ec r e p r esen tatio n   m e th o d   s h o u ld   b ab le  to   clea r l y   d i s ti n g u i s h   th tar g et  f r o m   o th er   b ac k g r o u n d   o b j ec ts .   T h au th o r s   o f   [ 1 4 ]   ca teg o r ize  tr ac k in g   alg o r ith m s   b ased   o n   f ea tu r r ep r esen tatio n   m eth o d s ,   in   w h ic h   t h e y   ar d iv id ed   i n t o   t w o   g r o u p s   n a m el y   h a n d cr af ted   an d   d ee p   f ea t u r es.   E f f ec ti v f ea tu r r ep r esen tatio n s   s h o u ld   b d i s cr i m i n ati v w h ile   m ain tain i n g   th e   g eo m etr ic,   s tr u ct u r al   an d   s p atial   tar g e t   in f o r m atio n .   S tr u ct u r al,   g eo m etr ics  an d   s p atial  tar g e in f o r m atio n   e n co d th ap p ea r an ce   v ar iatio n ,   s h ap es,   an d   lo ca tio n   o f   d if f er en o b j e ct  p ar ts ,   r e s p ec tiv el y .   So m o f   t h h an d cr af ted   f ea t u r es  ca p tu r t h is   lo w - le v el   in f o r m atio n   b u e n co d o n l y   s m a ll  f r ac tio n   o f   s e m a n tic   i n f o r m atio n .   Dee p   f ea t u r es,  o n   th o t h er   h a n d ,   ar ab le  to   en co d lo w - lev e s p a tial  an d   h ig h - le v el  s e m a n tic  in f o r m atio n   w h ich   ar e s s e n t ial  co m p o n e n ts   i n   lo ca tin g   t h o b j ec ts   p r ec is ely .   T h ese  ab ilit ies  m a k d ee p   lear n in g   ap p r o ac h   p o p u lar   in   m a n y   i m a g e   p r o ce s s in g   ta s k s ; i n cl u d in g   o b j ec t d etec tio n   [ 1 5 - 1 7 ] ,   class if i ca tio n   [ 1 8 ] ,   an d   tr ac k in g .   I n   [ 1 9 ] ,   J o n g   et  al.   p r o p o s a   C NN  b ased   h u m a n   d etec tio n ,   w h ich   s er v es  a s   an   i n p u to   an   o b j ec t   tr ac k er   f o r   th n i g h ti m co n d itio n s .   T h i n p u i m a g es  ar r esized   to   1 8 3 x 1 1 9   an d   its   h is to g r a m   r ep r esen tatio n   i s   eq u alize d   f ir s b ef o r p as s in g   t h i m a g es   to   th C NN  m o d el  to   i m p r o v h u m a n   d etec tio n   ac cu r ac y .   I n   [ 2 0 ] ,   Ha m   a n d   Han   p r o p o s an   o n li n e   tr ac k in g   f r a m e w o r k   b ased   o n   m u lti - d o m ai n   r ep r esen tatio n s .   T h eir   n et w o r k   ar ch itect u r co n s is ts   o f   m u lt ip le  s h ar ed   lay er s   k n o w n   a s   d o m a in - i n d ep en d en t   la y er s   a n d   cla s s i f ica tio n   la y e r s   w h ich   is   k n o w n   a s   d o m a i n - s p ec if ic  o n e s .   Do m ai n   i n d e p en d en la y er s   ar tr ain ed   o f f li n u s i n g   m u ltip le   an n o tated   v id eo   s eq u en ce s ,   w h ile  c lass if icatio n   la y er s   ar tr ain ed   s ep ar atel y   b ased   o n   t h s p ec if ic   n e w   i m ag e   s eq u en ce s .   I n   [ 2 1 ] ,   m u ltip le  C N Ns   is   m a in ta in ed   i n   tr ee   s tr u ct u r to   r ep r e s en m u lti - m o d al  tar g et  a p p ea r an ce .   A   g e n er al  tr ac k i n g   f r a m e w o r k   f o r   th er m al  i n f r ar ed   v id eo s   h as  al s o   b ee n   p r o p o s ed   in   [ 2 2 ] .   T h er m al  i m a g es  h a v t h m o s s i m ilar   f ea t u r es  to   t h n ig h s u r v eil lan ce   i m a g es,   s p ef icall y   i n   ter m s   o f   lo w   co n tr ast  in f o r m at io n   a n d   n eg li g ab le  tex t u r es.  M u ltip le  C NN s   ap p r o ac h   to   m o d el  th tar g e ap p ea r an ce   in   d i f f er en ca s es   is   al s o   p r o p o s ed .   Du r i n g   n et w o r k   u p d ates,  p a r en n o d es  w i ll  b r ep lace d   b y   t h n e w   n o d s o   th at  th er is   n o   r ed u n d an c y   in   th p o o o f   tar g et  o b j ec a p p ea r an ce   m o d els.     I n   [ 2 3 ] ,   Sia m ese  ap p r o ac h   is   u tili ze d   i n   w h ic h   p air   o f   p atc h es  ar co m p ar ed   to   f i n d   t h m o s li k el y   lo ca tio n   o f   th tar g e t o b j ec t.   I n   v ie w   o f   t h at,   th is   p ap er   p r o p o s es  co n v o lu tio n a n e u r al   n et w o r k - b ased   o b j ec t   tr ac k er   alg o r ith m   f o r   n ig h s u r v ei l lan ce   ap p li ca tio n   b y   ex p lo iti n g   t h s tr en g t h   o f   d ee p   f ea tu r e s   in   r ep r esen tin g   o b j ec t   ap p ea r an ce .   Var io u s   tr ain in g   d ata  co n f ig u r atio n s   ar also   ex a m in ed   to   f i n d   th b est  s et ti n g   f o r   th p r o p o s ed   tr ac k er .   T h p ap e r   is   o r g an iz ed   as  f o llo w s Sectio n   2   s u m m ar iz es  t h p r o p o s ed   tr ac k er   alg o r ith m   f o r   n ig h t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 938     I n t J   A r ti f   I n tell Vo l.  9 ,   No .   2 J u n e   20 20 :   282     2 8 9   284   s u r v eilla n ce ,   w h o s p er f o r m an ce   i s   ev al u ated   an d   d is cu s s ed   in   Sectio n   3 .   Fin all y ,   co n cl u s io n   i s     g iv e n   i n   Sectio n   4 .       2.   CO NVO L U T I O NA L   NE UR AL   NE T WO RK   O B J E CT   T RACK E R   T h p r o p o s ed   co n v o lu tio n al   o b j ec tr ac k er   alg o r it h m   is   b ased   o n   th co n ce p o f   tr ac k in g   b y   d etec tio n ,   w h er eb y   th tr ac k e d   o b j ec lo ca tio n   is   i n f er r ed   b ased   o n   th e   b est  m atc h ed   s a m p les  in   ea c h   f r a m e.   I n   t h is   w o r k ,   th e   d etec tio n   is   ac h iev ed   b y   co n s tr u cti n g   a n   o b j ec m o d el  to   cla s s i f y   ei th e r   th e   in p u s a m p l e s   b elo n g   to   th b ac k g r o u n d   o r   o b j ec o f   in ter est.  T h to p   f iv s a m p les  th at  ar b est  cla s s i f ie d   to   b th o b j ec o f   in ter est   ar u s ed   to   co n s tr u th f i n al  o b j ec lo ca tio n .   T h o v er all  f lo w   o f   t h t r ac k er   alg o r it h m   i s     illu s tr ated   in   Fi g u r 1 .   Du r in g   t h f ir s f r a m e,   t h m o d el  w ill  b tr ai n ed   u s in g   s a m p led   ca n d id ates  th at  ar g en er a ted   b ased   o n   th i n itia u s er - s p ec if ied   o b j ec lo ca tio n .   n u m b er   o f   p o s itiv a n d   m   n u m b er   o f   n e g ati v s a m p les  ar g en er ated   r an d o m l y   ar o u n d   t h in itial  o b j ec lo ca tio n ,   g o v er n e d   b y   ce r tain   p er ce n ta g o f   o v er lap p in g   ar ea   b et w ee n   th s a m p le  an d   th i n itial  o b j ec lo ca tio n   b o x .   T h ese  an n o tated   s a m p les  ar th e n   u s ed   to   tr ain   th e   f ir s t   o b j ec ap p ea r an ce   m o d el.   T h n et w o r k   ar ch i tectu r e   co n s is ts   o f   t h r ee   co n v o l u tio n al  n e u r al  n et w o r k   ( C NN)   an d   th r ee   f u l l y   co n n ec t ed   ( FC )   la y er s .   T h is   m o d el  ar ch itect u r w ill b f u r th er   d is c u s s ed   in   s ec tio n   3 . 1 .   Fo r   th s u b s eq u e n f r a m es,  p r ev io u s l y   k n o w n   o b j ec lo ca t io n   w i ll  b u s ed   as  th p iv o t   p o in f o r   g en er ati n g   s a m p le  ca n d id ates.   T h is   ap p r o ac h   ass u m e s   th at  t h o b j ec t   in   th cu r r en f r a m e   d o es  n o m o v to o   f ar   f r o m   t h p r ev io u s   k n o w n   l o ca tio n .   T h ese  s a m p les   ar t h en   m atc h ed   w it h   t h tr ai n ed   m o d el   b y   cla s s i f y i n g   ea ch   s a m p le  a s   b ac k g r o u n d   o r   o b j ec o f   in ter est.  T h w ei g h ted   av er ag o f   t h b o u n d ar y   p o in t s   o f   th to p - s a m p les,   w h ich   h a v b ee d   cla s s i f ied   as   th e   o b j ec is   th e n   u s ed   to   g en er ate   th e   s m o o th ed   o b j ec lo ca tio n   in   t h e   cu r r en i n p u f r a m e.   Fi n all y ,   th m o d el  w i ll  b u p d ated   p er io d ically   to   ca p tu r th e   o b j ec t' s   ap p ea r an ce   ch an g es a s   it  m o v es a r o u n d           Fig u r 1 .   A l g o r ith m   f lo w   o f   t h p r o p o s ed   co n v o lu tio n al  o b j ec t tr ac k er       2 . 1 .     Net wo rk   a rc hite ct ure   Fig u r 2   ill u s tr ates  th e   n et w o r k   ar ch i tectu r u s ed   in   t h p r o p o s ed   tr ac k er .   T h n et w o r k   co n s is ts   o f   th r ee   C NN  a n d   th r ee   F C   la y er s .   T ab le  1   d etails  o u th n u m b er   o f   f ilter s ,   f i lter   s ize,   s tr id e   an d   p ad d in g   o f   th e   r ec ep tiv f ield   in   ea ch   C NN  la y er .   T h s ize  o f   th in p u i m a g is   s et  to   7 5 x 7 5 ,   th u s   th o u t p u f r o m   t h co n v 3   la y er   is   f lat  la y er   o f   5 1 2 x 1 x 1   f ea t u r m ap .   T h f i n al  o u tp u o f   th n et w o r k   i s   b in ar y   cla s s i f icat io n   p r o b a b ilit y   t h at  t h in p u i m a g b elo n g s   to   th e   o b j ec t - of - i n ter est  o r   b ac k g r o u n d .   T h w ei g h ts   o f   t h th r ee   C NN  la y er s   ar p o r ted   d ir ec tly   f r o m   tr ai n ed   co n v o l u tio n a w ei g h ts   o f   t h f ir s 3   C NN  la y er s   o f   th Vg g - m o d el   [ 2 4 ]   th at  w er e   tr ain ed   o n   t h I m a g eNe I L SV R C - 2 0 1 2   d ataset  [ 2 5 ] .   Vg g - m   m o d el  w a s   f ir s t   i n tr o d u ce d   b y   [ 2 4 ]   as  C NN - m   t h at  co n s is ts   o f   f i v C NN  la y er s   an d   th r e FC   la y er s   a s   s h o w n   i n   T ab le   2 .   T h u s ,   th er is   a   clea r   d if f er en ce   b et w ee n   o u r s   an d   t h V g g - m   n et w o r k   i n   ter m s   o f   th e   n u m b er   o f   C N la y er s   ( 3   v s .   5 ) .   A p ar f r o m   t h at,   th co n v o lu tio n al  s t r id an d   s p atial  p ad d in g   in   co n v 2   an d   co n v 3   la y er s   al s o   d if f er en co m p ar ed   to   Vg g - m ,   as  w el l a s   les s   d i m e n s io n alit y   f o r   f c1   to   f c3   ( 5 1 2   v s .   4 0 9 6 ) .           Fig u r 2 .   Net w o r k   ar c h itect u r o f   th co n v o lu t io n al  o b j ec t t r ac k er   w it h   t h r ee   C NN  la y er s     an d   th r ee   FC   la y er s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a n e u r a l n e tw o r o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   285   T ab le  1 .   Nu m b er   o f   f ilter s ,   f ilt er   s ize,   s tr id an d   p ad d in g   o f   r ec ep tiv f ield s   in   ea c h   la y er   o f   p r o p o s ed   m o d el   L a y e r   C o n v 1   P o o l 1   C o n v 2   P o o l 2   C o n v 3   N u m b e r   o f   f i l t e rs   96   96   2 5 6   2 5 6   5 1 2   Fi l t e si ze   7 x 7   3 x 3   5 x 5   3 x 3   3 x 3   S t r i d e   2   2   2   2   2   Pa d d i n g   0   0   0   0   0       T ab le  2 .   VGG - ar ch itect u r as p r o p o s ed   in   [ 2 2 ]   Arc h   C o n v 1   C o n v 2   C o n v 3   C o n v 4   C o n v 5   F u l l 6   F u l l 7   F u l l 8   C N N - M   9 6 x 7 x 7   st .   2 ,   p a d   0   L R N ,   x 2   p o o l   2 5 6 x 5 x 5   st .   2 ,   p a d   1   L R N ,   x 2   p o o l   5 1 2 x 3 x 3   st .   1 ,   p a d   1   -   5 1 2 x 3 x 3   st .   1 ,   p a d   1   -   5 1 2 x 3 x 3   st .   1 ,   p a d   1 ,   x 2   p o o l   4 0 9 6   d r o p o u t   4 0 9 6   d r o p o u t   1 0 0 0   S o f t max       2 . 2 .     Sa m p les g ener a t io n   T h p r o p o s ed   tr ac k er   alg o r ith m   tr ies  to   f i n d   th b est  ca n d id ate  r ep r esen tatio n s   o f   t h tr ac k ed   o b j ec f r o m   s et  o f   s a m p les   u s i n g   d ee p - lear n i n g   m o d el  t h at  a cts  as  a   b in ar y   clas s i f ier .   P o s iti v an d   n e g ati v e   ca n d id ates r ef er   to   t h s u b - i m ag t h at  co r r esp o n d s   to   tr ac k ed   o b j ec t o r   b ac k g r o u n d   ar ea ,   r esp ec tiv el y .   T h ese   s a m p les  w i ll  th e n   s er v as  th e   tr ain in g   d ata  u s ed   to   tr ain   t h n et w o r k   in   s u p er v i s ed   m a n n er .   Fo r   th i n itial   tr ain i n g   p h a s in   t h f ir s f r a m e,   m o r s a m p le s   ar g en er at ed   s in ce   th ac tu a o b j ec l o ca tio n   is   k n o w n   to   b tr u e.   Ho w e v er ,   d u r i n g   o n li n n et w o r k   u p d ates,  les s er   n u m b er   o f   s a m p le s   ar cr ea ted   to   r ed u ce   th e   co m p u tatio n   b u r d en ,   as  w ell  a s   to   m i n i m ize  th p o s s ib ilit y   o f   b ac k g r o u n d   i n clu s io n   i n   t h m o d el.   T o   g en er ate  th s a m p les,  o b j e ct  lo ca tio n   in   th p r ev io u s   f r a m is   u s ed   a s   th p i v o p o in to   s p a w n   p o s itiv an d   n e g ati v ca n d id ate  lo ca tio n s .   T o   en s u r th e   v ar iab ilit y   o f   t h ca n d id ate s ,   th s a m p les  ar s p a w n ed   r an d o m l y   ac co r d in g   to   Gau s s ian   d is tr ib u tio n ,   w h er eb y   th s a m p les  ar co n ce n tr ated   clo s er   to   th p iv o p o in t.  T h g en er ated   p o s iti v s a m p le  s h o u ld   h a v at  least  8 0 o v er lap p in g   ar ea s   w it h   t h e   p r ev io u s l y   k n o w n   o b j ec ar ea ,   w h i le  n e g ativ s a m p les  s h o u ld   also   h av an   o v er lap p in g   ar ea   w it h   at  m o s 2 0 %.  Sa m p le   s ize  i s   o n e   o f   th e   m o s i m p o r tan f ac to r s   i n   tr ain i n g   d ee p - lear n i n g   m o d el.   h ig h er   n u m b er   o f   tr ai n i n g   s a m p les  i s   b etter   f o r   g en er aliz in g   t h m o d el.   T h u s ,   in   t h is   w o r k ,   t h s elec tio n   o f   t h n u m b er   o f   s a m p les  a n d   th r atio   b et w ee n   p o s iti v a n d   n eg a tiv e   s a m p les   ar a n al y ze d   to   d eter m i n t h b es co m b in at io n   f o r   t h p r o p o s ed   o b j ec t tr ac k er   alg o r ith m .     2 . 3 .     Net wo rk   lea rning   a nd   u pd a t e   T r ain in g   o f   t h n et w o r k   i n   t h f ir s f r a m w il d ictate  h o w   w ell  t h tr ac k er   w ill   p er f o r m   i n   t h e   s u b s eq u en t   f r a m es .   T h t h r ee   C NN  la y er s   w ei g h ts   ar tr an s f er r ed   f r o m   th p r e - tr ain ed   w e ig h ts   o f   t h f ir s 3   C NN  la y er s   i n   t h Vg g - m   n et w o r k ,   w h ile  t h w ei g h ts   a n d   b ias es i n   t h F C   la y er s   ar in it i alize d   r an d o m l y   a n d   f i x ed   to   0 . 0 5 ,   r esp ec tiv el y .   O n l y   th e s F C   la y er s   w il g o   t h r o u g h   lear n i n g   s ta g u s i n g   p o s iti v an d   n eg a tiv e   s a m p les  g e n er ated   f r o m   o u r   s p ec if ic  tes tin g   d ata.   C h o o s i n g   lear n in g   r ate  f o r   o p ti m al  lear n i n g   is   ch allen g i n g   task   as  it  m a y   ca u s s lo w   co n v er g en ce   o r   f r eq u en t   f lu ct u atio n   o f   t h lo s s   f u n ctio n ,   w h ic h   w il lead   to   th e   m o d el  d i v er g e n t.  T h u s ,   in   t h i s   w o r k ,   w h av e   s elec ted   A d a m   o p ti m iz er   [ 2 6 ]   as  th e   b ac k p r o p ag ati o n   o p ti m iza tio n   alg o r it h m .   Ad am   i s   a n   ad ap ti v e   m o m e n est i m a tio n   t h at  co m p u tes  d if f er en lear n i n g   r ates  f o r   d if f er e n p ar a m eter s   ( i.e .   m o d el  w ei g h ts   a n d   b iases )   b y   u s in g   th e   esti m ate s   o f   th e ir   f ir s a n d   s ec o n d - o r d er   m o m e n ts   o f   th e   g r ad ie n t.   T h f i n al  m o d el  p ar am eter   u p d ates  w ill  b b a s ed   o n   t h n e w l y   ad j u s ted   le ar n in g   r ate,   w h ic h   eq u als  to   in itial   lear n i n g   r ate   m u ltip lies   w it h   th r at io   o f   its   f ir s a n d   s ec o n d - o r d er   m o m e n ts   o f   t h g r ad ien ts .   T h i n itial  lear n in g   r ate  i s   s et   as  0 . 0 0 0 7 5   b ased   o n   th f i n d in g   i n   [ 2 7 ] ,   an d   A d a m s   h y p e r p ar am eter s   e x p o n en t ial  d ec ay   r ate  f o r   th f ir s t - o r d er   ( β1 ) ,   ex p o n en tial  d ec a y   r ate  f o r   th s ec o n d - o r d er   ( β2 )   an d   s m all  v al u es  co n s ta n ts   to   p r ev en d iv is io n   b y   ze r o   ( ε) ,   w h ic h   ar s et  to   0 . 9 ,   0 . 9 9 9   an d   1 e - 0 8   r esp ec tiv el y .   A d a m   h as  b ee n   g ai n in g   p o p u lar it y   s i n ce   it s   in tr o d u c tio n   i n   2 0 1 5 ,   w h er it  h as b ee n   w id el y   u s ed   in   o th er s   n et w o r k   lear n i n g   [ 2 8 ] .   I is   i m p o r tan to   u p d ate  th e   n et w o r k   to   en s u r th at  t h m o d el  ca p t u r es  th c h an g es  in   o b j ec t   ap p ea r an ce   as  it  m o v e s   ar o u n d   u n d er   d i f f er e n li g h ti n g   co n d itio n s   a n d   b ac k g r o u n d   s ce n e s .   I n   t h i s   w o r k ,   o u r   m o d el   w ill   b u p d ated   at  f i x ed   in ter v al   o f   e v er y   1 0   f r a m es .   P o s itiv a n d   n e g ati v s a m p le s   t h at  ar g en er ated   in   th p er io d   o f   1 0   f r a m es  w il b ac cu m u lated   an d   u s e d   to   r etr ain   th m o d el.   Ho w ev er ,   th tr ain in g   is   co n s id er ed   as  w ea k   s u p er v is i o n   as   th e   tr u e   o b j ec lo ca tio n   i s   n o k n o w n   a n d   it   m a y   l ea d   to   b ac k g r o u n d   in cl u s io n   in   t h m o d el.               Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 938     I n t J   A r ti f   I n tell Vo l.  9 ,   No .   2 J u n e   20 20 :   282     2 8 9   286   3   R E SU L T A ND  D I SCU SS I O N   3 . 1 .     E x peri m ent a l set up   14 - n i g h t   s u r v ei llan ce   v id eo s   ar u s ed   to   e v al u ate  t h p r o p o s ed   o b j ec tr ac k er   alg o r ith m ,     w h ic h   h as  b ee n   r ec o r d ed   f r o m   th r ee   d if f er en s u r v e illa n ce   ca m er as  th at  co v er   ch al len g i n g   n i g h s ce n ar io s   o f   lo w   lig h ti n g ,   lo w   co n tr ast   b et w ee n   o b j ec an d   b ac k g r o u n d ,   s m all  o b j ec s ize,   o b j ec o cc lu s io n ,     an d   m o v e - s to p - m o v e   o b j ec m o v e m e n t.  So m s a m p le   i m ag es  o f   t h e s s ce n ar io s   ar e   s h o w n   in   Fi g u r 3 .     T h r eso lu tio n   o f   th v id eo   is   o n l y   3 5 2 x 2 8 8   w it h   t h o b j ec o f   in ter est  s ize  o f   ap p r o x i m atel y   3 0 x 7 0   p ix els.  Vid eo   len g t h   v ar ies  f r o m   3 3   t o   5 5 0   f r am e s   ea ch .   Gr o u n d tr u th s   ar g en er ated   b y   a n   e x p er in   co m p u ter   v is io n   u s i n g   an   a n n o tatio n   to o to   d r a w   t h b o u n d in g   b o x   t h at  s u r r o u n d s   t h o b j ec in   ea ch   f r a m f o r   ea ch   v id eo .   T h tr ac k er   co d is   d e v elo p ed   in   P y th o n   w i th   T en s o r f lo w   a s   t h m ai n   lib r ar y   to   p er f o r m   m o d el   tr ain in g   a n d   test i n g .   Sev e n   d i f f er en t   co m b i n atio n   o f   tr ain i n g   s a m p le s   s iz an d   r atio s   ar co n f i g u r ed   f o r   tr ac k er   ev a lu at io n   as lis ted   in   T ab le  3 .             Fig u r 3 .   Sa m p le  i m ag e s   w it h   ch alle n g i n g   n i g h t sce n ar io   in   t esti n g   d ataset       T ab le  3 .   T r ain in g   s a m p le  co n f ig u r at io n   f o r   tr ac k er   e v alu at io n   C o n f i g u r a t i o n   1 : 1   1 : 2   1 :3   1 : 4   2 : 1   3 : 1   4 : 1   P o si t i v e   sam p l e   si z e   1 0 0   50   50   50   1 0 0   1 5 0   2 0 0   N e g a t i v e   samp l e   si z e   1 0 0   1 0 0   1 5 0   2 0 0   50   50   50   T o t a l   samp l e   si z e   2 0 0   1 5 0   2 0 0   2 5 0   1 5 0   2 0 0   2 5 0       3 . 2 .     P er f o rm a nce  ev a lua t io n   m ea s ure   T h r ee   VOT 2 0 1 5   [ 29 ]   ( Vis u al  Ob j ec T r ac k in g )   ev a lu at io n   m etr ics  ar u s ed   to   q u an ti f y   t h e   p er f o r m a n ce   o f   o u r   tr ac k er .   T h ese  m etr ics  ar ac cu r ac y   ( A cc ) ,   r o b u s tn e s s   ( Ro )   an d   ex p ec ted   ar ea   o v er lap   ( EAO ) .   A cc u r ac y   an d   r o b u s tn ess   r eq u ir t h tr ac k er   to   b r e - i n itialized   o n ce   it  d r if t s   o f f   t h tar g et.   Acc u r ac y   m ea s u r es   h o w   w e ll  th tr ac k e d   b o u n d in g   b o x   r elati v to   th g r o u n d   tr u t h   b o x   b y   co m p u t in g   t h i n ter s ec tio n   o v er   u n io n   ( I OU ) .   T h h ig h e r   th I OU ,   th b etter   th tr ac k in g   ac cu r ac y   is .   On   t h o th er   h an d ,   r o b u s tn es s   m ea s u r es  t h n u m b er   o f   tr ac k i n g   f ail u r es  in   v id eo ,   w h ic h   i s   tr ig g er ed   w h e n   ze r o   I OU   o c cu r s .   T o   r ed u ce   th e   b ias  in   r o b u s tn e s s   m ea s u r e m e n t,  th tr ac k er   is   r e - i n itialized   f i v f r a m e s   af ter   th f ail u r e,   w h ile  to   r ed u ce   b ias   in   ac cu r ac y   ca lc u lat io n ,   th a cc u r ac y   v a lu e s   f r o m   t h f ir s t   1 0   f r am e s   af ter   th r e - in it ial izatio n   p r o ce s s   ar ig n o r ed   f r o m   o v er all  p er f o r m a n ce   co m p u ta tio n   [ 30 ] .     EAO   d o es  n o t   r eq u ir r e - i n itia lizatio n   o f   t h tr ac k er   a n d   it  i s   u s ed   to   r an k   t h tr ac k er .   I a v er ag es  t h e   I OU   o v er   r an g o f   f r a m es  b et w ee n   lo w er   ( N lo )   an d   u p p er   li m i ( N h i )   o f   th e   test i n g   s eq u en ce .   I n   t h is   w o r k ,   th lo w er   an d   u p p er   li m it i s   b ased   o n   th r an g o f   [ 1 ,   5 5 0 ] .   T h A cc Ro   an d   EAO   ca lcu lati o n   ar as f o llo w s :     A cc u r ac y ,    = 1 , ,  , ,  = 1   ( 1 )     w h er   d en o tes  th n u m b er   o f   f r a m es  in   t h test   v id eo ,   w h il ,    an d   ,    ar e   th b o u n d in g   b o x e s   o f   o b j ec t in   f r a m e   i   f r o m   t h tr ac k er   o u tp u t a n d   g r o u n d   tr u t h ,   r esp ec tiv el y .       R o b u s t n es s ,    = = 1   ( 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a n e u r a l n e tw o r o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   287   w h er = { 0      > 0 1       0       E x p ec ted   av er ag o v er lap ,    = 1   =  :   ( 3 )       3 . 3 .     Resul t s   A cc u r ac y   a n d   r o b u s tn es s   v al u es  f o r   d if f er e n tr ain i n g   co n f ig u r atio n s   ar s u m m ar ized   in   T ab le  4   an d   T ab le   5 ,   r esp ec tiv el y .   Fro m   T ab le   4 ,   th er is   n o   s in g le  co n f ig u r atio n   w o r k s   th b est  f o r   all  test   s eq u en ce s .     A ll   d if f er en t   co n f ig u r atio n s   p er f o r m   al m o s r elati v el y   t h s a m i n   ter m s   o f   ac cu r ac y ,   h o w e v er   in   ter m s   o f   r o b u s tn es s ,   co n f ig u r atio n   1 :4   s h o w s   s i g n i f ica n tl y   b e tter   p er f o r m a n ce   co m p ar ed   to   th o th er s .     Fo r   n o - r ei n itial izatio n   p r o to co ev al u atio n ,   th e   EAO   c u r v e   is   s h o w n   in   Fi g u r 4 .   T h c u r v s h o w s   t h at   t h co n f i g u r atio n   o f   4 :1   w o r k s   c o n s is ten tl y   b etter   t h an   o t h er   co n f i g u r atio n s   ap p r o x i m atel y   af ter   th f ir s 1 5 f r a m e s ,   f o llo w ed   b y   co n f i g u r atio n   o f   1 :3 ,   t h u s   m a k es  b o th   co n f i g u r atio n s   r a n k ed   a s   t h to p   t w o   a s   d em o n s tr ated   i n   T ab le  6 .   T h is   e x p lai n s   th at   d if f er en t   tr ain i n g   s a m p le  s ize s   a n d   r ati o s   af f ec tr ac k i n g   p er f o r m a n ce .   T h tr ac k er   p er f o r m s   b etter   w h e n   th er a r m o r p o s itiv s a m p le s   u s ed   to   r ep r esen th o b j ec t   co m p ar ed   to   th e   n e g ati v s a m p les.  T h is   in d icate s   t h at  alt h o u g h   t h o b j ec t - b ac k g r o u n d   co n tr ast  i s   lo w ,   it  al s o   lo o k s   h o m o g e n eo u s   d u to   lo w   li g h ti n g ,   t h u s   lo w er   n u m b er   o f   s a m p les ar s u f f ic ien t to   r ep r esen t th e m .       T ab le  4 .   A cc u r ac y   r es u lt s   o f   d if f er en t tr ai n i n g   s a m p le  co n f i g u r atio n   p er   ea ch   test   s eq u e n ce   No   M e t h o d   N u mb e r   o f   f r a me s   1 : 1   1 : 2   1 : 3   1 : 4   2 : 1   3 : 1   4 : 1   1   C a m 0 1 - v i d e o 0 1   2 7 1   0 . 6 4 9   0 . 6 1 8   0 . 5 6 5   0 . 5 8 0   0 . 1 5 9   0 . 1 6 5   0 . 6 5 1   2   C a m 0 1 - v i d e o 0 2   4 5 4   0 . 5 6 2   0 . 4 5 2   0 . 5 2 9   0 . 5 9 5   0 . 5 8 5   0 . 5 7 6   0 . 5 2 8   3   C a m 0 1 - v i d e o 0 3   70   0 . 1 4 2   0 . 2 1 3   0 . 0 8 8   0 . 2 8 4   0 . 1 4 3   0 . 1 5 9   0 . 0 6 5   4   C a m 0 1 - v i d e o 0 4   1 3 0   0 . 6 5 0   0 . 6 2 2   0 . 5 9 9   0 . 5 7 3   0 . 6 0 4   0 . 5 8 3   0 . 5 9 8   5   C a m 0 1 - v i d e o 0 5   33   0 . 6 8 0   0 . 7 5 1   0 . 6 7 3   0 . 6 1 6   0 . 7 7 3   0 . 5 9 3   0 . 7 7 7   6   C a m 0 1 - v i d e o 0 6   2 2 4   0 . 5 6 0   0 . 6 0 5   0 . 6 1 9   0 . 5 3 8   0 . 6 2 0   0 . 6 1 4   0 . 6 2 7   7   C a m 0 1 - v i d e o 0 7   4 6 0   0 . 1 5 3   0 . 1 0 1   0 . 4 0 1   0 . 1 2 1   0 . 4 4 5   0 . 1 0 8   0 . 6 3 7   8   C a m 0 1 - v i d e o 0 8   1 2 4   0 . 5 4 8   0 . 3 1 4   0 . 5 1 7   0 . 5 6 2   0 . 4 2 0   0 . 2 3 7   0 . 2 0 8   9   C a m 0 2 - v i d e o 0 1   4 0 0   0 . 2 5 7   0 . 4 6 3   0 . 2 5 9   0 . 3 3 2   0 . 3 4 3   0 . 3 2 6   0 . 3 5 0   10   C a m 0 2 - v i d e o 0 2   4 5 9   0 . 5 3 5   0 . 4 6 6   0 . 5 7 0   0. 5 4 0   0 . 3 5 5   0 . 5 0 2   0 . 5 6 3   11   C a m 0 3 - v i d e o 0 1   3 4 3   0 . 2 6 2   0 . 5 5 2   0 . 5 4 7   0 . 5 6 4   0 . 4 3 7   0 . 4 9 8   0 . 1 8 2   12   C a m 0 3 - v i d e o 0 2   1 5 0   0 . 4 1 0   0 . 1 6 9   0 . 2 1 7   0 . 5 2 9   0 . 3 6 8   0 . 5 4 7   0 . 4 1 3   13   C a m 0 3 - v i d e o 0 3   1 5 0   0 . 6 4 4   0 . 6 1 1   0 . 6 2 2   0 . 6 8 2   0 . 5 8 5   0 . 5 8 7   0 . 5 9 5   14   C a m 0 3 - v i d e o 0 4   5 5 0   0 . 5 2 1   0 . 4 9 2   0 . 4 9 7   0. 3 3 9   0 . 5 0 7   0 . 4 6 1   0 . 4 6 5     A v e r a g e   a c c u r a c y   0 . 4 6 9   0 . 4 5 9   0 . 4 7 9   0 . 4 9 0   0 . 4 5 3   0 . 4 2 5   0 . 4 7 6       T ab le  5 .   R a w   r o b u s t n ess   r es u l ts   o f   d if f er en t tr ain i n g   s a m p le  co n f i g u r atio n   p er   ea ch   test   s eq u en ce   C o n f i g u r a t i o n   1 : 1   1 : 2   1 : 3   1 : 4   2 : 1   3 : 1   4 : 1   T o t a l   samp l e s   2 0 0   1 5 0   2 0 0   2 5 0   1 5 0   2 0 0   2 5 0   A v e r a g e   r o b u st n e ss   6 . 6 4 3   6 . 2 1 4   6 . 0 7 1   3 . 9 2 9   7 . 9 2 9   8 . 8 5 7   6 . 0 7 1           Fig u r 4 .   E x p ec ted   av er ag o v er lap   cu r v f o r   d if f er en t tr ai n i n g   s a m p le  co n f i g u r atio n   tes te d   o n   all  test   s eq u en ce s           0 0 , 5 1 1 19 37 55 73 91 1 0 9 1 2 7 1 4 5 1 6 3 1 8 1 1 9 9 2 1 7 2 3 5 2 5 3 2 7 1 2 8 9 3 0 7 3 2 5 3 4 3 3 6 1 3 7 9 3 9 7 4 1 5 4 3 3 4 5 1 4 6 9 4 8 7 5 0 5 5 2 3 5 4 1 Ex p e c t e d   O v e r l a p S e q u e n c e   L e n g t h E x p e c t e d   Ov e r l a p   C u r v e 1 0 0 : 1 0 0 5 0 : 1 0 0 5 0 : 1 5 0 5 0 : 2 0 0 1 0 0 : 5 0 Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 938     I n t J   A r ti f   I n tell Vo l.  9 ,   No .   2 J u n e   20 20 :   282     2 8 9   288   T ab le  6 .   E x p ec ted   av er ag o v er lap   r esu lts   an d   t h tr ac k er   r a n k   o f   d if f er en t tr ai n i n g   s a m p le   co n f i g u r atio n   u s i n g   r an g o f   [ 1 , 5 5 0 ]   T r a i n i n g   sam p l e   c o n f i g u r a t i o n   1 : 1   1 : 2   1 : 3   1 : 4   2 : 1   3 : 1   4 : 1   EA O   0 .   2 9 6 7 4 5   0 .   2 8 8 1 7 1   0 .   3 4 0 4 7   0 .   2 5 3 5 2 4   0 .   2 8 6 3 3 3   0 .   2 2 0 6 3 6   0 .   3 6 0 5 2 9   R a n k   3   4   2   6   5   7   1       4   CO NCLU SI O N   I n   t h is   p ap er ,   w e   h av e   p r o p o s ed   co n v o lu tio n al  o b j ec tr ac k er   f o r   th e   n ig h t   v id eo   s u r v eil lan ce .   T h e   tr ac k er   r eq u ir es   th e   m o d el   to   l ea r n   t h o b j ec t' s   ap p ea r an ce   a n d   it s   b ac k g r o u n d   p r o p er ties   as  t h o b j ec m o v e s   ar o u n d   i n   t h s ce n e.   T h al g o r ith m   w as   test ed   w it h   d i f f er en tr ai n i n g   d ata  co n f i g u r atio n s   to   f in d   th e   m o s t   s u itab le   o n es   w it h   t h h i g h e s ac c u r ac y   a n d   r o b u s t n e s s .   T h r esu lt s   s h o w   t h at   th e   r a tio   o f   4 :1   b et w ee n   p o s itiv a n d   n eg a tiv e   s a m p les   p r o d u ce s   t h b est   p er f o r m a n c f o r   t h s eq u e n ce   r a n g e   o f   [ 1 , 5 5 0 ] ,   f o llo w ed   b y   th 1 :3   co n f ig u r atio n .   B o th   c o n f i g u r atio n s   a ls o   p r o d u ce   th s ec o n d - b est  p er f o r m an ce   in   ter m s   o f   tr ac k i n g   r o b u s tn es s .   T h is   ex p lai n s   t h at  d if f er en t   tr ai n in g   s a m p le   s izes   an d   r atio s   a f f ec tr a ck in g   p er f o r m a n ce   d if f er e n tl y   a n d   as  m o r p o s iti v s a m p les   ar u s ed   to   r ep r esen t h o b j ec co m p ar ed   to   t h n e g ati v s a m p les,   th b etter   th tr ac k er   p er f o r m an ce   is .   T h is   in d icate s   t h at  alt h o u g h   t h o b j ec t - b ac k g r o u n d   co n tr ast  is   lo w ,   th e   b ac k g r o u n d   is   al s o   h o m o g en e o u s   d u to   lo w   li g h ti n g   co n d iti o n ,   th u s   lo w er   n u m b er   o f   s a m p les ar s u f f icien t   to   r ep r esen t th e m .       ACK NO WL E D G E M E NT   T h au th o r s   w o u ld   li k t o   ac k n o w led g f u n d in g s   f r o m   Mi n is tr y   o f   E d u ca tio n   Ma la y s ia   ( FR GS/1 /2 0 1 9 /I C T 0 2 /UKM /0 2 /1 )   an d   Un iv er s i ti  Keb an g s aa n   Ma la y s ia  ( GUP - 2019 - 0 0 8 ) .   T h g r ap h ic  p r o ce s s in g   u n it u s ed   in   t h is   r e s ea r ch   is   d o n ated   b y   NVI DI A   C o r p o r atio n   ( KK - 2019 - 0 0 5 ) .       RE F E R E NC E   [1 ]   A .   A li ,   A .   Ja li l,   J.  Niu ,   X .   Zh a o ,   S .   Ra th o re ,   J.  A h m e d ,   a n d   M .   A .   I k h a r.   V isu a o b jec trac k in g c las sic a l   a n d   c o n tem p o ra r y   a p p ro a c h e s,”   in   F ro n ti e rs   o Co m p u ter   S c ien c e S e l e c ted   Pu b li c a t io n fro Ch i n e se   Un ive rs it ies v o l.   1 0 ,   n o .   1 ,   p p .   1 6 7 - 1 8 8 ,   2 0 1 6 .   [2 ]   L .   Zh a n g ,   C.   L i m ,   Y.   Ch e n ,   a n d   H.  R.   Ka ri m i,   " T ra c k in g   M o b il e   Ro b o in   In d o o W irele ss   S e n so Ne t w o rk s,"   in   M a th e ma ti c a l   Pro b lem s in   E n g in e e rin g ,   V o l u m e   2 0 1 4   h t tp s:// d o i . o rg /1 0 . 1 1 5 5 / 2 0 1 4 / 8 3 7 0 5 0   [3 ]   J.  S e v e rso n ,   Hu m a n - d ig it a m e d i a   in tera c ti o n   trac k in g ,   US   Pa te n t   9 , 7 1 3 , 4 4 4 ,   2 0 1 7   [4 ]   P .   I y e r,   S .   R.   I y e r,   R.   Ra m e s h ,   A n a la,  K.  N.  S u b ra m a n y a ,   Ad a p ti v e   re a ti me   tra ff ic  p re d ictio n   u sin g   d e e p   n e u ra n e tw o rk s,”   in   IAE S   In ter n a ti o n a J o u rn a o Arti fi c i a In tell ig e n c e   (IJ - A I),   v o l.   8 ,   n o .   2 ,   Ju n e   2 0 1 9 ,   p p .   1 0 7 - 1 1 9 .   [5 ]   M .   A .   Zu lk if l e y ,   N.  A .   M o h a m e d ,   a n d   N.  H.  Zu lk if le y ,   S q u a A n g le   A ss e ss m e n T h ro u g h   T ra c k in g   Bo d y   M o v e m e n ts,” i n   IEE Acc e ss ,   Vo l.   7 ,   p p .   4 8 6 3 5 - 4 8 6 4 4 ,   2 0 1 9 .   [6 ]   V .   A   L a u re n se ,   J.  Y   G o h ,   a n d   J   C.   Ge rd e s,  P a th - trac k in g   f o a u to n o m o u v e h icle a th e   li m it   o f   f rictio n ,   In   Ame ric a n   Co n tro C o n fer e n c e ,   p p .   5 5 8 6 - 5 5 9 1 ,   2 0 1 7 .   [7 ]   M .   A .   Zu lk i f le y ,   N.  S .   S a m a n u ,   N.  Zu lk e p e li ,   Z.   Ka d im ,   a n d   H.  H.  W o o n ,   Ka l m a n   f il ter - b a se d   a g g re ss i v e   b e h a v io u d e tec ti o n   f o in d o o e n v iro n m e n t,   in   L e c tu re   No tes   in   El e c trica En g in e e rin g ,   V o l .   3 7 6 ,   p p .   8 2 9 - 8 3 7 ,   2 0 1 6 .   [8 ]   K.  Hu a n g ,   L .   W a n g ,   a n d   T .   T a n ,   De tec ti n g   a n d   trac k in g   d istan o b jec ts  a n ig h b a se d   o n   h u m a n   v isu a s y ste m ,   L e c t.   No tes   Co m p u t.   S c i. ,   v o l.   3 8 5 2   L NC S ,   p p .   8 2 2 - 8 3 1 ,   2 0 0 6 .   [9 ]   K.  Hu a n g ,   L .   W a n g ,   T .   T a n ,   S .   M a y b a n k ,   A   r e a l - ti m e   o b jec d e tec ti n g   a n d   trac k in g   s y ste m   f o o u td o o n ig h t   su rv e il lan c e ,   in   Pa tt e rn   Rec o g n it io n ,   v o l.   4 1 ,   n p .   1 ,   p p .   4 3 2 - 4 4 4 ,   2 0 0 8 .   [1 0 ]   L .   W a n g ,   K.  Hu a n g ,   Y.  Hu a n g   a n d   T .   T a n ,   " Ob jec d e tec ti o n   a n d   trac k in g   f o n ig h su rv e il lan c e   b a se d   o n   sa li e n t   c o n tras a n a ly sis,"   IEE In ter n a ti o n a Co n fer e n c e   o n   Ima g e   Pro c e ss in g ,   p p .   1 1 1 3 - 1 1 1 6 ,   2 0 0 9 .   [1 1 ]   A .   Na z ib ,   C.   Oh   a n d   C .   W .   L e e ,   " Ob jec d e tec ti o n   a n d   trac k in g   in   n ig h ti m e   v id e o   su rv e il lan c e , "   1 0 t h   In te rn a ti o n a l   Co n fer e n c e   o n   Ub i q u i to u s R o b o ts   a n d   Am b ien I n telli g e n c e   ( URAI ) ,   p p .   6 2 9 - 6 3 2 ,   2 0 1 3 .     [1 2 ]   H.  Ya n g ,   L .   S h a o ,   F .   Zh e n g ,   L .   W a n g ,   a n d   Z.   S o n g ,   Re c e n a d v a n c e a n d   tren d i n   v isu a trac k in g A   re v ie w ,   in   Ne u ro c o mp u ti n g ,   v o l .   7 4 ,   n o .   1 8 ,   p p .   3 8 2 3 - 3 8 3 1 ,   2 0 1 1 .   [1 3 ]   X .   L i,   W .   Hu ,   C.   S h e n ,   Z.   Zh a n g ,   A .   Dic k ,   a n d   A .   V   De n   He n g e l,   A   su rv e y   o f   a p p e a ra n c e   m o d e ls  in   v isu a o b jec t   trac k in g ,   in   ACM   T ra n s a c ti o n s o n   In tell ig e n t   S y ste ms   a n d   T e c h n o l o g y ,   v o l .   4 ,   n o .   4 ,   2 0 1 3 .   [1 4 ]   M .   F iaz ,   A .   M a h m o o d ,   S .   Ja v e d ,   a n d   S .   K.   Ju n g ,   ‘‘ Ha n d c ra f ted   a n d   d e e p   trac k e rs:  Re c e n v isu a o b jec trac k in g   a p p ro a c h e s a n d   tren d s,’’  i n   ACM   Co mp u t in g   S u rv e y ,   v o l.   5 2 ,   n o .   2 ,   p p .   1 - 4 3 ,   2 0 1 9 .   [1 5 ]   C.   S z e g e d y ,   A .   T o sh e v ,   a n d   D.  Erh a n ,   De e p   Ne u ra Ne tw o rk   f o O b jec De tec ti o n ,   Ne u ra I n f.   Pr o c e ss .   S y st . ,   v o l .   7 ,   n o .   5 ,   p p .   2 0 0 - 2 0 5 ,   2 0 1 3 .   [1 6 ]   S .   Re n ,   K .   He ,   R.   G irsh ick ,   a n d   J.  S u n ,   F a ste R - CNN T o wa rd Re a l - T i m e   Ob jec De te c ti o n   w it h   Re g io n   P r o p o sa Ne tw o rk s.”   in   IEE T r a n s.  Pa tt e rn   A n a l .   M a c h .   In tell . ,   v o l.   3 9 ,   n o .   6 ,   p p .   1 1 3 7 - 1 1 4 9 ,   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a n e u r a l n e tw o r o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   289   [1 7 ]   M .   A .   Zu lk i f le y ,   S .   R.   A b d a n a n d   N.  H.  Zu lk if le y ,   " P ter y g iu m - N e t:   a   d e e p   lea rn in g   a p p ro a c h   to   p tery g iu m   d e tec ti o n   a n d   l o c a li z a ti o n , "   in   M u lt ime d ia   T o o ls a n d   Ap p li c a ti o n s ,   v o l.   7 8 .   n o .   2 4 ,   p p .   3 4 5 6 3 - 3 4 5 8 4 ,   2 0 1 9 .   [1 8 ]   S .   B.   Ja d h a v ,   V .   Ud u p i,   S .   P a ti l,   Co n v o lu t io n a n e u ra n e tw o rk fo lea f   i m a g e - b a se d   p lan d ise a se   c las si f ica ti o n ,   IAE S   I n ter n a t io n a l   J o u r n a o Art if icia l   I n telli g e n c e   (IJ - A I),   v o l.   8 ,   n o .   4 ,   p p .   3 2 8 - 3 4 1 ,   2 0 1 9 .   [1 9 ]   J.  H.  Ki m ,   H.  G .   Ho n g ,   K.  P a rk ,   Co n v o lu ti o n a Ne u ra Ne tw o r k - Ba se d   Hu m a n   D e tec ti o n   in   Nig h tt im e   I m a g e Usi n g   V isi b le L ig h Ca m e ra   S e n so rs ,   in   S e n so rs   ( S w it z e rlan d ),   v o l.   1 7 .   n o .   5 ,   p p .   1 - 2 6 ,   2 0 1 7 .   [2 0 ]   H.  Na m   a n d   B.   Ha n ,   ‘‘L e a rn in g   m u lt i - d o m a in   c o n v o lu ti o n a n e u ra n e tw o rk f o v isu a trac k in g , ’’  Pro c .   IEE E   Co n f.   Co mp u ter   Vi si o n   Pa tt e rn   R e c o g n it i o n ,   p p .   4 2 9 3 - 4 3 0 2 ,   2 0 1 6 .   [2 1 ]   H.  Na m ,   M .   Ba e k ,   a n d   B.   Ha n .   ‘‘ M o d e li n g   a n d   p r o p a g a ti n g   CNN in   a   tree   stru c tu re   f o v isu a trac k in g , ’’  in   ArXi v   Co RR ,   v o l .   a b s/ 1 6 0 8 . 0 7 2 4 2 ,   p p .   1 - 1 0 ,   2 0 1 6   [2 2 ]   M .   A .   Zu lk if le y   a n d   N.  T rig o n i,   M u lt i p le - M o d e F u ll y   Co n v o l u ti o n a Ne u ra Ne tw o rk f o S in g le   O b jec T ra c k in g   o n   T h e rm a In f ra r e d   V i d e o ,   i n   I EE Acc e ss ,   v o l.   6 ,   p p .   4 2 7 9 0 - 4 2 7 9 9 ,   2 0 1 8 .   [2 3 ]   M .   A .   Zu lk ifl e y ,   " Tw o   S trea m M u lt i p le - M o d e Ob jec T ra c k e r   fo T h e r m a In f ra re d   V id e o " ,   in   IEE Acc e ss ,   v o l.   7 ,   p p .   3 2 3 8 3 - 3 2 3 9 2 ,   2 0 1 9 .   [2 4 ]   K.  Ch a tf ield ,   K.   S im o n y a n ,   A .   Ve d a ld i,   a n d   A .   Zi ss e rm a n ,   Re tu rn   o f   t h e   De v il   in   th e   D e tails:  De l v in g   De e p   in to   Co n v o l u ti o n a Ne tw o rk s” ,   in   Brit ish   M a c h i n e   Vi sio n   C o n fer e n c e ,   p p .   1 - 12 ,   2 0 1 4 .   [2 5 ]   O.  Ru ss a k o v sk y   e a l. ,   ‘‘Im a g e N e larg e   sc a le  v isu a re c o g n it io n   c h a ll e n g e ’’,   in   I n ter n a ti o n a l   J .   C o mp u ter   Vi sio n v o l.   1 1 5 ,   n o .   3 ,   p p .   2 1 1 - 2 5 2 ,   2 0 1 5 .   [2 6 ]   D.  P .   Kin g m a   a n d   J.  Ba ,   A d a m M e th o d   f o S to c h a stic  Op ti m iza ti o n ,   in   ArXi v   Co RR ,   v o l.   a rX iv :1 4 1 2 . 6 9 8 0 ,   p p .   1 - 1 5 ,   2 0 1 4 .   [2 7 ]   Z.   Ka d im ,   M .   A .   Zu lk if le y ,   N.  H a m z a h ,   D e e p - lea rn in g   b a se d   sin g le  o b jec tra c k e f o n ig h su rv e i ll a n c e ,   in   IAE S   In ter n a t io n a J o u rn a o E lec trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) v o l.   1 0 ,   n o .   4 ,   2 0 2 0 .   [2 8 ]   Y.  W u ,   " G o o g le ' N e u ra M a c h in e   T ra n sla ti o n   S y ste m :   B rid g in g   th e   G a p   b e t w e e n   Hu m a n   a n d   M a c h in e   T ra n sla ti o n , "   in   ArX iv Co RR ,   v o l.   a b s/1 6 0 9 . 0 8 1 4 4 ,   p p .   1 - 2 3 ,   2 0 1 6   [2 9 ]   M .   Krista n   a n d   o th e rs.  T h e   V i su a Ob jec T ra c k in g   V OT 2 0 1 5   Ch a ll e n g e   Re su lt s,”   in   Vi su a Ob jec T ra c k in g   W o rk sh o p   ICCV  2 0 1 5 ,   2 0 1 5 .     [3 0 ]   M .   Krista n ,   R.   P f lu g f e ld e r,   A .   L e o n a rd is,  J .   M a tas ,   F .   P o rik li ,   L .   Ce h o v in ,   G .   Ne b e h a y ,   G .   F e rn a n d e z ,   a n d   T .   V o ji r .   T h e   V OT 2 0 1 3   c h a ll e n g e o v e rv iew   a n d   a d d it io n a re su lt s ,   I n   C o mp u ter   Vi si o n   W in ter   W o rk sh o p ,   2 0 1 4 .       B I O G RAP H I E S   O F   AUTH O RS       Zu laik h a   Ka d im  re c e iv e d   h e r   B. En g   d e g re e   in   e lec tro n ics   e n g in e e rin g   m a jo rin g   in   tele c o m m u n ica ti o n   f ro m   M u lt im e d ia  Un iv e rsity ,   M a la y sia   in   2 0 0 0   a n d   c u rre n tl y   p e rsu in g   h e P h . d e g re e   in   Un iv e rsiti   Ke b a n g sa a n   M a la y sia .   S h e   is  a lso   a   re se a rc h e in   n a ti o n a R& D   in stit u ti o n .   He c u rre n re se a rc h   in tere sts  a re   in   v id e o   a n a l y ti c s,  b e h a v io ra a n a ly sis   a n d   v isu a o b jec trac k in g .         M o h d   A s y r a f   Zu lk i f le y   (M ’1 8 r e c e iv e d   th e   B. En g .   d e g re e   in   m e c h a tro n ics   f ro m   In tern a ti o n a l   Isla m ic  Un iv e r sit y   M a la y sia   in   2 0 0 8   a n d   th e   P h . D.  d e g re e   in   e lec tri c a a n d   e lec tro n ic  e n g in e e rin g   f ro m   T h e   Un iv e rsit y   o f   M e lb o u r n e   in   2 0 1 2 .   He   w a a   sp o n so re d   Re se a rc h e a th e   De p a rtme n o f   Co m p u ter  S c ien c e ,   Un iv e rsit y   o f   O x f o rd   f ro m   2 0 1 6   to   2 0 1 8 .   He   is  c u rre n tl y   a n   A s so c iate   P ro f e ss o a th e   F a c u lt y   o f   En g in e e rin g   a n d   Bu il En v ir o n m e n t,   Un iv e rsiti   Ke b a n g sa a n   M a la y sia .   His c u rre n re se a rc h   in t e re sts a re   v isu a o b jec trac k in g   a n d   m e d ica l   im a g e   a n a l y sis.         No A z wa n   M o h a m m e d   Ka m a ri  re c e i v e d   B. En g .   f ro m   M e ij Un iv e rsit y ,   J a p a n ,   M . S c .   d e g re e s   f ro m   Eh i m e   Un iv e rsit y ,   J a p a n   a n d   P h d e g re e   f ro m   Un iv e r siti   Te k n o lo g M a ra ,   M a la y sia   2 0 0 0 ,   2 0 0 4   a n d   2 0 1 6 ,   re sp e c ti v e ly .   He   h a a u t h o re d   a n d   c o - a u t h o re d   m o re   th a n   3 0   tec h n ica p a p e rs   p u b li sh e d   i n   t h e   in tern a ti o n a j o u r n a ls,  n a ti o n a a n d   in ter n a ti o n a c o n f e re n c e s.  His  re se a rc h   in tere sts in c lu d e   p o w e s y ste m   st a b il it y   a n d   a rti f icia in telli g e n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.