I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  9 ,   No .   2 ,  J u n e   2020 ,   p p .   282 ~ 2 8 9   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 9 .i 2 . p p 282 - 2 8 9          282       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Tra ining  config ur a tion a na ly sis  of a co nv o lutiona l ne ura l  netw o rk  object  t r a ck er  f o r n ig ht  su rv eilla nce applica tion       Z u la i kh a   K a di m 1 ,   M o hd   Asy ra f   Z ul kifley 2 ,   No r  Azw a n  M o ha m ed  K a m a ri 3   1 , 2, 3 De p a rtm e n t  o f   El e c tri c a l,   El e c tro n ic a n d   S y ste m s E n g in e e rin g ,   F a c u lt y   o f   En g in e e rin g   a n d   Bu il t  En v iro n m e n t,   Un iv e rsiti   Ke b a n g sa a n   M a la y sia ,   Ba n g i  4 3 6 5 0 ,   M a lay sia   1 M IM OS  Be rh a d ,   T e c h n o l o g y   P a rk   M a la y sia ,   5 7 0 0 0   B u k it   Ja li l,   K u a la L u m p u r ,   M a lay sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   1 8 ,   2 0 20   R ev i s ed    A p r   3 ,   2 0 20   A cc ep ted   A p r   23 ,   2 0 20       A u to m a ted   su rv e il lan c e   d u rin g   th e   n ig h t  is  im p o rtan t  a s  it   is  th e   p e rio d   w h e n   c rime s  u su a ll y   h a p p e n e d .   By   p ro v id in g   c o n ti n u o u s  m o n it o ri n g ,   c o u p led   w it h   a   re a l - ti m e   a lert  s y ste m ,   a p p ro p riate   a c ti o n   c a n   b e   tak e n   imm e d iate l y   i f   a   c rime   is   d e tec ted .   Ho w e v e r,   lo w  li g h ti n g   c o n d it i o n s  d u rin g   th e   n ig h t  c a n   d e g ra d e   th e   q u a li ty   o f   su rv e il lan c e   v id e o s,  w h e re   th e   c a p tu re d   ima g e s  w il l  h a v e   lo w   c o n tras t  a n d   les s  d is c rim in a ti v e   f e a tu re s.  Co n se q u e n tl y ,   th e se   f a c to rs  c o n tri b u te  to   th e   p ro b le m   o f   b a d   a p p e a ra n c e   re p re se n tatio n   o f   th e   o b jec t  o f   in tere st  in   t h e   trac k in g   a lg o rit h m .   T h u s,  a   c o n v o lu ti o n a l  n e u ra l   n e tw o rk - b a se d   o b jec t  trac k e r   f o r  n ig h t  su rv e il lan c e   is  p ro p o se d   b y   e x p lo it in g   th e   d e e p   f e a tu re   stre n g th   i n   r e p re se n ti n g   o b jec t  f e a tu re s  sp a ti a ll y   a n d   se m a n ti c a ll y .   T h e   p ro p o se d   c o n v o lu ti o n a l   n e tw o rk   c o n sists   o f   six   la y e rs  th a t  c o n sist  o f   th re e   c o n v o l u ti o n a l   n e u ra l  n e tw o rk s  (CNN )  a n d   t h re e   f u ll y   c o n n e c ted   ( F C)  lay e rs.  T h e   n e tw o rk   w il l  b e   train e d   b y   u sin g   a   b i n a ry   c las si f ier  a p p ro a c h   o f   o b jec ts   a n d   it s  b a c k g ro u n d   c las se s,  w h ich   is  u p d a te d   o n   a   f ix e d   in terv a l  so   th a t  i t  f u ll y   e n c a p su late s  th e   c h a n g e s  in   o b jec t   a p p e a ra n c e   a s   it   m o v e s  in   th e   s c e n e .   T h e   a lg o rit h m   h a s  b e e n   t e ste d   w it h   d if fe re n t  se ts  o f   train in g   d a ta  c o n f ig u ra ti o n s  to   f in d   th e   b e st  o p t i m u m   o n e s   w it h   re g a rd s  to   V OT 2 0 1 5   e v a lu a ti o n   p ro t o c o ls,   tes ted   o n   1 4 - n ig h t   su rv e il lan c e   v id e o s.  T h e   re su lt s  s h o w   th a t  t h e   c o n f ig u ra ti o n   o f   a   to tal  o f   2 5 0   train in g   sa m p les   w it h   a   sa m p le  ra ti o   o f   4 :1   b e tw e e n   p o siti v e   a n d   n e g a ti v e   d a ta  d e li v e rs  th e   b e st  p e rf o rm a n c e   f o r  th e   se q u e n c e   len g th   o f   [1 , 5 5 0 ] .   I t  c a n   b e   in f e rre d   th a t  m o re   in f o rm a ti o n   o n   t h e   o b jec t  is  re q u ire d   c o m p a re d   to   th e   b a c k g ro u n d ,   w h e re   th e   b a c k g ro u n d   m ig h t  b e   h o m o g e n e o u s  d u e   to   lo w   li g h ti n g   c o n d it i o n s.  I n   c o n c lu sio n ,   t h is  a lg o rit h m   is  su it a b le  t o   b e   im p le m e n ted   f o r  n ig h t  su rv e il lan c e   a p p li c a ti o n .   K ey w o r d s :   C o n v o lu tio n al  o b j ec t tr ac k in g   Nig h t s u r v eil lan ce   T r ac k in g   alg o r it h m   T r ain in g   d ata  an al y s is   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h d   As y r a f   Z u l k i f le y ,   Dep ar t m en t o f   E lectr ical,   E lectr o n ic  an d   S y s te m s   E n g i n ee r i n g ,   Facu lt y   o f   E n g i n ee r i n g   a n d   B u ilt E n v ir o n m e n t,   Un i v er s iti Ke b a n g s aa n   Ma la y s ia,   B an g i 4 3 6 5 0 ,   Ma lay s ia .   E m ail: a s y r a f . zu l k i f le y @ u k m . ed u . m y       1.   I NT RO D UCT I O N   Vis u a l  o b j ec t   tr ac k in g   h as  b ee n   an   ac tiv e  r esear ch   ar ea   in   co m p u ter   v is io n   an d   i m a g e  p r o ce s s in g   f ield s   b ec au s e   o f   its   w id e  ap p licatio n   i n   n u m er o u s   r ea l - wo r ld   p r o b lem s   i n cl u d in g   v i s u al  s u r v eil lan ce   [ 1 ] ,   r o b o tics   [ 2 ] ,   h u m a n - c o m p u te r   in ter ac tio n s   [ 3 ] ,   tr af f ic  an al y s i s   [ 4 ] ,   p h y s io th er ap y   [ 5 ] ,   an d   au to n o m o u s   v eh ic les  [ 6 ] .   I n   t h is   p ap er ,   w e   p r o p o s e  an   o b j ec t  tr ac k in g   al g o r ith m   b ased   o n   a  co n v o l u ti o n al  n e u r al  n et w o r k   ( C NN)   ap p r o ac h   f o r   th e  n ig h t  s u r v eilla n ce   ap p licatio n .   T h e  r o le  o f   th e  o b j ec t  tr ac k er   is   to   e s ti m ate  m o v e m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a l  n e u r a l n e tw o r k  o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   283   tr aj ec to r ies  th r o u g h o u t  i m a g e  s eq u en ce s   b y   ass i g n in g   a  co n s is ten t  lab el  to   th e  tr ac k ed   o b j e ct.   T h e  tr ac k er   task   is   also   to   p r o v id e  o b j ec t - ce n t r ic  in f o r m atio n   s u c h   as  o r ien tatio n ,   ar ea   o r   s h ap e  o f   th e  tr ac k ed   o b j ec t.  T h is   tr ac k in g   i n f o r m atio n   s er v es  a s   lo w - le v el  i n p u t  f o r   h ig h er - l ev el  ap p licatio n s   s u c h   as  b eh av io r   an al y s i s   o f   th e   o b j ec t  o f   i n ter est   an d   co n d i tio n   m o n i to r in g   o f   p h y s io t h er ap y   p atien t s .   T h er e  ar e  n u m b er s   o f   tr ac k i n g   alg o r ith m s   th at   h a v e  b ee n   p r o p o s ed   in   th e  l iter atu r e,   h o w e v er ,   m o s t  o f   t h e m   ar e  d ev elo p ed   f o r   th e  ap p licatio n   in   a  b r ig h t e n v ir o n m en t,  w ith   l ittl e  e m p h asi s   o n   d ar k   s u r r o u n d in g s .   Vid eo s   f r o m   n i g h t  s ec u r it y   ca m er as  p o s e  a  m o r e  d i f f ic u lt   c h alle n g e   to   th e   s ta n d ar d   o b j ec t  tr ac k i n g   alg o r ith m s .   D u e  to   lo w   li g h ti n g   co n d itio n s   d u r in g   th e   n ig h t   ti m e,   t h e  q u alit y   o f   ca p t u r ed   i m a g es   is   n o r m all y   n o t  th at  g o o d   w ith   c h ar ac ter is tics   o f   lo w   b r ig h t n ess ,   lo w  co n tr ast,  an d   al m o s t  n o   d is tin g u i s h ab le  co lo r   in f o r m atio n .   T h is   co n d it io n   is   ev en   w o r s e  i f   t h e  tar g et  o b j ec t is s m all  in   s ize  [ 7 ] .   On e  o f   th e  ap p r o ac h es  in   h a n d lin g   tr ac k in g   p er f o r m an ce   f o r   th e  n ig h t  s eq u e n ce   i s   b y   e n h an cin g   th e   i m a g e  q u alit y   f ir s t  b ef o r e  d etec tio n   an d   tr ac k in g   ar e  d o n e.   T h is   en h an ce m e n t  ca n   b e  ac h iev ed   b y   ap p l y i n g   p r ep r o ce s s in g   s tep s   s u c h   as   h i s to g r a m   eq u aliza t io n ,   h is to g r a m   s p ec i f icatio n ,   a n d   in te n s it y   m ap p in g .   H u an g   et   al.   [ 8 ]   an al y ze   th e  o b j ec t' s   lo ca l  co n tr ast  c h an g es  to   i m p r o v e  o b j ec t  d etec tio n   ac cu r ac y   in   t h e  n i g h t  v id eo   ap p licatio n .   L o ca l  co n tr ast  i s   co m p u ted   b y   f in d i n g   t h e  r ati o   b et w ee n   t h e  lo ca l  s ta n d ar d   d ev iatio n   o f   i m a g e  in te n s it y   w it h   lo ca l  m ea n   i n te n s it y ,   w h ic h   is   t h e  b asis   f o r   Hu an g ' s   C o n tr ast  C h a n g e  ( C C )   m o d el.   Ob j ec ts   ar e  th en   d etec ted   b y   th r es h o ld in g   th e  co n tr ast  ch a n g e  v al u es  i n   th e  s u cc ess i v e  f r a m es.  T h e  co m p u tat io n   s p ee d   is   r elativ el y   f a s t;  h o w e v er ,   it  i s   p r o n e  to   th e  p r o b lem   o f   s i m ilar   ap p ea r an ce   b et w ee n   th e  o b j ec t  an d   its   s u r r o u n d in g   b ac k g r o u n d .   Hu an g   et  al.   [ 9 ]   f u r th er   i m p r o v e  th e  d etec tio n   ac cu r ac y   b y   u til izin g   m o tio n   p r ed ictio n   an d   s p atial  n ea r est  n eig h b o r   d ata  ass o ci atio n .   W an g   et  al.   [ 1 0 ]   f u r th er   i m p r o v e  Hu a n g ’ s   C C   m o d el   b y   in tr o d u cin g   a  s alie n t  co n tr ast  c h an g e  ( S C C )   m o d el,   w h ich   r eq u ir e s   o n li n e  lear n i n g   a n d   an al y s is   o f   t h e  d etec ted   o b j ec t  tr aj ec t o r ies.  T h e  w o r k   i n   [ 1 1 ]   in tr o d u ce s   ill u m in at io n   i n v ar ian t   r ep r esen t atio n   b y   m u ltip l y i n g   Sh a h n o n ’ s   en tr o p y   e s ti m atio n   w it h   t h eir   o w n   co n tr a s t e s ti m a tio n .   I n   g e n er al,   tr ac k in g   r eq u ir es  t h e  tar g et  to   b e  r ep r esen ted   b y   a  m o d el  t h at  m i g h t  i n cl u d e  i n f o r m atio n   ab o u t  th e  s h ap e  o r   ap p ea r an ce   o f   th e  o b j ec t.  T h e  m o d el  w il l  b e  u s ed   as  a  r ef er en ce   i n   f i n d i n g   t h e  m o s t   p r o b a b le  lo ca tio n   o f   th e  o b j ec t  in   t h e  n e x t  f r a m e.   Ob j ec t  ap p ea r an ce   ca n   b e  r ep r esen ted   u s in g   g lo b al  o r   lo ca l   f ea t u r es,  in   w h ich   s o m e  ar e  m o r e  s u itab le  f o r   ce r tai n   tr a ck in g   c h alle n g es  s u c h   as  ill u m i n atio n   v ar iatio n ,   b ac k g r o u n d   cl u tter ,   an d   o cc l u s io n .   Ya n g   et  a l.  [ 1 2 ]   an d   L i  et  al.   [ 1 3 ]   p r o v id e  a  g o o d   o v e r v ie w   o f   lo ca l  a n d   g lo b al  f ea tu r e  r ep r ese n tatio n s   f o r   tr ac k in g   p u r p o s es  a n d   a  s u m m ar y   o f   tar g et  a p p ea r an ce   m o d els,   r esp ec tiv el y .   A   g o o d   o b j ec t  r e p r esen tatio n   m e th o d   s h o u ld   b e  ab le  to   clea r l y   d i s ti n g u i s h   th e  tar g et  f r o m   o th er   b ac k g r o u n d   o b j ec ts .   T h e  au th o r s   o f   [ 1 4 ]   ca teg o r ize  tr ac k in g   alg o r ith m s   b ased   o n   f ea tu r e  r ep r esen tatio n   m eth o d s ,   in   w h ic h   t h e y   ar e  d iv id ed   i n t o   t w o   g r o u p s   n a m el y   h a n d cr af ted   an d   d ee p   f ea t u r es.   E f f ec ti v e  f ea tu r e  r ep r esen tatio n s   s h o u ld   b e  d i s cr i m i n ati v e  w h ile   m ain tain i n g   th e   g eo m etr ic,   s tr u ct u r al   an d   s p atial   tar g e t   in f o r m atio n .   S tr u ct u r al,   g eo m etr ics  an d   s p atial  tar g e t  in f o r m atio n   e n co d e  th e  ap p ea r an ce   v ar iatio n ,   s h ap es,   an d   lo ca tio n   o f   d if f er en t  o b j e ct  p ar ts ,   r e s p ec tiv el y .   So m e  o f   t h e  h an d cr af ted   f ea t u r es  ca p tu r e  t h is   lo w - le v el   in f o r m atio n   b u t  e n co d e  o n l y   a  s m a ll  f r ac tio n   o f   s e m a n tic   i n f o r m atio n .   Dee p   f ea t u r es,  o n   th e  o t h er   h a n d ,   ar e  ab le  to   en co d e  lo w - lev e l  s p a tial  an d   h ig h - le v el  s e m a n tic  in f o r m atio n   w h ich   ar e  e s s e n t ial  co m p o n e n ts   i n   lo ca tin g   t h e  o b j ec ts   p r ec is ely .   T h ese  ab ilit ies  m a k e  d ee p   lear n in g   ap p r o ac h   p o p u lar   in   m a n y   i m a g e   p r o ce s s in g   ta s k s ; i n cl u d in g   o b j ec t d etec tio n   [ 1 5 - 1 7 ] ,   class if i ca tio n   [ 1 8 ] ,   an d   tr ac k in g .   I n   [ 1 9 ] ,   J o n g   et  al.   p r o p o s e  a   C NN  b ased   h u m a n   d etec tio n ,   w h ich   s er v es  a s   an   i n p u t  to   an   o b j ec t   tr ac k er   f o r   th e  n i g h t  ti m e  co n d itio n s .   T h e  i n p u t  i m a g es  ar e  r esized   to   1 8 3 x 1 1 9   an d   its   h is to g r a m   r ep r esen tatio n   i s   eq u alize d   f ir s t  b ef o r e  p as s in g   t h e  i m a g es   to   th e  C NN  m o d el  to   i m p r o v e  h u m a n   d etec tio n   ac cu r ac y .   I n   [ 2 0 ] ,   Ha m   a n d   Han   p r o p o s e  an   o n li n e   tr ac k in g   f r a m e w o r k   b ased   o n   m u lti - d o m ai n   r ep r esen tatio n s .   T h eir   n et w o r k   ar ch itect u r e  co n s is ts   o f   m u lt ip le  s h ar ed   lay er s   k n o w n   a s   d o m a in - i n d ep en d en t   la y er s   a n d   cla s s i f ica tio n   la y e r s   w h ich   is   k n o w n   a s   d o m a i n - s p ec if ic  o n e s .   Do m ai n   i n d e p en d en t  la y er s   ar e  tr ain ed   o f f li n e  u s i n g   m u ltip le   an n o tated   v id eo   s eq u en ce s ,   w h ile  c lass if icatio n   la y er s   ar e  tr ain ed   s ep ar atel y   b ased   o n   t h e  s p ec if ic   n e w   i m ag e   s eq u en ce s .   I n   [ 2 1 ] ,   m u ltip le  C N Ns   is   m a in ta in ed   i n   a  tr ee   s tr u ct u r e  to   r ep r e s en t  m u lti - m o d al  tar g et  a p p ea r an ce .   A   g e n er al  tr ac k i n g   f r a m e w o r k   f o r   th er m al  i n f r ar ed   v id eo s   h as  al s o   b ee n   p r o p o s ed   in   [ 2 2 ] .   T h er m al  i m a g es  h a v e  t h e  m o s t  s i m ilar   f ea t u r es  to   t h e  n ig h t  s u r v eil lan ce   i m a g es,   s p ef icall y   i n   ter m s   o f   lo w   co n tr ast  in f o r m at io n   a n d   n eg li g ab le  tex t u r es.  M u ltip le  C NN s   ap p r o ac h   to   m o d el  th e  tar g e t  ap p ea r an ce   in   d i f f er en t  ca s es   is   al s o   p r o p o s ed .   Du r i n g   n et w o r k   u p d ates,  p a r en t  n o d es  w i ll  b e  r ep lace d   b y   t h e  n e w   n o d e  s o   th at  th er e  is   n o   r ed u n d an c y   in   th e  p o o l  o f   tar g et  o b j ec t  a p p ea r an ce   m o d els.     I n   [ 2 3 ] ,   a  Sia m ese  ap p r o ac h   is   u tili ze d   i n   w h ic h   p air   o f   p atc h es  ar e  co m p ar ed   to   f i n d   t h e  m o s t  li k el y   lo ca tio n   o f   th e  tar g e t o b j ec t.   I n   v ie w   o f   t h at,   th is   p ap er   p r o p o s es  a  co n v o lu tio n a l  n e u r al   n et w o r k - b ased   o b j ec t   tr ac k er   alg o r ith m   f o r   n ig h t  s u r v ei l lan ce   ap p li ca tio n   b y   ex p lo iti n g   t h e  s tr en g t h   o f   d ee p   f ea tu r e s   in   r ep r esen tin g   o b j ec t   ap p ea r an ce .   Var io u s   tr ain in g   d ata  co n f ig u r atio n s   ar e  also   ex a m in ed   to   f i n d   th e  b est  s et ti n g   f o r   th e  p r o p o s ed   tr ac k er .   T h e  p ap e r   is   o r g an iz ed   as  f o llo w s :  Sectio n   2   s u m m ar iz es  t h e  p r o p o s ed   tr ac k er   alg o r ith m   f o r   n ig h t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   282   –   2 8 9   284   s u r v eilla n ce ,   w h o s e  p er f o r m an ce   i s   ev al u ated   an d   d is cu s s ed   in   Sectio n   3 .   Fin all y ,   co n cl u s io n   i s     g iv e n   i n   Sectio n   4 .       2.   CO NVO L U T I O NA L   NE UR AL   NE T WO RK   O B J E CT   T RACK E R   T h e  p r o p o s ed   co n v o lu tio n al   o b j ec t  tr ac k er   alg o r it h m   is   b ased   o n   th e  co n ce p t  o f   tr ac k in g   b y   d etec tio n ,   w h er eb y   th e  tr ac k e d   o b j ec t  lo ca tio n   is   i n f er r ed   b ased   o n   th e   b est  m atc h ed   s a m p les  in   ea c h   f r a m e.   I n   t h is   w o r k ,   th e   d etec tio n   is   ac h iev ed   b y   co n s tr u cti n g   a n   o b j ec t  m o d el  to   cla s s i f y   ei th e r   th e   in p u t  s a m p l e s   b elo n g   to   th e  b ac k g r o u n d   o r   o b j ec t  o f   in ter est.  T h e  to p   f iv e  s a m p les  th at  ar e  b est  cla s s i f ie d   to   b e  th e  o b j ec t  o f   in ter est   ar e  u s ed   to   co n s tr u e  th e  f i n al  o b j ec t  lo ca tio n .   T h e  o v er all  f lo w   o f   t h e  t r ac k er   alg o r it h m   i s     illu s tr ated   in   Fi g u r e  1 .   Du r in g   t h e  f ir s t  f r a m e,   t h e  m o d el  w ill  b e  tr ai n ed   u s in g   s a m p led   ca n d id ates  th at  ar e  g en er a ted   b ased   o n   th e  i n itia l  u s er - s p ec if ied   o b j ec t  lo ca tio n .   N  n u m b er   o f   p o s itiv e  a n d   m   n u m b er   o f   n e g ati v e  s a m p les  ar e  g en er ated   r an d o m l y   ar o u n d   t h e  in itial  o b j ec t  lo ca tio n ,   g o v er n e d   b y   a  ce r tain   p er ce n ta g e  o f   o v er lap p in g   ar ea   b et w ee n   th e  s a m p le  an d   th e  i n itial  o b j ec t  lo ca tio n   b o x .   T h ese  an n o tated   s a m p les  ar e  th e n   u s ed   to   tr ain   th e   f ir s t   o b j ec t  ap p ea r an ce   m o d el.   T h e  n et w o r k   ar ch i tectu r e   co n s is ts   o f   t h r ee   co n v o l u tio n al  n e u r al  n et w o r k   ( C NN)   an d   th r ee   f u l l y   co n n ec t ed   ( FC )   la y er s .   T h is   m o d el  ar ch itect u r e  w ill b e  f u r th er   d is c u s s ed   in   s ec tio n   3 . 1 .   Fo r   th e  s u b s eq u e n t  f r a m es,  p r ev io u s l y   k n o w n   o b j ec t  lo ca t io n   w i ll  b e  u s ed   as  th e  p iv o t   p o in t  f o r   g en er ati n g   s a m p le  ca n d id ates.   T h is   ap p r o ac h   ass u m e s   th at  t h e  o b j ec t   in   th e  cu r r en t  f r a m e   d o es  n o t  m o v e  to o   f ar   f r o m   t h e  p r ev io u s   k n o w n   l o ca tio n .   T h ese  s a m p les   ar e  t h en   m atc h ed   w it h   t h e  tr ai n ed   m o d el   b y   cla s s i f y i n g   ea ch   s a m p le  a s   b ac k g r o u n d   o r   o b j ec t  o f   in ter est.  T h e  w ei g h ted   av er ag e  o f   t h e  b o u n d ar y   p o in t s   o f   th e  to p - 5  s a m p les,   w h ich   h a v e  b ee d   cla s s i f ied   as   th e   o b j ec t  is   th e n   u s ed   to   g en er ate   th e   s m o o th ed   o b j ec t  lo ca tio n   in   t h e   cu r r en t  i n p u t  f r a m e.   Fi n all y ,   th e  m o d el  w i ll  b e  u p d ated   p er io d ically   to   ca p tu r e  th e   o b j ec t' s   ap p ea r an ce   ch an g es a s   it  m o v es a r o u n d .            Fig u r e  1 .   A l g o r ith m   f lo w   o f   t h e  p r o p o s ed   co n v o lu tio n al  o b j ec t tr ac k er       2 . 1 .     Net wo rk   a rc hite ct ure   Fig u r e  2   ill u s tr ates  th e   n et w o r k   ar ch i tectu r e  u s ed   in   t h e  p r o p o s ed   tr ac k er .   T h e  n et w o r k   co n s is ts   o f   th r ee   C NN  a n d   th r ee   F C   la y er s .   T ab le  1   d etails  o u t  th e  n u m b er   o f   f ilter s ,   f i lter   s ize,   s tr id e   an d   p ad d in g   o f   th e   r ec ep tiv e  f ield   in   ea ch   C NN  la y er .   T h e  s ize  o f   th e  in p u t  i m a g e  is   s et  to   7 5 x 7 5 ,   th u s   th e  o u t p u t  f r o m   t h e  co n v 3   la y er   is   a  f lat  la y er   o f   5 1 2 x 1 x 1   f ea t u r e  m ap .   T h e  f i n al  o u tp u t  o f   th e  n et w o r k   i s   a  b in ar y   cla s s i f icat io n   p r o b a b ilit y   t h at  t h e  in p u t  i m a g e  b elo n g s   to   th e   o b j ec t - of - i n ter est  o r   b ac k g r o u n d .   T h e  w ei g h ts   o f   t h e  th r ee   C NN  la y er s   ar e  p o r ted   d ir ec tly   f r o m   tr ai n ed   co n v o l u tio n a l  w ei g h ts   o f   t h e  f ir s t  3   C NN  la y er s   o f   th e  Vg g - m  m o d el   [ 2 4 ]   th at  w er e   tr ain ed   o n   t h e  I m a g eNe t  I L SV R C - 2 0 1 2   d ataset  [ 2 5 ] .   Vg g - m   m o d el  w a s   f ir s t   i n tr o d u ce d   b y   [ 2 4 ]   as  C NN - m   t h at  co n s is ts   o f   f i v e  C NN  la y er s   an d   th r e e  FC   la y er s   a s   s h o w n   i n   T ab le   2 .   T h u s ,   th er e  is   a   clea r   d if f er en ce   b et w ee n   o u r s   an d   t h e  V g g - m   n et w o r k   i n   ter m s   o f   th e   n u m b er   o f   C N N  la y er s   ( 3   v s .   5 ) .   A p ar t  f r o m   t h at,   th e  co n v o lu tio n al  s t r id e  an d   s p atial  p ad d in g   in   co n v 2   an d   co n v 3   la y er s   al s o   d if f er en t  co m p ar ed   to   Vg g - m ,   as  w el l a s   les s   d i m e n s io n alit y   f o r   f c1   to   f c3   ( 5 1 2   v s .   4 0 9 6 ) .           Fig u r e  2 .   Net w o r k   ar c h itect u r e  o f   th e  co n v o lu t io n al  o b j ec t t r ac k er   w it h   t h r ee   C NN  la y er s     an d   th r ee   FC   la y er s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a l  n e u r a l n e tw o r k  o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   285   T ab le  1 .   Nu m b er   o f   f ilter s ,   f ilt er   s ize,   s tr id e  an d   p ad d in g   o f   r ec ep tiv e  f ield s   in   ea c h   la y er   o f   p r o p o s ed   m o d el   L a y e r   C o n v 1   P o o l 1   C o n v 2   P o o l 2   C o n v 3   N u m b e r   o f   f i l t e rs   96   96   2 5 6   2 5 6   5 1 2   Fi l t e r  si ze   7 x 7   3 x 3   5 x 5   3 x 3   3 x 3   S t r i d e   2   2   2   2   2   Pa d d i n g   0   0   0   0   0       T ab le  2 .   VGG - M  ar ch itect u r e  as p r o p o s ed   in   [ 2 2 ]   Arc h   C o n v 1   C o n v 2   C o n v 3   C o n v 4   C o n v 5   F u l l 6   F u l l 7   F u l l 8   C N N - M   9 6 x 7 x 7   st .   2 ,   p a d   0   L R N ,   x 2   p o o l   2 5 6 x 5 x 5   st .   2 ,   p a d   1   L R N ,   x 2   p o o l   5 1 2 x 3 x 3   st .   1 ,   p a d   1   -   5 1 2 x 3 x 3   st .   1 ,   p a d   1   -   5 1 2 x 3 x 3   st .   1 ,   p a d   1 ,   x 2   p o o l   4 0 9 6   d r o p o u t   4 0 9 6   d r o p o u t   1 0 0 0   S o f t max       2 . 2 .     Sa m p les g ener a t io n   T h e  p r o p o s ed   tr ac k er   alg o r ith m   tr ies  to   f i n d   th e  b est  ca n d id ate  r ep r esen tatio n s   o f   t h e  tr ac k ed   o b j ec t  f r o m   a  s et  o f   s a m p les   u s i n g   a  d ee p - lear n i n g   m o d el  t h at  a cts  as  a   b in ar y   clas s i f ier .   P o s iti v e  an d   n e g ati v e   ca n d id ates r ef er   to   t h e  s u b - i m ag e  t h at  co r r esp o n d s   to   a  tr ac k ed   o b j ec t o r   b ac k g r o u n d   ar ea ,   r esp ec tiv el y .   T h ese   s a m p les  w i ll  th e n   s er v e  as  th e   tr ain in g   d ata  u s ed   to   tr ain   t h e  n et w o r k   in   a  s u p er v i s ed   m a n n er .   Fo r   th e  i n itial   tr ain i n g   p h a s e  in   t h e  f ir s t  f r a m e,   m o r e  s a m p le s   ar e  g en er at ed   s in ce   th e  ac tu a l  o b j ec t  l o ca tio n   is   k n o w n   to   b e  tr u e.   Ho w e v er ,   d u r i n g   o n li n e  n et w o r k   u p d ates,  a  les s er   n u m b er   o f   s a m p le s   ar e  cr ea ted   to   r ed u ce   th e   co m p u tatio n   b u r d en ,   as  w ell  a s   to   m i n i m ize  th e  p o s s ib ilit y   o f   b ac k g r o u n d   i n clu s io n   i n   t h e  m o d el.   T o   g en er ate  th e  s a m p les,  o b j e ct  lo ca tio n   in   th e  p r ev io u s   f r a m e  is   u s ed   a s   th e  p i v o t  p o in t  to   s p a w n   p o s itiv e  an d   n e g ati v e  ca n d id ate  lo ca tio n s .   T o   en s u r e  th e   v ar iab ilit y   o f   t h e  ca n d id ate s ,   th e  s a m p les  ar e  s p a w n ed   r an d o m l y   ac co r d in g   to   Gau s s ian   d is tr ib u tio n ,   w h er eb y   th e  s a m p les  ar e  co n ce n tr ated   clo s er   to   th e  p iv o t  p o in t.  T h e  g en er ated   p o s iti v e  s a m p le  s h o u ld   h a v e  at  least  8 0 %  o v er lap p in g   ar ea s   w it h   t h e   p r ev io u s l y   k n o w n   o b j ec t  ar ea ,   w h i le  n e g ativ e  s a m p les  s h o u ld   also   h av e  an   o v er lap p in g   ar ea   w it h   at  m o s t  2 0 %.  Sa m p le   s ize  i s   o n e   o f   th e   m o s t  i m p o r tan t  f ac to r s   i n   tr ain i n g   a  d ee p - lear n i n g   m o d el.   A  h ig h er   n u m b er   o f   tr ai n i n g   s a m p les  i s   b etter   f o r   g en er aliz in g   t h e  m o d el.   T h u s ,   in   t h is   w o r k ,   t h e  s elec tio n   o f   t h e  n u m b er   o f   s a m p les  a n d   th e  r atio   b et w ee n   p o s iti v e  a n d   n eg a tiv e   s a m p les   ar e  a n al y ze d   to   d eter m i n e  t h e  b es t  co m b in at io n   f o r   t h e  p r o p o s ed   o b j ec t tr ac k er   alg o r ith m .     2 . 3 .     Net wo rk   lea rning   a nd   u pd a t e   T r ain in g   o f   t h e  n et w o r k   i n   t h e  f ir s t  f r a m e  w il l  d ictate  h o w   w ell  t h e  tr ac k er   w ill   p er f o r m   i n   t h e   s u b s eq u en t   f r a m es .   T h e  t h r ee   C NN  la y er ’ s   w ei g h ts   ar e  tr an s f er r ed   f r o m   th e  p r e - tr ain ed   w e ig h ts   o f   t h e  f ir s t  3   C NN  la y er s   i n   t h e  Vg g - m   n et w o r k ,   w h ile  t h e  w ei g h ts   a n d   b ias es i n   t h e  F C   la y er s   ar e  in it i alize d   r an d o m l y   a n d   f i x ed   to   0 . 0 5 ,   r esp ec tiv el y .   O n l y   th e s e  F C   la y er s   w il l  g o   t h r o u g h   lear n i n g   s ta g e  u s i n g   p o s iti v e  an d   n eg a tiv e   s a m p les  g e n er ated   f r o m   o u r   s p ec if ic  tes tin g   d ata.   C h o o s i n g   a  lear n in g   r ate  f o r   o p ti m al  lear n i n g   is   a  ch allen g i n g   task   as  it  m a y   ca u s e  s lo w   co n v er g en ce   o r   f r eq u en t   f lu ct u atio n   o f   t h e  lo s s   f u n ctio n ,   w h ic h   w il l  lead   to   th e   m o d el  d i v er g e n t.  T h u s ,   in   t h i s   w o r k ,   w e  h av e   s elec ted   A d a m   o p ti m iz er   [ 2 6 ]   as  th e   b ac k p r o p ag ati o n   o p ti m iza tio n   alg o r it h m .   Ad am   i s   a n   ad ap ti v e   m o m e n t  est i m a tio n   t h at  co m p u tes  d if f er en t  lear n i n g   r ates  f o r   d if f er e n t  p ar a m eter s   ( i.e .   m o d el  w ei g h ts   a n d   b iases )   b y   u s in g   th e   esti m ate s   o f   th e ir   f ir s t  a n d   s ec o n d - o r d er   m o m e n ts   o f   th e   g r ad ie n t.   T h e  f i n al  m o d el  p ar am eter   u p d ates  w ill  b e  b a s ed   o n   t h e  n e w l y   ad j u s ted   le ar n in g   r ate,   w h ic h   eq u als  to   in itial   lear n i n g   r ate   m u ltip lies   w it h   th e  r at io   o f   its   f ir s t  a n d   s ec o n d - o r d er   m o m e n ts   o f   t h e  g r ad ien ts .   T h e  i n itial  lear n in g   r ate  i s   s et   as  0 . 0 0 0 7 5   b ased   o n   th e  f i n d in g   i n   [ 2 7 ] ,   an d   A d a m ’ s   h y p e r p ar am eter s   e x p o n en t ial  d ec ay   r ate  f o r   th e  f ir s t - o r d er   ( β1 ) ,   ex p o n en tial  d ec a y   r ate  f o r   th e  s ec o n d - o r d er   ( β2 )   an d   s m all  v al u es  co n s ta n ts   to   p r ev en t  d iv is io n   b y   ze r o   ( ε) ,   w h ic h   ar e  s et  to   0 . 9 ,   0 . 9 9 9   an d   1 e - 0 8   r esp ec tiv el y .   A d a m   h as  b ee n   g ai n in g   p o p u lar it y   s i n ce   it s   in tr o d u c tio n   i n   2 0 1 5 ,   w h er e  it  h as b ee n   w id el y   u s ed   in   o th er s   n et w o r k   lear n i n g   [ 2 8 ] .   I t  is   i m p o r tan t  to   u p d ate  th e   n et w o r k   to   en s u r e  th at  t h e  m o d el  ca p t u r es  th e  c h an g es  in   o b j ec t   ap p ea r an ce   as  it  m o v e s   ar o u n d   u n d er   d i f f er e n t  li g h ti n g   co n d itio n s   a n d   b ac k g r o u n d   s ce n e s .   I n   t h i s   w o r k ,   o u r   m o d el   w ill   b e  u p d ated   at  a  f i x ed   in ter v al   o f   e v er y   1 0   f r a m es .   P o s itiv e  a n d   n e g ati v e  s a m p le s   t h at  ar e  g en er ated   in   th e  p er io d   o f   1 0   f r a m es  w il l  b e  ac cu m u lated   an d   u s e d   to   r etr ain   th e  m o d el.   Ho w ev er ,   th e  tr ain in g   is   co n s id er ed   as  w ea k   s u p er v is i o n   as   th e   tr u e   o b j ec t  lo ca tio n   i s   n o t  k n o w n   a n d   it   m a y   l ea d   to   b ac k g r o u n d   in cl u s io n   in   t h e  m o d el.               Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   282   –   2 8 9   286   3   R E SU L T S  A ND  D I SCU SS I O N   3 . 1 .     E x peri m ent a l set up   14 - n i g h t   s u r v ei llan ce   v id eo s   ar e  u s ed   to   e v al u ate  t h e  p r o p o s ed   o b j ec t  tr ac k er   alg o r ith m ,     w h ic h   h as  b ee n   r ec o r d ed   f r o m   th r ee   d if f er en t  s u r v e illa n ce   ca m er as  th at  co v er   ch al len g i n g   n i g h t  s ce n ar io s   o f   lo w   lig h ti n g ,   lo w   co n tr ast   b et w ee n   o b j ec t  an d   b ac k g r o u n d ,   s m all  o b j ec t  s ize,   o b j ec t  o cc lu s io n ,     an d   m o v e - s to p - m o v e   o b j ec t  m o v e m e n t.  So m e  s a m p le   i m ag es  o f   t h e s e  s ce n ar io s   ar e   s h o w n   in   Fi g u r e  3 .     T h e  r eso lu tio n   o f   th e  v id eo   is   o n l y   3 5 2 x 2 8 8   w it h   t h e  o b j ec t  o f   in ter est  s ize  o f   ap p r o x i m atel y   3 0 x 7 0   p ix els.  Vid eo   len g t h   v ar ies  f r o m   3 3   t o   5 5 0   f r am e s   ea ch .   Gr o u n d tr u th s   ar e  g en er ated   b y   a n   e x p er t  in   co m p u ter   v is io n   u s i n g   an   a n n o tatio n   to o l  to   d r a w   t h e  b o u n d in g   b o x   t h at  s u r r o u n d s   t h e  o b j ec t  in   ea ch   f r a m e  f o r   ea ch   v id eo .   T h e  tr ac k er   co d e  is   d e v elo p ed   in   P y th o n   w i th   T en s o r f lo w   a s   t h e  m ai n   lib r ar y   to   p er f o r m   m o d el   tr ain in g   a n d   test i n g .   Sev e n   d i f f er en t   co m b i n atio n   o f   tr ain i n g   s a m p le s   s iz e  an d   r atio s   ar e  co n f i g u r ed   f o r   tr ac k er   ev a lu at io n   as lis ted   in   T ab le  3 .             Fig u r e  3 .   Sa m p le  i m ag e s   w it h   ch alle n g i n g   n i g h t sce n ar io   in   t esti n g   d ataset       T ab le  3 .   T r ain in g   s a m p le  co n f ig u r at io n   f o r   tr ac k er   e v alu at io n   C o n f i g u r a t i o n   1 : 1   1 : 2   1 :3   1 : 4   2 : 1   3 : 1   4 : 1   P o si t i v e   sam p l e   si z e   1 0 0   50   50   50   1 0 0   1 5 0   2 0 0   N e g a t i v e   samp l e   si z e   1 0 0   1 0 0   1 5 0   2 0 0   50   50   50   T o t a l   samp l e   si z e   2 0 0   1 5 0   2 0 0   2 5 0   1 5 0   2 0 0   2 5 0       3 . 2 .     P er f o rm a nce  ev a lua t io n   m ea s ure   T h r ee   VOT 2 0 1 5   [ 29 ]   ( Vis u al  Ob j ec t  T r ac k in g )   ev a lu at io n   m etr ics  ar e  u s ed   to   q u an ti f y   t h e   p er f o r m a n ce   o f   o u r   tr ac k er .   T h ese  m etr ics  ar e  ac cu r ac y   ( A cc ) ,   r o b u s tn e s s   ( Ro )   an d   ex p ec ted   ar ea   o v er lap   ( EAO ) .   A cc u r ac y   an d   r o b u s tn ess   r eq u ir e  t h e  tr ac k er   to   b e  r e - i n itialized   o n ce   it  d r if t s   o f f   t h e  tar g et.   Acc u r ac y   m ea s u r es   h o w   w e ll  th e  tr ac k e d   b o u n d in g   b o x   r elati v e  to   th e  g r o u n d   tr u t h   b o x   b y   co m p u t in g   t h e  i n ter s ec tio n   o v er   u n io n   ( I OU ) .   T h e  h ig h e r   th e  I OU ,   th e  b etter   th e  tr ac k in g   ac cu r ac y   is .   On   t h e  o th er   h an d ,   r o b u s tn es s   m ea s u r es  t h e  n u m b er   o f   tr ac k i n g   f ail u r es  in   a  v id eo ,   w h ic h   i s   tr ig g er ed   w h e n   ze r o   I OU   o c cu r s .   T o   r ed u ce   th e   b ias  in   r o b u s tn e s s   m ea s u r e m e n t,  th e  tr ac k er   is   r e - i n itialized   f i v e  f r a m e s   af ter   th e  f ail u r e,   w h ile  to   r ed u ce   b ias   in   ac cu r ac y   ca lc u lat io n ,   th e  a cc u r ac y   v a lu e s   f r o m   t h e  f ir s t   1 0   f r am e s   af ter   th e  r e - in it ial izatio n   p r o ce s s   ar e  ig n o r ed   f r o m   o v er all  p er f o r m a n ce   co m p u ta tio n   [ 30 ] .     EAO   d o es  n o t   r eq u ir e  r e - i n itia lizatio n   o f   t h e  tr ac k er   a n d   it  i s   u s ed   to   r an k   t h e  tr ac k er .   I t  a v er ag es  t h e   I OU   o v er   a  r an g e  o f   f r a m es  b et w ee n   lo w er   ( N lo )   an d   u p p er   li m i t  ( N h i )   o f   th e   test i n g   s eq u en ce .   I n   t h is   w o r k ,   th e  lo w er   an d   u p p er   li m it i s   b ased   o n   th e  r an g e  o f   [ 1 ,   5 5 0 ] .   T h e  A cc ,  Ro   an d   EAO   ca lcu lati o n   ar e  as f o llo w s :     A cc u r ac y ,    = 1 ∑ , ∩ ,  , ∪ ,  = 1   ( 1 )     w h er e    d en o tes  th e  n u m b er   o f   f r a m es  in   t h e  test   v id eo ,   w h il e  ,    an d   ,    ar e   th e  b o u n d in g   b o x e s   o f   o b j ec t in   f r a m e   i   f r o m   t h e  tr ac k er   o u tp u t a n d   g r o u n d   tr u t h ,   r esp ec tiv el y .       R o b u s t n es s ,    = ∑ = 1   ( 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a l  n e u r a l n e tw o r k  o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   287   w h er e  = { 0      > 0 1       ≤ 0       E x p ec ted   av er ag e  o v er lap ,    = 1 ℎ −  ∑  =  : ℎ   ( 3 )       3 . 3 .     Resul t s   A cc u r ac y   a n d   r o b u s tn es s   v al u es  f o r   d if f er e n t  tr ain i n g   co n f ig u r atio n s   ar e  s u m m ar ized   in   T ab le  4   an d   T ab le   5 ,   r esp ec tiv el y .   Fro m   T ab le   4 ,   th er e  is   n o   s in g le  co n f ig u r atio n   w o r k s   th e  b est  f o r   all  test   s eq u en ce s .     A ll   d if f er en t   co n f ig u r atio n s   p er f o r m   al m o s t  r elati v el y   t h e  s a m e  i n   ter m s   o f   ac cu r ac y ,   h o w e v er   in   ter m s   o f   r o b u s tn es s ,   co n f ig u r atio n   1 :4   s h o w s   s i g n i f ica n tl y   b e tter   p er f o r m a n ce   co m p ar ed   to   th e  o th er s .     Fo r   n o - r ei n itial izatio n   p r o to co l  ev al u atio n ,   th e   EAO   c u r v e   is   s h o w n   in   Fi g u r e  4 .   T h e  c u r v e  s h o w s   t h at   t h e  co n f i g u r atio n   o f   4 :1   w o r k s   c o n s is ten tl y   b etter   t h an   o t h er   co n f i g u r atio n s   ap p r o x i m atel y   af ter   th e  f ir s t  1 5 0  f r a m e s ,   f o llo w ed   b y   co n f i g u r atio n   o f   1 :3 ,   t h u s   m a k es  b o th   co n f i g u r atio n s   r a n k ed   a s   t h e  to p   t w o   a s   d em o n s tr ated   i n   T ab le  6 .   T h is   e x p lai n s   th at   d if f er en t   tr ain i n g   s a m p le  s ize s   a n d   r ati o s   af f ec t  tr ac k i n g   p er f o r m a n ce .   T h e  tr ac k er   p er f o r m s   b etter   w h e n   th er e  a r e  m o r e  p o s itiv e  s a m p le s   u s ed   to   r ep r esen t  th e  o b j ec t   co m p ar ed   to   th e   n e g ati v e  s a m p les.  T h is   in d icate s   t h at  alt h o u g h   t h e  o b j ec t - b ac k g r o u n d   co n tr ast  i s   lo w ,   it  al s o   lo o k s   h o m o g e n eo u s   d u e  to   lo w   li g h ti n g ,   t h u s   a  lo w er   n u m b er   o f   s a m p les ar e  s u f f ic ien t to   r ep r esen t th e m .       T ab le  4 .   A cc u r ac y   r es u lt s   o f   d if f er en t tr ai n i n g   s a m p le  co n f i g u r atio n   p er   ea ch   test   s eq u e n ce   No   M e t h o d   N u mb e r   o f   f r a me s   1 : 1   1 : 2   1 : 3   1 : 4   2 : 1   3 : 1   4 : 1   1   C a m 0 1 - v i d e o 0 1   2 7 1   0 . 6 4 9   0 . 6 1 8   0 . 5 6 5   0 . 5 8 0   0 . 1 5 9   0 . 1 6 5   0 . 6 5 1   2   C a m 0 1 - v i d e o 0 2   4 5 4   0 . 5 6 2   0 . 4 5 2   0 . 5 2 9   0 . 5 9 5   0 . 5 8 5   0 . 5 7 6   0 . 5 2 8   3   C a m 0 1 - v i d e o 0 3   70   0 . 1 4 2   0 . 2 1 3   0 . 0 8 8   0 . 2 8 4   0 . 1 4 3   0 . 1 5 9   0 . 0 6 5   4   C a m 0 1 - v i d e o 0 4   1 3 0   0 . 6 5 0   0 . 6 2 2   0 . 5 9 9   0 . 5 7 3   0 . 6 0 4   0 . 5 8 3   0 . 5 9 8   5   C a m 0 1 - v i d e o 0 5   33   0 . 6 8 0   0 . 7 5 1   0 . 6 7 3   0 . 6 1 6   0 . 7 7 3   0 . 5 9 3   0 . 7 7 7   6   C a m 0 1 - v i d e o 0 6   2 2 4   0 . 5 6 0   0 . 6 0 5   0 . 6 1 9   0 . 5 3 8   0 . 6 2 0   0 . 6 1 4   0 . 6 2 7   7   C a m 0 1 - v i d e o 0 7   4 6 0   0 . 1 5 3   0 . 1 0 1   0 . 4 0 1   0 . 1 2 1   0 . 4 4 5   0 . 1 0 8   0 . 6 3 7   8   C a m 0 1 - v i d e o 0 8   1 2 4   0 . 5 4 8   0 . 3 1 4   0 . 5 1 7   0 . 5 6 2   0 . 4 2 0   0 . 2 3 7   0 . 2 0 8   9   C a m 0 2 - v i d e o 0 1   4 0 0   0 . 2 5 7   0 . 4 6 3   0 . 2 5 9   0 . 3 3 2   0 . 3 4 3   0 . 3 2 6   0 . 3 5 0   10   C a m 0 2 - v i d e o 0 2   4 5 9   0 . 5 3 5   0 . 4 6 6   0 . 5 7 0   0. 5 4 0   0 . 3 5 5   0 . 5 0 2   0 . 5 6 3   11   C a m 0 3 - v i d e o 0 1   3 4 3   0 . 2 6 2   0 . 5 5 2   0 . 5 4 7   0 . 5 6 4   0 . 4 3 7   0 . 4 9 8   0 . 1 8 2   12   C a m 0 3 - v i d e o 0 2   1 5 0   0 . 4 1 0   0 . 1 6 9   0 . 2 1 7   0 . 5 2 9   0 . 3 6 8   0 . 5 4 7   0 . 4 1 3   13   C a m 0 3 - v i d e o 0 3   1 5 0   0 . 6 4 4   0 . 6 1 1   0 . 6 2 2   0 . 6 8 2   0 . 5 8 5   0 . 5 8 7   0 . 5 9 5   14   C a m 0 3 - v i d e o 0 4   5 5 0   0 . 5 2 1   0 . 4 9 2   0 . 4 9 7   0. 3 3 9   0 . 5 0 7   0 . 4 6 1   0 . 4 6 5     A v e r a g e   a c c u r a c y   0 . 4 6 9   0 . 4 5 9   0 . 4 7 9   0 . 4 9 0   0 . 4 5 3   0 . 4 2 5   0 . 4 7 6       T ab le  5 .   R a w   r o b u s t n ess   r es u l ts   o f   d if f er en t tr ain i n g   s a m p le  co n f i g u r atio n   p er   ea ch   test   s eq u en ce   C o n f i g u r a t i o n   1 : 1   1 : 2   1 : 3   1 : 4   2 : 1   3 : 1   4 : 1   T o t a l   samp l e s   2 0 0   1 5 0   2 0 0   2 5 0   1 5 0   2 0 0   2 5 0   A v e r a g e   r o b u st n e ss   6 . 6 4 3   6 . 2 1 4   6 . 0 7 1   3 . 9 2 9   7 . 9 2 9   8 . 8 5 7   6 . 0 7 1           Fig u r e  4 .   E x p ec ted   av er ag e  o v er lap   cu r v e  f o r   d if f er en t tr ai n i n g   s a m p le  co n f i g u r atio n   tes te d   o n   all  test   s eq u en ce s           0 0 , 5 1 1 19 37 55 73 91 1 0 9 1 2 7 1 4 5 1 6 3 1 8 1 1 9 9 2 1 7 2 3 5 2 5 3 2 7 1 2 8 9 3 0 7 3 2 5 3 4 3 3 6 1 3 7 9 3 9 7 4 1 5 4 3 3 4 5 1 4 6 9 4 8 7 5 0 5 5 2 3 5 4 1 Ex p e c t e d   O v e r l a p S e q u e n c e   L e n g t h E x p e c t e d   Ov e r l a p   C u r v e 1 0 0 : 1 0 0 5 0 : 1 0 0 5 0 : 1 5 0 5 0 : 2 0 0 1 0 0 : 5 0 Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   282   –   2 8 9   288   T ab le  6 .   E x p ec ted   av er ag e  o v er lap   r esu lts   an d   t h e  tr ac k er   r a n k   o f   d if f er en t tr ai n i n g   s a m p le   co n f i g u r atio n   u s i n g   a  r an g e  o f   [ 1 , 5 5 0 ]   T r a i n i n g   sam p l e   c o n f i g u r a t i o n   1 : 1   1 : 2   1 : 3   1 : 4   2 : 1   3 : 1   4 : 1   EA O   0 .   2 9 6 7 4 5   0 .   2 8 8 1 7 1   0 .   3 4 0 4 7   0 .   2 5 3 5 2 4   0 .   2 8 6 3 3 3   0 .   2 2 0 6 3 6   0 .   3 6 0 5 2 9   R a n k   3   4   2   6   5   7   1       4   CO NCLU SI O N   I n   t h is   p ap er ,   w e   h av e   p r o p o s ed   a  co n v o lu tio n al  o b j ec t  tr ac k er   f o r   th e   n ig h t   v id eo   s u r v eil lan ce .   T h e   tr ac k er   r eq u ir es   th e   m o d el   to   l ea r n   t h e  o b j ec t' s   ap p ea r an ce   a n d   it s   b ac k g r o u n d   p r o p er ties   as  t h e  o b j ec t  m o v e s   ar o u n d   i n   t h e  s ce n e.   T h e  al g o r ith m   w as   test ed   w it h   d i f f er en t  tr ai n i n g   d ata  co n f i g u r atio n s   to   f in d   th e   m o s t   s u itab le   o n es   w it h   t h e  h i g h e s t  ac c u r ac y   a n d   r o b u s t n e s s .   T h e  r esu lt s   s h o w   t h at   th e   r a tio   o f   4 :1   b et w ee n   p o s itiv e  a n d   n eg a tiv e   s a m p les   p r o d u ce s   t h e  b est   p er f o r m a n c e  f o r   t h e  s eq u e n ce   r a n g e   o f   [ 1 , 5 5 0 ] ,   f o llo w ed   b y   th e  1 :3   co n f ig u r atio n .   B o th   c o n f i g u r atio n s   a ls o   p r o d u ce   th e  s ec o n d - b est  p er f o r m an ce   in   ter m s   o f   tr ac k i n g   r o b u s tn es s .   T h is   ex p lai n s   t h at  d if f er en t   tr ai n in g   s a m p le   s izes   an d   r atio s   a f f ec t  tr a ck in g   p er f o r m a n ce   d if f er e n tl y   a n d   as  m o r e  p o s iti v e  s a m p les   ar e  u s ed   to   r ep r esen t  t h e  o b j ec t  co m p ar ed   to   t h e  n e g ati v e  s a m p les,   th e  b etter   th e  tr ac k er   p er f o r m an ce   is .   T h is   in d icate s   t h at  alt h o u g h   t h e  o b j ec t - b ac k g r o u n d   co n tr ast  is   lo w ,   th e   b ac k g r o u n d   is   al s o   h o m o g en e o u s   d u e  to   lo w   li g h ti n g   co n d iti o n ,   th u s   a  lo w er   n u m b er   o f   s a m p les ar e  s u f f icien t   to   r ep r esen t th e m .       ACK NO WL E D G E M E NT S    T h e  au th o r s   w o u ld   li k e  t o   ac k n o w led g e  f u n d in g s   f r o m   Mi n is tr y   o f   E d u ca tio n   Ma la y s ia   ( FR GS/1 /2 0 1 9 /I C T 0 2 /UKM /0 2 /1 )   an d   Un iv er s i ti  Keb an g s aa n   Ma la y s ia  ( GUP - 2019 - 0 0 8 ) .   T h e  g r ap h ic  p r o ce s s in g   u n it u s ed   in   t h is   r e s ea r ch   is   d o n ated   b y   NVI DI A   C o r p o r atio n   ( KK - 2019 - 0 0 5 ) .       RE F E R E NC E S    [1 ]   A .   A li ,   A .   Ja li l,   J.  Niu ,   X .   Zh a o ,   S .   Ra th o re ,   J.  A h m e d ,   a n d   M .   A .   I k h a r.   “ V isu a l  o b jec t  trac k in g :  c las sic a l   a n d   c o n tem p o ra r y   a p p ro a c h e s,”   in   F ro n ti e rs   o f  Co m p u ter   S c ien c e :  S e l e c ted   Pu b li c a t io n s  fro m  Ch i n e se   Un ive rs it ies ,  v o l.   1 0 ,   n o .   1 ,   p p .   1 6 7 - 1 8 8 ,   2 0 1 6 .   [2 ]   L .   Zh a n g ,   C.   L i m ,   Y.   Ch e n ,   a n d   H.  R.   Ka ri m i,   " T ra c k in g   M o b il e   Ro b o t  in   In d o o r  W irele ss   S e n so r  Ne t w o rk s,"   in   M a th e ma ti c a l   Pro b lem s in   E n g in e e rin g ,   V o l u m e   2 0 1 4   h t tp s:// d o i . o rg /1 0 . 1 1 5 5 / 2 0 1 4 / 8 3 7 0 5 0   [3 ]   J.  S e v e rso n ,   “ Hu m a n - d ig it a l  m e d i a   in tera c ti o n   trac k in g ” ,   US   Pa te n t   9 , 7 1 3 , 4 4 4 ,   2 0 1 7   [4 ]   P .   R  I y e r,   S .   R.   I y e r,   R.   Ra m e s h ,   A n a la,  K.  N.  S u b ra m a n y a ,   “ Ad a p ti v e   re a l  ti me   tra ff ic  p re d ictio n   u sin g   d e e p   n e u ra l  n e tw o rk s,”   in   IAE S   In ter n a ti o n a l  J o u rn a l  o f  Arti fi c i a l  In tell ig e n c e   (IJ - A I),   v o l.   8 ,   n o .   2 ,   Ju n e   2 0 1 9 ,   p p .   1 0 7 - 1 1 9 .   [5 ]   M .   A .   Zu lk if l e y ,   N.  A .   M o h a m e d ,   a n d   N.  H.  Zu lk if le y ,   “ S q u a t  A n g le   A ss e ss m e n t  T h ro u g h   T ra c k in g   Bo d y   M o v e m e n ts,” i n   IEE E  Acc e ss ,   Vo l.   7 ,   p p .   4 8 6 3 5 - 4 8 6 4 4 ,   2 0 1 9 .   [6 ]   V .   A   L a u re n se ,   J.  Y   G o h ,   a n d   J   C.   Ge rd e s,  “ P a th - trac k in g   f o r  a u to n o m o u s  v e h icle s  a t  th e   li m it   o f   f rictio n , ”   In   Ame ric a n   Co n tro l  C o n fer e n c e ,   p p .   5 5 8 6 - 5 5 9 1 ,   2 0 1 7 .   [7 ]   M .   A .   Zu lk i f le y ,   N.  S .   S a m a n u ,   N.  Zu lk e p e li ,   Z.   Ka d im ,   a n d   H.  H.  W o o n ,   “ Ka l m a n   f il ter - b a se d   a g g re ss i v e   b e h a v io u r  d e tec ti o n   f o r  in d o o r  e n v iro n m e n t, ”   in   L e c tu re   No tes   in   El e c trica l  En g in e e rin g ,   V o l .   3 7 6 ,   p p .   8 2 9 - 8 3 7 ,   2 0 1 6 .   [8 ]   K.  Hu a n g ,   L .   W a n g ,   a n d   T .   T a n ,   “ De tec ti n g   a n d   trac k in g   d istan t  o b jec ts  a t  n ig h t  b a se d   o n   h u m a n   v isu a l  s y ste m , ”   L e c t.   No tes   Co m p u t.   S c i. ,   v o l.   3 8 5 2   L NC S ,   p p .   8 2 2 - 8 3 1 ,   2 0 0 6 .   [9 ]   K.  Hu a n g ,   L .   W a n g ,   T .   T a n ,   S .   M a y b a n k ,   “ A   r e a l - ti m e   o b jec t  d e tec ti n g   a n d   trac k in g   s y ste m   f o r  o u td o o r  n ig h t   su rv e il lan c e , ”   in   Pa tt e rn   Rec o g n it io n ,   v o l.   4 1 ,   n p .   1 ,   p p .   4 3 2 - 4 4 4 ,   2 0 0 8 .   [1 0 ]   L .   W a n g ,   K.  Hu a n g ,   Y.  Hu a n g   a n d   T .   T a n ,   " Ob jec t  d e tec ti o n   a n d   trac k in g   f o r  n ig h t  su rv e il lan c e   b a se d   o n   sa li e n t   c o n tras t  a n a ly sis,"   IEE E  In ter n a ti o n a l  Co n fer e n c e   o n   Ima g e   Pro c e ss in g ,   p p .   1 1 1 3 - 1 1 1 6 ,   2 0 0 9 .   [1 1 ]   A .   Na z ib ,   C.   Oh   a n d   C .   W .   L e e ,   " Ob jec t  d e tec ti o n   a n d   trac k in g   in   n ig h t  ti m e   v id e o   su rv e il lan c e , "   1 0 t h   In te rn a ti o n a l   Co n fer e n c e   o n   Ub i q u i to u s R o b o ts   a n d   Am b ien t  I n telli g e n c e   ( URAI ) ,   p p .   6 2 9 - 6 3 2 ,   2 0 1 3 .     [1 2 ]   H.  Ya n g ,   L .   S h a o ,   F .   Zh e n g ,   L .   W a n g ,   a n d   Z.   S o n g ,   “ Re c e n t  a d v a n c e s  a n d   tren d s  i n   v isu a l  trac k in g :  A   re v ie w , ”   in   Ne u ro c o mp u ti n g ,   v o l .   7 4 ,   n o .   1 8 ,   p p .   3 8 2 3 - 3 8 3 1 ,   2 0 1 1 .   [1 3 ]   X .   L i,   W .   Hu ,   C.   S h e n ,   Z.   Zh a n g ,   A .   Dic k ,   a n d   A .   V   De n   He n g e l,   “ A   su rv e y   o f   a p p e a ra n c e   m o d e ls  in   v isu a l  o b jec t   trac k in g , ”   in   ACM   T ra n s a c ti o n s o n   In tell ig e n t   S y ste ms   a n d   T e c h n o l o g y ,   v o l .   4 ,   n o .   4 ,   2 0 1 3 .   [1 4 ]   M .   F iaz ,   A .   M a h m o o d ,   S .   Ja v e d ,   a n d   S .   K.   Ju n g ,   ‘‘ Ha n d c ra f ted   a n d   d e e p   trac k e rs:  Re c e n t  v isu a l  o b jec t  trac k in g   a p p ro a c h e s a n d   tren d s,’’  i n   ACM   Co mp u t in g   S u rv e y ,   v o l.   5 2 ,   n o .   2 ,   p p .   1 - 4 3 ,   2 0 1 9 .   [1 5 ]   C.   S z e g e d y ,   A .   T o sh e v ,   a n d   D.  Erh a n ,   “ De e p   Ne u ra l  Ne tw o rk   f o r  O b jec t  De tec ti o n , ”   Ne u ra l  I n f.   Pr o c e ss .   S y st . ,   v o l .   7 ,   n o .   5 ,   p p .   2 0 0 - 2 0 5 ,   2 0 1 3 .   [1 6 ]   S .   Re n ,   K .   He ,   R.   G irsh ick ,   a n d   J.  S u n ,   “ F a ste r  R - CNN :  T o wa rd s  Re a l - T i m e   Ob jec t  De te c ti o n   w it h   Re g io n   P r o p o sa l  Ne tw o rk s.”   in   IEE E  T r a n s.  Pa tt e rn   A n a l .   M a c h .   In tell . ,   v o l.   3 9 ,   n o .   6 ,   p p .   1 1 3 7 - 1 1 4 9 ,   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Tr a in in g   co n fig u r a tio n   a n a lysi s   o f a   co n vo l u tio n a l  n e u r a l n e tw o r k  o b ject  tr a ck er fo r ... ( Zu l a ikh a   K a d im )   289   [1 7 ]   M .   A .   Zu lk i f le y ,   S .   R.   A b d a n i  a n d   N.  H.  Zu lk if le y ,   " P ter y g iu m - N e t:   a   d e e p   lea rn in g   a p p ro a c h   to   p tery g iu m   d e tec ti o n   a n d   l o c a li z a ti o n , "   in   M u lt ime d ia   T o o ls a n d   Ap p li c a ti o n s ,   v o l.   7 8 .   n o .   2 4 ,   p p .   3 4 5 6 3 - 3 4 5 8 4 ,   2 0 1 9 .   [1 8 ]   S .   B.   Ja d h a v ,   V .   Ud u p i,   S .   P a ti l,   “ Co n v o lu t io n a l  n e u ra l  n e tw o rk s  fo r  lea f   i m a g e - b a se d   p lan t  d ise a se   c las si f ica ti o n , ”   IAE S   I n ter n a t io n a l   J o u r n a l  o f  Art if icia l   I n telli g e n c e   (IJ - A I),   v o l.   8 ,   n o .   4 ,   p p .   3 2 8 - 3 4 1 ,   2 0 1 9 .   [1 9 ]   J.  H.  Ki m ,   H.  G .   Ho n g ,   K.  R  P a rk ,   “ Co n v o lu ti o n a l  Ne u ra l  Ne tw o r k - Ba se d   Hu m a n   D e tec ti o n   in   Nig h tt im e   I m a g e s  Usi n g   V isi b le L ig h t  Ca m e ra   S e n so rs ” ,   in   S e n so rs   ( S w it z e rlan d ),   v o l.   1 7 .   n o .   5 ,   p p .   1 - 2 6 ,   2 0 1 7 .   [2 0 ]   H.  Na m   a n d   B.   Ha n ,   ‘‘L e a rn in g   m u lt i - d o m a in   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s  f o r  v isu a l  trac k in g , ’’  Pro c .   IEE E   Co n f.   Co mp u ter   Vi si o n   Pa tt e rn   R e c o g n it i o n ,   p p .   4 2 9 3 - 4 3 0 2 ,   2 0 1 6 .   [2 1 ]   H.  Na m ,   M .   Ba e k ,   a n d   B.   Ha n .   ‘‘ M o d e li n g   a n d   p r o p a g a ti n g   CNN s  in   a   tree   stru c tu re   f o r  v isu a l  trac k in g , ’’  in   ArXi v   Co RR ,   v o l .   a b s/ 1 6 0 8 . 0 7 2 4 2 ,   p p .   1 - 1 0 ,   2 0 1 6   [2 2 ]   M .   A .   Zu lk if le y   a n d   N.  T rig o n i,   “ M u lt i p le - M o d e l  F u ll y   Co n v o l u ti o n a l  Ne u ra l  Ne tw o rk s  f o r  S in g le   O b jec t  T ra c k in g   o n   T h e rm a l  In f ra r e d   V i d e o , ”   i n   I EE E  Acc e ss ,   v o l.   6 ,   p p .   4 2 7 9 0 - 4 2 7 9 9 ,   2 0 1 8 .   [2 3 ]   M .   A .   Zu lk ifl e y ,   " Tw o   S trea m s  M u lt i p le - M o d e l  Ob jec t  T ra c k e r   fo r  T h e r m a l  In f ra re d   V id e o " ,   in   IEE E  Acc e ss ,   v o l.   7 ,   p p .   3 2 3 8 3 - 3 2 3 9 2 ,   2 0 1 9 .   [2 4 ]   K.  Ch a tf ield ,   K.   S im o n y a n ,   A .   Ve d a ld i,   a n d   A .   Zi ss e rm a n ,   “ Re tu rn   o f   t h e   De v il   in   th e   D e tails:  De l v in g   De e p   in to   Co n v o l u ti o n a l  Ne tw o rk s” ,   in   Brit ish   M a c h i n e   Vi sio n   C o n fer e n c e ,   p p .   1 - 12 ,   2 0 1 4 .   [2 5 ]   O.  Ru ss a k o v sk y   e t  a l. ,   ‘‘Im a g e N e t  larg e   sc a le  v isu a l  re c o g n it io n   c h a ll e n g e ’’,   in   I n ter n a ti o n a l   J .   C o mp u ter   Vi sio n ,  v o l.   1 1 5 ,   n o .   3 ,   p p .   2 1 1 - 2 5 2 ,   2 0 1 5 .   [2 6 ]   D.  P .   Kin g m a   a n d   J.  Ba ,   “ A d a m :  A  M e th o d   f o r  S to c h a stic  Op ti m iza ti o n , ”   in   ArXi v   Co RR ,   v o l.   a rX iv :1 4 1 2 . 6 9 8 0 ,   p p .   1 - 1 5 ,   2 0 1 4 .   [2 7 ]   Z.   Ka d im ,   M .   A .   Zu lk if le y ,   N.  H a m z a h ,   “ D e e p - lea rn in g   b a se d   sin g le  o b jec t  tra c k e r  f o r  n ig h t  su rv e i ll a n c e , ”   in   IAE S   In ter n a t io n a l  J o u rn a l  o f  E lec trica l  a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,  v o l.   1 0 ,   n o .   4 ,   2 0 2 0 .   [2 8 ]   Y.  W u ,   " G o o g le ' s  N e u ra l  M a c h in e   T ra n sla ti o n   S y ste m :   B rid g in g   th e   G a p   b e t w e e n   Hu m a n   a n d   M a c h in e   T ra n sla ti o n , "   in   ArX iv Co RR ,   v o l.   a b s/1 6 0 9 . 0 8 1 4 4 ,   p p .   1 - 2 3 ,   2 0 1 6   [2 9 ]   M .   Krista n   a n d   o th e rs.  “ T h e   V i su a l  Ob jec t  T ra c k in g   V OT 2 0 1 5   Ch a ll e n g e   Re su lt s,”   in   Vi su a l  Ob jec t  T ra c k in g   W o rk sh o p   ICCV  2 0 1 5 ,   2 0 1 5 .     [3 0 ]   M .   Krista n ,   R.   P f lu g f e ld e r,   A .   L e o n a rd is,  J .   M a tas ,   F .   P o rik li ,   L .   Ce h o v in ,   G .   Ne b e h a y ,   G .   F e rn a n d e z ,   a n d   T .   V o ji r .   “ T h e   V OT 2 0 1 3   c h a ll e n g e :  o v e rv iew   a n d   a d d it io n a l  re su lt s , ”   I n   C o mp u ter   Vi si o n   W in ter   W o rk sh o p ,   2 0 1 4 .       B I O G RAP H I E S   O F   AUTH O RS       Zu laik h a   Ka d im  re c e iv e d   h e r   B. En g   d e g re e   in   e lec tro n ics   e n g in e e rin g   m a jo rin g   in   tele c o m m u n ica ti o n   f ro m   M u lt im e d ia  Un iv e rsity ,   M a la y sia   in   2 0 0 0   a n d   c u rre n tl y   p e rsu in g   h e r  P h . D  d e g re e   in   Un iv e rsiti   Ke b a n g sa a n   M a la y sia .   S h e   is  a lso   a   re se a rc h e r  in   n a ti o n a l  R& D   in stit u ti o n .   He r  c u rre n t  re se a rc h   in tere sts  a re   in   v id e o   a n a l y ti c s,  b e h a v io ra l  a n a ly sis   a n d   v isu a l  o b jec t  trac k in g .         M o h d   A s y r a f   Zu lk i f le y   (M ’1 8 )  r e c e iv e d   th e   B. En g .   d e g re e   in   m e c h a tro n ics   f ro m   In tern a ti o n a l   Isla m ic  Un iv e r sit y   M a la y sia   in   2 0 0 8   a n d   th e   P h . D.  d e g re e   in   e lec tri c a l  a n d   e lec tro n ic  e n g in e e rin g   f ro m   T h e   Un iv e rsit y   o f   M e lb o u r n e   in   2 0 1 2 .   He   w a s  a   sp o n so re d   Re se a rc h e r  a t  th e   De p a rtme n t  o f   Co m p u ter  S c ien c e ,   Un iv e rsit y   o f   O x f o rd   f ro m   2 0 1 6   to   2 0 1 8 .   He   is  c u rre n tl y   a n   A s so c iate   P ro f e ss o r  a t  th e   F a c u lt y   o f   En g in e e rin g   a n d   Bu il t  En v ir o n m e n t,   Un iv e rsiti   Ke b a n g sa a n   M a la y sia .   His c u rre n t  re se a rc h   in t e re sts a re   v isu a l  o b jec t  trac k in g   a n d   m e d ica l   im a g e   a n a l y sis.         No r  A z wa n   M o h a m m e d   Ka m a ri  re c e i v e d   B. En g .   f ro m   M e ij i  Un iv e rsit y ,   J a p a n ,   M . S c .   d e g re e s   f ro m   Eh i m e   Un iv e rsit y ,   J a p a n   a n d   P h D  d e g re e   f ro m   Un iv e r siti   Te k n o lo g i  M a ra ,   M a la y sia   2 0 0 0 ,   2 0 0 4   a n d   2 0 1 6 ,   re sp e c ti v e ly .   He   h a s  a u t h o re d   a n d   c o - a u t h o re d   m o re   th a n   3 0   tec h n ica l  p a p e rs   p u b li sh e d   i n   t h e   in tern a ti o n a l  j o u r n a ls,  n a ti o n a l  a n d   in ter n a ti o n a l  c o n f e re n c e s.  His  re se a rc h   in tere sts in c lu d e   p o w e r  s y ste m   st a b il it y   a n d   a rti f icia l  in telli g e n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.