I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  9 ,   No .   1 ,   Ma r ch   2 0 2 0 ,   p p .   40 ~ 45   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 9 .i 1 . p p 40 - 45          40       J o ur na l ho m ep a g e :  h ttp : //ij a i . i a esco r e. co m   La rg e - sca le i m a g e - to - v ideo   face re t riev a l  w ith  co nv o lutiona l  neura l net w o rk   f e a tures       I m a ne  H a chcha ne 1 ,   Ab del ma j id B a dri 2 ,   Acha   Sa hel 3 ,   Ya s s ine R u iche k 4   1, 2, 3 L a b o ra to ry   o f   El e c tro n ics ,   E n e rg y ,   A u to m a ti o n   &   In f o rm a ti o n   P r o c e ss in g ,   F a c u lt y   o f   S c ien c e s a n d   T e c h n iq u e s  M o h a m m e d ia,  Un iv e rsit y   Ha ss a n   II  Ca sa b lan c a ,   M o h a m m e d ia,  M o ro c c o   4 IRT ES - L a b o ra to r y   S ET ,   Un iv e rs it y   o f   T e c h n o l o g y   Be l f o rt  M o n t b é li a rd ,   F ra n c e       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   2 3 ,   2 0 1 9   R ev i s ed   Oct   1 0 ,   2 0 1 9   A cc ep ted   No v   3 ,  201 9       Co n v o l u ti o n a l  n e u ra l  n e tw o rk   fe a tu re s  a re   b e c o m in g   th e   n o r m   i n   in sta n c e   re tri e v a l.   T h is  w o rk   in v e sti g a tes   t h e   re lev a n c e   o f   u sin g   a n   o f   th e   sh e lf   o b jec t  d e tec ti o n   n e tw o rk ,   li k e   F a ste r   R - CNN ,   a s  a   f e a tu re   e x tr a c to r  f o r  a n   im a g e - to - v id e o   f a c e   re tri e v a l  p ip e li n e   in st e a d   o f   u sin g   h a n d - c ra f ted   f e a tu re s.  We  u se   th e   o b jec ts  p ro p o sa ls  lea rn e d   b y   a   Re g io n   P ro p o sa l  Ne tw o rk   (RP N)  a n d   t h e ir   a ss o c iate d   re p re se n tatio n s  tak e n   f ro m   a   CNN   f o r  th e   f il terin g   a n d   th e   re - ra n k in g   ste p s.  M o re o v e r,   w e   stu d y   th e   re le v a n c e   o f   f e a tu re s  f ro m   a   f in e tu n e d   n e tw o rk .   In   a d d it i o n   to   th a t  w e   e x p lo re   t h e   u se   o f   f a c e   d e te c ti o n ,   f ish e r  v e c to r  a n d   b a g   o f  v isu a l  w o rd s  w it h   th o se   sa m e   CNN   f e a tu re s.   We  a ls o   tes t  th e   im p a c t  o f   d i ff e re n t  si m il a rit y   m e tri c s.  T h e   re su lt s  o b tain e d   a re   v e r y   p ro m isin g .   K ey w o r d s :   B OVW   C las s i f icatio n   C NN,   Fas ter   R - C NN   Face   r etr iev al   FV   I m ag e  p r o ce s s i n g   I m ag e - to - v id eo   in s ta n ce   r etr iev al   Ob j ec t r ec o g n itio n   Vid eo   r etr iev al   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I m an e  Hac h c h an e,   L ab o r ato r y   o f   E lec tr o n ics,  E n er g y ,   Au to m at io n   &   I n f o r m ati o n   P r o ce s s in g ,   Facu lt y   o f   Sc ien ce s   an d   T ec h n iq u es M o h a m m ed ia,   Un i v er s it y   Has s an   I I   C a s ab lan ca ,   Mo h a m m ed ia,   Mo r o cc o .   E m ail:  h ac h c h a n ei m an e @ g m a il.c o m       1.   I NT RO D UCT I O N   I n   th i s   w o r k   w e  ad d r ess   th e  ta s k   o f   i m ag e  to   v id eo   f ac e  r etr i ev al.   W ith   b il lio n s   o f   i m a g es  an d   v id eo s   cr ea ted   ea ch   d a y ,   it  i s   e s s e n ti al  to   b u ild   to o ls   f o r   ac ce s s i n g   an d   r etr ie v in g   m u lti m ed ia  co n ten t  e f f icien tl y .   I n   th e  co n te x t  o f   r etr ie v al,   i m ag e - to - v id eo   f ac e  r etr iev a l  is   t h e  task   o f   id en ti f y in g   a  s p ec i f ic  f r a m e  o r   s ce n e  i n   a  v id eo   o r   a  co llectio n   o f   v id eo s   f r o m   a  s p ec if ic  f ac e  i n s ta n ce   i n   a  s tatic  i m a g e.   On   o n e  h an d ,   i m ag e - to - v id e o   r etr iev al  is   an   as y m m etr ic   p r o b lem .   I m a g es  o n l y   co n t ain   s tat ic   in f o r m atio n   b u t  v id eo s   h a v e  m u c h   r ich er   v is u al  in f o r m a tio n ,   lik e  o p tical  f lo w .   Du e  to   t h e  lack   o f   te m p o r al  in f o r m atio n ,   s ta n d ar d   tech n iq u es  u s ed   f o r   e x tr ac ti n g   v id eo   d escr ip to r s   [1 - 4]   ca n n o t  b e   d ir ec tl y   u s ed   o n   s tatic   i m a g es.  B u t,  s tan d ar d   f ea t u r es   f o r   i m a g e  r etr iev a l   [5 - 8]   ca n   b e  ap p lied   to   v id eo   d ata  b y   p r o ce s s in g   ea c h   f r a m e   as  an   in d ep en d en t  i m a g e.   T em p o r al  in f o r m atio n   is   u s u all y   c o m p r es s ed   eith er   b y   r ed u ci n g   th e  n u m b er   o f   lo ca l  f ea t u r es  o r   b y   en co d in g   m u lt i p le  f r a m es  i n to   a  s in g le  g lo b a l  r ep r esen tatio n .   On   t h e  o th er   h an d ,   f ac e  r etr iev al   r e m ain s   a  c h alle n g i n g   tas k   b ec au s e  co n v e n tio n al  i m a g e  r e tr iev al  ap p r o ac h es,  s u c h   a s   b ag   o f   v is u al  w o r d s   ( B OVW ) ,   ar e   d if f ic u lt to   ad ap t to   th e  f ac e  d o m ai n   [ 9 ] .    T r a d itio n all y ,   i m ag e - to - v id eo   r etr iev al  o r   f ac e  r etr iev al  m et h o d s   [ 1 0 - 12]   ar e   b ased   o n   h an d - cr a f ted   f ea t u r es  ( SIFT   [ 1 3 ] ,   B R I E F [ 1 4 ] ,   etc. )   an d   n o t  m u c h   e f f o r t  h as  b ee n   p u t  s o   f ar   in to   t h e  ad ap tatio n   o f   d ee p   lear n in g   tec h n iq u es,  s u c h   as  c o n v o l u tio n al  n eu r al  n et w o r k s   ( C NN) .   C NN s   tr ain ed   w it h   lar g e  a m o u n t s   o f   d ata  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       La r g e - s ca le  ima g e - to - vid e o   fa ce   r etri ev a l wi th   co n vo lu tio n a l n eu r a l n etw o r k  fea tu r es   ( I ma n e  Ha ch ch a n e )   41   ca n   lear n   f ea tu r es   g e n er ic  e n o u g h   to   b e  u s ed   to   s o lv e   tas k s   f o r   w h ic h   th e  n et w o r k   h a s   n o t   b ee n   tr ai n ed   [ 1 5 ] .   Fo r   im a g e  r etr iev al,   i n   p ar ticu lar ,   m a n y   w o r k s   in   th e  li ter atu r e  [7 ,  1 6 ]   h av e  ad o p ted   s o lu tio n s   b ased   o n   s tan d ar d   f ea tu r e s   e x tr ac ted   f r o m   a  p r etr ai n ed   C N N  f o r   i m ag e   cla s s i f icatio n   [ 1 7 ] ,   ac h i ev i n g   en co u r ag i n g   p er f o r m a n ce s .   Ma n y   C NN - b a s ed   o b j ec t  d etec tio n   p ip elin es  h av e  b ee n   p r o p o s ed ,   b u t  w e  ar e  m o r e  in ter es ted   in   t h e  late s t  o n e s .   Fa s ter   R - C NN  [ 1 8 ]   u s es  a   R e g io n   P r o p o s al  Net w o r k   ( R P N)   th at   r e m o v es  t h e  d ep en d e n ce   o f   o b j ec t  p r o p o s als  f r o m   o ld er   C NN  o b j ec t  d etec tio n   s y s te m s .   I n   Fa s ter   R - C N N,   R P N  s h ar es   f ea t u r es  w i th   th e  o b j ec t - d etec tio n   n et w o r k   in   [ 1 9 ]   to   s i m u lta n eo u s l y   lear n   p r o m i n en t   o b j ec t  p r o p o s itio n s   an d   t h ei r   ass o ciate d   class   p r o b ab ilit ies.  A lt h o u g h   th e  Fa s ter   R - C N N  is   d esig n ed   f o r   g en er ic  o b j ec t  d etec tio n   [ 2 0 ] .   De m o n s tr ated   t h at  it  ca n   ac h iev e  i m p r ess i v e  f ac e  d etec tio n   p er f o r m a n ce   e s p ec iall y   w h en   r etr ain ed   o n   a   s u itab le  f ac e  d etec tio n   tr ai n in g   s et   [ 2 1 ] .    I n   th i s   p ap er   w e  tr y   to   f ill  t h is   g ap   b y   ex p lo r in g   t h e  r elev a n c e  o f   o n - t h e - s h el f   an d   f i n e - t u n e d   f ea tu r es   o f   an   o b j ec t d etec tio n   C NN  f o r   i m ag e - to - v id eo   f ac e  r etr iev al .   W e  ex p lo it th e  f ea t u r es o f   a  s tate - of - t h e - ar t p r e - tr ain ed   o b j ec t  d etec tio n   C NN   ca lled   Fas ter   R - C NN.   W e  u s e  h i s   e n d - to - en d   o b j ec t  d etec tio n   ar ch i tectu r e  to   ex tr ac t  g lo b al  an d   lo ca l  co n v o lu tio n a l  f ea tu r es   in   a  s i n g le  f o r w ar d   p ass   a n d   test   t h eir   r ele v an ce   f o r   i m a g e - to - v id eo   f ac e  r etr iev al.   W e  also   ex p lo r e  th e  u s e  o f   f ac e  d etec tio n ,   Fis h er   Vec to r   ( FV)   [ 4 ]   an d   B OVW   w o r d s   w it h   th o s e   s a m e  C NN  f ea t u r e s .   T h e  r est  o f   t h is   p ap er   is   o r g an ized   as  f o llo w s :  Sect io n   2   p r esen ts   o u r   r esear c h   m et h o d ,   in clu d in g   o u r   f ea t u r e s   ex tr ac tio n   m e th o d   an d   th e  r ak in g   an d   r er an k in g   s tr ate g ies .   Sectio n   3   p r esen ts   o u r   r esu lt s   an d   d is cu s s io n s .   Fi n all y ,   w e  p r ese n t o u r   co n cl u s i o n s   in   Sect io n   4 .       2.   M E T H O DO L O G Y    2 . 1 .    Da t a s et s   ex plo it ed    W e  ev alu ate  o u r   m eth o d o lo g i es u s in g   t h e  f o llo w i n g   d atase ts :      Yo u T u b e  C eleb r ities   Face   T r ac k in g   a n d   R ec o g n it io n   Data   ( Y - C eleb )   [ 2 2 ] :  T h e  d ataset  co n tain s   1 9 1 0   s eq u en ce s   o f   4 7   s u b j ec ts .   All  v id eo s   ar e  en co d e d   in   MP E G4   at  2 5 f p s   r ate.       Yo u T u b e  Face s   Data b ase  [ 2 3 ] :  T h e  d ata  s et  co n tain s   3 , 4 2 5   v id eo s   o f   1 , 5 9 5   d if f er en t  p eo p le.   A ll  th e  v id eo s   w er e   d o w n lo ad ed   f r o m   Yo u T u b e.   A n   a v er ag e  o f   2 . 1 5   v id eo s   ar e  a v ailab le   f o r   ea c h   s u b j ec t.  T h e  s h o r test   clip   d u r atio n   is   4 8   f r a m es,  th e  lo n g e s t  clip   is   6 , 0 7 0   f r a m es,  an d   th e  av er a g e  len g th   o f   a  v id eo   clip   is   1 8 1 . 3   f r am es.   T h e  d atasets   u s ed   to   f i n et u n e  t h e  n et w o r k :     FERET   [ 2 4 ] :  3 5 2 8   im a g es,  in clu d in g   5 5   Qu er y   i m a g es.  A   f r a m i n g   b o x   s u r r o u n d in g   th e  tar g et  f ac e  is   p r o v id ed   f o r   q u er y   i m ag e s .       F A C E S9 4   [ 2 5 ] :  2 8 0 9   im a g e s   2 8 0 9   im ag e s ,   in c lu d i n g   5 5   Q u er y   i m a g e s .   A   f r a m i n g   b o x   s u r r o u n d in g   t h e   tar g et  f ac e  i s   p r o v id ed   f o r   q u er y   i m a g es.      Face Scr u b   [ 2 6 ] : 5 5 1 2 7   im ag e s     2 . 2 .    Video   re t rie v a l st ra t e g y :     T h is   s ec tio n   d escr ib es t h e  th r e e  m aj o r   s tep s   in   o u r   p ip elin e,   w e  u s ed :    1.   Fil ter in g   s tep .   W e  cr ea te  im a g e  d escr ip to r s   f o r   q u er y   a n d   d atab ase  f r am e s   u s in g   C N N  f ea tu r e s .   A t   test i n g   ti m e,   th e  d escr ip to r   o f   th e  q u er y   is   co m p ar ed   to   all  it e m s   in   t h e  d atab ase,   w h ic h   ar e  th e n   r an k ed   ac co r d in g   to   a  s i m i lar it y   m ea s u r e.   A t t h i s   s ta g e,   th e  e n tire   f r a m e  is   co n s id er ed   a s   a  q u er y .     2.   Sp atial  r e - r an k i n g .   Af ter   t h e  f i lter in g   s tep ,   th e  N  u p p er   ele m en ts   ar e  an al y ze d   lo ca ll y   a n d   r e - r an k ed .   3.   Qu er y   e x p an s io n   ( QE ) .   W e  av er ag e  t h e  f r a m e  d escr ip to r s   o f   th e  M  h i g h er   ele m e n ts   o f   t h e  f ir s t  r an k i n g   w it h   q u er y   d escr ip to r   to   ca r r y   o u t   a  n e w   s ea r c h .     2 . 3 .    CNN - ba s ed  r epre s ent a t io ns     W e  ex p lo r e  th e   r elev a n ce   o f   u s i n g   C NN   f ea t u r es   f o r   f ac e   i m ag e   to   v id eo   f ac e  r etr ie v al.   T h e  q u er y   in s ta n ce   is   d ef i n ed   b y   a  b o u n d in g   b o x   ab o v e  th e  q u er y   i m a g e.   W e  u s e  th e  f ea tu r es  e x tr a cted   f r o m   Fa s ter   R - C NN  p r e - tr ai n ed   m o d els   [ 1 8 ]   as  o u r   g lo b al  a n d   lo ca l  f ea t u r es.  Fas ter   R - C NN  h a s   a  r eg io n   p r o p o s al  n et w o r k   th at  g i v es  t h e  lo ca tio n s   i n   t h e  i m a g e  w h ich   h a v e  h ig h er   p r o b ab ilit ies  o f   h a v i n g   a n   o b j ec t,  an d   a  class if ier   th at  lab els  ea ch   o f   th o s e  o b j ec t  p r o p o s als  as  o n e  o f   th e  clas s es  in   th e  lear n in g   d ataset   [ 2 7 ] .   W e  ex tr ac t  co m p ac t   f ea t u r es  f r o m   t h e  ac tiv a tio n s   o f   a  co n v o lu tio n al  la y er   i n   a  C NN  [ 2 7 - 28] .   Fas ter   R - C N N  is   f as ter   o n   a  g lo b al  an d   lo ca l  s ca le.   W e  b u ild   a  g l o b al  f r a m e  d escr ip to r   b y   ig n o r in g   all  t h e  la y er s   t h at  w o r k   w i th   o b j ec t  p r o p o s als   an d   ex tr ac t  f ea t u r es  f r o m   th e  l ast  co n v o l u tio n a l  la y er .   C o n s i d er in g   th e  e x tr ac ted   ac tiv atio n s   o f   a  co n v o lu tio n   la y er   f o r   a  f r a m e,   w e  g r o u p   th e  ac tiv atio n s   o f   ea ch   f ilter   to   cr ea te  a  f r am e  d escr ip to r   w it h   t h e  s a m e  d i m en s io n   as  th e  n u m b er   o f   f i lter s   in   th e  co n v o l u tio n   la y er ,   to   d o   s o   b o th   m ax   a n d   s u m   p o o l - i n g   s tr ate g ie s   ar e   co n s id er ed   an d   co m p ar ed   in   s ec tio n   3 .   W e  ag g r eg a te  th e  ac tiv atio n s   o f   ea c h   w i n d o w   s u g g esti o n   i n   th e  R o I   P o o lin g   la y er   to   cr ea te  r eg io n a l d escr ip tio n s   [ 2 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   1 ,   Ma r ch   20 20 :   40   –   45   42   W e  u s e  t h e  V GG1 6   ar ch ite ctu r e  o f   Fas ter   R - C N N  to   ex tr ac t  t h e  g lo b al  an d   lo ca l   f ea t u r es.     W e  ch o o s e  t h at  ar c h itect u r e   b ec au s e  it  p er f o r m s   b etter .   I t  h as  b ee n   s h o w n   in   p r ev io u s   w o r k s   i n   th e   liter at u r e   [ 2 1 ,  2 7 ]   th at  t h e   ca p ab ilit ies   o f   d ee p er   n et w o r k s   ac h iev e   b etter   p er f o r m a n ce .   T h e  g lo b al  d escr ip to r s   ar e   ex tr ac ted   f r o m   th e  la s t c o n v o l u tio n   la y er   “ co n v 5 _ 3 ”  an d   ar e  o f   d i m e n s io n   5 1 2 .   T h e  lo ca l f ea tu r es a r e  g r o u p ed   f r o m   t h e  Fas ter   R - C NN  R o I   clu s ter i n g   l a y er .   A ll e x p er i m e n t s   w er e  p er f o r m ed   o n   a  N v id ia  GT X  GP U.     2 . 4 .    F ine - t un ing   F a s t er   R - C NN    Fin e  t u n in g   t h e  Fas ter   R - C N N  n et w o r k   allo w s   as  to   o b tain   f ea t u r es  s p ec if ic  to   f ac e  r etr iev al  an d   s h o u ld   h elp   i m p r o v e   t h e  p er f o r m a n ce   o f   s p atial  a n al y s i s   a n d   r e - r an k i n g .   T o   ac h iev e  th i s ,   w e  ch o o s e  to   f i n e - tu n e   Fa s ter   R - C NN   to   d etec t  t h e  q u er y   f ac es.   T h e  r esu l tin g   n et w o r k s   w il l  b e  u s ed   to   e x tr ac t  b etter   lo ca l  a n d   g lo b al  r ep r esen tatio n s ,   an d   w il l b e  u s ed   to   p er f o r m   s p atia l r er an k i n g .   W e  ch o s e  to   r ef in e   th e   m o d el   VGG1 6   Fa s ter   R - C N N,   p r e - t r ain ed   w it h   t h e  o b j ec ts   o f   P as ca l  VOC,   w it h   t w o   d ef er en t  d atasets .   T h e  f ir s t  n et w o r k   w a s   r ef i n ed   u s i n g   FERET   an d   Face s 9 4   d a tasets ,   w e  co m b i n e   th e m   to   cr ea te  o n e  b ig g er   d ata s et .   W e  m o d i f y   t h e  o u tp u t  la y er   in   t h e  n et w o r k   to   r etu r n   4 2 2   class   p r o b ab ilit ies   ( 2 6 9   p eo p le  in   th e  FERET   d ataset  p lu s   1 5 2   p eo p le  in   th e  F ac es9 4   d ataset,   p lu s   o n e  ad d it io n al  clas s   f o r   th e   b ac k g r o u n d )   an d   th e ir   co r r esp o n d in g   b o u n d ed   b o u n d   b o x   co o r d in ates   [ 2 1 ] .   T h is   n e w   r e f i n ed   n et w o r k   w ill  b e  ca lled   VGG( F - F),   t h e  tr ain i n g   p r o ce s s   to o k   2   h o u r s   4 7   m i n u te s .   T h e  s ec o n d   n et w o r k   w as  r ef i n ed   u s in g   Face Scr u b   d ataset.   We   m o d i f y   t h e  o u tp u t  la y er   in   t h e  n et wo r k   to   r etu r n   5 3 0   class   p r o b ab ilit ies  ( 5 3 0   p eo p le,   p lu s   o n e  ad d itio n al  c lass   f o r   th e  b ac k g r o u n d )   an d   t h eir   co r r esp o n d in g   b o u n d ed   b o u n d   b o x   co o r d in ates.  O u r   s ec o n d   r ef i n ed   n et w o r k   w il l b e  ca lled   VGG( F - S) [ 2 1 ] ,   th e  tr ain i n g   to o k   2   h o u r s   3 0   m i n u te s .   W e  k ep t th e  Fas ter   R - C NN ’ s   o r ig in al  p ar a m eter s   d escr ib ed   in   [ 1 9 ] ,   b u t d u e  to   o u r   s m aller   n u m b er   o f   tr ain i n g   s a m p les  we   d ec r ea s e d   th e  n u m b er   o f   iter atio n s   f r o m   8 0 , 0 0 0   t o   2 0 , 0 0 0 .   W e   u s e  th e  r ef i n ed   n et w o r k s   o f   th e  tu n i n g   s tr ateg y   ( VGG( F - S)  &   VGG( F - F))   o n   all  d atasets   to   ex tr ac t  i m ag e  a n d   r eg io n   d escr ip to r s   to   p er f o r m   a  f ac e  r etr iev al.     2 . 5 .    F a s t er   R - CNN  f ea t ures  & F a ce   det ec t io n   W e  ev a lu a te  t h e  i m p ac t  o f   u s i n g   a  f ac e  d etec tio n   alg o r it h m   o n   o u r   d ataset s   a n d   q u er ies   b ef o r e  u s in g   Fas ter   R - C NN  f o r   f ea tu r e  ex tr ac tio n   an d   th e  r a n k in g   an d   r er an k i n g   s tr ate g ies a s   d escr ib ed   p r ev io u s l y .     2 . 6 .     F a s t er   R - CNN  f ea t ures  & F Vs   T o   ex p lo r e  th e  r elev an ce   o f   u s in g   FV s   o n   C NN  f ea tu r e,   f o r   th e  i m a g e - to - v id eo   f ac e  r etr iev al  tas k ,   w e   f ir s t  e x tr ac t  t h e   C NN   f e atu r es   o f   ea c h   f r a m e.   W e  t h en   ap p l y   P r in cip al  C o m p o n e n t  An al y s i s   ( P C A ) ,   Gau s s ia n   m ix t u r e  m o d el   ( GM M) ,   L 2   n o r m al izatio n   o n   th o s e  f ea t u r es  b ef o r e  u s i n g   o u r   F V  f u n ct io n .   Fi n all y ,   as d escr ib ed   b ef o r e,   w e  co m p u te  th e  s i m ilar it y   m ea s u r e  a n d   u s e  t h e  r an k in g   an d   r er an k i n g   s tr ateg ie s .     2 . 7 .     F a s t er   R - CNN  f ea t ures  & B O VW   T o   ex p lo r e  th e  r elev an ce   o f   u s in g   B OVW   w it h   C NN  f ea t u r e,   f o r   th e  i m ag e - to - v id eo   f ac e  r etr iev al  task ,   w e  f ir s t  e x tr ac t  t h e  C NN   f ea t u r es  o f   ea c h   f r a m e.   T h en   w e  ap p l y   t h e  cl u s ter i n g ,   v ec to r   q u an tizatio n   an d   in v er ted   i n d ex i n g   s tep s .   Fi n all y ,   as  d escr ib ed   b ef o r e,   w e  co m p u te  t h e  s i m ilar it y   m e asu r e  an d   u s e  t h e   r er an k i n g   s tr ateg ie s .         3.   RE SU L T S AN D  D I SCU SS I O N   W e  ev alu ate  t h e  u s e  o f   Fa s ter   R - C NN  f ea t u r es  f o r   f a ce   i m ag e  to   v id eo   f ac e  r etr iev al.   W e  ex p er i m e n ted   w it h   s ix   d if f er en t  s i m ilar it y   m etr ics.  T h e  r esu lt s   w er e  s i m ilar   a n d   clo s e   b u t  o v er all   co s i n e  p er f o r m ed   b etter .   T ab le  1   s h o w s   a n   e x a m p le   o f   o u r   r es u lts   w h e n   u s i n g   f ea tu r es   f r o m   a n   o n   th e   s h el f   n et w o r k   w it h   VG G1 6   ar ch itectu r e   tr ai n ed   o n   p ascal  d ataset.   W e  ca r r ied   o u t  a  co m p ar ati v e   s tu d y   o f   th e  s u m   an d   m ax - p o o lin g   s tr ate g ie s   o f   th e  i m a g e - w i s e  an d   r eg io n - w is e  d escr ip to r s .   T ab le  2   s u m m ar ize s   m o s t  o f   o u r   r esu lt s .   A cc o r d in g   to   o u r   e x p er i m en ts ,   t h e  s u m - p o o lin g   g i v e s   b etter   p er f o r m a n ce   th a n   t h e  m ax - p o o lin g .   I t  also   s h o w s   th e  p er f o r m an ce   o f   Fas ter   R -   C NN   w it h   a  VGG1 6   ar ch itect u r es  t r ain ed   o n   t w o   d if f er e n t   d atase ts   ( P ascal  VOC  an d   C O C O) ,   VGG1 6   tr a in ed   o n   C OC O  p er f o r m ed   b etter   b ec au s e  th e  d ataset  is   b ig g er   an d   m o r e  d iv er s e.   Mo r eo v er ,   it  p r esen t s   th e  i m p ac t  o f   s p atial  r er an k i n g   an d   q u er y   e x p an s io n .   Usi n g   th e  g lo b al  f e atu r es  o f   Fa s ter   R - C NN  o n   th eir   o w n   w it h o u t  an y   r er an k i n g   s tr ate g y   g i v es  th e  b est  r e s u lt s .   Sp atial  r er an k i n g   &   QE   h ad   n o   p o s itiv e  i m p ac t   o n   th e  r esu lts .   W e  s h o u ld   n o te  t h at   in   av er a g e  t h e  o f f li n e  f ea t u r e  e x tr ac tio n   t o o k   2 9 . 7   m i n u tes   w h ile  t h e  o n li n e  r an k i n g   s tep s   to o k   3 . 7   s ec o n d s   a n d   t h e  r e r an k i n g   s tr ate g y   to o k   7   m i n u tes   f o r   Y - C eleb   d atas et .   Fo r   Yo u T u b e  Face s   Data b ase,   th e   o f f li n e  f ea t u r e  ex tr ac tio n   to o k   2 0   h o u r s   w h il e  th e   o n li n e  r a n k in g   s tep s   to o k   o n l y   8 5   s ec o n d s   an d   th e  r er an k in g   s tr ateg y   to o k   2 1   m in u te s .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       La r g e - s ca le  ima g e - to - vid e o   fa ce   r etri ev a l wi th   co n vo lu tio n a l n eu r a l n etw o r k  fea tu r es   ( I ma n e  Ha ch ch a n e )   43   T ab le  1 .   Me an   A v er a g e  P r ec is io n   ( m A P )   Of   P r etr ain ed   Fas te r   R - C NN  Mo d els  w it h   Vg g 1 6   A r c h itect u r es o n   P ascal  Data s et  Usi n g   Di f f er e n t Si m i lar it y   Me a s u r e s   Usi n g   Y - C eleb   Data s et.   S i mi l a r i t y   me t r i c   P o o l i n g   R a n k i n g   R e r a n k i n g   QE   C o si n e   max   0 . 8 8 8   0 . 8 6 0   0 . 5 5 0   su m   0 . 9 1 5   0 . 8 4 6   0 . 6 0 0   M a n h a t t a n   max   0 . 9 0 0   0 . 8 6 9   0 . 5 7 0   su m   0 . 9 0 5   0 . 8 4 1   0 . 4 2 8   Eu c l i d i a n   max   0 . 8 8 8   0 . 8 6 0   0 . 5 5 0   su m   0 . 9 1 5   0 . 8 4 6   0 . 6 0 0   C i t y B l o c k   max   0 . 9 0 0   0 . 8 6 9   0 . 5 7 0   su m   0 . 9 0 5   0 . 8 4 1   0 5 7 8   L1   max   0 . 9 0 0   0 . 8 6 9   0 . 5 7 0   su m   0 . 9 0 5   0 . 8 4 1   0 . 5 7 8   L2   max   0 . 8 8 8   0 . 8 6 0   0 . 5 5 0   su m   0 . 9 1 5   0 . 8 4 6   0 . 6 0 3       Y - C eleb - Face s   co l u m n   p r ese n t  th e  r e s u lt s   o f   u s i n g   f ac e  d ete ctio n   o n   t h e  Y - C eleb   d ataset.   As  w e  ca n   s ee   in   T ab le  2   f ac e  d etec tio n   d id   n o t  im p r o v e  th e  r esu lt s .   W e  s h o u ld   n o te  th at  w e  w er e  ab le  to   r ed u ce   th e  r an k i n g   ti m e  to   2 . 4   s ec o n d s   o n   av er ag e.   T ab le  2   s h o w   t h at  th e  r ef i n ed   f ea tu r es  s li g h tl y   ex ce ed ed   th e  r a w  f ea t u r es  i n   th e   s p atial   r er an k in g   a n d   t h e  QE   s ta g es.  B u t  s till ,   t h e   g lo b al  f ea t u r es  o f   F aster   R - C NN  f r o m   VGG1 6   tr ain ed   o n   C OC O  u s e d   w it h o u t a n y   r er an k i n g   s tr ate g y   g i v e  th e  b est r es u lt s .       T ab le  2 .   Me an   A v er a g e  P r ec is io n   ( m A P )   o f   p r e - tr ain ed   Fas t er   R - C NN  m o d els  w i th   V GG1 6   ar ch itectu r es.  ( P) ,   ( C ) ,   ( F - S)  A N D  ( F - F)  d en o te  w h eth er   t h e  n et w o r k   w as t r ain ed   w i th   P ascal  VO C ,   Mic r o s o f t CO C O,   Face Scr u b   o r   Fer et  &   Face s 9 4   i m ag e s ,   r esp ec tiv e l y .   W ith   a  co m p ar is o n   b et w ee n   s u m   a n d   m ax   p o o lin g   s tr ateg ie s .   W h en   i n d icate d ,   Q E   is   ap p lied   w ith   M  =  5   N e t w o r k   P o o l i n g   Y - C e l e b   Y o u T u b e   F a c e s Dat a b a se   Y - C e l e b - F a c e s   R a n k i n g   R e r a n k i n g   QE   R a n k i n g   R e r a n k i n g   QE   R a n k i n g   R e r a n k i n g   QE   V G G 1 6   (P)   max   0 . 8 8 8   0 . 8 6 0   0 . 5 5 0   0 . 8 9 2   0 . 8 7 7   0 . 8 8 2   0 . 5 7 4   0 . 5 1 6   0 . 5 4 2   su m   0 . 9 1 5   0 . 8 4 6   0 . 6 0 0   0 . 8 9 7   0 . 8 8 6   0 . 8 9 1   0 . 6 1 8   0 . 4 8 6   0 . 5 1 1   V G G 1 6   ( C )   max   0 . 9 1 1   0 . 8 8 8   0 . 5 2 2   0 . 8 9 2   0 . 8 7 8   0 . 8 8 9   0 . 6 2 2   0 . 5 7 4   0 . 6 1 7   su m   0 . 9 2 6   0 . 8 0 7   0 . 5 1 2   0 . 9 0 3   0 . 8 8 2   0 . 8 9 6   0 . 7 0 5   0 . 5 3 8   0 . 5 5 1   V G G 1 6   (F - S)   max   0 . 8 0 9   0 . 7 7 7   0 . 4 5 7   0 . 8 4 8   0 . 8 3 4   0 . 8 3 8   0 . 4 7 7   0 . 4 2 3   0 . 4 5 0   su m   0 . 9 1 7   0 . 8 4 3   0 . 5 7 8   0 . 8 8 2   0 . 8 7 3   0 . 8 7 4   0 . 6 3 5   0 . 5 0 9   0 . 5 1 9   V G G 1 6   (F - F)   max   0 . 9 1 5   0 . 8 7 4   0 . 5 5 4   0 . 8 9 4   0 . 8 8 4   0 . 8 8 7   0 . 6 6 6   0 . 6 5 6   0 . 6 8 2   su m   0 . 9 2 4   0 . 8 9 9   0 . 6 2 1   0 . 8 9 6   0 . 8 9 2   0 . 8 9 3   0 . 7 1 5   0 . 6 1 2   0 . 6 4 6       W h en   u s i n g   FVs   w it h   Fas ter   R - C NN  f ea t u r es  w e  ca n   s a y   th at  m ax   p o o lin g   p er f o r m ed   b etter ,   as  s h o w n   i n   T ab le  3 ,   b u t   it  is   c l ea r   th at   u s i n g   FV s   i s   n o t  a   g o o d   id ea .   T h e  m A P   is   v er y   lo w   ( b elo w   1 0 %).   W e   co u ld n ’ t te s t o n   t h e  Yo u T u b e  Face s   Data b ase  d u e  to   a  Me m o r y   E r r o r   ca u s ed   b y   th e  s ize  o f   t h e  d ataset  a n d   t h e  li m ita tio n   o f   t h e  h ar d w ar e.       T ab le  3 .   Me an   A v er a g e  P r ec is io n   ( m A P )   o f   p r e - tr ain ed   Fas t er   R - C NN  m o d els  w i th   V GG1 6   ar ch itectu r es.    ( P )   an d ,   ( C )   d en o te  w h e th er   t h e  n et w o r k   w as tr ai n ed   w it h   P ascal  VOC o r   Mic r o s o f t  C OC O .   W ith   a  co m p ar is o n   b et w ee n   s u m   a n d   m ax   p o o lin g   s tr ate g ie s .   W h en   in d icate d ,   QE   is   ap p lied   w it h   M  =  5   N e t w o r k   P o o l i n g   Y - C e l e b   R a n k i n g   R e r a n k i n g   QE   V G G 1 6   ( P )   max   0 . 0 9 7   0 . 1 0 2   0 . 0 9 7   su m   0 . 0 9 7   0 . 1 0 0   0 . 1 0 2   V G G 1 6   ( C )   max   0 . 0 9 7   0 . 1 0 2   0 . 0 9 8   su m   0 . 0 9 7   0 . 0 9 7   0 . 0 9 7       W h en   u s i n g   o n   B OVW   w ith   Fas ter   R - C NN  f ea tu r e s   w e  co u ld n ’ t  a n al y ze   th e  f u ll  r es u lts   b ec au s e  we   k ep t  r u n n i n g   in to   a  Me m o r y   E r r o r   ca u s ed   by   th e  s izes  o f   t h e  d atasets   a n d   th e  li m itat io n   o f   th e  h ar d w ar e  i n   ad d itio n   to   th at  th e  r esu l t  o b tain ed   w er e  n o t  th at  en co u r ag in g .   T ab le  4   p r esen t  th e  r esu lts   t h at  w e  w er e   ab le  to   g et.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   1 ,   Ma r ch   20 20 :   40   –   45   44   T ab le  4 .   Me an   A v er a g e  P r ec is io n   ( m A P )   o f   p r e - tr ain ed   Fas t er   R - C NN  m o d els  w i th   V GG1 6   ar ch itectu r es.    ( C )   d en o te  th at  t h e  n et w o r k   was tr ain ed   w it h   Mic r o s o f t  C O C O.   W ith   a  co m p ar is o n   b et w e en   s u m   a n d   m a x   p o o lin g   s tr ate g ies.  W h e n   i n d icate d ,   QE   is   ap p lied   w it h   M  =  5   N e t w o r k   P o o l i n g   Y - C e l e b   R a n k i n g   R e r a n k i n g   QE   V G G 1 6   ( C )   max   0 . 0 3 2   0   0 . 0 9 7   su m   0 . 0 3 2   -   -       Fin all y ,   w e  ca n   clea r l y   s ee   i n   th at  t h e  r a w   f a s ter   R - C N N   f ea tu r es  lar g el y   o u tp er f o r m e d   th e  o th er   s tr ateg ie s   w it h   a  m A P   o f   9 2 . 6 %.   T ab le  5   s h o w   c o m p ar is o n   w it h   S tate - of - th e - ar t .       T ab le  5 .   C o m p ar is o n   w i th   S tat e - of - t h e - ar t.  R es u lts   p r o v id ed   as  m A P .   M e t h o d   Y - C e l e b   Y o u T u b e   F a c e s Dat a b a se   NN  [ 2 3 ]   -   0 . 1 4 5   O - S B o F [ 2 9 ]   -   0 . 4 7 1   RN - B O F [ 3 0 ]   -   0 . 4 6 5   F a st e r   R - C N N   f e a t u r e s   0 . 9 2 6   0 . 9 0 3   F a st e r   R - C N N   f e a t u r e s +   F V   0 . 0 9 7   0 . 0 0 6   F a st e r   R - C N N   f e a t u r e s + B O V W   0 . 0 3 2   0 . 0 0 1       4.   CO NCLU SI O N   T h is   ar ticle  ex p lo r es  t h e  u s e   o f   f ea tu r e s   f r o m   a n   o b j ec t  d etec tio n   C N N  f o r   i m a g e - to - v id eo   f ac e   r etr iev al.   I t  u s e s   Fas ter   R - C N N  f ea t u r es   as   g lo b al  a n d   lo ca l  d escr ip to r s .   W e  h a v e  s h o w n   th at   t h e  co m m o n   s i m ilar it y   m etr ic  g iv e s   s i m ilar   r esu lt s .   W e  al s o   f o u n d   t h at   s u m - p o o lin g   p er f o r m s   b etter   th an   m ax - p o o lin g   i n   m o s t  ca s e s ,   an d   co n tr ar y   to   o u r   p r ev io u s   w o r k   [ 2 1 ]   f in e  tu n i n g   d o es  n o t  i m p r o v e   th e  r esu lt s .   Mo r e   i m p o r tan tl y ,   w e  f o u n d   t h at  ap p ly in g   t h e  s i m ilar it y   m ea s u r e   d ir ec tly   o n   th e  C NN  f ea t u r e  o f   an   o f f - t h e - s h e lf   C NN  tr ain ed   o n   a  lar g e  a n d   d iv er s e  d ata s et  g a v e  t h e  b es t  r esu lt s ,   a n d   t h at  u s in g   FVs   o r   B OVW   is   m e m o r y   co n s u m i n g   an d   is   n o t  s u itab le  f o r   C NN  f ea tu r e s   in   t h is   ca s e.       ACK NO WL E D G E M E NT S   T h i s   w o r k   f all s   w it h i n   t h e  s c o p e  o f   B ig   Data   an d   C o n n ec ted   Ob j ec t  ( B DC O) .   W e  w o u ld   li k e  to   th an k   t h e  Has s an   I I   Un iv er s it y   o f   C asab la n ca   f o r   f i n a n cin g   t h is   p r o j ec t.       RE F E R E NC E S    [1 ]   A .   F il g u e iras   De   A r a u jo ,   “ L a rg e - S c a le  V id e o   Re tri e v a l  Us in g   I m a g e   Qu e ries   A   Diss e rtatio n   S u b m it ted   T o   T h e   De p a rtme n t  Of   El e c tri c a l  En g in e e rin g   A n d   T h e   Co m m it te e   On   G r a d u a te  S tu d ies   Of   S tan f o rd   Un iv e rsit y   In   P a rt ial  F u lf il lm e n t  Of   T h e   Re q u irem e n ts F o r  T h e   De g re e   Of   Do c to r  Of   P h il o s,”   2 0 1 6 .   [2 ]   J.  Y. - H.  Ng ,   M .   Ha u sk n e c h t,   S .   Vijay a n a ra si m h a n ,   O.  V i n y a ls,   R.   M o n g a ,   a n d   G .   T o d e rici,   “ Be y o n d   S h o r t  S n ip p e ts:  De e p   Ne tw o rk s f o r  V id e o   Clas sif ica ti o n , ”   M a r.   2 0 1 5 .   [3 ]   K.  S im o n y a n   a n d   A .   Zi ss e r m a n ,   “ Tw o - S trea m   Co n v o lu ti o n a l  Ne tw o rk s  f o r  A c ti o n   Re c o g n it io n   i n   Vid e o s,”   J u n .   2 0 1 4 .   [4 ]   D.  T ra n ,   L .   Bo u rd e v ,   R.   F e rg u s,  L .   T o rre sa n i,   a n d   M .   P a lu r i,   “ L e a rn in g   S p a ti o tem p o ra l  F e a tu re s  w it h   3 D   Co n v o l u ti o n a l  Ne tw o rk s,”   De c .   2 0 1 4 .   [5 ]   A .   Ba b e n k o ,   A .   S les a re v ,   A .   Ch ig o rin ,   a n d   V.  L e m p it sk y ,   “ Ne u ra l  Co d e s f o r  Im a g e   Re tri e v a l, ”   A p r.   2 0 1 4 .   [6 ]   Y.  Ka lan ti d is,  C.   M e ll in a ,   a n d   S .   Os in d e ro ,   “ Cro ss - d im e n sio n a l  W e ig h ti n g   f o r  A g g re g a ted   De e p   Co n v o lu t io n a l  F e a tu re s,”   De c .   2 0 1 5 .   [7 ]   A .   S .   R a z a v ian ,   J.  S u ll iv a n ,   S .   Ca rlsso n ,   a n d   A .   M a k i,   “ V isu a l  In sta n c e   Re tri e v a l  w it h   D e e p   Co n v o lu ti o n a l   Ne tw o rk s,”   De c .   2 0 1 4 .   [8 ]   L .   W u ,   Y.  W a n g ,   Z.   G e ,   Q.  Hu ,   a n d   X.  L i,   “ S tru c tu re d   d e e p   h a sh in g   w it h   c o n v o lu ti o n a l  n e u ra l  n e t w o rk s  f o r  f a s t   p e rso n   re - i d e n ti f ica ti o n , ”   C o mp u t .   Vi s.  Im a g e   Un d e rs t. ,   v o l.   1 6 7 ,   p p .   6 3 – 7 3 ,   F e b .   2 0 1 8 .   [9 ]   C.   He rrm a n n   a n d   J.  Be y e re r,   “ F a s t  f a c e   re c o g n it io n   b y   u sin g   a n   i n v e rted   in d e x , ”   2 0 1 5 ,   v o l.   9 4 0 5 ,   p .   9 4 0 5 0 7 .   [1 0 ]   R.   A ra n d jelo v ic  a n d   A .   Zi ss e rm a n ,   “ T h re e   th i n g s  e v e r y o n e   sh o u l d   k n o w   to   im p ro v e   o b jec t  re tri e v a l, ”   in   2 0 1 2   I EE E   Co n fer e n c e   o n   Co m p u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n ,   2 0 1 2 ,   p p .   2 9 1 1 – 2 9 1 8 .   [1 1 ]   J.  P o n t - T u se t,   P .   A rb e lae z ,   J.   T .   Ba rro n ,   F .   M a rq u e s,  a n d   J.  M a li k ,   “ M u lt isc a le  Co m b in a to rial  G ro u p in g   f o r  I m a g e   S e g m e n tatio n   a n d   Ob jec t  P r o p o sa l  G e n e ra ti o n , ”   M a r.   2 0 1 5 .   [1 2 ]   J.  L o n g ,   E.   S h e lh a m e r,   a n d   T .   Da rre ll ,   “ F u ll y   Co n v o l u ti o n a l  Ne tw o rk s f o r  S e m a n ti c   S e g m e n tatio n , ”   No v .   2 0 1 4 .   [1 3 ]   D.  G .   L o w e ,   “ Distin c ti v e   I m a g e   F e a tu re s  f ro m   S c a le - In v a rian t  Ke y p o in ts,”  In t.   J .   Co m p u t .   Vi s. ,   v o l.   6 0 ,   n o .   2 ,   p p .   91 – 1 1 0 ,   N o v .   2 0 0 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       La r g e - s ca le  ima g e - to - vid e o   fa ce   r etri ev a l wi th   co n vo lu tio n a l n eu r a l n etw o r k  fea tu r es   ( I ma n e  Ha ch ch a n e )   45   [1 4 ]   M .   Ca lo n d e r,   V .   L e p e ti t,   C.   S tr e c h a ,   a n d   P .   F u a ,   “ BRIEF :   Bin a r y   Ro b u st   In d e p e n d e n t  El e m e n tar y   F e a tu re s,”   S p rin g e r,   Be rli n ,   He id e l b e rg ,   2 0 1 0 ,   p p .   7 7 8 – 7 9 2 .   [1 5 ]   J.  Y.  H.  Ng ,   M .   Ha u sk n e c h t,   S .   Vijay a n a ra si m h a n ,   O.  V i n y a ls,  R.   M o n g a ,   a n d   G .   T o d e rici,   “ Be y o n d   sh o rt  sn ip p e ts:  De e p   n e tw o rk s  f o r  v id e o   c las si f i c a ti o n , ”   Pro c .   IEE E  Co mp u t.   S o c .   Co n f .   Co mp u t.   V is.  Pa t ter n   Rec o g n it . ,   v o l .   0 7 - 12 - Ju n e ,   p p .   4 6 9 4 – 4 7 0 2 ,   2 0 1 5 .   [1 6 ]   A .   A ra u jo   a n d   B.   G iro d ,   “ L a rg e - S c a le  V id e o   Re tri e v a l  Us in g   Im a g e   Qu e ries , ”   IEE E  T ra n s.   Circ u it s  S y st.   Vi d e o   T e c h n o l . ,   v o l .   X X,  n o .   c ,   p p .   1 – 1 ,   2 0 1 7 .   [1 7 ]   G .   De   Oliv e ira Barra ,   M .   L u x ,   a n d   X .   G iro - I - Nie to ,   “ L a rg e   sc a le c o n ten t - b a se d   v id e o   re tri e v a l  w it h   L Iv RE, ”   Pro c .   -   In t.   W o rk .   C o n te n t - Ba se d   M u lt im e d .   In d e x . ,   v o l.   2 0 1 6 - Ju n e ,   2 0 1 6 .   [1 8 ]   S .   Re n ,   K.   He ,   R.   G irsh ick ,   a n d   J.  S u n ,   “ F a ste r  R - CNN :  T o wa rd s  Re al - T i m e   Ob jec t  De t e c ti o n   w it h   Re g io n   P r o p o sa l  Ne tw o rk s,”   IEE E  T ra n s.   Pa tt e rn   An a l.   M a c h .   I n tell. ,   v o l.   3 9 ,   n o .   6 ,   p p .   1 1 3 7 – 1 1 4 9 ,   2 0 1 7 .   [1 9 ]   R.   G irsh ick ,   “ F a st  R - CNN , ”   in   2 0 1 5   IEE E   In ter n a ti o n a l  Co n fer e n c e   o n   Co m p u ter   Vi si o n   ( ICCV) ,   2 0 1 5 ,   p p .   1 4 4 0 – 1 4 4 8 .   [2 0 ]   H.  Jia n g   a n d   E.   L e a rn e d - M il ler,  “ F a c e   De t e c ti o n   w it h   th e   F a ste r  R - CNN , ”   Pro c .   -   1 2 t h   IEE E  In t.   Co n f.   A u t o m.  Fa c e   Ge stu re   Rec o g n it io n ,   FG  2 0 1 7   -   1 st  I n t.   W o rk .   Ad a p t.   S h o t  L e a rn .   Ge stu re   Un d e rs t.   Pro d .   A S L 4 GU P  2 0 1 7 ,   Bi o me trics   W il d ,   Bwi ld   2 0 1 7 ,   He t e ro g e ,   p p .   6 5 0 – 65 7 ,   2 0 1 7 .   [2 1 ]   I.   Ha c h c h a n e ,   A .   Ba d ri,   A .   S a h e l,   a n d   Y.  Ru ich e k ,   “ Ne w   F a ste r  R - CNN   Ne u ro n a l  A p p ro a c h   f o r  F a c e   Re tri e v a l, ”   in   L e c tu re   No tes   in   Ne tw o rk s a n d   S y ste ms ,   v o l.   6 6 ,   2 0 1 9 ,   p p .   1 1 3 – 1 2 0 .   [2 2 ]   M in y o u n g   Kim ,   S .   Ku m a r,   V .   P a v lo v ic,  a n d   H.   Ro w le y ,   “ F a c e   tra c k in g   a n d   re c o g n it i o n   w it h   v isu a l  c o n stra i n ts  in   re a l - w o rld   v id e o s,”   i n   2 0 0 8   I EE E   Co n fer e n c e   o n   Co m p u ter   V isio n   a n d   Pa tt e rn   Rec o g n it io n ,   2 0 0 8 ,   p p .   1 – 8.   [2 3 ]   L .   W o lf ,   T .   Ha s sn e r,   a n d   I.   M a o z ,   “ F a c e   re c o g n it io n   i n   u n c o n stra i n e d   v id e o s   w it h   m a tch e d   b a c k g ro u n d   sim il a rit y , ”   in   CVP R   2 0 1 1 ,   2 0 1 1 ,   p p .   5 2 9 – 5 3 4 .   [2 4 ]   P .   J.   P h il li p s ,   H.   W e c h sle r,   J.  H u a n g ,   a n d   P .   J.   Ra u ss ,   “ T h e   F E RET   d a tab a se   a n d   e v a lu a ti o n   p r o c e d u re   f o r  f a c e - re c o g n it io n   a lg o rit h m s,”   Ima g e   V is.  Co mp u t. ,   v o l.   1 6 ,   n o .   5 ,   p p .   2 9 5 – 3 0 6 ,   A p r.   1 9 9 8 .   [2 5 ]   D.  L .   S p a c e k ,   “ F a c e s9 4   a   f a c e   re c o g n it io n   d a tas e t, ”   2 0 0 7 .   [2 6 ]   H. - W .   Ng   a n d   S .   W in k ler,  “ A   d a ta - d riv e n   a p p r o a c h   t o   c lea n in g   l a rg e   f a c e   d a tas e ts,”  in   2 0 1 4   I EE E  In ter n a ti o n a l  Co n fer e n c e   o n   Ima g e   Pro c e ss in g   ( ICIP) ,   2 0 1 4 ,   p p .   3 4 3 – 3 4 7 .   [2 7 ]   A .   S a l v a d o r,   X .   G iro - I - Nie to ,   F .   M a rq u e s,  a n d   S .   S a to h ,   “ F a ste r  R - CNN   F e a tu re s  f o r  In sta n c e   S e a rc h , ”   in   IEE E  Co mp u ter   S o c iety   Co n fer e n c e   o n   Co mp u ter   V isio n   a n d   Pa t ter n   Rec o g n it io n   W o rk sh o p s ,   2 0 1 6 ,   p p .   3 9 4 – 4 0 1 .   [2 8 ]   G .   T o li a s,  R.   S icre ,   a n d   H.  Jé g o u ,   “ P a rti c u lar  o b jec t  re tri e v a l  w it h   in teg ra l  m a x - p o o li n g   o f   CNN   a c ti v a ti o n s,”   No v .   2 0 1 5 .   [2 9 ]   N.  P a ss a li s a n d   A .   T e f a s,  “ S p a ti a l  Ba g   o f   F e a tu re s L e a rn in g   f o r  L a r g e   S c a le F a c e   I m a g e   R e tri e v a l, ”   2 0 1 7 ,   p p .   8 – 1 7 .   [3 0 ]   N.  P a ss a li s  a n d   A .   T e fa s,  “ L e a rn in g   Ne u ra l  Ba g - of - F e a tu re s  f o r  Larg e - S c a le   I m a g e   R e tri e v a l, ”   IEE E  T ra n s.  S y st.   M a n ,   Cy b e rn .   S y st. ,   v o l.   4 7 ,   n o .   1 0 ,   p p .   2 6 4 1 – 2 6 5 2 ,   2 0 1 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.