I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   8 ,   No .   3 ,  J u n e   201 8 ,   p p .   1 9 0 3 ~ 1 9 1 2   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v8 i 3 . p p 1 9 0 3 - 1912          1903       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Co ntent - b a sed I m a g e Re trieva l S y ste m   f o r  a n I m a g e G a llery   Sea rch App lica tio n       Nico le  T ha m   L ey   M a i 1 ,  Sy a h m i  Sy a hira n B in Ah m a d R id zua n 2 ,   Z a id B in O m a r 3   1, 2 F a c u lt y   o f   El e c tri c a l  En g in e e rin g   Un iv e rsiti   T e k n o lo g i  M a lay sia ,   Jo h o r   Ba h ru ,   M a lay sia   3 De p a rtme n t  o f   El e c tri c   a n d   Co m p u ter E n g in e e rin g   F a c u lt y   o f   El e c tri c a l  En g in e e rin g   Un iv e rsiti   T e k n o l o g i  M a lay sia   Jo h o r   Ba h ru ,   M a lay sia       Art icle  I nfo     AB ST RAC T     A r ticle   his to r y:   R ec eiv ed   J an   2 7 ,   2 0 1 8   R ev i s ed   A p r   2 0 ,   2 0 1 8   A cc ep ted   A p r   2 6 ,   2 0 1 8     Co n ten t - b a se d   im a g e   r e tri e v a l   is  a   p ro c e ss   f ra m e w o rk   th a t  a p p li e s  c o m p u ter  v isio n   tec h n i q u e s  f o r  se a rc h in g   a n d   m a n a g in g   lar g e   i m a g e   c o ll e c t io n s  m o re   e ff ici e n tl y .   W it h   th e   g ro w th   o f   l a rg e   d ig it a l  i m a g e   c o ll e c ti o n s  tri g g e r e d   b y   ra p id   a d v a n c e s in   e lec tro n ic sto ra g e   c a p a c it y   a n d   c o m p u ti n g   p o w e r ,   th e re   is  a   g ro w in g   n e e d   f o r  d e v ice s  a n d   c o m p u ter  sy ste m s  to   su p p o rt   e ff icie n t   b ro w sin g ,   se a rc h in g ,   a n d   re tri e v a l  f o r  ima g e   c o ll e c ti o n s.  He n c e ,   th e   a im   o f  th is  p ro jec t  is  to   d e v e lo p   a   c o n ten t - b a se d   im a g e   re tri e v a l  s y ste m   t h a t  c a n   b e   im p le m e n ted   in   a n   im a g e   g a ll e ry   d e sk to p   a p p li c a ti o n   t o   a ll o w   e ff ici e n t  b ro w sin g   th ro u g h   th re e   d if f e re n t  se a rc h   m o d e s:  re tri e v a l  b y   i m a g e   q u e r y ,   re tri e v a l  b y   f a c ial  re c o g n it io n ,   a n d   re tri e v a l  b y   tex t  o r  tag s.  In   th is  p r o jec t,   th e   M P EG - 7 - li k e   P o w e re d   L o c a l ize d   Co lo r  a n d   E d g e   Dire c ti v it y   De sc rip to r  is  u se d   to   e x trac t  th e   f e a tu re   v e c to rs  o f   th e   ima g e   d a tab a s e   a n d   th e   f a c ial   re c o g n it io n   sy ste m   is  b u il t  a r o u n d   t h e   Ei g e n f a c e s  c o n c e p t.   A   g ra p h ica l  u se r  in terf a c e   w it h   th e   b a sic   f u n c ti o n a li ty   o f   a n   i m a g e   g a ll e r y   a p p li c a ti o n   is  a lso   d e v e lo p e d   to   im p lem e n t  th e   th re e   se a rc h   m o d e s.  Re su lt s  sh o w  th a t  th e   a p p li c a ti o n   is  a b le  to   re tri e v e   a n d   d isp lay   i m a g e s  in   a   c o ll e c ti o n   a s  th u m b n a il   pr e v ie w s  w it h   h ig h   re tri e v a l  a c c u ra c y   a n d   m e d iu m   re le v a n c e   a n d   th e   c o m p u tatio n a l  re q u irem e n ts  f o r  su b se q u e n t  se a rc h e s  w e re   si g n if ica n tl y   re d u c e d   t h ro u g h   t h e   i n c o rp o ra ti o n   o f   tex t - b a se d   im a g e   re tri e v a l  a s  o n e   o f   th e   se a rc h   m o d e s.  A ll   in   a ll ,   th is  st u d y   in tro d u c e s  a   sim p le  a n d   c o n v e n ien t  w a y   o f   o ff li n e   im a g e   se a rc h e s  o n   d e sk to p   c o m p u ters   a n d   p ro v id e s  a   ste p p in g   sto n e   to   f u tu re   c o n ten t - b a se d   i m a g e   re tri e v a l  s y ste m s  b u il t  fo r  sim il a r   p u r p o se s.   K ey w o r d :   Au to - tag g i n g   C o n te n t - b ased   i m a g e  r etr iev al   Mp eg - &   p o w er ed   lo ca lized   d escr ip to r   P r in cip al  co m p o n e n t a n al y s is   T ex t - b ased   i m a g e  r etr iev al   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Z aid   B in   O m ar ,    Dep ar t m en t o f   E lectr ic  an d   C o m p u ter   E n g i n ee r i n g ,   Facu lt y   o f   E lectr ical  E n g in ee r in g ,     Un i v er s iti T ek n o lo g i M ala y s ia ,   J o h o r   B ah r u ,   Ma lay s ia .   E m ail: l s n t l@ cc u . ed u . t w       1.   I NT RO D UCT I O N   I n   r ec en t  y ea r s ,   r ap id   ad v an c es  in   elec tr o n ic  s to r ag e  ca p ac it y   an d   co m p u ti n g   p o w er   h av e  tr ig g er ed   th e  g r o w t h   o f   lar g e   d ig ita l  i m ag e  co llectio n s   f o llo w in g   t h e  in cr ea s e  o f   u s er s   o n   t h e  i n ter n et.   O v er   th e   y ea r s ,   w e  h a v e  s ee n   ex p o n e n tial  i n cr ea s es  in   n u m b er   o f   d ig ital  i m ag es  an d   v id eo   b o th   o v er   th e  n et  an d   ev e n   in   o u r   o w n   d ev ice s   a s   w e   atte m p t  to   k ee p   m o r e  m e m o r ies  th r o u g h   p h o to s   an d   v id eo s .   T h is   i n cr ea s ed   u s ag e   m a y   b e   d u e  to   s ev er al  f ac to r s   s u ch   a s   ed u ca tio n ,   en ter tain m e n t,  co m m er cial  p u r p o s es,  an d   etc.   a n d   it  is   n o w   ap p ar en t   th at  m o r e  a n d   m o r e  i m a g es a r e  r o u tin el y   u s ed   to   co n v e y   lar g e  a m o u n t s   o f   i n f o r m atio n .   Du e  to   th e  i n cr ea s i n g   d i f f ic u lt y   in   m a k i n g   p r o p er   u s e  o f   th e  in f o r m atio n   co n tai n ed   in   d ig i t al  i m a g es   an d   v id eo s ,   ad v an ce d   i n f o r m a tio n   s y s te m s   ar e  n o w   m o r e  im p o r ta n t  t h an   e v er   as  th e y   ar e  n ee d ed   to   m a n ag e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 ,  J u n e  2 0 1 8   :   1 9 0 3   –   1912   1904   i m a g e  co llectio n s   m o r e  e f f ici en tl y .   I m a g e  s ea r c h i n g   i s   o n e   o f   th e   m o s t  i m p o r ta n t  f u n cti o n s   t h at  n ee d s   to   b e   s u p p o r ted   b y   d ev ices  a n d   co m p u ter   s y s te m s   to   allo w   ef f ic ien t  b r o w s i n g ,   s ea r ch i n g ,   an d   r etr iev al.   W ith   th e   r ap id   a d v an ce m en t  i n   i m a g e  ca p tu r in g   d ev ices  o v er   th e  y ea r s   ad d ed   w it h   th e  ad v en t  o f   v a r io u s   s o cial  m ed ia   p latf o r m s ,   i t  h as  b ec o m e  a  co m m o n   c u lt u r e  f o r   m e m b er s   o f   cu r r en t  s o ciet y   to   ta k e  a  lo t  o f   p h o to s   w it h   t h eir   p h o n es  ev er y   d a y .   A cc o r d in g   to   a  s u r v e y   b y   p er s o n al  m ed ia  s tar tu p   Ma g i s to ,   th e  av er a g e  s m ar tp h o n e  u s er   tak es  ar o u n d   1 5 0   n e w   p h o to s   ev er y   m o n t h .   Desp ite  t h is ,   c u r r en t  g a ller y   ap p licatio n s   ca n n o t  k ee p   u p   w ith   h u g e  d atab ases   o f   i m ag e s   an d   th e  o n l y   co m m o n   m et h o d   av ailab le  to   r etr iev e  o ld   im a g es  is   to   s cr o ll  th r o u g h   m an y   u n w a n ted   i m a g es  b e f o r e  ar r iv in g   at   t h e  d esire d   i m ag e  w h ic h   i s   v er y   ted io u s   an d   ti m e   co n s u m i n g .   Mo r eo v er ,   co n v e n tio n al   C B I R   s y s te m s   ar e   g e n er all y   co m p u tatio n all y   h ea v y   f o r   o f f li n e   ap p licatio n s   w h er e   p er f o r m a n ce   i s   e x p ec ted   to   b e  f as t  w h ile  s till   b ein g   ab le  to   p r o d u ce   r elev an t  r e s u l ts   a s   co m p u ti n g   s p ee d   m a y   v ar y   f r o m   co m p u ter   to   co m p u t er .   C o n te n t - B ased   I m a g e  R etr ie v al  ( C B I R )   i s   o n e   in s ta n ce   o f   i n f o r m atio n   r etr iev al  th at  ap p lies   co m p u ter   v i s io n   tec h n iq u e s   t o   s o lv e  p r o b lem s   r elate d   to   s ea r ch i n g   a n d   m a n ag in g   lar g e  i m ag e  d atab ase s .   Ho w e v er ,   m o s t  C B I R   s y s te m s   t h at  ai m s   to   m a n ag e   d ig ita l  co llectio n s   in   o f f li n e  d atab ase   ten d   to   u s e  i m a g e   co n ten t a s   q u er y   r at h er   th a n   c o n s id er in g   u s er   p r ef er en ce   i n   d ef in i n g   th e  i m a g e  i n   q u est io n   an d   th i s   m a y   n o t b e  co n v e n ien t  esp ec iall y   w h e n   it  is   t h e  o n l y   a v ailab le  m o d e  o f   s ea r ch   as   f u t u r e  e f f o r ts   o f   s ea r ch in g   f o r   t h e  s a m e   q u er y   i m a g e  m a y   b e  r ed u n d an t.  He n ce ,   t h is   p r o j ec t  aim s   to   m ak e   i m ag e   g a ller ies  m o r e   o r g an ized   b y   in tr o d u ci n g   a  co m b i n atio n   C B I R   an d   T B I R - b ased   s y s te m   f o r   m o r e   co n v en ie n t   o f f li n e   s ea r ch e s   t h r o u g h   au to m at ic  g e n er atio n   o f   te x t u al  m etad ata  b y   u s in g   i n f o r m atio n   o b tain ed   f r o m   u s er   i n p u t  a n d   p r ev io u s   r etr iev al  r esu l ts .       2.   L I T E R AT U RE   R E VI E W   I n   m o s t o f   t h e  ea r lier   r etr ie v al  s y s te m s ,   v id eo   o r   i m a g e  co n te n ts   ar e  m an a g ed   b y   k e y w o r d s   o r   tex tu a l   m etad ata  [ 1 ] .   C o n ten t - b ased   i m a g e   r etr iev al   ( C B I R )   h o w e v er   r elies   o n   ex tr ac ti n g   t h e  ap p r o p r iate  ch ar ac ter is tic  q u a n tit ies  ca lle d   „ d escr ip to r s ‟   o r   „ f ea t u r es ‟   d escr ib in g   t h e  d esire d   co n ten ts   [ 2 ] ,   [ 3 ] .   A   C B I R   s y s te m   co n s is t s   o f   an   in ter f ac e  f o r   th e   ac q u i s itio n   o f   t h e  q u er y   i m ag e,   d atab ase s   f o r   s to r in g   in d e x i n g   d ata   an d   d is tan ce   m etr ics,  a n d   a  s i m i lar it y   co m p ar is o n   an d   r etr iev al  s y s te m .     2 . 1 .   F ea t ure  v ec t o r   ex t ra ct io n     So m e  co m m o n l y   u s ed   f ea t u r e   v ec to r s   in cl u d e  co lo u r ,   tex t u r e,   s h ap e,   s p atial  lo ca tio n ,   etc.   Du e  to   its   s tab ilit y   a n d   r o b u s t n es s ;  ap p licatio n   o f   co lo r   f ea t u r es  is   w i d ely   ac ce p ted   i n   m o s t  C B I R   ap p licatio n s .   J alab   H. A   [ 4 ]   i m p le m e n ted   an   i m a g e  r etr iev al  s y s te m   b ased   o n   co lo r   lay o u t  d escr ip to r   ( C L D)   r ep r esen tin g   t h e  s p atial  d is tr ib u t io n   o f   co lo r s ,   J ay a m ala  K. P atil  a n d   R aj   Ku m ar   [ 5 ]   s u g g e s ted   a   p lan t   leaf   d is ea s e  i m ag e   r etr iev al  u s i n g   c o lo r   m o m en t s ,   C h atzic h r is to f is   et  al  [ 6 ]   p r o p o s ed   a  co lo u r   an d   ed g e  d i r ec tiv it y   d escr ip to r   ( C E DD)   in co r p o r atin g   b o th   c o lo r   an d   tex t u r e  in f o r m at io n   i n   a  h is to g r a m .   T ex t u r e  f ea t u r e  co n tain   v al u ab le   in f o r m atio n   o n   th e   s u r f ac e  s t r u ctu r es   o f   o b j ec ts   an d   th eir   r elatio n s h ip   to   t h e  s u r r o u n d in g   e n v ir o n m e n t   [ 7 ] .   B ased   o n   p r ev io u s   r esear ch ,   it  is   f o u n d   th a t  th e  m o s t  i m p o r tan t  tex t u r e  f ea t u r es  ar e  co ar s en es s ,   co n tr ast,   d ir ec tio n alit y .   T h e  Steer ab le  P y r a m id   Mo d el  [ 8 ]   an d   Gab o r   w av ele t  T r an s f o r m   ( GW T )   [ 9 ]   ar e  am o n g   th e   m o s t  w id el y   u s ed   f ea t u r es.  U s u all y   s h ap e  f ea tu r e  r ep r esen t atio n s   ar e  o n l y   u s e f u l  a f ter   i m ag e  s eg m e n tatio n .   Kau p p in e n   et  al.   h a v e  s h o wn   t h at  Fo u r ier   d escr ip to r s   u s ed   in   2 - D  s h ap e  clas s i f icati o n   p er f o r m s   b etter   co m p ar ed   to   au to r eg r es s iv e  m o d ellin g   b ased   s h ap e   d escr ip to r   [ 10 ].     2 . 2 .   F a cia l  r ec o g nitio n   T h e  m o s t  co m m o n   m eth o d s   o f   f ac ia l  r ec o g n itio n   ar e  E i g en f ac e s ,   Fi s h er f ac es  a n d   L o ca l  B in ar y   P atter n s   His to g r a m s   ( L B P H) .   T h e  P r in cip al  C o m p o n en t  An al y s i s   ( P C A )   p r o p o s ed   b y   K ar l  P ea r s o n   ( 1 9 0 1 )   an d   Har o ld   Ho tellin g   i s   a  co r e  co m p o n e n t  o f   t h e  E ig e n   f ac es  m et h o d   w h ic h   tr ies  to   f o cu s   o n   t h e  m o s t   i m p o r tan t  co m p o n e n ts   o f   t h e   d ataset,   h o w e v er   it  d o es  n o t  co n s id er   class es   [ 1 1 ] .   I n   Fis h er f ac e s   ap p r o ac h ,   L i n ea r   Dis cr i m i n a n t  a n al y s i s   is   u s ed   to   p er f o r m   d i m e n s io n alit y   r ed u c tio n   b y   cla s s es   [ 12 ] .   L B P H  an al y s es   ea ch   f ac e  i n   th e  tr ain in g   s et  s ep ar ately   a n d   in d ep en d en tl y   [ 1 3 ] .   A p ar t  f r o m   th e  tr ad itio n a l  m eth o d s ,   t h er e  ar e   also   s o m e  m o d er n   r esear ch   d o n e  is   th i s   ar ea   an d   t h e  r esu lt s   ar e  p r o m is i n g .   Dee p Fa ce   [ 1 4 ]   is   u s ed   b y   Face b o o k   to   au t o m atica ll y   s u g g e s t  a  tag   f o r   f ac es  i n   p h o t o s   an d   v id eo s .   Face Net  [ 1 5 ]   b y   Go o g le  u s e s   a  E u clid ea n   s p ac e  f o r   i m a g e  r ep r esen tatio n   cr ea ted   i m ag e s   g e n er ated   th r o u g h   a  d ata - m in i n g   m eth o d .     2 . 3 .   Si m ila r  a pp lica t io n   Gett y   I m ag e s   is   an   e x te n s i v e  w eb - b ased   g aller y   t h at  s el l s   h i g h - q u a lit y   s to ck   i m a g es  f o r   u s e  o f   ad v er tis i n g ,   m ar k eti n g ,   a n d   m o r e.   I t  is   b ased   o n   T B I R   b y   c o llectiv e  ta g g i n g   w h er e  s ev er al  h u m an   in d e x er s   lo o k   at  n e w   i m a g e  a n d   en ter   a s s o ciate d   k e y w o r d s   a n d   p r ev i o u s   u s er   q u er ies ar e  co m b i n ed   to   f o r m   a  t h esa u r u s   f o r   f u t u r e  s ea r ch e s .   O n e  o f   t h e   ea r lies t c o m m er cial  u s e   C B I R   s y s te m s   is   th e   Qu er y   B y   I m ag e  C o n te n t ( QB I C )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o n ten t - b a s ed   I ma g e  R etri ev a l S ystem  F o r   A n   I ma g e  G a ller y  S ea r ch   A p p lica tio n   ( N ico le  Th a m )   1905   d ev elo p ed   b y   I B M.   I t  s u p p o r ts   q u er ie s   b ased   o n   u s er   s k et ch es,  q u er y   i m a g e s ,   as   w ell  a s   co lo r   an d   te x t u r e   p atter n s   s elec ted   b y   t h e  u s er   [ 1 6 ]   an d   u s es  a  co m b in a tio n   o f   co lo r ,   tex tu r e,   an d   s h ap e  as  f ea t u r e  d escr ip to r   w h ic h   i n clu d e s   an   i m p r o v ed   v er s io n   o f   th e  T a m u r a  tex tu r e  r ep r esen tatio n   [ 1 7 ] ,   an d   m aj o r   ax is   o r ie n tatio n .   I t   h as  v er y   f a s t  p er f o r m an ce   a n d   th e  r esu lt s   ar e  in v ar ia n t  to   s m all  ch an g es  i n   p er s p ec tiv es,  h o w e v er   s o m e  o f   it s   w ea k n ess e s   in cl u d e  s en s iti v it y   to   ill u m in a tio n   ch a n g es  an d   n o   lo ca lizatio n   o f   co lo u r .   L ik e. co m ,   n o w   o w n ed   b y   Go o g le  u n d er   g o o g le. co m   /s h o p p in g   u s es  C B I R   to   s ea r c h   f o r   p r o d u cts  s i m ilar   to   q u er y   an d   r et u r n   r es u lt s   o f   s i m ilar   it e m s   w it h   lin k s   to   r etailer s   s u c h   as  Am az o n . co m .   I t  also   allo w s   u s er s   to   s elec t  r eg io n s   o f   a  p r o d u ct   i m a g e  to   r etr iev e  p r o d u cts r an k ed   b y   s i m ilar   p atter n s ,   co lo u r s   an d   s h ap es.  User s   ca n   d eter m i n e  w h ich   o f   th e s e   th r ee   cr iter ia  ar e  m o r e  i m p o r tan t to   t h e m   to   i m p r o v e   th e   s ea r ch   r es u lts .   T h e  co m p a n y   Go o g le  also   h a s   a n o th er   ap p licatio n   ca lled   Go o g le  P h o to s   w h ic h   is   a  c lo u d - b ased   ap p licatio n   th at  u s e s   f ac ial  r ec o g n itio n   to   f in d   p h o to s   o f   p eo p le  in   t h e  g al ler y .   T h is   r eq u ir es  t h e  u s er   to   f i r s t  ap p l y   a  lab el  to   a  p h o t o   o f   s o m eo n e  a n d   th e y   w il l  b e  ab le  to   s ea r ch   f o r   th a t  p ar ticu lar   in d i v id u a l  u s i n g   t h at  lab el.   User s   m a y   al s o   g o   o n lin e  a n d   s ea r c h   p h o to s   b y   co m m o n   k e y w o r d s   w it h o u t d ef i n i n g   t h e m .       3.   M E T H O DO L O G Y   T h e  s y s te m   co n s is ts   o f   t h r ee   m ai n   co m p o n en t s :  th e   g a ller y   in ter f ac e,   t h e   q u er y   p r o ce s s i n g   m o d u le,   an d   th e  i m ag e  d atab ase  a n d   allo w s   th r ee   m o d es  o f   s ea r ch e s :  b y   a  r ef er en ce   i m a g e,   a  n a m e,   o r   a  p r ev io u s l y   d ef in ed   ta g .   Fig u r e  1   s h o w s   th e  to p - lev el  b lo ck   d iag r a m   f o r   t h e  o v er all  s y s te m .         Fig u r e  1 .   T o p - lev el  b lo ck   d iag r a m   o f   th e  s y s te m       3 . 1 .   R et riev a l by   f ea t ure  v ec t o rs   T h e  MP E G - 7 - lik e   P o w er ed   L o ca lized   C o lo r   an d   E d g e  Dir ec tiv it y   De s cr ip to r   ( SIM P L E - C E DD)   i s   u s ed   as  o u r   f ea tu r e  v ec to r   [ 1 8 ] .   A s   th e  s ize  o f   a  C E DD  d escr ip to r   is   m e m o r y   e f f icie n t   ( o n l y   5 4   b y te s   p er   i m a g e)   [ 6 ] ,   an d   r eq u ir es  r elati v el y   lo w   co m p u tatio n al  p o w e r   to   ex tr ac t,  it   is   s u itab le  to   b e   u s ed   f o r   s ea r c h in g   lar g e  i m a g e  d atab ases   s u c h   as  a  lo ca l  i m a g e  g aller y   i n   a   c o m p u ter .   F u r t h er m o r e,   SIM P L E - C E DD   lo ca lizes   th e  i m a g e  f ea tu r e s   b y   f ir s t  lo c atin g   f ea t u re - r ic h   r eg io n s   an d   d ef in e  t h ese  p atch e s   as  r eg io n s - of - in ter e s t  o r   R OI   b ef o r e  ex tr ac tio n .   A s   a  r es u lt,   th e  f ea t u r e  v ec to r   b ec o m es  m o r e  r o b u s t  to   i m a g e  tr an s f o r m atio n s   an d   allo w s   f aster   ex ec u tio n .   T h e  ex tr ac ted   f ea tu r e  v ec to r s   ar e  co m p ar ed   f o r   s i m ilar it y   u s in g   t h e  T an im o to   co ef f icie n t  i s   d escr ib ed   in   E q u atio n   ( 1 )   w h e r e  a  an d   b   ar e  tw o   s ep ar ate  p o in ts .                                         ∑                     ∑                   ∑                   ∑                               ( 1 )     T o   f ilter   th e  r es u lt s   to   o n l y   s h o w   th e  m o s t  s i m ilar   i m a g es ,   a  cu s to m   v ar ian t  o f   K - m ea n s   i s   u s ed   in s tead   o f   a   lo w   p as s   f ilter   a s   t h e  o p ti m u m   d i f f er en ce   th r esh o ld   ( m ea n i n g   t h at   id ea ll y ,   all  v is u all y   s i m ilar   i m a g es  s h o u ld   b e  as s o ciate d   w it h   d i f f er en ce   v al u es   b elo w   th is   t h r esh o ld )   m a y   v ar y   w i th   d if f er en t   d atasets ,   h en ce   K - m ea n s   is   u s ed   to   ad ap t  to   th e  ch an g es  o f   t h is   t h r esh o ld   v alu e.   T h e  o b j ec tiv e  o f   K - m ea n s   clu s ter in g   is   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 ,  J u n e  2 0 1 8   :   1 9 0 3   –   1912   1906   to   g r o u p   n   n u m b er   o f   e le m e n t s   o r   d ata  p o in t s   in to   k   n u m b er   o f   c lu s ter s   b y   m i n i m izi n g   t h e   t o tal  i n tr a - clu s ter   v ar ian ce   as  in   E q u atio n   ( 2 ) ,   w h er e  J   is   t h e  o b j ec tiv e  f u n ct io n ,   x i  is   t h e  o b s er v at io n   f o r   ca s e  i,  a n d   cj   is   t h e   ce n tr o id   f o r   clu s ter   j .   Fo r   th is   i m p le m e n tatio n ,   th e  n u m b er   o r   clu s ter s ,   k   is   n o t  d ef i n ed   b u t  g r ad u all y   ad d ed   w h en   a   p o in t   li es  o u ts id e  t h e   b o u n d ar ies   o f   th e  cl u s ter   r ad iu s   o f   all  e x i s ti n g   ce n tr o id s   d u r i n g   th e   f ir s t   it er atio n .   T h e  clu s ter   r ad iu s   is   d ef i n ed   at  t h e  b eg i n n in g   o f   t h e  iter atio n   an d   s er v es  as  t h e  d i f f er e n ce   t h r es h o ld   f o r   i m a g e  r etr ie v al.   Ho w e v er ,   th e  r etr ie v al  o u tp u t  w il l a l w a y s   tak e  t h e  f ir s t c l u s t er   o f   i m a g e s   w it h   t h e  lea s t d ev iatio n   r eg ar d les s   o f   w h et h er   o r   n o t  th e y   ar e  in h er e n tl y   s i m ilar   to   t h e  q u er y   i m a g e.   ( Fig u r e  2 ( a ) )   T o   r eso lv e  th i s   is s u e,   a n   ele m e n t   w it h   a  d ev ia tio n   v al u e  o f   0   ( to tall y   s i m ilar )   is   ad d ed   in to   t h e  ar r a y   b ef o r e  clu s ter in g .   T h is   ele m e n t  d o es  n o t   co r r esp o n d   to   an y   i m a g es  w h atso e v er ,   b u t  ad d ed   to   r e tr iev e  i m ag e s   o n l y   w h e n   s i m ilar   i m ag e s   ex i s t     ( Fig u r e  2 ( b ) ).             ( a)     ( b )     Fig u r e  2 .   R etr iev al  r es u lt s   w it h   n o   s i m ilar   i m a g es,  ( a)   n o   d u m m y   ele m e n t,  ( b )   w it h   d u m m y   ele m e n t       3 . 2 .   Ret riev a l by   f a ci a l r ec o g niti o n   B ef o r e  th e  s y s te m   is   ab le  to   s ea r ch   f o r   i m a g es  o f   in d i v id u a l s ,   th e  u s er   f ir s t  h a s   to   ad d   a  f ac e  in to   th e   tr ain i n g   d ataset.   Fo r   th i s   tas k ,   th e  Haa r   f ea tu r e - b ased   ca s c ad e  class if ier s   is   u s ed   f o r   f ac e  d etec tio n .   I m a g e  r eg io n s   t h at  ar e  lik el y   to   co n t ain   f ac e s   b y   ar e  lo ca ted   b y   s c an n i n g   th e  i m a g e  s e v er al  ti m e s   at  d if f er e n t  s ca le s   b y   i n cr ea s i n g   th e   R OI   i n   s u b s eq u en t   r o u n d s   to   f i n d   t h e  f ac e.   All  co n tain in g   r e g io n s   w i th   d etec ted   f ac e s   ar e   s av ed   to   th e  tr ain i n g   d ataset  a lo n g   w i th   t h e  n a m e  th a t  th e  u s er   w is h es  to   id e n t if y   it  a s .   T h is   i n f o r m atio n   w ill   b e  u s ef u l  la ter   d u r in g   te x t - b as ed   s ea r ch .   T o   s p ee d   u p   th is   p r o ce s s ,   th e  C an n y   ed g e  d etec to r   is   u s ed   to   i g n o r e  i m a g e  r eg io n s   w it h   to o   f e w   o r   to o   m u ch   ed g es.    Facial  r ec o g n itio n   is   d o n e  u s in g   P r in cip al  C o m p o n e n t  An al y s i s   ( P C A ) .   I n   t h is   ca s e,   o u r   s et  o f   tr ain i n g   i m a g es  is   co n v er ted   i n to   a  s et  o f   ca lc u lated   E ig e n f ac es.  Fo r   ea ch   p r o ce ed in g   E i g en f ac es,  th er e  ar e   less er   f ea tu r es  a n d   m o r e  n o i s e,   h en ce   o n l y   t h e  f e w   f ir s t  K  E ig en f ac e s   ar e  s elec ted .   T h is   w a y ,   th e  n u m b er   o f   v alu e s   n ee d ed   to   r ec o g n ize  it  is   r ed u ce d   an d   t h is   h elp s   to   s p ee d   u p   th e  r ec o g n i tio n   p r o ce s s   a n d   r ed u ce   er r o r   ca u s ed   b y   n o is e.   As  a  r esu lt,  th e  to tal  ti m e  tak e n   to   r etr iev e  i m ag e s   o f   in d i v id u a ls   ca n   b e  r ed u ce d .   On ce   all  i m a g es  ar e  d ec o m p o s ed   as  E i g en   v alu e s ,   th e  E u cl id ea n   E i g en - d i s tan ce   b et w ee n   th e  q u er y   i m a g e  an d   ev er y   o th er   tr ain i n g   i m a g e  in   t h e  d at ab ase  is   ca lcu lated   as i n   E q u at io n   ( 3 ) .     ‖                         ‖     √ ∑                  )                      ) )               ( 3 )     3 . 3 .   R et riev a l by   t ex t   B y   i n co r p o r atin g   „ ta g s ‟   to   t h e   C B I R   s y s te m ,   t h e  co m p u tati o n   ti m e   ca n   b e  r ed u ce d   f o r   s u b s eq u e n t   s ea r ch es  b y   f ir s t  tag g i n g   a  s in g le  o r   m u ltip le  r ef er e n ce   i m a g es.    T h e  q u er y - p r o ce s s i n g   m o d u le  th en   p r o ce ed s   to   r etr iev e  t h e  m o s t   s i m ilar   i m ag e s   w i th   r esp ec t  to   th e   q u e r y   i m ag e   a n d   th e   m o s t  s i m ilar   i m a g es   w il l  t h en   b e  class i f ied   in to   th e  s a m e  tag   ca teg o r y   d u r in g   au to m atic   tag g i n g .   O n   s u b s eq u en t   s ea r c h es,  t h e  u s er   m a y   s i m p l y   in p u t   a  p r ev io u s l y   d ef in ed   ta g   an d   th e   s y s te m   p r o ce ed s   r etr ie v e  t h e  m o s t  s i m ilar   i m a g es  w it h   t h e  s p ec i f ied   ta g   w it h o u t p er f o r m i n g   e x tr ac tio n   an d   s i m ilar it y   co m p u tat io n .   Au to - tag g i n g   w o r k s   al m o s t  s i m ilar l y   f o r   r etr iev al  b y   f ea t u r e  v ec to r s   an d   f ac ial  r ec o g n i tio n   s i n ce   th e   o u tp u t  o f   b o th   p r o ce s s   b lo ck s   ar e  a  s er ie s   o f   r elev a n t  i m ag es.  T ag g in g   i s   d o n e  w i th   a  r ef er en ce   tab le,   co n tain i n g   in f o r m atio n   th at  is   u p d ated   b y   th e  ap p licatio n   d u r in g   r u n ti m e  an d   is   n ee d ed   to   r etr iev e  im a g es   q u ick l y   w it h o u t  h av in g   to   ex t r ac t  an d   in s p ec t  th e  e m b ed d e d   tag s   o f   ev er y   i m a g e  in   t h e  d atab ase.   Na m es  a n d   n o r m al  tag s   ar e  tr ea ted   as   s e p ar ate  en titi e s   a n d   h e n c e  h av e  th eir   o w n   r esp ec ti v e  r e f er e n ce   tab les.   Fo r   b o th   s ea r ch es,  r elev a n t  i m a g es  r etr i ev ed   ar e  au to m atica ll y   ta g g ed   ac co r d in g   to   u s er   in p u t.  Du r i n g   au to   tag g i n g ,   th e  E XI F  m eta  i n f o r m atio n   o f   th e   f ile  it s elf   i s   ch a n g ed   to   ad d   t h e  in p u t  ta g ,   th e n ,   th i s   i n f o r m atio n   w ill  b e  ad d ed   to   th e   r ef er e n ce   tab le.   T o   r etr iev e  ta g g ed   i m ag e s ,   t h e  ap p lic atio n   w i ll  s ca n   t h o u g h   t h e  r e f er en ce   tab le  a n d   g et   th e  i m a g e  p at h .   Sin ce   t h e  ta g   m a y   v ar y   ac co r d in g   to   u s er   p r ef er en ce ,   t h e  E XI F   m etad at a  is   ch ec k ed .   I f   t h e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o n ten t - b a s ed   I ma g e  R etri ev a l S ystem  F o r   A n   I ma g e  G a ller y  S ea r ch   A p p lica tio n   ( N ico le  Th a m )   1907   in f o r m atio n   o f   t h at   p ar ticu lar   i m a g e  n o   lo n g er   co n tai n s   th e   co r r esp o n d in g   s ea r c h   q u er y   o r   if   t h e  i m a g e  it s el f   n o   lo n g er   e x is t s ,   th e  co r r esp o n d in g   r o w   o f   i n f o r m atio n   w il l b e  r em o v ed .       4.   RE SU L T S   4 . 1 .   P er f o r m a nce  o f   CB I R  by   f ea t ure  v ec t o rs   T o   r em o v e  th e   s u b j ec tiv it y   o f   h u m a n   p er ce p tio n   i n   clas s i f y i n g   i m a g es,  th e  C OI L - 1 0 0   d ata s et  is   u s e d   to   test   t h e  r eliab ili t y   o f   t h e  C B I R   s y s te m .   T h e  r es u lt  i s   o b ta in ed   w it h   cl u s ter   r ad iu s   o r   d if f er en ce   th r es h o ld   o f   2 0 .   8   o b j ec ts   as  s h o w n   i n   Fi g u r e  3   ar e  s elec ted   f r o m   th e  d ataset  as  q u er y   i m a g e   an d   ar e  ch o s en   b y   th eir   v ar y i n g   d if f ic u lt y   to   d if f er e n ti ate  r an g i n g   f r o m   a  ( ea s ie s t)   to   h   ( m o s t d i f f icu l t) .         Fig u r e  3 .  L is t o f   q u er y   i m a g es       T ab le  1 .   R etr iev al  P er f o r m a n c e  f o r   d if f er e n ce   T h r esh o ld   o f   2 0     A   b   C   d   E   f   g   h   N o .   o f   r e l e v a n t   i m a g e s  r e t r i e v e d   72   72   72   62   58   72   66   66   P r e c i si o n   ( %)   9 8 . 6   9 7 . 3   6 4 . 9   1 0 0   1 0 0   6 5 . 5   2 6 . 7   3 2 . 7   R e c a l l   o r   S e n si t i v i t y   ( %)   1 0 0   1 0 0   1 0 0   8 6 . 1   8 0 . 6   1 0 0   9 1 . 7   9 1 . 7   S p e c i f i c i t y   ( %)   9 9 . 9   9 9 . 9   9 9 . 5   1 0 0   1 0 0   9 9 . 5   9 7 . 5   9 8 . 1   R e l e v a n c e   ( %)   9 8 . 6   9 7 . 3   6 4 . 9   1 1 6 . 1   1 2 4   6 5 . 5   2 9 . 1   3 5 . 7   A c c u r a c y   ( %)   9 9 . 9   9 9 . 9   9 9 . 8   9 3 . 1   9 0 . 3   9 9 . 8   9 4 . 6   9 4 . 9       Fig u r e  4   an d   Fig u r e  5   ar e  th e  R OC   c u r v e  an d   t h e  P r ec is io n - R ec all  c u r v e  f o r   th is   p ar tic u lar   s et  o f   q u er y   i m ag e s .   T h e  g r ap h s   ar e  p lo tted   w it h   m u lt ip le  s ets  o f   p r ec is io n ,   r ec all,   an d   s p e cif icit y   v al u es  f o r   d if f er e n t t h r esh o ld   v a lu e s   r an g in g   f r o m   5   to   3 0 .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 ,  J u n e  2 0 1 8   :   1 9 0 3   –   1912   1908         Fig u r e  4 .   R OC   C u r v e     Fig u r e  5 .   P r ec is io n - R ec al l c u r v e       4 . 2 .   P er f o r m a nce  o f   CB I R  by   f a c ia l r ec o g nitio n   I m ag e s   f o r   th is   d ataset  ar e  p r o d u ce d   b y   Dr .   L ib o r   Sp ac ek   f r o m   th e  Dep ar t m e n t  o f   C o m p u te r   Scien ce   o f   U n iv er s it y   o f   E s s e x .   T h e   s et  f o r   t h is   test   co n tai n   5 6   i m a g es  o f   8   d i f f er en t  in d i v i d u als,  4   m ale s   a n d     4   f e m ales.   Face s   o f   4   i n d iv id u als   ar e  tr ai n ed   w it h   4   i m ag e s   a n d   t h ese  i m a g e s   ar e  o m itte d   f r o m   th e   g aller y   d ata b ase  to   test   t h e  r eliab ilit y   o f   t h e  f ac ial  r ec o g n itio n   s y s t e m .   Fi g u r e  6   s h o w s   t h e  tr ai n i n g   i m ag e s   f o r   f o u r   d if f er e n t i n d iv id u als.         Fig u r e  6 .   T r ain in g   i m ag e s   f o r   4   d if f er en t i n d i v id u al s       T ab le  2 .   R etr iev al  P er f o r m a n c e  f o r   E ig en   d is ta n ce   T h r esh o ld   o f   2500     N o .   o f   r e l e v a n t   i m a g e s re t r i e v e d   P r e c i si o n   ( %)   R e c a l l   o r   S e n si t i v i t y   ( %)   S p e c i f i c i t y   ( %)   R e l e v a n c e   ( %)   A c c u r a c y   ( %)   I   7   1 0 0   1 0 0   1 0 0   1 0 0   1 0 0   J   7   3 1 . 8   1 0 0   7 3 . 2   3 1 . 8   8 6 . 6   K   7   35   1 0 0   7 6 . 8   35   8 8 . 4   L   7   1 0 0   1 0 0   1 0 0   1 0 0   1 0 0   A v e r a g e   r e l e v a n c e   f o r   t h i s  se t   =   6 6 . 7 %   A v e r a g e   a c c u r a c y   f o r   t h i s   se t   =   9 3 . 7 5 %   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o n ten t - b a s ed   I ma g e  R etri ev a l S ystem  F o r   A n   I ma g e  G a ller y  S ea r ch   A p p lica tio n   ( N ico le  Th a m )   1909   Fig u r e  7   s h o w   s o m e   f al s e  d ete ctio n s   o f   i n d iv id u a ls   w h o s e  f a ce s   ar e  u n tr ain ed .   No te  t h at  s u b j ec t  I ,   J ,   K,   L   in   t h i s   ex p er i m en t i s   n a m ed   as „ o n e ‟ ,   „ t w o ‟ ,   „ t h r ee ‟ ,   an d   „ f o u r ‟   r esp ec ti v el y   in   t h e  d ete ctio n   lab els.         Fig u r e  7 .   Fals e  d etec tio n s       4 . 3 .   G ra ph ica l u s er   i nte rf a ce   Sh o w n   in   F ig u r e  8   is   th e  u s er   in ter f ac e  b u ilt  to   i m p le m e n t  t h e  o v er all  s y s te m .   T ab le  3   d e s cr ib es  its   f u n ctio n alit y   b y   lab eled   r eg io n s   i n   m o r e  d etail.           Fig u r e  8 .   Ov er v ie w   o f   GUI       T ab le   3 .   GUI   F u n ctio n ali t y   b y   lab eled   R eg io n s   R e g i o n   F u n c t i o n   A   S e l e c t   g a l l e r y   d a t a b a se   t o   b e   se a r c h e d .   B   L o a d   i mag e s w i t h o u t   p e r f o r mi n g   C B I R   o r   c l e a r   i m a g e   t h u m b n a i l s.   C   L i st v i e w   d i sp l a y s i mag e   t h u m b n a i l s o f   l o a d e d   o r   r e t r i e v e d   i mag e s.  A l l   t h u m b n a i l s a r e   se l e c t a b l e   a n d   c a n   b e   d o u b l e   c l i c k e d   f o r   a   l a r g e r   p r e v i e w   o f   t h e   i mag e .   D   S e l e c t   se a r c h   mo d e   ( b y   n a me ,   i mag e ,   o r   t a g )   a n d   a d d   t a g   t o   se l e c t e d   i m a g e .   E   A   p r e v i e w   o f   t h e   q u e r y   i ma g e   w i l l   b e   sh o w n   h e r e   w h e n   se a r c h i n g   b y   i mag e   F   A l l o w   u se r   t o   a d d   f a c e s a n d   t h e i r   c o r r e sp o n d i n g   n a me s  i n t o   t h e   d a t a b a se   a n d   se e   w h i c h   i n d i v i d u a l s a r e   d e t e c t e d   i n   t h e   se l e c t e d  i mag e .       5.   DIS CU SS I O N   T h e  s y s te m   co n s is ts   o f   t h r ee   m ai n   co m p o n en t s :  th e   g a ller y   in ter f ac e,   t h e   q u er y   p r o ce s s i n g   m o d u le,   an d   th e  i m ag e  d atab ase  a n d   allo w s   th r ee   m o d es  o f   s ea r ch e s :  b y   a  r ef er en ce   i m a g e,   a  n a m e,   o r   a  p r ev io u s l y   d ef in ed   ta g .   Fig u r e  1   s h o w s   th e  to p - lev el  b lo ck   d iag r a m   f o r   t h e  o v er all  s y s te m .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 ,  J u n e  2 0 1 8   :   1 9 0 3   –   1912   1910   5 . 1 .   P er f o r m a nce  a na ly s is   o f   t he  f ea t ure  v ec t o r   T h e  d escr ip to r   is   s h o w n   to   h av e  v er y   h i g h   ac cu r ac y   as  s h o w n   in   T ab le  1   as  it  is   a b le  to   r etr iev e  al m o s t  all  i n s ta n ce s   o f   t h e  o b jects  ( h ig h   r ec all)   w h ile  w ee d i n g   o u t  a  m aj o r ity   o f   u n r elate d   i m ag e s   a m o n g   all   th e  7 1 2 8   im ag e s   ( h ig h   s p ec i f icit y ) .   Ho w e v er ,   in   s o m e  i n s t an ce s   it  is   s til l  ea s y   to   co n f u s e  th e  q u er y   i m ag e   w it h   o t h er   u n r elate d   o b j ec ts   ( m ed iu m   r ele v a n ce )   in   t h e  d ata b ase  w h e n   t h e  s h ap e  i s   i n co n s is ten t  w it h   d i f f er en t   p er s p ec tiv es  an d   w h e n   th er e  a r e  im a g es  w it h   s i m ilar   co lo u r   an d   tex t u r e  in   th e  d atab ase.   T h e  r ea s o n   f o r   th is   i s   b ec au s e  t h e  r etr ie v al   s y s te m   w il l  al w a y s   r an k   v i s u a ll y   s i m i lar   i m a g es   as   h ig h er   i n   s i m ilar it y   to   h e lp   th e   u s er s   f ilter   o u t i m a g es t h at  ar e  v er y   lik el y   u n r elate d   r ath er   th a n   d et er m in in g   t h e  co n te x t o r   d ef in it io n   o f   th e  i m a g es.     5 . 2 .   Ana ly s is   o f   RO C  a nd   p re cisi o n - re ca ll  c urv es a nd   s elec t io n o f   t hresh o ld  v a lue   B ased   o n   T ab le  1 ,   th er e  ar e  s p ec ial  ca s es  s u ch   a s   o b j ec t  d   an d   e  w h er e  t h e  p r ec is io n   v a l u e  i s   1 0 0 %  w h ile  r ec all  is   less   t h an   1 0 0 %.  T h is   is   lik el y   b ec a u s e  s o m e  o f   th e  o th er   s i m ilar   i m a g es  in   th e  q u eu e  d id   n o t   m ak e  i t  in to   t h e  f ir s t  clu s ter   d u e  to   a  lo w   d if f er en ce   t h r es h o ld .   W ith   h i g h er   t h r es h o ld s ,   th e  s e n s iti v it y   o r   av er ag e   r ec all  w il l  b e  h i g h er ,   h o w ev er   th e   s p ec i f icit y   w i ll  b e  lo w er   as   ca n   b e  s ee n   i n   Fi g u r e  3 .   T h is   tr ad e - o f f   is   also   ap p ar en t  i n   th e  p r ec is i o n - r ec all  c u r v e  w h er e  t h e  m o r e  w e  tr y   to   in cr ea s e  r ec all  to   f in d   m o r e  i n s ta n ce s   o f   r elev an t i m a g e s ,   th e  m o r e  t h e  p r ec is io n   v a lu e  d ec r ea s es.   I t  is   o b s er v ed   t h at  a   cl u s ter   r a d iu s   o r   d if f er e n ce   t h r es h o ld   b et w ee n   2 0   a n d   2 5   is   p r ef er r ed   as  t h e  la s t   r elev an t   i m ag e   i n   t h e  d ataset   w il l  te n d   h a v e  d e v iatio n   v alu e s   i n   b et w ee n   t h at  r a n g e.   T h o u g h   f o r   m o r e  d iv er s e   i m a g es  h av in g   m o r e  co lo u r s   an d   d iv er s e  b ac k g r o u n d s ,   lar g er   th r es h o ld   v al u es  w it h in   t h at  r an g e  ar e  m o r e   ef f ec tiv e.   I t  is   p o s s ib le  to   a s s es s   th e  p r ec is io n - r ec all  tr ad e - o f f s   u s in g   t h e  w ei g h ted   h ar m o n ic  m ea n   i n   E q u atio n   ( 4 )   w h er e  F  is   t h e  w eig h ted   h ar m o n ic  m ea n ,   P   an d   R   is   th e  p r ec is io n   an d   r ec all  v alu e  r esp ec ti v el y   f o r   th at  p ar ticu lar   t h r es h o ld   an d   α   is   th e  w ei g h t to   e m p h as ize   m o r e  o n   eith er   p r ec is io n   o r   r ec all.                           )                       ( 4 )     T o   ch o o s e  th e  m o s t  s u itab le  t h r es h o ld ,   a  th r esh o ld   v al u e  co r r esp o n d in g   to   th e  p air   o f   p r ec is io n   a n d   r ec all  v alu e  th at  h as  t h e  h ig h e s t  F  s co r e  s h o u ld   b e  ch o s e n .   I f   p r ec is io n   is   m o r e  i m p o r tan t  t o   th e  u s er ,   α   s h o u ld   b e  lar g er   an d   co n v er s e l y   i f   r e ca ll  is   m o r e  i m p o r tan t,  α   s h o u ld   b e  lo w er ,   alt h o u g h   in   t h i s   co n tex t  i t  en t ir el y   d ep en d s   o n   u s er   p r ef er e n ce .   A  m o r e  b alan ce d   F1   is   d e s cr ib ed   in   E q u at io n   ( 5 )   an d   i s   m o r e  co m m o n l y   u s ed   b y   r esear ch er s   f ac i n g   th e  p r ec is io n - r ec all  tr ad e - o f f   p r o b lem .                                        ( 5)     5 . 3 .   P er f o r m a nce  a na ly s is   o f   t he  f a cia l  r ec o g nitio n   s y s t e m   T h e  r etr iev al  p er f o r m a n ce   s h o w s   a  h ig h   av er a g e  ac cu r ac y   h o w e v er   th e  r es u lt s   ar e  n o t  v er y   co n s is ten t  f o r   d if f er en t   in d i v id u als  a n d   th is   i s   d u e  to   s e v er al  f ac to r s .   No tice  i n   Fi g u r e  5   th a t  in d i v id u al s   J   an d   K  h a v e  m o r e  v ar ia tio n s   i n   f a cial  ex p r es s io n s   i n   tr ai n i n g   i m ag e s .   I n   ap p licatio n ,   i t  i s   i m p o r ta n t  to   ad d   m o r e  v ar iatio n s   i n   e x p r ess io n s   f o r   ea ch   i n d iv id u al   an d   in   d if f er en t  li g h t in g   co n d itio n s   a s   i m a g e s   o f   p eo p le  ten d   to   h av e  d i f f er en t  e x p r ess io n s   o n   d if f er e n t  s ess io n s .   Ho w e v er ,   in   t h is   ca s e  it  ca u s es  s o m e  co n f u s io n   w i th   o t h er   in d iv id u als  w h o s e  f ac e s   ar e  n o t  tr ain ed .   T h is   is   o n e  o f   th e  li m itatio n s   o f   t h e  E ig e n f ac e  ap p r o ac h   as  it  ten d s   to   lo o k   at  th e  tr ai n i n g   d ataset  as   a  w h o le  r ath er   t h a n   an a l y zi n g   ea ch   f ac e  i n   t h e  s e t  in d i v id u all y .   Ho w ev er ,   t h e   r ec o g n itio n   ca n   b e  i m p r o v ed   b y   ad d in g   m o r e  in d iv id u al  f ac es  i n to   th e  d ataset  to   r ed u ce   th e  n u m b er   o f   u n k n o w n   i n d iv id u als o r   b y   i n c r ea s in g   th e  E i g e n   d is tan ce   t h r e s h o ld   to   in cr ea s e  p r ec is io n .       6.   CO NCLU SI O N   A ll   t h e  o b j ec tiv es  h av e   b ee n   m et  a n d   t h e  t h r ee   d if f e r en t  s ea r c h   m o d e s   w er e  s u cc ess f u l l y   i m p le m en ted   o n   a n   i m a g e  g a l ler y   s o f t w ar e.   Fo r   r etr iev al  b y   q u er y   i m a g e,   t h e  f ea tu r e  v e cto r s   ar e  ex tr ac ted   u s i n g   SIM P L E - C E D D  an d   r es u lts   s h o w   a  m ed i u m   av er a g e  r elev an ce   o f   7 8 . 9 % a n d   a  h i g h   ac cu r ac y   o f   9 6 . 5 %.  T h is   s h o w s   t h at  t h e  s y s te m   i s   ef f ec ti v e  i n   f ilter i n g   o u t  u n w a n ted   i m ag e s   h o w ev er   it   is   p o s s ib le  to   f u r th er   i m p r o v e  th e  o v er all  r ele v an ce   b y   i n co r p o r atin g   clas s if icatio n   alg o r it h m s   to   class i f y   v i s u al l y   d if f er en t  i m a g es   so   th at  t h e  r etr ie v al  r es u lts   ca n   b e  i m p r o v ed   b y   tak i n g   i n to   ac co u n t  t h e  co n tex t  o r   d ef in i tio n   o f   t h e  i m a g es  th e m s el v es.  Ne x t,  r etr iev al  b y   f ac ial  r ec o g n itio n   i s   b u il t  ar o u n d   t h e  E ig e n   f ac es  m et h o d .   T h e  r esu lts   s h o w   a n   av er ag e  r ele v a n ce   o f   6 6 . 7 %  a n d   an   ac c u r ac y   o f   9 3 . 7 %,  h o w e v er   i n   s o m e   ca s es   t h e  r es u l ts   ar e  n o t  d esira b le   d u e  to   f alse  d etec tio n s   f o r   u n k n o w n   f ac e s   an d   th is   is   a n   i n h er e n t  w ea k n e s s   i n   th e  E i g e n f ac e s   m e th o d .   As  f u tu r e  w o r k ,   it  is   r ec o m m en d e d   to   ex p lo r e  o th er   m et h o d s   o f   f ac ial  r ec o g n it io n   s u c h   as  L B P H  to   d eter m i n e  i f   it  is   p o s s ib le  to   i n cr ea s e  t h e  p r ec is io n   ( an d   t h u s ,   r elev an ce )   o f   t h e  r etr iev al  r e s u l t s .   A n d   las tl y ,   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o n ten t - b a s ed   I ma g e  R etri ev a l S ystem  F o r   A n   I ma g e  G a ller y  S ea r ch   A p p lica tio n   ( N ico le  Th a m )   1911   co m p u tatio n al  r eq u ir e m e n ts   o f   s u b s eq u en t  s ea r c h es   w er e  r e d u ce d   b y   i n te g r atin g   C B I R   with   T B I R   u s i n g   th e   co n ce p t o f   r ef er en ce   tab les .       RE F E R E NC E S   [1 ]   L o n g ,   F . ,   Zh a n g ,   H.,   &   F e n g ,   D.  D.,   ( 2 0 0 3 ),   “ F u n d a m e n tals  o f   c o n ten t - b a se d   im a g e   re tri e v a l” ,   In   M u lt ime d i a   In fo rm a t io n   Retrie v a l  a n d   M a n a g e me n t ,   p p .   1 - 2 6 ,   S p rin g e r  Be rli n   He id e lb e rg .   [2 ]   R   Zh a n g ,   Y.  J. ,   ( 2 0 0 5 ),   A d v a n c e d   T e c h n iq u e s f o r  Ob jec t - Ba se d   Im a g e   Re tri e v a l.   [3 ]   Y.  K.  J.  K.  Zu k u a n   W EI,   Ho n g y e o n   KIM,   “ A n   e ff icie n t  c o n ten t  b a se d   ima g e   re tri e v a l  sc h e m e , ”   T EL KOM NIKA   ( T e lec o mm u n ica ti o n   Co mp u ti n g   El e c tro n ics   a n d   C o n tro l) ,   v o l.   1 1 ,   n o .   1 1 ,   p p .   6 9 8 6 - 6 9 9 1 ,   N o v e m b e r  2 0 1 3 .   [4 ]   Ja lab ,   H.  A .   ( 2 0 1 1 ,   S e p tem b e r),   “ Im a g e   re tri e v a l  s y ste m   b a se d   o n   c o lo r  lay o u t  d e sc rip to r   a n d   G a b o r  f il ters ” .   [5 ]   Ja y a m a la  Ku m a r  P a ti l,   Ra j  Ku m a r,   (2 0 1 3 ),   “ P lan t  L e a f   Dise a se   Im a g e   R e tri e v a l  Us in g   Co lo r  M o m e n ts” ,   IAE S   In ter n a t io n a l  J o u rn a l  o f  Art if icia l   In telli g e n c e   ( IJ - AI) ,  v o l.   2 ,   n o .   1 ,   p p.   36 - 4 2 .   [6 ]   Ch a tzic h risto f is,   S .   A . ,   &   Bo u tali s,  Y.  S . ,   (2 0 0 8 ,   M a y ),   “ CEDD:  c o lo u r  a n d   e d g e   d irec ti v it y   d e sc ri p to r:  a   c o m p a c t   d e sc rip to r  f o r  im a g e   in d e x in g   a n d   re tri e v a l ” .   [7 ]   T a m u ra ,   H.,   M o ri,   S . ,   &   Ya m a w a k i,   T . ,   (1 9 7 8 ),   “ T e x tu ra l  f e a t u re s  c o r re sp o n d in g   to   v isu a l  p e rc e p ti o n ”,   IE E E   T ra n sa c ti o n s  o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s ,   v o l.   8 ,   n o .   6 ,  p p .   460 - 4 7 3 .   [8 ]   S im o n c e ll i,   E.   P . ,   &   F re e m a n ,   W .   T . ,   (1 9 9 5 ,   Oc to b e r),   “ T h e   ste e ra b le  p y ra m id :  a   f le x ib le  a rc h it e c tu re   f o r  m u l ti - sc a le d e riv a ti v e   c o m p u tatio n ” ,   In   ICIP ,   v o l.   3 ,   p p .   4 4 4 - 4 4 7 .   [9 ]   B.   S .   M a n ju n a th   a n d   W .   Y.  M a .   “ T e x tu re   f e a tu re s  f o r  b ro w sin g   a n d   re tri e v a l  o f   larg e   i m a g e   d a ta ”   IEE E   T ra n sa c ti o n s   o n   P a tt e rn   A n a lys is  a n d   M a c h in e   In telli g e n c e ,   (S p e c ia l  Iss u e   o n   Dig it a l  L ib ra ries ),   v o l.   1 8 ,   n o .   8 ,  A u g u st 1 9 9 6 ,   p p .   8 3 7 - 8 4 2 .   [1 0 ]   Ka u p p i n e n ,   H.,   S e p p a n e n ,   T . ,   &   P ietik a in e n ,   M ,   ( 1 9 9 5 ) ,   “ A n   e x p e ri m e n tal  c o m p a riso n   o f   a u t o re g re ss iv e   a n d   F o u rier - b a se d   d e sc rip t o rs  i n   2 D   sh a p e   c las sif ica ti o n ” ,   IEE E   T r a n sa c ti o n s   o n   P a tt e rn   An a lys is  a n d   M a c h in e   In telli g e n c e ,  v o l.   1 7 ,   n o .   2 ,  p p .   201 - 2 0 7 .   [1 1 ]   V id y a   M S ,   A ru l  K,   “ A u to m a ted   A tt e n d a n c e   S y ste m   T h ro u g h   Ei g e n   F a c e s  Us in g   I m a g e   P ro c e ss in g ” ,   In ter n a ti o n a l   J o u rn a l  o f  In fo rm a ti c s  a n d   Co mm u n ica ti o n   T e c h n o l o g y   ( IJ - ICT ) ,   2 0 1 6   De c   1 ,   v o l .   5 ,   n o .   3 ,   p p .   1 1 1 - 11 8.   [1 2 ]   F ish e r,   R.   A . ,   (1 9 3 6 ),   “ T h e   u se   o f   m u lt ip le  m e a s u re m e n ts  in   tax o n o m ic  p ro b lem s ” ,   An n a ls  o f  e u g e n ics ,  v o l.   7 ,     n o .   2 ,  p p .   1 7 9 - 1 8 8   [1 3 ]   A h o n e n ,   T . ,   Ha d id ,   A . ,   &   P ietik ä in e n ,   M ,   (2 0 0 4 ),   “ F a c e   re c o g n i ti o n   w it h   lo c a l  b in a ry   p a tt e rn s” ,   C o mp u ter   v isio n - e c c v   2 0 0 4 ,  p p .   4 6 9 - 4 8 1 .   [1 4 ]   T a ig m a n ,   Y.,   Ya n g ,   M . ,   Ra n z a to ,   M .   A . ,   &   W o lf ,   L ,   (2 0 1 4 ),   “ De e p f a c e :  Clo sin g   th e   g a p   to   h u m a n - lev e l   p e rf o r m a n c e   in   fa c e   v e ri f ic a ti o n ” ,   In   Pro c e e d in g s  o f  th e   IEE E   Co n fer e n c e   o n   Co mp u ter   Vi si o n   a n d   Pa t ter n   Rec o g n it io n ,   p p .   1 7 0 1 - 1 7 0 8 .   [1 5 ]   S c h ro f f ,   F . ,   Ka len ich e n k o ,   D.,   &   P h il b i n ,   J,  ( 2 0 1 5 ) ,   “ F a c e n e t:   A   u n if ied   e m b e d d in g   f o r  fa c e   r e c o g n it io n   a n d   c lu ste rin g ” ,   In   Pr o c e e d in g s   o f  th e   IEE E  C o n fer e n c e   o n   Co m p u ter   V isio n   a n d   P a tt e rn   Rec o g n it io n ,  p p .   8 1 5 - 8 2 3 ).   [1 6 ]   Nib lac k ,   C.   W . ,   Ba rb e r,   R. ,   Eq u it z ,   W . ,   F li c k n e r,   M .   D.,   G las m a n ,   E.   H. ,   P e tk o v ic,  D.,   . . .   &   Tau b in ,   G ,     (1 9 9 3 ,   A p ril ),   “ QBIC  p ro jec t:   q u e ry in g   i m a g e s  b y   c o n ten t,   u si n g   c o lo r,   tex tu re ,   a n d   sh a p e ” ,   I n   IS & T /S PIE 's   S y mp o si u m  o n   El e c tro n ic  I ma g i n g :  S c ien c e   a n d   T e c h n o lo g y ,   p p .   1 7 3 - 1 8 7 ,   In ter n a ti o n a l  S o c iety   f o r  Op ti c s  a n d   P h o t o n ics .   [1 7 ]   T a m u ra ,   H.,   M o ri,   S . ,   &   Ya m a w a k i,   T ,   (1 9 7 8 ),   “ T e x tu ra l  f e a t u re s  c o r re sp o n d i n g   to   v isu a l  p e rc e p ti o n ” ,   IEE E   T ra n sa c ti o n s  o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s ,   v o l.   8 ,   n o .   6 ,   p p .   460 - 4 7 3 .   [1 8 ]   Ia k o v id o u ,   C. ,   A n a g n o sto p o u lo s ,   N.,   Ka p o u tsis,  A .   C. ,   Bo u tali s,  Y.,   &   Ch a tzic h risto f is,   S .   A . ,   (2 0 1 4 ,   J u n e ) ,   “ S e a rc h in g   i m a g e s  w it h   M P EG - 7   (&   m p e g - 7 - li k e )   p o w e re d   lo c a li z e d   d e sc rip to rs:  th e   S IM P L E  a n sw e r  to   e ffe c ti v e  c o n ten t  b a se d   im a g e   re tri e v a l”,   I n   Co n te n t - Ba se d   M u lt ime d ia   In d e x in g   ( CBM I),   2 0 1 4   1 2 th   In ter n a ti o n a l  W o rk sh o p   on ,   p p .   1 - 6 ,   IEE E.       B I O G RAP H I E S   O F   AUTH O RS        Nic o le  Th a m   La y   M e i   g ra d u a ted   w it h   a   B a c h e lo r‟s   d e g re e   in   El e c tro n ic  E n g in e e rin g   f ro m   Un iv e rsiti   T e k n o lo g i   M a lay sia   in   2 0 1 7 .   He r  w o rk   in tere sts  a re   p ri m a ril y   in   th e   a re a   o f   ro b o ti c s  a n d   a u to n o m o u s m a c h in e s.  S h e   c u rre n tl y   re sid e s in   S a b a h ,   M a lay sia         S y a h m i  S y a h ir a n   B in   Ah m a d   Rid z u a n   is  c u rre n tl y   d o in g   h is  P h D  a t  th e   F a c u lt y   o f   El e c tri c a l   En g in e e rin g ,   Un iv e rsiti   T e k n o lo g i  M a la y sia .   He   o b tain e d   h is  Ba c h e lo r‟s  d e g re e   in   El e c tri c a l,   El e c tro n ic  a n d   A u to m a ti o n   E n g in e e rin g   f ro m   Un iv e rsité  d e   F ra n c h e - Co m té ,  Be sa n ç o n   a n d   h is   M a ste r‟s  d e g re e   in   Ne tw o rk ,   T e l e c o m m u n ica ti o n ,   M u lt im e d ia  a n d   A u to m a ti o n   f ro m   Un iv e rsité   d e   P o it iers .   His res e a rc h   in tere st  is   p rim a ril y   in   i m a g e   p ro c e ss in g   f ield .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 ,  J u n e  2 0 1 8   :   1 9 0 3   –   1912   1912     Dr   Z a i d   O m a r   is   a   s e n io r  lec tu re r  a t  th e   F a c u lt y   o f   El e c tri c a l  En g in e e rin g ,   Un iv e rsiti   T e k n o lo g i   M a la y sia .   He   o b tain e d   h is  P h D  i n   El e c tri c a l  En g in e e rin g   f ro m   I m p e rial  Co ll e g e   L o n d o n   i n   2 0 1 2 .   His res e a rc h   in tere sts in c lu d e   im a g e   p ro c e ss in g ,   m a c h in e   lea rn in g ,   a n d   m e d ica l  ima g in g .       Evaluation Warning : The document was created with Spire.PDF for Python.