T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   18 ,   No .   4 A u g u s t   2020 ,   p p .   1 8 9 2 ~ 189 6   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 8 i4 . 1 1 1 7 6     1892       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   princi pa l co m p o nent  a na ly sis - ba sed featu re di m e n sio na lity  reduction s che m e  f o r cont ent - ba sed i m a g retr i ev a l sy ste m       O luw o le  A.   Adeg bo la 1 I s m a il A.   Adey e m o 2 F o la s a de  A.   Se m ire 3   Seg un   I .   P o po o la 4 ,   Adere m i A .   At a y er o 5   1, 2, 3 De p a rtm e n o f   El e c tro n ic an d   El e c tri c a En g in e e rin g ,   L a d o k e   Ak in to la Un iv e rsity   o f   T e c h n o lo g y ,   Nig e ria   4, 5 De p a rtm e n o f   El e c tri c a a n d   In f o r m a ti o n   En g in e e rin g ,   C o v e n a n t   Un iv e rsity ,   Nig e ria       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 3 2 0 1 8   R ev i s ed   Ma r   2 3 ,   2 0 2 0   A cc ep ted   A p r   3 ,   2 0 2 0       I n   c o n t e n t - b a s e d   im a g e   re t r i e v a ( C B I R )   sy s t e m ,   o n e   a p p r o a c h   o f   im a g e   r e p r e se n t a t i o n   i s   t o   e m p l o y   c o m b i n a t i o n   o f   l o w - l e v e l   v i s u a l   f e a t u r e c a s c a d e d   t o g e t h e r   i n t o   a   f l a v e c t o r .   W h i le  t h i s   p r e se n t s   m o re   d e s c r i p t iv e   i n f o rm a t i o n ,     i t   h o w e v e r   p o s e s   se r i o u s   c h a l l e n g e s   i n   t e rm s   o f   h i g h   d i m e n s i o n a l i ty   a n d   h i g h   c o m p u t a t i o n a l   c o s t   o f   f e a t u r e   e x t ra c t i o n   a l g o r i t h m s   t o   d e p l o y m e n t   o f   CB I R   o n   p l a t f o rm s   ( d e v i c e s )   w i t h   l im i te d   c o m p u t a t i o n a l   a n d   s t o r a g e   re s o u rc e s .   He n c e ,   i n   t h i s   w o rk   a   f e a t u r e   d i m e n s i o n a l i ty   re d u c t i o n   t e c h n i q u e   b a s e d   o n   p r i n c i p a l   c o m p o n e n t   a n a ly s i s   ( P C A )   i s   im p l e m e n t e d .   E a c h   im a g e   i n   a   d a t a b a s e     i s   i n d e x e d   u s i n g   1 7 4 - d i m e n s i o n a l   f e a t u r e   v e c t o r   c o m p r is i n g   o f   5 4 - d i m e n s i o n a c o l o u r   m o m e n t s   ( C M 5 4 ) ,   3 2 - b i n   H S V - h i s t o g r a m   ( H I S T 3 2 ) ,   4 8 - d im e n s i o n a l   g a b o r   w a v e l e ( G W 4 8 )   a n d   4 0 - d i m e n s i o n a w a v e l e m o m e n t ( M W 4 0 ) .     T h e   P CA   s c h e m e   w a s   i n c o r p o r a t e d   i n t o   a   C B I sy s t e m   t h a u t i l i z e d   t h e   e n t i re   f e a t u r e   v e c t o r   s p a c e .   T h e   k - l a r g e s e i g e n v a l u e s   t h a t   y i e l d e d   a   n o t   m o r e   t h a n   5 %   d e g r a d a t i o n   i n   m e a n   p re c i s i o n   w e r e   r e ta i n e d   f o r   d im e n s i o n a l i ty   r e d u c t i o n .   T h r e e   im a g e   d a ta b a se s   ( D B 1 0 ,   D B 2 0   a n d   D B 1 0 0 )   w e r e   u s e d   f o r   t e s t i n g .     T h e   re s u l t   o b t a i n e d   s h o w e d   t h a t   w i t h   8 0 %   re d u c t i o n   i n   f e a t u r e   d im e n s i o n s ,   t o l e r a b l e   l o s o f   3 . 4 5 ,   4 . 3 9   a n d   7 . 4 0 %   i n   m e a n   p re c i s i o n   v a l u e   w e re   a c h i e v e d   o n   D B 1 0 ,   D B 2 0   a n d   D B 1 0 0 .   K ey w o r d s :   C o n te n t - b ased   i m a g r etr iev al   s y s te m     F e a tu r e   d im en s i o n a li ty   r e d u c t io n     L o w - lev el  v i s u al  f ea t u r e   P r in cip al  co m p o n e n t a n al y s is   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Seg u n   I .   P o p o o la   Dep ar t m en t o f   E lectr ical  an d   I n f o r m atio n   E n g in ee r i n g ,     C o v e n an t U n i v er s it y ,   P . M. B .   1 0 2 3 ,   Ota,   Nig er ia .     E m ail:  s e g u n . p o p o o la@ co v e n an tu n i v er s it y . ed u . n g       1.   I NT RO D UCT I O N   O n e   o f   t h e   c h al l en g es   o f   r e l e v a n c e   f ee d b a c k   ( R F )   in   im ag e   r e t r i ev a l   is   t h e   i n h e r e n t   cu r s e     o f   d im en s i o n al i ty   o c c as i o n e d   b y   s m al l   s am p l e   s i z e   w it h   h ig h   f e a tu r e   d im en s i o n .   T h e r ef o r e ,   f o r   R F   t e ch n i q u es  w h ic h   a r e   b a s e d   o n   t r a in in g   c l a s s if i e r   u s i n g   f e e d b a ck   e x am p l e s ,   th e   c u r s e   o f   d im en s i o n a li ty   c an   d e t e r i o r at   t h e   c la s s if ie r   p e r f o r m an c e ,   th er e b y   l e a d in g   t o   p o o r   r e t r i e v al   r e s u l ts .   T o   m it ig a t e   th i s   p r o b l em ,   a   t e ch n i q u e   th a r e l i e s   o n   th e   p r o p e r t ie s   o f   th e   f e e d b a ck   ex am p l es   f o r   s el e c tin g   a   l o w e r   d im en s i o n a l   f e a tu r e ,   t h at   w il l   s e r v e   a s   g o o d   r e p r e s en t at iv e   f o r   c l ass if ic a t i o n   c an   b e   em p l o y e d .   I n   th is   w ay ,   a   s ig n if i ca n t   d im en s i o n a l i ty   r e d u c ti o n   c a n   b e   a c h i ev e d   b y   r em o v in g   i r r e l ev an t   o r   r e d u n d an t   f e a tu r es ,   t h u s   l e a d in g   t o   a   s ig n if i c an t   d e c r ea s e   in   t r a in in g   t im a n d   m em o r y   c o m p l ex i t i es ,   an d   b e t t e r   cl a s s if i e r   p e r f o r m a n ce   [ 1 ,   2 ] .   A p p r o a ch e s   f o r   f e a tu r e   d im en s i o n a li ty   r e d u c ti o n   h a v e   b e en   g r o u p e d   in t o   tw o   [ 3 ] ( a )   t h o s e   th a in v o l v es   l in e a r   o r   n o n l in e a r   m a p p in g   f r o m   t h e   o r ig in al   f e at u r s p a ce   t o   a   n e w   o n e   o f   l o w e r   d im en s i o n a l ity .   N o t a b le   am o n g   th es e   a r e   l in e a r   d i s c r im i n a n t   an a ly s i s   [ 4 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         A   p r in cip a l c o mp o n en a n a lys is - b a s ed   fea tu r d imen s io n a lit r ed u ctio n   s ch eme   ( Olu w o le  A .   A d eg b o la )   1893   a n d   p r i n c i p a l   c o m p o n e n t   a n al y s i s   [ 1 ,   5 - 7 ] ;   ( b )   t h o s e   th a t   d ir e c t ly   r e d u c e   th e   n u m b e r   o f   th e   o r ig in a l   f e a tu r es    b y   s el e c tin g   a   s u b s e t   o f   th em   t h at   s t i ll   r e t a in s   s u f f ic i en t   i n f o r m a ti o n   f o r   cl a s s if ic a t i o n .   I n   g e n e r al ,   a p p r o a c h es    i n   th i s   ca t eg o r y   c an   b e   g r o u p e d   i n t o   tw o   n am e ly :   f i l t e r   m eth o d s   an d   w r a p p e r   m e th o d s   [ 8 ] .   T h f ilter   m et h o d s   ar g en er all y   n o cla s s i f ier   d ep en d en as  t h e y   ac q u ir n o   f ee d b ac k   f r o m     th clas s i f ier s ,   b u d ep en d   o n   in d ir ec as s es s m e n t s   li k d is tan ce   m ea s u r to   esti m ate  cla s s i f icatio n   p er f o r m a n ce   o n   t h o th er   h a n d ,   th w r ap p er   m eth o d s   ar cl ass i f ier s   d ep en d en a n d   ar k n o w n   to   y ield   b etter   class i f icatio n   p er f o r m an ce   [ 8 ,   9 ] .   Ma n y   f ea t u r es  s elec t io n   m et h o d s   f o r   class i f icatio n   h a v b ee n   p r o p o s ed     in   th l iter atu r e,   [ 1 0 ]   w ith   m a n y   e x p er i m e n tal  r es u lt s   in   f av o u r   o f   th w r ap p er   m et h o d s   [ 8 ,   1 1 ,   1 2 ] .   Ho w e v er ,   in   s p ite  o f   g o o d   class if icatio n   p er f o r m an ce ,   th w r ap p er   m et h o d s   h av li m ited   ap p licatio n   d u to   h ig h   co m p u tatio n al  co m p le x it y ,   e s p ec iall y   w h e n   ap p lied   to   s u p p o r t v ec to r   m ac h i n ( SVM)   cla s s i f ier s .     P C A   is   d i m e n s io n alit y   r e d u ctio n   tec h n iq u th at   tr an s f o r m s   t h o r ig i n al  s et  o f   f ea tu r es  i n to     s m al ler   s u b s e t th a t a cc o u n t f o r   as  m u c h   o f   t h to tal  v ar iati o n   in   t h d ata  as p o s s ib le  [ 1 3 ] .   I t is  w id el y   u s ed   i n   th ar ea   o f   p atter n   r ec o g n iti o n ,   co m p u ter   v is io n   a n d   s i g n al  p r o ce s s i n g   [ 7 ] .   Se v er al  o p ti m alit y   p r o p er ties     o f   P C A   h av b ee n   id en ti f ied   n a m e l y v ar ian ce   o f   e x tr ac ted   f ea tu r es  i s   m a x i m ized th e x tr ac ted   f ea tu r es  ar u n co r r elate d f i n d s   b est  li n ea r   ap p r o x im a tio n   i n   th m ea n - s q u ar s en s an d   m ax i m ize s   in f o r m at io n   co n tai n ed   i n   th e x tr ac ted   f ea t u r [ 1 4 ] .     T h e s e   p r o p e r t i es   o f   P C A   h av a t t r a c t e d   r es e a r ch   o n   PC A - b as e d   v a r i a b l e   s e le c t i o n   m e th o d s   [ 7 ,   1 3 - 1 8 ]   an d   h a s   b ee n   ap p lied   to   r elev an ce   f ee d b ac k   in   b o t h   d o cu m en a n d   i m a g r etr ie v al  s y s te m s   [ 1 ,   5 ,   6 ] .   I n   [ 1 ] ,     n o v el   P C A - b ased   f ea tu r d i m en s io n al it y   r ed u ctio n   s c h e m ( o r   ap p r o ac h )   w a s   p r o p o s ed   f o r   th R F   f r a m e w o r k   w it h   v ie w   to   ca p tu r in g   t h s u b j ec tiv clas s   i m p lied   i n   t h p o s iti v ex a m p les .   Si m i lar l y ,     th w o r k s   o f   C o x ,   et  a l,  [ 1 9 ]   an d   Va s co n ce lo s   &   L ip p m a n   [ 2 0 ] ,   e m p lo y ed   B a y e s ian   l ea r n in g   to   i n te g r ate   u s er s   f ee d b ac k   f o r   u p d atin g   i m ag e   p r o b ab ilit y   d is tr ib u tio n   an d   s u b s eq u en tl y   r e - r an k   i m a g es i n   th d atab ase.     I w a s   r ep o r ted   th at  t h s c h e m ( o r   ap p r o ac h )     r ed u ce d   th e   av er ag e   r etr iev al   ti m e   a n d   s ig n if ican t l y   r ed u ce d   s to r ag s p ac e   u tili za ti o n .   Ho w e v er ,   th p r ec is io n   m ea s u r in   to p   2 0   r etr iev al     r esu lts   in   f o u r   f ee d b ac k   iter atio n s   w a s   45 % .   T h is   m a y   b d u e   to   th e   f ai lu r e   o f   B a y esia n   cla s s i f ier s   to   u s t h f e w   a v ailab le  i m a g e   s a m p les   g ath er ed   o v er   th e   f ee d b ac k   iter atio n s   to   es ti m ate  t h cla s s   p r o b ab ilit y   d i s tr ib u ti o n .   I w as   s tated   b y   Yin ,   B h a n u ,   C h a n g   an d   Do n g   [ 2 1 ]   th at  o n o f   t h s h o r tco m in g s   o f   t h B a y e s ian   ap p r o ac h   i s   t h at  it   r eq u ir e s   m o r f ee d b ac k   iter atio n s   to   g a th er   m o r s a m p le s ,   w h ic h   is   n o al w a y s   av a ilab le  in   r ea ti m r etr i ev al  s y s te m s ,   to   ef f ec ti v el y   esti m ate   t h p r o b ab ilit y   d is tr ib u tio n   o f   t h i m a g s a m p les .   I n   o th er   to   ad d r ess   t h e   co m p u tatio n a co m p le x it y   is s u e,   a   SVM - b ased   tec h n iq u e ,   ter m ed   f ilter ed     an d   s u p p o r ted   s eq u en tial   f o r w ar d   s ea r c h ,   w as   p r o p o s ed   f ea t u r s elec tio n   [ 3 ] .   T h tech n iq u i n te g r ates     th f ilter   a n d   w r ap p er   p ar ts   i n to   o n s c h e m b y   le v er ag i n g   o n   t h eir   u n iq u e   s tr e n g th s .   R es u lts   o f   e x p er i m en ta o n   b o th   s y n t h etic  a n d   r ea d a ta  s h o w ed   ef f ec ti v e n ess   o f   t h e   m e th o d   r eg ar d in g   clas s if ica tio n   ac c u r ac y .   Ho w e v er ,   g i v en   t h f ac t h at  m u c h   s m aller   d ata co m p ar ed   to   w h at  o b tain s   in   C B I R   s y s te m   w as   u s ed   to   ev alu a te  th s y s te m ,   an   a v er ag r u n - ti m o f   1 6 . 2 3   s ec o n d s   w as  r ec o r d ed   Su ch   len g th y   r u n   ti m is   n o t   ac ce p tab le  f o r   C B I R   s y s te m   with   R F f r a m e w o r k .       2.   M AT E RIAL S AN M E T H O DS   2 . 1 .     F e a t ure  ex t ra ct io n   Featu r e x tr ac tio n   is   o n v er y   cr u cia tas k   in   C B I R   ap p li ca tio n ,   an d   i is   t h co r o f   an y   s u c h     s y s te m   [ 4 ] .   T h ex tr ac tio n   o f   s u itab le  f ea tu r e s   f r o m   th i m a g es  i n f lu e n ce s   to   g r ea t   ex ten th c h o ice     o f   th in d e x i n g   s tr u c t u r an d   th q u er y   p r o ce s s in g   u n it.  I n   v i e w   o f   t h is ,   v ar io u s   m eth o d s   o f   f ea tu r ex tr ac tio n   to   ex tr ac v ar io u s   t y p es   o f   v i s u al   co n te n ts   f r o m   th e   i m ag e s   h av e   b ee n   d e v elo p ed   an d   a r b ein g   i m p r o v ed   u p o n   o v er ti m e   [ 2 2 ,   2 3 ] .   T h r e g e n er ic  d o m ai n   i m a g d ata b ases   ( DB 1 0 ,   DB 2 0   an d   DB 1 0 0 )   w er e m p lo y ed   w it h   ea ch   i m ag d atab ase  in d ex ed   u s in g   t w o   co lo u r   m o d els  ( C M5 4   an d   HI S T 3 2 )   an d   t w o   tex t u r m o d els   ( GW 5 4   an d   W M4 0 ) .   A d eg b o l a,   A b o r is ad e,   P o p o o la  an d   A ta y er o   [ 2 4 ]   p r esen ts   d etailed   d es cr ip tio n   o f   v ar io u s   i m a g d atab ase  an d   f ea t u r ex tr ac tio n   m o d els.     2 .2   F e a t ure   s elec t io m o del   I n   g e n er ic  s y s te m ,   it  i s   ex t r e m el y   d i f f icu lt  to   k n o w   t h e   p ar ticu lar   f ea t u r m o d el ( s )   t o   b u s ed     to   u n iq u el y   id en ti f y   ce r tai n   g r o u p s   o f   i m ag e s .   T h er ef o r e,   co m b in a tio n   o f   s ev er al   i m a g f ea t u r m o d el s     is   u s u all y   e m p lo y ed   w it h   t h ass u m p tio n   t h at  at  least  o n w il h av th ab il it y   to   ca p tu r th u n iq u id e n tit y   o f   th tar g eted   i m ag e s .   T h is   ap p r o ac h   p o s es  s ev er al  ch alle n g e s .   First,  b ec au s t h i m a g f ea tu r e s     ar ca s ca d ed   as  f lat  v ec to r ,   s u c h   ar r an g e m e n m a y   i n cr ea s th c h an ce s   o f   d ilu tin g   th e   f ea tu r co m p o n e n t   th at  u n iq u el y   id en ti f ie s   t h e   tar g eted   i m a g g r o u p .   T h i s   m a y   also   lead   to   w h at  i s   k n o w n   as   cu r s e     o d imen s io n a lity   in   C B I R   s y s te m   t h at  e m p lo y s   m ac h i n lear n i n g   tec h n iq u es  f o r   r elev an ce   f ee d b ac k .     C o s o f   f ea tu r e x tr ac tio n   al g o r ith m   i s   an o t h er   is s u e   w h ich   m a y   b ec o m p r o h ib iti v as  t h n u m b er   o f   f ea t u r d escr ip to r s   in cr ea s es.   I n   v ie o f   t h i s ,   i n clu d i n g   to o   m an y   f ea tu r es  i s   o b v io u s l y   n o f ea s i b le  f o r   ap p licatio n   in v o l v i n g   h u m a n - m ac h i n e   i n ter ac tio n .   Si n ce   s u c h   s y s te m   i s   e x p ec ted   to   b f ast   e n o u g h   f o r   s m o o t h   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   4 A u g u s t 2 0 2 0 :    1 8 9 2   -   1 8 9 6   1894   in ter ac tio n ,   t h s elec t io n   o f   m o s ap p r o p r iate  f ea tu r es  to   r eld u ce   co m p u tat io n al  b u r d en   b ec o m e s   i m p er ati v e   an d   to   ac h iev t h i s ,   p r o ce d u r e   th at  u s es   Pr in cip al  C o m p o n e n An al y s is   i s   e m p lo y ed   in   t h i s   w o r k .   Ass u m b in ar y   clas s i f ica tio n   p r o b lem ,   g i v en   s et   o f   lab el  tr ain in g   d ata  { (   ,   )   = 1 ,   |   0 }   w h er s a m p le      an d   { 1   ,   1 } L et        = { 1 , 2 , . , }   ( 1)     b th s et  o f   all  f ea t u r es u n d er   ex a m i n atio n ,   an d   let     = { (   ,   )   |     = 1 , 2 , . , } =   { [ 1 , 2 , . , ] , |     = 1 , 2 , . , }   ( 2)     d en o te  th tr ain i n g   s et  co n tai n in g   N   tr ai n i n g   p air s ,   w h er   is   th n u m er ical  v a lu o f   f ea t u r   f o r   th i th   tr ain i n g   s a m p le.   T h g o al   o f   d i m en s io n al it y   r ed u cti o n   is   to   f in d   m i n i m al   s et  o f   f ea tu r e s     = { 1 , 2 , . ,  }   to   r ep r esen t th i n p u v ec to r   X   in   lo w er   d i m e n s io n al  s p ac as     = { 1 , 2 , . ,  }   ( 3)     w h er < ,   w h ile  t h clas s i f icatio n   o b tain ed   in   t h lo w - d i m e n s i o n al  s p ac s till   y ield s   t h d esir ed   ac cu r ac y .     2 . 3   P rincipa l c o m po nent  a n a ly s is   P C A   is   a   s tatis t ical   p r io ce d u r e   f o r   h ig h   d i m e n s io n alit y   r ed u c tio n   o f   f ea t u r s p ac e.   I u s es  o r th o g o n al   tr an s f o r m atio n   to   d ec o r r elate   s et  o f   co r r elate d   f ea t u r s p ac to   en h a n ce   v ar ian c b y   e m p h az is i n g     th d ir ec tio n s   o f   p r in cip al   v ar iatio n   o f   d ataset  [ 2 5 ] .   C o n s id er   s et   o f   d - d im en s io n a v ec to r s     { = [ 1 , , ] }   w it h   d is tr ib u tio n   ce n tr ed   at  th o r ig in ,   ( ) = 0 .   T h co v ar ian ce   is   o b tain ed   u s i n g   ( 4 )      = { ( ) ( ) } = { } ,   ( 4)     w h er   is   t h ex p ec tatio n   o p er ato r .   T h p ar am eter s      ca n   b ar r an g ed   to   f o r m   t h ×   co v ar ian c m atr ix     = { ( ) ( ) } = {  }     ( 5)     Ass u m in g    ( ) 0 ,   th en   b y   ap p l y in g   ei g en v ec to r   d ec o m p o s it i o n ,     ca n   b d ec o m p o s ed   in t o     th p r o d u ct  o f   th r ee   m atr ices:     = Λ 1   ( 6)     w h er e,   Λ = dia g { λ 1 , , λ d }   is   th E ig e n v al u m a tr ix .   = [ w 1 , , w d ] T   f o r m s   s et  o f   o r th o n o r m al  b asis   v ec to r s   ca lled   E ig e n v ec to r s .     Fo r   d i m en s io n al it y   r ed u ctio n ,   o n l y   th s et  o f   o r th o n o r m a b ases   v ec to r s   r es u lti n g   f r o m   t h k - lar g est   E ig en v al u es  ar r etai n ed .   T h is   w i ll  r es u lt  i n to   s i g n if ica n t   f ea tu r d i m en s io n al it y   r e d u ctio n .   No r m al l y ,     th k - lar g est  E i g e n v al u es  t h a c o n s tit u tes  9 5 o f   t h e   to tal  E ig en v al u es  ar r etain ed   f o r   d i m en s io n ali t y   r ed u ctio n .   Ho w e v er ,   th is   w o r k   e m p lo y ed   p r ec is io n /r ec all  g r ap h   to   d ete r m i n th e   d i m en s i o n   o f   f ea tu r to   b r etain ed T h is   is   m o r o b j ec tiv c h o ice,   s i n ce   t h r es u lt i n g   lo w er   d i m e n s io n al  f ea t u r e   v ec to r s   ar u s ed     f o r   d is tan ce   ( s i m ilar it y )   m ea s u r e m en t   i n   i m a g r etr iev al  s y s te m   w i th   r ele v an ce   f ee d b ac k .   C o n s eq u e n tl y ,     th n u m b er   o f   f ea tu r d i m en s io n   r eta in ed   i s   b ased   o n   5 m a x i m u m   lo s s   co n s tr ain i m p o s ed   o n     th p r ec is io n /r ec all  g r ap h .               3.   RE SU L T A ND  AN AL Y SI S   C o m b in a t i o n   o f   v is u a l   d es c r i p t o r s   r e s u lt s   t o   in c r e as e   in   th e   d im en s i o n   o f   th e   r esu l t in g   f e a tu r e   v e c t o r .   N o r m al ly ,   th r e s u lt in g   f e at u r m o d e l ,   w h i ch   i s   th e   c o n c at en at i o n   o f   in d iv i d u a f e a tu r e   v e ct o r s ,   c o u l d   h av e   v e r y   h ig h   d im en s i o n s   an d   th u s   in c r e a s e   t h e   l at en cy   o f   R F   s ch em e   e v en   o n   m e d iu m - s i z e   im ag d a t a b a s e .   H en c e ,   in   o r d e r   t o   m i t ig at e   th cu r s o f   d im e n s i o n a li ty   p r o b l em   a s s o c i a t e d   w i th   m ac h in e   le a r n in g   b a s e d   R F   s ch em e r e d u c in g   th e   d im en s i o n s   o f   f e at u r e   v e ct o r s   m ay   b e   n e ce s s a r y .   I n   th is   s tu d y ,   p r i n c i p a l   c o m p o n e n t   a n a ly s i s   ( PC A )   i s   in te g r at e d   t o   th e   d ev el o p e d   O C - S V M   R F   f o r   th e   p u r p o s e   o f   f e a tu r e   v ec t o r   d im en s i o n al i ty   r e d u c ti o n   A   cr iter io n   o f   5 m a x i m u m   d e g r ad ati o n   in   m ea n   p r ec is io n   v al u w as  u s ed   to   d eter m i n e     th d i m e n s io n   o f   f ea t u r v ec to r   t o   k ee p .   T h ef f ec o f   f e atu r v ec to r   d i m en s io n al it y   r ed u ctio n   is   s h o w n     in   Fig u r 1 .   T h m a x i m u m   m ea n   p r ec is io n   v alu e s   obt a i n ed   o n   DB 1 0 ,   DB 2 0   an d   DB 1 0 0   w er e   0 . 9 0 6 7 ,   0 . 7 2 6 6   an d   0 . 7 2 7 5   r esp ec tiv el y ,   f o r   8 0 r e d u ctio n   in   f ea t u r v ec to r   d im en s io n .   W h ile  a   r ed u ctio n   o f   f ea t u r e   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         A   p r in cip a l c o mp o n en a n a lys is - b a s ed   fea tu r d imen s io n a lit r ed u ctio n   s ch eme   ( Olu w o le  A .   A d eg b o la )   1895   d i m en s io n   b y   8 3 f o r   DB 1 0 ,   DB 2 0   an d   DB 1 0 0   r esu lted   in to   m ea n   p r ec is io n   v a lu e s   o f   0 . 6 9 3 3 ,   0 . 5 0 9 3     an d   0 . 3 6 5 7   r esp ec tiv el y .   Fig u r 2   s h o w s   th co m p ar is o n   b et w ee n   t h O C - SVM  R th at  u s ed   t h w h o le  1 74 - d i m en s io n a l   f ea t u r ( ST D)   an d   th OC - SVM  R w i th   P C A   th at  u s ed   3 5 - d i m en s io n a f ea t u r es  ( P C A ) .     T h m a x i m u m   m ea n   p r ec is io n   v al u es  o f   0 . 9 4 0 0 ,   0 . 7 6 0 0   a n d   0 . 7 8 6 0   w er ac h ie v ed   o n   th DB 1 0 ,   DB 2 0     an d   DB 1 0 0   r esp ec tiv el y   f o r   t h ST D .   T h m ax i m u m   m ea n   p r ec is io n   ac h ie v ed   w it h   P C A   o n   t h DB 1 0 ,   DB 2 0   an d   DB 1 0 0   w er 0 . 9 0 6 7 ,   0 . 7 2 6 6   an d   0 . 7 2 7 5   r esp ec tiv el y .   T h u s   a n   8 0 r ed u ctio n   i n   f ea t u r d i m e n s io n ,   y ield ed   to ler ab le  d eg r ad atio n   o f   3 . 5 4 %,  4 . 3 9 an d   7 . 4 in   m ax i m u m   m ea n   p r e cisi o n   p er f o r m a n ce   o n   DB 1 0 ,   DB 2 0   an d   DB 1 0 0   r esp ec tiv el y .         D a t a b a se   D B 1 0   D B 2 0   D B 1 0 0   r e d u c t i o n   80%   8 3 %   80%   8 3 %   80%   8 3 %   M e a n   P r e c i si o n   0 . 9 0 6 7   0 . 6 9 3 3   0 . 7 2 6 6   0 . 5 0 9 3   0 . 7 2 7 5   0 . 3 6 5 7     Fig u r 1 .   Me an   p r ec is io n   r es u l t   o f   th O C - SVM  R w it h   P C A   o f   d i f f er en t d i m en s io n al it y   r ed u ctio n         D a t a b a se   D B 1 0   D B 2 0   D B 1 0 0   r e d u c t i o n   S T D   P C A   S T D   P C A   S T D   P C A   M e a n   P r e c i si o n   0 . 9 4 0 0     0 . 9 0 6 7   0 . 7 6 0 0     0 . 7 2 6 6   0 . 7 8 6 0   0 . 7 2 7 5       Fig u r 2 .   Me an   p r ec is io n   r es u l t   o f   th O C - SVM  r elev a n ce   f e ed b ac k     w it h   P C A   u tili zi n g   8 0 % d i m e n s io n alit y   r ed u ctio n       4.   CO NCLU SI O N     I n   C B I R   s y s te m   d e s ig n ed   f o r   g e n er ic  i m a g d atab ases ,   it  is   g en er al   p r ac tice  to   r ep r esen i m a g e s   u s i n g   co m b i n atio n   o f   s e v er al  d if f er e n i m a g f ea t u r es  w i th   v ie w   to   ca p tu r i n g   ex tr i n f o r m at io n   t h at  m a y   i m p r o v r etr iev al  ac cu r ac y .   T h is   u s u all y   r es u lt s   in   h i g h   d i m en s io n a lit y   o f   v is u al  f ea tu r v ec to r s   f o r   C B I R   s y s te m   w i th   clas s i f ier - b ased   r elev an ce   f ee d b ac k   s ch e m e.   I n   th is   p ap er ,   th is s u o f   cu r s e   o f   d im e n s io n alit y     is   ad d r ess ed   u s in g   P C A - b a s ed   f ea tu r s elec tio n   ap p r o ac h .   T h f ea tu r s elec tio n   m o d el  w as  i n c o r p o r ated   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   4 A u g u s t 2 0 2 0 :    1 8 9 2   -   1 8 9 6   1896   in to   an   ex i s is tin g   OC - SVM  R r etr iev al  s y s te m .   T h f in d in g s   r ev ea led   th a b y   allo w i n g   5 lo s s   to ler an ce   in   m ea n   p r ec is o n ,   it  w a s   p o s s ib le  to   ac h ie v 8 0 r ed u ctio n   i n   f ea tu r v ec to r   d i m e n s io n alit y ,   w h ile  a tte m p t     to   in cr ea s th e   p er ce n ta g r ed u c tio n   o f   f ea t u r v ec to r   d i m e n s io n   r es u lted   in to   p o o r   r etr iev al  r esu lt s .       Ref er ence s   [1 ]   Z .   S u ,   S .   L i ,   a n d   H .   Z h a n g ,   " E x tr a c t i o n   o f   f e a t u r e   s u b s p a c e s   f o r   c o n t e n t - b a s e d   r e t r i e v a l   u s i n g   r e le v a n c e   f e e d b a c k , "   P r o c e e d i n g s   o f   t h e   n i n t h   A C M   i n t e r n a t i o n a l   c o n f e r e n c e   o n   M u l t i me d i a ,   p p .   9 8 - 1 0 6 2 0 0 1 .   [2 ]   A .   M a ra k a k is ,   N .   G a l a ts a n o s ,   A .   L ik a s ,   a n d   A .   S t a f y l o p a t i s ,   " R e l e v a n c e   f e e d b a c k   f o r   c o n t e n t - b a s e d   im a g e   re t r i e v a u s i n g   s u p p o r t   v e c t o r   m a c h i n e s   a n d   f e a t u r e   se l e c t i o n , "   A r t i f ic i a l   Ne u r a l   N e t w o rk   I C A N 2 0 0 9 ,   S p r i n g e r ,   v o l .     5768   p p .   9 4 2 - 9 5 1 2 0 0 9 .   [3 ]   Y .   L i u   a n d   Y .   F .   Z h e n g ,   " F S _ S F S :   A   n o v e l   f e a t u r e   se l e c t i o n   m e t h o d   f o r   s u p p o r t   v e c t o r   m a c h i n e s , "   P a t t e r n   R e c o g n i t i o n ,   v o l .   3 9 ,   n o .   7 ,   p p .   1 3 3 3 - 1 3 4 5 ,   2 0 0 6 .   [4 ]   K.   P .   C h u n g ,   " I n t e l l i g e n t   c o n t e n t - b a s e d   im a g e   re t r i e v a l   f ra m e w o rk   b a se d   o n   s e m i - a u t o m a te d   l e a r n i n g   a n d   h i s t o r i c   p r o f i l e s , "   T h e s i s ,   M u r d o c h   U n i v e rs i ty ,   2 0 0 7 .   [5 ]   Y .   L u ,   I .   C o h e n ,   X.   S .   Z h o u ,   a n d   Q .   T ia n ,   " F e a t u r e   se l e c t i o n   u s i n g   p r i n c i p a l   f e a t u r e   a n a ly s i s , "   Pr o c e e d i n g s   o f   t h e   1 5 t h   A C M   i n t e r n a t i o n a l   c o n f e r e n c e   o n   M u l t i m e d i a ,   p p .   3 0 1 - 304 2 0 0 7 .   [6 ]   R .   T a v o l i   a n d   F .   M a h m o u d i ,   " P CA - b a se d   r e le v a n c e   f e e d b a c k   i n   d o c u m e n t   im a g e   r e t r ie v a l , "   I J CS I   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   S c i e n c e   I s s u e s v o l .   9 ,   n o .   2 ,   p p .   4 9 7 - 5 0 2 ,   J u l y   2012.   [7 ]   M .   S u g a n t h y   a n d   P .   R a m a m o o r th y ,   " P r i n c i p a l   c o m p o n e n t   a n a ly s is   b a se d   f e a t u r e   e x t r a c t i o n ,   m o r p h o l o g i c a l   e d g e   d e t e c t i o n   a n d   l o c a l i z a t i o n   f o r   f a s t   ir i s   r e c o g n i t i o n , "   J o u r n a l   o f   C o m p u t e r   sc i e n c e ,   v o l .   8 ,   n o .   9 ,   p p .   1 4 2 8 - 1433 ,   2 0 1 2 .   [8 ]   R .   K o h a v i   a n d   G .   H .   J o h n ,   " W r a p p e r s   f o r   f e a t u r e   s u b s e t   s e l e c t i o n , "   A r t i f i c i a l   i n t e l l i g e n c e ,   v o l .   9 7 ,   n o .   1 - 2 ,   p p .   2 7 3 - 3 2 4 ,   D e c e m b e r   1997.   [9 ]   F .   A l o n s o   A t i e n z a ,   J .   L .   R o j o   Á lv a re z ,   A .   R o sa d o   M u ñ o z ,   J .   J .   Vi n a g r e ,   A .   G a rc í a   A l b e r o l a ,   a n d   G .   C a m p s   Va l l s ,   " F e a t u r e   s e le c t i o n   u s i n g   s u p p o r t   v e c t o r   m a c h i n e s   a n d   b o o t s t r a p   m e th o d s   f o r   v e n t r i c u l a r   f i b r i l l a t i o n   d e t e c t i o n , "   E x p e r S y s t e ms   w i t h   A p p l i c a t i o n s ,   v o l .   3 9 ,   n o .   2 ,   p p .   1 9 5 6 - 1 9 6 7 ,   2 0 1 2 .   [1 0 ]   I .   G u y o n ,   J .   W e s t o n ,   S .   B a r n h i l l ,   a n d   V.   Va p n i k ,   " G e n e   se l e c t i o n   f o r   c a n c e r   c la s s if ic a t i o n   u s i n g   s u p p o r t   v e c t o m a c h i n e s , "   M a c h i n e   l e a r n i n g ,   v o l .   4 6 ,   p p .   3 8 9 - 4 2 2 ,   2 0 0 2 .   [1 1 ]   B . H .   J u a n g   a n d   S .   K a t a g i r i ,   " D i sc r im i n a t iv e   le a r n i n g   f o r   m i n im u m   e r r o r   c l a ss if i c a t i o n   ( p a t t e r n   r e c o g n i t i o n ) , "   I E E E   T r a n s a c t i o n s   o n   s i g n a l   p r o c e s s i n g ,   v o l .   4 0 ,   n o .   1 2 ,   p p .   3 0 4 3 - 3 0 5 4 ,   1 9 9 2 .   [1 2 ]   H .   W a ta n a b e ,   T .   Y a m a g u c h i ,   a n d   S .   K a t a g i r i ,   " D i sc r im i n a t iv e   m e t r i c   d e s ig n   f o r   r o b u s t   p a t t e r n   r e c o g n i t i o n , "   I E E T r a n s a c t i o n s   o n   S i g n a l   P r o c e s s i n g ,   v o l .   4 5 ,   n o .   1 1 ,   p p .   2 6 5 5 - 2 6 6 2 ,   1 9 9 7 .   [1 3 ]   I.   Jo ll if f e ,   " P r in c ip a c o m p o n e n a n a ly sis, "   In ter n a ti o n a e n c y c lo p e d i a   o sta ti stica sc ie n c e S p rin g e r   p p .   1 0 9 4 - 1 0 9 6 ,   2 0 1 1   [1 4 ]   A .   T sy m b a l ,   S .   P u u r o n e n ,   M .   P e c h e n i z k iy ,   M .   B a u m g a r t e n ,   a n d   D .   W .   P a t t e r s o n ,   " E i g e n v e c t o r - B a s e d   F e a t u r e   E x t r a c t i o n   f o r   C la s s if ic a t i o n , "   F L AI RS - 0 2   P r o c e e d i n g s ,   p p .   3 5 4 - 3 5 8 2002 .   [1 5 ]   W .   J .   K rz a n o w sk i ,   " S e l e c t i o n   o f   v a r i a b l e s   t o   p r e se rv e   m u l t iv a r i a te   d a t a   s t r u c t u r e ,   u s i n g   p r i n c i p a l   c o m p o n e n t s , "   A p p l i e d   S t a t i s t i c s ,   v o l .   3 6 ,   n o .   1 ,   p p .   2 2 - 3 3 ,   1 9 8 7 .   [1 6 ]   W .   J .   K r z a n o w s k i ,   " A   s t o p p i n g   r u l e   f o r   s tr u c t u r e - p r e s e rv i n g   v a r i a b l e   s e l e c t i o n , "   S t a t i s t i c s   a n d   C o m p u t i n g ,   v o l .   6 ,     p p .   5 1 - 5 6 ,   1 9 9 6 .   [1 7 ]   M .   M a n s o r ,   S .   Ya a c o b ,   M .   Ha r i h a r a n ,   S .   Ba s a h ,   S .   A .   J a m i l ,   M .   M .   K h i d i r e t   a l . ,   " F u z z y   k - N N   a n d   k - N N   A lg o r i t h m   f o r   f a s t   I n f a n t   C u e s   De t e c t i o n , "   W o r l d   C o n g r e s s   o n   M e d i c a l   P h y s i c s   a n d   B i o m e d i c a l   E n g i n e e r i n g   M a y   2 6 - 3 1 ,   2 0 1 2 ,   B e i j i n g ,   C h i n a ,   2 0 1 3 ,   p p .   1 2 6 0 - 1 2 6 3 .   [1 8 ]   F .   S o n g ,   Z .   G u o ,   a n d   D .   M e i ,   " F e a t u r e   se l e c t i o n   u s i n g   p r i n c i p a l   c o m p o n e n t   a n a ly s is , "   2 0 1 0   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e ,   E n g i n e e r i n g   D e s i g n   a n d   M a n u f a c t u r i n g   I n f o r m a t i z a t i o n ,   p p .   2 7 - 30 2 0 1 0 .   [1 9 ]   I .   J .   C o x ,   M .   L .   M i l l e r ,   T .   P .   M i n k a ,   T .   V.   P a p a t h o m a s ,   a n d   P .   N .   Y i a n i l o s ,   " T h e   B a y e s i a n   im a g e   re t r i e v a l   sy s tem ,   P i c H u n t e r :   t h e o r y ,   im p lem e n t a t i o n ,   a n d   p s y c h o p h y s i c a l   e x p e r im e n t s , "   I E E E   t r a n s a c t i o n s   o n   i m a g e   p r o c e ss i n g ,   v o l .   9 n o .   1 ,   p p .   2 0 - 3 7 ,   2 0 0 0 .   [2 0 ]   N .   Va s c o n c e l o s   a n d   A .   L i p p m a n ,   " L e a r n i n g   f r o m   u se r   f e e d b a c k   i n   i m a g e   re t r i e v a l   sy s t e m s , "   A d v a n c e s   i n   n e u r a l   i n f o r m a t i o n   p r o c e s s i n g   s y s t e m s ,   p p .   9 7 7 - 986 2 0 0 0 .   [2 1 ]   P.   Y .   Y i n ,   B .   B h a n u ,   K .   C .   C h a n g ,   a n d   A .   D o n g ,   " I n t e g r a t i n g   r e le v a n c e   f e e d b a c k   t e c h n i q u e s   f o r   im a g e   r e t r i e v a l   u s i n g   r e i n f o rc e m e n t   l e a r n i n g , "   I E E E   t r a n s a c t i o n s   o n   p a t t e r n   a n a l y s i s   a n d   m a c h i n e   i n t e l l i g e n c e ,   v o l .   2 7 ,   n o .   1 0 ,     p p .   1 5 3 6 - 1 5 5 1 ,   2 0 0 5 .   [2 2 ]   Y .   R u i ,   T .   S .   H u a n g ,   a n d   S . - F .   C h a n g ,   " Im a g e   r e tr i e v a l :   C u r re n t   t e c h n i q u e s ,   p r o m i s i n g   d i r e c t i o n s ,   a n d   o p e n   i s s u e s , "   J o u r n a l   o f   v i s u a l   c o m m u n i c a t i o n   a n d   i m a g e   r e p r e s e n t a t i o n ,   v o l .   1 0 ,   n o .   1 ,   p p .   3 9 - 6 2 ,   1 9 9 9 .   [2 3 ]   F .   L o n g ,   H .   Z h a n g ,   a n d   D .   D .   F e n g ,   " F u n d a m e n t a ls   o f   c o n t e n t - b a s e d   im a g e   r e t r ie v a l , M u l t im e d i a   I n f o rm a t i o n   R e t r i e v a l   a n d   M a n a g e m e n t ,   S p r i n g e r ,   p p .   1 - 26 2 0 0 3 .   [2 4 ]   O .   A .   A d e g b o l a ,   D .   O .   A b o r i s a d e ,   S .   I .   P o p o o l a ,   a n d   A .   A .   A tay e r o ,   " P e r f o rm a n c e   Ev a l u a t i o n   o f   Vi s u a l   D e sc r i p t o r s   f o Im a g e   I n d e x i n g   i n   C o n t e n t   B a s e d   Im a g e   R e tr i e v a l   S y s tem s , "   I C C S A   2 0 1 8 :   C o m p u t a t i o n a l   S c i e n c e   a n d   I t A p p l i c a t i o n s     I C C S A   2 0 1 8 ,   p p .   5 3 9 - 5 4 9 ,   2 0 1 8 .   [2 5 ]   K .   I .   D i a m a n t a r a s   a n d   S .   Y .   K u n g ,   P r i n c i p a l   c o m p o n e n t   n e u r a l   n e t w o r k s :   t h e o ry   a n d   a p p l i c a t i o n s :   J o h n   W i l e y   &   S o n s I n c . ,   1 9 9 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.