T E L KO M NIK A , V ol . 17 No. 5,  O c tob er  20 1 9,  p p.2 57 2 ~ 25 8 6   IS S N: 1 69 3 - 6 93 0 accr ed ited   F irst  Gr ad e b y K em en r istekdikti,  Decr ee  No: 2 1/E/ K P T /20 18   DOI: 10.12928/TE LK OM N IK A .v 1 7 i 5 . 10202      25 72       Rec ei v ed   J un 5 , 2 01 8 ; Re v i s ed   F eb r u ary  10 20 1 9 A c c ep ted   Ma r c h 1 2 , 2 0 1 9   Und ers tan din user in ten tio n i n im a ge retrie v a l g eneraliz a tio n s electio u sing     mu lt iple c on c ep t h ierar c hies       A b d e lmad jid Y o u ce f a * 1 M o h amm ed L amin e Kh er f i 2 , Bel al  Kh a ldi 3 , O u ss am A iadi 4   1 L AG E L a b o r a to ry Uni v e r s i t é   Ka s d i  M a rb a h   O u a rg l a Al g e ri a   2 L AM IA  L a b o ra to ry Uni v e r s i t é  d u  Qué b e c   à  T ro i s - Riv i è r e s ,  3 3 5 1 b o u l d e s  F o r g e s   C.P.  5 0 0 T ro i s - Riv i è re s Ca n a d a   2 ,3 ,4 L INAT L a b o ra to ry Un i v e rs i  Ka s d i  M a rb a h  Ou a rg l a ,   Al g e ri a   *C o rre s p o n d i n g  a u th o r,  e - m a i l :   a b d e l m a d j i d y o u c e fa @g m a i l .c o m       Ab strac t     Im a g e   r e tri e v a l   i s   t h e   te c h n i q u e   th a t   h e l p s   u s e r s   t o   f i n d   a n d   re tr i e v e   d e s i re d   i m a g e s   fro m     a   h u g e   i m a g e   d a ta b a s e Th e   u s e r   h a s   f i rs t l y   to   fo rm u l a te   a   q u e ry   th a e x p r e s s e s   h i s / h e n e e d s .   T h i s   q u e ry   m a y   a p p e a i n   te x tu a l   fo rm   a s   i n   s e m a n ti c   re tri e v a l   (SR),  i n   v i s u a l   e x a m p l e   f o rm   a s   i n   q u e ry   b y   v i s u a l   e x a m p l e   (Q BVE),  o a s   a   c o m b i n a ti o n   o t h e s e   two   fo rm s   n a m e d   q u e r y   b y   s e m a n ti c   e x a m p l e   (Q BSE).     Th e   fo c u s   o th i s   p a p e l i e s   i n   th e   te c h n i q u e s   o a n a l y z i n g   q u e r i e s   c o m p o s e d   o m u l ti p l e   s e m a n ti c   e x a m p l e s Th i s   i s   a   v e r y   c h a l l e n g i n g   ta s k   d u e   to   th e   d i ff e re n i n te r p re ta t i o n s   th a c a n   b e   d ra wn  fro m   th e   s a m e   q u e r y T o   s o l v e   s u c h   a   p ro b l e m we   i n tro d u c e   a   m o d e l   b a s e d   o n   B a y e s i a n   g e n e ra l i z a ti o n .     In   c o g n i t i v e   s c i e n c e B a y e s i a n   g e n e r a l i z a ti o n whi c h   i s   th e   b a s e   o m o s wor k s   i n   l i te r a t u re i s   a   m e th o d   th a tr i e s   to   fi n d i n   o n e   h i e ra r c h y   o c o n c e p ts ,   th e   p a r e n c o n c e p o a   g i v e n   s e t   o f   c o n c e p ts .   In   a d d i ti o n   a n d   i n s te a d   o u s i n g   o n e   s i n g l e   c o n c e p h i e ra r c h y we  p ro p o s e   a   g e n e r a l i z a ti o n   s o   i c a n   b e   u s e d   wit h   m u l ti p l e   h i e ra r c h i e s   wh e re   e a c h   o n e   h a s   a   d i ff e r e n s e m a n ti c   c o n te x a n d   c o n t a i n s   s e v e ra l   a b s tr a c t i o n   l e v e l s .   O u m e t h o d   c o n s i s t s   i n   fi n d i n g   t h e   o p t i m a l   g e n e r a l i z a ti o n   b y ,   fi r s tl y ,   d e t e rm i n i n g   th e   a p p ro p ri a te   c o n c e p h i e r a rc h y a n d   t h e n   d e te rm i n i n g   th e   a p p ro p r i a te   l e v e l   o g e n e ra l i z a ti o n Ex p e ri m e n ta l   e v a l u a t i o n s   d e m o n s tr a te   t h a o u m e th o d ,   whi c h   u s e s   m u l t i p l e   h i e ra r c h i e s y i e l d s   b e tt e re s u l t s   th a n   t h o s e   u s i n g   o n l y   o n e   s i n g l e  h i e ra r c h y .       Key w ords :   b a y e s i a n   m o d e l s   o g e n e r a l i z a ti o n c o n c e p h i e ra r c h y g e n e r a l i z a ti o n   o c o n c e p t s i m a g e   re tri e v a l ,   q u e r y  e x p a n s i o n u s e i n te n ti o n       Copy righ ©  2 0 1 9   Uni v e rsi t a s  Ahm a D a hl a n.  All  rig ht s  r e s e rve d .       1.  Int r o d u ctio n   Due  to   the   ex p l os i v e   gro wt i di gi t al   i m ag es t he r e   h as   be en   an   i nc r ea s i n i nt e r es i n   de v el op i ng   t ec hn i qu es   to  he l us ers   r etri e v i ng   th ei r   de s i r ed   i m ag es T he s t ec hn i qu es   ar e   c al l e i m ag r etri ev al   an the y   c a be   c l as s i f i ed   i n t t w m ai c at eg or i es   w h i c are,  c on ten t   ba s ed   i m ag r etri ev al   C B I [ 1 - 4 ]   an tex t - ba s ed   i m ag r etri ev al   T B IR   [ 5 - 7 ] .C B IR  tec h ni qu es   us th v i s u al   c on t en t   i ord er  t r etr i e v e,   f or  gi v en   qu er y   ( e. g.,   i m ag ex a m pl e,  s k etc h,   f ea ture  v ec t or,  etc .)   [ 8 ] t h s i m i l ar  on es T hi s   v i s u al   c on ten c a be   r ep r es en t e i term s   o gl o ba l  f ea tures   [ 9 , 10 ]   ( c ol or , s h ap e , a n d t ex t ure)  or l oc al  f ea tures   [ 11 ]   ( S IFT  k e y  p oi nts   …)   Q ue r y   b y   v i s ua l   ex am pl Q B V E   i s   o ne   of   the   m os us ed   ap pro ac he s   i CB IR.  Ho wev er,   the   s em an ti c   ga b et w e en   the   l o w - l ev el   v i s ua l   f ea ture s   an t he   h i g h - l e v e l   s em an ti c   m ea ni ng   of   i m ag es   c au s es   a   hi gh   l i m i tat i o i n   CB I pe r f or m an c e.  T he   s em an ti c   ga c o ul d   be   de f i ne as   the   c on tr ad i c ti o b et w e en   t he   h um an   j ud gm en an C B IR  r es u l ts In   ot he r   w or ds the   s em an ti c   ga i s   th d i s c r ep an c y   be t w e en   t w i nt erpr eta ti o ns on of   th e   us er  an d   the   oth er  of     the  m ac hi ne   [ 12 ]   T B IR  tec hn i c s   us t ex ( e.g .,   i m ag a nn o tat i on   or   tex s urr ou nd i ng   i t)   as   i m ag e   de s c r i pto r Due  to  i ts   s i m pl i c i t y   an d   r ap i di t y ,   T B IR  s ee m s   to  be   m ore  de s i r a bl e   a nd   prac t i c al   f or  us ers Ho wev er,  t he   qu al i t y   of   T B IR   d ep e nd s   on   the   qu al i t y   of   the   an no t ati on s   tha are  of ten   am bi gu ou s   an i nc om pl et e.  F or  ex am pl e,  the   s am i m ag m a y   be   an no t ate d   wi th  t wo  v er y   di f f erent  an no t ati on s   ba s e o t he   i n teres ts   or   th e   ps y c h ol o gi c a l   s t ate   of   t he   an n ota t or.  A dd i ti on al l y   t he   a nn ot at i o ns   m a y   be   i nc om pl ete   a nd   do   no f ul l y   de s c r i be   the   c on t en of     the   i m ag e.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       Unde r s ta nd i ng   us er i n ten t i o n i n  i m ag e retr i ev al ge n era l i z at i on …   ( A bd el ma d j i d Y ou c efa )   2573   In  order   to  el i m i na te  the   l i m i tat i on s   of   Q B V E   an T B IR,  a al ternat i v p arad i gm   ha s   been   prop os ed   a nd   de n o ted   as   q ue r y   b y   s em an ti c   ex am pl Q B S E   tha c om bi ne s   bo th   tec hn i qu es   [ 13 ] In  c urr en wor k w are  c o nc erne w i t Q B S E I Q B S E   pa r a di g m the   qu er y   i s   c o m po s ed   of   m ul ti pl i m ag es w he r ea c i m ag e   i s   l ab e l ed   wi th  d i f f erent  k e y wor ds   tha t   de s c r i be   t he   d i f f erent  v i s u al   c on c e pts   w i thi th i m ag ( e.g .,  h ou s e,  r a i n,  s u ns et,   etc .)   A s   a   qu er y ,  t he  s y s tem  us es  th k e y w ords  an no ta ti ng   the  i m ag es  r a the r  th a the  i m ag e s  th em s el v es .   F urtherm ore,  an d   i n   ord er  to  ob t ai n   a   be tte r   pe r f orm an c e,  the   s y s t em   s ho ul d   no t   us e   the s e   c on c ep ts   as   the y   ar e,  i ns t ea d,  i ha s   to  ge n eral i z t he m   to  s o m e   c o m m on   or   m ore  ge ne r al   c on c ep ts   ( e.g .,  t he   us er  i s   l oo k i ng   f or  an i m al s l an ds c ap es etc .) T he   proc es s   of   m ov i ng   f r om   s et  of  c on c ep ts  to   a m ore c om m on  or gen eral  c o nc ep t   i s  c al l ed  “ g en era l i z ati on .   Ind e ed us i ng   qu erie s   t ha t   are  c om po s ed   o f   m ul ti pl e   i m ag es   ( i .e. m ul ti pl s e m an ti c   ex am pl es )   c ou l d   s i g ni f i c an t l y   i m prov e   r es ul ts H o w e v er,  f i nd i ng   t he   ap propr i ate   ge ne r al i z ati on   f or  the s s em an ti c   ex am pl es   i s   v er y   c om pl i c ate t as k Rec en tl y m an y   s t ud i es   ha v e   be en   do ne   tr y i n t u nd ers ta nd   an d   s i m ul ate   ho w   hu m an s   ge n eral i z e.   S om of   tho s w ork s   ha v e   us ed   m ac hi ne   v i s i on   te c hn i q ue s   [ 14 - 16 ] ot he r s   ha v op t ed   f or  B a y es i an   m od el s   of   ge ne r al i z ati on   [ 17 - 21 ] T hu s grea pro gres s   ha s   b e en   ac h i e v e an g en era l i z ati o m eth od s   ha v be en   pro po s ed S tart i ng   f r o m   on c on c ep h i erar c h y   an s et  of   gi v en   p os i ti v c on c ep ts ,   the   k e y   i de i s   to  f i n th a pp r op r i ate   l e v e l   t he s c o nc ep ts   n ee to  be   ge n eral i z e to.   A   c o nc ep t   hi erar c h y   i s   m ad up   of   s ev era l   ab s tr ac t i on   l ev el s   where  ea c h   l ev el   h ol ds   a   s et  of   c on c ep ts ,   whi c are  r e pres en t ed   b y   l e af   no d es as   F i gu r e   1   s ho w s Ho we v er,  on e   s ho ul d   k no tha   the   s am s et  of   c on c ep ts   c ou l be   r ep r es en ted   b y   di f f erent  c o nc ep t   hi erar c hi es   ba s ed   on    the   s e l ec te c on t ex t.  F or  e x a m pl e,  a ni m al s   c ou l b c ate go r i z e i c on c e pt  h i erar c h y   ba s ed   on  th ei r  c l as s es , regi on   of   l ea v i n g a n d   d i et,  et c .             F i gu r 1.  A n e x am pl of  a  c on c ep hi erar c h y   an the  c orr es po nd i ng  i m ag es  of     s o m e l ea f  no de s  ( Im ag eNe t a s  i ns t an c e)   Evaluation Warning : The document was created with Spire.PDF for Python.
                     IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   257 2 - 25 8 6   2574   Des pi t e t h e g r ea progr es s   ac hi e v e d b y   l i teratur w ork s  tr y i n g t i m prov e g en era l i z at i on ,   us i ng   on l y   on c o nc ep h i erar c h y   r es tr i c ts   m ac hi ne   to  on l y   on s em an ti c   c on tex t.  Ins t ea d,   m a c hi ne   s h ou l b a bl e   t ge ne r a l i z i m ul ti pl c ate g orie s   ( i . e.,   c o nte x ts )   a s   hu m an   do es .     T he  ge n eral i z ati on  s ho u l d the r ef ore,  be  c arr i ed  o ut  us i ng  m ul ti pl e  c on c ep t   hi erar c hi es .  T o   m a k thi n gs   c l e arer l et  us   tak the   ex am pl i l l us tr ate i F i gu r 2.  H um an   c an   ge ne r al i z th e   c on c ep ts   E l ep ha nt Z eb r an G i r af f to  on h y p oth es i s   f r o m   the   f ol l o wi ng   h y po th es i s   s pa c e     H =   { M am m al A f r i c an i m al s Her bi v ores } A   h y p oth es i s   s pa c i s   s et   of   al l   the   po s s i b l e   ge ne r al i z ati on s  ob tai ne d f r om  th e c on c ep ts  th at  c om po s e t he  gi v e n q ue r y .   A s   s ho w i n   F i gu r 2   ( a),   an i m al s   ha v b ee c at eg ori z e ac c ordi ng   to  th ei r   f am i l y ,   whereas   i F i gu r 2   ( b)  ac c ordi ng   t th ei r   d i et  an i n   F i gu r 2   ( c )   ac c ordi ng   to  the i r   r e gi o of   l i v i ng T hi s   m ea ns   tha the   ge ne r al i z ati on   i ea c c as e   wi l l   be   p erf or m ed   us i ng   d i f ferent  c on c e pt   hi erar c h y T he r ef ore,  f utu r e   wor k s   s ho ul f oc us   on   h o w   to  c om bi ne   m ul ti pl e   c on c ep h i erar c h i es   to  gras hu m an  i nt en t i on  b y   d ete r m i ni ng   the   ap pr op r i a te  c on t ex t a n d l ev el   of  th e g en era l i z at i o n.     In  c l as s i c al   t ec hn i qu es s i m i l ar i t y   be t ween   i m ag es   w as   c al c ul at ed   b as ed   o the   n um be r   of   c o m m on   c on c ep ts   t ha t   an no tat e   th os i m ag es Ho wev er,  o ur  a pp r oa c h   i s   no t   l i m i ted   to   th i s   na ï v tec h ni qu e.  Ins tea d,  i al s a na l y s es   th s em an ti c   r el at i o ns hi be t wee di ff erent  i m ag e   c on c ep ts I c o nc ep t   hi erar c hi es s em an ti c   r e l at i on s hi p   c ou l be   de f i n ed   as   a   l i nk   tha t   bi nd s   two  c on c ep ts   ( i . e.,   f ath er/s on   no de s ) Lo c at i ng   t he   f at he r   no d f or  gi v en   s et  of   no de s   i s   c al l e ge ne r al i z ati on I i s   a   v er y   c ha l l en g i n tas k   to  de t erm i ne   w h at  r e l at i on s h i as s em bl es   s et  of   gi v en   c on c e pts F or  ex am pl e,  are  El ep ha n t G i r af f an Z eb r Ma m m al s   or   A fr i c an   an i m al s ?   O ur  ap pro ac tr i es   t g en eral i z e   th qu er y   c on c e pts   b y   f i nd i ng   th m os proba bl e   r el ati on s hi p   tha as s em bl es   the m In  ad di t i on ,   w ex tr ac th c on c e pts   tha t   are  r e l at ed   to  t ho s of   the   qu er y ,   whi c are  c al l e d “hi dd e n c o nc ep ts   T be tte r   gras us er  i nte nti on i th i s   pa p er,  w pro po s m eth od   tha ge n eral i z es   us er   qu eri es  us i n g m ul ti p l e c o nc ep t h i erar c h i es . I n o ur ap proac h,  we, f i r s tl y ,  tr y   to  de t erm i ne  th e m os proba bl c o nte x whi c h   c orr es po nd s   to  s o m c on c ep h i erar c h y A f t er  de term i ni n   the   a pp r op r i at c on c ep h i erar c h y we  g en era l i z the   qu er y   c on c ep ts   an d   ex tr a c the   h i dd en   c on c ep ts   i n   order   t be   u s ed   i l at ter  r etri ev al   proc es s In  ad di t i on w i ntro d uc t w ne c on c ep h i erar c h i es   to  be   us ed   i ou r   m eth od   al on wi th  Im ag eNe t.  O ur  p ap er  i s   organi z e as   f ol l o w s In  s ec ti on   2,  w o v erv i e w   t he   r el ate w ork In  s ec ti on   3 ,   we  de s c r i b ou r   propos e d   s ol ut i on .   S ec t i on   s ho w s   de ta i l s   of   the   ex p erim en tat i on   a nd   t he   o bta i ne r es ul ts F i na l l y w e   dra w  s om e   c on c l us i o ns .               F i gu r 2 . C on c ep ts  m a y  b e  c ate go r i z ed   i di f f erent  w a y s   ba s e d o n  th e  s el ec t ed  c on tex t:   ( a)  a ni m al s  c ate g ori z ed   ac c ordi n g t the i r  f am i l y , (b)   a n i m al s  c ate go r i z ed  ac c ordi n g t o t he i r  di et,   (c )   a ni m al s  c ate go r i z e d a c c ordi n g t the i r  l i v i n g reg i on   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       Unde r s ta nd i ng   us er i n ten t i o n i n  i m ag e retr i ev al ge n era l i z at i on …   ( A bd el ma d j i d Y ou c efa )   2575   2.  Rel ated  W o r k   Ma n y   l i t erature  r es ea r c he s   i n c o gn i ti v e s c i en c ha v at tem pte d t de v e l op  m eth od s  th at   are  a bl t s i m ul ate   t he   pe r f or m an c of   the   h um an   to   l ea r n   n ov el   v i s ua l   c o nc ep ts   f r o m   po s i ti v e   ex am pl es F or  ex am pl e,  i [ 22 ] t he   a uth ors   h av tr i e d   to  ex pl ai ho w   hu m an   c hi l l ea r ns   ne wor ds   f r o m   s et  of   pre - pr ov i de p os i ti v e   ex am pl es Hum an s   are  ab l t g en er al i z e   c om pl ex   s ets   of   i m ag es   tha c on ta i di f f erent  ob j ec ts   ( e. g.,   n atu r al   s c en e,  an i m al s etc .)   v er y   qu i c k l y .   B es i d es , h um an s  are ab l e t o e x tr ac t th e re l at i on s h i b et w ee n a  gi v e n s et  of  c on c ep ts  i n d i f f erent  c on tex ts B y   ex p l oi ti n c on c ep h i erar c hi es nu m erous   att e m pts   ha v be en   m ad i n     the   l i t erature,   att em pti ng   to  r ea c hu m an - l i k o bj ec ge n eral i z ati on   or  c ate go r i z a ti on   Deng   et  a l [ 14 ] ,   ha v i ntr o du c ed   ne w   c l as s i f i ers   tha ex pl o i a   c on c ep t   h i erar c h y   c on s i s ti n of   m an y   l e v e l s   of   ab s tr ac ti on T he y   h av propos e Dual   A c c urac y   Re war T r ad e - of f   S ea r c h   ( DA RT S )   al go r i thm   tha ai m s   to  s el ec the   ap pro pria te  l e v e l   of   c ate go r i z at i o i thi s   c on c ep t   hi erar c h y Ho wev er,  the s c l as s i f i ers   are  no c om pl ete l y   ac c urate  i i de nt i f y i n l e af     no de  c l as s es   S om oth er  w ork s   [ 15 ,   16 ]   ha v tr i ed   t ha nd l the   pro bl em   o f   f i nd i n ne   c ate go r i es   b as ed   on   pre - pr ov i de s ets   of   l a be l ed   ex a m pl es T he   m ai ai m   i [ 15 ]   f or  ex am pl e   was   ho to   l e arn  n e v i s ua l   c ate go r y   ( i . e.,   ge n eral i z a ti on )   f r om   f ew   p os i t i v ex am pl es .   S al ak hu tdi no v   et   al   [ 16 ] ha v pres e nte hi erar c hi c al   c l as s i f i c ati o m od el   t h at  a l l o w s   r are   ob j ec ts   to   bo r r o s tat i s ti c al   s tr e ng t f r om   r el ate d   o bj ec ts   tha t   ha v m an y   tr ai ni n ex am pl es .   Ho w e v er,  t he   f orm er  tw wor k s   ha v tr i e to   i m prov the   ge n era l i z at i on   us i n on l y   t he   l ea v e   no de s   of   the   c on c e pt  h i era r c h y T hu s the y   d i n ot  a d dres s   the   i s s ue   of   di s c ov erin t he   h i dd en   c on c ep ts  be t w ee n t h e l ea v e n o de s w h i c i s  a  k e y  i de a f or v i s ua l  c o nc ep l ea r ni n g.   B a y es i a m od el s   of   ge ne r al i z at i o [ 17 - 20 ]   ha v be en   ex te ns i v e l y   us ed   i n   c o gn i t i v e   sc i en c i or de r   to  r es o l v e   the   i s s ue   of   l e arni n ne w   w ords   or  c on c e pts   f r o m   a i n i ti al   s et  of   wor ds   or  c on c ep ts G i v en   c on c ep h i erar c h y B a y e s i an   m od el s   of   ge ne r a l i z at i on   ba s i c   i de a   r ev o l v es   aroun f i nd i ng   th op t i m al   de gree  of   ge n eral i z a ti o n,  i thi s   h i erar c h y ,   f or  an y   s et  of   c on c ep ts   [ 21 ] T en en ba um   an G r i f f i ths [ 18 ]   ha v r e f err ed   to  s uc an   ap pro ac as   the   s i z e   prin c i pl e   an t he y   ha v e   s h o w ho i c o ul p ote nti al l y   ex pl ai n   a   wi de   r an ge   of   ph en om en i c ate go r y  l ea r n i ng , g en era l i z at i on , a n d s i m i l arit y  j u dg m en t.  S uc ph en om en w er e  no prev i o us l y   un i f i e un de r   o ne   s i ng l r a ti on al - i nf erenc e.  I m ore  r ec en w ork X an T en e nb au m   [ 19 ]   ha v e   de v el op e n e w   B a y es i a w or d - l ea r ni n m od el .   T he i r   m od el   a pp e ared   to   be   c a pa b l e   of   m i m i c k i ng   hu m an   ge ne r a l i z at i on   j ud gm en ts   to  c r ea t e   h y po the s i s   s pa c f or  th r ee   c ate go r i es   ( an i m al s v e hi c l es an v eg eta b l es )   w i t f e w   po s i ti v e x a m pl es Ho wev er,  th ei r   wor k   i s   too   ha r d   to  be  ex ten de d  to   oth er c a t eg ori es   A bb ott   e al [ 20 ]   ha v pro po s ed   a   B a y es i an - b as ed   m od el   f or  au tom ati c al l y   ge ne r ati n g   h y p oth es i s   s pa c es   t ha t   are  us ed   f or  ge ne r a l i z at i o n.  I t he i r   m od el ,  W ordNet  da ta b as ha s   be e n   us ed   t g en era te  the   tr ee - s tr uc tured  h y po the s i s   s pa c f or  di f f erent  c on c ep ts .   W o r dNet   i s   a   da ta ba s t ha en c o de s   th s e m an ti c   r el ati on s h i ps   b et ween   c on c ep ts   as   ne t wor k O the   ot he r   ha nd , Im ag eNet   ha s  b ee us ed  to  i n di c a te  t he   i m ag es  c orr es po nd i ng  to   ea c of  th es e c on c e pts .   Unl i k the   prev i o us   wor k s A bb ott s   a uto m ati c al l y   ge n erated   h y p oth es i s   s pa c th at  c an   be   us e d   i n a n y  c ate g or y .   Rec en t   w ork s   i v i s u al   r ec og ni t i o [ 23 - 26 ]   an d   i m ag r etri e v al   [ 27 ]   ha v e   us e d   hi erar c h i c al   s tr uc tur es   tha t   c on ta i h i gh   nu m be r   of   c l as s es N.  V erm et  al .   [ 24 ]   pro po s ed   a   no v el   f r am ew ork   to  de term i ne   th s i m i l arit y   r ate   b et w e en   i m ag es In  th h i erar c h y ,   t w i m ag es   are  c on s i de r ed   to   be   s i m i l ar  i f   the   di s t an c be t we en   t he i r   an no ta ti o ns   ( i .e .,   c on c ep ts )   i s   m i ni m u m   an v i c e - v ers a.   J i et  al .   [ 23 ]   ha v e   pro po s e a   s y s tem   tha t   i nte gr ate s   bo th   B a y es i a n   m od el s   of   ge ne r al i z at i o an m ac hi ne   v i s i o tec hn i qu es T he i r   m ai ai m   w as   to  de term i ne   whet h er  qu er y   i m ag i s   r el a te to  c on c ep ge n erated   f r om   s o m gi v en   s et  of   i m ag es .   Li k ewi s e,  th e y   ha v e   us ed   I m ag eNet   da t ab as to  b ui l d   the i r   h y p ot he s i s   s pa c e In  ad d i ti on   t th e   hi g pe r f or m an c the i r   s y s t em   s ho w s i s ee m s   to  be   s i m i l ar  to  hu m an   r ea s on i n i n   ge ne r al i z ati on H o w e v er al l   w ork s   i the   c o nte x o f   c on c ep ge n eral i z at i on   s uf f er  f r o m   on m a j or  probl em   whi c i s   p erf or m i ng   ge n eral i z ati on   us i n on l y   o ne   c o nc ep hi erar c h y T he r ef ore ,   the y   are  r es tr i c ted   to  on l y   o ne   c on tex of   ge n eral i z ati o un l i k hu m an s T o   m a k thi s   l at te r   po i nt   c l ea r er  l et s  ta k e t he   ex am pl i l l us tr at ed  i n  Fi gu r e  3.  In   F i gu r e  3   ( a), t he  r el a ti o ns hi p b et w e en   the   three  i m ag es   c om es   i term s   of   F a m i l y   ( i . e.,   B i r ds ) whereas   i F i g ure  3   ( b)  a no th er  k i nd   of   r el at i on s h i ga th ers   the   t hree  i m ag es w h i c i s   th d i e ( i .e. om ni v ores ) .   F i n al l y ,   i F i gu r 3   ( c ) ,   the  r e l at i on s h i i s  l i v i n g reg i on  ( i .e. ,  A s i a A ni m al s )     Evaluation Warning : The document was created with Spire.PDF for Python.
                     IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   257 2 - 25 8 6   2576       F i gu r 3 .   E x am pl es  of  s o m e g e ne r a l i z at i on s   i di f f erent c on tex ts  ( a) g en era l i z a ti o n b y  f am i l y ,     ( b)   ge ne r al i z ati on  b y   l i v i ng  r eg i on , (c )   ge ne r a l i z at i on  b y  di e t       S up po s i ng   th at  w h av a   qu er y   t ha c on t ai ns   three   c on c ep ts E l ep h an t,  Z eb r a,  an d   G i r af f as   w ha v s h o w prev i ou s l y   i n   F i g ure  2.   Co n v en ti o na l   s y s tem s   [ 2 3 ]   i nte r pret,  or  r a the r   ge ne r al i z e,  thi s   q ue r y   t th c on c ep M am m al w hi c i s   tot al l y   c orr ec t.  H o w e v er,   s ev eral   o the r   m ea ni ng f ul   c on c e pts   c an   b i nf err ed T he s c on c ep ts s uc as   A f r i c an   an i m al m ay   be   c l os es t   to  the   us er  i nt en t i on   t ha t he   c on c ep Ma m m al In  or de r   to  r em ov th i s   c on f us i o an prec i s el y   de tec ts   t he   us er  i nte nti on ,   w prop os t e nric the   ex i s ti ng   hi erar c hi es   w i t oth er  on es ;   f or   ex am pl e,  ad di ng   th hi er arc h y   tha t   as s em bl es   c o nc ep ts   ac c ordi n t t he i r   di et   an al s o   ac c ordi ng   to   th ei r   r e g i on   of   l i v i ng .   F i g ure  s h o w s   t he   d i f f erenc be t ween   o ur  ge ne r al i z at i o a nd   tha of   c o nv en t i on al   s y s t em In  the   ne x s ec t i on w i ntr od uc ou r   m eth od   where  w e   tr y   t o   i m prov e t he  ge ne r a l i z at i on   tas k  b y  m ak i ng  i t a bl e  to   de al   wi th  m ul ti pl e c on c ep t h i e r arc hi es .           F i gu r 4.  I l l us tr ate s  th e d i f ferenc e b et w e en   ou r  g en era l i z at i on  s c he m   an a c on v en ti o na l  s y s tem  i [ 23 ]       3.  P r o p o se d   S o lut ion   In  th i s  s ec ti o n,  we p r es en t he  d eta i l s   of   the  pr op os e d   m eth od W e s tart b y   gi v i ng   de ta i l s   ab ou the   B a y es i an   Co nc e pt  Le arn i n g,  af ter  tha we  de f i ne   th c on c ep hi erar c hi es   CHs   i ou r   f r a m ew ork T he n,  w e   ex pl a i ou r   ge ne r al i z at i on   s c he m e,  an f i n al l y   we   pres e nt  the   an a l y s i s   of   s o m e e x am pl e q ue r i es .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       Unde r s ta nd i ng   us er i n ten t i o n i n  i m ag e retr i ev al ge n era l i z at i on …   ( A bd el ma d j i d Y ou c efa )   2577   3.1 . B a y e s ian Co n ce p t  Le ar n ing   B a y es i a f r a m ew ork   f or  c on c ep l e arni ng   a nd   ge ne r al i z at i on   tec h ni qu es   [ 19 ] ar e   pa r ti c u l arl y   us ef ul   i the   c a s w h ere   l e arni ng   i s   p erf orm ed   us i ng   on l y   s m al l   nu m be r   o f   po s i ti v ex am pl es . In  pa r t i c ul ar, t h e  prob l em  c an  be   l oo k ed  to   as   f ol l o w s :   G i v en   a s et  of  n  ex am pl es  ( i .e. i m ag es   i ou r   c as e)  X ={ x 1 …. x n }   whi c c a be   group e un d er  s pe c i f i c   c on c ep as   s ho w i F i gu r 3 G i v en   n e w   ex a m pl y t he   qu es ti o i s Is   y   m e m be r   of  X   or  no t.  T an s w er  th i s   qu es ti on B a y es i an   c on c e p l ea r n i n as s um es   the   ex i s ten c of   a   h y p oth es i s   s pa c s uc tha H= { h 1 …. h n }   where   th m os ap propr i ate   h y po t he s i s   hi   c an   b c on s i de r e as   C.  E ac h y p oth es i s   hi   ( e .g. ,   A ni m al M am m al B i r d)  c orr es po nd s   t o ne   c l us ter  i the   c on c ep hi erar c hi es .     A i l l us tr ati o n   i s   gi v e i F i gu r 2.  T he   B a y es i an   l e ar ne r   ev al u ate s   al l   th h y p ot he s e s   hi   us i ng   B a y es  r ul e a s  f ol l o w s :     ( | ) ( ) ( | )   ( 1 )     s uc tha t   P ( h| X )   i s   th e   po s teri or  proba bi l i t y P ( h)   the   pr i or  prob ab i l i t y   an P ( X | h)   the   l i k el i h oo d . T he  pri or  P ( h )   of  th e h y po t he s i s   i s  de f i n e d a c c ordi ng  t o t h e E r l an g d i s tr i bu ti on :     ( ) ( | | / 2 ) e xp { | | / }   ( 2)     w he r e   | h |   i s   the   s i z e   of   th e   h y po t he s i s   h   ( nu m be r   of   l ea f   no d es )   an σ  pa r am ete r   i s   the   m ea s i z e   of   th b as i c   l e v e l   h y p o the s es T he   l i k el i ho o i s   d e term i ne b y   t he   as s um pti o of   r an do m l y   s a m pl ed   po s i t i v e e x am pl es .   In  the   s i m pl es c as e,  e ac ex am pl i X   i s   as s um ed   to  be   i nd e pe nd e ntl y   s am pl e f r o m   a u n i f or m  de ns i t y  o v er t he   c on c ep C .  For  n  ex am pl es  we t h en  h av e:     ( | ) = { [ 1 | | ]       if   1 , , 0                           if  a n y     ( 3 )     p r i or  wor k   [ 19 ]   f oc us ed   on   c al c u l at i ng   th pr ob a bi l i t y   tha ne ob j ec t   y   i s   al s o   m em be r   of     the   c o nc ep t   b y   a v e r ag i n t he   pred i c ti o ns   of   al l   h y po the s es   wei g hte d   b y   t he i r     po s teri or   prob ab i l i ti es :     ( | ) = ( | ) ( | )   ( 4 )     In  ou r   m eth od ho wev er,  we  f oc us   o f i nd i n the   h y p o the s i s   t ha c orr es po nd s   to     the   c on c e pt  C.  I p arti c ul ar,  w h av en n e w   ex am pl y b ut  r ath er  q u er y   X .   A no th er   s ub s tan t i al   d i f f erenc i s   t h at  i t he   pre v i ou s   wor k s   [ 19 ]   t he   h y po the s i s   s pa c i s   ge n erate d   ac c ordi ng   to  on l y   on c on c ep h i erar c h y   CH,   w h i c i s   no t he   c as i n   ou r   wor k   be c au s we   c on s i de r   3 d i f f erent CHs  i ge ne r ati ng  H.     T de term i ne   th m os ap propr i a te  f r om   H,  w c a l c ul ate   th po s teri or  pr ob a b i l i t y   f or   ea c h th a pp r o pria t h   tha t   c orr es po n ds   to   the   c on c ep C   i s   t he   on h a v i ng   ob ta i n ed     the  h i g he s t p r o ba b i l i t y  s c ore ( i .e. , M ax i m u m  a  P os teri o r i  h y p ot he s i s   h M AP ).   T he   h MA P   i s  gi v en  b y :      = a r gma x ( | ) ( )   ( 5 )     a f ter  ha v i ng   d ete r m i ne th e  m os ap propr i at h,  w c o ns i de r   th CH  to  w h i c b el o ng s an w e   om i the   oth ers A f terwar ds ,   w ex tr ac th r em ai ni n c on c ep ts   tha b el on t ( i .e. h i dd en   c on c ep ts ) F i na l l y we  de t e c i m ag es   an no tat ed   b y   c o nc ep ts   c on ta i ne i an di s pl a y   t he m   to  the  us er.     3.2 P r es ent atio n  of   O u r  C o n ce p t  Hier ar chies   In  o ur  f r am ew ork w e   us e   three   k i nd s   of   c on c ep h i e r arc hi es   to   ex p an d   th s c op e   of   us er  un d ers tan d i n g,  w h ere  ea c h i erar c h y   gro up s   c on c ep ts   ac c ordi n to   s p ec i f i c   r el ati on s h i p .   T he s e rel ati on s h i ps  are:  f am i l y di et  a nd   l i v i ng   pl ac e Nex t,  w gi v de t ai l s  ab ou ea c h o f  th em .     Evaluation Warning : The document was created with Spire.PDF for Python.
                     IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   257 2 - 25 8 6   2578   3.2 .1 . Con ce p t   H ier ar ch A c cordin g  t o   F am il y   CH a   ( Imag eNet h ie r a r ch y )     W e   us I m ag Net  hi erar c h y   as   the   f i r s CH,  w de no te  i b y   CH a Im ag Net  i s   l arge   i m ag da tab as w h i c i s   ba s ed   o the   W ordNet   hi erar c h y E ac c on c ep i W ordNet  i s   de s c r i be d   b y   m ul t i pl wor ds   w h i c are  c a l l ed   a   " s y no n y m   s et "   or  " s y ns et " .   W h av c h os en   Im ag e   Net  hi erar c h y   be c a us i ha s   r i c h i erar c h y   of   c on c ep ts   an d   i as s em bl es   m i l l i on s   of   i m ag es   ( ab ou ten   m i l l i on   i m ag es   th at  ha v be en   m an ua l l y   a nn ot ate d).  In  ou r   w ork w are   i nte r es t ed  b y  t he   pa r whi c h  c ate go r i z es  th an i m al s   as  s ho w i F i gu r e   5 .     3.2 .2 . Con ce p t   H ier ar ch A c cordin g   to  Di et  CH b   W bu i l d   t hi s   t y p e   of   r el ati on s hi ba s ed   o W i k i pe di a O ur  hi er arc h y   i s   bu i l t   ba s ed   o n   the  f oo na t ure of  ea c h “s y ns et”  as  s ho wn i F i g ure  6 .   W e d en ote   the  c urr e nt  CH  b y  C H b .     3.2 .3 . Con ce p t   H ier ar ch A c cordin g   to  R egio n   of   L i v ing   CH c   T he   r eg i o of   l i v i n i s   s y n on y m   s et   w i t hi n   Im ag eNet ,   thu s we  a do pt   CH  t ha g r ou ps   c on c ep ts  ac c ordi ng  t o reg i o n o f  l i v i ng   as  s ho w i n F i g u r 7 W e d en ote   i t b y  C H c .             F i gu r 5 . I l l us tr ati on  of  th c on c ep   hi erar c h y  CH a     F i gu r 6 . I l l us tr ati on  of  th c on c ep   hi erar c h y  CH b           F i gu r 7 . I l l us tr ati on  of  th c on c ep t h i erar c h y  CH c       3.3 . O u r   G ener ali z atio n  S cheme   P r ev i o us   s tud i es   [ 19 - 21 ,   23 ]   ha v at tem pte to  l ea r n   c on c ep ts   us i n f ew   n u m be r   o po s i t i v ex am pl es Ho wev er,  the s s tu di es   ha v f o c us ed   on l y   on   c ho os i n t he   ap propr i ate   gene r al i z ati on   l e v el   i s i ng l c on c ep h i erar c h y T hi s i n   f ac t,  c an   y i e l m i no r   or  c om pl ete l y   i r r el e v a nt  r es ul ts T ov erc om thi s   probl em   an i m pr ov the   r es ul ts   of   the   en gi n w us e   three   k i nd s   of   CH  i t he   ge n er al i z a ti o n.  T he   d eta i l s   of   ou r   ge n eral i z at i o n   s c he m are   i l l us tr ate d     i n Fi gu r 8 .   T he r e a r e  s i x  m ai n s t ep s  to   ge n eral i z e t he   qu er y   wh i c h a r de s c r i be as  f ol l o w s .       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       Unde r s ta nd i ng   us er i n ten t i o n i n  i m ag e retr i ev al ge n era l i z at i on …   ( A bd el ma d j i d Y ou c efa )   2579       F i gu r 8 .   I l l us tr ate s  th e m ai s tep s   of  ou r  g en eral i z ati o n s c he m e       3.3 .1 Inp u t   Imag e s (F o r m u latio n  Q u er y )   O ur  s y s tem   s ho w s   the   us er   s o m i m ag es   fr o m   da tas et  ( u s er  i nte r f ac e).  T he   us er  ha s   to   s el ec s om i m ag es   ex am pl ( 2 - i m ag es )   r ep r es en t   hi s   n ee ds   t f orm ul ate   qu er y as   s ho w n     i n Fi gu r 9 .           F i gu r 9 .   Us er  i nt erf ac e   of  ou r  s y s tem       3.3 .2 Co n ce p t s  of   I mag e s   In  th da tas et  ea c i m ag an n ota t ed   wi th   c on c e pt,   we  us Im ag Net  da tas et  th i s   c ol l ec t i on   a nn ot ate f r om   W o r Net.  A f ter   the   us er  f orm ul ate s   hi s   qu er y ou r   s y s t em   ha s   t o   ex tr ac the   c o nc ep ts   of   ea c i m ag i the   qu er y   of   t ho s c on c e pts   w h i c w e   c al l ed   c o nc ep t   qu er y   as  s ho wn i F i gu r 1 0 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                     IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   257 2 - 25 8 6   2580         F i gu r e   1 0 Im ag e s   an d t he i r   c orr es po nd i ng   c o nc ep ts       3.3 .3 H y p o t h es is   S p ac e (Relatio n ship s)   A f ter  f i nd i n c on c e pts   of   th qu er y   ou r   s y s tem   be gi ns   s ea r c hi ng   f or  al l   the   r el a ti o ns hi ps   be t w e en   c on c ep ts   qu er y .   A l l   r el a ti o ns hi ps   i a l l   k i nd s   of   c on c ep ts   h i erar c h y   are  c a l l ed   h y p oth es i s  s pa c e.     3.3 .4 F ind ing  t h A p p r o p r iate R ela t ion ship   ( h M A P )   A f ter  c r ea ti n th h y po the s i s   s pa c ou r   s y s tem   ha s   to  f i nd   the   ap propr i ate   r e l at i o ns hi p   ga th erin g t h os e c on c ep ts T he   m ax  a  po s teri or r e pres en ts  th i s  r el a ti on s hi p.     3.3 .5 .   Hid d en  C o n ce p t s   Hi dd en   c on c e pts   are  th c on c ep ts   tha ar l i n k ed   w i th  c on c e pts   qu er y   b y     the  a pp r o pria t e rel ati on s h i p s  s el ec ted   i the  c o nc ep hi erar c h y .     3.3 .6 .   Re sult s   F i na l l y   ou r   s y s tem   s ea r c he s   al l   i m ag es   an no tat e wi th   c on c ep t   qu er y   an h i dd e n   c on c ep ts an d   s ho w s   r es ul t s   to  t he   us er.   F or  t he   s ak of   c l arit y l et   us   i l l us tr ate   th i s   b y   a   s i m pl ex am pl e.  S up po s tha we  ha v po s i ti v ex a m pl es   i .e. X =   { Li on G i r aff e,  Z eb r a},     the   h y p oth es es   we  c an   c o n s i de r   as   c an d i d ate   t be   t h c on c ep are:   A n i m al Ma m m al A f r i c an i m al W c al c ul at t h p os teri or   prob ab i l i t y   o f   ea c h y p oth es i s   ac c o r di ng   to   ( 1).     T he  h y po the s i s  th at  ob t ai ns  th hi g he s t s c ore  i s  c on s i d ered a s  C.     A f ter  de t erm i ni ng   C,   w e   g i v b ac k   the   us er   th i m ag es   an n ota t ed   w i t al l   the   c o nc ep ts   of   l ea f   no de s   un de r   i . e.,   we  c on s i de r   th c on c ep ts   c on ta i ne i th qu er y   to ge t he r   wi th  t ho s e   whi c a r no c on t ai ne ( i . e.,   hi dd e c on c ep ts ) In de e d,  thi s   c ou l h el i i m prov i ng   t he   qu al i t y   of  r etri ev al  r es u l ts . T he  s te ps  of  ou r  al go r i t hm  are s u m m ariz ed  i n  A l go r i thm  1.   A l g orit hm  1:   G en eral i z at i on  of  qu er y   B eg i n   1:   INP UT : X  =  {x 1,  x 2,  …x n}   2:   Com pu te  po s t erio r   prob a bi l i t y   P ( h | X )   of   al l   h y p ot he s es   h   i CH a,   C Hb   an d   CHc     ac c ordi ng  to  ( 1)   :                     3:   F i nd  t he   Ma x  a  po s ter i ori  h MA P   ac c ordi ng  t o (5)   4:   S el ec t a p propr i ate  CH a nd   the  C.   5:   F i nd  H i d de n  Ci   ( T he  c on c e pts  un d er C a nd   whi c di dn t a pp e ar i the  qu er y )   6:   O UT P UT : R es ul t o f  i m ag es  Ii  a nn o tat e d b y  a l l  l e af  no d es  un d er the  c on c ep t  C.     E nd     3.4.   E xa mp les  of   G en er a li z ing   Q u er ies   in   O u r   F o r m w o r k   No w l et  us   ex pl a i n,  b y   e x a m pl es ho w   o ur  propos ed   m eth od   wor k s In  ou r   c as e,    the   s y s t em   pres en ts   s am pl e   of   i m ag es   to  the   us er,  t he the   us er  s e l ec ts   i m ag es   s up po s e to   be   s i m i l ar  to  what   h i s   l o ok i ng   f or.  O ur  pro po s e a pp r oa c h   us es t he r e af ter,  t he   an n ota t i on s   as s i gn e wi th  tho s e   i m ag e s   i order   t d i s c ov er  the   hi d de n   r el ati on s hi be t wee th c on c e pts   c on tai ne d   i n   the   qu er y .   F or  ex am pl e,  the   ge ne r al i z i ng   of   the  q ue r i es   Q 1 Q a n Q 3   s ho wn  i n   F i gu r es  1 1 - 1 are r es pe c t i v el y   de m on s tr ate d   in   T ab l 1,  T ab l e   2,  a nd  T ab l e 3 .       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       Unde r s ta nd i ng   us er i n ten t i o n i n  i m ag e retr i ev al ge n era l i z at i on …   ( A bd el ma d j i d Y ou c efa )   2581       F i gu r 1 1 Il l us tr at i on   of  th e  Q ue r y   Q 1           F i gu r e   1 2 Il l us tr at i on   of  th e  Q ue r y   Q2           F i gu r 1 3 Il l us tr at i on   of  th e  Q ue r y   Q3       3.4. 1 G ene r ali z ing   Q u er Q 1   Conc ep ts  Q u er y X =  {l eo p a r d,  oc el ot,  T i ge r , C ou ga r }     n= 3   H y p oth es i s  h     A ni m al     Ma m m al     F el i ne       Car ni v ores   S i z of  ea c h h y p oth es i s   | h |     | A ni m al | = 10 0     | Ma m m al | = 86     |  Fe l i n | = 5     | Car n i v ores | = 3 4   Ma x i m u m   P os teri or i   h y p oth es i s   h MAP :   T hrough   the   r es ul ts   gi v e b y   T ab l th Ma x i m um   P os teri ori  h y p oth es i s  of  th e  Q ue r y   1   is   h MAP   =  Fe l i n e .   Hi dd en  c o nc ep ts : L i o n,  J ag ua r , P an t he r , L y nx .         T ab l 1 . G e ne r a l i z at i o n o f  t he  Q ue r y  Q 1   i e ac h C on c ep t H i erar c h y   C o n c e p t   h ier a r c h y   H y p o t h e s is   h   P o s t e r ior   p r o b a b il it y   P ( h | X )   CHa   M a mm a l   0 . 5 6   A n i m a l   0 . 2 3   Feline   0 . 8 7   CHb   C a r n iv o r e s   0 . 5 5   CHc   N o   r e lat ion   m a t c h e d   /         Evaluation Warning : The document was created with Spire.PDF for Python.