I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 4 ,   N o .   1 A p r i l   201 9 ,   p p.   1 2 7 ~ 1 3 4   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 4 .i 1 . pp 12 7 - 1 3 4             127       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   A   c o m p r e h e n si v e   su r v e y   o n   c r o ss - l a n g u a g e   i n f o r m a t i o n   r e t r i e v a l   s y st e m       G o u r an ga  C h ar an   J e n a,   S i d d h ar th   S w ar u p   R au tar ay   S c hoo l   o f   C o m put e r   E ng i ne e r i ng ,   K I I T   D e e m e t o   be   U ni v e r s i t y ,   B huba n e s w a r ,   O d i s ha ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e J un   21 ,   201 8   R e v i s e N o v   10,   2018   A c c e pt e J a n   11 ,   201 9       C r o s s   l a ng ua g e   i nf o r m a t i o r e t r i e v a l   ( C L I R )   i s   a   r e t r i e v a l   p r o c e s s   i w hi c t he   u s e r   f i r e s   q ue r i e s   i o ne   l a ng ua g e   t o   r e t r i e v e   i nf o r m a t i o f r om   a no t he r   ( di f f e r e nt )   l a ng ua g e .   T he   a m o un t   o f   i nf o r m a t i o g e ne r a t e i n   di f f e r e n t   l a ng ua g e s   a n di s s e m i na t e v i a   t h e   W o r l W i d e   W e a nd  s o c i a l   m e di a   pl a t f o r m s   i s   g r o w i ng   e xpo ne n t i a l l y .   I t   i s   i m po r t a nt   t o   e n s u r e   t ha t   o nl i n e   i nf o r m a t i o r e s o ur c e s   a n s e r v i c e s   a r e   e f f i c i e n t l y   a nd  e q ui t a b l y   a c c e s s i b l e   t o   a l l   us e r s ,   r e g a r dl e s s   o f   t he i r   l i ng ui s t i c   a n c ul t ur a l   ba c kg r o unds .   T h e   ne e f o r   e xpl o r i ng   a nd   bu i l di ng   m o r e   s pe c i a l i z e i nf o r m a t i o s y s t e m s   t h a t   e na b l e   s pe a ke r s   o f   a O di a   l a ng ua g e   t o   di s c o v e r   v a l ua b l e   i nf o r m a t i o be y o nd   l i ng u i s t i c   a nd  c u l t u r a l   ba r r i e r s .   T h i s   s t udy   i s   a i m e t o   bu i l a e x pe r i m e n t a l   C L I R   s y s t e m   be t w e e o ne   o f   t he   un de r - r e s o ur c e l a ng ua g e s   ( i . e .   O di a ) ,   a nd   o ne   o f   t he   m o s t   c o m m o nl y   us e o nl i ne   l a ng ua g e s ,   ( i . e .   E ng l i s h) .   H o w e v e r ,   w e   ha v e   no t   y e t   c o ns i de r e a ny   pr o t o t y pe   a ppr o a c t o   de v e l o E ng l i s h - O di a   C L I R   s y s t e m .   I t hi s   r e s e a r c w e   s t ud i e o t h e   v a r i o us   I R   v a r i a nt s   a nd   t e c hni que s   us e i C L I R   s y s t e m .   F ur t he r ,   ba s e o a v a i l a bl e   l i t e r a t u r e ,   a   num be r   o f   c ha l l e ng e s   a n i s s u e s   i C L I R   ha v e   be e i d e nt i f i e a n di s c us s e d .   F i r s t l y ,   w e   ha v e   f o c us e o bui l d i ng   ba s i c   l i ng ui s t i c   r e s o u r c e s   a n I R   t oo l s   r e qu i r e f o r   de s i g ni ng   a E ng l i s h - O d i a   C L I R   us i ng   A pa c he   L u c e ne   e ng i ne .   S e c o ndl y ,   s o m e   o f   t he   m a j o r   l i ng ui s t i c   r e s o ur c e s   t ha t   w e   de v e l o p e du r i ng   t he   c o ur s e   o f   t hi s   s t u dy   i nc l ude   a   U ni c o de   c om pa t i b l e   O d i a   K e y b o a r d,   no r m a l i s e O d i a   c o r pus ,   a   g e ne r i c   c o m put a t i o na l   m o de l   o f   O di a   m or pho l o gy ,   a   bi l i ng ua l   di c t i o na r y   a nd  a O di a   s t e m m e r   f r o m   s c r a t c h.   W hi l e   o ur   E ng l i s h - O di a   d i c t i o na r y   ha s   b e e n   a do p t e d   a n us e f o r   q ue r y   t r a ns l a t i o n .   Ke y w or d s :   Cr o s s   l a n gu a ge   i n f o rm a t i o r e t ri e v a l   M ul t i l i ngua l   i n f o r m a t i o n   r e t ri e v a l   O di a   l a n gu a ge     C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   G o ur a n g a   C h a ra J e na ,   S c h o o l   of   Co m put e E ngi n e e ri n g ,     K IIT   D e e m e t o   b e   U n i v e r s i t y ,     B h ub a n e s w a r,   O di s h a ,   I n di a .   E m a i l :   j e n a go u r a nga 20 00 @ gm a i l . c o m       1.   I N TR O D U C TI O N     A   h uge   a m o u n t   o f   i n f o r m a t i o n   o i nt e rn e t   i s   a v a i l a b l e   i d i f fe r e n t   l a n gu a ge   t ha t   c a b e   a c c e s s   b y   a n y bo d y   a t   a n y   t i m e .   T h e   a b i l i t y   t o   s e a r c h   a n r e t r i e v e   i n f o r m a t i o n   i n   m ul t i p l e   l a n gu a ge s   i s   b e c o m i n i n c r e a s i ngl y   i m po r t a n t   a nd  c ha l l e n g i n i n   t o da y .   C o n s e qu e n t l y ,   Cr o s s - l i n gua l   (l a n gu a ge i n f o r m a t i o n   r e t ri e v a l   s e a r c h   e ngi n e s   h a v e   r e c e i ve m o r e   r e s e a r c h   a t t e n t i o n   a nd  a r e   i n c r e a s i n g l y   b e i n us e t o   r e t ri e v e   i n f o r m a t i o n   o n   t h e   i nt e rn e t .   T h e   a r e a   o i n f o r m a t i o n   a c c e s s   ha s   e vo l ve t pe r fo r m   m a n y   s o ph i s t i c a t e t a s ks   s uc h   a s   t h e   i n f o r m a t i o n   r e t r i e v a l ,   q ue s t i o n   a n s w e r i ng  t a s ks ,   s um m a r i z a t i o n ,   m ul t i m e di a   i n f o r m a t i o n   r e t ri e v a l ,   t e xt   m i ni n a nd  c l us t e r i ng  a n W e b   i n f o r m a t i o n   r e t r i e v a l .   Cr o s s - l a n gu a ge   i n f o r m a t i o n   r e t ri e v a l   i s   a   r e t r i e v a l   pr o c e s s   i n   w h i c h   t h e   us e r   f i r e s   q ue ri e s   i n   o n e   l a n g ua ge   t o   r e t r i e v e   i n f o r m a t i o n   f r o m   a n o t h e r   l a ngua ge .   In f o r m a t i o n   r e t r i e v a l   t ri e s   t o   i de n t i f y   r e l e v a n t   do c um e nt s   f o r   a n   i n f o r m a t i o n   n e e d,   e xpr e s s e a s   a   que r y .   T h e   pr o b l e m s   t ha t   a n   I n f o r m a t i o n   r e t ri e v a l   s y s t e m   s h o ul de a l   w i t h   i n c l u de   do c um e n t   i n de xi ng  (w h i c h   t r i e s   t o   e xt ra c t   i m po rt a nt   i nde xe s   f r o m   a   do c um e nt   a nd  w e i gh   t h e m ),   que r y   a n a l y s i s   (s i m i l a t o   do c um e n t   i n de xi ng)  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 4 ,   N o .   1 A p r i l   20 1 9   :     12 7     1 3 4   128   a n que r y   e v a l ua t i o n   (i . e .   m a t c hi n t h e   que r y   w i t h   t h e   doc um e n t s ) .   E a c h   o f   t h e s e   pr ob l e m s   h a s   b e e n   t h e   s ub j e c t   of   m a n y   s t u di e s   i n   IR .   T h e   m e a ni n o f   t h e   t e rm   IR   c a n   b e   v e r y   b r o a d.   It   m i g ht   b e   de f i n e a s   f i n d i n m a t e ri a l   (us ua l l y   t e xt t ha t   s a t i s f i e s   a n   i n f o r m a t i o n   n e e fr o m   w i t hi n   l a r ge   c o l l e c t i o n s   (us ua l l y   s t o r e o n   c o m put e r s ) . I n   m o de rn   p a r l a n c e ,   t h e   w o r ‘s e a r c h ’  ha s   t e nde t o   r e pl a c e   i n fo r m a t i o n   r e t r i e v a l .   T h e   t e rm   ‘s e a r c h ’  i s   qui t e   a m b i guo us ,   b ut   i c o n t e xt   w e   us e   t h e   t w o   s y n o n y m o us l y .   T h e r e   a r e   d i f fe r e nt   t y pe s   of  r e t ri e v a l   t e c hni que s   us e t o   de s i g a I n f o r m a t i o n   r e t ri e v a l   s y s t e m   i . e .   a )   B oo l e a n   r e t ri e v a l   b D i c t i o n a ri e s   a n t o l e r a nt   r e t ri e v a l   c )X M L   r e t r i e v a l   d)  P r o b a b i l i s t i c   IR   e L a n gua ge   m o de l s   fo r   IR   f T e xt   c l a s s i f i c a t i o n   a n N a i v e   B a y e s   g)  V e c t o r   s pa c e   c l a s s i f i c a t i o h S u pp e r   v e c t o r   m a c hi n e s   a nd  m a c h i n e   l e a rni n o n   do c um e n t s   i F l a t   c l us t e r i ng  j H i e r a r c h i c a l   c l u s t e ri n k)  M a t ri de c o m po s i t i o n s   a n l a t e n t   s e m a n t i c   i n de xi n g   l W e b   s e a r c h   b a s i c s   m )   W e b   dr a w i n a n i n de xi n g   e t c .   H ow e ve r ,   w e   h a v e   n o t   di s c us s i n t h e   de t a i l s   o f   t h e   e a c h   r e t r i e v a l   M o de l   h e r e .   B ut   t h e s e   a r e   t h e   b a c kb o n e   of   t h e   a n y   i n f o r m a t i o n   r e t ri e v a l   P r o c e s s .   T h e r e   a r e   f i v e   b a s i c   s t e ps   i n v o l ve i n   t r a d i t i o n a l   I n f o r m a t i o n   r e t ri e v a l   s y s t e m   i . e .   1s t   St e p:   I n de xi ng,   2n St e p:   I n de Co m pr e s s i o n ,   3r S t e p:   Co m put i n s c o r e s   i n   a   c o m pl e t e   s e a r c h   s y s t e m ,   4t S t e p :   E v a l ua t i o n   i n   I n f o rm a t i o r e t ri e v a l ,   5t St e p:   R e l e v a n c e   f e e db a c a n que r y   e xpa n s i o n.   N o w a da y s   t h e   t y pe s   of   In fo r m a t i o n   R e t r i e v a l   s y s t e m   e xt e n de i n   t o   m a n y   a r e a s   s uc h   a s :   I m a ge   a n m u l t i m e di a   IR ,   M us i c   r e t r i e v a l ,   P a ra l l e l   a nd  pe e r - to - pe e r   IR   a n m a n y   m o r e .   In f o r m a t i o n   r e t r i e v a l   c a n   b e   m o n o l i n g ua l ,   b i l i n g ua l   o r   m ul t i l i n gu a l .   B r o a dl y   t h e   In f o r m a t i o r e t r i e v a l   (IR b e   c l a s s i f i e i n   t o   f o ur   c a t e go ri e s   a s :       1. 1   M o n o l i n gu a l   i n fo r m ati o n   r e tr i e v al     T h e   m o n o l i n gu a l   r e t ri e v a l   i s   t h e   m o s t   b a s i c   a n m o s t   c o m m o n   t y pe ,   w h i c h   l i ke   i t s   n a m e   r e v e a l s ,   us e s   o n l y   o n e   l a n gu a ge   f o r   b o t h   t h e   que r y   a n i n f o r m a t i o r e t ri e v a l .   M o n o l i n gu a l   i n f o r m a t i o n   r e t ri e v a l   i s   a   r e t ri e v a l   p r o c e s s   i n   w hi c h   t h e   us e r   p r e s e nt s   que ri e s   i n   o ne   l a n gu a ge   t o   r e t r i e v e   i n f o r m a t i o n   i t h e   s a m e   l a n gu a ge .     1. 2   Bi - l i n gu al   i n fo r m ati o n   r e t r i e v al     Bi - l i n gu a l   i n f o r m a t i o n   r e t r i e v a l   f a c i l i t a t e s   t h e   us e s   of  que r i e s   i n   o n e   l a n gu a ge   t o   a c c e s s   d oc um e n t s   i n   o t h e r   l a ngua ge s .   If   t w l a ngua ge s   a r e   i n v o l ve d,   fo r   e xa m pl e   i f   t h e   do c um e n t   i s   w r i t t e n   i n   H i ndi   a nd  t h e   que r y   i s   m a de   i E n gl i s h ,   i n f o rm a t i o r e t r i e v a l   i s   s a i d   t o   b e   b i l i ngua l .       1. 3   C r o s s - l i n gu al   i n fo r m ati o n   r e tr i e v al     Cr o s s - L a ngua ge   I n f o r m a t i o n   R e t r i e v a l   i s   qui c k l y   be c o m i n a   m a t u r e   a r e a   i n   t h e   i n f o r m a t i o n   r e t ri e v a l   w o r l d.   T h e   go a l   i s   t o   a l l ow   a   us e r   t o   i s s ue   a   que r y   i n   l a n gu a ge   L   a n ha v e   t h a t   que r y   r e t ri e ve   do c um e n t s   i l a n g ua ge   L .   T h e   i de a   i s   t h a t   t h e   us e r   w a nt s   t o   i s s ue   a   s i ngl e   que r y   a ga i n s t   a   do c um e nt   c o l l e c t i o n   t h a t   c o n t a i n s   do c um e nt s   i a   m y r i a o f   l a n gu a ge s .   A i m pl i c i t   a s s um p t i o n   i s   t ha t   t h e   us e unde r s t a n ds   r e s ul t s   o b t a i n e i n   m ul t i p l e   l a n gu a ge s .   If   t h i s   i s   n o t   t h e   c a s e ,   i t   i s   n e c e s s a r y   fo r   t h e   r e t r i e v a l   s y s t e m   t o   t r a n s l a t e   t h e   s e l e c t e fo r e i gn   l a ngua ge   do c um e nt s   i n t o   a   l a n gu a ge   t ha t   t h e   us e r   c a u n de r s t a n d .   S ur v e y s   o f   c r o s s - l a n gua ge   i n f o r m a t i o n   r e t ri e v a l   t e c hn i q ue s   a n d   m u l t i l i ngua l   p r o c e s s i n g   i n c l u de   [1],   [2]   v a r i o us   a pp r o a c h e s   o n   CL IR   a do pt e by   r e s e a r c h e r s   f e w   d e c a de s   a go   a n t h e i r   l i m i t a t i o n s .   C r o s s - l a n gua ge   i n f o r m a t i o n   r e t ri e v a l   (CL IR i s   a   r e t r i e v a l   p r o c e s s   i n   w h i c h   t h e   us e r   p r e s e nt s   que ri e s   i n   o n e   l a n gu a ge   t r e t ri e v e   i n f o r m a t i o n   i n   a n o t h e r   l a ngua ge .   CL IR   a pp r o a c h e s   a r e   de c o m pos e i n t o   t w o   m a j o r   r e s e a r c f i e l ds :   -   t h e   f i r s t   i s   d i c ti o n ar b as e d   ap p r o ac h   a n m ac h i n e   t r an s l ati o n   (M T )   a nd  t h e   s e c o n i s   C o n c e p t   D r i v e n   A p p r o ac h   (CD A ).     1. 4   M u l ti - Li n gu al   I n fo r m ati o n   R e tr i e v al     M L IR   f a c i l i t a t e s   t h e   us e s   o f   que r i e s   i o n e   l a n gu a ge   t o   a c c e s s   d o c um e n t s   i d i f fe r e nt   l a n gu a ge s   (m o r e   t h a t w o   l a n g ua ge s   i n v o l v e d).         2.   S TA TE  O F   T H A R T     Cr o s s - L a ngua ge   I n f o r m a t i o n   R e t r i e v a l   i s   a   v i v i r e s e a r c h   f i e l due   t o   e xi s t e n c e   of   n um e r o us   l a n gu a ge s   us e by   pe o pl e   a c r o s s   t h e   w o r l d.   I t hi s   s e c t i o n   w e   t r y   t o   pr ov i de   a   b i r e y e   v i e w   of   v a r i o us   w o r ks   do n e   i n   t h e   f i e l o f   Cr o s s - L a n g ua ge   I n f o r m a t i o R e t r i e v a l   b y   a n a l y s i n s o m e   o f   t h e   c o m p r e h e n s i v e   s ur v e y s   a n a r t i c l e s   pub l i s h e i t h e   f i e l du ri n t h e   t i m e   s p a n   o f   2001  t o   2016.   T h e   f o l l ow i n T a b l e   de p i c t s   a   de t a i l e d   o f   w o r do n e   b y   a ut h o r s   a l o n g   w i t r e s pe c t i v e   y e a r s   a s   w e l l   a s   ke y   f i n di n gs .     T hr o ug h   t h e   T a b l e   w e   i n t e n de t o   p r o v i de   a   c r i s p   de t a i l   of   v a r i o us   s ur v e y s   d o n e   i n   t h e   f i e l o c r o s s - l a n gua ge   i n f o r m a t i o r e t r i e v a l   i ge n e ra l .         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om pr e h e ns i v e   s ur v e y   on   c r os s - l a nguag e   i nf or m at i o r e t r i e v a l   s y s t e m   ( G our anga  C har an  J e na )   129   T a b l e   1 .   A na l y s i s   of   s o m e   c o m pr e h e n s i v e   s ur v e y s   a n d   a rt i c l e s   Re f . /   A u t h o r   Y e a r   S c o p e   o A n a l y s i s   K e y   F i n d i n g s           A ri   P i rk o l a   e t . a l   [3 ]             2001           Re v i e w e d   l i t e ra t u r e   o n   d i c t i o n a r y - b a s e d   c r o s s - l a n g u a g e   i n fo r m a t i o n   r e t r i e v a l   (CL IR)  a n d   p r e s e n t s   CL IR  r e s e a r c h   d o n e   a t   t h e   U n i v e r s i t y   o f   T a m p e r e   (U T A ).   T h e   s t ru c t u r e d   q u e r y   m o d e l   a n d   r e p o r t   f i n d i n g   fo fo u d i ffe r e n t   l a n g u a g e   p a i r s   c o n c e r n i n g   t h e   e ffe c t i v e n e s s   o f   q u e ry   s t ru c t u ri n g   i s   p re s e n t e d .   T h i s   p a p e c o n s i d e r s   t h e   m a i n   p r o b l e m s   a s s o c i a t e d   w i t h   d i c t i o n a r y - b a s e d   C L IR,   w h i c h   a r e   1 U n t ra n s l a t a b l e   s e a r c h   k e y s   d u e   t o   t h e   l i m i t a t i o n s   o g e n e ra l   d i c t i o n a ri e s ,   2 t h e   p ro c e s s i n g   o f   I n f l e c t e d   w o rd s ,   3 p h ra s e   i d e n t i f i c a t i o n   a n d   t ra n s l a t i o n   a n d   4 )   l e x i c a l   a m b i g u i t y   i n   s o u r c e   a n d   t a r g e t   l a n g u a g e .   T h i s   p a p e p r o p o s e d   a   s t a n d a rd   m e t h o d   i n   d i c t i o n a r y - b a s e d   CL IR  i s   t o   re p l a c e   e a c h   s o u rc e   l a n g u a g e   k e y   b y   a l l   o i t s   t a r g e t   l a n g u a g e   e q u i v a l e n t s   g i v e n   b y   a   d i c t i o n a ry   t o   o v e r c o m e   a b o v e   s a i d   p r o b l e m s .               M u s t a f a   A b u s a l a h   e t . a l   [4 ]                 2 0 0 7                   Re v i e w e d   a   l i t e ra t u re   s u r v e y   b a s e d   o n   CL I R   s y s t e m   i n   s h o rt .   T h e y   h a v e   d e s c ri b e d   p re v i o u s   w o rk   i n   CL I R,   c u rr e n t   p r o b l e m s   i n   CL I R,   a n d   m a d e   re c o m m e n d a t i o n s   fo f u t u r e   w o rk .     D e s c ri b e d   p r e v i o u s   w o rk   i n   CL IR,   c u rr e n t   p r o b l e m s   i n   CL IR,   a n d   m a d e   re c o m m e n d a t i o n s   fo f u t u re   w o rk .   It   d e s c r i b e s   CL IR  s y s t e m s   t h a t   h a v e   c o m b i n e d   q u e r y   t ra n s l a t i o n   t o   p a ra l l e l - c o r p o ra   c o u l d   s h o w   b e t t e r e s u l t s   a s   p a ra l l e l   c o r p o ra   h a s   ri c h   c o n t e x t   t o   c o v e t h e   w e a k   c o n t e x t   o f   t h e   q u e r y .   T h e   s e m a n t i c   w e b   c a n   p l a y   a n   i m p o rt a n t   r o l e   i n   CL I t h r o u g h   t h e   u s e   o f   o n t o l o g i e s .   O n t o l o g y   d e f i n e s   t h e   b a s i c   t e r m s   a n d   r e l a t i o n s   c o m p ri s i n g   t h e   v o c a b u l a r y   o f   a   t o p i c   a re a   a s   w e l l   a s   t h e   ru l e s   fo c o m b i n i n g   t e r m s   a n d   r e l a t i o n s   t o   d e f i n e   e x t e n s i o n s   t o   t h e   v o c a b u l a ry .   O n t o l o g y   i s   a n   e x p l i c i t   s p e c i fi c a t i o n   o f   a   c o n c e p t u a l i z a t i o n .   O n t o l o g i e s   c a n   b e   i m p l e m e n t e d   i n   t ra n s l a t i o n   s y s t e m s   t o   e x t ra c t   c o n c e p t u a l   re l a t i o n s   fo m o n o l i n g u a l   a n d   c r o s s   l a n g u a g e   IR.                           M a n o j   K u m a Ch i n n a k o t l a   e t . a l   [5 ]                         2 0 0 8       D e v e l o p e d   a   H i n d i   t o   E n g l i s h   a n d   M a ra t h i   t o   E n g l i s h   C L IR   s y s t e m s   a n d   d e s c r i b e s   a   q u e r y   t ra n s l a t i o n   b a s e d   a p p ro a c h   u s i n g   b i - l i n g u a l   d i c t i o n a ri e s .   Q u e r y   w o r d s   n o t   fo u n d   i n   t h e   d i c t i o n a ry   r e   t ra n s l i t e ra t e d   u s i n g   a   s i m p l e   ru l e   b a s e d   t ra n s l i t e ra t i o n   a p p r o a c h .   T h e   r e s u l t a n t   t ra n s l i t e ra t i o n   i s   t h e n   c o m p a re d   w i t h   t h e   u n i q u e   w o rd s   o f   t h e   c o r p u s   t o   r e t u rn   t h e   ‘k ’  w o rd s   m o s t   s i m i l a t o   t h e   t ra n s l i t e ra t e d   w o r d .   T h e   r e s u l t i n g   m u l t i p l e   t ra n s l a t i o n / t ra n s l i t e ra t i o n   c h o i c e s   fo e a c h   q u e r y   w o r d   a r e   d i s a m b i g u a t e d   u s i n g   a n   i t e ra t i v e   p a g e - ra n k   s t y l e   a l g o ri t h m   w h i c h ,   b a s e d   o n   t e r m - t e r m   c o - o c c u rr e n c e   s t a t i s t i c s ,   p r o d u c e s   t h e   f i n a l   t ra n s l a t e d   q u e r y .   U s i n g   t h e   a b o v e   a p p r o a c h ,   fo r   H i n d i ,   a   M e a n   A v e ra g e   P re c i s i o n   (M A P o f   0 . 2 3 6 6   u s i n g   t i t l e   a n d   a   M A P   o f   0 . 2 9 5 2   u s i n g   t i t l e   a n d   d e s c r i p t i o n   a re   a c h i e v e d .   F o M a ra t h i ,   a   M A P   o 0 . 2 1 6 3   u s i n g   t i t l e   i s   a c h i e v e d .     T h i s   p a p e d i s c u s s e d   a   q u e ry   t ra n s l a t i o n   b a s e d   a p p r o a c h   u s i n g   b i - l i n g u a l   d i c t i o n a ri e s .   Q u e r y   w o r d s   n o t   fo u n d   i n   t h e   d i c t i o n a r y   a r e   t ra n s l i t e ra t e d   u s i n g   a   s i m p l e   ru l e   b a s e d   t ra n s l i t e ra t i o n   a p p r o a c h .   D e v e l o p e d   a   H i n d i   t o   E n g l i s h   a n d   M a ra t h i   t o   E n g l i s h   CL IR  s y s t e m s   d e v e l o p e d   fo t h e   CL E F   2 0 0 7   A d - H o c   Bi l i n g u a l   T a s k .   O u a p p r o a c h   i s   b a s e d   o n   q u e r y   t ra n s l a t i o n   u s i n g   b i - l i n g u a l   d i c t i o n a ri e s .   T ra n s l i t e ra t i o n   o f   w o r d s   w h i c h   a r e   n o t   fo u n d   i n   t h e   d i c t i o n a r y   i s   d o n e   u s i n g   a   s i m p l e   ru l e   b a s e d   a p p r o a c h .   It   m a k e s   u s e   o f   t h e   c o rp u s   t o   r e t u r n   t h e   ‘k ’  c l o s e s t   p o s s i b l e   E n g l i s h   t ra n s l i t e ra t i o n s   o f   a   g i v e n   H i n d i / M a ra t h i   w o rd .   D i s a m b i g u a t i n g   t h e   v a ri o u s   t ra n s l a t i o n s / t ra n s l i t e ra t i o n s   i s   p e r fo r m e d   u s i n g   a n   i t e ra t i v e   p a g e - ra n k   s t y l e   a l g o r i t h m   w h i c h   i s   b a s e d   o n   t e r m - t e r m   c o - o c c u rre n c e   s t a t i s t i c s .           S u j o y   D a s   e t . a l   [6 ]           2009       M a d e   a n   o b s e r v a t i o n   t h a t   t h e   d i c t i o n a ry   b a s e d   q u e r y   t ra n s l a t i o n   a p p r o a c h   h a s   b e e n   w i d e l y   u s e d   b y   re s e a rc h e r s   o f   C L IR.   T h e   t ra n s l a t i o n   a m b i g u i t y   a n d   t a rg e t   p o l y s e m y   a re   t h e   t w o   m a j o p ro b l e m s   o d i c t i o n a ry   b a s e d   CL I R.     T h i s   p a p e d i s c u s s e d   t h a t   t h e   d i c t i o n a ry   b a s e d   q u e r y   t ra n s l a t i o n   a p p r o a c h   h a s   b e e n   w i d e l y   u s e d   b y   re s e a rc h e r s   o f   CL IR .   T h e   t ra n s l a t i o n   a m b i g u i t y   a n d   t a rg e t   p o l y s e m y   a re   t h e   t w o   m a j o p r o b l e m s   o d i c t i o n a ry   b a s e d   CL IR.   I n   t h i s   p a p e r,   t h e   r e s e a r c h e r s   h a v e   i n v e s t i g a t e d   p a r t   o f   s p e e c h   a n d   c o - o c c u r re n c e   b a s e d   d i s a m b i g u a t i o n   t e c h n i q u e s   fo E n g l i s h - H i n d i   CL IR  s y s t e m .             M u s t a f a   a b u s a l a h   e t   a l .   [7 ]             2009   Re p o r t s   a n   e x p e ri m e n t   t o   e v a l u a t e   a   CL I s y s t e m   t h a t   u s e s   o n t o l o g y   t o   i m p ro v e   q u e r y   t ra n s l a t i o n   i n   t h e   t ra v e l   d o m a i n .   T h e   o n t o l o g y - b a s e d   a p p ro a c h   s i g n i f i c a n t l y   o u t p e r f o r m e d   t h e   M a c h i n e   R e a d a b l e   D i c t i o n a r y   t ra n s l a t i o n   b a s e l i n e   u s i n g   M e a n   A v e ra g e   P r e c i s i o n   a s   a   m e t r i c   i n   a   u s e c e n t r e d   e x p e ri m e n t .       T h i s   p a p e s u g g e s t s   t h e   o n t o l o g y - b a s e d   a p p ro a c h   s i g n i f i c a n t l y   o u t p e r fo r m e d   t h e   M a c h i n e   R e a d a b l e   D i c t i o n a r y   t ra n s l a t i o n   b a s e l i n e   u s i n g   M e a n   A v e ra g e   P re c i s i o n   a s   a   m e t ri c   i n   a   u s e c e n t r e d   e x p e ri m e n t .     N u rj a n n a t o n   H i d a y a h   Ra i s   e t . a l   [8 ]       2010     D i s c u s s e s   r e s e a r c h   o n   q u e ry   t ra n s l a t i o n   e v e n t s   i n   M a l a y a l a m - E n g l i s h   Cr o s s - L a n g u a g e   In fo r m a t i o n   Re t r i e v a l   (CL IR s y s t e m .       T h i s   p a p e r e s e a r c h   w o rk   o n   q u e r y   t ra n s l a t i o n   e v e n t s   i n   M a l a y a l a m - E n g l i s h   Cr o s s - L a n g u a g e   In fo r m a t i o n   Re t r i e v a l   (CL IR)  s y s t e m .   T h e   re s e a r c h e r s   h a v e   a s s u m e d   t h a t   b y   i m p r o v i n g   q u e r y   t ra n s l a t i o n   a c c u ra c y ,   t h e y   c a n   i m p ro v e   t h e   i n fo r m a t i o n   r e t ri e v a l   p e r f o r m a n c e .       S a u ra b h   V a r s h n e y   e t . a l   [9       2013   T h i s   p a p e r   s t u d i e d   t h e   e ffe c t   o f   t a r g e t   p o l y s e m y   a n d   t ra n s l a t i o n   a m b i g u i t y   i n   d i c t i o n a ry   b a s e d   q u e r y   t ra n s l a t i o n   a p p r o a c h   fo E n g l i s h -   H i n d i   CL I R   s y s t e m .   H a v e   s t u d i e d   t h e   e ffe c t   o f   t a rg e t   p o l y s e m y   a n d   t ra n s l a t i o n   a m b i g u i t y   i n   d i c t i o n a r y   b a s e d   q u e r y   t ra n s l a t i o n   a p p r o a c h   fo r   E n g l i s h -   H i n d i   C L IR  s y s t e m .                     CL IR  p r o v i d e s   n e w   p a ra d i g m s   i n   s e a r c h i n g   d o c u m e n t s   t h r o u g h   m y ri a d   v a ri e t i e s   o l a n g u a g e s   a c r o s s   t h e   w o rl d   a n d   i t   c a n   b e   t h e   b a s e l i n e   f o s e a rc h i n g   n o t   o n l y   a m o n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 4 ,   N o .   1 A p r i l   20 1 9   :     12 7     1 3 4   130   Re f . /   A u t h o r   Y e a r   S c o p e   o A n a l y s i s   K e y   F i n d i n g s                 Re k h a   W a rri e e t . a l   [1 0 ]                   2015                   T h i s   p a p e d e s c ri b e s   a   d e t a i l e d   l i t e ra t u re   s u rv e y   b a s e d   o n   v a ri o u s   CL IR   t e c h n i q u e s ,   a d v a n t a g e s   a n d   l i m i t a t i o n s   i n   s h o rt .     t w o   l a n g u a g e s   b u t   a l s o   i n   m u l t i p l e .   Cre a t i n g   a c c u ra t e   m e t a d a t a   i n   d i ffe r e n t   l a n g u a g e s   i n   d o c u m e n t s   o g o o d   t ra n s l a t i o n   o f   k e y   i n fo r m a t i o n   i n   d o c u m e n t s   c a n   h e l p   i m p r o v e   t h e   q u a l i t y   o f   t h e   i n d e x   a n d   r e t ri e v a l .   A ft e r   t h e   e v a l u a t i o n   o f   b o t h   t h e   p u re   d i c t i o n a r y   a n d   t h e   o n t o l o g y   s y s t e m s ,   t h e   o n t o l o g y   b a s e d   s y s t e m   s c o r e d   h i g h e r   i n   t e r m s   o p re c i s i o n .     I n   f u t u r e   d e v e l o p m e n t   o n t o l o g y   w i l l   b e   e n h a n c e d   a n d   e x t e n d e d   b y   u s i n g   a n n o t a t i o n   t o o l s   t o   a l i g n   n e w   c o n c e p t s   t o   t h e   o n t o l o g y   a n d   t h e n   t e s t   i t   a g a i n   w i t h   t h e   d i c t i o n a r y   s y s t e m .     O t h e a r e a s   fo i n v e s t i g a t i o n   i n c l u d e   e a s e   o u s e ,   t h e   u s e   o f   r e l e v a n c e   fe e d b a c k ,   t h e   e ffe c t   o f   m o r e   e x t e n s i v e   u s e   o f   c o n c e p t   re l a t i o n s   a n d   p o s s i b l y   e x p e ri m e n t s   w i t h   l a rg e d a t a   s e t s .   T h i s   p a p e r   d i s c u s s e d   d i ffe r e n t   t y p e s   o CL IR  t e c h n i q u e s   a n d   a d v a n t a g e s   a n d   d i s a d v a n t a g e s   o e a c h   t e c h n i q u e .           S a n j a y   K .   D w i v e d i   e t . a l   [1 1 ]           2016   T h i s   p a p e r   d e s c ri b e s   a   d e t a i l   s u rv e y   o n   CL I R   s y s t e m   a n d   n u m b e o f   c h a l l e n g e s ,   i s s u e s   p r e s e n t   i n   t h e   C L IR  s y s t e m .   T h i s   p a p e t a k e s   a n   o v e rv i e w   o t h e   n e w   a p p l i c a t i o n   a re a s   o CL IR  a n d   r e v i e w s   t h e   a p p r o a c h e s   u s e d   i n   t h e   p ro c e s s   o f   CL IR   re s e a r c h   fo q u e r y   a n d   d o c u m e n t   t ra n s l a t i o n .   I t   a l s o   d e s c r i b e s   t h e   d i v e r s i t y   o f   i n f o r m a t i o n   a n d   l a n g u a g e   b a rri e r s   a re   t h e   s e ri o u s   i s s u e s   f o c o m m u n i c a t i o n   a n d   c u l t u ra l   e x c h a n g e   a c r o s s   t h e   w o rl d .   T o   s o l v e   s u c h   b a rri e r s ,   c ro s s   l a n g u a g e   i n fo r m a t i o n   re t ri e v a l   (CL IR)  s y s t e m ,   a re   n o w a d a y s   i n   s t r o n g   d e m a n d .     T h i s   p a p e d e s c ri b e s   a   d e t a i l   s u rv e y   o n   n u m b e o c h a l l e n g e s   a n d   i s s u e s   i n   CL I h a v e   b e e n   i d e n t i fi e d   a n d   d i s c u s s e d .   Cro s s   l a n g u a g e s   i n fo r m a t i o n   r e t ri e v a l   s y s t e m s   w o u l d   p l a y   a   v e ry   i m p o rt a n t   ro l e   i n   a l l o w i n g   t h e   p e o p l e   t o   g o   t h ro u g h   t h e   d o c u m e n t s   a n d   l i t e ra t u r e s   o f   o t h e l a n g u a g e s   t h u s   b r e a k i n g   t h e   l a n g u a g e   b a rri e r .   T h i s   p a p e g i v e s   a   b ro a d   o v e r v i e w   o f   t h e   s p e e d y   d e m a n d i n g   w o rk   i n   t h e   f i e l d   o f   CL IR  b y   e x p l o ri n g   i t s   a s p i ra t i o n ,   d i ff i c u l t i e s ,   b a s i c   t o o l s ,   m a j o w o rk s   a n d   f u t u r e   r e s e a rc h   g o a l s .         3.   C LA S S I F I C A TI O N   O F   C LI R   TEC H N I Q U ES     B r o a dl y ,   t h e   CL IR   t e c h ni que s   a r e   di v i de i n   t o   t w c a t e go r i e s   i . e .   B i l i ngua l   M R D   a nd  M T   a nd  Co n c e pt   b a s e f i e l d.   T h e n   t h e s e   t w o   b r o a c a t e go r i e s   s ubdi v i de i n   t o   m a n y   s u b   c a t e g o r i e s   de pi c t e i di a g ra m   F i gu r e   1 .           F i gu r e   1 .   CL IR   t e c hni que s       3. 1 .      Bas e d   o n   Bi l i n gu al   M R D   an d   M T” ,   C LI R   s ys te m   i s   d i v i d e d   i n to   a)   Q u e r T r an s l a t i o n   Q ue r y   t r a n s l a t i o n   a pp r o a c h e s   us e   di c t i o n a r i e s ,   c o r po ra   b a s e ,   m a c h i n e   t ra n s l a t i o n ,   l a n g ua ge   s pe c i f i c   s t e m m e r s ,   t h e s a u ri ,   a nd  a ut o m a t i c a l l y   ge n e ra t e b i l i n gua l   t e rm   l i s t s   t o   i m p l e m e nt   t h e   n e c e s s a r y   t r a n s l a t i o n   o f   t h e   us e r   que r y   i n   l a n g ua ge   L   t t h e   t a r ge t   que r y   l a n gu a ge   L .   A n   e xc e l l e n t   di s c us s i o n   of  di c t i o na r y - b a s e que r y   t ra n s l a t i o n   t e c hni que s   i s   gi v e n   i [1 2].   I n   t h i s   w o r k,   a   s t udy   of   v a r i o us   t e c hni que s   i s   pr e s e nt e a n e f fe c t i ve n e s s   of   s pe c i f i c   t e c hn i q ue s   i s   m e a s ur e d .   Q ue r y   t r a n s l a t i o n   i n v o l ve s   t r a n s l a t i n t h e   que r y   t t h e   t a r ge t   l a n g ua ge .   T a b l e   de s c r i b e s ,   a m b i gui t y   oc c ur s   w h e n   w o r ds   h a v e   m ul t i pl e   m e a ni n w h i c a l s o   r e f e r r e t o   a s   po l y s e m y .   In   di c t i o n a r y   b a s e a ppr o a c h   o f   que r y   t r a n s l a t i o n ,   a m b i gu i t y   i s   h i g h   due   t o   n o t   pi c ki n g   t h e   ri g h t   m e a ni n g   a c c o r di ng  t o   t h e   us e c o n t e xt   i t he   que r y   a s   c o m pa r e   t o   c o r po r a   b a s e t r a n s l a t i o n .   Co r po r a   b a s e t r a n s l a t i o n   a pp r o a c h   o f   que r y   t r a n s l a t i o n   pi c ks   r i g ht   m e a n i ng  o f   t h e   w o r a c c o r di n g   t o   t h e   c o n t e xt .   H ow e v e r ,   t h e   c o s t   o de v e l o pm e n t   o f   c o r pus   i s   m o r e   e xpe n s i v e   t ha n   di c t i o n a r y   b a s e d   t r a n s l a t i o n   a pp r o a c h.   T h e   a v a i l a b i l i t y   of   U n i c o de   c o r pus   f o r   a   u nde re s o ur c e   l a n g ua ge   i s   r a r e .   I n   m a c hi n e   t ra n s l a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om pr e h e ns i v e   s ur v e y   on   c r os s - l a nguag e   i nf or m at i o r e t r i e v a l   s y s t e m   ( G our anga  C har an  J e na )   131   a pp r o a c h   o f   que r y   t r a n s l a t i o n   a m b i gui t y   i s   l e s s   a s   t h e   us e r   ha v e   a n   o pt i o n   t o   c h o o s e   t h e   m e a n i n o f   a   w o r f r o m   l i s t   o f   m e a n i ng  o f   a   w o r d.   D i c t i o na r y   b a s e a ppr o a c h   o f   que r y   t ra n s l a t i o n   a n Co r po ra   b a s e t r a n s l a t i o a pp r o a c h   o f   que r y   t ra n s l a t i o n   s y s t e m   c a n   b e   t e s t   b a s e d   o n   a n   a n a l y s i s   of  t h e   i n t e rn a l   s t r uc t u r e   of   t h e   c o m po n e n t .       T a b l e   2 .   Co m p a r i s o b e t w e e n   T e c hn i que s   o f   Q ue r y   T ra n s l a t i o n     P a ra m e t e r s   D i c t i o n a r y   Ba s e d   T ra n s l a t i o n   A p p r o a c h   Co r p o ra   Ba s e d   T ra n s l a t i o n   A p p r o a c h   M a c h i n e   T ra n s l a t i o n   Ba s e d   A p p r o a c h   A m b i g u i t y   H i g h   L o w   L o w   O ffl i n e   T ra n s l a t i o n   P o s s i b l e   P o s s i b l e   N o t   P o s s i b l e   W o rk i n g   A r c h i t e c t u re   V i s i b l e   a s   l i k e   w h i t e   b o x   t e s t i n g .   V i s i b l e   a s   l i k e   w h i t e   b o x   t e s t i n g   W o rk s   s i m i l a t o   b l a c k   b o x   t e s t i n g     D e v e l o p m e n t   e x p e n s e s   L e s s   e x p e n s i v e     M o r e   e x p e n s i v e   t h a n   D BT   M o r e   e x p e n s i v e   T ra n s l a t i o n   A v a i l a b i l i t y   H i g h l y   a v a i l a b l e   i n   m a n y   l a n g u a g e s     A v a i l a b l e   o n l y   i n   fe w   l a n g u a g e s     A v a i l a b l e   o n l y   i n   fe w   l a n g u a g e s       A us e f i r e s   a E ngl i s que r y   f r o m   t h e   c r o s s   l a n gu a ge   IR   i nt e r f a c e   a n d   t h e   que r y   i s   b e i n g   t ra nl a t e t o   O di a   l a n gu a ge .   T h e i t   w i l l   s e a r c t h e   O di a   do c um e n t   c o l l e c t i o n   a nd  r e t ri v e s   t h e   de s i r e O di a   do c um e n t   a s   i t s   s e a r c h   r e s ul t .   T h e   a b o ve   F i gu r e   1   de s c r i b e   t h e   w o r ki n g   a rc h i t e c h u r e   o f   t h e   Q ue r y   T r a n s l a t i o a pp r o a c h.         F i gu r e   1 .    Q ue r y   T r a n s l a t i o M o de l       b.   D o c u m e n Tr an s l ati o n     A   s i m pl e   w a y   t o   t r a n s l a t e   do c um e n t s   i s   t o   us e   a n y   of   t h e   que r y   t r a n s l a t i o n   a pp r o a c h e s   t h a t   w e   h a v e   a l r e a dy   di s c us s e d.   S i n c e   t h e   do c um e n t s   c o n t a i n   na t u r a l   l a n g ua ge   t e xt ,   i t   i s   a l s o   po s s i b l e   t o   r u n   m a c h i n e   t r a n s l a t i o a l go r i t hm s   t o   t ra n s l a t e   f r o m   l a ngua ge .   L   t o   l a n g u a ge   L ’.   A l t h o ug h   m a c h i n e   t ra n s l a t i o n   a l go r i t hm s   a r e   n o t   pe r f e c t ,   t h e y   h a v e   b e e n   us e a s   a   f o un da t i o n   f o r   CL IR .   A n   a dv a nt a ge   of   t h e s e   a l go r i t hm s   i s   t ha t   t h e   us e   of   t h e   f ul l   na t u ra l   l a n g ua ge   t e xt   p r o v i de s   m o r e   e v i de n c e   w h e n   s e l e c t i ng  a   po t e n t i a l   t r a n s l a t i o n.     T a b l e   de s c r i b e s ,   doc um e n t   t ra n s l a t i o n   t r a n s l a t e s   t h e   do c um e n t   i nt o   t h e   s o ur c e   l a ngua ge   (i . e .   t h e   l a ngua ge   us e fo r   t h e   que r y ).   F o r   do c um e nt   t ra n s l a t i o n   a pp r o a c h   w e   h a v e   us e b i l i n gu a l   c o r p us   i n   t h e   b a c ke n d .   T h e   s i z e   o f   t h e   b i l i n gua l / p a ra l l e l   c o r pus   s h o ul l a r ge   t o   ge t   t h e   b e t t e r   s e a rc h   r e s ul t .   T h e   p r e pa ra t i o n   o f   b i l i n gu a l   c o r pus   i s   hi g h   c o s t   a n o v e r h e a d.   T h e   l i n gu i s t   m us t   h a v e   m a s t e r y   ov e r   t h e   t w o   l a n gu a ge s   t o   pr e pa r e   t h e   b i l i n g ua l   c o r pus .       T a b l e   3 .   D i f f e r e n c e   b e t w e e n   Q ue r y   a n D o c um e nt   T ra n s l a t i o   P a ra m e t e r   Q u e ry   T ra n s l a t i o n   D o c u m e n t   T ra n s l a t i o n   S i z e   S m a l l   L a rg e   L a n g u a g e     P ri o k n o w l e d g e   o t ra n s l a t i o n   l a n g u a g e   i s     n o t   re q u i re d   P ri o k n o w l e d g e   o t ra n s l a t i o n   l a n g u a g e   i s   r e q u i r e d   O v e rh e a d   L o w   H i g h   Re c o v e r y   W h e n   t h e s e   a re   t ra n s l a t e d   i n a p p ro p ri a t e l y ,   t h e   IR   e n g i n e   h a s   n o   c h a n c e   t o   r e c o v e r   Ch a n c e   t o   re c o v e r   A m b i g u i t y   M a x i m u m   c h a n c e s   o f   o c c u rri n g   a m b i g u i t y   M i n i m u m   c h a n c e s   o o c c u rri n g   Co s t   L o w   c o s t   H i g h   C o s t     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 4 ,   N o .   1 A p r i l   20 1 9   :     12 7     1 3 4   132   A n   us e r   f i r e s   a n   E n g l i s h   que r y   f r o m   t h e   c r o s s   l a n gu a ge   IR   i n t e r f a c e   t h e n   i t   w i l l   s e a r c h   t h e   E n g l i s h   do c um e n t   c o l l e c t i o n   a n r e t ri v e s   t h e   de s i r e E n gl i s h   do c um e n t   a s   i t s   s e a r c h   r e s ul t . T h e i t   w i l l   t r a n s l a t e   t h e   E n gl i s h   s e a r c h   r e s ul t   t o   t h e   O di a   D o c um e n t   a nd  gi v e s   t h e   us e r   i n   O di a   s e a r c h   r e s ul t s .   F i gu r e   2   de s c r i b e s   t h e   w o r ki n g   a r c h i t e c h u r e   o f   t h e   D o c um e nt   T r a n s l a t i o a pp r o a c h.         F i gu r e   2 .   D o c um e nt   T r a n s l a t i o M o de l       3. 2 .      Bas e d   o n   s e c o n d   r e s e ar c h   f i e l d   w h i c h   i s   “C o n c e p t   b as e d   fi e l d ,   C LI R   s ys te m   h as   tw o   ap p r o ac h e s   a.   M ul t i l i ngua l   d i c t i o n a r y   (D i c t i o na r y   b a s e d).     b.   O nt o l o g y   CL I R   t e c hn i que s   c a b e   c l a s s i f i e i nt o   di f f e r e n t   c a t e go r i e s   b a s e o n   t r a n s l a t i o n   r e s o ur c e s :       i)   D i c t i o na r y - b a s e CL IR   t e c h ni que   (D B - CL IR           ii)   Co r po r a   b a s e CL IR   t e c hni que     (P a ra l l e l   c o r po ra   a n d   Co m p a ra b l e   Co r po ra )         iii)   M a c hi n e   t ra n s l a t o r   b a s e CL IR   t e c hni que             i v )   O nt o l o g y   b a s e CL IR   t e c h ni que   ( Co n c e pt   d ri v e n   f i e l d)       4.   R ES EA R C H   G A P       Q ue r i e s   f r o m   us e r s   a r e   of t e n   t o s h o r t ,   w h i c h   p r o duc e   m o r e   a m b i gui t y   i n   que r y   t r a n s l a t i o n   p r o c e s s .   A n d   i t   r e duc e s   t h e   a c c u r a c y   o f   t h e   c r o s s   l a ngua ge   r e t r i e v a l   re s ul t s .   S i n c e   t h e   p r o b l e m   o f   l a n gu a ge   m i s m a t c i n   CL IR   a r e   m o r e   s e r i o us   t ha n   i n   m o n o l i n gu a l   IR .   It   i s   n e c e s s a r y   t o   e xpl o i t   t e c hn i q ue s   fo r   i m p r o v i n g   t h e   m ul t i l i n gu a l   r e t r i e v a l   pe r f o r m a n c e .   I CL IR   s y s t e m s ,   us e r s   o f t e n   p r e s e n t   t h e i que r y   i t h e i na t i v e   l a n gu a ge ,   a n t h e n   t h e   s y s t e m   a ut o m a t i c a l l y   s e a r c h e s   do c um e n t s   w r i t t e n   i n   o t h e r   l a n gu a ge s .   T h e r e f o r e ,   i t   i s   a   c h a l l e n ge   fo r   CL IR   t o   c o n que r   t h e   b a rr i e r   b e t w e e n   t h e   s o ur c e   l a n gu a ge   (S L i n   que r y   s e n t e n c e s   a nd  t h e   t a rge t   l a ngua ge   (T L i n   d o c um e n t s   t o   b e   s e a r c h e d .   M o s t   of   t h e   CL IR  s y s t e m s   ut i l i z e   M a c h i n e   T ra n s l a t i o n   (M T t e c hn o l o g y   t o   r e s o l v e   t h i s   p r o b l e m .   A s   M T   r e s e a r c h   i t s e l f   h a s   a   n u m b e r   o f   i s s ue s   (s uc h   a s   a c c u r a c y ),   t h e   r e s e a r c h   i CL IR   a l s f a c e s   c r i t i c a l   i s s ue s   a n c h a l l e n ge s   t h a t   m us t   b e   a ddr e s s e d.   D ue   t o   t h i s   t r a n s l a t i o n   c a us e s   a   r e duc t i o n   i n   t h e   r e t r i e v a l   pe r f o r m a n c e   of   CL I R   a s   c o m pa r e d   t o   m o n o l i n g ua l   IR   s y s t e m .   T h e   m a i n   r e a s o n   f o r   t h i s   r e duc e pe r f o r m a n c e   a r e   m i s s i ng  s pe c i f i e voc a b ul a r y ,   m i s s i n ge n e r a l   t e rm s   a n d   w r o n t r a n s l a t i o due   t o   a m b i gu i t y .     4. 1 .       A m b i gu i ty   A m b i gui t y   [13]  o c c ur s   w h e w o r ds   ha v e   m ul t i p l e   m e a ni n w h i c a l s o   r e f e r r e t o   a s   h o m o n y m y   o r   po l y s e m y .   A m b i gui t y   i n   IR   i s   s e m a n t i c   a nd  s y n t a c t i c   i na t ur e ,   w h e r e a s   a m b i gui t y   i CL IR   i s   s e m a n t i c   a n d   l e xi c a l .   S o   t h e   pr o b a b i l i t y   o o c c urr e n c e   of   a m b i gui t y   i n   CL IR   i s   h i g h e r   t ha n   n o r m a l   IR ,   due   t o   t h e   a v a i l a b i l i t y   of   di f fe r e nt   l a ngua ge s   [ 14].     4. 2 .       C o m p l e x i ty  i n   N e w   A p p l i c ati o n s   Q ue s t i o n / A n s w e r i n g   i s   r e l a t i v e l y   a   n e w   s t r e a m   o f   In f o r m a t i o R e t r i e v a l .   I Q ue s t i o n/ A n s w e r i n g   e n d - us e r s   t hr o w   a   que s t i o n   i n   a   f o r m   o f   que r y   a n r e t ri e v e   a n s w e r s   f o r   t ha t .   H ow e v e r ,   c ha l l e n ge   i s   t o   r e t ri e v e   a n s w e r s   o f   E n g l i s que s t i o n s   i d i f fe r e nt   l a n g ua ge .           Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om pr e h e ns i v e   s ur v e y   on   c r os s - l a nguag e   i nf or m at i o r e t r i e v a l   s y s t e m   ( G our anga  C har an  J e na )   133   4. 3 .       S p e c i al i z e d   T e r m i n o l o gy  an d   P r o p e r   N o u n s   S pe c i a l i z e t e r m i n o l o g y ,   s uc h   a s   s c i e n t i f i c   n a m e s ,   i s   o f t e n   di ff i c ul t   t o   t r a n s l a t e   a nd  i s   of t e n   f o un i s pe c i a l i z e d i c t i o n a ri e s   o r   t e rm   b a n ks .   S pe c i a l i z e t e rm i no l o g y   t e n ds   t o   b e   l e s s   a m b i guo us   t h a r e gul a vo c a b ul a r y   a l t h o ug h   r e gu l a v o c a b ul a r y   c a n   ha v e   a   s pe c i a l i z e m e a n i ng  w h e us e i a   c e rt a i s ub j e c t   a r e a .       5.   P R O P O S ED   S O LU TI O N   Cr o s s   l i n gu a l   i n f o rm a t i o n   r e t ri e v a l   fo r   f o r e i gn   l a n gu a ge s   l i ke   E n gl i s h ,   F r e n c h,   C h i n e s e   e t c .   ha s   b e e n   a n   a ppe a l i n g   a r e a   f o r   r e s e a r c h e r s   f r o m   l o n g   t i m e .   B ut   I n d i a n   l a ngua ge s   h a v e   gra b b e a t t e n t i o n   o nl y   a   de c a de   b a c k.   T h e   w o r do n e   by   r e s e a r c h e r s   s h o w   m i xe r e s ul t s   i t e r m s   o f   i m p r o v e m e n t   o v e r   m o n o l i ngua l   r e t ri e v a l   i n   I n di a n   l a n gu a ge   pe r s pe c t i v e .   P a r a l l e l   o r   c o m pa r a b l e   c o r po r a   a r e   y e t   o t h e r   us e f ul   r e s o ur c e s   fo r   de s i gn i ng  a   CL IR   S y s t e m .   P a ra l l e l   c o r po r a   a r e   p r e f e r r e i n   CL IR   be c a us e   t h e y   pr o v i de   m o r e   a c c ur a t e   t ra n s l a t i o n   kn o w l e dge   b ut   due   t t h e i r   s c a r c i t y ,   c o m pa r a b l e   c o r po r a   a r e   o f t e n   us e i n   CL IR   s y s t e m .   T h e   a b ove   ob s e r v a t i o n   c o n c l ude s   t ha t   t h e r e   i s   a   w i de   s c o p e   of   r e s e a r c h   t o   i m p r o v e   e xi s t i ng  a l go r i t h m s   o r   de v e l o pi n g   n e w   o n e   t o   i m pr o v e   t h e   pe r f o r m a n c e   l e v e l   of   CL I R   s y s t e m .   H ow e ve r ,   w e   h a v e   n o t   y e t   de c i de a n y   c o n c r e t e   pr o t o t y p e   a pp r o a c f o r   de v e l o pi n E ngl i s h - O di a   CL IR   S y s t e m .   B ut   n o w   w e   a r e   f o c us i n o n   c o l l e c t i n r e s o ur c e s   l i ke   pa r a l l e l   c o r pus ,   b i l i ngua l   di c t i o n a r y   a n p r o b a l i s t i c   di c t i o n a r y   e t c .   a n b ui l di ng  c o m po n e n t s   l i ke   s t e m m e r ,   t ra n s l i t e r a t i o n   a nd  S M T   e t c .   s y s t e m   r e qui r e fo r   b ui l di n a n   e ff e c t i v e   CL IR  s y s t e m .   W e   pr e s um e   t ha t   o ur   p r o po s e d   pr o t o t y pe   s y s t e m   w i l l   pr o v e   t o   be   c o m pe t e n t   w i t h   o t h e r   e xi s t i n s y s t e m s   i n   f ut u r e   i f   w e   s uc c e s s f ul l y   c o l l e c t   t h e   r e s o ur c e s ,   b ui l t h e   c o m po n e nt   a n m o di f i e t h e   e xi s t i n g   a l go ri t hm .       6.   R ES U LT  A N D   A N A L Y S I S         A n u ra S e e t ha   &   S .   D a s   [15]  pe r f o r m e t ra n s l a t i o n   o n   F i r e   2010  H i n di   t e s t   c o l l e c t i o n   us i n S ha b da n j a l i   di c t i o na r y   &   que r y   e xpa n s i o by   H i n d i   W o r d N e t .   T h e   m e t h o p r o v e t o   b e   i n e ff e c t i ve .   It   i s   b e c a us e   g e n e ra l   di c t i o na r i e s   ha v e   l ow   c ove r a ge   pr o b l e m .   T o   r e m ov e   t h i s   i n e f f i c i e n c y   L a r ke y   a n Co nn e l l   [16]  us e p r o b a b i l i s t i c   di c t i o na r y   de r i v e f r o m   pa ra l l e l   c o r p us   f o r   E n gl i s h   t o   H i n d i   t ra n s l a t i o n   a n d   a c h i e v e d   e ffe c t i ve   c r o s s   l i ngua l   r e t r i e v a l .   O t h e r   r e s e a r c h e r s   h a v e   m a de   us e   of   m a c h i n e   t ra n s l a t i o n   f o r   c r o s s   l i n g ua l   r e t ri e v a l .   D . T h e nm o z h i   &   C.   A r a v i n d a n   [17]  us e M T   o n   a g ri c ul t u ra l   do m a i n   a n r e t ri e v e pa ge s   w i t h   M A P   of   95%.   M T   s y s t e m s   pr o duc e   h i g h   qu a l i t y   t r a n s l a t i o n s   o n l y   i n   l i m i t e do m a i n s   a n a r e   v e r y   e xp e n s i v e   t oo .   It   i n v o l ve s   t h e   c o s t   of   c r e a t i n g   b i l i n g ua l   di c t i o na r y ,   pa r a l l e l   c o r po r a   a n d   t h e   c o n s t r uc t i o n   a n d   e v a l ua t i o n   o f   M T   s y s t e m .   R .   U dupa   &   J .   J a ga rl a m ud i   [18]  us e P r o b a b i l i s t i c   t r a n s l a t i o n   l e xi c o n   p r o duc e by   S t a t i s t i c a l   M a c hi n e   L e a rn i ng  w h i l e   A . Im a m   &   S .   Ch o w dh u r y   [19]  us e S M T   us i n pa ra l l e l   c o r pus   fo r   E n gl i s h   t B a n gl a   t ra n s l a t i o n .   T a b l e   de s c r i b e s   t h a t   t h e   a u t h o r s   i n   pa s t   ha us e di ff e r e n t   t ra n s l a t i o n   a pp r o a c h e s ,   s i z e   of  t h e   da t a   s e t   f o r   e v a l ua t i ng  t h e i r   c r o s s   l a n gu a ge   i n f o r m a t i o n   r e t r i e v a l   s y s t e m .   W e   h e r e   j us t   s h ow i n t h e i r e s ul t s ,   w h a t e v e r   t r a n s l a t i o n   a pp r o a c h e s   a n t h e i r   t e s t   d a t a s e t   t h e y   us e t o   e v a l ua t e   t h e   c r o s s   l a n gu a ge   i n f o r m a t i o r e t ri e v a l   s y s t e m .       Ta b l e   4 .   R e s ul t   A na l y s i s   of   CL IR   T e c h ni que s   f o r   I ndi a n   L a n gua ge s   L a n g u a g e s   T ra n s l a t i o n   S i z e   o t e s t   d a t a /   P e r fo r m a n c e   S p e c i f i c   F e a t u re s     E n g l i s h   t o   H i n d i     L a rk e y   &   C o n n e l l   [1 6 ]   P ro b a b i l i s t i c   d i c t i o n a ry   d e ri v e d   f r o m   p a ra l l e l   c o rp u s     4 1 6 9 7   H i n d i   n e w s   a rt i c l e s /   m e t h o d   c o n t ri b u t e s   t o   e ffe c t i v e   H i n d i   r e t ri e v a l   It   c o m b i n e s   t h e   ra n k e d   l i s t s   f r o m   t h e   In q u e r y   s e a r c h   a n d   t h e   L a n g u a g e   M o d e l i n g   s e a r c h   t o   o b t a i n   t h e   f i n a l   ra n k i n g   o f   r e t r i e v e d   d o c u m e n t s .   H i n d i   t o   t e l u g u   t o   E n g l i s h   P . P i n g a l i   &   V . V e r m a   [2 0 ]     Bi l i n g u a l   D i c t i o n a r y   E n g l i s h   n e w s   c o r p u s   o f   L A   T i m e s   1 9 9 5   c o n t a i n i n g   1 1 3 0 0 5   d o c u m e n t s   &   5 6 4 7 2   d o c u m e n t s   f r o m   G l a s g o w   H e ra l d   o f   1 9 9 5 . T h e   s y s t e m   i s     r o b u s t   S i m p l e   t e c h n i q u e s   s u c h   a s   d i c t i o n a r y   l o o k u p   w i t h   m i n i m a l   l e m m a t i z a t i o n   s u c h   a s   s u ff i x   re m o v a l   i s   n o t   s u ffi c i e n t   fo r   In d i a n   L a n g u a g e s   C L IR     Be n g a l i   &   H i n d i   t o   E n g l i s h     D .   M a n d a l   &   P .   Ba n e rj e e     [2 1 ]   M a c h i n e   T ra n s l a t i o n   u s i n g   Bi l i n g u a l   d i c t i o n a ry   E n g l i s h   n e w s   c o r p u s   o f   L A   T i m e s   2 0 0 2   c o n t a i n i n g   1 3 5 1 5 3   d o c u m e n t s /   M a p   fo r   Be n g a l i - E n g l i s h   q u e r i e s   i s   7 . 2 6   &   fo H i n d i - E n g l i s h   q u e r i e s   i s   4 . 7 7   Q u e ri e s   w i t h   n a m e d   e n t i t i e s   p r o v i d e d   b e t t e re s u l t s   a s   c o m p a re d   t o   t h e   q u e ri e s   w i t h o u t   n a m e d   e n t i t i e s   i m p l y i n g   t h e   i m p o rt a n c e   o f   a   v e r y   g o o d   b i l i n g u a l   l e x i c o n   a n d   t ra n s l i t e ra t i o n   t o o l   i n   C L IR   fo I n d i a n   l a n g u a g e s .   E n g l i s h   t o   H i n d i   &   H i n d i   t o   E n g l i s h     S .   S e t h u ra m a l i n g a m   &   V .   V a r m a     [2 2 ]       Bi l i n g u a l   D i c t i o n a r y   E n g l i s h   c o rp u s   c o n s i s t e d   o 1 2 5 , 6 3 8   n e w s   a rt i c l e s   f ro m   t h e   T e l e g ra p h ,   Ca l c u t t a   e d i t i o n   w h i l e   H i n d i   c o r p u s   c o n s i s t e d   o f   9 5 2 1 5   n e w s   a rt i c l e s   p u b l i s h e d   i n   J a g ra n .   E n g l i s h - H i n d i   CL IR  p e r fo r m a n c e   i s   5 8 %   w h i l e   r e v e r s e   i s   5 % .   D i s j u n c t i v e   q u e ry   fo r m u l a t i o n   u s i n g   w e i g h t e d   k e y w o r d s   g i v e   a n   o v e ra l l   b e t t e r   p e r f o r m a n c e   i n   b o t h   CL IR  a n d   M u l t i   L i n g u a l   s c e n a ri o       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 4 ,   N o .   1 A p r i l   20 1 9   :     12 7     1 3 4   134   7.   C O N C LU S I O N   A N D   F U TU R W O R K   Cr o s s - l i n g ua l   I n f o r m a t i o n   R e t r i e v a l   p r o v i de s   n e w   pa r a di gm s   i n   s e a r c h i ng  do c um e n t s   t hr o ugh  m ul t i t ude   v a r i e t i e s   of  l a ngua ge s   a c r o s s   t h e   w o r l d.   It   c a n   b e   t h e   b a s e l i n e   f o r   s e a r c hi n n o t   o n l y   a m o n t w l a n gu a ge s   b ut   a l s o   i n   m ul t i p l e   l a ngua ge s .   T o da y ,   m o s t   o f   t h e   c r o s s - l i ngua l   r e s e a r c i n v o l v e o n l y   f e w   f a m o us   l a n gu a ge s   l i ke   E n gl i s h ,   H i ndi ,   S pa n i s h,   C h i na   a n F r e n c h.   A s   t h e   w o r l b e c o m e s   m o r e   c o nn e c t e b t e c hn o l o g y ,   CL I R   i n   e v e r y   l a n gu a ge   i s   n e e de d.   Cr e a t i ng  a c c ur a t e   m e t a d a t a   i n   d i f fe r e nt   l a ngua ge s   i do c um e n t s   o r   goo t r a n s l a t i o n   o ke y   i n f o r m a t i o n   i n   do c um e nt s   c a n   h e l i m p r o v e   t h e   qua l i t y   of  t h e   i nde a nd  r e t ri e v a l .   CL IR   i s   a   m ul t i d i s c i pl i n a r y   a r e a   t ha t   ha s   b e e n   i n c r e a s i n gl y   ga i ni n m o r e   a t t e nt i o n   f r o m   t h e   r e s e a r c c o m m uni t y .   D e s pi t e   r e c e n t   a dv a n c e s   a n n e w   de ve l o pm e n t s ,   t h e r e   a r e   s t i l l   m a n y   a s pe c t s   t o   b e   e xpl o r e d.   O t h e r   a r e a s   f o r   i n v e s t i ga t i o n   i n c l ude   e a s e   of   us e ,   t h e   us e   of   r e l e v a n c e   f e e db a c k,   t h e   e ff e c t   of   m o r e   e xt e n s i v e   us e   of   c o n c e pt   r e l a t i o n s   a nd  po s s i b l y   e xpe r i m e n t s   w i t l a r g e r   d a t a   s e t s .   I I n di a c o n t e xt ,   t h i s   i s   o n e   o f   t h e   h o t s po t s   o f   l i ngui s t i c   di v e r s i t y   (350  l a n gu a ge s i t h e   g l o b e .   T h e   f a c t   t ha t   a   do m i na n t   l a n gu a ge   o f   o n e   r e gi o n   m a y   b e   a   l a ngua ge   o f   a   l i n gui s t i c   m i n o ri t y   i n   o t h e r   r e gi o n .   C L IR   s y s t e m s   w o ul pl a y   a   ve r y   i m po r t a n t   r o l e   i a l l o w i n g   t h e   pe o pl e   t o   go   t hr o ug h   t h e   do c um e nt s   a n l i t e r a t u r e s   o f   o t h e r   l a ngua ge s   t h us   b r e a ki n g   t h e   l a n gu a ge   b a rri e r.   W e   w o r o ut   h e r e   t o   gi v e   a   b r o a ov e r v i e w   i n   t h e   f i e l of  CL IR  by   e xpl o r i n i t s   a s p i r a t i o n ,   di f f i c ul t i e s ,   b a s i c   t o o l s ,   m a j o r   w o r ks   a n f ut u r e   r e s e a r c h   g o a l s .   In   r e v i e w i n t h i s   i n f o r m a t i o n ,   i t   b e c o m e s   po s s i b l e   t o   ga i a   l a r ge pi c t u r e   o f   t h e   CL IR   f i e l a n b ui l di ng  a e xpe r i m e nt a l   E n gl i s h - O di a   CL IR   s y s t e m .       R EF ER EN C ES   [ 1]   O a r D ,   a nd  D i e ke m a   A .   C L I R   A nnua l   R e v i e w   o f   I nf o r m a t i o S c i e nc e ;   V o l .   33,   W i l l i a m s ,   M .   ( e d . ) ,   I nf o r m a t i o T o da y   I nc . ,   M e df o r d,   N J ;   1998 .   [ 2]   O a r D .   a nd   D i e ke m a   A .   C r o s s - L a ng ua g e   I nf o r m a t i o R e t r i e v a l ,   I n :   W i l l i a m s ,   M .   ( e d. ) ,   A C M ,   N e w   Y o r k,   N Y   ( 199 9) .           [ 3]   A r i   P i r ko l a   e t . a l ,   D i c t i o na r y   B a s e C L I R :   P r o bl e m s ,   M e t ho ds ,   a nd  R e s e a r c F i ndi ng .   S e p .   20 01;   V o l um e   4:   pp  209 - 230.   [ 4]   M us t a f a   A bus a l a h ,   J o hn  T a i t   &   M i c he a l   O a k e s .   L i t e r at u r e   r e v i e w   of   C r os s   l an guage   i n f or m at i on   r e t r i e v a l ;   20 07 .         [ 5]   C hi nn a ko t l a ,   M . K .   e t   a l .   H i nd i   t E ng l i s and  M ar a t h i   t E ngl i s C r os s   L a ngua ge   I nf o r m at i on  R e t r i e v a l   E v al uat i on .   D e p t .   o f   C S E ,   I I T   B o m ba y ,   I ndi a ;   2 008 .       [ 6]   S uj oy   D a s   e t . a l ,   D i s am bi g uat i o S t r at e gi e s   f or   E ng l i s h - H i n di   C r os s   L an guage   I n f or m a t i on   R e t r i e v al   S y s t e m ;   2009 .     [ 7]   A bus a l a h ,   M .   e t . a l ,   C L I R   us i ng   M u l t i l i n gua l   O n t o l og y   as   T r a ns l at i o an Q ue r y   E x pan s i on   B as e ;   S e pt e m be r   2 009 .     [ 8]   N ur j a nna t o H i d a y a R a i s ,   M u h a m a T a uf i A bdul l a h ,   R a b i a A bdul   K a di r .   Q ue r y   T r an s l at i on  A r c h i t e c t ur e   f or   M a l ay - E ng l i s h   C r o s s - L an guage   I n f or m at i on   R e t r i e v al   S y s t e m ;   201 0.       [ 9]   V a r s h ne y   S .   &   B a j pa i   J .   I m pr ov i ng   pe r f or m an c e   o f   E n gl i s h - H i nd i   C L I R   us i ng   t r an s l i t e r a t i on   o f   q ue r y   t e r m s ;   2013 .   [ 10]   W a r r i e r   R ,   S h a r v a r i   S .   G o v i l k a r .   A   Sur v e y   o V ar i o us   C l i r   T e c h ni q ue s I n t e r na t i ona l   J ou r na l   o f   T e c hni c a l   R e s e ar c h   and  A pp l i c at i on s   e - I S S N :   2320 - 8163: V o l um e   3,   I s s ue   2, M a r - A pr   2 015;   P P .   152 - 15 6   [ 11]   S a nj a y   K .   D w i v e di   a nd  G a ne s C ha n dr a .   A   S ur v e y   O C r o s s   L a n gua g e   I nf o r m a t i o R e t r i e v a l I nt e r n at i on al   J o ur na l   on  C y be r ne t i c s   &   I nf or m a t i c s   ( I J C I ) :   V o l .   5,   N o .   1,   F e br u a r y   2016 .   [ 12]   L e vo w ,   G . ,   O a r d ,   D . ,   a nd  R e s n i k ,   P .   D i c t i on ar y - ba s e t e c hn i que s   f or   c r os s - l an guage   i n f o r m at i o r e t r i e v al ,   I nf or m a t i on  P r o c e s s i ng  and   M a na ge m e nt ;   2004 .   [ 13]   C ha nd r a ,   G . ;   D w i v e di ,   S . K . ,   A   L i t e r at ur e   Sur v e y   on  V ar i o us   A ppr oa c he s   of   W or Se ns e   D i s am bi g ua t i o n,   i C om put at i ona l   an B us i ne s s   I n t e l l i ge nc e ,   20 14  2n I nt e r na t i o na l   S y m po s i um   o n,   vo l . :   no . ,   pp. 10 6 - 109,   7 - D e c .   2014 .   [ 14]   D i e ke m a ,   A nne   R . , T r a ns l a t i o e v e nt s   i c r o s s - l a ng ua g e   i nf o r m a t i o r e t r i e v a l :   l e x i c a l   a m b i g ui t y ,   l e xi c a l   ho l e s ,   v oc a bul a r y   m i s m a t c h,   a nd   c o r r e c t   t r a n s l a t i o ns , 200 3.   [ 15]   S e e t ha   A ,   D a s   S ,   &   K um a r   M .   E v al uat i o of   t he   E ngl i s h - H i nd i   C L I R   Sy s t e m   B as e on  D i c t i on ar y   B as e Q ue r y   T r ans l a t i on   M e t hod .   I I nf o r m a t i o T e c hno l o gy ,   I C I T   2007;   10t I nt e r na t i o na l   C o nf e r e nc e   o n   I E E E ,   pp .   56 - 61.     [ 16]   L a r ke y   L . S ,   A nd  C o nne l l   M . E .   S t r uc t u r e d   qu e r i e s ,   L a ng ua g e   m o de l i ng ,   a nd   r e l e v a nc e   m o de l i ng   i n   c r o s s - l a ng ua g e   i nf o r m a t i o n   r e t r i e v a l ;   20 03 .   [ 17]   T he nm o z hi   D ,   a n A r a v i nda C .   T a m i l - E ng l i s C r o s s   L i ng ua l   I n f o r m a t i o R e t r i e v a l   S y s t e m   f o r   A g r i c ul t ur e   S o c i e t y .   I nt e r na t i ona l   F or um   f or   I nf or m a t i on  T e c hno l og y   i n   T am i l   C onf e r e nc e ;   O c t o be r   2009 .   [ 18]   R .   U dupa ,   J   J a g a r l a m ud i   a n K   S a r a v a n a n .   H i nd i - E ng l i s C r os s - L ang uage   I n f or m at i on  R e t r i e v a l M i c r o s o f t   R e s e ar c I nd i a   at   F i r e ;   200 8.   [ 19]   I m a m   A ,   S .   C ho w dhur y .   E ng l i s t o   B a ng l a   C L I R   us i ng   pa r a l l e l   c o r pus   a nd  S M T .   I n t e r nat i on al   C on f e r e nc e   on  C om put e r   and   I nf or m a t i on   T e c hno l og y   ( I C C I T ) ;   pa g e s   56   5 71 ,   B a ng l a de s h   201 1.   [ 20]   P i ng a l i   P ,   V a r m a   V .   H i nd i   and  T e l ug t E n gl i s C r os s   L ang uage   I nf or m a t i on  R e t r i e v al   a t   C L E F   2006; I W o r ki ng   N o t e s   o f   C r o s s   L a ng ua g e   E v a l ua t i o F o r um .   [ 21]   M a n da l   D .   e t   a l . ,   B e ngal i   and   H i nd i   t o   E ng l i s h   C r o s s   l angu age   T e x t   R e t r i e v al   un de r   L i m i t e R e s ou r c e s ;   2 008 .   [ 22]   S e t h ur a m a l i ng a m   S ,   &   V a r m a   V .   I I I T   H y de r ab ad’ s   C L I R   e x pe r i m e nt s   f or   F I R E - 200 8 I T he   w or k i ng  n ot e s   o f   F i r s t   W or k s hop   of   F or um   f o r   I n f or m at i on   R e t r i e v a l   E v al ua t i o n   ( F I R E ) ,   K o l ka t a ;   200 8.   Evaluation Warning : The document was created with Spire.PDF for Python.