I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9 ,   pp .   1373 ~ 1381   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 4 .i 3 . pp 137 3 - 1381   ๏ฒ           1373       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   T e st - r e t r i e v a l   f r a m e w o r k :   p e r f o r m a n c e   p r o f i l i n g   a n d   t e st i n g   w e b   se a r c h   e n g i n e   o n   n o n   f a c t o i d   q u e r i e s       A l th af  A l i   A ,   R .   M ah am m ad   S h afi   D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   B ha r a t hi a r   U n i v e r s i t y ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  S e p  24 ,   2 018   R e v i s e d  N o v   17 ,   2018   A c c e pt e d  F e b   1,   2019       P e r f o r m a nc e   pr o f i l i ng   a nd  t e s t i ng   i s   o ne   o f   t he   i nt e r e s t i ng   t o pi c s   i n  t h e   bi g   da t a   m a na g e m e n t   a nd  C l o ud  C o m put i ng .   I n  t e s t i ng ,   w e   u s e   t e s t   c a s e s   c om po s e d  t o   di f f e r e nt   t y pe   of   que r i e s   t o   e v a l u a t e   t h e   pe r f o r m a nc e   a s pe c t s   o f   t he   i nf o r m a t i o n  r e t r i e v a l   s y s t e m   f o r   l a r g e   s c a l e   i nf o r m a t i o n  c o l l e c t i o n.     T hi s   t e s t   s c e n a r i o pe r f o r m s   t he   e v a l u a t i o n  o f r e t r i e v a l   a c c ur a c y   f o r   a l l   k i nd   o f   a m bi g ui t y   a nd  no n  f a c t o i d  qu e r i e s   w i t h  r e s ul t   s e t   a s   T r a i n i ng   da t a .     T hi s   s t a nds   d i f f i c ul t   t o   e v a l ua t e   t h e   r e t r i e v a l   m e t ho d  i n  o r de r   t o   s c he du l e   o r   o pt i m i z e   t he   R e c o m m e nda t i o n  a n d  p r e d i c t i o n  t e c hn i qu e   o f   t he   I R   m e t ho d  t o  t he   R e a l   t i m e   qu e r i e s .   T h e   Q ue r i e s   i s   c o ns i de r e d  a s   r e qu i r e m e n t   s p e c i f i c a t i o n  w hi c h  ha s   t o   s uppl y   t o   s e a r c h  e ng i ne   o r   w e b  i nf o r m a t i o n   pr o v i de r   a ppl i c a t i o ns   f o r   i nf o r m a t i o n  o r   w e b  pa g e   r e t r i e v a l .   I n  t hi s   p a pe r ,   w e   pr o po s e   a   no v e l   t e c hn i qu e   na m e d  a s   โ€œ T e s t   R e t r i e v a l   F r a m e w o r kโ€œ a   pe r f o r m a nc e   pr o f i l i ng   a nd  t e s t i ng   of   t he   w e b  s e a r c h  e ng i ne s   o n  t he   i nf o r m a t i o n  r e t r i e v e d   t o w a r ds   no n  f a c t o i d  que r i e s .   I n  t hi s   t e c hn i qu e ,   w e   a p pl y   e xpe c t a t i o n  m a xi m i z a t i o n  a l g o r i t hm   a s   a n  i t e r a t i v e   m e t ho d  t o   f i nd  m a x i m um   l i k e l i ho o d  e s t i m a t e .   W e   d i s c us s   o n  t he   i m po r t a nt   a s pe c t s   i n   t hi s   w o r k  ba s e d  o n  R e c o m m e nda t i o n  m o de l s   i n t e g r a t i ng   do m a i n  a nd  w e b  us a g e ,   Q ue r y   o pt i m i z a t i o n  f o r   na v i g a t i o na l   a nd  T r a ns a c t i o na l   que r i e s ,   Q ue r y   R e s ul t   r e c o r ds .   T he   E x pe r i m e nt a l   r e s ul t s   d e m o ns t r a t e s   t h e   pr o po s e d  t e c hni que   o ut pe r f o r m s   o f   s t a t e   o f   a r t s   a ppr o a c he s   i n  t e r m s   o f   s e t   ba s e d  m e a s ur e s   l i ke   P r e c i s i o n,   R e c a l l   a n d  F   m e a s ur e   a n d  r a nk   ba s e d   m e a s ur e s   l i ke   M e a n  A v e r a g e   P r e c i s i o n  a nd   C um ul a t i v e   G a i n .     Ke y w or ds :   B i g  da t a   c l o ud  c o m put i n g   Q ue r y   o pt i m i z a t i o n   R e c o m m e n d a t i o n  m o de l   S of t w a r e   e n gi n e e r i ng   T e s t i n g   w e b   r e t r i e v a l   s y s t e m   C opy r i gh t   ยฉ   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A l t h a f   A l i   A ,   D e pa rt m e n t   o f   Co m put e r  S c i e n c e ,     B h a ra t hi a r  U n i v e r s i t y ,     Co i m b a t o r e - 641046 , T a m i l n a d u,   I n d i a   E m a i l :   a l t ha f a 579@ gm a i l . c o m       1.   I N TR O D U C TI O N     T e s t i n g  w e b   In fo r m a t i o n   R e t r i e v a l   S y s t e m   i s   a c t i v e   r e s e a r c h   t o pi c   i n   t h e   a r e a   o f   t h e   s of t w a r e   e n gi n e e r i n g  [ 1].   N o w a da y s   w e b   In fo r m a t i o n   R e t r i e v a l   S y s t e m   us e d  m o s t l y   i n   t h e   c l o ud  c o m put i n g  a n d  b i g  da t a   m a na ge m e n t   a s   v o l um e   of  o ut s o ur c i ng  da t a   t o   b a c kup  s e r v i c e   i s   i n c r e a s i n g  d a y   t o   da y   [2].   A   gr e a t   de a l   of   t h e   r e t r i e v a l   s y s t e m   ha s   b e e n   de vo t e d  t o   r e s o l ve   t h e s e   i s s ue s   ove r   t h e   y e a r s .   I t   h a s   r e po r t e d  t ha t   a p p r o a c h e s   b a s e d  o n   t h e   r e c o m m e n da t i o n  m o de l   a nd  p r e di c t i o n   m o de l   c a n   e f f i c i e n t l y   r e pr e s e nt   t h e   i n f o r m a t i o n   o r  w e b  pa ge s   t o   t h e   us e r   que ri e s   o r   ke y w o r ds .   N e v e r t h e l e s s   de t e r m i n i n g  t h e   pe r f o r m a n c e   of   t h e   r e t r i e v a l   s y s t e m   i s   a l s o   a n   e s s e n t i a l   p a r t   o f   t h e   i n f o r m a t i o n   r e t r i e v a l   (IR )  a n d  t o   a c c e s s   t h e   a b i l i t y   t o   m e e t   t h e   us e r   s pe c i f i c a t i o n   i n   t e rm s   o f  ke y w o r d  a n d  que ri e s   fo r   s e a r c h   r e s ul t .   P e rha ps   m o s t   ob v i o us l y   us e r   de pe n ds   o n   t h e   s e a r c h   e n g i n e   a n d  i n f o r m a t i o n   r e t ri e v a l   s y s t e m   i n   o rde r  t o   pe r f o r m   a n y   ki nd  o f   i n f o r m a t i o n  a c c e s s i n g  [3] .     T e s t i n g  o f   w e b   i n f o r m a t i o n   r e t ri e v a l   s y s t e m   o r   s e a r c h   e n g i ne   i s   o r ga n i z e d  i n t o   t w o   ki n ds   a s   s t a t e   of  a r t   o f   a ppr o a c h e s .   T h e y   a r e   s y s t e m   b a s e d  e v a l ua t i o n  a nd  us e r   b a s e d  e v a l ua t i o n .   I n  t h e   s y s t e m   b a s e d   e v a l ua t i o n,   m e t h o d  i s   qua n t i f i e d  o n   i t s   a b i l i t y   t o  r e t ri e v e   a n d  r a nk  t h e   r e s ul t s   t ha t   r e l a t e s   t o   que r y   w h i l e   us e r   Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9   :     1373   โ€“   1381   1374   b a s e d  e v a l ua t i o n   de pe n ds   o n   us e r   s a t i s f a c t i o n   [4] .   M o s t l y   S y s t e m   b a s e d  e v a l ua t i o n   s t a nds   pri m a r y   i m po r t a nt   t o   ge n e r a t e   go o d  i n f o r m a t i o n   r e t ri e v a l   s y s t e m .   H ow e ve r   s y s t e m   b a s e d  e v a l ua t i o n   m o de l   i s   m o r e   c h a l l e n gi ng  due   t o   e xpa n s i o n   o f   m o r e   us e r s   of   t h e   da t a .   T h us   e m p l oy m e nt   o f   t e s t   c a s e s   t ow a r ds   o f   di ff e r e n t   t y pe   of  que r i e s   a n d  t o   i t s   r e s ul t   s e t   ha s   b e c o m e   m o r e   i m po r t a nt   t o   e va l u a t e   t h e   pe r f o r m a n c e   of   t h e   IR  w i t h   e ff i c i e n c y   a n d  r o b us t n e s s   i n   o r de r   t o   e l i m i na t e   t h e   pi t f a l l s   of   t h e   s t a t e   of   a r t   a pp r o a c h e s .   F urt h e r m o r e   t e s t   s c e n a ri o  i de nt i f i e s   t h e   r e t r i e v a l   a c c ur a c y   fo r   a l l   ki nd  o f   a m b i gui t y   a n d   n o n   f a c t o i d  que r i e s   w i t h   r e s ul t   s e t   a s     t r a i ni n g   d a t a   [ 5].     In  t hi s   p a pe r ,   w e   pr o po s e   a   n o v e l   t e c hn i que   na m e d  a s   โ€œ T e s t   R e t ri e v a l   F r a m e w o r kโ€œ   a   pe r f o r m a n c e   pr o f i l i n g  a nd  t e s t i n g  o f   t h e   w e b  s e a r c h   e ngi n e s   o n   t h e   i n f o r m a t i o n   r e t ri e v e d  t ow a r ds   n o n   f a c t o i d  que r i e s .   I n  t h i s   w o r k,   t h e   c o n t ri b ut i o n  a r e   a ppl y i n g   e xpe c t a t i o n   m a x i m i z a t i o n   a l go ri t hm   a s   a n   i t e r a t i v e   m e t h o d  t o   f i n d   m a x i m u m   l i ke l i h o o d  e s t i m a t e   f o r   us e r   q ue r y .   I n   a ddi t i o n   w e   di s c us s   o n   t h e   i m po r t a n t   a s pe c t s   b a s e d  o n   R e c o m m e n d a t i o n   m o de l s   i n t e g r a t i n g  do m a i n   a n d  w e b  us a ge ,   Q ue r y   o pt i m i z a t i o n   f o r   n a v i g a t i o n a l   a n d   T r a n s a c t i o na l   que r i e s ,   Q ue r y   R e s ul t   r e c o r ds   f o r   e v a l u a t i ng  m e t h o ds   o n  di f f e r e n t   d a t a   t y p e s .     T h e   r e m a i n de r   o f  t h e   pa pe r   i s   o r ga ni z e d  a s   fo l l ow s :   S e c t i o n   2  di s c us s e s   t h e   r e l a t e d  w o r ks   i n  e v a l ua t i o n  o f   IR   m e t h o ds   a n d  i t s   i m p a c t s   a g a i n s t   t h e   pe r f o r m i ng  e v o l v i n g  us e r   q ue ri e s ,   S e c t i o n   3  b r i e f l y   di s c us s e s   t h e   pr o po s e d  t e c h n i q ue   i n   t e r m s   p r o f i l i n g  a n d  t e s t i n g  t h e   IR   m e t h o d  a n d  S e c t i o n   4  p r e s e nt s   t h e   e xpe r i m e nt a l   r e s ul t s   o n  a   n u m b e r   o f   da t a   s e t s .   S e c t i o n  5  di s c us s e s   c o n c l us i o n s   a n d   f ut u r e   w o r k .        2.   R ELA TED   WO R K   T h e r e   e xi s t   m a n y   t e c hn i q ue s   t o   I n f o r m a t i o n  R e t ri e v a l   E v a l ua t i o n  a r e   de s i g n e d  a nd  i m p l e m e nt e d  e ff i c i e n t l y .   E a c h  o f   t h e s e   t e c hn i q ue s   f o l l ow s   s o m e   s o r t   o f  e ff e c t i v e n e s s   o n   t h e   e v a l u a t i o n   o f   t h e   S y s t e m   a m o ng  f e w   pe r fo r m s   n e a r l y   e qui v a l e nt   t o   t h e   p r o po s e d  m o de l   w hi c h  i s   de s c r i b e d  a s   f o l l o w s       2. 1 .       R E TR I EV A L - W e b   B as e d   I R   A n a l ys i s   S ys t e m   It   i s   c u rr e n t l y   a v a i l a b l e   a n d  r e a dy - to - us e   o n - l i n e   W e b - b a s e d  IR   A n a l y s i s   S y s t e m   w h i c h   o ff e r s   a   h i g h  l e v e l   a c c ur a c y   r a n ge   o n  v a ri o us   da t a   i n pu t   s t r uc t u r e s   r e l a t e d  t o   di s s i m i l a ri t y   di s t a n c e s   a n d   c l a s s i f i c a t i o n  i n de xe s   a n d  t hus   c o m po s i n g  a   ge n e r i c   IR   e v a l ua t i o n .   P a ra l l e l l y   t h e   i n t e r a c t i v e   pe r f o r m a n c e   a n a l y s i s   ove r   a   c o m pl e t e   r a n k i n g  l i s t   a n d  f a i l u r e   m o n i t o r i n g   s uc h   a s   t h e   b i na r y   r e l e v a n c e   r a nki n g  l i s t   s c a t t e r   pl o t   a n d  t h e   di s s i m i l a r i t y   m a t ri x  i s   a l s o   e n a b l e d  i n   t hi s   m o de l .   T h e   r e l e v a n c y   of   t h e   i n f o r m a t i o n   r e t r i e v e d  t o   s e a r c h   que r i e s   i s   c o m put e d  us i n g  da t a   c l a s s i f i c a t i o n  a nd  c l us t e r i ng  t e c h ni que   [6 ] ,   [ 7 ].   T h e   S y s t e m   us e s   t h e   p r i n c i p l e   c o m po n e n t   a n a l y s i s   f o r   t r a n s f o r m a t i o n   t o   p r o duc e   un c o rr e l a t e d  a n d  o rt h o go n a l   p ri n c i pa l   c o m po n e n t s .   A l s o   i t   T r a n s f e r   a   s e t   o f   c o rr e l a t e d  v a r i a b l e s   i n t o   a   n e w   s e t   o f   un c o rre l a t e d  v a r i a b l e s   [8].     2. 2 .       H A M S T ER :  S e ar c h   C l i c k   Lo gs   fo r   S c h e m a  an d   Tax o n om y  M at c h i n g   fo r   I n fo r m ati o n   R e tr i e v al   In   t h i s   m e c h a ni s m ,   u n s upe r v i s e d  m a t c h i ng  o f   s c h e m a   i n f o rm a t i o n   e xt ra c t e df r o m   a   l a r ge   n u m b e r   of  da t a   s o ur c e s   i nt o   t h e   s c h e m a   o f   a   d a t a   w a r e h o us e   i s   b e e n   e s t a b l i s h e d.   T h e   m a t c h i n g   p r o c e s s   i s   t h e   f i r s t   s t e p  o f  a   f ra m e w o r k  t o   i nt e gra t e   d a t a   f e e ds   f r o m   t h i rd -   p a r t y   da t a   pr o v i de r s   i nt o   a   s t r uc t u r e d - s e a r c h   e n gi n e ' s   d a t a   w a r e h o us e   fo r   f a s t   r e t r i e v a l   o f  da t a .   W e   ut i l i z e   t e c hn i qu e   b a s e d  o n   t h e   s e a r c h   e n g i n e ' s   c l i c k  l o gs   a n d  T a xo n o m y .   T w o   s c h e m a   e l e m e nt s   a r e   m a t c h e d  i f   t h e   d i s t ri b ut i o n s   o f   ke y w o r d  que r i e s   t ha t   c a us e   c l i c k - t hr o ugh  o n  t h e i r  i n s t a n c e s   a r e   s i m i l a r  [9] .         2.   P R O P O S ED   M O D EL   In  t hi s   s e c t i o n ,   w e   de s i gn   โ€œ T e s t -   R e t ri e v a l   a   pe r f o r m a n c e   pr o f i l i n g  a n d   t e s t i ng  o f   t h e   w e b   s e a r c h  e n gi n e   o n   t h e i r   i n f o rm a t i o n   r e t ri e v a l   t o   n o n   F a c t o i d  que r i e s .   T h e   p r o po s e d  m o de l   i n c o r po r a t e s   i n   e xpl o ri n g   de c i s i o n   po i nt s ,   a c t i o n   p a t h s   a n d   i nt e r e s t   a r e a   a l o n g  e xp l o i t i n g  I nde xi n g  c o n d i t i o n s   c l i c k  t hr o ug h   a n d  pa ge   l i n ks   us i n g   e xpe c t e d  m a xi m i z a t i o n  a l go ri t hm .   D e t a i l e d   de s c ri pt i o n   o f   de s i gn  i s   a s   f o l l ow s       3. 1 .       A n a l ys i s   o f  We b   C r aw l e r   It   i s   us e d  t o   e xpl o r e   t h e   i n f o r m a t i o n   s t a r t i n g  f r o m   a   n u m b e r  of   s e e d  pa ge s ,   f o l l ow s   o ut b o un d  l i n ks ,   a n d  s o   a t t e m pt s   t o   ga t h e r   t h e   e nt i r e   w e b .   T h e   I n f o r m a t i o n   c r a w l e d  b a s e d  o n   s e v e r a l   c o n di t i o n s .     T h e   i n f o r m a t i o n   g a i n   [8]  i s   c a l c ul a t e d  f o r   e a c h   i n f o r m a t i o n  e xt ra c t e d  f r o m   t h e   w e b   da t a b a s e   a n d  t h e   b e s t   n   i n f o r m a t i o n  a r e   s e l e c t e d  b a s e d  o n   t h e   t i m e   a nd  upda t e s         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752   ๏ฒ     T e s t - r e t r i e v al   f r am e w or k :  pe r f om an c e   pr of i l i ng   and   t e s t i ng  w e b  s e ar c h  e ngi n e . . .   ( A l t ha f   A l i   A )   1375   W h e r e   t   i s   t h e   T i m e ,   C   i s   t h e   n u m b e r   o f   c a t e go r i e s   In f o r m a t i o n   i s   s e l e c t e d  i nt o   t h e   f e a t u r e   s pa c e   t hr o ug h   p r o b a b i l i t y   e s t i m a t i o n.   I n f o r m a t i o n   i s   a l s o   r e p r e s e n t e d   a s   da t a   po i n t       i -   { d1 , d2 , d3)     W h e r e   d1 , d2, d3  i s   t h e   d a t a po i nt   o f   t h e   i n f o rm a t i o n  i n  t h e   pa r t i c ul a r  w e b   pa ge   o r   w e b   c o n t e nt .       3. 2 .       A n a l ys i s   o f  We b   I n d e x e r     T h e   W e b   i n de xe r  w i l l   i nde x  t h e   c r a w l e d  i n f o r m a t i o n .   I n de x  de s i gn  i n c o r po ra t e s   c o n c e pt s   i n   t e rm s   o f  i n f o r m a t i o n  w i t h   ke y   a n d  v a l u e   pa i r   t o   o pt i m i z e   t h e   r e t ri e va l   ra t e   i n   f i n d i n g  t h e   r e t r i e v a l   i n f o r m a t i o n   t o   t h e   s e a r c h   q ue r y   [10].   A n a l y s i s   of   t h e   i nde xi n g   de pe nds   o n  t h e   s e ve r a l   f a c t o r s   s uc h   a s :   a.   M e r gi ng  c o n d i t i o n s   Ini t i a l i z e   Ca t e go r y   S e t   = 0   S e t   o f   D a t a   t y p e   pr e di c a t e   i n  R D F   g ra p h     I C  โ†’  { i }   < รŸ  w h e r e   รŸ   i s   di s c r i m i na b i l i t y     W h i l e   { c a t e go r y   S e t โ‰    0}   F o r   ke y   โ‚ฌ  Ca n di da t e   s e t     D i s c r i m i na b i l i t y   โ†  di s (ke y , I c,   G)   If   (di s c r i m i na b i l i t y <   รŸ)    T h e n  i n c l ude   t h e   ke y   i n   c a t e go r y                 E l s e   Co ve r a ge   โ†c o n (ke y , I c,   G)   F L (ke y ;   IC; G )   R e t urn   a r g   m a xke y 2ke y   s e t   s c o r e [ke y ]   b.   L oo kup  c o n s t r uc t i o n   T h e   l o o k  up  c o n di t i o n   de pe n ds   upo n   l i n k  i n   t h e   r o w s   o f  t h e   i n de x  t a b l e   c o n t a i ni n g  v a l ue   a n d  ke y   fo r   i n f o r m a t i o n   r e t ri e v a l .   T h e   l o o kup  h e l ps   f o r   dupl i c a t e   e l i m i na t e   t hr o ug h   s t o r i n g  o nl y   upda t e s   of  t h e   i n f o r m a t i o n  i n  f o r m s   o f   ke y   a nd  v a l ue   pa i r   [11] .   c.   In v e rt e d  I n de x   T h e   i n de x  ge n e ra t i o n   o f   t h e   i n f o r m a t i o n   i s   r e p r e s e nt e d  i n   t e rm s   o f   R D F S   [12]  w i t h   a n   e xa m p l e   a s   fo l l ow s   T h e r e   a r e   t w o   t y pe s   of   a ni m a l s ,   M a l e   a n d   F e m a l e .   < r df s :   Cl a s s   r df :   ID = " M a l e " >   < r df s : s ub Cl a s s O f r df : r e s o ur c e = " #A n i m a l " >   < / r df s : Cl a s s >   T h e   s ub Cl a s s O f   e l e m e n t   a s s e r t s   t h a t   i t s   s ub j e c t   -   M a l e   -   i s   a   s ub c l a s s   of   i t s   ob j e c t   --   t h e   r e s o ur c e   i de nt i f i e d  by   #A ni m a l .     < r df s : Cl a s s r df : ID = " F e m a l e " >   < r df s : s ub Cl a s s O f r df : r e s o ur c e = " #A n i m a l " / >   < o w l : di s j o i n t W i t hr df :   r e s o ur c e = " #M a l e " / >   < / r df s : Cl a s s >     3. 3 .       A n a l ys i s   o f  I n fo r m ati o n   R e tr i e v al     T h e   a n a l y s i s   of  t h e   i n f o r m a t i o n   r e t ri e v a l   i s   c o m put e d  fo r   t e s t i n g  o n   f o l l ow i n g  m e t h o ds   f o r   di ff e r e n t   ki n d   o f   que r i e s     3. 3 . 1   A n a l ys i s   o f  R an k i n g   A l go r i th m   It   w i l l   b e   de c i de   t h e   R e s ul t   l i s t   f o r   t h e   us e r  que r i e s   by   r e fe rr i ng  t h e   i n de xe r .   R a nki n g   i s   us ua l l y   ra n ke d  b a s e d  o n   t h e   da t e   of   pu b l i c a t i o n   o r   b a s e d  s i m i l a r i t y   m e a s ur e s   be t w e e n   t h e   c o n t e n t   [13 ].   R a n ki ng  A l go r i t h m   c o n t a i n s   h uge   r a nki n g  c o n s t ra i nt s .   M o s t   po pul a r  R a n ki ng  A l go r i t hm   a pp l y   t e r m   f r e que n c y   a n d  i n v e r s e   doc um e n t   f r e que n c y   m e c h a ni s m   ( T F - ID F ),   t e rm   f r e que n c y   m e a n s   t ha t   do c um e nt s   c o n t a i ni n g  m o r e   o c c urr e n c e s   o f   t e r m s   a l s o   f o un d  i n  t h e   que r y   a r e   r a nke d  hi g he r ,   a nd  i n v e rt e d  do c um e nt   f r e que n c y   i m pl i e s   t ha t   do c um e n t s   c o n t a i n i ng  que r y   t e r m s   t ha t   a r e   ra r e   t hr o ug h o ut   t h e   i n de x  a r e   a l s o   c o n s i de r e d  m o r e   r e l e v a nt .     T h e   F i gu r e   1  de s c r i b e s   t h e   a r c h i t e c t ur e   o f   t h e   pr o po s e d   m o de l .   A n o t h e r   ra n k i n g  A pp r o a c h   i s   ra n ki ng  a pp r o a c h  i s   t h e   V e c t o r   S pa c e   r e p r e s e n t s   e v e r y   d o c um e n t   a s   a   v e c t o r ,   w i t h   e v e r y   t e r m   o c c urr i n g   i n  t h e   i n de x  pr o v i di n g  a   d i m e n s i o n  o f   t h e   v e c t o r   s pa c e ,   a nd  t h e   n u m b e r   o f   oc c ur r e n c e s   of   t h e   t e r m   i n   a   i n f o r m a t i o n  pr o v i di n g   t h e   e xt e n s i o n   i n   t h i s   di m e n s i o n   [14] .     Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9   :     1373   โ€“   1381   1376       F i gu r e   1 .   A r c h i t e c t ur e   di a g r a m   o f   t h e   p r o po s e d  t e s t   r e t r i e v a l   f r a m e w o r k  a ga i n s t   s e a r c h  e n g i n e   o pt i m i z a t i o n       F o r   t h e   que r y   a n o t h e r   v e c t o r   i s   c o n s t ruc t e d  i n   t h e   s a m e   w a y ;   t h e   ra n ki ng  i s   t h e n  de t e rm i n e d  b y   a   s i m i l a ri t y   m e a s ur e   (e . g.   t h e   c os i n e )  b e t w e e n   t h e   que r y   ve c t o r a nd  s i n gl e   do c um e n t   v e c t o r s   w h i c h   c o n t a i n s   di f fe r e nt   q ue r y   t y p e s   s uc h   a s   I n f o r m a t i o n   q ue ri e s   [15]   a nd  N a v i ga t i o n a l   que ri e s   [16] .     3. 3 . 2   A n a l ys i s   o f  L i n k   Bas e d   A l go r i th m - H i ts   an d   P ag e   R a n k     T h e   H IT S   a l go r i t hm   r e t ri e v e s   a l l   do c um e nt s   r e l e v a nt   t o   t h e   que r y   a n d   a s s i g n s   h ub   v a l ue s   t o   o ut go i n g  l i n ks   a n d  a ut h o r i t y   v a l ue s   t o   v a l ue s   t o   t h o s e   w i t h   m a n y   i n c o m i n g  l i n ks   f r o m   t h e   l i n k  n e t w o r k  t h e   m o s t   s e l e c t i v e   a n d   t h e   m o s t   s e l e c t e d  do c um e n t s   [17] .     P a ge   R a n k  a l go ri t hm   r a nks   t h e   i n f o r m a t i o n   a nd  gi v e s   t h e   v a l ue   f o r   e a c h   pa ge   b a s e d  o n   e ve r y   l i n k  f r o m   o n e   pa ge   t o   a n o t h e r   p a ge .   T h e   ra n k i n g  i s   a l w a y s   b a s e d  o n   a   l a r ge   n um b e r   o f   c r i t e r i a .   T h e   e xpe c t e d   m a x i m i z a t i o n   a l go ri t hm   c o m put e s   t h e   s i m i l a r i t y   b e t w e e n   t he   s e a r c h   r e t ri e v a l   r e s ul t s   a ga i n s t   p a ge   r e l e v a n c y   a n d  t i m e   o f   r e t r i e v a l   [18] .     3. 3 . 3   A n a l ys i s   o f  U s e r   Lo g  D ata - U s e r   C h a r a c te r i z ati o n     A na l y s i s   of   us e r   l o g  i s   e s s e n t i a l   t o   m a ke   di s c ri m i n a t i o n  be t w e e n   t h e   v a r i o us   us e r s .   T h e   w e b  i n f o r m a t i o n  r e t r i e v e d  fo r   v a r i o us   ki n ds   o f   us e r   que ri e s   i s   s t o re d  i n   c a c h e   a n d   s e s s i o n   i s   u t i l i z e d.   C l a s s i f i c a t i o n  of   s e r v e r   l o g  of   t h e   us e r   i s   a p pl i e d  t hr o ug h   s upe r v i s e d  a n d   u n s upe r v i s e d  t e c hni qu e   t hr o ug h   c ha r a c t e r i s t i c s .   A na l y s i s   i s   a pp l i e d   i n  t e r m s   o f   l o g  pa r s e r,   a f t e r  l o g  p a r s i n g ,   i t   i s   c o m put e d   w i t h   p a t t e rn s   o f   t h e   us e r  p r o f i l e s .       3. 4 .       Q u e r y  C l as s i f i c at i o n   T h e   que ri e s   a r e   t r a di t i o na l l y   di v i de d  i nt o   na v i ga t i o na l   ( us e r   l o o ks   fo r   a   s pe c i f i c   w e b   pa ge   kn o w n   o r   s uppo s e d  t o   e xi s t ),   t ra n s a c t i o n a l   ( n o t   s ur p ri s i n g l y ,   i n   t h i s   c a s e   t h e   us e r   l o o ks   t o   pe r fo r m   a   t ra n s a c t i o n   l i ke   b u y i n g  o r   do w n l o a di n g)   a n d   i n f o r m a t i o n a l ,   w h i c h   s h o ul d  n e e d  n o   f ur t h e r   e xpl a n a t i o n.   T h e y   a r e   c l a s s i f i e d   b a s e d  o n   t h e   di s t r i b ut i o n .   T h e   ke y w o r d  a na l y s i s   i s   c a r ri e d  o ut   f o r   ke y w o r d  o pt i m i z a t i o n   o n   n o n   f a c t o i d  que r i e s ,   w h e r e   que r y   pa r s i n g  a nd  que r y   o pt i m i z a t i o n   i s   a l s o   pr o c e s s e d  t ow a r ds   a c h i e v i n g  c o n c e pt ua l   a n d   s e m a n t i c   que r i e s   t o   s e a r c h   e n gi n e   t o   p r o duc e   ga i n   o n   i n f o r m a t i o n   r e t ri e v a l .   E v a l u a t i o n   h a s   t o   b e   foc us e d  o n   In f o r m a t i o n   que ri e s   i n s t e a d  o f  o t h e r   que r i e s   [19].   O n c e   t h e   us e r   s ub m i t s   hi s   que r y ,   h e   i s   pr e s e n t e d  w i t h   t h e   r e s ul t   pa ge   w i t h   s e t   o f   r e s ul t s   i n   o r de r.   E a c h   r e s ul t   c o n s i s t s   of   t hr e e   pa rt s :   a   p a ge   t i t l e   t a ke n   d i r e c t l y   f r o m   t h e  pa ge โ€™s   < t i t l e > t a g ,   a   s o - c a l l e d  โ€œ s n i ppe t โ€   w h i c h   i s   a   que r y - de pe n da nt   e xt r a c t   f r o m   t h e   pa ge ,   a n d  a   U RL   po i n t i n g   t o   t h e   pa ge   i t s e l f .     3. 5 .     Ex p e c t e d   M ax i m i z ati o n     It   i s   It e r a t i v e   m e t h o d  f o r   l e a rni n g   p r o b a b i l i s t i c   c a t e go ri z a t i o n  m o de l   f o r   w e b   s e a r c h  e n gi n e   e v a l ua t i o n   a ga i n s t   v a ri o us   ki n ds   o f   qu e r i e s .   I n i t i a l l y   a s s um e   r a n do m   a s s i g nm e nt   o f  e xa m pl e s   t o   c a t e go r i e s .   L e a rn   a n   i n i t i a l   p r o b a b i l i s t i c   m o de l   by   e s t i m a t i ng  m o de l   pa ra m e t e r s   ๏ฑ   f r o m   t hi s   ra n do m l y   l a b e l e d  r e t r i e v e d   r e s ul t   f o r   que r i e s   p r o v i de d  [20]   a.   E xpe c t a t i o n   (E - s t e p):   Co m put e   P ( c i   |  E )  fo r   e a c h   e xa m pl e   gi v e n   t h e   c urr e n t   m o de l ,   a n d  p r o b a b i l i s t i c a l l y   re - l a b e l   t h e   e xa m pl e s   b a s e d  o n  t h e s e   po s t e ri o r   p r o b a b i l i t y   e s t i m a t e s .   b.   M a xi m i z a t i o n  (M - s t e p) :   R e - e s t i m a t e   t h e   m o de l   p a r a m e t e r s , ๏ฑ ,   f r o m   t h e   p r o b a b i l i s t i c a l l y   r e - lab e l e d  da t a .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752   ๏ฒ     T e s t - r e t r i e v al   f r am e w or k :  pe r f om an c e   pr of i l i ng   and   t e s t i ng  w e b  s e ar c h  e ngi n e . . .   ( A l t ha f   A l i   A )   1377   L e t โ€™s   c o n s i de r e d  a   c o m pl e t e l y   l a b e l e d  Q u e r y   Q   a n d  R e s ul t   S e t   Rfo r   que r i e s   a n dQ m   que r y   pr o c e s s i n g  m e t h o ds   a n d  I n f o rm a t i o n   r e t ri e v a l   m e t h o ds   I R ,   a n d  r a ndo m l y   s e l e c t   a   s u b s e t   a s   D K .   A l s o   us e   t h e   s e t   of  unl a b e l e d  i n f o r m a t i o n  i n  t h e   E M   p r o c e dur e .   Co rr e c t   c l a s s i f i c a t i o n   o f   a i n f o r m a t i o n  t o   t h e   que r y   i s :         Co n c e a l e d  c l a s s   l a b e l   =   c l a s s   w i t h   l a r ge s t   p r o b a b i l i t y     A c c ur a c y   w i t h   u nl a b e l e d  i n f o r m a t i o n   s e t   o r   r e s ul t   s e t >   a c c ur a c y   w i t h o ut   u nl a b e l e d  i n f o r m a t i o n  r e t ri e v e d .  Cri t e r i a   f o r   i ni t i a l   It e ra t i o n   i s   g i v e n   b y :     d d c c   a l l f o r     1) - / ( n   d) | c P r (   a n d   - 1     d) | P r ( c ๏‚น ๏‚ข ๏€ฝ ๏‚ข ๏€ฝ ๏ฅ ๏ฅ     L e t   t h e   c l a s s   p r o b a b i l i t i e s   o f   t h e   l a b e l e d  a nd  i nde xe d  i n f o r m a t i o n  i s   t a ke n   t o   r e   i t e r a t i o n  b a s e d  o n   t h e   f e a t ur e s   e xt ra c t e d  a n d  f e a t u r e s   gr o upi n g  f o r   e vo l ut i o n a l   f e a t u r e s   f o r   c o m put a t i o n   w i t h   l a b e l e d  m e t h o d  fo r   s e a r c h   e n gi n e   e v a l ua t i o n   f o r   a l l   ki n ds   o f  que r i e s .   K e e pi ng  l a b e l e d  s e t   of   s a m e   s i z e   L a pl a c i a n   l a w   fo r   r e gul a r i z e d  c l a s s   i s   gi v e n  by                 R e   i t e r a t e   P r (c | d),   f o r   e a c h   f e a t u r e   fo r   e a c h   que r y   a n d  o ut put s   t h e   r e s ul t   s e t .   It   e s t i m a t e s   c l a s s - c o n d i t i o n a l   di s t r i b ut i o n   w h i c h   i n c l ude s   i n f o r m a t i o n   f r o m   D .  O n c e   a   n e w   m o de l   i s   t ra i n e d ,   i t   r e pl a c e s   o n e   of  t h e   e xi s t i n g   m o de l s   i n   t h e   e xpe c t e d  m a xi m i z a t i o n .   T h e   c a ndi da t e   f o r   r e pl a c e m e n t   i s   c h o s e n   by   e v a l ua t i ng  e a c h   m o de l   o n   t h e   l a t e s t   t r a i n i ng  da t a ,   a n d  s e l e c t i n g  t h e   m o de l   w i t h   t h e   w o r s t   p r e di c t i o n   e rr o r.   T hi s   e n s u r e s   t h a t   w e   h a v e   e xa c t l y   L   m o de l s   i n   t h e   e n s e m b l e   a t   a n y   gi v e n   po i nt   o f   t i m e .   I n  t hi s   w a y ,   t h e   i n f i ni t e   l e n g t h   pr o b l e m   i s   a dd r e s s e d  b e c a us e   a   c o n s t a n t   a m o unt   o f   m e m or y   i s   r e qui r e d  t o   s t o r e   t h e   m a x i m u m   e qui v a l e nt   da t a .   T h e   c o n c e pt - d r i f t   p r o b l e m   i s   a dd r e s s e d  by   ke e pi n g  t he   e xpe c t e d  i n f o r m a t i o n   u p - to - da t e   w i t h   t h e   m o s t   r e c e n t   c o n c e pt .   A l go r i t h m   1 :   T e s t   R e t ri e v a l   A na l y s i s   In p ut :   I n f o r m a t i o n   R e t r i e v a l   M e t h o ds ,   Q ue r y   pr o c e s s i n g  m e t h o ds   a n d   D i f f e r e n t   Ca t e go r i e s   o f   Q ue r y ,   L a b e l l e d  i n f o r m a t i o n  w i t h   q ue ri e s   O ut put :   E v a l u a t i o n   o f   t h e   w e b   s e a r c h   E n g i n e   pe r f o r m a n c e     P r o c e s s :     1.   Ini t i a l i z e   I n s t a n c e   pa i r  IP     2.     W h e r e   C p  โ†’ 0   3.   R e s ul t a nt   Q ue r y   S e t     4.   F o r   e a c h  I n s t a n c e   P a i r   IP 1   โ‚ฌ   IP   5.   G e n e ra t e   q ue r y   Q   6.   W h e r e   Q =   { L T 1,   i }   7.   Q   =   a r g   M a x  (Q )   โ‚ฌ   IP   8.   R e t urn   Q     9.   Ca t e go ri e s   =   { C1,   C2 ,   C3}   10.   In s t a n c e   o f   S o ur c e   1=   { I 1 1,   I 1 2. . . . . }   11.   In s t a n c e   o f   S o ur c e   2=   { I21 ,   I 2 2 . . . . }   12.   M a t c h i n g   i n s t a n c e   i s   c a rri e d  o ut   us i n g  E xpe c t e d  M a xi m i z a t i o n     13.   W h e r e   r   =   S u ppo r t   v a l ue   1  o r  0       (1)     14.   0  R e pr e s e nt   N o n   m a t c hi n g     15.   1  R e pr e s e nt   M a t c h i ng        3.   EX P ER I M EN TA L  A N A L Y S I S     In  s e c t i o n ,   w e   de s c r i b e   t h e   e xpe ri m e n t a l   r e s ul t s   o f   t h e   p ro pos e d  f r a m e w o r k  a g a i n s t   t h e   e xi s t i n g   a pp r o a c h e s .   T h e   a na l y s i s   of   t h e   s e a r c h  e ngi n e   c a n  c a rri e d  o ut   w i t h   2   r e a l   d a t a s e t s   Y A G O   a nd  D B P e di a .     ๏ƒฅ ๏ƒฅ ๏ƒŽ ๏ƒŽ ๏ƒŽ ๏€ซ ๏€ซ ๏€ฝ d D d D d t c K c K c d n W t d n ๏ด ๏ด ๏ฑ , , ) , ( | | ) , ( 1 Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9   :     1373   โ€“   1381   1378   Y A G O   i s   a   S e m a n t i c   k n o w l e dge   b a s e ,   i n   w h i c h   e n t i t i e s ,   f a c t s ,   a nd  e v e n t s   a r e   a n c h o r e d  i n  b o t h   t i m e   a n d  s pa c e .   Y A G O 2  i s   b ui l t   a ut o m a t i c a l l y   f r o m   W i ki pe di a ,   G e o N a m e s ,   a n d  W o r d n e t .   It   c o n t a i n s   447  m i l l i o n   f a c t s   a b o ut   9. 8  m i l l i o n  e nt i t i e s .   H um a n   e v a l u a t i o n  c o n f i rm e d  a n  a c c u r a c y   of   95%  o f   t h e   f a c t s   i n  Y A G O   [21] .   D B pe di a   i s   a   c o m m u n i t y   e ffo r t   t o   e xt r a c t   s t r uc t u r e d  i n f o r m a t i o n   f r o m   W i ki pe di a   a nd  t o   m a ke   t hi s   i n f o r m a t i o n   a v a i l a b l e   o n   t h e   W e b .   D B pe di a   a l l o w s   y o u  t o   a s k  s o ph i s t i c a t e d  que ri e s   a ga i n s t   d a t a s e t s   de r i v e d  f r o m   W i ki pe di a   a n d   t o   l i nk  o t h e r   d a t a s e t s   o n   t h e   W e b   t o   W i ki pe di a   d a t a .   W e   de s c r i b e   t h e   e xt r a c t i o n   o f   t h e   D B pe di a   da t a s e t s ,   a n d  h o w   t h e   r e s ul t i n g  i n f o r m a t i o n   i s   p ub l i s h e d  o n  t h e   W e b   fo r   h u m a n - a nd  m a c h i n e - c o n s um pt i o n   [ 22] .       4. 1 .       Ev al u ati o n   o f  Te s t  R e t r i e v al   F r am e w o r k   o n   S e t   B as e d   M e as u r e s     4. 1 . 1  P r e c i s i o n     T h e   p r e c i s i o n  o f   a   r e t r i e v a l   s y s t e m   f o r   a   c e r t a i n  que r y   i s   t h e   pr o po r t i o n  o f   r e s ul t s   t ha t   a r e   r e l e v a n t .     P r e c i s i o n  =   P =                                                                                           T h e   F i gu r e   2  de s c ri b e s   t h e   s e a r c h   e n gi n e   e v a l u a t i o n   a ga i n s t   p r e c i s i o n   o n   e x i s t i ng  a nd  p r o po s e d   t e c hn i q ue ,   w h e r e   p r o po s e d  v a l ue   p r o ve s   t h e   t e s t   a pp l i c a t i o n  p r e di c t s   t h e   f a ul t   a n d  i t s   n o r m a l   f un c t i o n i ng  o f  t h e   s e a r c h   e ngi n e   t hr o ug h   r e l e v a n t   da t a   r e t ri e v e d.   It   i s   a   s c a l a r   m e t ri c   us e d  a s   m e a s u r e   t h e   pe r f o r m a n c e   of   t h e   s y s t e m   ov e r   a l l   o t h e r   r e l e v a n t   r e s ul t s   t hr o ug h  r a nki n g .     4. 1 . 2  R e c a l l     T h e   R e c a l l   of   a   r e t ri e v a l   s y s t e m   fo r   a   c e r t a i n  que r y   i s   t h e   pr o po r t i o n   o f   r e l e v a n t   r e s ul t s   t ha t   h a v e   b e e n   r e t ri e v e d .     R e c a l l   =   R =                                                                                                T h e   r e c a l l   a n d  p r e c i s i o n   m e a s u r e s   a r e   ge n e ra l l y   i n v e r s e l y   pro po r t i o n a l :   i f   a   r e t ri e v a l   s y s t e m   r e t u rns   m o r e   r e s ul t s ,   t h e   r e c a l l   c a n   o n l y   i n c r e a s e   (a s   t h e   n um b e r   o f   re l e v a n t   r e s ul t s   i n   t h e   da t a b a s e   do e s   n o t   c ha n ge ),   b ut   p r e c i s i o n   i s   w i l l   b e   de c r e a s e d.   T h e   F i gu r e   3  de s c r i b e s   t h e   s e a r c h   e ngi n e   e v a l ua t i o n   a g a i n s t   R e c a l l   o n   e xi s t i ng  a n d  p r o po s e d   t e c hn i q ue ;   i n   t h i s   c a s e   pr o po s e d   s y s t e m   ge n e r a t e s   t h e   hi g h   p o s s i b l e   r e s ul t s   c o m pa r e d  w i t h   o t h e r   po s s i b i l i t i e s   i n   i n f o r m a t i o n  r e t ri e v e d  t o   di f fe r e n t   c l a s s   o r   c a t e go r i e s   o f   que r i e s .             F i gu r e   2 .   P e r f o r m a n c e   a na l y s i s   o f   t h e   s e a r c h  e n gi n e   e v a l ua t i o n  a ga i n s t   t h e   p r e c i s i o n   F i gu r e   3 .   P e r f o r m a n c e   a na l y s i s   o f   t h e   s e a r c h  e n gi n e   e v a l ua t i o n  a ga i n s t   t h e   r e c a l l       4 . 1 . 3   F   M e as u r e     It   i s   a   m e a s u r e   o f   a   t e s t ' s   a c c ur a c y   a n d  i s   de f i n e d  a s   t h e   w e i ght e d  h a rm o ni c   m e a n ฮฒ   o f   t h e   p r e c i s i o n   a n d  r e c a l l   o f   t h e   t e s t .   F   m e a s u r e   i s   gi v e n   b y :   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752   ๏ฒ     T e s t - r e t r i e v al   f r am e w or k :  pe r f om an c e   pr of i l i ng   and   t e s t i ng  w e b  s e ar c h  e ngi n e . . .   ( A l t ha f   A l i   A )   1379     R P PR F ๏€ซ ๏€ซ ๏€ฝ 2 2 ) 1 ( ๏ข ๏ข     T h e   f   m e a s ur e   pe r f o r m a n c e   o ut c o m e s   i s   de s c r i b e d  i n   t h e   F i gur e   4   t o w a r ds   e m p l oy i n g  t h e   p r o po s e d   a n d  e x i t i ng  t e c hni que ,   a m o n g   b o t h   p r o po s e d  s y s t e m   y i e l ds   be t t e r  r e s ul t s   a s   de s c ri b e d  i n   F i gu r e   4           F i gu r e   4 .   P e r f o r m a n c e   a na l y s i s   o f   t h e   s e a r c h  e n gi n e   e v a l ua t i o n   t hr o ug h  f   m e a s u r e       4. 2 .       Ev al u ati o n   o f  Te s t  R e t r i e v al   F r am e w o r k   o n   R an k   Bas e d   M e as u r e s     4. 2 . 1   M e an   A v e r ag e   P r e c i s i o n       It   a v e r a ge s   m e a n  p r e c i s i o n  o f   t h e   m ul t i p l e   que r i e s .   M A P   c o n s i de r s   t h e   p r e c i s i o n  a t   e v e r y   r e l e v a n t   r e s ul t   i n   t h e   r e s ul t   l i s t   f o r   que ri e s .   T h e   p r e c i s i o n   i s   a v e r a ge d  by   di v i di n g  t h e   s um   o f   pr e c i s i o n s   by   t h e   t o t a l   n u m b e r   o f   r e l e v a n t   r e s ul t s .       M A P ( Q )=         โˆ‘        โˆ‘                                                    T h e   M A P   o ut c o m e s   de s c r i b e d  i n   t h e   F i gu r e   5   w h i c h   s h o w s   t h a t   p r o po s e d  m e c h a n i s m   y i e l d  be t t e r  r e s ul t s   c o m pa r e d  w i t h  e xi s t i ng  s y s t e m             F i gu r e   5 .   P e r f o r m a n c e   a na l y s i s   o f   t h e   s e a r c h  e n gi n e   e v a l ua t i o n   a ga i n s t   m e a n  a v e ra ge   p r e c i s i o n       Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9   :     1373   โ€“   1381   1380   4. 2 . 2   C u mu l ati v e   G a i n     It   i s   m e a s u r e s   t h e   g r a de d  r e l e v a n c e   t o   de t e c t   t h e   us e f ul n e s s   o r   ga i n   f r o m   e xa m i n i n g  t h e   i n f o r m a t i o n   of   t h e   r e t r i e v a l   s y s t e m .   Cu m ul a t i v e   G a i n  i s   gi v e n   b y :       CG =   1 / l o g  (R a n k)     W h e r e ,  R a n k   de t e r m i n e s   us e f ul n e s s   o f   t h e   i n f o r m a t i o n   f o r   t he   que r i e s   p r o v i de d.     T h e   Cum ul a t i v e   ga i n   i s   de s c r i b e d  i n   t h e   F i gu r e   6  s t a t e s   t h a t   ra n ki ng  o f  t h e   r e l e v a n c y   i n f o r m a t i o n   o n  t h e   p r o po s e d  m o de l .   It   e xpl a i n s   t h e   e f fe c t i ve n e s s   o f   t h e   p r o p o s e d  f un c t i o n  o n  de t e r m i n i ng  t h e   f a ul t s .             F i gu r e   6 .   P e r f o r m a n c e   a na l y s i s   o f   s e a r c h   e n g i n e   e v a l ua t i o n  a ga i n s t   t h e   c um u l a t i v e   ga i n       T h e   T a b l e   1  de s c r i b e s   t h e   pe r f o r m a n c e   a na l y s i s   of   t h e   s e a r c h   e n gi n e   e v a l ua t i o n   o n   t h e   t e c hni que   de s c r i b e d  i n  t hi s   r e s e a r c h  a ga i n s t   v a ri o us   m e a s u r e s   t o   c o m put e   i t s   s t r e n gt h.   T h e   p r o po s e d  a l go ri t hm   di s c o ve r s   t h e   w e b   s e a r c h  pe r f o r m a n c e   a n d   f a ul t   c o n di t i o n  a ga i n s t   v a ri o us   m e a s u r e s   [2 3].     O n   e xpe ri m e n t a l   e v a l ua t i o n   o f  pr o po s e d   f r a m e w o r k,   i t   ha s   pr o ve n   t h a t   i t   c a n   us e d  t o   e v a l ua t e   l e a di n g  s e a r c h   e n gi n e s   l i ke   G O O G L E ,   Y a h o o   a n d  B i n g .   It   p r o v i de s   a c c ur a t e   r e s ul t   i n  a l l   t e rm s   o f   e v a l ua t i n g   pa r a m e t e r s   a s   c o m pa r e d  w i t h   s t a t e   o f   a rt   a pp r o a c h e s .         T a b l e   1 .  P e r f o r m a n c e   A n a l y s i s   of   t h e   S e a r c h   E n g i n e   E v a l ua t i o n   T e c h n i q u e   P re c i s i o n   Re c a l l   F   m e a s u r e   M e a n   A v e ra g e   P r e c i s i o n   Cu m u l a t i v e   G a i n   Re t r i e v a l   A n a l y s i s   โ€“   P C A   (  E x i s t i n g   )   85   88   89   86   85   T e s t   R e t ri e v a l   โ€“   E M   A l g o r i t h m     (  P r o p o s e d   )   97   94   98   92   98       4.   C O N C LU S I O N     W e   de s i gn e d  a n d  i m p l e m e nt e d  T e s t   R e t r i e v a l   F r a m e w o r k  w h i c h   i s   a   pe r f o r m a n c e   p r o f i l i ng  a n d   t e s t i n g  o f  t h e   w e b  s e a r c h   e n g i n e s   o n   t h e   i n f o r m a t i o n   r e t ri e v e d   a ga i n s t   n o n   f a c t o i d  que r i e s .   T h e   t e s t i n g  a r c hi t e c t u r e   a na l y s i s   e a c h   c o m po n e n t   o f   t h e   que r y   a nd  i n fo r m a t i o n   r e t ri e v a l   m e c h a ni s m   us i n g   e xpe c t e d   m a x i m i z a t i o n   p r o c e s s .   T h e   E M   a l go ri t hm   i s   t h e   i t e r a t i v e   a l go ri t hm   w hi c h  de t e r m i n e s   t h e   m a x i m u m   l i ke l i h o o d  of   t h e   a na l y s i s   of   s e a r c h   e n g i n e   a g a i n s t   l a b e l l e d  i n f o r m a t i o n.   I t   i s   t h e   f i r s t   w o r k  t o   e v a l ua t e   t h e   s e a r c h   e n g i n e   i n   t e rm s   o f   que r y   m o de l ,   c r a w l e r   m o de l ,   I nde xi ng  m o de l ,   ra n k i n g  m o de l   a n d  I n f o r m a t i o n   r e t ri e v a l   m o de l   i n  t e r m s   o f   c o n c e pt   b a s e d  m i ni n g .   T h e   p e r f o r m a n c e   a na l y s i s   of   t h e   p r o po s e d  m o de l   i s   c o m put e d  a ga i n s t   d i f fe r e nt   m e a s u r e .   I n   f ut u r e   w o r k,   i n c o r p o r a t i o n   o f   s e v e r a l   w e b   m i n i n g   m e c ha n i s m   w i l l   o pt i m i z e   t h e   pe r f o r m a n c e   o f   i n f o r m a t i o n   r e t ri e v a l .             Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752   ๏ฒ     T e s t - r e t r i e v al   f r am e w or k :  pe r f om an c e   pr of i l i ng   and   t e s t i ng  w e b  s e ar c h  e ngi n e . . .   ( A l t ha f   A l i   A )   1381   R EF ER EN C ES   [ 1]   R a g ha v a n ,   V . ;   B o l l m a n ,   P . ;   &   J ung ,   G . S .   A   c r i t i c a l   i nv e s t i g a t i o n  o f   r e c a l l   a nd p r e c i s i o na s   m e a s ur e s   o f   r e t r i e v a l   s y s t e m   pe r f o r m a nc e .   C om m uni c a t i on  of   t he   A C M ,  19 89,   7 ( 3 ) ,   20 5 - 29.   [ 2]   O m a i uo l o ,   N i c ho l a s   G .   &   P a c ke r ,   J o a n  G โ€   A n  a na l y s i s   o f   I nt e r n e t   s e a r c h  e ng i ne s :   A s s e s s m e nt   o f   ov e r   200   s e a r c h   que r i e s ,   T he   l i s t   o f   que r i e s   u s e d  i s   i n:   Q ua nt i t a t i v e   A na l y s i s   o f   F i v e   W W W   ' S e a r c h  E ng i ne s ' .   C om put e r s   i n   L i br ar i e s ,   199 6   16 ( 6) ,   58  t o   62 .     [ 3]   L e m pe l ,   R . ;   &   M o r a n,   S .   P r e d i c t i v e   c a c hi ng   a nd   pr e f e t c hi ng   o f   que r y r e s ul t   i n  s e a r c he ng i n e s .   I n  P r oc e e di ng s   of   t he   12t h   W or l d   W i de W e b  C onf e r e nc e   ( W W W 2003) ,   B udape s t ,   H un gar y ,   2003 .   [ 4]   H a m i d  S a de g hi .   โ€œ A ut o m a t i c   P e r f o r m a nc e   E v a l ua t i o n  o f   W e b  s e a r c h  E ng i ne s   u s i ng   j udg e m e n t s   o f   M e t a   s e a r c h   E ng i ne s โ€ ,   O n l i n e   I nf o r m a t i o n  R e v i e w ,   I S S N :   1468 - 4527 ,   E m e r a l d   P ubl i s h i n g  L i m i t e d ,,   2011 ,   12 ( 6 ) 957 - 97 1 .   [ 5]   D .   K e l l y ,   โ€œ M e t ho ds   f o r   e v a l u a t i ng   i nt e r a c t i v e   i nf o r m a t i o n  r e t r i e v a l   s y s t e m s   w i t h  us e r s , โ€   F ound.   T r e nds   I n f o r m at i o n  R e t r i e v a l , 2 009 ,   3( 1 ) ,   1 โ€“ 22 4  [ O nl i n e ] . A v a i l a b l e :   ht t p: / / dx . do i . o r g / 1 0 . 156 1/   15 0000 0012   [ 6]   M .   A go s t i ,   E .   D i   B uc c i o ,   N .   F e r r o ,   I .   M a s i e r o ,   S .   P e r uz z o ,   a nd   G .   S i l v e l l o ,   โ€œ D I R E C T i o ns :   D e s i g n  a n d  S pe c i f i c a t i o n  o f   a n  I R   E v a l ua t i o n  I nf r a s t r uc t u r e โ€   B e r l i n,   H e i de l be r g :   Spr i n g e r   B e r l i n  H e i de l be r g ,   2 012 ,   88 โ€“ 9 9.   [ O nl i n e ] .   A v a i l a b l e :   ht t p: / / dx . d o i . o r g / 10.   1 007 / 978 - 3 - 642 - 3 3247 - 0   11   [ 7]   L e w a ndo w s ki ,   D . ,   D r e c hs l e r ,   J . ,   &   M a c h,   S .   V o n.   โ€œ D e r i v i ng   Q ue r y   I nt e nt s   f r o m   W e b  S e a r c h  E ng i ne   Q ue r i e s .   J our nal   o f   t he   A m e r i c a n  S oc i e t y   f o r   I n f or m at i on   Sc i e nc e   a nd  T e c hn ol og y , 2012   63 ( 9 ) ,   1 773 โ€“ 1788 ,     [ 8]   L e w a ndo w s ki ,   D ,   & H รถc hs t รถt t e r ,   N .   โ€œ W e b  S e a r c h i ng :   A   Q ua l i t y   M e a s ur e m e n t   P e r s p e c t i v e .   I n  A .   S pi nk&   M .   Z i m m e r   ( E ds . ) ,   W e b  S e a r c h:   M ul t i d i s c i pl i na r y   P e r s pe c t i v e s ,   B e r l i n ,   H e i de l be r g :   S pr i ng e r ,   2008 ,   309 โ€“ 340 .     [ 9]   L e w a ndo w s ki ,   D . ,   &   S pr e e ,   U .   โ€œ R a n ki ng   o f   W i ki pe di a   a r t i c l e s   i n  s e a r c h  e ng i n e s r e v i s i t e d:   F a i r   r a nki ng   f o r   r e a s o na bl e   qu a l i t y โ€   J our n al   o f   t he   A m e r i c an  Soc i e t y   f or   I n f or m a t i on  S c i e nc e   and  T e c h nol ogy ,   20 12  62 ( 1 ) ,   1 17 โ€“ 132.   [ 10]   J .   U r b a no ,   โ€œ nf i r e   a   f r a m e w o r k  f o r   i nf o r m a t i o n  r e t r i e v a l   e v a l ua t i o n  i n .   ne t ,   ht t ps : / / g i t hub . c o m / j ul i a n ur b a no / nF i r e ,   a c c e s s e d:   2016 - 02 - 18 .     [ 11]   T .   G .   A r m s t r o ng ,   A .   M o f f a t ,   W .   W e bb e r ,   a n d  J .   Z o be l ,   โ€œ E v a l ua t i r :   A n  o nl i ne   t o o l   f o r e v a l ua t i ng   a nd  c o m pa r i ng   i r   s y s t e m s , โ€   i n  P r oc e e di ng s   o f   t he   32N d  I n t e r n a t i ona l   A C M SI G I R   C onf e r e nc e   on  R e s e ar c h  and  D e v e l opm e nt   i n   I nf or m a t i on  R e t r i e v a l ,   s e r .   SI G I R โ€™ 09.   N e w Y or k ,   N Y ,   U SA :   A C M ,   2009 ,   833 โ€“ 833 .   [ O nl i ne ] .   A v a i l a b l e : ht t p: / / do i . a c m . o r g / 10 . 11 45/ 1571 941 . 15 7215 3   [ 12]   X .   B e n a v e nt ,   A .   G a r c i a - S e r r a no ,   R .   G r a na do s ,   J .   B e na v e nt ,   a nd  E .   de   V e s ,   โ€œ M u l t i m e di a   i nf o r m a t i o n  r e t r i e v a l   ba s e d   o n  l a t e   s e m a n t i c   f us i o n  a ppr o a c he s :   E xpe r i m e n t s   o n  a w i ki pe di a   i m a g e   c o l l e c t i o n, โ€   I E E E   T r a ns a c t i o ns   o n  M ul t i m e d i a ,   2013 ,   15 ( 8) , 20 09 โ€“ 2021 .   [ 13]   J .   K e kยจ a l ยจ a i ne n,   โ€œ B i na r y   a nd  g r a d e d  r e l e v a nc e   i n   i r   e v a l ua t i o ns   c om pa r i s o n  o f   t he   e f f e c t s o n  r a nk i ng   o f   i r   s y s t e m s , โ€   I n f .   P r o c e s s .   M a na g e ,   2 005 ,   4 1( 5 ) 10 1 9 โ€“ 103 3200 5.   [ O nl i ne ] .   A v a i l a b l e :   ht t p: / / dx . do i . o r g / 10 . 1 016 / j . i pm . 2 005 . 01 . 00 4   [ 14]   D .   L e w a ndo w s ki ,   โ€œ T he   r e t r i e v a l   e f f e c t i v e ne s s   o f   s e a r c h  e ng i ne s   o n  na v i g a t i o na l que r i e s , โ€   A s l i b  P r o c e e di ng s ,   v o l .   63,   no .   4,   p p.   35 4 โ€“ 36 3,   20 11.   [ 15]   S .   Q i a o ,   T .   L i ,   H .   L i ,   Y .   Z h u,   J .   P e ng ,   a nd   J .   Q i u ,   โ€œ S i m R a nk:   A   p a g e   r a nk  a pp r o a c hba s e d   o n  s i m i l a r i t y   m e a s ur e , โ€   P r o c e e di ng s   o f   2010  I E E E   I nt e r na t i o na l   C o nf e r e nc e   o nI nt e l l i g e n t   S y s t e m s   a nd  K no w l e dg e   E ng i ne e r i ng ,   I S K E   2010 ,   09,   3 90 โ€“ 3 95   [ 16]   T .   S a k a i ,   โ€œ O n  t he   r e l i a b i l i t y   of   i nf o r m a t i o n  r e t r i e v a l   m e t r i c s   ba s e d  o n  g r a de d  r e l e v a nc e , โ€ I nf o r m a t i o n  P r o c e s s i ng   a nd  M a na g e m e n t ,   2 007 ,   43( 2) ,   531 โ€“ 548 .   [ 17]   W .   M a g dy   a nd  G .   J .   F .   J o ne s ,   โ€œ E xa m i ni ng   t he   r o bus t ne s s   o f   e v a l ua t i o n  m e t r i c s   f o r   pa t e nt r e t r i e v a l   w i t h  i nc o m pl e t e   r e l e v a nc e   j u dg e m e nt s , โ€   L e c t ur e   N o t e s   i n  C o m put e r   S c i e nc e ( i n c l udi ng   s ub s e r i e s   L e c t ur e   N o t e s   i n  A r t i f i c i a l   In t e l l i g e nc e   a n d  L e c t ur e   N o t e s   i n   B i o i nf o r m a t i c s ) ,   20 10  63 ,   8 2 โ€“ 93 .   [ 18]   J .   H o f f a r t ,   F .   M .   S uc ha ne k ,   K .   B e r b e r i c h,   a nd   G . W e i kum ,   โ€œ Y A G O 2 :   A   s pa t i a l l y   a ndt e m po r a l l y   e nha nc e d   kno w l e dg e   b a s e   f r o m   w i ki p e d i a , โ€   A r t i f .   I nt e l l . ,   20 13   [ 19]   S .   A ue r ,   C .   B i z e r ,   G .   K o bi l a r o v ,   J .   L e hm a nn ,   R .   C y g a ni a k ,   a nd  Z .   G .   I v e s ,   โ€œ D B pe d i a :   A   nuc l e us   f o r   a   w e b  of   o pe n  da t a , โ€   i n   I S W C / A S W C ,   2007 .   [ 20]   A .   N a ndi   a nd   P .   A .   B e r ns t e i n ,   โ€œ H A M S T E R :   us i ng   s e a r c h  c l i c k l o gs   f o r   s c he m a   a nd t a xo no m y   m a t c hi ng , โ€   P V L D B ,   2009 .   [ 21]   A ndr e   A ndr e   "   M e d i c a l   I nf o r m a t i o n  S y s t e m   S e r v i c e s   a n d  P a t i e n t   Q ue ue   M a na g e m e n t   t o   E nha nc e   S e r v i c e s   Q ua l i t y   i n  I ndo ne s i a "   I nt e r n a t i o na l   J o u r na l   o f   E l e c t r i c a l   a n d  C o m put e r   E ng i ne e r i ng ,   V o l : 9,   I s s ue : 3,   201 9 .   [ 22]   S o uka i na   C he r i f   B o ur k i   S e m l a l i ,   M o ha m m e d  E s s a i d  R i f f i ,   F a y รง a l   C he b i h i   " P a r a l l e l   H y br i d  C h i c ke n  s w a r m   o pt i m i z a t i o n  f o r   s o l v i ng   t he   Q u a dr a t i c   a s s i g nm e n t   pr o b l e m "   I nt e r na t i o na l   J o ur na l   o f   E l e c t r i c a l   a nd  C o m put e r   E ng i ne e r i ng ,   V o l : 9,   I s s ue : 3,   20 19 .   [ 23]   M a s l i na   A bdul   A z i z ,   J e m a l   H .   A ba w a j y ,   M o r s he d  C ho w dhu r y   "   S c he dul i ng   W o r kf l o w   A ppl i c a t i o ns   w i t h  M a k e s p a n  a nd  R e l i a b i l i t y   C o ns t r a i n t s "   I nt e r n a t i o na l   J o ur na l   o f   E l e c t r i c a l   a nd   C o m put e r   E ng i ne e r i ng ,   V o l : 9,   I s s ue : 3,   2019 .   Evaluation Warning : The document was created with Spire.PDF for Python.