T E L K O M N I K A ,   V o l . 1 0 ,   N o . 1 ,   M a r c h   2 0 1 2 ,   p p .   1 8 9 ~ 1 9 8   I S S N :   1 6 9 3 - 6 9 3 0   a c c r e d i t e d   b y   D G H E   ( D I K T I ) ,   D e c r e e   N o :   5 1 / D i k t i / K e p / 2 0 1 0     1 8 9       R e c e i v e d   M a y   1 1 th ,   2 0 1 1 ;   R e v i s e d   O c t o b e r   2 7 th ,   2 0 1 1 ;   A c c e p t e d   J a n u a r y   9 th ,   2 0 1 2   C T - F C :   m o r e   C o m p r e h e n s i v e   T r a v e r s a l   F o c u s e d   C r a w l e r       S i t i   M a i m u n a h 1 ,   H u s n i   S   S a s t r a m i h a r d j a 2 ,   D w i   H   W i d y a n t o r o 2 ,   K u s p r i y a n t o 2   1 F a c u l t y   o f   I n f o r m a t i o n   T e c h n o l o g y ,   Su r a b a y a   A d h i t a m a   I n s t i t u t e   o f   T e c h n o l o g y ,     J l .   A. R .   H a k i m   1 0 0 ,   S u r a b a y a ,   I n d o n e s i a ,   + 6 2 3 1 5 9 4 5 0 4 3 / + 6 2 3 1 5 9 9 4 6 2 0   2 Sc h o o l   o f   El e c t r i c a l   En g i n e e r i n g   a n d   I n f o r m a t i c s ,   B a n d u n g   I n s t i t u t e   o f   T e c h n o l o g y ,   J l .   G a n e c a   1 0   B a n d u n g ,   I n d o n e s i a   e - m a i l :   s . m a i m u n a h @ y a h o o . c o m ,   h u s n i @ i n f o r m a t i k a . o r g ,   d w i @ i f . i t b . a c . i d ,   k u s p r i y a n t o @ y a h o o . c o m       A b s t r a k   Sa a t   i n i   s e m a k i n   b a n y a k   o r a n g   y a n g   m e n g g a n t u n g k a n   k e b u t u h a n   i n f o r m a s i n y a   p a d a   W W W ,   t e r m a s u k   p a r a   p r o f e s i o n a l   y a n g   h a r u s   m e n g a n a l i s i s   d a t a   s e s u a i   d o m a i n n y a   u n t u k   m e m e l i h a r a   d a n   m e n g e m b a n g k a n   u s a h a n y a .   Se b u a h   a n a l i s i s   d a t a   t e n t u n y a   m e m b u t u h k a n   i n f o r m a s i   y a n g   k o m p r e h e n s i f   d a n   r e l e v a n   t e r h a d a p   d o m a i n n y a .   U n t u k   k e b u t u h a n   a p l i k a s i   i n i   d i g u n a k a n   f o c u s e d   c r a w l e r   s e b a g a i   a g e n   p e n g i n d e k s   i n f o r m a s i   W e b   y a n g   r e l e v a n   t e r h a d a p   t o p i k   t e r t e n t u .   D a l a m   u s a h a   m e n i n g k a t k a n   p r e s i s i n y a ,   t e r n y a t a   f o c u s e d   c r a w i n g   m e n g h a d a p i   p e r m a s a l a h a n   r e n d a h n y a   n i l a i   r e c a l l .   H a s i l   s t u d i   t e r h a d a p   k a r a k t e r i s t i k   s t r u k t u r   h y p e r l i n k   d a l a m   W W W   m e n u n j u k k a n   b a h w a   b a n y a k   d o k u m e n   W e b   y a n g   t i d a k   t e r h u b u n g   s e c a r a   l a n g s u n g   m e l a i n k a n   m e l a l u i   k o s i t a s i   d a n   k o r e f e r e n s i .   F o c u s e d   c r a w l e r   k o n v e n s i o n a l   y a n g   m e n g g u n a k a n   s t r a t e g i   f o r w a r d   c r a w l i n g   t i d a k   m e m u n g k i n k a n   u n t u k   m e n g u n j u n g i   d o k u m e n   d e n g a n   k a r a k t e r i s t i k   t e r s e b u t .   P e n e l i t i a n   i n i   m e n a w a r k a n   s e b u a h   k e r a n g k a   p e n e l u s u r a n   y a n g   l e b i h   k o m p r e h e n s i f .   Se b a g a i   p e m b u k t i a n ,   C T - F C   ( f o c u s e d   c r a w l e r   d e n g a n   k e r a n g k a   p e n e l u s u r a n   b a r u )   d i j a l a n k a n   p a d a   d a t a   D M O Z   y a n g   r e p r e s e n t a t i f   t e r h a d a p   k a r a k t e r i s t i k   W W W .   H a s i l   e k s p e r i m e n   m e n u n j u k k a n   b a h w a   s t r a t e g i   i n i   m a m p u   m e n i n g k a t k a n   r e c a l l   s e c a r a   s i g n i f i k a n .       K a t a   k u n c i :   f o c u s e d   c r a w l e r ,     k o s i t a s i ,   k o r e f e r e n s i ,   r e c a l l       A b s t r a c t     I n   t o d a y s   w o r l d ,   p e o p l e   d e p e n d   m o r e   o n   t h e   W W W   i n f o r m a t i o n ,   i n c l u d i n g   p r o f e s s i o n a l s   w h o   h a v e   t o   a n a l y z e   t h e   d a t a   a c c o r d i n g   t h e i r   d o m a i n   t o   m a i n t a i n   a n d   i m p r o v e   t h e i r   b u s i n e s s .   d a t a   a n a l y s i s   w o u l d   r e q u i r e   i n f o r m a t i o n   t h a t   i s   c o m p r e h e n s i v e   a n d   r e l e v a n t   t o   t h e i r   d o m a i n .   F o c u s e d   c r a w l e r   a s   a   t o p i c a l   b a s e d   W e b   i n d e x e r   a g e n t   i s   u s e d   t o   m e e t   t h i s   a p p l i c a t i o n s   i n f o r m a t i o n   n e e d .   I n   o r d e r   t o   i n c r e a s e   t h e   p r e c i s i o n ,   f o c u s e d   c r a w l e r   f a c e   t h e   p r o b l e m   o f   l o w   r e c a l l .   T h e   s t u d y   o n   W W W   h y p e r l i n k   s t r u c t u r e   c h a r a c t e r i s t i c s   i n d i c a t e s   t h a t   m a n y   W e b   d o c u m e n t s   a r e   n o t   s t r o n g   c o n n e c t e d   b u t   t h r o u g h   c o - c i t a t i o n   c o - r e f e r e n c e .   C o n v e n t i o n a l   f o c u s e d   c r a w l e r   t h a t   u s e s   f o r w a r d   c r a w l i n g   s t r a t e g y   c o u l d   n o t   v i s i t   t h e   d o c u m e n t s   i n   t h e s e   c h a r a c t e r i s t i c s .   T h i s   s t u d y   p r o p o s e s   a   m o r e   c o m p r e h e n s i v e   t r a v e r s a l   f r a m e w o r k .   As   a   p r o o f ,   C T - F C   ( a   f o c u s e d   c r a w l e r   w i t h   t h e   n e w   t r a v e r s a l   f r a m e w o r k )   r a n   o n   D M O Z   d a t a   t h a t   i s   r e p r e s e n t a t i v e   t o   W W W   c h a r a c t e r i s t i c s .   T h e   r e s u l t s   s h o w   t h a t   t h i s   s t r a t e g y   c a n   i n c r e a s e   t h e   r e c a l l   s i g n i f i c a n t l y .       K e y w o r d s :   f o c u s e d   c r a w l e r ,   c o - c i t a t i o n ,   c o - r e f e r e n c e ,   r e c a l l         1 .     I n t r o d u c t i o n   T h e   r a p i d   g r o w t h   o f   i n f o r m a t i o n   m a k e s   g e n e r a l   s e a r c h   e n g i n e   m o r e   d i f f i c u l t   t o   p r o v i d e   s e r v i c e s   e f f e c t i v e l y .   O n   g e n e r a l   s e a r c h   e n g i n e ,   u s e r s   m u s t   s e l e c t   a n d   o p e n   t h e   d o c u m e n t   f i r s t   b e f o r e   d e t e r m i n e   w h e t h e r   t h e   i n f o r m a t i o n   l i s t   i s   r e l e v a n t   t o   t h e i r   n e e d s .   T h i s   j o b   c a n   b e   t i m e -   c o n s u m i n g   a n d   t e d i o u s   f o r   t h e   u s e r   [ 1 ] .   I n s t e a d   o f   g e n e r a l   s e a r c h   e n g i n e ,   s e v e r a l   p r o f e s s i o n a l   o r g a n i z a t i o n s   n e e d   d o m a i n   s e a r c h   e n g i n e   t o   m e e t   t h e i r   i n f o r m a t i o n   n e e d s .   T h i s   d o m a i n   s e a r c h   e n g i n e   i n d e x e s   o n l y   d o c u m e n t s   r e l e v a n t   t o   s p e c i f i c   t o p i c s .   T o   i n d e x   t h e   i n f o r m a t i o n   d o m a i n   s e a r c h   e n g i n e   u s e s   f o c u s e d   c r a w l e r   a s   a n   a g e n t   t o   t r a v e r s e s   W W W   a n d   d o w n l o a d s   d o c u m e n t s   r e l e v a n t   t o   t h e   s p e c i f i e d   t o p i c s .   F o c u s e d   c r a w l e r   m u s t   d e t e r m i n e   w h i c h   l i n k   t o   v i s i t   t o   m a x i m i z e   r e l e v a n t   d o c u m e n t s   o b t a i n e d   a n d   a v o i d   l i n k s   t h a t   a r e   n o t   i m p o r t a n t   t o   m i n i m i z e   i r r e l e v a n t   d o c u m e n t s .   A   g o o d   s t r a t e g y   i s   n e e d e d   t o   d e t e r m i n e   t h e   s e e d   p a g e s   i n   a n   e f f e c t i v e   a n d   p r e d i c t i o n s   o n   w h i c h   o n e s   d e s e r v e   a   l i n k   i s   f o l l o w e d   t o   o b t a i n   r e l e v a n t   d o c u m e n t s   b e f o r e   t h e   a c t u a l   d o w n l o a d   [ 2 ] .   F o r   n o w   Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 0 ,   N o .   1 ,     M a r c h   2 0 1 2   :     1 8 9     1 9 8   1 9 0 c o n v e n t i o n a l   f o c u s e d   c r a w l e r   c a n   o n l y   r e a c h e s   r e l e v a n t   d o c u m e n t s   t h a t   a r e   c o n n e c t e d   b y   d o w n l o a d e d   d o c u m e n t s   o u t - l i n k s .   A c t u a l l y   t h e r e   m a n y   c h a r a c t e r i s t i c s   o f   r e l e v a n t   d o c u m e n t s   h y p e r l i n k   s t r u c t u r e   i n   W W W   a n d   s o m e   r e l e v a n t   d o c u m e n t s   c o u l d   n o t   b e   o b t a i n e d   b y   o t h e r   r e l e v a n t   d o c u m e n t   o u t - l i n k s .   T h u s ,   n e e d   a   n e w   s t r a t e g y   t o   o v o i d   l o c a l i t y   s e a r c h   t r a p   i n   f o c u s e d   c r a w l i n g   [ 2 ] .       2 .     R e l a t e d   W o r k s   W e b   c r a w l e r   i s   a   p r o g r a m   t h a t   u t i l i z e s   t h e   W e b   g r a p h   s t r u c t u r e   t o   m o v e   f r o m   o n e   d o c u m e n t   t o   o t h e r s   i n   o r d e r   t o   o b t a i n   W e b   d o c u m e n t s   a n d   a d d   t h e m   o r   t h e i r   r e p r e s e n t a t i o n   t o   a   l o c a l   s t o r a g e   m e d i a .   T h u s ,   t h e   c r a w l i n g   p r o c e s s   c a n   b e   v i e w e d   a s   a   g r a p h   s e a r c h   p r o b l e m .   I n   i t s   s i m p l e s t   f o r m ,   s e a r c h   p r o c e s s   o f   c r a w l i n g   s y s t e m   s t a r t s   f r o m   a   s e e d   U R L s   a n d   t h e n   b y   u s i n g   d o w n l o a d e d   d o c u m e n t   o u t - l i n k s   t o   v i s i t   o t h e r   U R L s .   T h i s   p r o c e s s   i s   r e p e a t e d   b y   i n c r e a s i n g   o u t - l i n k s   t h a t   a r e   g e n e r a t e d   f r o m   n e w   d o c u m e n t s .   T h e   p r o c e s s   w i l l   e n d   i f   t h e   n u m b e r   o f   d o c u m e n t s   c o n s i d e r e d   i s   s u f f i c i e n t   o r   m e e t s   c e r t a i n   c r i t e r i a .   I n   g e n e r a l ,   t h e   i n f r a s t r u c t u r e   o f   t h e   c r a w l i n g   p r o c e s s   s h o w n   i n   F i g u r e   1 ( a )   [ 3 ] . W h i l e   b u i l d i n g   a   g e n e r a l   s e a r c h   e n g i n e ,   m a n y   p r o b l e m s   w i l l   b e   e n c o u n t e r   s u c h   a s   t h e   n e e d   o f   h u g e   r e s o u r c e s   p a r t i c u l a r l y   i n   t e r m s   o f   p r o v i d i n g   s t o r a g e   a n d   b a n d w i d t h   f o r   c r a w l i n g   p r o c e s s   a n d   s e r v i c e s   t o   v a r i o u s   d o m a i n   u s e r s .         W W W P a r s i n g   &   E x t r a c t i o n H T T P R e q u e s t D o w n l o a d e d D o c u m e n t L i n k s S e e d   U R L s K e y w o r d s   &   d o c u m e n t f e a t u r e s   t o   i n d e x e r R e p e a t   u n t i l   q u e u e   i s   e m p t y   o r   t e r m i n a t e F r o n t i e r   W W W P a r s i n g   &   E x t r a c t i o n H T T P R e q u e s t D o w n l o a d e d D o c u m e n t L i n k s S e e d   U R L s K e y w o r d s   &   d o c u m e n t   f e a t u r e s   t o   i n d e x e r R e p e a t   u n t i l   q u e u e   i s   e m p t y   o r   t e r m i n a t e F r o n t i e r I n t e l l i g e n c e   ( C l a s s i f i c a t i o n ,   S i m i l a r i t y ,   L i n k   s c o r i n g ,   . . . ) L i n k s ,   K e y w o r d s   &   d o c u m e n t   f e a t u r e s     ( a )   ( b )   F i g u r e   1 .   M a n y   r e l e v a n t   d o c u m e n t s   t h a t   a r e   c o n n e c t e d   t h r o u g h   ( a )   c o - c i t a t i o n   d o c u m e n t s   a n d   ( b )   c o - r e f e r e n c e d   d o c u m e n t s     T o   i n d e x   i n f o r m a t i o n   r e l a t e d   t o   s p e c i f i e d   t o p i c s ,   f o c u s e d   c r a w l e r   h a s   a   s m a r t   c o m p o n e n t   t o   d e t e r m i n e   t h e   s e a r c h   s t r a t e g y   o n   t h e   w e b   g r a p h .   T h i s   c o m p o n e n t   l e a d s   t o   t h e   g r a p h s   t h a t   a r e   r e l e v a n t   t o   a   p a r t i c u l a r   t o p i c .   F i g u r e   1 ( b )   s h o w s   f o c u s e d   c r a w l i n g   i n f r a s t r u c t u r e .   Q i n   [ 4 ]   c a t e g o r i z e s   t h e   p r o p o s e d   f o c u s e d   c r a w l i n g   m e t h o d s   i n t o   t w o   p a r t s :   W e b   a n a l y s i s   a l g o r i t h m   a n d   W e b   s e a r c h   a l g o r i t h m .   W e b   a n a l y s i s   a l g o r i t h m   u s e d   t o   a s s e s s   t h e   r e l e v a n c e   a n d   q u a l i t y   o f   W e b   d o c u m e n t s   a n d   W e b   s e a r c h   a l g o r i t h m s   u s e d   t o   d e t e r m i n e   t h e   o p t i m a l   o r d e r   i n   w h i c h   t h e   t a r g e t   U R L s   a r e   v i s i t e d .   F i r s t   g e n e r a t i o n   c r a w l e r   b a s e d   o n   t r a d i t i o n a l   g r a p h   a l g o r i t h m s ,   s u c h   a s   b r e a d t h - f i r s t   s e a r c h   o r   d e p t h - f i r s t   s e a r c h   [ 5 ] .   F r o m   s e t   o f   s e e d   U R L s ,   t h e   a l g o r i t h m   f o l l o w s   h y p e r l i n k s   l e a d i n g   t o   o t h e r   d o c u m e n t s   r e c u r s i v e l y .   T h e   m a i n   o b j e c t i v e   o f   c r a w l i n g   s y s t e m   i s   t o   s e a r c h   o v e r   t h e   W e b   a n d   d o w n l o a d   a l l   d o c u m e n t s   f o u n d .   T h u s ,   t h e   m a t e r i a l   c o n t a i n e d   i n   t h e   d o c u m e n t   c o n t e n t   w i l l   b e   l e a s t   o b s e r v e d .   I n s t e a d   o f   g e n e r a l   c r a w l e r ,   a   f o c u s e d   c r a w l e r   m u s t   o b t a i n   W e b   d o c u m e n t s   r e l e v a n t   t o   a   p a r t i c u l a r   t o p i c   e f f i c i e n t l y .   G e n e r a l l y ,   r e s e a r c h e r s   p r o p o s e d   W e b   c o n t e n t - b a s e d   s e a r c h   s t r a t e g y .   T h i s   s t r a t e g y   i s   d e r i v a t i o n   o f   t e x t   r e t r i e v a l   t h a t   a l r e a d y   h a s   a   m a t u r e   t h e o r e t i c a l   b a s e .   S a l t o n   [ 6 ]   p r o p o s e d   a   v e c t o r   s p a c e   m o d e l   t h a t   r e p r e s e n t s   e a c h   d o c u m e n t   o r   q u e r y   b y   a   v e c t o r .   I n   t h i s   m o d e l ,   e a c h   t e r m   r e p r e s e n t s   a   s i n g l e   d i m e n s i o n   a n d   t h e   w e i g h t   t h a t   a c c o m p a n y   t o   e a c h   d i m e n s i o n   r e p r e s e n t s   t h e   t e r m   c o n t r i b u t i o n   r e l a t e d   t o   d o c u m e n t   m a t e r i a l .   F u r t h e r m o r e ,   t h e   l e x i c a l   r e p r e s e n t a t i o n   c a n   i n f e r   t h e   s e m a n t i c   m e a n i n g   o f   a   d o c u m e n t   b y   u s i n g   l e x i c a l   t o p o l o g y .   B a s e d   o n   t h e   m o d e l   R i j s b e r g e n   [ 7 ]   p r o v i d e d   a   h y p o t h e s i s ,   i . e . :   a   d o c u m e n t   w i t h   t h e   s a m e   v e c t o r   s p a c e   t o   a   r e l e v a n t   d o c u m e n t   w i l l   h a v e   a   h i g h   p r o b a b i l i t y   o f   r e l e v a n c e .   S e a r c h   e n g i n e s   h a v e   u s e d   t h e   l e x i c a l   m e t r i c   t r a d i t i o n a l l y   t o   r a n k   a n y   d o c u m e n t s   a c c o r d i n g   t o   t h e i r   s i m i l a r i t y   t o     q u e r y   [ 8 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       C T - F C :   m o r e   C o m p r e h e n s i v e   T r a v e r s a l   F o c u s e d   C r a w l e r   ( S i t i   M a i m u n a h )   1 9 1   O n e   d i r e c t i o n   o f   W e b   d o c u m e n t   h y p e r l i n k s   ( o u t - l i n k s )   m a k e   f o c u s e d   c r a w l e r   s e a r c h   l i m i t s   t o   t o p - d o w n   s t r a t e g y ,   c a l l e d   f o r w a r d   c r a w l i n g .   A c t u a l l y   m a n y   W e b   d o c u m e n t s   a r e   o r g a n i z e d   i n   t r e e   s t r u c t u r e .   W h e n   t h e   f o c u s e d   c r a w l e r   i s   i n   a   l e a f   p o s i t i o n ,   t h i s   m a k e s   s e r i o u s   o b s t a c l e   t o   f i n d   h i g h l y   s t r u c t u r e d   o r   s i b l i n g / s p o u s e   r e l e v a n t   d o c u m e n t s .   F o r   e x a m p l e ,   w h e n   f o c u s e d   c r a w l e r   f i n d   a   c o m p u t e r   s c i e n c e   r e s e a r c h e r   m a i n   p a g e   f r o m   a   h y p e r l i n k   o f   p a p e r   l i s t   a t   a   c o n f e r e n c e   s i t e ,   i t   n e e d s   a   g o o d   s t r a t e g y   f o r   c r a w l i n g   o t h e r   m e m b e r s   d o c u m e n t s   o f   c o m p u t e r   s c i e n c e   d e p a r t m e n t .   W i t h o u t   h y p e r l i n k   t o   t h e   o t h e r   d e p a r t m e n t   m e m b e r s   d o c u m e n t s   e x p l i c i t l y ,   c o n v e n t i o n a l   f o c u s e d   c r a w l e r   w i l l   n o t   b e   a b l e   t o   m o v e   u p   t o   t h e   d e p a r t m e n t   m a i n   p a g e   a n d   t o   t h e   o t h e r   m e m b e r s   d o c u m e n t s .   T h i s   c o n d i t i o n   m a k e s   c o n v e n t i o n a l   f o c u s e d   c r a w l i n g   r e c a l l   l o w .       3 .   C o n v e n t i o n a l   F o c u s e d   C r a w l i n g   P r e c i s i o n   a n d   R e c a l l   T r a d e - O f f   T h e r e   i s   a   t r a d e - o f f   b e t w e e n   p r e c i s i o n   a n d   r e c a l l   o f   c o n v e n t i o n a l   f o c u s e d   c r a w l i n g .   H i g h e r   c o n v e n t i o n a l   f o c u s e d   c r a w l e r   r e s u l t   p r e c i s i o n ,   m a k e   t h e   r e c a l l   g e t t i n g   l o w e r .   F i g u r e   2 ( a )   s h o w s   f o c u s e d   c r a w l i n g   p r o c e s s   t h a t   i g n o r e s   i r r e l e v a n t   d o c u m e n t s .   T h u s ,   t h e   c r a w l i n g   r e s u l t   h a s   l o w   p r e c i s i o n   b u t   h i g h   r e c a l l .   O n   t h e   o t h e r   h a n d s   F i g u r e   2 ( b )   s h o w s   f o c u s e d   c r a w l i n g   p r o c e s s   t h a t   a v o i d   i r r e l e v a n t   d o c u m e n t s   c a n   i n c r e a s e   p r e c i s i o n   a n d   d e c l i n i n g   t h e   r e c a l l .   T h i s   i s   b e c a u s e   o f   W W W   c h a r a c t e r i s t i c s ,   w h i c h   p e r m i t s   m a n y   r e l e v a n t   d o c u m e n t s ,   c o n n e c t e d   t o   t h e   o t h e r s   i n d i r e c t l y .             ( a )   ( b )     F i g u r e   2 ( a )   W h e n   t h e   g o a l   o f   c r a w l i n g   s y s t e m   i s   j u s t   h i g h e r   r e c a l l ,   i t   w i l l   d o w n l o a d   a l l   o f   d o c u m e n t s   b o t h   r e l e v a n t   a n d   i r r e l e v a n t   o n e s   u n t i l   a l l   r e l e v a n t   d o c u m e n t s   a r e   d o w n l o a d e d ;   ( b )   F o c u s e d   c r a w l i n g   s y s t e m   c u t s   t h e   l i n k   t h r o u g h   i r r e l e v a n t   d o c u m e n t s   t o   m a i n t a i n   p r e c i s i o n           F i g u r e   3 .   C o n v e n t i o n a l   f o c u s e d   c r a w l e r   m a y   n o t   r e a c h   r e l e v a n t   d o c u m e n t s   c o n n e c t e d   t h r o u g h   c o - c i t a t i o n s   o r   i n - l i n k s   o f   d o w n l o a d e d   d o c u m e n t s       M a n y   r e l e v a n t   d o c u m e n t s   a l s o   c o n n e c t e d   t o   t h e   o t h e r s   t h r o u g h   c o - c i t a t i o n   d o c u m e n t s   o r   b y   i n - l i n k   o f   d o w n l o a d e d   d o c u m e n t s   t h a t   m a k e   c o n v e n t i o n a l   f o c u s e d   c r a w l e r   h a s   l o w   r e c a l l   ( F i g u r e   3 ) .   T h e   f o l l o w i n g   c h a p t e r   d e s c r i b e s   m o r e   d e t a i l   a b o u t   W W W   c h a r a c t e r i s t i c s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 0 ,   N o .   1 ,     M a r c h   2 0 1 2   :     1 8 9     1 9 8   1 9 2 4 .     W W W   S t r u c t u r e   C h a r a c t e r i s t i c s   I n   g e n e r a l ,   W e b   g r a p h   c h a r a c t e r i s t i c s   i d e n t i f i e d   b y   p r e v i o u s   r e s e a r c h e r s   c a t e g o r i z e d   i n t o   f o u r   q u a d r a n t s   o f   C a r t e s i a n s   d i a g r a m   ( F i g u r e   4 ) .   H o r i z o n t a l   a x i s   d e s c r i b e s   c o n n e c t i n g   t y p e   b e t w e e n   r e l e v a n t   d o c u m e n t s   ( d i r e c t l y / i n d i r e c t l y )   a n d   v e r t i c a l   a x i s   d e s c r i b e s   s e a r c h   d i r e c t i o n   t h a t   m u s t   b e   d o n e   t o   o b t a i n   t h e   r e l e v a n t   d o c u m e n t s   ( f o r w a r d / b a c k w a r d ) .             F i g u r e   4 .   F o u r   W W W   c h a r a c t e r i s t i c s   q u a d r a n t s       R e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I   w h i c h   a r e   c o n n e c t e d   d i r e c t l y   a n d   i n   a   f o r w a r d   d i r e c t i o n   s e a r c h ,   h a v e   s t r o n g   c o n n e c t e d   c h a r a c t e r i s t i c ,   i . e .   t h e r e   a r e   c o n n e c t i o n s   f r o m   o n e   d o c u m e n t   t o   o t h e r s   a n d   t h e r e   i s   a   c y c l e   i n   t h e   i n t e r - l i n k s   g r a p h .   Q u a d r a n t   I I   ( c o n n e c t e d   i n d i r e c t l y   a n d   i n   a   f o r w a r d   d i r e c t i o n   s e a r c h )   c o n t a i n s   r e l e v a n t   d o c u m e n t s ,   w h i c h   h a v e   i n d i r e c t l y   c o n n e c t e d   c h a r a c t e r i s t i c ,   i . e .   c o n n e c t e d   t h r o u g h   o n e   o r   s e v e r a l   i r r e l e v a n t   d o c u m e n t s   [ 9 ] ,   [ 1 0 ] ,   [ 1 1 ] .   R e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I I I   c o n n e c t e d   d i r e c t l y   t h r o u g h   i n - l i n k s   o f   d o w n l o a d e d   d o c u m e n t s .   Q u a d r a n t   I V   c o n t a i n s   r e l e v a n t   d o c u m e n t s ,   w h i c h   a r e   c o n n e c t e d   v i a   c o - c i t a t i o n   d o c u m e n t s   [ 1 2 ] ,   [ 1 3 ] .       5 .     F o c u s e d   C r a w l i n g   S y s t e m   F o c u s e d   c r a w l e r s   c o n s i d e r e d   a s   a   W e b   i n f o r m a t i o n   s e a r c h e r   a g e n t .   U s e r   q u e r y   i n i t i a t e s   t h e   i n f o r m a t i o n   s e a r c h .   T h e   u s e r   q u e r y   e x p r e s s e d   i n   t h e   f o r m   o f   s e e d   U R L s   r e l e v a n t   t o   s p e c i f i e d   t o p i c .   A f t e r w a r d s ,   f o c u s e d   c r a w l e r   d o w n l o a d s   d o c u m e n t s   r e l a t e d   t o   t h e   s e e d   U R L s   a n d   m a p s   t h e m   t o   a n   a p p r o p r i a t e   c o n c e p t .   T h e   c o n c e p t   m a p p i n g   i s   t o   u n d e r s t a n d   q u e r i e s   c o n c e p t   g i v e n   b y   u s e r   a n d   l i m i t s   t h e   W e b   r e t r i e v a l   f i e l d s .     A n   o n t o l o g y   c a n   b e   u s e f u l   t o   k n o w   t h e   r e l a t i o n s h i p s   b e t w e e n   c o n c e p t s .   C o m b i n a t i o n   o f   q u e r y   c o n c e p t   a n d   t h e   a v a i l a b l e   g e n e r a l   o n t o l o g y   u s e d   t o   s e t   u p   l o c a l   o n t o l o g y   o f   s p e c i f i e d   t o p i c .   I f   a   c o n c e p t   h a s   n o   l i n k   t o   t h e   q u e r y   c o n c e p t   t h e n   t h e   c o n c e p t   s h o u l d   b e   r e m o v e d   f r o m   t h e   l o c a l   o n t o l o g y .   F i n a l l y ,   e a c h   l e x i c o n   r e l a t e d   t o   e a c h   c o n c e p t   i n   t h e   l o c a l   o n t o l o g y   c a n   b e   u s e d   a s   a   r e f e r e n c e   t o   a s s e s s   t h e   d o c u m e n t s   r e l e v a n c e .   F i g u r e   5   s h o w s   t h e   f o c u s e d   c r a w l i n g   f r a m e w o r k .   M e a s u r i n g   p a r a m e t e r s   a n d   m e a s u r e m e n t   c r i t e r i a   m a y   b e   u s e d   t o   a s s e s s   s y s t e m   o p t i m a l i t y .   T h e s e   p a r a m e t e r s   a n d   t h e   m e a s u r e m e n t   c r i t e r i a   m a y   i n f l u e n c e   t o   s y s t e m   d e s i g n .   T h e r e f o r e ,   t h e   f o l l o w i n g   s u b - c h a p t e r   w i l l   d i s c u s s   t h e   m e a s u r i n g   p a r a m e t e r s   a n d   m e a s u r e m e n t   c r i t e r i a   b e f o r e   d i s c u s s i n g   f o c u s e d   c r a w l i n g   s y s t e m   i n   d e t a i l s .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       C T - F C :   m o r e   C o m p r e h e n s i v e   T r a v e r s a l   F o c u s e d   C r a w l e r   ( S i t i   M a i m u n a h )   1 9 3   C o n c ep t   ( C ) :   { c 1 , c 2 , c 3 , . . ,   c n c } L e xi c o n   ( L ) { l 1 , l 2 , l 3 , . . ,   l n l } D o c u m e n t   ( D ) :   { d 1 , d 2 , d 3 , . . d n k 1 } { d 1 , d 2 , d 3 , . . , d n k 2 } { d 1 , d 2 , d 3 , . . d n k 3 } { d 1 , d 2 , d 3 , . . d n k 4 } Q u a d r a n t   I Q u a d r a n t   I I Q u a d r a n t   I I I Q u a d r a n t   I V Q u e r y   ( Q ) ( l 1 , l 2 , . . ,   l n q ) L o c a l   O n t o l o g y   F i g u r e   5 .   F o c u s e d   c r a w l i n g   f r a m e w o r k       5 . 1 .   I n c r e a s i n g   F o c u s e d   C r a w l i n g   P r e c i s i o n   F o c u s e d   c r a w l e r s   o p e r a t i o n   i s   i n i t i a l i z e d   b y   a   g i v e n   s e e d   U R L s .   T h e   o p e r a t i o n   r u n s   a c c o r d i n g   t o   d o w n l o a d e d   d o c u m e n t s   r e l e v a n c e   a s s e s s m e n t   a n d   t h e   o b t a i n e d   l i n k s .   T h e   r e l e v a n c e   a s s e s s m e n t   i s   b a s e d   o n   q u e r y   a s   a n   a b s t r a c t i o n   o f   s e e d   U R L s .   T o   i n c r e a s e   p r e c i s i o n ,   f o c u s e d   c r a w l e r   u s e s   s e m a n t i c   a n a l y s i s   t o   a s s e s   d o c u m e n t   r e l e v a n c e .   T h e   s e m a n t i c   a n a l y s i s   i s   t o   o b t a i n   t h e   d e s i r e d   t o p i c   c o n c e p t   ( F i g u r e   6 ( a ) ) .   A s   a n   i l l u s t r a t i o n ,   w h e n   a   u s e r   w a n t s   a   p e t   t o p i c .   L e t   d o c u m e n t s   r e l a t e d   t o   t h e   s e e d   U R L s   t a l k   a b o u t   c a t   b a b i e s .   K e y w o r d   ' c a t   b a b y '   i s   a c q u i r e d   a t   t h e   p r e - p r o c e s s .   I n   s y n t a c t i c   a n a l y s i s ,   t h e   r e s u l t   d o c u m e n t s   m a y   c o n t a i n   w o r d s   ' b a b y '   a n d / o r   ' c a t ' .   B a s e d   o n   t h i s   s y n t a c t i c   a n a l y s i s   r e s u l t s ,   d o c u m e n t s   t h a t   c o n t a i n   t h e   w o r d   ' b a b y '   w i l l   b e   s e t   t r u e   e v e n   t h o u g h   t h e   d o c u m e n t   d i s c u s s e s   a b o u t   a   h u m a n   b a b y .   M e a n w h i l e ,   f o c u s e d   c r a w l e r   w i l l   r e j e c t   a   d o c u m e n t   c o n t a i n i n g   w o r d   ' d o g '   b e c a u s e   i t   d o e s   n o t   c o n t a i n   t h e   w o r d   ' b a b y '   o r   ' c a t ' .   T h e r e   a r e   t w o   d i s a d v a n t a g e s   i n   s y n t a c t i c   s e a r c h :   ( 1 )   B y   t a k i n g   t h e   d o c u m e n t s   c o n t a i n i n g   t h e   w o r d   ' b a b y '   w i t h o u t   c o n s i d e r i n g   w h a t   k i n d   o f   b a b y   w i l l   m a k e   m o r e   i r r e l e v a n t   d o c u m e n t s   a r e   d o w n l o a d e d .   T h i s   c o n d i t i o n   w i l l   r e d u c e   p r e c i s i o n .   ( 2 )   W h e n   c r a w l e r   r e j e c t s   a n y   d o c u m e n t s   w h i c h   a r e   n o t   c o n t a i n   t h e   w o r d s   ' b a b y '   o r   ' c a t '   e v e n   t h o u g h   t h e   d o c u m e n t   i s   i n   t h e   s a m e   c o n c e p t ,   i t   w i l l   m a k e   t h e   r e c a l l   b e c o m e s   l o w .   I f   a   q u e r y   h a s   o n e   m a j o r   c o n c e p t   ( h e r e i n a f t e r   r e f e r r e d   t o   a s   t o p i c ) ,   t h e n   f o c u s e d   c r a w l i n g   r e s u l t   h a s   h i g h   p r e c i s i o n   b e c a u s e   t h e   q u e r y   d o e s   n o t   h a v e   m u l t i   m e a n i n g s   ( p o l y s e m y ) .   T h e   g r e a t e r   n u m b e r   o f   c o n c e p t s   r e l a t e d   t o   t h e   q u e r y ,   i m p l i e s   t h a t   p r e c i s i o n   d e c r e a s e s   e x p o n e n t i a l l y   ( p r e d i c t i o n   a c c u r a c y   i s   1 / | c | )   ( F i g u r e   6 ( b ) ) .   T h u s ,   t o   i n c r e a s e   t h e   p r e c i s i o n ,   t h e   q u e r y   m u s t   b e   m a p p e d   o n t o   e x a c t l y   o n e   m a j o r   c o n c e p t   o r   t o p i c   ( Q : C   =   1 : 1 ) .     5 . 2 .   I n c r e a s i n g   F o c u s e d   C r a w l i n g   R e c a l l   T o   i n c r e a s e   f o c u s e d   c r a w l i n g   r e c a l l ,   l o c a l   o n t o l o g y   o f   q u e r y   c o n c e p t   h a s   t o   g e n e r a t e   a f t e r   d e t e r m i n i n g   t h e   q u e r y   c o n c e p t s .   L o c a l   o n t o l o g y   i s   g e n e r a t e d   b y   t h e   m a i n   q u e r y   c o n c e p t s   s u b s t i t u t i o n   i n t o   a v a i l a b l e   g e n e r a l   o n t o l o g y   a n d   t r i m   t h e   r e l a t e d   c o n c e p t s   o f   t h e   s a m e   t o p i c .   F i g u r e   7   i l l u s t r a t e s   t h e   s u b s t i t u t i o n   p r o c e s s .   L e x i c o n   l i s t   a n d   i t s   c o m b i n a t i o n   d e r i v e d   f r o m   t h e   l o c a l   o n t o l o g y   t o   a s s e s s   d o c u m e n t s   r e l e v a n c e .   T h e   d e r i v a t i v e   r e s u l t s   a l s o   i n c l u d e   s y n o n y m s   o f   t h e   m a i n   t o p i c s   l e x i c o n .   T h e   c o m p l e t e n e s s   o f   t h e   t o p i c s   c o n c e p t s   a n d   s y n o n y m s   k n o w l e d g e   m a y   i n f l u e n c e s   t h e   i n c r e a s e   o f   t h e   f o c u s e d   c r a w l i n g   r e c a l l .   Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 0 ,   N o .   1 ,     M a r c h   2 0 1 2   :     1 8 9     1 9 8   1 9 4   C o n s e p t s : c 1   c 2   c 3   .   . c n c Q u e r y   :   l 1 l 2 . . l n q P o l y s e m y       ( a )   ( b )     F i g u r e   6 .   ( a )   Q u e r y   t o   c o n c e p t   m a p p i n g .   I f   t h e   m a p p i n g   p r o d u c e s   m o r e   t h a n   o n e   c o n c e p t ,   t h e n   t h e r e   i s   a   p o l y s e m y   o r   a m b i g u i t y   i n   q u e r y   m e a n i n g ;   ( b )   P r e c i s i o n   d e c r e a s e s   i n   a c c o r d a n c e   w i t h   t h e   n u m b e r   o f   q u e r y   c o n c e p t s       Q ue ry     C on c e pt   ( c q ) L o c a l   O n t o l o g y T o pi c   L e x i c on ( L T )   { l 1 , l 2 , l 3 , . . ,   l n l } S y no ni m y     F i g u r e   7 .   M a i n   q u e r y   c o n c e p t s   s u b s t i t u t i o n   i n t o   g e n e r a l   o n t o l o g y   t o   g e n e r a t e   l o c a l   o n t o l o g y   a n d   a s s o c i a t e d   l e x i c o n   l i s t   o f   t o p i c     T o p i c   L e x i c o n s   ( L T )   :   { l 1 , l 2 , l 3 , .   . ,   l n l } D o c u m e n t   ( D )   :   { d 1 , d 2 , d 3 , .   .   d n k 1 } { d 1 , d 2 , d 3 , .   .   ,   d n k 2 } { d 1 , d 2 , d 3 , .   .   d n k 3 } { d 1 , d 2 , d 3 , .   .   d n k 4 } Q u a d r a n t   I Q u a d r a n t I I Q u a d r a n t I I I Q u a d r a n t I V   F i g u r e   8 .   F o u r   q u a d r a n t s   o f   f o c u s e d   c r a w l i n g   s e a r c h   s p a c e s .     B a s e d   o n   t h e   W W W   c h a r a c t e r i s t i c s ,   b e s i d e   t h e   t w o   v a r i a b l e s   a b o v e   ( r e l a t e d   c o n c e p t s   a n d   l e x i c o n   s y n o n y m s ) ,   c o m p l e t e n e s s   o f   e x p l o r a t i o n   s p a c e s   a l s o   i n f l u e n c e   t h e   f o c u s e d   c r a w l i n g   r e c a l l   ( F i g u r e   8 ) .   N o w a d a y s ,   f o c u s e d   c r a w l e r   c o n v e n t i o n a l   j u s t   e x p l o r e s   a t   q u a d r a n t   I   a n d   I I   b e c a u s e   t h e   s e a r c h   i s   d o n e   j u s t   i n   f o r w a r d   d i r e c t i o n .   Q u a d r a n t   I I I   a n d   I V   h a v e   n o t   b e e n   e x p l o r e d   b y   c o n v e n t i o n a l   f o c u s e d   c r a w l e r   a n d   t h i s   s t u d y   p r o p o s e s   a   m e t h o d   t o   e x p l o r e   t h e   q u a d r a n t s   c o m p r e h e n s i v e l y .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       C T - F C :   m o r e   C o m p r e h e n s i v e   T r a v e r s a l   F o c u s e d   C r a w l e r   ( S i t i   M a i m u n a h )   1 9 5   5 . 3 .   D e t e r m i n a n t s   o f   P r e c i s i o n   a n d   R e c a l l   T h e   d e s c r i p t i o n   o f   c h a p t e r   5 . 1   a n d   5 . 2   c a n   b e   c o n c l u d e d   t h a t   t h e r e   i s   o n e   m a j o r   v a r i a b l e   t h a t   i n f l u e n c e s   f o c u s e d   c r a w l i n g   p r e c i s i o n   ( n u m b e r   o f   q u e r y   c o n c e p t s )   a n d   t h r e e   m a i n   v a r i a b l e s   t h a t   i n f l u e n c e   f o c u s e d   c r a w l i n g   r e c a l l   ( T a b l e   1 ) .   F o c u s e d   c r a w l e r   h a s   h i g h   p r e c i s i o n   w h e n   t h e   q u e r y   o n l y   r e l a t e s   t o   o n e   m a i n   c o n c e p t   ( Q : C   =   1 : 1 ) .   M o r e   c o n c e p t s   o f   t h e   q u e r y   m a k e s   p r e c i s i o n   d e c r e a s e s   e x p o n e n t i a l l y   Q : C   =   1 : | c | .       T a b l e   1 .   E f f e c t   o f   Q   ( q u e r y ) ,   C   ( c o n c e p t ) ,   L   ( l e x i c o n )   a n d   K   ( q u a d r a n t   s e a r c h )   o n   p r e c i s i o n   a n d   r e c a l l   o f   f o c u s e d   c r a w l i n g   s y s t e m   R e c a l l   \   P r e c i s i o n   L o w   H i g h   H i g h       L o w           F o c u s e d   c r a w l i n g   r e c a l l   d e p e n d s   o n   v a r i a b l e s   o f :   ( 1 )   C o m p l e t e n e s s   o f   c o n c e p t s   k n o w l e d g e   r e l a t e d   t o   t h e   t o p i c   ( l o c a l   o n t o l o g y   -   O L ) .   M o r e   c o n c e p t s   o f   t h e   l o c a l   o n t o l o g y   ( O L : C   =   1 : | c | )   w i l l   i n c r e a s e   f o c u s e d   c r a w l i n g   r e c a l l ;   ( 2 )   C o m p l e t e n e s s   o f   d e r i v a t i v e   c o n c e p t s   l e x i c o n   s y n o n y m s   c o n t a i n e d   i n   t h e   l o c a l   o n t o l o g y ,   b e c a u s e   o f   t h e r e   a r e   m a n y   l e x i c o n s   w h i c h   h a v e   s i m i l a r   m e a n i n g   ( s y n o n y m o u s ) .   T h e   m o r e   s y n o n y m s   r e c o g n i z e d   t h e   b e t t e r   i n c r e a s e   f o c u s e d   c r a w l i n g   r e c a l l ;   a n d   ( 3 )   C o m p l e t e n e s s   o f   e x p l o r a t i o n   s p a c e s   t o   o b t a i n   r e l e v a n t   d o c u m e n t s   ( P D ( K ) ) .   A s   s e e m   v a r i a b l e   ( 1 )   a n d   ( 2 ) ,   t h e   m o r e   c o m p l e t e   s e a r c h   s p a c e s   c a n   b e   e x p l o r e d ,   t h e   h i g h e r   f o c u s e d   c r a w l i n g   r e c a l l   w i l l   b e .     5 . 4 .   F o c u s e d   C r a w l i n g   E x p l o r a t i o n   T h e r e   a r e   f o u r   t y p e s   o f   n e i g h b o r i n g   d o c u m e n t s   i n   W e b   c r a w l i n g   s e a r c h   s p a c e ,   i . e . :   p a r e n t   d o c u m e n t ,   c h i l d   d o c u m e n t ,   s i b l i n g   d o c u m e n t ,   a n d   s p o u s e   d o c u m e n t s   s h o w n   i n   F i g u r e   9   [ 1 4 ] .     C p B p D p P A p S i b l i n g S p o u s e C h i l d T a r g e t   d o c u me n t P a r e n t A p P a r e n t d o c u m e n t { q | q ® p d a n q ¹ p } B p C h i l d d o c u m e n t { q | p ® q d a n q ¹ p } C p S i b l i n g d o c u m e n t { q | $ r s . h . r ® p , r ® q d a n q ¹ p } D p S p o u s e d o c u m e n t { q | $ r s . h . p ® r , q ® r d a n q ¹ p }   F i g u r e   9 .   F o u r   k i n d s   o f   d o c u m e n t   n e i g h b o r s     F o r m u l a   ( 1 )   a n d   ( 2 )   a r e   t h e   a l g o r i t h m   b a s e   t o   o b t a i n   c h i l d   a n d   p a r e n t   d o c u m e n t s .     S U C C ( p )   =   { q   |   O j ( p )   =   q }     ( 1 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 0 ,   N o .   1 ,     M a r c h   2 0 1 2   :     1 8 9     1 9 8   1 9 6   S U C C - 1 ( p )   =   { q   |   O j ( q )   =   p }     ( 2 )     G e n e r a l l y ,   f o c u s e d   c r a w l e r   c a n   o n l y   e x p l o r e   r e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I   a n d   I I .   T h i s   i s   b e c a u s e   f o c u s e d   c r a w l e r   o n l y   u s e   d o w n l o a d e d   d o c u m e n t s   o u t - l i n k s   a s   t r a v e r s a l   g u i d a n c e .   F o c u s e d   c r a w l e r   c a n   e x p l o r e s   r e l e v a n t   d o c u m e n t s   l o c a t e d   i n   q u a d r a n t   I   b e c a u s e   t h e r e   e x i s t   o u t - l i n k s   f r o m   o n e   r e l e v a n t   d o c u m e n t   t o   o t h e r s   i n   t h e   s t r o n g   c o n n e c t e d   c h a r a c t e r i s t i c .   F o r m u l a   ( 3 )   i s   a n   a l g o r i t h m   t o   e x p l o r e   r e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I .     R e a c h a b l e ( F C I )   =   { U ( q )   |   w h i l e   S c o r e ( q ) = 1   d o   p =   q ,   S U C C * ( p ) }   ( 3 )     S e v e r a l   s t u d i e s   h a v e   p r o v e n   t h e   e x i s t e n c e   o f   r e l e v a n t   d o c u m e n t s   t h a t   a r e   c o n n e c t e d   t h r o u g h   o n e   o r   m o r e   ( m a x i m u m   o f   t w e l v e )   i r r e l e v a n t   d o c u m e n t .   T h e r e f o r e ,   s e v e r a l   f o c u s e d   c r a w l i n g   m e t h o d s   a r e   n o t   c u t   o f f   d i r e c t l y   t h e   r o u t e s   t h r o u g h   i r r e l e v a n t   d o c u m e n t s   b u t   r e d u c i n g   t h e   w e i g h t   o f   e n c o u n t e r e d   o u t - l i n k s .   T h e   f a r t h e r   o u t - l i n k   f r o m   r e l e v a n t   d o c u m e n t s ,   t h e   l e s s   r e l e v a n c e   w e i g h t   w i l l   b e .   A l g o r i t h m   t o   e x p l o r e   r e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I I   i s   i n   f o r m u l a   ( 4 )     R e a c h a b l e ( F C II )   =   { U ( q )   |   w h i l e   0 < S c o r e ( q ) < 1   a n d   d ( q ) < 1 2   d o   p =   q ,   S U C C * ( p ) }   ( 4 )     I n   o r d e r   t o   i n c r e a s e   f o c u s e d   c r a w l i n g   r e c a l l ,   t o   e x p l o r e   r e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I I I   a n d   I V   m a y   n o t   b e   d o n e   j u s t   b y   u t i l i z i n g   t h e   d o w n l o a d e d   d o c u m e n t s   o u t - l i n k s ,   b u t   h a s   t o   u t i l i z e   b a c k l i n k s   o f   p o t e n t i a l   d o w n l o a d e d   d o c u m e n t s ,   t o o .   R e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I I I   a r e   a n a l o g u e   t o   s p o u s e   d o c u m e n t   i n   F i g u r e   9 .   W h e n   t h e   d o w n l o a d e d   r e l e v a n t   d o c u m e n t s   p o i n t   t o   t h e   s a m e   c h i l d ,   t h e n   t h e   c h i l d   d o c u m e n t s   c a n   b e   r e g a r d e d   a s   a n   a u t h o r i t y .   I f   t h e   c h i l d   d o c u m e n t   i s   a n   a u t h o r i t y ,   t h e n   a l l   s p o u s e   d o c u m e n t s   p r e d i c t e d   a s   c a n d i d a t e s   o f   r e l e v a n t   d o c u m e n t s   a n d   m u s t   b e   d o w n l o a d e d .   T o   c l a r i f y   t h i s ,   s e e   t h e   a l g o r i t h m   b e l o w   t o   f i n d   s p o u s e   d o c u m e n t s ,     i f   x = S U C C ( p )   a n d   x = S U C C ( q )     t h e n     x ¬ A U T H O R I T Y   S P O U S E ( p ) =   S U C C - 1 ( x )     F o r m u l a   ( 5 )   i s   a n   a l g o r i t h m   t o   e x p l o r e   r e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I I I .     R e a c h a b l e ( F C III )   =     { U ( q )   |   r = S U C C ( p )   a n d   s = S U C C ( p ) ;       i f   S c o r e ( r ) = 1   o r   S c o r e ( s ) = 1   t h e n   ( S U C C - 1 ) * ( p ) }   ( 5 )     S i m i l a r   t o   q u a d r a n t   I I I ,   r e l e v a n t   d o c u m e n t s   o f   q u a d r a n t   I V   a n a l o g u e   t o   s i b l i n g   d o c u m e n t s   i n   F i g u r e   9 .   W h e n   t h e   d o w n l o a d e d   r e l e v a n t   d o c u m e n t s   a r e   p o i n t e d   b y   t h e   s a m e   p a r e n t ,   t h e n   t h e   p a r e n t   d o c u m e n t s   c a n   b e   r e g a r d e d   a s   a   h u b .   I f   t h e   p a r e n t   d o c u m e n t   i s   a   h u b ,   t h e n   a l l   s i b l i n g   d o c u m e n t s   p r e d i c t e d   a s   c a n d i d a t e s   o f   r e l e v a n t   d o c u m e n t s   a n d   m u s t   b e   d o w n l o a d e d .   T h e   a l g o r i t h m   b e l o w   i s   t o   f i n d   s i b l i n g   d o c u m e n t s ,     i f   y = S U C C - 1 ( p )   a n d   y = S U C C - 1 ( q )     t h e n     y ¬ H U B   S I B L I N G ( p ) =   S U C C ( y )     F o r m u l a   ( 6 )   i s   a n   a l g o r i t h m   t o   e x p l o r e   r e l e v a n t   d o c u m e n t s   i n   q u a d r a n t   I V .     R e a c h a b l e ( F C IV )   =   { U ( q )   |   p = S U C C - 1 ( r )   a n d   p = S U C C - 1 ( s ) ;       i f   S c o r e ( r ) = 1   a n d   S c o r e ( s ) = 1   t h e n   S U C C * ( p ) }   ( 6 )     T o t a l   o f   r e a c h a b l e   r e l e v a n t   d o c u m e n t s   a r e ,     R e a c h a b l e ( F C )   =     R e a c h a b l e ( F C I )   +     R e a c h a b l e ( F C II )   +     R e a c h a b l e ( F C III )   +     R e a c h a b l e ( F C IV )   ( 7 )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       C T - F C :   m o r e   C o m p r e h e n s i v e   T r a v e r s a l   F o c u s e d   C r a w l e r   ( S i t i   M a i m u n a h )   1 9 7   F o r m u l a   ( 7 )   i s   a n   a l g o r i t h m   t o   r e a c h   r e l e v a n t   d o c u m e n t s   w h i c h   a r e   c o n n e c t e d   t o   e a c h   o t h e r   e i t h e r   d i r e c t l y   o r   i n d i r e c t l y   a n d   c o n n e c t e d   t h r o u g h   o u t - l i n k s   o r   b a c k l i n k s .   W h e r e a s   t o   r e a c h   d i s c o n n e c t e d   r e l e v a n t   d o c u m e n t s ,   f o c u s e d   c r a w l e r   u t i l i z e s   t h e   o n t o l o g y   t o   m a x i m i z e   t h e   r e s u l t .       6 .     R e s u l t   E x p e r i m e n t s   h a v e   b e e n   c a r r i e d   o u t   c r a w l i n g   p r o c e s s   w i t h   C T - F C   s t r a t e g y   o n   s e v e r a l   t o p i c s ,   i n c l u d i n g   t h e   t o p i c   o f   " a l g o r i t h m " .   T h e r e   a r e   1 7 1 4   d o c u m e n t s   w h i c h   a r e   r e l e v a n t   t o   t h e   t o p i c   " a l g o r i t h m "   i n   D M O Z .   M a n y   r e l e v a n t   U R L s   w e r e   t a k e n   a t   r a n d o m   a s   m u c h   a s   1   t o   8 0   U R L s   u s e d   a s   s e e d   U R L s   a n d   t h e   r e s t   a r e   c o n s i d e r e d   a s   t a r g e t   d o c u m e n t s .       0 0 , 2 0 , 4 0 , 6 0 , 8 1 0 2 0 4 0 6 0 8 0 R e c a l l #   S e e d   U r l s C F C C T - F C     F i g u r e   1 0 .   A v e r a g e   r e c a l l   c o m p a r i s o n   o f   m o r e   C o m p r e h e n s i v e   T r a v e r s a l   F o c u s e d   C r a w l e r   ( C T - F C )   a n d   C o n v e n t i o n a l   F o c u s e d   C r a w l e r   ( C F C )     C o n v e n t i o n a l   s t r a t e g y   o f   f o c u s e d   c r a w l i n g   w i t h o u t   u s i n g   i n - l i n k   i n f o r m a t i o n   i s   d o n e   f o r   c o m p a r i s o n .   F i g u r e   1 0   s h o w s   t h e   c o m p a r i s o n   o f   r e c a l l   r a n g e   a v e r a g e   o f   C T - F C   a n d   c o n v e n t i o n a l   f o c u s e d   c r a w l e r .   T h e   s a m e   v a r i a t i o n   o f   s e e d   U R L s   a s   w e l l   a s   C T - F C   i s   g i v e n   t o   t h e   c o n v e n t i o n a l   f o c u s e d   c r a w l i n g .   C T - F C   g i v e s   a   s i g n i f i c a n t   i n c r e a s i n g   f r o m   c o n v e n t i o n a l   f o c u s e d   c r a w l e r   r e c a l l .   W i t h   a   s m a l l   s e e d   U R L s ,   c o n v e n t i o n a l   f o c u s e d   c r a w l i n g   p r o d u c e s   r e c a l l   s o   f a r   j u s t   a b o u t   0 . 5   b u t   w i t h   C T - F C ,   i t   q u i c k l y   g e n e r a t e s   r e c a l l   a b o v e   0 . 7   a n d   c o n t i n u e s   i n c r e a s i n g   r a p i d l y   w h e n   t h e   n u m b e r   o f   s e e d   U R L s   a d d e d .       7 .     C o n c l u s i o n   W i t h   t h e   f o r w a r d   a n d   b a c k w a r d   c r a w l i n g   a p p r o a c h ,   f o c u s e d   c r a w l e r   c a n   i n c r e a s e   t h e   e x p l o r a t i o n   c a p a b i l i t y   a n d   r e c a l l   p e r f o r m a n c e .   W i t h   t h i s   a b i l i t y ,   t h e   c o n s t r a i n t s   f a c e d   b y   c o n v e n t i o n a l   f o c u s e d   c r a w l e r   a s s o c i a t e d   w i t h   t h e   W e b   s t r u c t u r e   c h a r a c t e r i s t i c s   c a n   b e   r e s o l v e d .   T h i s   c a n   b e   p r o v e d   b y   t h e   h i g h   v a l u e   o f   c r a w l i n g   r e c a l l   a l t h o u g h   j u s t   a   s m a l l   n u m b e r   o f   s e e d   U R L s   i s   g i v e n .   T h i s   s t u d y   p r o v e s   t h e   r e l e v a n c e   s u p p o r t   f r o m   a   r e l e v a n t   d o c u m e n t   f o r   s i b l i n g   d o c u m e n t s   t h r o u g h   c o - c i t a t i o n ,   a n d   t o   s p o u s e   d o c u m e n t s   t h r o u g h   c o - r e f e r e n c e .   B a s e d   o n   t h e   r e s u l t   o f   t h e   e x p e r i m e n t ,   f o r w a r d   a n d   b a c k w a r d   c r a w l i n g   a p p r o a c h   m a k e   f o c u s e d   c r a w l e r   b e c o m e s   m o r e   s t a b l e ,   ( n o t   s e n s i t i v e   t o   t h e   a m o u n t   a n d   q u a l i t y   o f   s e e d   U R L s ) .   B i b l i o m e t r i c   c o n c e p t s   a l s o   s u p p o r t s   C T - F C   t o   h a v e   g o o d   p e r f o r m a n c e ,   e s p e c i a l l y   i n   p r e c i s i o n ,   r e c a l l   a n d   s t a b i l i t y .       R e f e r e n c e s   [ 1 ]     C h e n   Y .   N o v e l   H y b r i d   f o c u s e d   c r a w l i n g   a l g o r i t h m   t o   b u i l d   d o m a i n - s p e c i f i c   c o l l e c t i o n s .   P h D   t h e s i s .   Vi r g i n i a   -   U n i t e d   St a t e s .   V i r g i n i a   Po l y t e c h n i c   I n s t i t u t e   a n d   St a t e   U n i v e r s i t y ;   2 0 0 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   1 0 ,   N o .   1 ,     M a r c h   2 0 1 2   :     1 8 9     1 9 8   1 9 8 [ 2 ]     M a i m u n a h   S,   e t   a l .   C o m m u n i t y   As s o c i a t i o n s   As     Kn o w l e d g e   Ba s e   T o   I m p r o v e   F o c u s e d   c r a w l i n g   R e c a l l .   5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   C o m m u n i c a t i o n   T e c h n o l o g y   a n d   Sy s t e m s ( I C T S) .   Su r a b a y a .   2 0 0 9 :   2 2 5 2 3 0 .   [ 3 ]     Al i   H .   Se l f   R a n k i n g   a n d   Ev a l u a t i o n   Ap p r o a c h   f o r   F o c u s e d   C r a w l e r   Ba s e d   o n   M u l t i - Ag e n t   S y s t e m .   T h e   I n t e r n a t i o n a l   Ar a b   J o u r n a l   o f   I n f o r m a t i o n   T e c h n o l o g y .   2 0 0 8 ;   5 ( 2 ) :   1 8 3 1 9 1 .   [ 4 ]     Q i n   J ,   Z h o u   Y ,   C h a u   M .   Bu i l d i n g   D o m a i n - S p e c i f i c   W e b   C o l l e c t i o n s   F o r   S c i e n t i f i c   D i g i t a l   L i b r a r i e s :   A   M e t a - Se a r c h   En h a n c e d   F o c u s e d   C r a w l i n g   M e t h o d .   4 t h   AC M / I EEE - C J o i n t   C o n f e r e n c e   o n   D i g i t a l   L i b r a r i e s .   T u c s o n   AZ   U SA .   2 0 0 4 :   1 3 5 1 4 1 .   [ 5 ]     H e i n o n e n   O ,   H a t o n e n   K,   Kl e m e t t i n e n   M .   W W W   R o b o t s   a n d   Se a r c h   En g i n e s .   Se m i n a r   o n   M o b i l e   C o d e .   R e p o r t   T KO - C 7 9 .   H e l s i n k i   U n i v e r s i t y   o f   T e c h n o l o g y .   D e p a r t m e n t   o f   C o m p u t e r   Sc i e n c e .   1 9 9 6 .   [ 6 ]     Sa l t o n   G ,   M c G i l l   M .   An   I n t r o d u c t i o n   t o   M o d e r n   I n f o r m a t i o n   R e t r i e v a l .   M c G r a w - H i l l .   N e w   Y o r k .   1 9 8 3 .   [ 7 ]     R i j s b e r g e n   C J .   I n f o r m a t i o n   R e t r i e v a l .   B u t t e r w o r t h .   1 9 7 9 .   [ 8 ]     Pi n k e r t o n   B.   F i n d i n g   W h a t   P e o p l e   W a n t :   Ex p e r i e n c e s   w i t h   t h e   W e b C r a w l e r .   Pr o c e e d i n g s   o f   t h e   Se c o n d   I n t e r n a t i o n a l   W o r l d   W i d e   W e b   C o n f e r e n c e .   1 9 9 4 .   [ 9 ]     Be r g m a r k   D ,   L a g o z e   C ,   Sb i t y a k o v   A.   F o c u s e d   C r a w l s ,   T u n n e l i n g   a n d   D i g i t a l   L i b r a r i e s .   Pr o c .   o f   t h e   6 t h   Eu r o p e a n   C o n f e r e n c e   o n   D i g i t a l   L i b r a r i e s .   R o m e   I t a l y .   2 0 0 2 .   [ 1 0 ]     Ku m a r   R ,   e t   a l .   T r a w l l i n g   t h e   W e b   f o r   Em e r g i n g   C y b e r - C o m m u n i t i e s .   Pr o c .   o f   8 t h   I n t e r n a t i o n a l   W o r l d   W i d e   W e b   C o n f e r e n c e .   T o r o n t o   C a n a d a .   1 9 9 9 .   [ 1 1 ]     Ku m a r   R ,   e t   a l .   E x t r a c t i n g   L a r g e - S c a l e   K n o w l e d g e   Ba s e s   f r o m   t h e   W e b .   Pr o c .   o f   t h e   2 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   V e r y   L a r g e   D a t a   Ba s e s   C o n f e r e n c e .   E d i n b u r g h   Sc o t l a n d   U K .   1 9 9 9 a .   [ 1 2 ]     T o y o d a   M ,   Ki t s u r e g a w a   M .   C r e a t i n g   a   W e b   C o m m u n i t y   C h a r t   f o r   N a v i g a t i n g   R e l a t e d   C o m m u n i t i e s .   Pr o c e e d i n g s   o f   AC M   C o n f e r e n c e   o n   H y p e r t e x t   a n d   H y p e r m e d i a .   År h u s   D e n m a r k .   2 0 0 1 :   1 0 3 1 1 2 .   [ 1 3 ]     D e a n   J ,   H e n z i n g e r   M R .   F i n d i n g   R e l a t e d   Pa g e s   i n   t h e   W o r l d   W i d e   W e b .   Pr o c e e d i n g s   o f   t h e   8 t h   I n t e r n a t i o n a l   W W W   C o n f e r e n c e .   T o r o n t o ,   C a n a d a .   1 9 9 9 :   1 4 6 7 1 4 7 9 .   [ 1 4 ]     Q i   X ,   D a v i s o n   BD .   Kn o w i n g   a   w e b   p a g e   b y   t h e   c o m p a n y   i t   k e e p s .   C I KM .   2 0 0 6 :   2 2 8 2 3 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.