I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   23 ,   No .   2 A u g u s t   2 0 2 1 ,   p p .   1 0 4 9 ~ 1 0 5 8   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 23 .i 2 . pp 1 0 4 9 - 1 0 5 8          1049       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Dete rmi ning  subj ect  hea ding s o f  do cuments  using  inf o rma tion  retr iev a l mo dels       E v i Y uli a nti ,   L a k s m it a   Ra ha dia nti   F a c u lt y   o C o m p u ter  S c ien c e ,   Un iv e rsitas   In d o n e sia ,   I n d o n e sia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   3 0 ,   2 0 2 1   R ev is ed   J u l 4 ,   2 0 2 1   Acc ep ted   J u l 7 ,   2 0 2 1       S u b jec h e a d i n g   is  a   c o n tr o ll e d   v o c a b u lar y   th a d e sc rib e th e   to p ic  o a   d o c u m e n t,   wh ich   is   imp o rtan t   to   fin d   a n d   o r g a n ize   l ib ra ry   re so u rc e s.   As sig n in g   a p p r o p riate   su b jec h e a d in g t o   a   d o c u m e n t,   h o we v e r,   is  a   ti m e - c o n su m in g   p ro c e ss .   We  t h e re fo re   c o n d u c a   n o v e st u d y   o n   th e   e ff e c ti v e n e ss   o i n fo rm a ti o n   re tri e v a l   m o d e ls,  i . e . ,   lan g u a g e   m o d e (L M a n d   v e c to sp a c e   m o d e (VSM ) ,   to   a u t o m a ti c a ll y   g e n e ra te  a   ra n k e d   li st  o re lev a n su b jec h e a d in g s,  with   t h e   a im  to   g iv e   a   re c o m m e n d a ti o n   fo li b ra rian to   d e term i n e   th e   su b jec h e a d i n g e ffe c ti v e ly   a n d   e fficie n tl y .   Ou re su lt sh o w   th a th e re   a re   a   h ig h   n u m b e o o u r   q u e ri e (u p   to   6 1 % th a h a v e   re lev a n su b jec h e a d in g in   th e   te n   t o p - ra n k e d   r e c o m m e n d a ti o n s;  a n d   o n   a v e ra g e ,   th e   first   re lev a n su b jec h e a d i n g   is  f o u n d   a th e   e a rly   p o sit io n   (3 rd   r a n k ).   Th is  in d ica tes   th a d o c u m e n re tri e v a m e th o d c a n   h e lp   th e   su b jec h e a d in g   a ss ig n m e n p r o c e ss .   LM   a n d   VSM   a re   sh o wn   to   h a v e   c o m p a ra b le  p e rfo rm a n c e ,   e x c e p wh e n   t h e   se a rc h   u n it   is  ti tl e ,   VSM   is  su p e rio r   to   LM   b y   8 - 2 2 % .   O u fu r th e a n a l y sis  e x h i b it th re e   fa c u lt y   p a irs  t h a a re   p o ten ti a t o   h a v e   re se a rc h   c o ll a b o ra ti o n   a th e ir  st u d e n ts’   th e sis   o ften   h a v e   o v e rlap   su b jec h e a d i n g s:  i)  e c o n o m y   a n d   b u sin e ss - so c ial  a n d   p o li ti c a sc ien c e s,  ii n u rsin g - p u b li c   h e a lt h ,   a n d   ii i)   m e d icin e - p u b l ic h e a lt h .   K ey w o r d s :   Do cu m en t r etr ie v al   I n f o r m atio n   r etr ie v al   L an g u ag e   m o d el   Su b ject  h ea d in g   Vec to r   s p ac m o d el   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC BY - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E v i Y u lian ti   Facu lty   o f   C o m p u ter   Scien ce   Un iv er s itas   I n d o n esia   Kam p u s   UI   Dep o k ,   J awa   B ar at,   I n d o n esia   E m ail: e v i.y @ cs.u i.a c. id       1.   I NT RO D UCT I O N   Un iv er s itas   I n d o n esia  ( UI )   L i b r ar y   ar ch i v es  s o m e   d o c u m en co llectio n s ,   s u ch   as:  th esis ,   a n d   b o o k I is   cr u cial  to   o r g an ize   th ese  co l lectio n s   in   o r d er   to   h elp   u s er s   ea s ily   f in d   th r eso u r ce s   t h at  t h ey   n ee d .   On e   way   to   o r g an ize  lib r ar y   co llectio n   is   ca lled   ca talo g u in g ,   co n d u ct ed   b y   cr ea tin g   b ib lio g r ap h ic  r ec o r d s   to   r ep r esen t   d o cu m e n ts   [ 1 ] .   p ar o f   c atalo g u in g   p r o ce s s   th at  is   u s u ally   p er f o r m ed   b y   lib r ar ian s   is   s u b ject  an aly s is   ( o r   s u b ject  ca talo g u in g ) ,   wh ich   r e q u ir th em   t o   f in d   th s u b ject  h ea d in g s   o f   p ar ticu la r   lib r ar y   r eso u r ce   [ 1 ] - [ 4 ]   Su b ject  h ea d in g   is   c o n tr o lled   to p ical  v o ca b u lar y   th at  is   a s s ig n ed   to   b i b lio g r a p h ic  r ec o r d s   to   f in d   an d   o r g a n ize  lib r ar y   m ater ial s   b ased   o n   to p ics   [ 5 ] - [ 7 ] .   I is   i m p o r tan esp ec ially   wh en   s ea r ch er s   h av lim ited   in f o r m atio n   ab o u th titl o r   au th o r s   o f   d o c u m en ts ,   s o   th at  th ey   ca n   s till   f in d   d o cu m en ts   b y   th eir   to p ics.  f ew  s tu d ies  h av in v esti g ated   th b en ef it  o f   s u b ject  h ea d in g s   f o r   lib r ar y   u s er s   [ 8 ] ,   [ 9 ] .   L ee - Sm eltze r   an d   Hac k lem an   [ 8 ]   f o u n d   th at  li b r ar y   u s er s   p r ef er r e d   k ey wo r d   s ea r ch in g   in   s u b ject  f ield s   o v er   o t h er   ca talo g   s ea r ch in g   m et h o d s .   later ,   s ap o n - wh ite  an d   h an s b r o u g h   [ 9 ]   s h o wed   th at   th d is s er tatio n s   with   s u b ject  h ea d in g s   ar f o u n d   to   b m o r lik ely   t o   cir cu late  th an   t h o s with o u s u b ject  h ea d in g s .   So m r esear ch er s   h av also   s tu d ied   s u b ject  h ea d in g   f o r   v ar io u s   p u r p o s es,  s u ch   as:  an al y s in g   s u b jec ts   lis ted   in   d if f er en s u b ject  h ea d in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 4 9   -   1 0 5 8   1050   lis [ 1 0 ] - [ 1 2 ] ,   g en er atin g   m a p   o f   s cien ce   [ 1 3 ] ,   [ 1 4 ] ,   d ev elo p in g   s im p lifie d   s u b ject  h ea d i n g   lis [ 1 5 ] ,   [ 1 6 ] ,   an d   ass ig n in g   s u b ject  h ea d in g   au to m atica lly   [ 1 7 ] - [ 1 9 ]   Dete r m in in g   a n   ac cu r ate   s u b ject  h ea d in g   f o r   d o cu m e n t   is   co m p le x   p r o ce s s .   I is   b ec au s lib r ar ian   n ee d s   to   d eter m i n t h to p ic/s u b ject  o f   th d o cu m en b y   c o n d u ctin g   a   th o r o u g h   s u b ject  an al y s is ;   th en   f in d   co n tr o lled   v o ca b u la r ies  f r o m   t h s u b ject  h ea d in g   lis to   ass ig n   ap p r o p r iate  s u b ject  h ea d in g s   [ 1 ] T h er ef o r e,   n o all  lib r ar ian s   ar ca p ab le  to   d o   th is   task   ac cu r ately   [ 2 0 ] .   I n   ad d itio n ,   d if f e r e n p er s o n s   m ay   u s d if f er en in ter p r etatio n s   o f   t h s u b ject  as  th ey   u s d if f er en v o ca b u lar ies  to   r ep r ese n it.  T h is   is s u i s   co n f ir m e d   in   th e   r esu lts   o f   p r ev io u s   s tu d y   th at  s h o wn   t h at  h u m an s   o f ten   ass ig n in g   class es  o r   k ey wo r d s     to   b ib lio g r ap h ic   r ec o r d s   in   a n   in co n s is ten m an n er ,   b o t h   co m p ar ed   to   t h em s elv es  an d   co m p a r ed   to   o th e r   h u m an s   [ 2 1 ] .     B ased   o n   th af o r em en tio n ed   p r o b lem ,   t h is   r esea r ch   aim s   to   h elp   lib r ar ian s   to   co n d u ct  t h s u b ject  h ea d in g   ass ig n m en p r o ce s s   b y   p r o v id i n g   r ec o m m e n d atio n   lis o f   s u b ject  h ea d in g s   f o r   a   g iv en   d o cu m e n t T h lib r ar ia n s   th en   ca n   lo o k   a th r ec o m m en d atio n   lis an d   d ec id e   wh ich   s u b ject  h ea d in g s   ar r elev a n t   to   b e   ass ig n ed   to   a   d o cu m en t .   I t   is   ex p ec ted   th at  lib r ar ian s   ca n   f in d   r elev an s u b ject  h ea d in g s   f r o m   th e   r ec o m m en d atio n   lis t,  o r   at  th v er y   least  th ey   ca n   o b tain   s o m in s ig h ab o u th to p ics  o f   s im ilar   d o cu m en ts   in   th c o llectio n .   Fin ally ,   th g o al  o f   th is   s tu d y   is   to   en a b l th s u b ject  h ea d in g   ass ig n m en p r o ce s s   to   r u n   m o r ef f ec tiv e ly   an d   ef f icien t ly   b y   lib r ar ian s .     Ou r   wo r k   is   d if f er en to   tex ca teg o r izatio n   [ 2 2 ] ,   [ 2 3 ]   s in c we  d o   n o ca teg o r ize  d o cu m en ts   in to   ce r tain   to p ics.  So m p r e v io u s   wo r k   th at  ar m o s tly   r elate d   to   o u r   w o r k   ar e   s u m m ar ized   in   T ab le  1 .   T h ey   in v esti g ated   th way s   to   ass ig n   s u b ject  h ea d in g s   au t o m ati ca lly   [ 1 7 ] - [ 1 9 ] Ou r   wo r k   is   d if f er en t o   th em   i n   wh ich   we  f o r m u late  o u r   tas k   as  s u b ject  h ea d in g   r ec o m m en d atio n /r et r iev al   in s tead   o f   s u b ject  h ea d i n g   ass ig n m en o r   class if icatio n .   T h er ef o r e,   we  d o   n o ass ig n   a   s u b ject  h ea d in g   to   d o cu m e n t,  b u we   r an k   th e   s u b ject  h ea d in g s   o f   s im ilar   d o cu m en ts   in   th co lle ctio n   i n   o r d er   to   g e n er ate   s u b ject  h ea d in g s   r ec o m m en d atio n   lis t.  I n   ty p ical  d o cu m en r etr iev al  s y s tem ,   th s ea r ch   r esu lts   ar th r an k ed   lis o f   d o cu m en ts ,   h o wev er   in   th is   wo r k ,   th r esu lts   ar th e   r an k ed   lis o f   s u b ject  h ea d i n g s   f r o m   s im ilar   d o cu m en ts .   T h ev alu atio n   is   th er ef o r p er f o r m ed   o n   th u n it  o f   s u b ject  h ea d in g s   in s tead   o f   d o cu m en t s ,   wh ich   f u r th e r   d if f er e n tiates  th is   wo r k   with   s tan d ar d   d o cu m e n t r etr iev al  task .         T ab le  1 C o m p a r is o n   with   s o m m o s tly   r elate d   wo r k     Ta sk   M e t h o d   Ty p e   K a v u l u r u   a n d   H e   [ 1 7 ]   S u b j e c t   h e a d i n g   a ss i g n me n t   U si n g   n a me d   e n t i t y   r e c o g n i t i o n ,   r e l a t i o n s h i p   e x t r a c t i o n ,   a n d   o u t p u t   l a b e l   c o - o c c u r r e n c e   f r e q u e n c i e s   o f   med i c a l   s u b j e c t   h e a d i n g   t e r m   p a i r s.   U n su p e r v i s e d   K a v u l u r u   a n d   Lu   [ 1 8 ]   S u b j e c t   h e a d i n g   a ss i g n me n t   & c l a ssi f i c a t i o n   U si n g   t e r c o - o c c u r r e n c e   f r e q u e n c i e s   a n d   l a t e n t   t e r m a ss o c i a t i o n   U n su p e r v i s e d   S u p e r v i se d   G o l u b   e t   a l .   [ 1 9 ]   S u b j e c t   h e a d i n g   c l a ss i f i c a t i o n   U si n g   m a c h i n e   l e a r n i n g   a l g o r i t h m   ( e . g . ,   S V M )   S u p e r v i se d   O u r   w o r k   S u b j e c t   h e a d i n g   r e c o m me n d a t i o n   /   r e t r i e v a l   U si n g   i n f o r mat i o n   r e t r i e v a l   me t h o d s,   i . e . ,   L M   a n d   V S M   U n su p e r v i s e d       Ou r   id ea   is   s u p p o r ted   b y   Go lu b   et  a l.   [ 1 9 ]   wh o   co n clu d e d   th at  au to m atic  s u b ject  h ea d in g   ass ig n m en t   s h o u ld   n ev er   b im p lem e n te d   o n   its   o wn in s tead ,   a   s y s t em   s h o u ld   co m b in th ef f ic ien cy   o f   au to m atic   s u g g esti o n s   with   q u ality   o f   h u m an   d ec is io n s   at  th e   f in al   s tag e.   T h ey   f o u n d   th at  a p p ly in g   p u r ely   au to m atic   s u b ject  h ea d in g   class if icatio n   d o es  n o w o r k ,   b ec au s e   th er ar a   lar g e   n u m b er   o f   s u b je ct  h ea d in g s   class es.   Fo r   th is   r ea s o n ,   th ey   lim it  to   u s e   o n ly   to p   th r ee   lev els  in   d ewe y   d ec im al  class if icatio n   ( DD C )   s u b ject  h ea d in g   lis ( by  u s in g   8 0 3   in s tead   o f   1 4 , 4 1 3   class es),   wh ich   th er ef o r d o es  n o r ef lect  th o p er atio n al  s y s tem .   B a s ed   o n   th is   r ea s o n ,   we  p r o p o s e   to   p r o d u ce   s y s tem   th at  ca n   r ec o m m en d   lis o f   r elev an s u b ject  h ea d in g s ,   an d   th en   let  th lib r ar ian s   to   d ec id wh ich   o f   th o s ar ap p r o p r i ate  to   b ass ig n ed   to   g iv en   d o cu m e n t.  Her e,   we  u s in f o r m atio n   r etr iev al  m et h o d s ,   i.e . ,   q u er y   lik elih o o d   la n g u ag m o d el  ( L M)   [ 2 4 ] ,   [ 2 5 ]   an d   v ec to r   s p ac e   m o d el  ( VSM)   [ 2 6 ] ,   [ 2 7 ] ,   to   g e n er ate  th r ec o m m en d atio n   lis t.    I n   s u m m a r y ,   o u r   c o n tr ib u ti o n s   ar as  f o llo ws:   i ) .   W c o n d u ct  n o v el   s tu d y   o n   th e   ef f ec tiv en ess   o f   in f o r m atio n   r etr iev al  m o d els,  i.e . ,   L an d   VSM,   to   au to m a tically   g en er ate  r an k ed   lis o f   r elev an s u b jec t   h ea d in g s ,   with   th g o al  to   g iv r ec o m m en d atio n   f o r   lib r ar ian s   in   d eter m in in g   th e   s u b ject  h ea d i n g s   ef f ec tiv ely   a n d   e f f icien tly .   T o   th b est  o f   o u r   k n o wled g e,   n o n o f   th e   p r ev io u s   p u b lis h ed   wo r k   h av r ep o r ted   ab o u th is   s tu d y .   ii ) .   W p er f o r m   an   em p ir ical  ev alu atio n   to   test   th ef f ec tiv en ess   o f   L M   an d   VSM  r etr iev al   m eth o d s   in   g en er atin g   s u b je ct  h ea d i n g s   r ec o m m e n d atio n   u s in g   o u r   co llectio n   o f   b a ch elo r   th esis   f r o m   Un iv er s itas   I n d o n esia  a n d   t h r ee   d if f er e n s ea r ch   u n its titl e,   ab n s tr ac t,  a n d   titl e+ ab s tr ac t.  iii ) .   W an aly ze   d if f er en f ac u lties   th at  o f ten   s h ar s im ilar   s u b ject  h ea d i n g s .   T h r esu lt  o f   t h is   an aly s is   ca n   s u g g est  th e   p o ten tial r esear ch   co lla b o r atio n   b etwe en   th ese  f ac u lties .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Dete r min in g   s u b ject  h ea d in g s   o f d o cu men ts   u s in g   in fo r ma tio n   r etri ev a l m o d els   ( E vi  Yu lia n ti )   1051   2.   P RO B L E M   ST A T E M E NT   T h task   th at  is   s tu d ied   in   th is   wo r k   is   s u b ject  h ea d in g   r ec o m m en d atio n /r et r iev al  p r o b lem ,   aim ed   to   h elp   lib r ar ian s   in   ass ig n in g   s u b ject  h ea d in g s   m o r ef f ec tiv ely   an d   ef f icien tly .   Ou r   g e n er al  f r am ewo r k   is   illu s tr ated   in   Fig u r 1 .   Giv e n   d o cu m en m etad ata   ( th at  wil b ass ig n ed   th e   s u b ject  h ea d i n g s )   as  q u er y ,   we  will  r etr iev r an k ed   lis o f   s u b ject  h ea d in g s   f r o m   th m o s s im ilar   d o cu m en m etad at in   th e   co llectio n   u s in g   L a n d   VSM  r etr iev al  m eth o d s   as  th e   o u t p u t.   I is   ex p ec ted   th at   th o u tp u t   ca n   d is p lay   r elev an t   s u b ject   h ea d in g s   in   th ea r l y   p o s itio n   o f   th r ec o m m en d atio n   lis t,  s o   th at  lib r ar ian s   ca n   f in d   th em   q u ick ly .   T h b asic  id ea   o f   u tili zin g   d o cu m en t   r etr iev al  m eth o d s   to   g en e r ate   s u b ject  h ea d in g   r ec o m m en d atio n   is   th at   “two   d o cu m e n ts   th at  ar e   ass ig n ed   s im ilar   s u b ject  h ea d in g s   u s u a lly   d escr ib a b o u t   th s am e   t o p ics  an d   th er ef o r e   th ey   m ay   h av h ig h   d o c u m e n s im ilar ity ”.   T h s im ilar ity   b etwe en   d o cu m en t s   is   ass e s s ed   u s in g   titl an d   ab s tr ac t te x t r ep r esen tatio n ,   s in ce   o u r   d ataset  d o es n o h av t h f u ll tex t o f   d o cu m en ts   ( s ee   Sectio n   4 . 1 ) .             Fig u r 1 .   Ou r   g en e r al  f r am ew o r k       I n itially   o u r   in d ex in g   d ata   is   in d ex ed   u s in g   f ield   in d ex i n g   [ 2 8 ] ,   [ 2 9 ] ,   s o   we   h av e   titl a n d   a b s tr ac f ield s   in   th in d e x .   T h is   en ab les  u s   to   s ea r ch   o n   titl an d   a b s tr ac p ar ts   in d iv id u ally .   Mo r s p ec if ically ,   th e   titl o f   q u e r ies  is   co m p ar e d   a g ain s th e   titl f ield   o f   th e   in d e x ,   an d   th e   ab s tr ac o f   q u er ies  is   co m p ar ed   ag ain s t   th ab s tr ac f ield   o f   th e   in d e x .   T h is   way ,   in   g e n er al  we  c alcu lated   s im ilar ity   o n   t h titl es  an d   ab s tr ac ts   o f   d o cu m e n ts .   T h L an d   VSM  r etr iev al  m eth o d s   will  r an k   k   d o cu m e n m etad a ta  in   th co llectio n   th at  ar m o s s im ilar   to   th q u er y   ac co r d in g   t o   th titl es  an d   ab s tr ac ts .   T h en ,   th e   s u b ject  h ea d in g s   o f   th k   to p - r an k e d   d o cu m e n ts   ar ex tr ac ted   as  th s u b ject  h ea d in g   r ec o m m e n d atio n   lis t.  No te  th at  m etad at m ay   h av s ev er al  s u b ject  h ea d in g s .   As  r esu lt,  th er co u ld   b m o r th a n   o n s u b ject  h ea d in g   at  ev er y   r an k   in   th to p   k   r ec o m m en d atio n   lis t.  T h n u m b er   o f   m etad ata  r etr ie v ed   in   th to p   r an k   ( k )   ca n   b s et  ac co r d in g   to   p eo p le   n ee d s .   I n   o u r   e x p er im e n ts ,   we  r etr iev 1 ,   5 ,   an d   1 0   d o c u m en ts   in   th to p   r an k ,   an d   tak th e ir   s u b ject  h ea d in g s   in   th r ec o m m en d atio n   lis t.        3.   RE T RI E VA L   M E T H O DS   3 . 1 .   Q uery   lik eliho o d la ng ua g m o del  ( L M )   L an g u ag e   m o d el  ( L M)   u s es  p r o b ab ilis tic  co n ce p to   esti m ate  th p r o b a b ilit y   o f   r el ev an ce   o f   d o cu m e n ts   to   u s er   q u er ies  [ 2 4 ] ,   [ 2 5 ] .   la n g u a g m o d el  M d   f o r   ea ch   d o c u m en d   is   in f er r e d   an d   th en   u s ed   to   esti m ate  th p r o b ab ilit y   o f   g en er atin g   t h q u er y   ac co r d in g   to   t h m o d el   p ( q |M d ) T h is   p r o b ab ilit y   is   also   r ef er r ed   to   as  q u er y   g e n er atio n   p r o b a b ilit y .   Do cu m en ts   in   th co llectio n   ar th en   r an k e d   ac co r d in g   to   th ese   p r o b a b ilit ies.  T h h ig h er   th e   p r o b a b ilit y   o f   a   d o c u m en t,   th m o r e   p r o b a b le  th e   q u er y   ca n   b e   g e n er ated   f r o m   th d o cu m e n t,  wh ich   im p lies   th at  th m o r r elev a n th d o c u m en to   th q u er y .   T h p r o b ab ilit y   o f   p r o d u cin g   th q u er y   q   g i v en   th lan g u a g m o d el  o f   d o cu m en d ,   i.e . ,   M d ,   u s in g   Ma x im u m   L i k elih o o d   E s tim ate  an d   Dir ich let  s m o o th in g   ca n   b c o m p u ted   as f o llo ws   ( 1 ) :     lo g ( | ) = l og  , +  | | | | +     ( 1 )     w h e r e   t   is   a   t e r m   i n   q u e r y   q  ,   d e n o t e s   t h e   f r e q u e n c y   o f   t er m   t   i n   q u e r y   q ( | )   i s   p r o b a b i l it y   o f   g e n e r a t i n g   t e r m   t   f r o m   d o c u m e n t   l a n g u a g e   m o d e l   M d ,   a n d   | d |   d e n o t e s   t o t a l   n u m b e r   o f   t e r m s   i n   d o c u m e n t   d ,   | C |   d e n o t e s   t h t o t al   t e r m s   i n   t h e   co l l e c t i o n ,   cf t   d e n o t es   t h e   f r e q u en c y   o f   t e r m   t   i n   t h e   c o l l e ct i o n .   D i r i c h l et   s m o o t h i n g   i s   a   d e f a u lt   s m o o t h i n g   te c h n i q u e   p r o v i d e d   i n   t h e   s e a r c h   e n g i n l i b r a r y   I n d r i   ( d e f a u l t     v a l u e   i s   2 5 0 0 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 4 9   -   1 0 5 8   1052   3 . 2 .   Vec t o s pa ce   m o del  ( VSM )   Vec to r   s p ac m o d el  ( VSM)   r ep r esen ts   d o cu m en ts   as  v ec to r s   o f   ter m s   in   th v ec to r   s p ac [ 2 6 ] ,   [ 2 7 ] C o s in s im ilar ity   is   th en   u s ed   to   ca lcu late   th s im ilar ity   b etwe en   two   d o cu m e n v ec to r s   i n   th v ec to r   s p ac e.   W h en   two   d o cu m e n ts   s h ar m an y   s im ilar   wo r d s ,   th en   th e ir   v ec to r s   in   th v ec t o r   s p ac e   is   clo s ( th an g le  b etwe en   th em   is   s m all) .   As  a   r esu lt,  th co s in o f   t h an g le  b etwe en   th em   is   h ig h .   T wo   id en tical  d o c u m en ts   will h av co s in s im ilar ity   s co r o f   1 .   T h g r ea ter   th s im ilar ity   b etwe en   two   d o c u m en ts ,   th co s in s im ilar ity   s co r will  b g ettin g   clo s er   t o   1 .   T h r an g e   o f   co s in s im ilar ity   s co r is   b etwe en   0   a n d   1 .   T h f o r m u la   to   co m p u te  c o s in s im ilar ity   is   as f o llo ws   ( 2 ) :      ( , ) =    .    (  ,  ) = 1  2  = 1   .  2  = 1     ( 2 )     wh er    is   th weig h o f   te r m   k   in   d o c u m en    is   th weig h o f   ter m   k   in   d o cu m en    is   th n u m b er   o f   ter m s   in   d o c u m en t   an d      is   th n u m b e r   o f   ter m s   in   d o cu m e n .   T h weig h o f   ter m s   is   ca lcu lated   u s in g   T F - I DF f o r m u la.         4.   E XP E R I M E N T   4 . 1 .   Da t a s et   T h is   wo r k   u s es  m etad ata  c o l lectio n   o f   b ac h elo r   th esis   o f   U I   s tu d en ts   as  o u r   d ataset.   T h is   m etad ata   co llectio n   was  cr awle d   f r o m   UI   lib r ar y   web s ite   ( h ttp ://l ib . u i.a c. id / )   in   th e   s ec tio n   “UI   -   Sk r ip s ( Op en ) ”  u s in g   p r o g r am   wr itten   in   Per l   an d   L W m o d u le.   T h is   co llectio n   co n tain s   d o cu m en t   m etad at o f   b ac h elo r   th esis   f r o m   1 4   f ac u lties   in   UI   d u r in g   2 0 0 8 - 2 0 1 1 ,   with   to tal  o f   1 4 , 7 2 2   m etad ata.   I is   im p o r t an to   n o te  th at  w e   us ed   d o c u m en m eta d ata,   in s tead   o f   f u ll  tex t,   b ec au s m o s o f   d o cu m en ts   in   th web s ite  d o   n o h av f u ll  tex t   ( an d   s o m f u ll tex t o f   d o c u m e n ts   ca n n o t b ac ce s s ed   s in ce   t h ey   ar s ec u r el y   en cr y p ted ) .     W o n ly   c r awl  f o u r   in f o r m at io n   f o r   ea ch   m etad ata   t h at  is   n ee d e d   b y   o u r   m eth o d :   titl e,   ab s tr ac t,   f ac u lty ,   a n d   s u b ject  h ea d in g .   Ab s tr ac co n tain s   th e   s u m m ar y   o f   th e   th esis .   T itle  an d   ab s tr ac in f o r m atio n   a r im p o r tan as  th m etad ata  r ep r esen tatio n   f o r   in d ex in g   a n d   q u er y in g   p u r p o s e.   R elate d   m etad ata  in   t h co llectio n   ar d eter m in e d   b y   o u r   m eth o d s   b ased   o n   th s im ilar ity   o n   th ese   tex t.  Facu lty   in f o r m atio n   is   im p o r tan f o r   o u r   an aly s is   o n   cr o s s - f ac u lty   s im ilar   d o c u m en ts .   Su b ject  h ea d in g   in f o r m atio n   is   s u r ely   im p o r tan as  th is   will  b ex tr ac ted   f r o m   r elate d   m etad ata  t o   p r o d u ce   r ec o m m en d atio n .   I n   ad d itio n ,   it  is   also   u s ed   as  g o ld   s tan d ar d   in   t h e   ev alu atio n   p r o ce s s .   I is   im p o r tan to   n o te  t h at  o n d o cu m e n m ay   b ass ig n ed   s ev er al  s u b ject  h ea d in g s .     Fig u r e   2   d escr ib es a n   ex am p le  o f   s u b ject  h ea d in g s   f r o m   two   m etad ata  in   o u r   d ataset.   T o   h e lp   r ea d er s   u n d er s tan d   th e   co n te x o f   th e   m etad ata  w h er t h is   s u b ject  h ea d in g   co m e   f r o m ,   we  also   d is p lay   th e   titl o f   m etad ata.   T h ese  two   m etad ata   h av m o r t h an   o n s u b ject  h ea d in g   th at   ar d elim ited   with   “;”  ch ar ac ter .   F o r   th s ec o n d   m eta d ata,   it  h as  th s u b ject  h ea d in g   “M ater n al - C h ild   Nu r s in g ”  th at  is   co m p o s ed   o f   m ain   s u b ject   h ea d in g   “M ater n al”  an d   ad d iti o n al  s u b ject  h ea d i n g   “Ch ild   N u r s in g ”.             Fig u r e   2 E x am p les o f   s u b ject  h ea d in g s   o f   d o c u m en ts       As  we  r eq u ir ea ch   m etad at in   o u r   d ataset  to   h av titl e ,   ab s tr ac t,  s u b ject  h ea d in g ,   a n d   f ac u lty   in f o r m atio n ,   s o   we  ex clu d all   m etad ata  th at  d o   n o h a v an y   o f   th is   in f o r m atio n .   I r esu lt s   in   9 , 2 6 1   m etad ata   in   o u r   d ataset.   T h s tatis tic s   o f   to tal  d o cu m en t s   f o r   ea ch   f ac u lty   is   d escr ib ed   in   T ab le  2 .   W ca n   s ee   f r o m   th e   tab le  th at  m o s m etad ata  in   o u r   d ataset  co m es  f r o m   Facu lt y   o f   E n g in ee r in g .   T h is   m ay   b d u to   th h i g h   n u m b er   o f   s tu d y   p r o g r a m   in   t h is   f ac u lty   wh ich   r esu lts   in   th h ig h   n u m b e r   o f   s tu d en ts .   Acc o r d in g   to   th d ata   o f   UI s   b ac h elo r   s tu d en ad m is s io n   in   2 0 2 0 ,   th e   Facu lty   o f   E n g in ee r in g   h as  th h i g h est  n u m b er   o f   s tu d e n ts   am o n g   all  f ac u lt ies   in   UI .   T o   en s u r th at  ea ch   f ac u lty   h as  en o u g h   m etad ata,   we  d ec id t o   ex clu d th o n es  th at  h av s m all  n u m b er   o f   m etad ata.   W m ak ju s tific atio n   o f   1 0 0   d o cu m e n ts   as  o u r   lo wer   b o u n d   o f   th Ti t le An a li s i s   s e le c ti v i ty   d a n   ma r k e ti mi n g   p a d a   r e k s a   d a n a   s a ha d i   In d on e s i a :   p e r i od e   2 0 0 5 - 2007   ( A na l ys is   of   t h e   s e l e ct ivi t y   a n d   m a rk e t   t i m ing  on  e qu it fu nd s   i I nd o ne s ia 2 0 0 5 - 2 0 0 7   pe rio d )   S u b j ect  hea d in g s :   Mu tu al f u n d s ; Sha r es   Ti t le:   H u bu n g a n   ti n g k a p e n g e ta hua n   s u a mi   d e n g a n   p r a k ti k   p e mb e r i a n   AS e k s k l u s i d i   R W   2 5   Ba k ti ja y a   Su k ma ja y a   D e p ok   ( T h e   cor relat ion  bet wee h u s band 's  k nowl e g d e   l e v e l s   of   e x cl u s ive   br e a s t fe e d ing  pra ct ice   in  R W   2 5   B a k t ija ya ,   S u k m a ja ya ,   D e po k )   S ub j et   head i n gs :   Bre a s t fe e d in g;  M a t e rnal -- C h il d   Nu rs ing     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Dete r min in g   s u b ject  h ea d in g s   o f d o cu men ts   u s in g   in fo r ma tio n   r etri ev a l m o d els   ( E vi  Yu lia n ti )   1053   n u m b er   o f   m etad ata   f o r   ea ch   f ac u lty .   T h is   ca u s es  th m etad a ta  f r o m   f o u r   f ac u lties   ( i.e . ,   Fa cu lty   o f   Ph ar m ac y ,   Facu lty   o f   C o m p u ter   Scien ce ,   Facu lty   o f   Den tis tr y ,   an d   Facu lty   o f   Ad m in is tr ativ Scien ce )   to   b f ilter ed   o u t   f r o m   o u r   d ataset.   T h ey   r esp ec t iv ely   h av e   9 5 ,   9 4 ,   8 4 ,   an d   3 5   d o cu m e n ts .   Fin ally ,   th er a r 8 , 9 5 3   m etad ata  t h at  co m es f r o m   1 0   f ac u lt ies   at  UI   in   o u r   f in al  d ataset.   T ab le  3   d escr ib es  th e   ter m   s t atis tics   in   in   o u r   d at aset.  On   av er ag e,   titl co n tain s   ar o u n d   2 3   ter m s ,   wh ich   is   q u ite  lo n g   f o r   titl e.   W f o u n d   th is   h ap p en ed   b ec a u s s o m m etad ata  h as a   m ix ed   o f   I n d o n esian   an d   E n g lis h   titl es  in   th e   web s ite,   wh ich   m ak es  t h o v er all  titl lo n g .   T h a v er ag e   ter m   in   a b s tr ac is   ar o u n d   2 0 5   wo r d s .   T h av er ag n u m b e r   o f   s u b ject  h ea d in g s   in   m etad ata  is   1 . 5 .   T h is   d en o tes  th at  m o s o f   m etad ata  ar e   ass ig n ed   m o r th a n   o n e   s u b jec t h ea d in g s   th at  co n s is ts   o f   3   ter m s   o n   av e r ag e.       T ab le  2 .   T h s tatis tics   o f   to tal  m etad ata  f o r   ea c h   f ac u lty   in   o u r   d ataset   F a c u l t y   A b b r e v i a t i o n   # st u d y   p r o g r a m   # d o c u m e n t   m e t a d a t a   F a c u l t y   o f   E n g i n e e r i n g   En g   13   2 , 4 0 0   F a c u l t y   o f   H u ma n i t i e s   H u m   15   1 , 4 8 7   F a c u l t y   o f   M a t h e ma t i c a n d   N a t u r a l   S c i e n c e   M a t h   9   1 , 1 8 8   F a c u l t y   o f   S o c i a l   a n d   P o l i t i c a l   S c i e n c e s   S o c   7   1 , 0 8 1   F a c u l t y   o f   P u b l i c   H e a l t h   P u b H   4   9 7 1   F a c u l t y   o f   L a w   La w   1   7 1 2   F a c u l t y   o f   E c o n o m y   a n d   B u s i n e ss   Ec o   5   5 2 1   F a c u l t y   o f   P s y c h o l o g y   P sy   1   2 5 3   F a c u l t y   o f   M e d i c i n e   M e d   1   2 1 9   F a c u l t y   o f   N u r si n g   N u r s   1   1 2 1   To t a l     9 , 2 6 1       T ab le  3 .   T h s tatis tics   o f   ter m s   an d   s u b ject  h ea d i n g s   in   o u r   d ataset   A v e r a g e   t e r ms   f o r   e a c h   t i t l e   2 3 . 1 2   A v e r a g e   t e r ms   f o r   e a c h   a b st r a c t   2 0 5 . 1 6   A v e r a g e   t e r ms   f o r   e a c h   su b j e c t   h e a d i n g     3 . 1 7   A v e r a g e   n u m b e r   o f   s u b j e c t   h e a d i n g s   f o r   e a c h   m e t a d a t a   1 . 5 1       Ou r   d ataset  is   s p lit  in to   2   p ar ts in d ex in g   d ata  an d   q u e r ies .   T h is   is   im p o r tan b ec au s w h av to   en s u r th at  th m etad ata  to   b e   q u er ied   ( e v alu ated )   d o   n o ap p ea r   in   th in d ex .   Oth er wis e,   t h r etr iev al  s y s tem   will  alwa y s   o b tain   p er f ec m a tch   as  th m o s t - r elev an m eta d ata  f o u n d   is   b asically   th m etad ata  in p u its elf .   Fo r   th is   r ea s o n ,   th d ataset  h as  to   b s p lit.  W tak a   r an d o m   s am p le  o f   3 0   m etad a ta  f o r   ea c h   f ac u lt y ,   r esu ltin g   3 0 0   m etad ata  as   th e   q u er ies .   T h e n   th r e m ain in g   d ata  with   th to tal  o f   8 , 6 5 3   m etad ata  is   u s ed   f o r   in d ex in g .     4 . 2 .   I m plem ent a t io n   W u s s ea r ch   en g in lib r ar y   I n d r v e r s io n   5 . 1 2   f o r   in d ex in g   a n d   r et r iev al  u s in g   L r etr iev al   m eth o d .   T h en ,   we  u s s ea r c h   en g in lib r a r y   L u ce n e   v er s i o n   8 . 7 . 0   to   im p lem en t   in d e x in g   an d   r etr ie v al  u s in g   VSM  r etr iev al  m eth o d .   Fo r   e ac h   m eth o d ,   in d ex   is   b u ilt  f o r   titl an d   ab s tr ac f ield s .   W h en   th s ea r ch   u n it  is   titl e,   we  co m p u te  titl s im ilar ities   b etwe en   q u er y s   titl an d   d o c u m en ts   titl in   th in d e x .   W h en   th s ea r ch   u n it  is   ab s tr ac t,  we  co m p u te  ab s tr ac s im ilar ities   b etwe en   q u er y s   ab s tr ac an d   d o c u m e n ts   ab s tr ac in   th in d ex .   W h en   th s ea r ch   u n it  i s   titl e+ ab s tr ac t,  th en   we  co m p u te  b o th   titl s im ilar ities   an d   ab s tr ac s im ilar itie s   b etwe en   q u er y   an d   d o cu m en ts   in   th in d ex .   T o   ex am i n wh i ch   o n is   m o r i m p o r tan b etwe en   titl r elev an ce   an d   ab s tr ac r elev an ce ,   we  ex p er im en ted   with   d if f e r en γ   v alu es  in   th r an g o f   0 - 1   with   th s tep   o f   1 .   I n d r i   q u er y   o p e r ato r s   # c o mb in e   a n d   # w eig h t   is   u s ed   f o r   co m p u tin g   titl an d   ab s tr ac r elev an ce   u s in g   L M.   # co m b in e   o p er at o r   is   u s ed   to   co m b in all  ter m s   in   t h titl o r   ab s tr ac t,  wh ile  # weig h o p e r ato r   is   u s ed   to   g iv e   th im p o r tan ce   o f   titl r elev an ce   an d   ab s tr ac r elev an ce .   T h f o llo win g   is   I n d r q u e r y   f o r m u la  f o r   f ield   r etr iev al:     # w eig h t(           1 - γ   # c o mb in e[ti tle] ( t 1, title   t 2, title   … t m, title )               γ   # co mb in e[a b s tr a ct](t 1, abstract   t 2, abstract   … t n, abstract ))     T h t i, j   in d icate s   th i - th   ter m   i n   th j   f ield .   T h γ   v al u d en o tes  th im p o r tan ce   o f   titl r ele v an ce   an d   ab s tr ac r elev an ce   in   th r elev an ce .   T h lo wer   th γ   v alu e,   t h m o r im p o r tan ce   th titl r elev an ce   to   th f in al  r elev an ce   s co r e.   W h en   γ   eq u a ls   to   0 ,   th en   th e   q u e r y in g   p r o ce s s   o n ly   co n s id er   th e   titl r elev an ce .   Oth er wis e,   wh en   γ   eq u als to   1 ,   th e n   we  o n ly   tak in to   ac co u n t th ab s tr ac t r elev an ce .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 4 9   -   1 0 5 8   1054   T o   co m p u te  titl an d   ab s tr ac t   r elev an ce   u s in g   VSM  m eth o d ,   we  u s B o o s tQu ery   class   in   L u ce n e   lib r ar y .   I n ee d s   two   p ar a m eter s : in s tan ce   o f   Ter mQu ery   wh i ch   co n tain s   th q u er y   ter m s   an d   th in d e x   f ield   i n   wh ich   th s ea r ch   will  b p er f o r m ed ,   a n d   γ   v alu wh ic h   d e n o tes  th weig h o f   th r elev an ce   s co r f o r   th e   q u er y   te r m s .     4 . 3 .   E v a lua t io n   E v alu atio n   is   p er f o r m e d   b y   c o m p ar in g   th s u b ject  h ea d in g s   in   th r ec o m m en d atio n   lis with   th e   g r o u n d   tr u th   s u b ject  h ea d in g s ,   wh ich   ar e   o b tain ed   f r o m   th ac tu al  s u b ject  h ea d in g s   o f   th q u er ies.  R ec all  th at   m etad ata  m ay   h av e   s ev er a s u b ject  h ea d in g s .   T h er ef o r e ,   if   s u b ject  h ea d in g s   r et r iev e d   in   th s p ec if ie d   p o s itio n   o f   th e   r ec o m m en d at io n   lis co n tain s   a n y   g r o u n d   tr u th   s u b ject  h ea d in g s   o f   th q u er ies,  t h en   w e   co n s id er   s u ch   r etr iev e d   s u b je ct  h ea d in g s   as  r elev an t.  Fo r   e x am p le:  g iv en   th ac t u al  s u b ject  h ea d in g s   f o r   a   q u er y   is   B r ea s tfeed in g ;   Ma t ern a l -- C h ild   N u r s in g ”,   th en   we  co n s id e r   th e r ar e   th r ee   g r o u n d   tr u t h   s u b ject  h ea d in g s   f o r   th is   q u er y b r ea s tfeed in g ”,   ma tern a l ”,   an d   c h ild   n u r s in g ”.   I f   s u b ject  h ea d i n g s   r etr iev ed   in   th e   f ir s r an k   o f   th r ec o m m e n d atio n   is   B r ea s tfeed in g -- S o cia a s p ec ts ;   B r ea s m ilk ”,   th e n   it  m ea n s   th at  it   c o n s is ts   o f   th r ee   s u b ject  h ea d i n g s b r ea s feed in g ,   s o cia l   a s p ec t s ”,   an d   b r ea s milk ”.   S in ce   it   co n tain s   o n g r o u n d   tr u t h   s u b ject  h ea d in g   f o r   th g i v en   q u er y ,   i.e . ,   b r ea s t fe ed in g ”,   th e n   it is   co n s id er e d   as r elev an t.    So m r etr iev al   m ea s u r es  a r u s ed   to   ev alu ate  th ef f ec tiv en ess   o f   L an d   V SM  r etr iev al  m eth o d s   to   r etr iev th e   k   to p - r an k ed   s u b je ct  h ea d in g s   in   th r ec o m m e n d atio n   lis .   I n   o u r   ex p er im en t,  we  s et  k   v alu e   to   1 ,   5 ,   a n d   1 0   as we   f o c u s   o n   th s u b ject  h ea d in g s   e x tr ac ted   f r o m   h ig h ly   r an k ed   d o cu m e n ts .     F o un d@ k   m ea s u r is   p r o p o s ed   b y   au th o r s   to   d em o n s tr ate  th n u m b er   o f   q u er ies  th at  th e   r elev an s u b ject  h ea d in g s   ca n   b e   f o u n d   in   th e   r ec o m m en d atio n   lis R k .   T h e   h ig h e r   th Fo u n d @ k   s co r e,   th e   m o r p r o b a b le  th e   s y s tem   to   r et r iev r elev a n s u b ject  h ea d in g s   f o r   q u er ies.  T h is   m ea s u r e   m ay   s u g g est  th e   ap p licab ilit y   o f   t h s y s tem   to   h elp   in   th s u b ject  h ea d in g   ass ig n m en t p r o ce s s .      @ = #                                P re cisi o n@ k   m ea s u r h ig h lig h ts   h o ac cu r ate   th m eth o d   t o   p u m an y   r elev an t   s u b ject  h ea d in g s   in   th to p   r a n k   o f   th r ec o m m en d atio n   lis t   R k .   T h is   is   s tan d a r d   m etr ic  th at  h as b ee n   u s ed   in   m an y   in f o r m atio n   r etr iev al  r esear ch es in   p r ev io u s   wo r k     @ = #                    M RR   m ea s u r o b s er v es  th r ec ip r o ca r an k   o f   th p o s itio n   wh er th f ir s r elev an s u b ject  h ea d in is   f o u n d .   T h h ig h e r   th MRR   s co r in d icate s   th at  th r elev an s u b ject  h ea d in g s   ca n   b f o u n d   in   th ea r ly   p o s itio n   in   th r ec o m m e n d ati o n   lis t.  T h lo wer   th s co r in d icate s   th at  th r elev an t   s u b ject  h ea d in g s   a r e   r etr iev ed   in   th lo wer   r an k   in   t h r ec o m m e n d atio n   lis t,  wh ich   ca u s es  u s er s   n ee d   to   s cr o ll  d o wn   th lis f u r th e r   in   o r d er   to   f i n d   th r elev a n r esu lts .   I n   th is   wo r k ,   we  lim it  t h MRR   ca lcu latio n   to   th 10  to p - r an k ed   s u b ject  h ea d in g s   as  th is   is   th h ig h est  n u m b e r   o f   r etr iev ed   d o c u m e n ts   in   o u r   ex p er im e n t.   T h is   is   s tan d ar d   m etr ic  th at  h as b ee n   u s ed   in   m an y   in f o r m atio n   r etr iev al  r esear ch es i n   p r ev i o u s   wo r k      = 1                             5.   RE SU L T S AN D I SCU SS I O N   5 . 1 .   E f f ec t iv eness   o f   L M   a nd   V S M   m et ho ds   in  g ener a t ing   s u bje ct   hea din g   re co m m enda t i o n lis t   T h F o u n d @ k   s co r es  f o r   L an d   VSM  m eth o d s   ar e   s h o wn   in   Fig u r 3 .   T h r esu lts   f o r   T itle+Ab s tr ac ar th b est  r esu lts   am o n g   all  γ   v al u e   b etwe e n   0 - 1   with   t h s tep   o f   1 .   T h r esu lts   u s in g   ea ch   o f   th ese  γ   v alu es  ar p r esen ted   later   in   Sectio n   5 . 2 .   Fo r   b o th   m eth o d s ,   we  ca n   s ee   th at  u s in g   ab s tr ac as  s ea r ch   u n it  p r o d u ce s   m o r e   ef f ec tiv e   r ec o m m en d atio n   r ath er   t h an   u s in g   titl in   m o s ca s es.  T h is   is   b ec au s tak in g   th e   s im ilar ities   b etwe en   ab s tr ac t s   ar m o r ac cu r ate  to   d et er m in th s im ilar ity   b etwe en   two   m etad ata  d o cu m e n ts ,   as  o p p o s ed   to   tak i n g   th s im ilar ities   b etwe en   titl es.  Sin ce   ab s tr ac ts   ar m o r d etail,   th er ef o r two   m etad ata  with   h ig h   s im ilar ity   in   ab s tr ac ts   ten d   to   b m o r s im ilar   th an   th o s wi th   h ig h   s im ilar ity   in   ti tle.   Usi n g   b o th   titl an d   ab s tr ac as  s ea r ch   u n i ca n   s lig h tly   im p r o v e   th r esu lts   o f   u s in g   ab s tr ac o n ly .   T h is   in d icate s   th at  co m b in in g   s im ilar ities   b etwe en   titl e s   an d   s im il ar ities   b etwe en   ab s tr ac ts   is   m o r ac cu r ate  to   f in d   r elev an m etad ata.   W h en   u s in g   titl o n ly   as  th s ea r ch   u n it,  VSM  i s   s h o wn   to   b e   litt le  s u p er io r   to   L f o r   all   Fo u n d @ k   m etr ics  b y   8 - 2 2 %.  T h is   ca n   b u n d er s to o d   b ec a u s L u s es  p r o b ab ilis tic  co n ce p in   wh ich   it  is   less   ac cu r ate  wh en   th s ize  o f   d ata  u s ed   to   p r o d u ce   th e   p r o b ab ilit y   s co r is   s m all.   No te  t h at  wh en   th e   s ea r ch   u n it  is   titl e   o n ly ,   th en   th lan g u ag m o d el  u s ed   to   c o m p u te  q u er y   g en er atio n   p r o b ab ilit y   is   b u ilt  o n ly   u s in g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Dete r min in g   s u b ject  h ea d in g s   o f d o cu men ts   u s in g   in fo r ma tio n   r etri ev a l m o d els   ( E vi  Yu lia n ti )   1055   m etad ata  titl es  in   th co llecti o n .   W h en   th s ea r ch   u n it  is   ab s tr ac o n ly   o r   titl e+ ab s tr ac t,  b o th   L an d   VSM  m eth o d s   s ee m   to   b co m p ar a b le.   T h is   r esu lt  d em o n s tr a tes  th at  L an d   VSM  ar co m p ar ab le  wh en   u s in g   lo n g er   tex t a s   th e   s ea r ch   u n it,  b u t V SM  is   p r ef er r ed   wh en   u s in g   s m aller   tex t.                   Fig u r e   3 T h n u m b er   o f   q u er i es th at  th r elev an t su b ject  h ea d in g   ca n   b f o u n d   in   th r ec o m m en d atio n   lis t       T ab le  4   d escr ib e   th ef f ec tiv e n ess   o f   L an d   VSM  m eth o d s   b ased   o n   s tan d a r d   r et r iev al  m ea s u r es.  W ca n   s ee   th at  in   g en er al,   th is   r esu lt  is   co n s i s ten to   th at   p r esen ted   in   Fig u r 3 .   Fo r   b o th   m eth o d s ,   u s in g   ab s tr ac as  s ea r ch   u n it  g ain s   h ig h er   r etr iev al  s co r es  th an   u s in g   titl e.   T h en ,   co m b in in g   s i m ilar ities   b etwe en   titl es  an d   s im ilar itie s   b etwe en   ab s tr ac ts   ca n   f u r th er   s lig h tly   en h an ce   th r esu lts .   An   im p o r tan f in d i n g   f r o m   th tab le  is   th at   b ased   o n   MRR   s co r es,  o n   av er a g th e   f ir s r elev an s u b ject   h ea d in g   is   f o u n d   a th e   3 rd   r an k   in   th r ec o m m en d atio n   lis t.  T h is   ca n   b en ef it  lib r ar ian s   as  th ey   ca n   f in d   r elev an s u b ject  in   th to p   r an k   o f   th e   r ec o m m en d atio n   lis t,  s o   it c o u ld   s av th eir   tim e.     An   ad d itio n al  ex p e r im en wa s   p er f o r m ed   b y   p e r f o r m in g   s to p p in g   a n d   s tem m in g   ( u s in g   Sas tr aw i   to o ls )   in   th p r e - p r o ce s s in g   s tep   to   u n d er s tan d   th ef f ec t   o f   th ese  s tep s   to   th ef f ec tiv en ess   o f   s u b ject   h ea d in g s   r ec o m m en d atio n   r es u lts .   Ho wev er ,   we  f o u n d   th at  t h e   ef f ec t o f   th is   s tep s   to   th r e s u lts   is   n o t c lear .   I n   s o m ca s es,  it  ca n   s lig h tly   in c r ea s th s co r es  ( b u it  is   n o s tatis tically   s ig n if ican t) ,   an d   in   s o m ca s es,  it  ca n   d ec r ea s th s co r e .   B ec au s o f   p a g len g th   c o n s tr ain t,  th e   r esu lts   o f   t h is   ex p er im e n t   ar n o s h o wn   in   th is   p ap er .         T ab le  4 .   T h r etr iev al  e f f ec tiv en ess   o f   L an d   VSM  ac co r d in g   to   s tan d ar d   r etr iev al  m ea s u r es   S e a r c h   U n i t   LM   V S M   M R R   P @ 1   P @ 5   P @ 1 0   M R R   P @ 1   P @ 5   P @ 1 0   Ti t l e     0 . 3 2 4   0 . 2 2 0   0 . 1 6 4   0 . 1 5 4   0 . 3 5 9   0 . 2 4 7   0 . 2 0 0   0 . 1 6 7   A b st r a c t   0 . 4 0 7   0 . 3 2 3   0 . 2 1 5   0 . 1 8 4   0 . 3 9 1   0 . 3 1 0   0 . 2 1 9   0 . 1 8 4   Ti t l e + A b s t r a c t   0 . 4 1 0   0 . 3 3 0   0 . 2 2 9   0 . 1 9 9   0 . 4 0 9   0 . 3 2 0   0 . 2 3 2   0 . 1 9 7       5 . 2 .   E f f ec t iv eness   o f   L M   a nd   V S M   m et ho ds   o diff er ent   γ  v a lues   T o   ex am in t h m o s o p tim al   γ   v alu f o r   L a n d   VSM  m eth o d s ,   we  co n d u ct  an   ex p er i m en u s in g   v ar y in g   γ   v alu es  b etwe en   0   an d   1   with   s tep   o f   0 . 1 .   T h r es u lts   ar r ep o r ted   in   T a b le  5 .   W f o u n d   d if f e r en γ  v alu es  th at  r esu lts   in   th b est  p er f o r m an ce   f o r   L an d   VS m eth o d s .   T h m o s o p tim al   γ   v alu es  f o r   L ar e   b etwe en   0 . 5   an d   0 . 9 ,   w h ile  f o r   VSM  it  is   b etwe en   0 . 1   an d   0 . 3 .   So ,   th o p tim al  γ   v alu f o r   L ten d   to   b e   m id d le  o r   h ig h ,   a n d   it  te n d s   t o   b l o f o r   VSM.   No te  t h at  th h ig h e r   th e   γ   v alu es,  th m o r im p o r tan ce   th ab s tr ac t similar ities .   Oth er wi s e,   th lo wer   th γ   v alu es,  th e   m o r i m p o r tan ce   th e   titl s im ilar ities .     T h o p tim al  γ   v alu e   f o r   L M   te n d s   to   b e   m id d le   o r   h ig h   b ec a u s as  h as  b ee n   s h o wn   ea r lier ,   u s in g   titl e   s im ilar ities   in   L p r o d u ce s   m u ch   wo r s r esu lts   th an   u s in g   ab s tr ac s im ilar ities .   T h is   is   b ec au s L u s es   p r o b a b ilis tic  co n ce p in   wh ich   it  is   less   ac cu r ate  wh e n   th e   s ize  o f   d ata  u s ed   to   p r o d u ce   th e   p r o b a b ilit y   s co r is   s m all.   T h er ef o r e ,   u s in g   ab s tr a ct  s im ilar ities   g iv es  m u ch   im p r o v em en t   o v e r   u s in g   titl s im ilar ities ,   wh ich   is   b y   3 0 . 5 o n   av e r ag e,   s in ce   th e   q u er y   g e n er atio n   p r o b ab ilit y   is   b u ilt  u s in g   b ig g e r   d ata .   T h en   f o r   VSM,   th e   o p tim al  γ   v alu f o r   L ten d   t o   b lo b ec au s as h as b ee n   s h o wn   in   th ea r lier   s ec tio n ,   u s in g   titl s im ilar itie s   in   VSM  alr ea d y   p r o d u ce d   f air ly   g o o d   r esu lts .   T h is   is   b ec au s VSM  ca n   ca p tu r well  th d o cu m en s im ilar ities   ev en   b y   u s in g   s m all  tex u n it,  s in ce   it  is   b ased   o n   ter m   o v er lap   b etwe en   two   d o cu m en ts   th at  is   co m p u ted   u s in g   d o p r o d u ct   o f   th d o cu m e n ts   v ec to r s ,   i.e . ,   co s in s im ilar ity .   T h er e f o r e,   u s in g   a b s tr ac s im ilar ities   o n ly   g iv s lig h t im p r o v em e n o v e r   u s in g   titl s im ilar ities ,   wh ich   is   b y   1 4 . 6 o n   av er ag e.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 4 9   -   1 0 5 8   1056   T ab le  5 .   T h ef f ec tiv e n ess   o f   L an d   VSM  o n   d if f er e n t γ   v alu es     γ    F o u n d   @ 1   F o u n d   @ 5   F o u n d   @ 1 0   M R R   P @ 1   P @ 5   P @ 1 0   LM   0 . 1   73   1 4 4   1 7 2   0 . 3 4 3   0 . 2 4 3   0 . 1 8 2   0 . 1 6 3   0 . 2   77   1 4 8   1 7 3   0 . 3 5 4   0 . 2 5 7   0 . 1 9 3   0 . 1 7 2   0 . 3   83   1 5 2   1 7 9   0 . 3 7 4   0 . 2 7 7   0 . 2 0 5   0 . 1 8 2   0 . 4   88   1 5 2   1 7 9   0 . 3 8 7   0 . 2 9 3   0 . 2 1 0   0 . 1 9 0   0 . 5   91   1 5 1   1 8 4   0 . 3 9 6   0 . 3 0 3   0 . 2 1 9   0 . 1 9 8   0 . 6   94   1 5 8   1 8 3   0 . 4 0 4   0 . 3 1 3   0 . 2 2 9   0 . 1 9 9   0 . 7   94   1 5 7   1 7 7   0 . 4 0 1   0 . 3 1 3   0 . 2 2 7   0 . 1 9 8   0 . 8   97   1 5 0   1 7 5   0 . 4 0 7   0 . 3 2 3   0 . 2 2 2   0 . 1 9 1   0 . 9   99   1 5 4   1 7 1   0 . 4 1 0   0 . 3 3 0   0 . 2 2 3   0 . 1 8 8                     V S M   γ    F o u n d   @ 1   F o u n d   @ 5   F o u n d   @ 1 0   M R R   P @ 1   P @ 5   P @ 1 0   0 . 1   88   1 6 4   1 8 4   0 . 3 9 7   0 . 2 9 3   0 . 2 2 7   0 . 1 9 6   0 . 2   92   1 6 1   1 8 0   0 . 4 0 4   0 . 3 0 7   0 . 2 3 1   0 . 1 9 5   0 . 3   96   1 5 9   1 8 0   0 . 4 0 9   0 . 3 2 0   0 . 2 3 2   0 . 1 9 7   0 . 4   93   1 5 5   1 7 7   0 . 3 9 8   0 . 3 1 0   0 . 2 2 5   0 . 1 9 6   0 . 5   94   1 5 3   1 7 5   0 . 3 9 7   0 . 3 1 3   0 . 2 2 3   0 . 1 9 4   0 . 6   93   1 5 5   1 7 1   0 . 3 9 5   0 . 3 1 0   0 . 2 2 7   0 . 1 9 2   0 . 7   93   1 5 2   1 7 3   0 . 3 9 6   0 . 3 1 0   0 . 2 2 3   0 . 1 8 8   0 . 8   93   1 5 3   1 6 9   0 . 3 9 3   0 . 3 1 0   0 . 2 2 1   0 . 1 8 8   0 . 9   93   1 5 0   1 7 0   0 . 3 9 2   0 . 3 1 0   0 . 2 1 8   0 . 1 8 5       5 . 3 .   Ana ly s is   o f   s ub j ec t   hea din g s   o v er la ps   o f   do cum ent s   f ro m   diff er ent   f a cult ies    I is   in ter esti n g   to   ex am in e   wh eth er   it  is   p o s s ib le  th at  q u er y   h as  r elev an s u b ject  h e ad in g s   th at  co m f r o m   d o cu m en ts   o f   d if f er en f ac u lties .   T h f in d in g s   f r o m   th is   a n aly s is   m ay   g i v in s ig h ts   o n   d if f er en t   f ac u lties   th at  m ay   s h ar s im i lar   to p ics  in   th eir   s tu d en ts   t h esis .   Fo r   th is   an aly s is ,   we   e x am in th s u b ject  h ea d in g s   r ec o m m e n d atio n   g en er ated   f r o m   to p   1 0   r etr iev e d   m etad ata   f o r   all  q u er ies .   W an aly ze   th f ac u lty   o f   q u er ies  an d   th f ac u lty   o f   th o s d o cu m en ts   m etad ata   th at   s h ar s im ilar   s u b ject  h ea d in g s .   As  th er ar 1 0   r etr iev ed   m etad ata  a n d   3 0 0   q u er ies,  th er ef o r i n   to tal,   th er e   ar 3 0 0 0   f ac u lty   p ai r s   to   b e   e x am in ed .   W f o u n d   th er ar 4 ca s es  wh er th e   f ac u lty   o f   q u er ies  is   d if f er en to   th f ac u lty   o f   to p   1 0   r etr i ev ed   m etad ata,   b u t   th ey   s h ar s im ilar   s u b ject  h ea d in g s .   Her e ,   th e r ar 1 3 3   ca s es ( u s in g   L M)   an d   1 2 8   ca s es ( u s in g   VSM) .     B o t h   L M   a n d   V S a g r e e   o n   th e   t o p   f i v p a i r s   o f   f a c u lt i es   t h a t   o f t e n   h a v o v e r l a p   s u b j e ct   h e a d i n g s   as  s h o w n   i n   T a b l e   6 .   T h is   f i n d i n g   c a n   t h e r e f o r e   e n c o u r a g e   t h e   p o s s i b il i t y   o f   r e s e a r c h   c o l l a b o r a t i o n   b e t w e e n   t h es f a c u l t i es .   T h e   p a i r   o f   f a c u l t i es   t h a t   i s   m o s t   o f t e n   t o   h a v e   s i m il a r   s u b j e c t   h e a d i n g s   a r e   F ac u l ty   o f   E c o n o m y   a n d   B u s i n e s s   a n d   t h F a c u l t y   o f   S o c i a l   a n d   P o l it i c al   S c i e n c e .   W a n a l y z e   t h at   a lt h o u g h   t w o   m e t ad a t a   f r o m   t h es e   tw o   f a c u l t i es   c o n t ai n   s i m i l a r   t o p i cs,   b u t   t h e y   d is c u s s   t h e m   o n   d i f f e r e n t   p e r s p e ct i v es .   Fi g u r e   4   s h o w s   a n   e x a m p l e   o f   t w o   m e ta d a t a   f r o m   F a c u lt y   o f   E c o n o m y   a n d   F a c u l t y   o f   s o c ia l   a n d   p o l it i c al   s c i e n c t h a s h a r e   s i m i l a r   s u b j ec h e a d i n g ,   i . e . ,   m u t u a f u n d s .   W e   c a n   s e e   f r o m   t h t i tl es   o f   t h es e   m e ta d a t a   t h a t   al t h o u g h   b o t h   m e t a d a t c o n t a i n s   i n f o r m a t i o n   a b o u t   m a r k e t   t i m i n g ,   s t o c k   s e l e ct i o n ,   a n d   e q u it y   f u n d s ,   b u t   t h e   f i r s t   m e t a d at a   d i s c u s s   t h e m   o n   e c o n o m y   p e r s p e c t i v es ,   w h i le   th e   s e c o n d   m e t a d a ta   d i s c u s s   t h em   o n   s o c i a l   p e r s p e c t i v es .         T ab le  6 .   Fiv p ai r s   o f   d if f er en t   f ac u lties   th at  ar m o s t o f te n   t o   h av s im ilar   s u b ject  h ea d in g s   in   o u r   r esu lts   LM   V S M   F a c u l t y   P a i r s   To t a l   F a c u l t y   P a i r s   To t a l   Ec o   -   S o c   29   Ec o   -   S o c   31   N u r s - P u b H   28   N u r s - P u b H   27   M e d - P u b H     13   M e d - P u b H     10   M e d - N u r   11   M e d - N u r s   10   N u r s - P sy   7   N u r s - P sy   6           Fig u r 4 .   E x am p le  o f   two   m et ad ata  o f   d i f f er en f ac u lties   th at  s h ar s im ilar   s u b ject  h ea d in g s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Dete r min in g   s u b ject  h ea d in g s   o f d o cu men ts   u s in g   in fo r ma tio n   r etri ev a l m o d els   ( E vi  Yu lia n ti )   1057   I n   f u tu r e,   u s er   s tu d ies  co u ld   b p er f o r m ed   t o   test   wh eth er   lib r ar ian s   ca n   f in d   r elev a n s u b ject   h ea d in g s   f r o m   th r ec o m m en d atio n   lis o r   n o t.  W ca n   also   ask   th eir   p r ef er en ce   o n   th s u b ject  h ea d in g s   r ec o m m en d atio n   g en er ated   u s in g   L an d   VSM  m eth o d s .   Dif f er en r etr iev al   m eth o d s ,   s u ch   as:  p r o b ab ilis tic  B M2 5   [ 3 0 ] ,   [ 3 1 ]   an d   s eq u en ti al  d ep en d en ce   m o d el  ( SDM)   [ 3 2 ] ,   [ 3 3 ]   ca n   b co n s id er e d   f o r   f u r t h er   s tu d y .   T h e   p o s s ib ilit y   o f   co m b in in g   s em an tic  in f o r m atio n   [ 2 5 ] ,   [ 3 4 ] ,   [ 3 5 ]   o r   s o cial  m ed ia  [ 3 6 ] ,   [ 3 7 ]   in to   th r etr iev al   m o d el  to   a d d r ess   lex ical  m is m atch   p r o b lem   is   g r ea t c h allen g to   b e x p lo r e d .         6.   CO NCLU SI O N   W co n d u ct  a   n o v el  s tu d y   o n   th u s o f   d o cu m e n r etr iev al   m eth o d s ,   i.e . ,   q u er y   lik elih o o d   lan g u ag e   m o d els  ( L M)   an d   v ec to r   s p ac m o d els  ( VSM) ,   to   g e n er ate  s u b ject  h ea d in g s   r ec o m m e n d a tio n   lis t   f o r   g iv e n   d o cu m e n t.  T h e   aim   o f   t h is   s t u d y   is   to   h elp   lib r a r ian s   to   ass i g n   ap p r o p r iate  s u b ject  h ea d i n g s   to   d o cu m en t   m o r ef f ec tiv el y   an d   ef f icien t ly .   Ou r   r esu lts   s h o ws  th at  in f o r m atio n   r etr ie v al  m eth o d s   ca n   h elp   th s u b ject   h ea d in g   ass ig n m en p r o ce s s .   T h er ar h ig h   n u m b er   o f   q u er ies  ( u p   to   6 1 %)  th at  h a v r elev an s u b ject   h ea d in g s   in   th ten   to p - r an k e d   r ec o m m e n d atio n   lis t,  wh ich   s u g g est  th ap p licab ilit y   o f   th s y s tem .   Nex t,  o n   av er ag e,   th f i r s r elev an s u b ject  h ea d in g   is   f o u n d   in   th e   3 rd   r an k   in   th r ec o m m e n d at io n   lis t.  T h is   is   an   in ter esti n g   f in d in g   th at  in d icate s   th at  lib r ar ian s   ca n   f i n d   r elev an s u b ject  h ea d in g s   q u ick ly   as  th ey   d o   n o t n ee d   to   s cr o ll  d o wn   to o   f ar   i n   th r ec o m m en d atio n   lis t.  B o th   L an d   VSM  h as  co m p ar a b le  ef f ec tiv en ess   wh en   u s in g   lo n g er   tex as  th s ea r c h   u n it.  Ho wev er ,   VSM  is   s u p er io r   to   L b y   8 - 2 1 wh en   u s in g   s m aller   tex as   th s ea r ch   u n it.  Ou r   an al y s is   t h en   r ev ea ls   th r ee   p air s   o f   f ac u lties   with   th h ig h est  n u m b er   o f   s u b ject  h ea d in g s   o v er lap   a r e:   i )   Facu lty   o f   E c o n o m y   an d   B u s in ess - Facu lty   o f   So cial  an d   Po liti ca Scien ce s ,   ii )   Facu lty   o f   Nu r s in g - Facu lty   o f   Pu b lic  He alth ,   an d   iii )   Facu lty   o f   Me d icin e - Facu lty   o f   Pu b lic  Hea lth .   T h is   f in d in g   m ay   s u g g est th p o ten tial r esea r ch   co llab o r atio n   b etwe en   th ese  f a cu lties .       ACK NO WL E DG E M E NT S   T h is   r esear ch   is   s u p p o r ted   b y   th PUTI   Q3   g r an n u m b e r   NKB - 4 3 7 9 /UN2 . R ST/HKP. 0 5 . 0 0 / 2 0 2 0   f r o m   Un iv e r s itas   I n d o n esia.       RE F E R E NC E S   [1 ]   G .   L.   Ho ffm a n ,   Or g a n izi n g   L ib r a ry   Co ll e c ti o n s:  T h e o ry   a n d   Pra c ti c e ,   Ro wm a n   &   Li tt lefie ld ,   2 0 1 9 .   [2 ]   L.   Ho o v e r,   b e g in n e rs’  g u id e   f o su b jec a n a ly sis  o f   th e se a n d   d isse rtatio n i n   t h e   h a rd   sc ien c e s,   Ca ta l o g i n g   &   c la ss if ica ti o n   q u a rte rly ,   v o l.   4 1 ,   n o .   1 ,   p p .   1 3 3 1 6 1 ,   2 0 0 5 ,   d o i:   1 0 . 1 3 0 0 /J1 0 4 v 4 1 n 0 1 _ 0 7 .   [3 ]   A.  J.  S p e n c e a n d   J.  D.   El d re d g e ,   Ro les   fo r   li b ra rian in   sy ste m a ti c   re v iew s:  a   sc o p i n g   re v iew ,   J o u rn a l   o f   th e   M e d ica l   L ib r a ry   Asso c ia t io n J M L A ,   v o l.   1 0 6 ,   n o .   1 ,   p p .   4 6 - 5 6 ,   2 0 1 8 ,   d o i:   1 0 . 5 1 9 5 /j m la. 2 0 1 8 . 8 2 .   [4 ]   R.   S a p o n - Wh it e ,   S u b jec t   a n a ly sis  train i n g   fo r   c a talo g in g   p a ra p ro fe s sio n a ls:   m o d e f o r   o n g o i n g   lea rn in g   a n d   su p p o rt,   T e c h n ica l   S e rv ice s Qu a rte rly ,   v o l.   2 6 ,   n o .   3 ,   p p .   1 8 3 1 9 3 ,   2 0 0 9 ,   d o i:   1 0 . 1 0 8 0 /0 7 3 1 7 1 3 0 8 0 2 5 2 0 0 1 3 .   [5 ]   C. - A.  Ju li e n ,   B.   As a d i,   J.   D.  Di n n e e n ,   a n d   F .   S h u ,   Li b ra r y   o f   c o n g re ss   s u b jec t   h e a d i n g   (LCS H b r o ws in g   a n d   n a tu ra lan g u a g e   se a rc h in g ,   Pr o c e e d in g o t h e   Asso c ia t io n   fo r   In fo rm a ti o n   S c ie n c e   a n d   T e c h n o lo g y ,   v o l.   5 3 ,     n o .   1 ,   p p .   1 4 ,   2 0 1 6 ,   d o i:   1 0 . 1 0 0 2 /p ra 2 . 2 0 1 6 . 1 4 5 0 5 3 0 1 1 1 6 .   [6 ]   C.   D.  Ba tt y ,   An   in tro d u c ti o n   t o   t h e   De we y   d e c ima c la ss if ica ti o n ,   A sia   P u b l ish in g   H o u se   (1 9 6 6 ),   2 0 1 7 .   [7 ]   A.  M .   F e rris,   Birt h   o a   S u b jec He a d in g ,   L ib ra ry   Res o u rc e s &   T e c h n ica S e rv ice s ,   v o l.   6 2 ,   n o .   1 ,   p .   1 6 ,   2 0 1 8 .   [8 ]   J.  Lee - S m e lt z e a n d   D.  Ha c k lem a n ,   Ac c e ss   to   OSU  Th e se s a n d   Di ss e rtatio n s in   Ke rr  Li b ra ry H o Th e y   Are   Us e d   o Are   Th e y ?   T e c h n ica l   S e rv ice s Qu a rte rly ,   v o l.   1 2 ,   n o .   4 ,   p p .   2 5 4 3 ,   1 9 9 5 ,   d o i:   1 0 . 1 3 0 0 /J1 2 4 v 1 2 n 0 4 _ 0 3 .   [9 ]   R.   E.   S a p o n - W h it e   a n d   M .   Ha n s b ro u g h ,   T h e   imp a c o f   su b jec h e a d in g   a ss ig n m e n o n   c ircu latio n   o d isse rtatio n s   a Virg in ia  Tec h ,   L i b ra ry   re so u rc e &   tec h n ica se rv ice s ,   v o l.   4 2 ,   n o .   4 ,   p p .   2 8 2 2 9 1 ,   1 9 9 8 ,     d o i:   1 0 . 5 8 6 0 /l rts. 4 2 n 4 . 2 8 2 .   [1 0 ]   M .   Ad ler,  J.   T.   Hu b e r,   a n d   A.   T.   Nix ,   S ti g m a ti z i n g   d isa b il it y Li b ra ry   c las sifica ti o n a n d   t h e   m a rk in g   a n d   m a rg in a li z a ti o n   o b o o k a b o u p e o p le  with   d isa b il it ies ,   T h e   L ib r a r y   Qu a rte rly ,   v o l .   8 7 ,   n o .   2 ,   p p .   1 1 7 1 3 5 ,   2 0 1 7 ,   d o i:   1 0 . 1 0 8 6 /6 9 0 7 3 4 .   [1 1 ]   Y. - L.   Lu   a n d   D.  W .   Bian c h i,   T re n d in   p re n a tal  d iag n o sis:  An   a n a ly sis  o 4 0   y e a rs  o M e d ica S u b jec He a d in g   (M e S H) t e rm s in   p u b li c a ti o n s ,   P re n a ta l   Dia g n o sis ,   v o l.   4 0 ,   n o .   1 3 ,   p p .   1 6 3 6 1 6 4 0 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 0 2 / p d . 5 8 7 1 .   [1 2 ]   Y. - J.  Kim ,   C o m p a riso n   o a u th o k e y   wo r d a n d   M e d ica l   S u b jec t   He a d in g   term i n   th e   Jo u rn a l   o f   Ko re a n   S o c iety   o De n tal  Hy g ien e   fro m   2 0 0 1   to   2 0 1 5 ,   J o u rn a l   o K o re a n   so c iety   o De n ta Hy g ien e ,   v o l.   1 8 ,   n o .   6 ,     p p .   1 0 4 7 - 1 0 5 5 ,   2 0 1 8 ,   d o i:   1 0 . 1 3 0 6 5 /j k sd h . 2 0 1 8 0 0 9 0 .   [1 3 ]   F .   S h u ,   J.   D.  Di n n e e n ,   B.   As a d i,   a n d   C. - A.   Ju li e n ,   M a p p in g   sc ie n c e   u sin g   li b ra ry   o f   c o n g re ss   su b jec h e a d in g s,”   J o u rn a o In fo rm e trics ,   v o l.   1 1 ,   n o .   4 ,   p p .   1 0 8 0 1 0 9 4 ,   2 0 1 7 ,   d o i:   0 . 1 0 1 6 /j . jo i . 2 0 1 7 . 0 8 . 0 0 8 .   [1 4 ]   F .   S h u ,   J.  Qi u ,   a n d   V.  Lari v ière ,   M a p p in g   t h e   Li fe   S c ien c e   u sin g   M e d ica S u b jec He a d in g (M e S H),”  in   1 7 t h   In ter n a t io n a C o n fer e n c e   o n   S c ien to me trics   &   In f o rm e trics ,   2 0 1 9 ,   p p .   1 9 2 7 1 9 3 2 .   [1 5 ]   J.  D.  Din n e e n ,   B.   As a d i,   I.   F ri ss e n ,   F .   S h u ,   a n d   C. - A.  J u li e n ,   Im p ro v in g   e x p lo ra ti o n   o t o p ic  h iera rc h ies :   Co m p a ra ti v e   tes ti n g   o sim p li fie d   li b ra ry   o c o n g re ss   su b jec h e a d in g   str u c tu re s,”   in   Pro c e e d in g o th e   2 0 1 8   Co n fer e n c e   o n   Hu ma n   I n fo rm a ti o n   In ter a c ti o n   &   Retrie v a l ,   2 0 1 8 ,   p p .   1 0 2 1 0 9 ,   d o i:   1 0 . 1 1 4 5 /3 1 7 6 3 4 9 . 3 1 7 6 3 8 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  23 ,   No .   2 Au g u s t 2 0 2 1 1 0 4 9   -   1 0 5 8   1058   [1 6 ]   C. - A.  Ju li e n ,   P .   Ti ril l y ,   J .   D.   Din n e e n ,   a n d   C.   G u a sta v in o ,   Re d u c in g   su b jec tree   b ro ws in g   c o m p lex it y ,   J o u rn a o f   th e   Ame ric a n   S o c iety   fo In f o rm a ti o n   S c ien c e   a n d   T e c h n o l o g y ,   v o l.   6 4 ,   n o .   1 1 ,   p p .   2 2 0 1 2 2 2 3 ,   2 0 1 3 ,     d o i:   1 0 . 1 0 0 2 /as i. 2 2 9 1 5 .   [1 7 ]   R.   Ka v u lu r u   a n d   Z.   He ,   Un s u p e rv ise d   m e d ica su b jec h e a d in g   a ss ig n m e n u sin g   o u tp u t   lab e l   c o - o c c u rre n c e   sta ti stics   a n d   se m a n ti c   p re d ica t io n s,”   in   In ter n a ti o n a C o n fer e n c e   o n   A p p li c a ti o n   o f   Na t u ra l   L a n g u a g e   t o   In fo rm a t io n   S y ste ms ,   2 0 1 3 ,   p p .   1 7 6 1 8 8 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 8 8 2 4 - 8 _ 1 5 .   [1 8 ]   R.   Ka v u l u ru   a n d   Y.  Lu ,   Lev e ra g in g   o u tp u term   c o - o c c u rre n c e   f re q u e n c ies   a n d   late n a ss o c iatio n in   p re d ictin g   m e d ica su b jec h e a d i n g s,”   Da ta   &   Kn o wled g e   En g in e e rin g ,   v o l .   9 4 ,   p p .   1 8 9 - 2 0 1 ,   2 0 1 4 ,     d o i:   1 0 . 1 0 1 6 /j . d a tak . 2 0 1 4 . 0 9 . 0 0 2 .   [1 9 ]   K.  G o lu b ,   J.  Ha g e l b ä c k ,   a n d   A.   Ard ö ,   Au to m a ti c   Clas sifica ti o n   o S we d ish   M e ta d a ta  Us in g   De we y   De c im a l   Clas sifica ti o n C o m p a riso n   o Ap p ro a c h e s,”   J o u rn a o D a ta   a n d   In fo rm a t io n   S c ien c e ,   v o l.   5 ,   n o .   1 ,   p p .   1 8 3 8 ,   2 0 2 0 ,   d o i:   1 0 . 2 4 7 8 /j d is - 2 0 2 0 - 0 0 0 3 .   [2 0 ]   E.   S v e n o n iu a n d   D .   M c G a rry ,   Ob jec ti v it y   i n   e v a lu a ti n g   su b jec h e a d in g   a ss ig n m e n t ,   Ca t a lo g i n g   &   c la ss if ica ti o n   q u a rte rly ,   v o l.   1 6 ,   n o .   2 ,   p p .   5 4 0 ,   1 9 9 3 ,   d o i:   1 0 . 1 3 0 0 /J1 0 4 v 1 6 n 0 2 _ 0 2 .   [2 1 ]   K.  Lein in g e r,   In terin d e x e c o n si ste n c y   i n   P sy c IN F O,”   J o u r n a l   o L ib ra ri a n s h ip   a n d   I n fo rm a ti o n   S c ien c e ,   v o l.   3 2 ,   n o .   1 ,   p p .   4 8 ,   2 0 0 0 ,   d o i:   1 0 . 1 1 7 7 /0 9 6 1 0 0 0 6 0 0 0 3 2 0 0 1 0 2 .   [2 2 ]   Y.  S u ,   Y.  Hu a n g ,   a n d   C.   J.  K u o ,   Eff icie n Tex Clas sifica ti o n   Us in g   Tree - stru c tu re d   M u lt i - l in e a P rin c i p a Co m p o n e n A n a ly sis,”   2 0 1 8   2 4 t h   In ter n a ti o n a l   Co n fer e n c e   o n   P a tt e rn   Rec o g n it io n   (IC PR ) ,   2 0 1 8 ,   p p .   5 8 5 - 5 9 0 ,     d o i:   1 0 . 1 1 0 9 /ICP R. 2 0 1 8 . 8 5 4 5 8 3 2 .   [2 3 ]   D.  A.  M e e d e n iy a   a n d   A.  S .   P e re r a ,   Ev a lu a ti o n   o P a rti ti o n - Ba se d   Tex Clu ste rin g   Tec h n i q u e to   C a teg o rize   In d ic  Lan g u a g e   Do c u m e n ts,”   2 0 0 9   I EE I n t e rn a t io n a l   Ad v a n c e   C o mp u t in g   C o n fer e n c e ,   2 0 0 9 ,   p p .   1 4 9 7 - 1 5 0 0 ,     d o i:   1 0 . 1 1 0 9 /IADCC.2 0 0 9 . 4 8 0 9 2 3 9 .   [2 4 ]   J.  M .   P o n te  a n d   W.   B.   Cro ft ,   lan g u a g e   m o d e li n g   a p p r o a c h   t o   i n fo rm a ti o n   re tri e v a l,   in   S IGIR  ' 9 8 Pro c e e d i n g o t h e   2 1 st  a n n u a in ter n a ti o n a ACM   S IGIR  c o n fe re n c e   o n   Res e a rc h   a n d   d e v e lo p me n i n   in f o rm a ti o n   re triev a l 1 9 9 8 ,   p p .   2 7 5 2 8 1 ,   d o i:   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 0 8 .   [2 5 ]   E.   Yu li a n ti ,   R. - C .   C h e n ,   F .   S c h o l e r,   a n d   M .   S a n d e rso n ,   Us in g   se m a n ti c   a n d   c o n tex t   fe a tu re fo r   a n sw e su m m a ry   e x trac ti o n ,   in   Pro c e e d in g o f   th e   2 1 s t   Au str a la si a n   Do c u m e n Co m p u ti n g   S y mp o siu m ,   2 0 1 6 ,   p p .   8 1 8 4 ,     d o i:   1 0 . 1 1 4 5 /3 0 1 5 0 2 2 . 3 0 1 5 0 3 1 .   [2 6 ]   G .   S a lt o n ,   A.  W o n g ,   a n d   C. - S .   Ya n g ,   v e c to sp a c e   m o d e f o a u t o m a ti c   in d e x in g ,   Co mm u n ica ti o n s o t h e   ACM v o l.   1 8 ,   n o .   1 1 ,   p p .   6 1 3 6 2 0 ,   1 9 7 5 ,   d o i:   1 0 . 1 1 4 5 /3 6 1 2 1 9 . 3 6 1 2 2 0 .   [2 7 ]   R.   C.   Be lwa l,   S .   Ra i,   a n d   A.  G u p ta,  Tex su m m a riza ti o n   u sin g   to p ic - b a se d   v e c to r   sp a c e   m o d e l   a n d   se m a n ti c   m e a su re ,   In fo rm a ti o n   Pr o c e ss in g   &   M a n a g e me n t ,   v o l.   5 8 ,   n o .   3 ,   2 0 2 1 ,   d o i:   1 0 . 1 0 1 6 /j . ip m . 2 0 2 1 . 1 0 2 5 3 6 .   [2 8 ]   D.  M e tzle r,   T.   S tr o h m a n ,   H.  T u r tl e ,   a n d   W.   B.   Cr o ft,   I n d ri   a T REC  2 0 0 4 Tera b y te  trac k ,   M a ss a c h u se tt Un iv   Am h e rst  Ce n ter F o I n telli g e n I n fo rm a ti o n   Re tri e v a l,   2 0 0 4 .   [2 9 ]   Y.  Wan g   a n d   H.   F a n g ,   Co m b in i n g   Term - b a se d   a n d   C o n c e p t - b a se d   Re p re se n tatio n   f o Cli n ica Re tri e v a l,   T RE C 2 0 1 7 .   [3 0 ]   S .   Ro b e rtso n ,   H.   Zara g o z a ,   a n d   M .   Tay lo r,   S imp le  B M 2 5   e x ten sio n   to   m u lt i p le  we ig h ted   fiel d s,”   in   Pro c e e d in g o th e   th irtee n t h   AC M   in ter n a ti o n a c o n fer e n c e   o n   I n fo rm a ti o n   a n d   k n o wled g e   m a n a g e me n t ,   2 0 0 4 ,   p p .   4 2 4 9 ,     d o i:   1 0 . 1 1 4 5 /1 0 3 1 1 7 1 . 1 0 3 1 1 8 1 .   [3 1 ]   C.   Ka m p h u is,  A.   P .   d e   Vrie s,  L.   Bo y tso v ,   a n d   J.  Li n ,   Wh ic h   B M 2 5   d o   y o u   m e a n ?   A   larg e - sc a le  re p ro d u c ib il it y   stu d y   o sc o rin g   v a rian ts,” i n   Eu r o p e a n   Co n fer e n c e   o n   In f o rm a ti o n   Retrie v a l ,   2 0 2 0 ,   p p .   2 8 3 4 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 030 - 4 5 4 4 2 - 5 _ 4 .   [3 2 ]   D.  M e tzle a n d   W .   B.   Cro f t,   M a rk o v   ra n d o m   f ield   m o d e l   fo r   term   d e p e n d e n c ies ,   in   Pro c e e d i n g o f   th e   2 8 th   a n n u a in ter n a ti o n a ACM   S IGIR  c o n fer e n c e   o n   Res e a rc h   a n d   d e v e lo p me n i n   in f o rm a ti o n   re triev a l ,   2 0 0 5 ,     p p .   4 7 2 4 7 9 ,   d o i:   1 0 . 1 1 4 5 / 1 0 7 6 0 3 4 . 1 0 7 6 1 1 5 .   [3 3 ]   E.   Yu li a n ti ,   R. - C.   C h e n ,   F .   S c h o ler,  W.   B.   Cr o ft,   a n d   M .   S a n d e rso n ,   Ra n k in g   d o c u m e n ts  b y   a n sw e r - p a ss a g e   q u a li t y ,   in   S IGIR  ' 1 8 :   T h e   4 1 st  I n ter n a ti o n a AC M   S IGIR  Co n fer e n c e   o n   Res e a rc h   &   De v e lo p me n in   In f o rm a ti o n   Retrie v a l ,   2 0 1 8 ,   p p .   3 3 5 3 4 4 ,   d o i :   1 0 . 1 1 4 5 /3 2 0 9 9 7 8 . 3 2 1 0 0 2 8 .   [3 4 ]   T .   V .   R a m p i s e l a   a n d   E .   Y u l i a n t i ,   S e m a n t i c - B a s e d   Q u e r y   E x p a n s i o n   f o r   A c a d e m i c   E x p e r t   F i n d i n g ,   2 0 2 0   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A s i a n   L a n g u a g e   P r o c e s s i n g   ( I A L P ) ,   2 0 2 0 ,   p p .   3 4 - 3 9 ,   d o i :   1 0 . 1 1 0 9 / I A L P 5 1 3 9 6 . 2 0 2 0 . 9 3 1 0 4 9 2 .   [3 5 ]   T.   V.  Ra m p ise la  a n d   E .   Y u li a n ti ,   Ac a d e m ic  Ex p e rt  F in d in g   i n   In d o n e sia   u sin g   Wo r d   Emb e d d i n g   a n d   Do c u m e n t   Emb e d d i n g :   Ca se   S tu d y   o F a silk o m   UI ,   2 0 2 0   8 t h   I n ter n a ti o n a C o n fer e n c e   o n   I n fo rm a t io n   a n d   Co mm u n ica ti o n   T e c h n o l o g y   (IC o ICT ) ,   2 0 2 0 ,   p p .   1 - 6 ,   d o i 1 0 . 1 1 0 9 / ICo ICT4 9 3 4 5 . 2 0 2 0 . 9 1 6 6 2 4 9 .   [3 6 ]   E.   Yu li a n t i,   R.   Ch e n ,   F .   S c h o ler,   W.   B.   Cro ft  a n d   M .   S a n d e rso n ,   Do c u m e n S u m m a riza ti o n   fo A n sw e rin g   No n - F a c to id   Qu e ries ,   in   IEE T ra n sa c ti o n o n   Kn o wled g e   a n d   Da t a   En g in e e rin g ,   v o l.   3 0 ,   n o .   1 ,   p p .   1 5 - 2 8 ,   2 0 1 8 ,     d o i:   1 0 . 1 1 0 9 /T KD E. 2 0 1 7 . 2 7 5 4 3 7 3 .   [3 7 ]   E.   Yu li a n ti ,   S .   Hu s p i,   a n d   M .   S a n d e rso n ,   Twe e t - b ias e d   s u m m a riza ti o n ,   J o u rn a l   o f   t h e   Asso c ia ti o n   fo In fo rm a t io n   S c ien c e   a n d   T e c h n o l o g y ,   v o l .   6 7 ,   n o .   6 ,   p p .   1 2 8 9 1 3 0 0 ,   2 0 1 6 ,   d o i:   1 0 . 1 0 0 2 /as i. 2 3 4 9 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.