T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   18 ,   No .   4 A u g u s t   2020 ,   p p .   1 9 1 7 ~ 1 9 2 5   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 8 i4 . 1 4 3 8 9     1917       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Sing le docu m en k ey w o rds ex traction in Ba ha sa  Indo nesia     using  phras e chu nk i ng       I   Ny o m a n P ra y a na   T risn a Arif   Nurw idy a nto ro   De p a rt m e n o f   Co m p u ter S c ien c e ,   F a c u lt y   o f   M a th e m a ti c s a n d   Na tu ra S c ien c e s Un iv e rsitas   G a d jah   M a d a ,   In d o n e sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  2 3 2019   R ev i s ed   Ma r   5 ,   2 0 2 0   A cc ep ted   Ma r   1 8 ,   2 0 2 0       Ke y w o rd h e lp   re a d e rs  to   u n d e rsta n d   th e   i d e a   o f   a   d o c u m e n q u ick ly .   Un f o rtu n a tely ,   c o n sid e ra b le  ti m e   a n d   e f f o rt  a re   o f ten   n e e d e d   to   c o m e   u p   w it h   a   g o o d   se o f   k e y w o rd m a n u a ll y .   T h is  re se a r c h   f o c u se d   o n   g e n e ra ti n g   k e y w o rd f ro m   a   d o c u m e n a u t o m a ti c a ll y   u sin g   p h ra se   c h u n k i n g .   F irstl y ,     w e   c o ll e c ted   p a rt  o f   sp e e c h   p a tt e rn f ro m   a   c o ll e c ti o n   o f   d o c u m e n ts.  S e c o n d ly ,   we   u se d   th o se   p a tt e rn to   e x trac c a n d id a te  k e y wo rd f ro m     th e   a b stra c a n d   th e   c o n ten o f   a   d o c u m e n t.   F in a ll y ,   k e y w o rd a r e   se lec ted   f ro m   th e   c a n d id a tes   b a se d   o n   th e   n u m b e o f   w o rd in   th e   k e y w o rd   p h ra se a n d   so m e   sc e n a rio in v o l v in g   c a n d i d a te  re d u c ti o n   a n d   so rti n g .   We  e v a lu a ted   th e   re su lt   o f   e a c h   sc e n a rio   u sin g   p re c isio n ,   re c a ll ,   a n d   F - m e a su re .     T h e   e x p e ri m e n re su lt sh o w i)  sh o rter - p h ra se   k e y w o rd w it h   strin g   re d u c ti o n   e x trac ted   f ro m   th e   a b stra c a n d   so rted   b y   f re q u e n c y   p ro v id e   th e   h ig h e st  sc o re ,   ii i n   e v e r y   p ro p o se d   sc e n a rio ,   e x trac ti n g   k e y wo rd u sin g   th e   a b stra c a lw a y p re se n ts  a   b e tt e re su lt ,   i ii u sin g   sh o rter - p h ra se   p a tt e rn s   in   k e y w o rd e x tra c ti o n   g iv e b e tt e sc o re   in   c o m p a riso n   t o   u sin g   a ll   p h ra se   p a tt e rn s,  iv so rt in g   sc e n a rio b a se d   o n   t h e   m u lt ip li c a ti o n   o f   c a n d id a te  f re q u e n c ies   a n d   th e   w e ig h o f   th e   p h ra se   p a tt e rn o f f e b e tt e re su lt s.   K ey w o r d s :   Ke y w o r d   ca n d id ate   Ke y w o r d   ex tr ac tio n   P h r ase  ch u n k i n g   P h r ase  p atter n   Sin g le  d o cu m en t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   A r i f   N u r w id y a n to r o ,     Dep ar t m en t o f   C o m p u ter   Scie n ce   an d   E lectr o n ic s ,   Facu lt y   o f   Ma t h e m atic s   an d   N atu r al  Scie n ce s   Un i v er s ita s   Gad j ah   Ma d a,   B u lak s u m u r ,   Yo g y a k ar ta,   I n d o n esia.   E m ail: a r i f n @ m ail. u g m . ac . id       1.   I NT RO D UCT I O N   Ke y w o r d s   ar s eq u en ce   o f   w o r d s   o r   p h r ases   th at  r ep r esen t h co n te n o f   d o cu m en [ 1 ,   2 ] .   Ke y w o r d s   ar in cl u d ed   p r im ar il y   to   h elp   r ea d er s   q u ick l y   u n d er s ta n d   th m ain   id ea   o f   th d o cu m en t .   Fu r t h er m o r e,   k e y w o r d s   ca n   also   b u tili ze d   to   s u p p o r co n ten a n al y s i s   o f   d o cu m e n t,  s u ch   a s   co n te n t   m atc h in g   [ 3 ] ,   d o cu m e n ca t eg o r izatio n   [ 4 ] ,   d o cu m e n b r o w s i n g   [ 5 ] ,   an d   d o cu m e n s u m m ar izatio n   [ 6 ] Ho w e v e r ,   co m i n g   u p   w it h   k e y w o r d s   m a n u al l y   n ee d s   c o n s id er ab le  ti m e   an d   e f f o r t   [ 2 7 ] .   Mo r eo v er ,   s u b j ec tiv it y   i s   a n o th er   p r o b le m   t h at  m a y   ar i s i n   m an u al  k e y w o r d s   g e n er atio n   d u to   th e   d if f er en t   b ac k g r o u n d s ,   k n o w led g e,   ex p er ien ce ,   etc.   o f   th au t h o r s .   Au to m at ic  k e y w o r d   ex tr ac tio n   t ec h n iq u es  p r o v id   m ea n s   to   ad d r ess   th is   s u b j ec tiv it y   li m itat io n   o f   m an u al  k e y w o r d   cr ea tio n   [ 5 ,   8 ].   Ke y w o r d s   ca n   b e x tr ac ted   f r o m   b o th   a   s i n g le  d o cu m e n o r   co llectio n   o f   d o cu m e n ts .   E x tr ac tin g   k e y w o r d s   f r o m   s i n g le  d o cu m en t,  as   t h f o cu s   o f   t h is   p a p er ,   ai m s   to   o b tain   th e   es s en tial  r ep r esen tat io n     o f   t h at  d o cu m e n [ 9 ] .   O n   t h e   o th er   h a n d ,   ex tr ac ti n g   k e y wo r d s   f r o m   a   co llectio n   o f   d o cu m e n t s   i s   u s u all y   in te n d ed   to   co m p ar a n d   clas s if y   ea c h   d o cu m e n t   in to   s o m ca teg o r ies.   P r ev io u s   r esear c h   p r o p o s ed   v ar io u s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   4 A u g u s t 2 0 2 0 :    1 9 1 7   -   1 9 2 5   1918   m et h o d s   to   ex tr ac k e y w o r d s   au to m at icall y   in   s i n g le  d o cu m e n t.  T h ese  ap p r o ac h es  ca n   b ca teg o r ized   in to     5   s i m ilar   ap p r o ac h es:   s tati s t ic  ap p r o ac h ,   lin g u is t ic  ap p r o ac h ,   g r ap h - b ased   ap p r o ac h ,   m ac h i n lear n i n g   ap p r o ac h ,   an d   th co m b i n atio n   o f   t h ese  ap p r o ac h es  [ 1 0 1 1 ] .   J o n ath an   a n d   Kar n ali m   r ep r esen ted   au to m atic  k e y w o r d   ex tr ac tio n   as  cla s s i f icat io n   p r o b lem .     T h ey   u tili ze d   s tat is tical  f ea t u r es  o f   ca n d id ate  k e y w o r d s ,   s u ch   a s   ter m   f r eq u en c y   ( T F),   in v er s d o cu m e n t   f r eq u en c y   ( I DF) ,   an d   th co m b in atio n   o f   b o th   ( T F - I DF)   [ 1 2 ] .   T F - I DF  also   u s ed   as  a   f ea tu r f o r   th class i f ier   b y   Z h a n g   et  al.   [ 1 3 ] ,   a m o n g   o th er   w o r d   f ea t u r es.  Am o n g   al o f   t h ese   f ea tu r es   f r o m   p r ev i o u s   r esear c h ,   T is     th o n l y   f ea t u r ap p licab le  to   s in g le  d o cu m en k e y w o r d s   g en er atio n   b ec au s I DF  n ee d s   co llectio n   o f   d o cu m en ts .   T h r esu l f r o m   J o n ath a n   an d   Kar n ali m   [ 1 2 ]   s h o w s   t h at  u s i n g   T g iv e s   d ec en p er f o r m a n ce ,     b u n o t   as  g o o d   as  u s i n g   I D F.  W co n s id er ed   T as  s ce n ar io   in   o u r   s tu d y ,   b u t   w e   ar g u e   th a u s i n g   class i f icatio n   ap p r o a ch   w it h   m ac h i n lear n i n g   i n   k e y wo r d   ex tr ac tio n   co u ld   b tr o u b leso m e   d u to     th p o s s ib le  i m b ala n ce   s e t b etw ee n   k e y w o r d   an d   n o n - k e y wo r d   ca n d id ates.   An o th er   m e th o d   r an k s   ca n d id ate  k e y w o r d s   to   d eter m i n k e y w o r d s   f r o m   s in g le  d o cu m e n b ased   o n   th s tat is tical   f ea t u r es  o f   t h d o cu m en co n te n t.  Fo r   ex a m p le,   I m r a n   et  al.   [ 1 4 ]   p r o p o s ed   lin g u i s tic - b ased   m o d el   ca lled   v is u al n es s   w i th   les k   d is a m b i g u a tio n   ( V L D)   to   g at h er   ca n d id ate  k e y w o r d s   f o llo w ed   b y   w o r d   s en s d is a m b ig u atio n   an d   v is u al  s i m ilar it y   to   d eter m i n t h i m p o r tan k e y w o r d s .   C o m b i n in g   s tati s tic al   a n d   lin g u i s tic s   ap p r o ac h es,  th to p   ca n d id ate  o f   k e y w o r d s   ar ac q u ir ed   b y   m ea s u r i n g   h o w   w ell  t h ca n d id ate s   d escr ib th d o cu m en t   titl e.   Un f o r tu n atel y ,   th i s   tec h n iq u e   o n l y   ab le  to   g e n er ate  s i n g l e - w o r d   k e y w o r d s ,   w h er ea s ,   i n   r ea lit y ,   it i s   co m m o n   f o r   k e y w o r d   to   h av m o r th an   o n w o r d   [ 1 5 ].   An o th er   ap p r o ac h   ca lled   T ex tR a n k   i s   p r o p o s ed   b y   Mi h alce a n d   T ar au   [ 1 6 ] .   T h i s   m eth o d   tr an s f o r m ed   th d o cu m en tex in to   g r ap h   i n   w h ich   th n o d es  ar th w o r d s   an d   th ed g es  ar e     th co - o cc u r r en ce   b et w ee n   co r r esp o n d in g   w o r d s   in   s e v er al  s izes  o f   w i n d o w s .   T ex tR an k   i s   th e n   m o d if ied   in to   Sin g le R an k   an d   E x p a n d R an k   [ 1 7 ]   w h ic h   co u ld   g i v an   i m p r o v ed   r esu lt  o v er   T ex tR an k   b u w er s til l   o u tp er f o r m ed   b y   th T F - I D ap p r o ac h   [ 1 8 ] .   T ex tR an k   i s   t h en   f u r th er   i m p r o v ed   b y   L a n d   W an g   [ 1 9 ]   w it h   k n o w n   k e y w o r d s   as  d o m a in   k n o w led g to   g e n er ate  t h p h r ase  n et w o r k .   T h ad d itio n   o f   d o m ai n   k n o w led g e   p r o v id es  b etter   r esu lt  th an   th o r ig in al  T ex tR a n k ,   b u d o m ai n   k n o w led g o f   d o cu m en is   n o al w a y s   av ailab le.   O n   s i m ilar   ap p r o ac h   u s in g   g r ap h - b ased ,   L a h ir et  al.   [ 2 0 ]   ex a m i n ed   n u m b er   o f   ce n tr al it y   m ea s u r es  s u ch   a s   d eg r ee ,   w e ig h ted   d eg r ee ,   an d   P ag eRan k   to   d eter m in t h r an k   o f   k e y w o r d   ca n d id ates.    T h eir   r esu lt  s h o w ed   th at  ev e n   th o u g h   th er w as  an   i m p r o v e m e n t,  t h u s o f   ce n tr alit y   m ea s u r es  co u ld   n o t   o u tp er f o r m   t h u s o f   T F a n d   T F - I DF.   d if f er en ap p r o ac h   i s   p r o p o s ed   b y   B h o wm i k   [ 2 1 ]   w h i ch   g en er ate s   ca n d id ate  k e y wo r d s   f r o m     th titl an d   t h ab s tr ac o f   d o cu m en u s in g   th P er ce p tr o n   T r ain in g   R u le.   B h o wm i k   also   u s ed   th lo ca tio n   o f   k e y w o r d   ca n d id ates  i n   p ar ag r ap h   as  th w ei g h f o r   s elec ti n g   t h o s ca n d id ate  k e y w o r d s .   T h r esu lt  s h o w ed   th a u s i n g   o n l y   th d o cu m en t’ s   ab s tr ac i s   n o s u f f icie n f o r   k e y w o r d s   g e n er atio n .   L u   et  al.   [ 2 2 ]   p r o p o s ed   an o t h er   ap p r o ac h   b y   u tili z in g   th r ef er e n ce s   o f   t h d o cu m e n as  th k e y w o r d s   s o u r ce   u s i n g   t h e   L o ca lMa x   al g o r ith m .   B o th   B o wm i k   [ 2 1 ]   an d   L u   et  al.   [ 2 2 ]   p r o v id e d   p er f o r m a n ce   ev al u at io n s   b y   co m p ar in g   th g e n er ated   k e y w o r d s   w it h   th ac tu al  k e y w o r d s   f r o m   th d o cu m e n d ataset.   W ad o p th is   ap p r o ac h   to   ev alu a te  th p er f o r m a n ce   o f   o u r   k e y w o r d s   g en er ato r .   Dif f er en f r o m   o t h er   p r ev io u s   s tu d ie s ,   Sh u k la  an d   Ka k k ar   p r o p o s ed   an   ap p r o ac h   ca lled   No u n - P h r ase   C h u n k i n g   [ 2 3 ] .   T h is   m e th o d   o n l y   co n s id er s   n o u n   p h r ases ,   w h ic h   ar m a n u all y   s p ec if ied ,   to   ex tr ac p h r ases   f r o m   t h te x d o cu m e n t.  T h is   ch u n k i n g   m et h o d   o n l y   ex tr ac ts   ca n d id ate  k e y w o r d s   w i th   th lo n g e s p h r ase.     A ll e x tr ac ted   ca n d id ate  k e y w o r d s   w er ass i g n ed   as k e y w o r d s ,   w i th o u t a n y   s elec t io n s   o r   ev alu atio n s .   T h p h r ase  ch u n k i n g   m eth o d   is   s tr aig h tf o r w ar d   b ec au s it  u s es  p ar o f   s p ee ch   ( P OS)   p atter n s   to   ex tr ac t h k e y w o r d s   p h r ase s .   T h is   m et h o d   is   al s o   f lex ib le  in   ter m s   o f   p r o v id in g   co n tr o to   d eter m in w h ic h   p h r ase  p atter n s   u s ed   to   ex tr a ct  th k e y w o r d s .   T h p r ev io u s   p h r a s ch u n k i n g   m e th o d   p r o p o s ed   b y   S h u k l a     an d   Ka k k ar   [ 2 3 ]   u s ed   s e v er al   s el f - d e f i n ed   p atter n s .   W ar g u e   t h at  u s i n g   s elf - d e f in ed   p atter n s   m a y   lead   to     th l i m ited   co v er a g o f   p h r a s p atter n   p o s s ib ilit ie s ,   i.e . ,   s o m e   k e y w o r d   p atter n s   m a y   a p p r o p r iate  b u n o t   s elec ted .   I n   t h is   p ap er ,   w e   p r o p o s ed   to   ad d r ess   th l i m itat io n   o f   t h is   p h r ase  c h u n k i n g   m eth o d   b y   au to m at icall y   g en er ate  p atter n s   u s i n g   co llectio n   o f   d o cu m en ts .   T h er ef o r e,   th co n tr ib u ti o n s   o f   th i s   r esear ch   ar as f o llo w s   a.   W p r o p o s ed   ap p r o ac h es  f o r   g en er ati n g   p h r ase   p atter n s   f r o m   co llectio n   o f   d o cu m e n t s ,   as  an   a lter n ati v e   to   s elf - d ef i n ed   p atter n s   p r o p o s ed   b y   S h u k la  a n d   Kak k ar   [ 2 3 ] ,   b.   W attem p ted   to   r ed u ce   th n u m b er   o f   k e y w o r d s   b y   co n d u cti n g   ca n d id ate  r ed u ctio n   as  p ar o f   o u r   ex p er i m e n t,   c.   W co n d u cted   ex p er i m e n t s   u s in g   s e v er al  k e y w o r d s   e x tr ac tio n   s ce n ar io s ,   s u ch   as  d i f f er en s o u r ce s   o f   k e y w o r d s ,   ca n d id ate  k e y w o r d s   s elec tio n s ,   an d   p h r ase  p atter n s   v ar iatio n s ,   an d   p r o v i d p er f o r m a n ce   co m p ar is o n s   b et w ee n   th o s d if f er en t sce n ar io s .   Ou r   ex p er i m en i n cl u d r ep licatio n   o f   t h m eth o d   p r o p o s ed   b y   S h u k la  a n d   Kak k ar   [ 2 3 ] ,   b u f o r   B ah asa  I n d o n e s ia,   w i th   s e v er al  ad j u s t m e n t s 1 )   w g e n er at ed   p h r ase  p atter n s   f r o m   th e   d o cu m e n ts   i n s tead   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         S in g le  d o cu men t k ey w o r d s   ex tr a ctio n   in   B a h a s a   I n d o n esia …  ( I   N yo ma n   P r a ya n a   Tr is n a )   1919   u s i n g   s el f - d ef i n ed   p atter n s ,   2 )   w r ed u ce d   t h n u m b er   o f   y i eld ed   k e y w o r d s   f r o m   ca n d id a te  in s tead   o f   u s i n g   all  ca n d id ates  a s   k e y w o r d s .   C o m p ar ed   to   th eir   m et h o d   w it h   th a f o r e m e n tio n ed   ad ju s t m e n ts ,   o u r   r es u lt   s h o w ed   an   i m p r o v e m e n t o f   p er f o r m an ce   b ased   o n   t h f - m ea s u r o f   t h ex tr ac ted   k e y w o r d s .       2.   RE S E ARCH   M E T H O D   W p r o p o s ed   an   au to m atic   k e y w o r d   ex tr ac tio n   tec h n iq u u s i n g   p h r ase   ch u n k in g .   F ig u r 1   s h o w s     th m et h o d o lo g y   o f   t h is   r e s ea r ch .   First,  w co llected   an d   p r ep ar ed   co llectio n   o f   d o cu m en ts   a s   o u r   d ata s et.   T h en ,   w lab eled   ea ch   w o r d   in   ev er y   d o cu m en t   in   th d a ta s et  w it h   it s   co r r esp o n d in g   p ar o f   s p ee ch   ( P OS)   au to m at icall y   b y   u t ilizi n g   a n   au to m ated   ta g g er .   Af ter w ar d ,   w d ev elo p ed   p h r ase  p atter n s   b ased   o n   th p ar   o f   s p ee ch   o f   th k e y w o r d s   i n   t h d ataset.   T h en ,   w e m p l o y ed   p h r a s ch u n k i n g ,   i.e . ,   ex tr ac ti n g   ca n d i d ate  k e y w o r d s   f r o m   th d o cu m en t s   u s i n g   th p h r ase  p atter n s .   L ast l y ,   w co n d u cted   ex p er i m en ts   i n   k e y w o r d s   s elec tio n   u s in g   a   n u m b er   o f   s ce n ar io s   a n d   ev al u ate  th r e s u lts .   T h r e m ai n d er s   o f   th is   s ec tio n   e x p lain   ea c h   s tep   in   m o r d etail .           Fig u r e   1.   Me th o d o lo g y       2 . 1.   Do cum e nt  co llect io n a nd   prepa ra t io n     I n   t h is   r esear ch ,   w e   u s ed   E - J u r n al   Ak u n ta n s i   f r o m   U n i v er s ita s   Ud a y a n a   [ 2 4 ]   as  o u r   d ataset.     T h is   j o u r n al  is   a n   o p en - ac ce s s   j o u r n al  i n   t h ac co u n ti n g   f i eld   w r itte n   i n   B a h asa  I n d o n e s ia.   W r an d o m l y   s elec ted   1 5 0   p u b licatio n s   f r o m   v o lu m 1 4 2 0 1 6   t o   v o lu m 1 8 2 0 1 7   o f   th j o u r n al  as  o u r   d ataset.     W d iv id ed   ea ch   d o cu m en in to   t h r ee   d if f er en p ar ts ,   n a m el y   ab s tr ac t,  k e y w o r d s ,   a n d   co n ten tex t   ( o r     th m ai n   tex t   o f   t h d o cu m e n t) .   W u s ed   th e s d i f f er en t   p ar ts   s ep ar atel y   i n   th i s   r esear c h .   T h ab s tr ac t   an d   co n ten t   te x i s   u s ed   as   th e   s o u r ce   f o r   t h e   k e y w o r d   ex tr a ctio n ,   w h ile   th e   k e y w o r d s   ar u s ed   to   g en er at e     th p h r a s p atter n s .   W o m it ted   th t itle,  s ec tio n   h ea d er s ,   an d   r ef er e n ce s .   Af ter   co llect in g   t h d o cu m en ts ,   s ev er al  p r e - p r o ce s s in g   tech n i q u es,  n a m e l y   n o n - AS C I I   ch a r ac ter s   r e m o v a l,  p u n ct u atio n   s p ac in g ,   n e w li n e s   r e m o v al,   a n d   e x ce s s iv e   w h ite  s p ac es  r e m o v al,   w er co n d u ct ed .   T h ese  p r e - p r o ce s s in g   w er e   p er f o r m ed   to   ea c h   p ar t ( i.e . ,   a b s tr ac t,  k e y w o r d s ,   an d   co n ten t te x t)   o f   t h d atase t.     2 . 2 P O t a g g ing   Af ter   d o cu m e n p r ep ar atio n ,   w e   lab eled   ea ch   w o r d   o f   ea ch   d o cu m en i n   t h d atas et  w it h   it s   co r r esp o n d in g   p ar o f   s p ee ch ,   i.e . ,   P OS  tag g i n g .   T h lab eli n g   p r o ce s s   w as   co n d u c ted   u s in g   t h I n d o n e s ia n   P OS  T ag g er   to o an d   th tag s e p r o v id ed   b y   W icak s o n o   an d   P u r w ar ia n ti  [ 2 5 ] .   I n   th ab s t r ac an d   th co n te n t   tex t,  P OS   tag g i n g   w a s   ap p lied   d ir ec tl y   to   t h te x t.  L ab eli n g   p ar o f   s p ee c h   to   t h e   k e y w o r d s   is   n o tr i v ial  s i n ce   k e y w o r d s   ar u n li k th e   ab s tr ac o r   th e   co n te n t   tex t,   wh ich   co n s i s t s   o f   s en te n ce s .   T h u s ,   P OS  ta g g i n g   k e y w o r d s   w as  co n d u cted   b y   u ti lizin g   th e   P OS  s eq u en ce   o f   t h k e y w o r d s   f o u n d   i n   b o th   t h ab s tr ac t     an d   t h co n ten t   te x t.  Fo r   ex a m p le,   to   lab el   t h k e y w o r d   r a s io   ke u a n g a n ”,   w e   u s ed   t h lab eled   ab s tr ac t     an d   co n ten te x an d   s ea r ch   f o r   r a s io   ke u a n g a n ”  as  p h r ase  in   th tex t,  n o j u s s in g le  w o r d   o f   r a s io ”  o r   ke u a n g a n ”.   I f   th p h r ase   is   f o u n d   in   t h te x t,  w lab eled   th k e y w o r d s   p h r ase  w i th   th P OS  tag s   o f   th a t   p h r ase  f o u n d   i n   th te x t.  I n   t h ca s o f   m o r th a n   o n P OS  s eq u en ce   f o u n d ,   b ec au s k e y w o r d   p h r ase  m a y   o cc u r   m o r t h an   o n ce   i n   th e   tex t,  th e   k e y w o r d   w ill  b l ab eled   w it h   t h m o s t   f r eq u e n tl y   o cc u r r ed   P OS  s eq u en ce .   W u s ed   th e   P OS  tag g ed   k e y w o r d s   s et   i n   t h n ex s tep ,   p h r ase  p atter n   d ev el o p m e n t,  to   e x tr ac t   k e y w o r d s   f r o m   t h tag g ed   ab s tr ac t a n d   co n ten t te x t.     2 . 3 .   P hra s pa t t er n dev elo p m e nt     P h r ase  p atter n   is   d ef in ed   as  th P OS  tag   s eq u en ce   t h at  f o r m s   k e y w o r d   p h r ase.   P h r ase  p atter n s   ar u s ed   to   o b tain   th ca n d id ate  k e y w o r d s   f r o m   th te x t.  Fo r   ex a m p le,   f o r   p h r ase  p atter n   ”NN   J J   ( n o u n   f o llo w ed   b y   an   ad j ec tiv e) ,   w e   ex tr ac ted   all  p h r ases   in   th te x h a v i n g   t h ”NN   J J ”  tag   s eq u en ce   as  ca n d id ate   k e y w o r d s .   I n   t h p r ev io u s   s t u d y ,   S h u k la  a n d   Kak k ar   m a n u al l y   d e f in ed   t h p h r ase  p a tter n s   [ 2 3 ] .   I n   th is   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   4 A u g u s t 2 0 2 0 :    1 9 1 7   -   1 9 2 5   1920   re s ea r ch ,   w u s ed   an   au to m a ted   ap p r o ac h   b y   co llecti n g   t h p h r a s p atter n s   f r o m   all  t ag g ed   k e y w o r d s   i n     th d ataset,   s i m ilar l y   r e s e m b l in g   t h k n o w led g d o m ai n   f r o m   p r io r   r esear ch   [ 1 9 ] T o   s e lect  th cr iter ia  f o r     th e   e x p er i m e n t,  w e   also   co lle cted   th p atter n s   o cc u r r e n ce s   i n   t h d ataset   as  th e   p atter n s   w ei g h t .   T ab le  1   s h o w ed   e x a m p le s   o f   p h r ase  p atter n s   f o u n d   i n   t h d atase t.  F o r   ex a m p le,   i n   T ab le  1 ,   p h r ase  p atter n   ”NN   NN”   ( o r   n o u n   f o llo w ed   b y   a n o th er   n o u n )   o cc u r r ed   2 3 5   tim e s   i n   th d ata s et,   w h ic h   t h e n   b ec o m e s   t h w ei g h o f   th at  p atter n   ( i.e . ,   p h r ase  p atter n   w ei g h t) .       T ab le   1.   So m ex a m p les o f   ex tr ac ted   p h r ase  p atter n s   an d   t h e ir   w ei g h t   P h r a se   P a t t e r n   P h r a se   P a t t e r n   W e i g h t   N N   N N   2 3 5   N N   N N   N N   44   N N   JJ   15       2 . 4 .   P hra s c hunking     Af ter   h a v i n g   lis o f   p h r ase   p atter n s   f r o m   t h d ataset,   w e x tr ac ted   ca n d id ate  k e y wo r d s   f r o m     th ab s tr ac t   an d   t h co n ten te x u s i n g   p h r a s ch u n k in g .   W co llected   all  p h r ase s   f r o m   t h P OS  tag g ed   tex i n   th d atase ( tag g ed   ab s tr ac t s   a n d   co n te n tex t s ) ,   h a v i n g   t h s a m p h r ase  p atter n   f r o m   o u r   p h r ase  p atter n s   li s t.  Fig u r 2   s h o w s   an   e x a m p le  o f   p h r ase  ch u n k i n g   p r o ce s s .   Usi n g   N N   N N ”  as  th p h r ase  p atter n ,   w e x tr ac ted   kin erja / N N   p eru s a h a a n /N N ”,   ko n d is i/ N N   ke u a n g a n /N N ”,   etc.   as  t h ca n d id ate  k e y w o r d s   f r o m   t h ta g g ed   co n ten t te x t.     Du r in g   t h p r o ce s s ,   w f o u n d   p h r ases   w it h   o v er lap p in g   w o r d s .   Fo r   ex a m p le,   ko n d is i   ke u a n g a n ”  an d   ke u a n g a n   p eru s a h a a n ”  a r o v er lap p ed   w it h   ko n d is k eu a n g a n   p eru s a h a a n ”.   W e   k ep all  th o s p h r ases   f o r   ca n d id ate  s e lectio n   in   th e   n e x t   s tep .   T h is   ap p r o ac h   i s   d i f f er en t   f r o m   t h ap p r o ac h   p r o p o s ed   b y   S h u k la  a n d   Kak k ar   [ 2 3 ]   b ec au s th e y   o n l y   co n s id er   th lo n g e s o v er lap p in g   w o r d s   a s   th e   ca n d id ate.   Usi n g   t h is   ex a m p le,   Sh u k la  a n d   Kak k ar s   ap p r o ac h   w il o n l y   co n s id er   ko n d is ke u a n g a n   p eru s a h a a n   b u n o ko n d is i   ke u a n g a n ”  an d   ke u a n g a n   p e r u s a h a a n ”  as  th ca n d id ates.   W ar g u e   th a o u r   ap p r o ac h   w ill  b b e n ef ic ial  s in ce   s h o r ter   p h r ase  s till   ca n   b ec o m a   k e y w o r d .   T ab le  2   s h o w s   s e v er al  e x a m p le s   o f   c an d id ate  k e y w o r d s   ex tr ac ted   f r o m   th d ata s et.   W r ec o r d e d   th o cc u r r en ce s   o f   ea ch   ca n d id ate  i n   th d ataset  a s     th ca n d id ate  w ei g h alo n g   w i th   t h p h r ase  p atter n   w e ig h f o u n d   i n   t h e   p r ev io u s   s tep   ( se c tio n   2 . 3 . ) .   W u s ed   th ese  w ei g h ts   i n   t h k e y w o r d s   s elec tio n   p r o ce s s .           Fig u r 2.   I llu s tr atio n   o f   th p h r ase  ch u n k in g   p r o ce s s       T ab le   2 E x am p le  o f   e x tr ac ted   ca n d id ate  k e y w o r d s   C a n d i d a t e   C a n d i d a t e   W e i g h t   P h r a se   P a t t e r n   P h r a se   P a t t e r n   W e i g h t   k i n e rj a   p e ru s a h a a n   2   N N   N N   2 3 5   k o n d i si   k e u a n g a n   1   N N   N N   2 3 5   k e u a n g a n   p e r u s a h a a n   1   N N   N N   2 3 5   p res t a s i   k i n e r j a   1   N N   N N   2 3 5   ra si o   k e u a n g a n   1   N N   N N   2 3 5   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         S in g le  d o cu men t k ey w o r d s   ex tr a ctio n   in   B a h a s a   I n d o n esia …  ( I   N yo ma n   P r a ya n a   Tr is n a )   1921   2 . 5 .   K e y wo rd  e x t ra ct io n     B e f o r e   c o n d u c t in g   k ey w o r d s   s e l e c t i o n ,   w e   r em o v e d   k ey w o r d s   f r o m   th l is t o f   c an d i d at e   k ey w o r d s   th at  o c c u r r e d   o n ly   o n c in   th e   s o u r c e   t ex t .   W e   a r g u e   k ey w o r d s   th at   o c cu r r e d   o n ly   o n ce   in   a   d o c u m en t   a r n o t   s u f f i c i en t   t o   r e p r es en t   th e   m a in   i d e a   o f   th a t   d o cu m en t .   A f t e r w a r d ,   w e   s o r t e d   th e   r em a in i n g   c a n d i d a te s   b y   th e ir   c a n d i d at e   w eig h t   an d   p h r as e   p a t t e r n   w ei g h t .   I n   k ey w o r d s   s e l e c t i o n ,   w e   s o r t e d   th c an d i d a t e   k ey w o r d s   u s in g   s ev e r a l   s c en a r i o s   o f   m u l ti p l i ca t i o n   b etw e en   th e   c an d i d at e   w ei g h t   a n d   p h r as e   p a tt e r n   w eig h o f   e ac h   c an d i d a t k ey w o r d   ( as   t h e   s o r t in g   b as e ) .   T h e   t o p   f i v c an d i d at e s   b a s ed   o n   t h e   s o r t in g   b as e   a r t ak en   as   th e   k ey w o r d s .     I n   an o th e r   c as e ,   if   o th e r   c an d i d a t e s   h av e   t h e   s am e   s o r t in g   b a s e   v a lu e   a s   in   t h e   f if t h   p o s i t i o n   o f   s o r t e d   k ey w o r d s ,   t h o s e   c an d i d a t es   a r e   a ls o   t ak en   a s   k ey w o r d s .   F o r   ex am p l e ,   i f   th e   s ix th   an d   s ev en t h   p o s i t io n   c an d i d a t es   h av   t h s am s o r tin g   b a s v a lu e   as   th e   f if th   p o s i t i o n   k ey w o r d s ,   b o t h   c an d i d a t es   a r t ak en   as  k ey w o r d s   as   w el l .   A n o th e r   c a s e   in   w h i ch   t h e r e   ar e   s ev e r al   c an d i d a te s   w i th   th e   s am e   s o r t in g   b as e   v al u e ,   th e   s o r t i n g   i s   c o n d u ct e d   b a s e d   o n   th l en g th   o f   t h e   p h r a s e th e   l o n g e r   p h r as e   s o r t e d   h ig h e r   t h a n   th e   s h o r t e r   o n e .   Fo r   e x am p le ,   if   b o th   c a n d i d at e   k ey w o r d s   k i n er j a   ke u a n g a n   p e r u s a h a a n   a n d   kin e r j a   k e u a n g a n   h av e   th e   s am e   s o r t in g   b as e   v al u e ,     t h e   k ey w o r d   ki n e r j a   k e u a n g a n   p e r u s a h a a n   w i ll   b e   p o s i ti o n e d   h ig h e r   th an   th e   k ey w o r d   kin e r j a   k e u a n g a n ”.     2 . 6 .   E x peri m ent     I n   th i s   s ec tio n ,   w e x p lai n ed   th s ce n ar io s   th at  w u s ed   i n   th k e y w o r d   ex tr ac tio n   ex p er im e n t s .     Ou r   d ataset  co n s is ts   o f   ab s tr ac ts   an d   co n ten tex t s   t h at  h av b ee n   lab eled   w i th   t h p ar o f   s p ee ch .   T h d ataset  w a s   t h en   d iv id ed   i n to   tr ai n i n g   d ata  a n d   test in g   d ata.   T h tr ain i n g   d ata  w as   u s ed   as  th e   s o u r ce   to   d e v elo p   p h r ase  p atter n s   t h at  w er u s e d   to   ex tr ac k e y w o r d s   i n   t h e   test i n g   d ata.   W th e n   co m p ar ed   th k e y w o r d s   g en er ated   u s i n g   s e v er al  k e y wo r d   s elec tio n   s ce n ar io s   w it h   t h ac t u al  k e y w o r d s   f r o m   t h e   d o cu m e n ts   i n   o u r   d ataset  an d   e v al u ate  ea c h   s ce n ar io   u s i n g   p r ec is io n ,   r ec all,   an d   f - m ea s u r e.   Fro m   1 5 0   d o cu m en ts   in   o u r   d atase t,   w e   u s 5 - f o ld   cr o s s - v alid atio n .   T h u s ,   w h a v 1 2 0   d o cu m en ts   a s   t h tr ai n i n g   d ata  a n d   3 0   d o cu m e n ts   as     th test in g   d ata  f o r   ea ch   f o ld .     I n   th e x p er i m e n t,  w ev al u at ed   s ev er al  s ce n ar io s   o f   o u r   m e th o d ,   w h ic h   ar b ased   o n   4   p ar a m eter s :   -   ( P 1 )   So u r ce   o f   th k e y w o r d s   ex tr ac tio n   I n   t h is   p ar a m eter ,   w s p ec i f ie d   th s o u r ce   f o r   th ca n d id ate  k e y w o r d s   e x tr ac tio n .   T h v al u es  f o r   t h i s   p ar am eter   ar eith er   t h ab s tr a cts o r   th co n ten t te x t s   f r o m   th d ataset  as th s o u r ce .   -   ( P 2 )   P h r ase  p atter n s   T h is   p ar a m eter   s p ec i f ie s   t h p h r ase  p atter n s   u s ed   i n   t h e   e x p er i m e n ts .   T h v al u es   d ef i n ed   f o r   th is   p ar am eter   ar s h o r p h r ase  p atter n s   ( i.e .   p h r ases   th at  co n s is o f   o n l y   2   o r   3   w o r d s )   o r   all  p h r ase  p atter n s .     T h o b j ec tiv o f   u s in g   t h is   p ar am eter   w a s   to   d eter m i n e   w h et h er   s h o r ter   p h r ase  p atter n   g i v e s   b etter   p er f o r m a n ce   o v er   all  p h r ase  p atter n s ,   as  u s ed   in   t h p r ev io u s   s tu d y   [ 2 3 ] ,   in   g e n er atin g   k e y w o r d s .   -   ( P 3 )   C an d i d ate  k e y w o r d s   r ed u ctio n   C an d i d a t e   k ey w o r d s   r e d u ct i o n   i s   th e   r em o v a l   o f   s o m e   k ey w o r d s   f r o m   th e   ca n d i d a t e   k ey w o r d s   l is t .     A   k ey w o r d   is   r em o v e d   if   th e r e   i s   a   s u b - s t r in g   o r   s u p e r - s t r in g   o f   th e   k ey w o r d   t h a t   h as   h ig h e r - o r d e r   b a s e d   o n     t h e   s o r t in g   b a s e   v a lu e   ( s e e   p ar am et e r   P4 ) .   F o r   e x am p l e ,   a   k ey w o r d   r a s i o   k e u a n g a n   w il b e   r e m o v e d   f r o m     t h e   c an d i d a t e   k ey w o r d   l is t   if   r a s i o   h as   a   h ig h e r   w eig h t ,   as   a   s o r t in g   b a s e   v a lu e ,   i n   th e   c an d id a t e   k ey w o r d s   l i s t.  I n   th i s   p a r am et e r ,   w e   s p e cif i ed   w h e th e r   w e   u t il i z e   c an d i d ate   r e d u c t i o n   o r   n o t   in   th e   e x p e r im e n t s .   W e   w e r i n s p i r e d   t o   u s e   c an d i d a t e   r e d u ct i o n   f r o m   p r i o r   r e s e a r ch   [ 2 3 ] ,   s u ch   th a t   th e r e   a r e   n o   o v e r l a p p in g   k ey w o r d s .   -   ( P 4 )   C an d id ate  k e y w o r d s   s o r tin g   b ase   I n   t h i s   p a r am e te r ,   w e   s p e c if i ed   s o r t i n g   s ce n a r i o s   t o   s el e c t   th e   k ey w o r d s   f r o m   th e   l is t   o f   c a n d i d a te  k ey w o r d s .   W e   u s e d   c an d i d a te   k ey w o r d s   w e ig h ts   an d   p h r as p a t t e r n s   w eig h t   as   th e   s o r t in g   b a s e .   T h e   s o r tin g   s c en a r i o s   o f   t h e   ex p e r im en ts   a r e   a s   f o l l o w s :   A:   Descen d i n g   s o r b ased   o n l y   o n   th ca n d id ate  k e y w o r d s   w eig h t,  w i th o u co n s id er in g   th p h r as e     p atter n   w e ig h t.   B:   Descen d i n g   s o r t b ased   o n   th m u ltip licatio n   o f   th ca n d id ate   w ei g h t a n d   th e   p h r ase  p atter n   w ei g h t.   C:   Descen d i n g   s o r b ased   o n   m u l tip licatio n   o f   th ca n d id ate  w e ig h an d   t h s u b - lin ea r   T n o r m alize d   p h r as e   p atter n   w e ig h t.   D:   Descen d i n g   s o r b ased   o n   th e   m u ltip licatio n   o f   t h ca n d id a te  w ei g h a n d   th m ax i m u m   T n o r m alize d   p h r ase   p atter n   w ei g h t.   I n   th last   t w o   s ce n ar io s ,   th e   n o r m aliza tio n   i s   ca r r ied   o u to   ad d r ess   th i m b ala n ce   b et w ee n   ea ch   p h r ase   p atter n   w e ig h t,  as e x e m p li f ied   b y   T ab le  2 .     A l l   o f   th e   p a r am e t e r s   a r e   c o m b i n e d   a s   th e   ex p e r im en t   s c en ar i o s .   T h e   t o p   5   o f   p h r a s e   p a t t er n s   in   e a ch   f o l d   a r e   s h o w n   in   T a b l e   3 ,   m e a n w h il e   a l l   3 2   s c en a r i o s   an d   t h ei r   p a r am e t e r s   in   th e   ex p e r im en t   a r e   s h o w n   i n   T a b l e   4 .   E a c h   s c en a r i o   is   ev a l u at e d   b y   c o m p a r in g   th e   k ey w o r d s   g en e r at e d   w i th   th e   ac t u al   k ey w o r d s   f r o m     t h d a t as e an d   ev a lu at e   t h em   u s in g   p r e ci s i o n ,   r e c a ll ,   an d   f - m e asu r e .   T h es e   m et r i cs   a r c o m m o n ly   u s e d   t o   m e asu r e   th e   p e r f o r m an c e   o f   au t o m at i c   k ey w o r d   ex t r a ct i o n   [ 2 6 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   4 A u g u s t 2 0 2 0 :    1 9 1 7   -   1 9 2 5   1922   3.   RE SU L T A ND  AN AL Y SI S     I n   t h e   e x p e r im en t ,   t h e   p h r as e   p a t t e r n s   w e r e   ex t r ac t e d   f r o m   e ac h   f o l d   o f   th e   t r a in in g   s e t .   T a b l e   3   s h o w s   t h e   t o p   f iv e   p h r a s e   p at t e r n s   f o u n d   in   th e   t r ain in g   s e t   as   e x am p l e s .   F r o m   th e   t a b l e ,   o n e   c an   s e e   th a   N N   N N   o cc u r r e d   s ig n if ic an t ly   h ig h e r   ( d en o t e d   b y   th e   p a tt er n s   w e ig h t )   th an   t h e   o th e r   p a tt e r n s .   T o   m in im iz t h d if f e r en c es ,   a   n o r m a li z a ti o n   te ch n i q u e   is   em p l o y e d   a s   th e   s o r t in g   s c en a r i o s   p a r am et e r s   o f   th ex p e r im en t .   T h ex p er i m en r e s u l f o r   all   s ce n ar io s   i s   s h o w n   i n   T ab le  4 .   Fro m   t h is   r e s u l t,  s ce n ar io   1 3   g iv es  t h b est     f - m ea s u r e.   T h at  m ea n s   t h b est  r esu l w as  o b t ain ed   i f   w e   u s ed   th ab s tr ac a s   th s o u r ce   o f   th k e y w o r d   ex tr ac tio n ,   u s ed   o n l y   s h o r t p h r ase  p atter n s   w it h   ca n d id ate  r ed u ctio n ,   a n d   s o r ted   th e   ca n d id ate  k e y w o r d s   b ased   o n   th eir   w ei g h ts .   I n   t h n e x t s u b s ec tio n ,   w d is c u s s ed   th p e r f o r m an ce   o f   ea ch   p ar a m ete r.       T ab le   3.   T o p   5   p h r ase  p atter n   f o u n d   in   ea c h   f o ld   F o l d   1   F o l d   2   F o l d   3   F o l d   4   F o l d   5   P a t t e r n   W e i g h t   P a t t e r n   W e i g h t   P a t t e r n   W e i g h t   P a t t e r n   W e i g h t   P a t t e r n   W e i g h t   N N   N N   2 3 5   N N   N N   2 4 1   N N   N N   2 4 1   N N   N N   2 5 4   N N   N N   2 4 9   NN   89   NN   82   NN   82   NN   69   NN   84   N N   N N   NN   44   N N   N N   NN   43   N N   N N   NN   43   N N   N N   NN   38   N N   N N   NN   39   N N   JJ   15   N N   JJ   21   N N   JJ   21   N N   JJ   16   N N   JJ   16   N N   N N   N N   N N   9   N N   V B I   NN   8   N N   V B I   NN   8   N N   N N   N N   N N   9   N N   N N   N N   N N   7       T ab le  4.   R esu lt o f   all  e x tr ac tio n   s ce n ar io s   S c e n a r i o   P a r a me t e r   R e su l t   P1   P2   P3   P4   P r e c i si o n   R e c a l l   F - m e a su r e   1   A b st r a c t   A l l   P a t t e r n   No   A   0 . 1 6   0 . 3 9 7   0 . 2 1 8   2   A b st r a c t   A l l   P a t t e r n   No   B   0 . 3 1 4   0 . 4 8 3   0 . 3 7 2   3   A b st r a c t   A l l   P a t t e r n   No   C   0 . 1 9 9   0 . 3 2 4   0 . 2 4 1   4   A b st r a c t   A l l   P a t t e r n   No   D   0 . 2 2 1   0 . 3 5 4   0 . 2 6 7   5   A b st r a c t   A l l   P a t t e r n   Y e s   A   0 . 1 3 4   0 . 2 6 6   0 . 1 7 4   6   A b st r a c t   A l l   P a t t e r n   Y e s   B   0 . 3 1 7   0 . 4 8 9   0 . 3 7 5   7   A b st r a c t   A l l   P a t t e r n   Y e s   C   0 . 1 5 3   0 . 2 3 9   0 . 1 8 4   8   A b st r a c t   A l l   P a t t e r n   Y e s   D   0 . 1 8 4   0 . 2 8 2   0 . 2 1 9   9   A b st r a c t   S h o r t   P a t t e r n   No   A   0 . 3 6 8   0 . 5 8   0 . 4 2 4   10   A b st r a c t   S h o r t   P a t t e r n   No   B   0 . 4 1 1   0 . 5 2 8   0 . 4 4 6   11   A b st r a c t   S h o r t   P a t t e r n   No   C   0 . 4 0 3   0 . 5 3   0 . 4 4   12   A b st r a c t   S h o r t   P a t t e r n   No   D   0 . 3 9 8   0 . 5 2   0 . 4 3 4   13   A b st r a c t   S h o r t   P a t t e r n   Y e s   A   0 . 4 5 8   0 . 5 8 4   0 . 4 9 2   14   A b st r a c t   S h o r t   P a t t e r n   Y e s   B   0 . 4 1 6   0 . 5 2 6   0 . 4 4 7   15   A b st r a c t   S h o r t   P a t t e r n   Y e s   C   0 . 4 1 5   0 . 5 2 6   0 . 4 4 7   16   A b st r a c t   S h o r t   P a t t e r n   Y e s   D   0 . 4 1 4   0 . 5 2 7   0 . 4 4 6   17   C o n t e n t   T e x t   A l l   P a t t e r n   No   A   0 . 1 1   0 . 1 4 6   0 . 1 2 4   18   C o n t e n t   T e x t   A l l   P a t t e r n   No   B   0 . 2 8 5   0 . 3 7 1   0 . 3 1 8   19   C o n t e n t   T e x t   A l l   P a t t e r n   No   C   0 . 1 4   0 . 1 8 4   0 . 1 5 7   20   C o n t e n t   T e x t   A l l   P a t t e r n   No   D   0 . 1 7 9   0 . 2 3 4   0 . 2   21   C o n t e n t   T e x t   A l l   P a t t e r n   Y e s   A   0 . 0 3 8   0 . 0 4 6   0 . 0 4 1   22   C o n t e n t   T e x t   A l l   P a t t e r n   Y e s   B   0 . 2 9 2   0 . 3 7 4   0 . 3 2 4   23   C o n t e n t   T e x t   A l l   P a t t e r n   Y e s   C   0 . 0 6 6   0 . 0 8 1   0 . 0 7 1   24   C o n t e n t   T e x t   A l l   P a t t e r n   Y e s   D   0 . 1 1 1   0 . 1 4 2   0 . 1 2 3   25   C o n t e n t   T e x t   S h o r t   P a t t e r n   No   A   0 . 3 5 9   0 . 4 8 4   0 . 4 0 7   26   C o n t e n t   T e x t   S h o r t   P a t t e r n   No   B   0 . 3 4 1   0 . 4 4 3   0 . 3 8   27   C o n t e n t   T e x t   S h o r t   P a t t e r n   No   C   0 . 3 7   0 . 4 7 7   0 . 4 1 2   28   C o n t e n t   T e x t   S h o r t   P a t t e r n   No   D   0 . 3 7 2   0 . 4 7 9   0 . 4 1 4   29   C o n t e n t   T e x t   S h o r t   P a t t e r n   Y e s   A   0 . 3 6   0 . 4 7 3   0 . 4 0 3   30   C o n t e n t   T e x t   S h o r t   P a t t e r n   Y e s   B   0 . 3 4 4   0 . 4 4 6   0 . 3 8 2   31   C o n t e n t   T e x t   S h o r t   P a t t e r n   Y e s   C   0 . 3 6 6   0 . 4 6 8   0 . 4 0 5   32   C o n t e n t   T e x t   S h o r t   P a t t e r n   Y e s   D   0 . 3 7   0 . 4 7 5   0 . 4 1 1       3 . 1 .   So urce   o f   k ey w o rd  ex t ra ct io n     Fig u r 3   co m p ar es  th e x p er i m en u s i n g   th ab s tr ac an d   th co n te n tex as  t h e   s o u r ce   o f     th k e y w o r d s   e x tr ac tio n .   T h is   f i g u r s h o w s   t h at  u s in g   ab s tr ac as  t h s o u r ce   g a v a   b etter   r esu lt  th a n   u s i n g     th co n ten t   te x t.  I m ea n s ,   a l th o u g h   n o s u b s ta n tial,  e x tr a ctin g   k e y w o r d s   f r o m   s h o r ter   an d   b r ief   te x li k e   ab s tr ac t is b etter   th an   lo n g   te x t lik e   t h co n te n t te x t in   o u r   d a taset.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         S in g le  d o cu men t k ey w o r d s   ex tr a ctio n   in   B a h a s a   I n d o n esia …  ( I   N yo ma n   P r a ya n a   Tr is n a )   1923       Fig u r 3.   C o m p ar is o n   o f   t h s ce n ar io s   w it h   ab s tr ac t a n d   co n ten t te x t a s   t h r ef er en ce       3 . 2 .   P hra s p a t t er ns     Fig u r 4   s h o w s   t h co m p ar i s o n   b et w ee n   u s i n g   al p h r as p atter n s   a n d   u s in g   o n l y   s h o r p h r ase  p atter n s .   Fro m   t h f i g u r e,   w e   co u ld   s ee   th at  k e y w o r d s   ex t r ac tio n   u s i n g   s h o r p h r ase  p atter n s   g a v b etter   r esu lt  co m p ar ed   to   u s i n g   al p h r ase  p atter n s .   T ab le  4   also   s h o w s   t h at  s h o r p h r a s p atter n s   al w a y s   g a v b etter   p r ec is io n   an d   r ec all.   W o b s er v ed   th at  th i s   is   b ec au s u s i n g   all  p h r a s p atter n s   i n clu d e   u s i n g   s in g le  w o r d   ca n d id ates.  A   s i n g le   w o r d   ca n d id ate  o cc u r r ed   m o r t h a n   p h r ase  ca n d id ate  s u ch   t h at  it   h a s   h ig h er   r a n k   th a n   p h r ase  ca n d id ates  i f   w u s ed   th n u m b er   o f   o cc u r r en ce s   as   th b ase  f o r   ca n d id ate  s o r tin g .   T h is   h i g h er   r an k   ca u s e s   s i n g le  w o r d   ca n d id ates   to   b s elec ted   as  k e y w o r d s ,   e v en   i f   t h e y   ar n o s u itab le  k e y w o r d s .   W ar g u ed   th at  t h is   ca n   b av o id ed   if   th ca n d id ate  s o r tin g   is   b ase d   o n   n o o n l y   t h o cc u r r en c es  o f   th p atter n s .     T h r esu lt p r o v es th u tili za t io n   o f   s h o r t p atter n s   i s   b etter   th a n   u s in g   all  p atter n s   u s ed   in   p r ev io u s   w o r k   [ 2 3 ] .           Fig u r 4.   C o m p ar is o n   o f   t h s ce n ar io s   b ased   o n   p h r ase  p atte r n   u s ed       3 . 3 .   Ca nd ida t k ey w o rd  s o rt ing     Fig u r 5   s h o w s   t h ex p er i m en r esu lt  u s in g   d i f f er e n ca n d id ate  k e y w o r d s   s o r tin g s .   T h f ig u r s h o ws   th at  th e   s o r ti n g   s ce n ar io   B ,   i.e . ,   d escen d i n g   s o r b a s ed   o n   t h e   m u lt ip licatio n   o f   th ca n d id ate  w e ig h t     an d   th p h r ase  p atter n   w ei g h t,  h as  th h ig h e s f - m ea s u r s co r e.   I n   Fig u r e   5 ,   th er ar 5   g r o u p   co lu m n s     o f   co m p ar is o n t h f ir s t,  s ec o n d ,   th ir d ,   f i f t h ,   an d   s i x t h   co l u m n s ,   w h ic h   h av So r tin g   B   as  th b est  m et h o d     o f   s o r tin g .   T h f ir s t,  s ec o n d ,   f i f th ,   a n d   s ix t h   g r o u p   co lu m n s   ar ex tr ac tio n   w it h   all  p h r ase  p att er n s .   A s   w e   s tated   b ef o r e,   if   all   p h r ase  p atter n s   w er u s ed ,   th e n   t h e   b est  s o r tin g   m et h o d   is   u s i n g   v al u b ased   o n   m u ltip licatio n   o f   ca n d id ate  w ei g h a n d   p h r ase  p atter n   weig h t.  Fo r   o th er   co m p ar i s o n   g r o u p s   ( i.e . ,   f o u r th ,   s ev e n t h ,   an d   ei g h th   co lu m n ) ,   th b est   r e s u l ts   ar v ar ied ,   b u th er w er n o   s u b s ta n tial  d i f f er en ce s   b et w ee n   th e m .   Fro m   t h i s   ex p er i m e n t,   n o r m a lizatio n   r ed u ce s   t h s i g n i f ica n d if f er en ce s   o f   p h r as p atter n s   w ei g h ts     o f   ea ch   ca n d id ate  k e y w o r d   as   s h o w n   in   T ab le  2 .   Ho w ev er ,   th e   n o r m aliza tio n   o f   t h p h r ase  p atter n   w ei g h t s     ( i.e . ,   s ce n ar io   C   an d   D)   d id   n o t g iv s u b s tan t iall y   b etter   r es u l ts .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   4 A u g u s t 2 0 2 0 :    1 9 1 7   -   1 9 2 5   1924       Fig u r 5.   C o m p ar is o n   o f   t h s ce n ar io s   b ased   o n   th s o r ti n g       3 . 4 .   Ca nd ida t k ey w o rd  re du ct io n     C an d i d a t e   r e d u c ti o n   in   o u r   p r o p o s e d   m e th o d   d i d   n o t   a l w ay s   g iv e   a   b e t t e r   r esu l t .   Fig u r e   6   s h o w s   o n ly     7   o u t   o f   1 6   s c en a r i o   c o m p a r is o n s   w h e r e   u s in g   c an d i d a t e   r e d u c ti o n   p r o v i d e s   a   b e tt e r   r e s u lt ,   n am e ly ,   s c en a r i o   2 ,   9 ,   1 0 ,   1 1 ,   1 2 ,   1 8 ,   a n d   2 6 .   F r o m   T a b l e   4 ,   w c an   s e e   th at   s c en ar i o   2 ,   1 0 ,   1 8 ,   a n d   2 6   a r e   t h e   s ce n a r i o s   w h ich   u s e d   S o r t in g   B   a s   t h e   s o r t in g   m e th o d ,   w h i le   s c en a r i o   9 ,   1 0 ,   1 1 ,   a n d   1 2   a r e   s c e n a r i o s   th at   u s e d   o n ly   th e   s h o r te r - p h r as p a t t e r n s   f r o m   th e   a b s t r ac t .   I n   t h is   c as e ,   w e   c o u l d   s e e   t h a c a n d i d a te   r e d u ct i o n   g av e   a   b e t t e r   r e s u lt   w h en     t h e   c an d i d at e   s o r tin g   w a s   b ase d   o n   th e   m u l t i p li c a ti o n   o f   c an d i d a t e   w e ig h t   an d   p h r as e   p a tt e r n   w eig h t   w ith o u n o r m a l iz a t i o n ,   o r   u s in g   th e   s h o r t e r - p h r a s e   p a t t e r n s   f r o m   th e   a b s t r a c t .   T h e   b es t   r e s u l t   f r o m   th is   ex p e r im en t   w as  o b t a i n e d   u s in g   c an d i d at e   r e d u c t i o n .   T h is   r e s u l t   a ls o   im p l i c at e s   th a t   th e   u ti l i za t i o n   o f   c an d i d a t e   r e d u ct i o n   o r   s im il a r ly   r eg u l a r   ex p r e s s i o n   li k e   p r e v i o u s   r e s e a r c h   [ 2 3 ]   d o e s   n o t   a lw ay s   im p r o v e   k ey w o r d s   ex t r a ct i o n   r e s u l t s .           Fig u r e   6.   C o m p ar is o n   o f   t h s ce n ar io s   w it h o u t a n d   w i th   t h r ed u ctio n       4.   CO NCLU SI O     T h is   r esear ch   f o cu s ed   o n   a u to m at ic  k e y w o r d s   e x tr ac tio n   u s i n g   p h r ase  c h u n k i n g   f o r   s in g le   d o cu m en w r itte n   in   B a h a s a   I n d o n esia .   W u s ed   p h r ase  p atter n s   f r o m   ac t u al  k e y w o r d s   in   o u r   d ataset  f o r     th p h r ase  ch u n k in g .   T h en ,   w e x p er i m e n ted   u s i n g   s ev er al  s ce n ar io s   d ef i n ed   f r o m   s e v er al  p ar am e ter s   to   g en er ate  th k e y w o r d s .   T h b est  r es u lt  w a s   g ain ed   w h e n   t h e   ex tr ac tio n   w as  co n d u cted   u s i n g   th e   ab s tr ac w it h   s h o r ter - p h r ase  p atter n s   ( i.e . ,   co n s is ts   o f   o n l y   2 - 3   w o r d s ) ,   ca n d id ate  s o r tin g   b ased   o n   th o cc u r r en ce   f r eq u e n c y   o f   ea ch   ca n d id ate,   an d   ap p l y i n g   ca n d id ate  r ed u ctio n .     Fro m   t h is   r e s ea r ch ,   w co n cl u d ed   th at  u s in g   t h ab s tr ac g av b etter   r es u lt  o f   k e y w o r d   ex tr ac tio n   th an   co n te n te x t.  O u r   r es u lt   a ls o   s h o w s   t h at  t h e x tr ac tio n   u s i n g   s h o r ter - p h r a s p atter n s   g av e   b etter   r es u lt  th an   u s i n g   all  p h r ase  p atter n s .   T h is   r es u lt  i s   ali g n ed   w it h   t h f ac th at   m o s o f   t h k e y w o r d s   in   p ap er s   w r i tten   in   B ah asa  I n d o n e s ia  ar in   p h r ases   f o r m .   C a n d id ate  r ed u ctio n   in   t h is   r esear c h   d id   n o al w a y s   g i v b etter   r esu lt s   i n   all  s ce n ar io s ,   e x ce p w h e n   t h s o r ti n g   m et h o d   was  b ased   o n   ca n d id ate  w e ig h t   an d   p h r ase  p atter n   w ei g h w it h o u a n y   n o r m aliza t io n   o r   if   s h o r ter - p h r a s p atter n s   w er u s ed .   Ou r   ad j u s t m e n t s   in   u s in g   g en er ated   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         S in g le  d o cu men t k ey w o r d s   ex tr a ctio n   in   B a h a s a   I n d o n esia …  ( I   N yo ma n   P r a ya n a   Tr is n a )   1925   p atter n s   an d   r ed u ci n g   t h n u m b er   o f   s elec ted   k e y w o r d s   also   s h o w ed   s u b s tan t iall y   b ette r   r esu lts   t h an   p r io r   r esear ch ,   w h ich   u s ed   all  p h r a s p atter n s   a n d   ca n d id ate  r ed u ctio n .   F u t u r r esear ch   o f   k e y w o r d s   ex tr ac tio n   w it h   p h r ase  ch u n k i n g   ca n   u s o th er   s elec tio n   m e th o d s   f o r   ca n d id ate  s elec tio n   co m b in ed   w i th   o th er   m e th o d s   o f   ca n d id ate  w eig h ti n g .   A n o t h er   ex p er i m e n ca n   also   b ca r r ied   o u b y   co m b i n in g   t h ab s t r ac an d   th co n ten t   tex t a s   t h s o u r ce   o f   k e y w o r d   ex tr ac tio n   al g o r ith m s .       RE F E R E NC E S   [1 ]     S .   Ro se ,   D.   En g e l,   N.   Cra m e r,   a n d   W .   Co w le y ,   A u to m a ti c   Ke y w o rd   Ex trac ti o n   f ro m   In d iv id u a D o c u m e n ts,”  T e x t   M in i n g A p p li c a ti o n s a n d   T h e o ry Jo h n   W il e y   &   S o n s,  L td ,   p p .   1 20 2 0 1 0 .   [2 ]     J.  M o th e ,   F .   Ra m ian d riso a ,   a n d   M .   Ra so lo m a n a n a ,   A u to m a ti c   K e y p h ra se   Ex trac ti o n   u sin g   G ra p h - b a se d   M e th o d s,”   Pro c e e d in g   o 3 3 rd   A n n u a ACM   S y mp o si u m o n   A p p li e d   Co m p u ti n g ,   p p .   7 2 8 - 7 3 0 ,   2 0 1 5 .   [3 ]     N.  Ka m a ru d d in ,   A .   W .   A .   R a h m a n ,   a n d   R.   A .   M .   La w i,   Jo b se e k e r - In d u stry   M a tch in g   S y ste m   u sin g   A u to m a ted   Ke y w o rd   S e lec ti o n   a n d   Visu a li z a ti o n   A p p ro a c h ,   In d o n e sia n   J o u rn a o El e c trica En g in e e rin g   a n d   C o mp u ter   S c ien c e ,   v o l.   1 3 ,   n o .   3 ,   p p .   1 1 2 4 - 1 1 2 9 2 0 1 9 .   [4 ]     S .   M e n a k a   a n d   N.  Ra d h a ,   T e x t   Clas sif ica ti o n   u sin g   Ke y w o rd   E x trac ti o n   T e c h n iq u e ,   In ter n a ti o n a l   J o u r n a l   o f   Ad v a n c e d   Res e a rc h   in   Co mp u ter   S c ien c e   a n d   S o ft w a re   En g in e e rin g ,   v o l.   3 ,   n o .   1 2 ,   2 0 1 3 .   [5 ]     T .   Bo h n e   a n d   U.  M .   B o rg h o f f ,   Da ta  F u sio n B o o sti n g   P e rf o rm a n c e   in   Ke y w o rd   Ex trac ti o n ,   Pro c e e d in g o f     th e   2 0 th   IEE E   In ter n a ti o n a C o n fer e n c e   a n d   W o rk sh o p o n   th e   E n g i n e e rin g   o C o mp u ter   Ba se d   S y ste ms   ( ECB S ) p p .   1 6 6 1 7 3 2 0 1 3 .   [6 ]     N.  A la m i,   M .   M e k n a ss i,   a n d   N.   Ra is,  A u to m a ti c   T e x S u m m a riz a ti o n :   Cu rre n S tate   o f   th e   A rt,   J o u rn a o f   Asia n   S c ien ti fi c   Res e a rc h ,   v o l.   5 ,   n o .   1 ,   p p .   1 - 1 5 ,   2 0 1 5 .   [7 ]     B.   L o tt ,   S u rv e y   o f   Ke y w o rd   Ex tr a c ti o n   T e c h n iq u e s,”   UNM   Ed u c a t io n ,   v o l.   5 ,   p p .   1 - 1 0 ,   2 0 1 2 .   [8 ]     J.  R.   T h o m a s,  S .   K.  Bh a rti ,   a n d   K.  S .   Ba b u ,   A u to m a ti c   Ke y w o rd   Ex trac ti o n   f o Tex S u m m a riza ti o n   in   e - Ne w sp a p e rs ,   Pro c e e d in g s o t h e   in ter n a t io n a l   c o n fer e n c e   o n   i n fo r ma ti c s a n d   a n a lytics ,   p p .   1 - 8 ,   2 0 1 8 .     [9   Y .   Q i n ,   A p p ly i n g   F r e q u e n c y   a n d   L o c a t i o n   I n f o rm a t i o n   t o   K e y w o rd   E x t r a c t i o n   i n   S i n g l e   D o c u m e n t ,   P r o c e e d i n g s   o f   t h e   2 n d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   C o m p u t i n g   a n d   I n t e l l i g e n t   S y s t e ms   ( C C I S ) ,   p p .   1 3 9 8 1402 ,   2 0 1 2 .   [ 1 0 ]     S .   K .   B h a r t i   a n d   K .   S .   B a b u ,   A u t o m a t i c   k e y w o r d   e x t r a c t i o n   f o r   t e x t   s u m m a r i z a t i o n :   A   s u r v e y ,   a r X i v : 1 7 0 4 . 0 3 2 4 2 ,   2 0 1 7 .   [1 1 ]     S .   Be li g a ,   A .   M e štro v ić,  a n d   S .   M a rti n č - Ip šić ,   A n   Ov e r v ie w   o f   G ra p h - Ba se d   Ke y w o rd   Ex tra c ti o n   M e t h o d a n d   A p p ro a c h e s,”   J o u rn a o In f o rm a t io n   a n d   Or g a n iz a ti o n a S c ie n c e s ,   v o l.   3 9 ,   n o .   1 ,   p p .   1 2 0 ,   2 0 1 5 .   [1 2 ]     F .   C.   J o n a th a n   a n d   O.  Ka rn a li m ,   S e m i - S u p e rv ise d   Ke y p h ra se   Ex trac ti o n   o n   S c ien ti f ic  A rti c le  u sin g     F a c t - b a se d   S e n ti m e n t,   T E L KOM NIKA  T e lec o mm u n ica t io n   Co mp u ti n g   El e c tro n ics   a n d   C o n tro l ,   v o l.   1 6 ,   n o .   4 ,     p p .   1 7 7 1 1 7 7 8 ,   2 0 1 8 .   [1 3 ]     C.   Zh a n g ,   A u to m a ti c   Ke y w o r d   Ex trac ti o n   f ro m   Do c u m e n ts  u sin g   Co n d it io n a Ra n d o m   F ield s,”   J o u rn a o f   Co mp u t a ti o n a I n fo rm a ti o n   S y ste ms ,   v o l.   4 ,   n o .   3 ,   p p .   1 1 6 9 1 1 8 0 ,   2 0 0 8 .   [1 4 ]     A .   S .   Im ra n ,   L .   Ra h a d i a n t i ,   F .   A .   C h e i k h ,   a n d   S .   Y .   Ya y i l g a n ,   O b j e c t iv e   K e y w o r d   S e le c t i o n   f o L e c t u re   Vi d e o   A n n o t a t i o n ,   P r o c e e d i n g s   o f   t h e   5 t h   E u r o p e a n   W o r k s h o p   o n   V i s u a l   I n f o r m a t i o n   P r o c e s s i n g   ( E U V I P) ,   p p .   1 6 ,   2 0 14 .   [1 5 ]     S .   S id d i q a n d   A .   S h a ra n ,   Ke y w o rd   a n d   Ke y p h ra se   Ex trac ti o n   T e c h n iq u e s:  A   L it e ra tu re   Re v i e w ,   In ter n a ti o n a l   J o u rn a o Co m p u ter   A p p l ica ti o n s ,   v o l.   1 0 9 ,   n o .   2 ,   p p .   1 8 - 2 3 ,   2 0 1 5 .   [1 6 ]     R.   M ih a lce a   a n d   P .   T a ra u ,   T e x tr a n k Brin g in g   Ord e in to   T e x t,   Pro c e e d in g o t h e   2 0 0 4   Co n fer e n c e   o n   Emp irica l   M e th o d s i n   Na t u ra l   L a n g u a g e   Pr o c e ss in g ,   2 0 0 4 .   [1 7 ]     X .   W a n   a n d   J.  X iao ,   S in g le  Do c u m e n Ke y p h ra se   Ex tra c ti o n   Us in g   Ne ig h b o r h o o d   K n o w led g e ,   Pro c e e d in g o f   th e   2 3 rd   A AA Co n fer e n c e   o n   Art if icia I n telli g e n c e ,   v o l.   8 ,   p p .   8 5 5 8 6 0 2 0 0 8 .   [1 8 ]     K.  S .   Ha sa n   a n d   V .   Ng ,   Co n u n d ru m in   Un su p e rv ise d   Ke y p h ra s e   Ex trac ti o n M a k in g   S e n se   o f   t h e   S tate - of - th e - A rt,   Pro c e e d in g s o th e   2 3 rd   In t e rn a ti o n a l   Co n fer e n c e   o n   C o mp u ta ti o n a L i n g u isti c s: P o ste rs ,   p p .   3 6 5 3 7 3 2 0 1 0 .   [1 9 ]     G .   L a n d   H.  W a n g ,   Im p ro v e d   A u to m a ti c   Ke y w o rd   Ex trac ti o n   b a se d   o n   T e x tRan k   u sin g   Do m a in   Kn o w led g e ,   Na tu ra L a n g u a g e   Pr o c e ss in g   a n d   Ch i n e se   Co mp u ti n g ,   S p ri n g e r ,   p p .   4 0 3 4 1 3 2 0 1 4 .   [2 0 ]     S .   L a h iri ,   S .   R.   C h o u d h u ry ,   a n d   C.   Ca ra g e a ,   Ke y wo rd   a n d   Ke y p h ra se   Ex trac ti o n   u sin g   Ce n trali t y   M e a su re o n   Co ll o c a ti o n   Ne tw o rk s,”   a rX iv :1 4 0 1 . 6 5 7 1 ,   2 0 1 4 .   [2 1 ]     R.   Bh o wm ik ,   Ke y w o rd   Ex tra c t io n   f ro m   A b stra c ts  a n d   T it les ,   Pro c e e d in g o th e   2 0 0 8   IEE E   S o u t h e a stc o n   p p .   6 1 0 6 1 7 2 0 0 8 .   [2 2 ]     Y.  L u ,   R.   L i,   K.   W e n ,   a n d   Z.   L u ,   A u to m a ti c   Ke y w o rd   Ex t ra c ti o n   f o S c ien ti f ic  L it e ra tu re u sin g   Re fe re n c e s,”   Pro c e e d in g o t h e   2 0 1 4   IEE E   In ter n a ti o n a l   Co n fer e n c e   o n   I n n o v a ti v e   De sig n   a n d   M a n u f a c t u rin g   ( ICIDM ),     p p .   7 8 81 2 0 1 4 .   [2 3 ]     H.  S h u k la  a n d   M .   Ka k k a r,   Ke y w o rd   Ex tra c ti o n   f ro m   Ed u c a ti o n a V i d e o   T ra n sc rip ts  u s in g   NLP   T e c h n iq u e s,”   Pro c e e d in g o th e   6 th   IEE E   In te rn a ti o n a C o n fer e n c e   o n   Cl o u d   S y ste a n d   Bi g   Da t a   E n g i n e e rin g   ( Co n fl u e n c e ),   p p .   1 0 5 1 0 8 2 0 1 6 .   [2 4 ]     Un iv e rsitas   Ud a y a n a “E - Ju rn a Ak u n tan si,”  Ja n .   0 1 ,   2 0 1 2 .   A c c e ss e d   o n M a y   0 5 ,   2 0 1 7 .   [ On li n e ] .   A v a il a b le:   ht tp : // o js . u n u d . a c . id /i n d e x . p h p /Ak u n tan si   [2 5 ]     A .   F .   W ic a k so n o   a n d   A .   P u rw a ri a n ti ,   HMM   Ba se d   P a rt - of - sp e e c h   T a g g e r   f o Ba h a sa   In d o n e sia ,   Pro c e e d in g o f   th e   4 t h   I n ter n a t io n a M AL INDO   W o rk sh o p ,   2 0 1 0 .   [2 6 ]     Z.   Na sa r,   S .   W .   Ja ff r y ,   a n d   M .   K.  M a li k ,   T e x tu a Ke y w o rd   Ex trac ti o n   a n d   S u m m a riz a ti o n S ta te - of - th e - A rt,   In fo rm a t io n   Pro c e ss in g   &   M a n a g e me n t ,   v o l.   5 6 ,   n o .   6 ,   2 0 1 9 .     Evaluation Warning : The document was created with Spire.PDF for Python.