I n t e r n at i on a l  Jou r n al  of  A d van c e s   i n  A p p l i e d  S c i e n c e s  ( I JA A S )   V ol .  1 5 , N o.  2 ,  J une   20 2 6 , pp.  532 ~ 540   I S S N :   2252 - 8814 ,  D O I :   10.11591/ i j a a s . v 1 5 . i 2 . pp 532 - 540           532       Jou r n al  h om e page :  h t t p : / / i j aa s .i ae s c o r e .c om   S e m an t i c  c l u s t e r i n g of  s c i e n t i f i c  ab s t r ac t s  w i t h   t r an s f or m e r   e m b e d d i n gs  an d  t r ad i t i on al  t e x t  r e p r e s e n t at i on s       M u s t h of a G a l i h  P r ad an a 1 , P u j o  H ar i  S ap u t r o 2 , A r d h yan s yah  M u al o 3 , A r b i at i  F ai z ah 4 ,    Wah yu n i  F i t h r at u l  Z al m i 2   1 D e pa r t m e nt  of   D a t a  S c i e nc e , F a c ul t y of  C om put e r  S c i e nc e ,  U P N   V e t e r a n   J a ka r t a ,   J a ka r t a ,   I n d one s i a   2 D e pa r t m e nt  of   I nf or m a t i c s   E ngi ne e r i ng , F a c ul t y of  E ngi ne e r i ng, S a m  R a t ul a ngi   U ni ve r s i t y, M a na d o, I n d one s i a   3 D e pa r t m e nt  of   I nf or m a t i c s  M a na ge m e nt ,  P ol i t e kni k N e ge r i  F a kF a k , F a kf a k, I nd one s i a     4 D e pa r t m e nt  of   I nf or m a t i on  S ys t e m s ,  F a c ul t y   of   I nf or m a t i c s ,  I ns t i t u t  T e knol ogi  d a n B i s ni s  P G R I  D e w a n t a r a , J om ba ng, I nd one s i a       A r t i c l e  I n f o     A B S T R A C T     A r t i c l e  h i s t o r y :   R e c e i ve d  J un 23, 2025   R e vi s e d  A pr  10, 2026   A c c e pt e d  A pr  22, 2026       Th e  large  a n d  diverse  q u a nt i t y  of  scie nt ific  doc um e nt s  i n   th e  world ,   a n d   specifically  i n  I n do n esia ,   m akes   th e   process   of   processi n g   scie nt ific   docum e nt   da t a  a n   i nt eres t i n g  s tu dy .   O n e  th a t   represe nt s  th e  e nt ire  scie nt ific   docum e nt   is   th ro u g h   abs t rac t s .   T h e   approac h   th a t  ca n   be   do n e  for   th e  process   of  processi n g   a n d   gro u pi n g   doc um e nt s   is   t o   apply   c l u s t eri n g .   I n  th is   case ,   t ex t - based   cl u s t eri n g  is   c u rre nt ly  h e avily  i n fl u e n ced   by  th e   fea tu re   represent a t io n   of   th e  t ex t  da t a  u sed .   So m e   pop u lar  represe nt a t io n s   of  fea tu res   are  t er m   freq u e n cy - i n verse   doc um e nt   freq u e n cy   ( TF - IDF )   a n d   co unt  vect orizer ,   b ut  th ey   s t il l   h ave   sig n ifica nt  weak n esses   i n  th e   co nt ex t  of   un ders t a n di n g   th e   m ea n i n g  of   n a tu ral   la n g u age .   To   cover   th e   drawbacks ,   i t  can   u se   t ra n sfor m ers  or  e m beddi n g   t ypes.   I n   th is  s tu dy ,   several   t es t   sce n arios   will  be  carried  o ut   t o  ob t ai n   i n for m a t io n  a n d  a n   overview  of   h ow  t o  co m pare   th e  effec t ive n ess  of  th e  t radi t io n al   TF - IDF  m odel  a n d  th e  bidirec t io n al   en coder  represe nt a t io n s   fro m   t ra n sfor m ers  ( BERT )   a n d  se nt e n ce   bidirect io n al   e n coder   represe nt a t io n s   fro m  t ra n sfor m ers   ( SBERT )   em beddi n g   m odels   i n  I n do n esia n - la n g u a ge   scie nt ific   abs t rac t  cl u s t eri n g   wi th  several  cl u s t eri n g  m odels ,   s u c h   as  k - m ea n s  a n d   agglo m era t ive .   T h e   res u l t s  of   th e  s tu dy  s h owed  th a t  th e  m os t   effec t ive  cl u s t eri n g  ob t ai n ed   was  by  u si n g  a n  em beddi n g   m odel  of  a  co m bi n a t io n  of  BERT  a n d   k - m ea n s ,   w h ic h   w as  th e   m os t   co n siste nt   wi th  the  m os t  op t i m al  num ber   of  cl u s t ers   bei n g  2   cl u s t ers.   K e y w or d s :   A bs t r a c t   C l us t e r i ng   E m be ddi ng   T e xt   T r a di t i ona l   This  is  an  open   access   article  under   the  CC   BY - SA   license .     C or r e s pon di n g A u t h or :   M us t hof a  G a l i h P r a da na   D e pa r t m e n t  of  D a t a  S c i e nc e , F a c u l t y of  C om pu t e r  S c i e nc e , U P N  V e t e r a n J a ka r t a   R S  F a t m a w a t i  R oa d, P ondok L a bu, C i l a nda k,  J a ka r t a , I ndone s i a   E m a i l :   m us t hof a ga l i hp r a da na @ upnvj .a c . i d       1.   I N T R O D U C T I O N   S c i e nt i f i c   doc um e nt s   t oda y  ha ve   a   l a r ge   a nd  di ve r s e   qua nt i t y,  a nd  t he   e a s e   of   a c c e s s   t o  s c i e n t i f i c   doc um e nt s   ha s   a l s o  be c o m e   e a s i e r   be c a us e  m a ny t e c hnol og i e s   c a n  he l p   t o  ga i n  a c c e s s ,  a nd m a ke   a   s c i e n t i f i c   doc um e nt   m or e   a c c e s s i b l e .  T hi s   i s   s how n  by   a   s i gni f i c a n t   i nc r e a s e   i n   t he   num be r   of   s c i e nt i f i c   publ i c a t i ons .   I ndone s i a   i t s e l f   i n  2024   w i l l   be   r a nke d   19t h   i n   t he   w or l d   a nd  5 t h  i n  t h e   A s i a n   r e g i on  w i t h  a   t o t a l   of     58,224  i nde xe d  s c i e nt i f i c   doc um e n t s .  T h i s   c ondi t i on  s how s   t ha t   na t i ona l   r e s e a r c h  a nd  pub l i c a t i on  a c t i vi t i e s   c ont i nue   t o  gr ow   r a p i dl y,  i n  l i ne   w i t h  t he   e a s e   of   a c c e s s   t o  i n f or m a t i on  a nd  t he   i m pl e m e nt a t i on  of   ope n   publ i c a t i on  pol i c i e s .  H ow e ve r ,  t he   m a s s i ve   i n c r e a s e   i n  t he   vo l um e   of   s c i e n t i f i c   da t a   a l s o  pos e s   ne w   c ha l l e nge s  i n t he  pr oc e s s  of  i n f or m a t i on  m a na ge m e nt  a nd a na l y s i s , e s pe c i a l l y i n t h e  gr oupi ng or  c l us t e r i ng of   doc um e nt s  ba s e d on s i m i l a r i t y  i n c ont e n t  a nd c ont e xt ,   ba s e d on n a t ur a l  l a ngu a ge  pr oc e s s i ng  [ 1] , [ 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       Se m ant i c  c l us t e r i ng of  s c i e nt i f i c  abs t r ac t s  w i t h  t r ans f o r m e r  e m be ddi ngs   …  ( M us t hof a G al i h P r adana )   533   T he   qua l i t y  of   t he   c l us t e r i ng  r e s ul t s   i s   h i ghl y  de pe nd e nt   on  t he   t e xt   r e pr e s e nt a t i on  t e c hni qu e   us e d.   C l a s s i c   a ppr oa c he s   l i ke   a  c ount   ve c t o r i z e r   [ 3 ] – [ 6]   a nd  t e r m   f r e que nc y - i nve r s e   doc um e n t  f r e que nc y   ( TF - I D F )   [ 7] – [ 12]   ha ve   l ong  be e n  u t i l i z e d   t o e xt r a c t   w or d   f e a t ur e s ,   e a c h  w i t h  i t s   a dv a nt a ge s   a nd l i m i t a t i on s   [ 13 ] – [ 16] .  A l t hough  e f f e c t i ve   i n  m ode l i ng  w or d  f r e que nc y,  t he   m e t hod  i s   l e s s   a bl e   t o  unde r s t a nd  s e m a n t i c   m e a ni ng  i n   de pt h. T he s e  l i m i t a t i on s  c a n now  be  ove r c om e  w i t h a  t r a ns f o r m e r - ba s e d a ppr o a c h  [ 17] – [ 19 ] , w hi c h i s  a bl e  t o   r e pr e s e n t   t h e   c on t e xt ua l   r e l a t i ons h i p  be t w e e n   w or ds   i n   t w o  d i r e c t i ons .   T hi s   c a pa bi l i t y   m a k e s   e m be ddi ng   t r a ns f o r m e r s   s u c h  a s   b i di r e c t i ona l   e nc ode r   r e pr e s e nt a t i ons   f r o m   t r a ns f o r m e r s   ( B E R T )   s upe r i or   i n  c o m pl e x   t e xt   c l us t e r i ng  pr oc e s s e s ,  i nc l ud i ng  s c i e n t i f i c   doc um e n t s   [ 11] ,  [ 12] ,  c o m pa r e d   w i t h  t he   t r a di t i ona l   t e xt   r e pr e s e n t a t i on , e ve n w he n c om b i ne d w i t h  i m a ge  p r oc e s s i ng i npu t s   [ 20 ] , [ 21] .   V a r i ous   pr e v i ous   s t udi e s   ha ve   s how n  va r i ous   a ppr o a c he s  t o  doc um e n t   c l u s t e r i ng,  s t a r t i ng f r om   d a t a   m i ni ng  m e t hods   [ 22] ,  opt i m i z a t i on  m e t a - he ur i s t i c s   [ 23] ,  a u t oe nc ode r   [ 24 ] ,  t o  de e p  m ul t i - l a be l   f r a m e w or ks   s uc h  a s   de e p  e xt r e m e   m ul t i - l a be l   l e a r ni ng   ( D e e pX M L )   [ 25] .  T he   a ppl i c a t i on  of   t he   B E R T   m ode l   t o   a l gor i t hm s   s uc h  a s   k - m e a ns ,  F uz z y - C - M e a ns ,  a nd  hi e r a r c hi c a l   c l us t e r i ng  i n  ge ne r a l   r e s ul t s   i n  i m pr ove d   pe r f or m a nc e   ove r   T F - I D F   [ 26] ,  [ 27 ] .  S om e   a dva nc e d  m ode l   de ve l op m e nt s ,  s uc h   a s   W E C l us t e r i ng+ +   [ 28]   a nd   C l us T op   [ 29] ,   a s   w e l l   a s   t he   us e   of   e m b e ddi ng  f r o m   l a r g e   l a ngua ge   m ode l s   s uc h  a s   G P T - 3.5  a nd  s e nt e nc e   bi d i r e c t i ona l   e nc ode r   r e pr e s e nt a t i ons   f r om   t r a ns f o r m e r s   ( S B E R T ) ,   a l s o  s how e d  i nc r e a s e d  a c c ur a c y   i n doc um e n t  gr oupi ng.   I n  de t e r m i ni ng   t he   num be r   of   c l u s t e r s  t ha t   a r e   m os t   s u i t a b l e , a   nu m be r   o f   e va l ua t i on m e t r i c s   s uc h   a s   t he   s i l houe t t e  s c or e   [ 30 ]   a nd D a vi e s - B ou l di n i nde x  [ 31]   a r e  o f t e n a pp l i e d t o  m e a s u r e  t he  qua l i t y o f  s e pa r a t i on   be t w e e n  c l us t e r s .  S om e   s t ud i e s   us e   a   c o m bi na t i on  of   m e t hods ,  s uc h  a s   ga p  s t a t i s t i c s   [ 32]   o r   t he   e l bow   m e t hod ,   t o  s t r e ngt he n  t he   r e s ul t s   of   de t e r m i n i ng  opt i m a l   k  va l ue s .  M e a nw hi l e ,  c l a s s i c   m ode l s   s uc h  a s     TF - I D F   a nd  l a t e nt   D i r i c h l e t   a l l o c a t i on   ( L D A )   r e m a i n  u s e d  a s   be nc hm a r ks   t o  a s s e s s   t he   e x t e nt   t o  w hi c h   t r a ns f o r m e r - ba s e d a ppr oa c he s  c a n i m pr ove  c l us t e r i ng ou t c om e s   [ 33] – [ 36] .   I n ge ne r a l , va r i ous  s t ud i e s  ha ve  s how n t ha t  t r a n s f or m e r  e m be ddi ng - b a s e d r e pr e s e nt a t i ons  a r e  a bl e  t o   pr ovi de   be t t e r   r e s ul t s   t ha n  t r a di t i ona l   a pp r oa c he s .   H ow e ve r ,  s i m i l a r   r e s e a r c h  w i t h  a   f oc us   on  I ndone s i a n   s c i e nt i f i c   doc um e nt s   i s   s t i l l   l i m i t e d,  a l t hough  t he   num be r   of   publ i c a t i on s   c ont i nue s   t o  i nc r e a s e .  T he r e f or e ,   t hi s   s t udy  w i l l   c o m pa r e  t he   e f f e c t i ve ne s s   of   T F - I D F ,  c ount   ve c t or i z e r ,  a nd   B E R T   or   S B E R T   i n  t he   gr oupi ng   of   I ndone s i a n  s c i e n t i f i c   a b s t r a c t s .  T he   r e s ul t s   of   t hi s   r e s e a r c h  a r e   e xpe c t e d  t o  be   a   f oo t hol d  f o r   t he   de ve l opm e n t  of  s ys t e m s   s uc h a s  a c a de m i c  s e a r c h e ng i ne s , t he m a t i c  m a pp i ng, a ut o m a t i c  l i t e r a t u r e  r e vi e w , a nd  r e s e a r c h d a s hboa r ds   i n t he   f ut u r e .       2.   M E T H O D   T hi s   r e s e a r c h  i s   c a r r i e d  out   t hr ough  s e ve r a l   s t a g e s .  T he s e   s t a ge s   a r e   a r r a nge d  i n  a   s t r u c t ur e d  w a y,   s t a r t i ng f r om  pr ob l e m   f or m ul a t i on  t o dr a w i ng c onc l us i on s . T he  r e s e a r c h f l ow  i s  vi s u a l i z e d i n F i gur e  1.             F i gur e  1. R e s e a r c h  s t a ge   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol . 15, N o. 2, J une  2026 :   532 - 540   534   T he  de t a i l s  of  t h e  i m p l e m e nt a t i on of   t he  r e s e a r c h a r e  a s   f ol l ow s :   i)   P r obl e m   i de n t i f i c a t i on:   t he  f i r s t   s t e p   of  t he   r e s e a r c h   i s   t o r e c ogni z e   t h e   pr ob l e m s   be hi nd   t hi s   s t udy.  T he   i nc r e a s i ng  num b e r   o f   s c i e nt i f i c   publ i c a t i ons   de m a nds   a n   a ut o m a t e d   m e c ha n i s m   t o   gr oup  a bs t r a c t s   t o   m a ke  t he m  e a s i e r   t o s e a r c h.    ii)   S t udy   l i t e r a t u r e :   t he   ne x t   s t a ge   i s   t o  r e v i e w   pr e vi ous   s t ud i e s   r e l e va nt   t o  t hi s   t he m e .  T he   f oc us   of   t he   s t udy i s  di r e c t e d t ow a r ds  t e x t  r e pr e s e nt a t i on a pp r oa c he s  s uc h a s  T F - I D F , B E R T ,  a nd S B E R T , a s  w e l l  a s   unl a be l e d g r oupi ng t e c hni que s  s uc h a s   k - m e a n s   a nd  a ggl o m e r a t i ve  c l us t e r i ng .    i i i )   D a t a   c ol l e c t i on  a nd  p r e pa r a t i on :   t he   r e s e a r c h  d a t a   i s   i n  t h e   f or m   of   a   c ol l e c t i on  of   s c i e nt i f i c   a bs t r a c t s   obt a i ne d f r om  d i gi t a l  pub l i c a t i on ba s e s . A l l   t e xt   i s  t h e n pr oc e s s e d f i r s t   s o t ha t  i t  ha s  a  uni f or m  f or m a t .   i v)   T e xt   e m be dd i ng:   i n  o r de r  f or   t h e   a l go r i t h m   t o  be   pr oc e s s e d,  t he  t e xt  i s   c onve r t e d i nt o  a   nu m e r i c   ve c t o r   t hr ough  t w o  a ppr oa c he s .  I n  t he   t r a di t i ona l   m e t hod,  T F - I D F   i s   us e d,  w hi c h  c a l c ul a t e s   t he   w e i ght   o f   w or ds  ba s e d on t he  f r e que nc y o f  t he i r  a ppe a r a nc e  i n do c um e n t s .    v)   C l us t e r i ng  a ppl i c a t i on :   a f t e r   t he   t e x t   i s   r e p r e s e nt e d  i nt o  ve c t o r s ,  t he   gr oup i ng  pr oc e s s   i s   c a r r i e d  out   us i ng t w o uns upe r v i s e d a l gor i t hm s .    vi )   E va l ua t i on :  t he   qua l i t y  of   t he   c l u s t e r s   w a s   a na l yz e d  us i ng  t w o  m a i n  m e a s ur e s ,  na m e l y   t he   s i l houe t t e   s c or e   a nd  t he   D a vi e s – B oul d i n   i nde x .  S i l houe t t e   s c or e   i s   us e d  t o  a s s e s s   t he   pr oxi m i t y  of   a   doc um e n t   t o   i t s  c l us t e r  c om pa r e d t o o t he r  c l us t e r s .    vi i )   C onc l us i on :  t he   f i na l   s t a ge   i s   t o  p r e s e n t   t he   r e s u l t s   o f   t he   c l us t e r   v i s ua l i z a t i on  o f   t h e   va r i ous   c onf i gur a t i ons   a nd c om pa r e  t he  pe r f or m a nc e  o f  e a c h m e t hod.        3.   R E S U L T S   A N D   D I S C U S S I O N   3.1.   R aw   d at a   T he  da t a  us e d i n t hi s  s t udy  a r e   a bs t r a c t  da t a  f r om  s c i e n t i f i c  r e s e a r c h doc um e n t s . T he  a m ount  of  da t a   i s   a s   m a ny  a s   1 , 000   a bs t r a c t   da t a   po i nt s .   T hi s   a b s t r a c t   da t a   i s   obt a i ne d  f r om   t he   da t a   r e po s i t o r y  of   a bs t r a c t   s t ude nt  t he s i s   da t a   a t  t he   un i ve r s i t y  by t a ki ng s pe c i a l   s pe c i f i c a t i ons   a t   t h e   F a c ul t y  of   C om pu t e r   S c i e nc e .  T he     pr e - pr oc e s s i ng  s t a ge s   a r e   d i vi de d  i n t o  2  pa r t s ,  a c c o r di ng  t o  t h e   ne e ds   of   e a c h  t ype   of   a ppr oa c h.  T he   t r a di t i ona l   a pp r oa c h  r e qui r e s   s e ve r a l   s t e ps   a nd  s t a ge s   t h a t   a r e   m or e   de t a i l e d  a nd   i n - d e pt h,  w hi l e   us i ng   t he   e m be ddi ng  a ppr oa c h,  it  onl y  us e s   c a s e   f ol d i ng  a nd   l i gh t   c l e a n i ng  w i t hout   s t e m m i ng,  be c a us e   e m be ddi ng   r e qui r e s   c om p l e t e ne s s   a nd  c o m pl e t e ne s s   o f   s e nt e nc e s   t o  g e t  t he   c ont e x t   a s   a   w hol e .  I n  t he  t r a d i t i ona l  m ode l ,   t he   c a s e   f ol d i ng  pr oc e s s   i s   by  c onve r t i ng  t e x t   t o  l ow e r c a s e .  T he   ne xt   pr o c e s s   i s   c l e a ni ng f or   punc t ua t i on,  a s   w e l l   a s   t he   t oke n i z a t i on   pr oc e s s .  S t opw or d   r e m ova l   r e m ove s  m e a n i ngl e s s   w or ds   a nd  c on t i nue s   t h e   s t e m m i ng   or   l e m m a t i z a t i on  pr oc e s s   f o r   a   r e t ur n  t o  t he   r oot   w or d.  E m be ddi ng  i s   di vi de d  i n t o  2  s t a ge s ,  na m e l y ,   t oke ni z a t i on , w hi c h   i s  c a r r i e d out  by t he  B E R T   or   S R E R T  t oke ni z e r . A l t hough t he  pr oc e s s  r e m a i ns  t h e  s a m e ,   onl y  t he   pr oc e s s  i s   d i r e c t l y   pe r f or m e d  by t he   B E R T   or   S R E R T   m ode l .  S t a ge   2   w i t h W or dP i e c e   t oke ni z a t i on.   F ur t he r  t oke ni z a t i on  u s e s   t h e   B E R T   voc a b  by  r e f e r r i ng  t o a bout   30,000  s ubw or ds .  I f  t he   w or d  i s   no t   pr e s e nt   i n t he  voc a b,  i t   i s  br oke n dow n i n t o s ubw or d pi e c e s  w i t h  t he  ## pr e f i x.      3.2.   E m b e d d i n g  p i p e l i n e s  an d  c l u s t e r i n g c on f i gu r at i on s   A bs t r a c t   da t a   m us t   go   t h r ough  t h e   pr e - pr oc e s s i ng   s t a ge s   de s c r i be d  e a r l i e r .   I n  t he   t r a d i t i ona l   a ppr oa c h,  i t   i s   qui t e   l ong  f r o m   t he   t ok e ni z a t i on  s t a ge ,  t he   r e m ova l   of   s t opw or ds ,  a nd  s t e m m i ng  be f o r e   t he   pr oc e s s   c ont i nue s   on  doc um e nt   c l us t e r i ng.  M e a nw hi l e ,  on  t he   s t a ge   w i t h  a   t r a ns f o r m e r - ba s e d  e m be ddi ng   m ode l , a f t e r   t oke ni z a t i on,  t he  ne xt  s t e p i s  a  l i gh t e r  pr e - pr oc e s s i ng w i t h l ow e r c a s e  nor m a l i z a t i on a nd c ha r a c t e r   r e m ova l   s t a ge s   by  a ppl y i ng  W or dP i e c e .  T he   r e s ul t   w i l l   be   f or m e d  f r om   t he   out put   of   t he   l a s t   hi dde n  s t a t e   w i t h m e a n poo l i ng, w hi c h  t he n ne e ds   t o be  nor m a l i z e d w i t h L 2.     3.3.   C l u s t e r   vi s u a l i z a t i on   T he   c l us t e r i ng  r e s u l t s   ob t a i n e d  w i t h  a ggl om e r a t i ve   c l us t e r i ng   s how   t ha t   t he   do c um e n t   on  t h e   l e f t   s i de  f or m s  a  s m a l l  c l us t e r  a nd i s  l ow  i n s pa c i ng. T hi s  s how s  hi gh uni f or m i t y. O ve r a l l , t h i s  s a l t  s how s  t ha t  t he   da t a s e t   c a n  be   gr oupe d  i nt o  s e ve r a l   m a i n  gr oups .  T hi s   di v i s i on  i s   qui t e   c l e a r ,   s how i ng  t ha t   t he r e   a r e   di f f e r e nc e s   i n c l us t e r s . T he  r e s u l t s  o f  t he   de nd r ogr a m   a r e  s how n  in   F i gur e  2.   I n  a ddi t i on  t o  goi ng  t hr ough  t he   de ndr og r a m ,  a no t he r   gr a ph  i s   a   ke yw or d  he a t m a p.  F r om   t he   ke yw or d  c l us t e r   he a t m a p,  i t   i s  s how n  t ha t   s e ve r a l   ke yw or ds   f or  e a c h  c l u s t e r ,   b a s e d  on  t he   T F - I D F   m a ppi ng ,   s how   t he   d i s t r i but i on  o f   w or ds   i n t he  a bs t r a c t   doc um e n t   on   t he   l e f t .  T he   c ol o r   on t he   he a t m a p  a l s o  s how s   t he   f r e que nc y  of   w or ds   i n  t h e   da t a s e t ;   t he   da r ke r   t he   c o l or ,  t he   m or e   dom i na nt   t h e   w or d  t ha t   a ppe a r s   i n  t he   gr oupi ng  o f   a bs t r a c t   doc u m e nt s .   T hi s   w or d  r e f e r s   t o   t he   I ndone s i a n  w or d   t ha t   a ppe a r s   on   s t ud e nt   a bs t r a c t   doc um e nt s ,  s u c h  a s   s e r ve r s   a nd   w e bs i t e s   t ha t   a ppe a r   qui t e   of t e n.  T hi s   he a t m a p  i s   e xp e c t e d  t o  be   a b l e   t o   pr ovi de   a n  ove r vi e w   of   t he   t h e m a t i c   unde r s t a ndi ng  o f   e a c h  ke yw or d  di s t r i but i on  i n  c l us t e r i ng ,   de t a i l s     on F i gur e  3.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       Se m ant i c  c l us t e r i ng of  s c i e nt i f i c  abs t r ac t s  w i t h  t r ans f o r m e r  e m be ddi ngs   …  ( M us t hof a G al i h P r adana )   535   I n  a ddi t i on  t o  goi ng  t hr ough  t he   de ndr og r a m ,  a no t he r   gr a ph  i s   a   ke yw or d  he a t m a p.  F r om   t he   ke yw or d  c l us t e r   he a t m a p,  i t   i s  s how n  t ha t   s e ve r a l   ke yw or ds   f or  e a c h  c l u s t e r ,  b a s e d  on  t he   T F - I D F   m a ppi ng,   s how   t he   d i s t r i but i on  o f   w or ds   i n t he  a bs t r a c t   doc um e n t   on   t he   l e f t .  T he   c ol o r   on t he   he a t m a p  a l s o  s how s   t he   f r e que nc y  of   w or ds   i n  t he   da t a s e t .   T he   da r ke r   t he   c o l or ,  t he   m o r e   dom i na nt   t he   w or d  t h a t   a ppe a r s   i n  t he   gr oupi ng  o f   a bs t r a c t   doc u m e nt s .   T hi s   w or d  r e f e r s   t o   t he   I ndone s i a n  w or d   t ha t   a ppe a r s   on   s t ud e nt   a bs t r a c t   doc um e nt s ,  s u c h  a s   s e r ve r s   a nd  w e bs i t e s   t ha t   a ppe a r   qui t e   of t e n.  T hi s   he a t m a p  i s   e xp e c t e d  t o  be   a b l e   t o   pr ovi de   a n   ove r v i e w   of   t he   t he m a t i c   unde r s t a nd i ng  o f   e a c h   ke yw or d  d i s t r i bu t i on  i n  c l us t e r i ng.   T hi s   s e pa r a t i on  i s   ba s e d  on  t he   s e m a nt i c   r e l a t i ons h i p  be t w e e n  w or ds   [ 37] ,   no t   onl y  ba s e d  on  t h e   f r e que nc y  of   oc c ur r e nc e   [ 38] .           F i gur e  2.  D e ndr ogr a m   c l us t e r i ng           F i gur e  3. H e a t m a p  ke yw or d       3.4.   T e s t   s c e n ar i os     T he   c l us t e r i ng m ode l s  t ha t   w i l l   be   us e d  a r e   k - m e a n s   a nd  a ggl om e r a t i ve   by  a pp l yi ng  t he   B E R T   a nd   S B E R T   e m be ddi ng  m ode l s ,   a s   w e l l   a s   a   t r a di t i ona l   T F - I D F   m ode l .  R e s ul t s   w i l l   be   pr e s e nt e d  ba s e d  on   s c e na r i os   w i t h  t he   de t e r m i na t i on  of   t he   num be r   of   c l us t e r s ,   s t a r t i ng  f r om   2   t o  6 ,   t o  f i nd  t he   opt i m a l   c l us t e r .   R e f e r s   t o  t he   t e s t   r e s ul t s   i n  bot h  s c e na r i os   f o r   t r a d i t i ona l   m ode l s   a nd  e m be ddi ng  m ode l s   w i t h  2  c l us t e r i ng   a l gor i t hm s .  S o,   t he  m os t  opt i m a l  va l ue  obt a i ne d i s  t o us e  B E R T  a nd   k - m e a ns  w i t h a  num be r  of  c l us t e r s  of  2.  T hi s   i s   s how n  b y  t he   s i l houe t t e   s c or e   va l ue   of   0.2592  be i ng  t he   hi ghe s t ,   a nd  t he   D a vi e s - B oul di n  i nde x     va l ue   of   2.5416 ,   w i t h  a   f a i r l y  l ow   va l ue   or   a n   opt i m a l   va l ue .  T hi s   s t a t e s   t ha t   B E R T   i s   a bl e   t o  c a pt ur e     s e m a nt i c   r e l a t i ons hi ps   be t w e e n  s e nt e nc e s   be t t e r   [ 39] .  T he   r e s ul t s   of   t he   vi s ua l i z a t i on  of   t he   c om pa r i s on  of   t he s e   t w o  m ode l s   a r e   s how n  i n  F i gur e   4 ,  w he r e   F i gur e   4( a )   s how s   t he   s i l houe t t e   a nd  F i gur e   4( b)   s how s   t he   D a vi e s – B oul di n i nde x .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol . 15, N o. 2, J une  2026 :   532 - 540   536       ( a )   ( b)     F i gur e  4. C om pa r i s on m od e l  of   ( a )  s i l houe t t e   s c or e   a nd   ( b)   D a vi e s – B ou l di n i nd e x  s c or e       A s   f or  t he   ove r a l l   s c e n a r i o   w i t hou t   c a t e gor i z a t i on,  i t  i s  s how n  i n  F i gur e   5.   F i gur e   5  s how s   t he   r e s u l t   of  t he  s i l houe t t e  s c or e , w hi l e  F i gur e  6 e xp l a i ns   t he  D a vi e s - B ou l di n i nde x s c or e . T he s e  t w o m e t r i c s  ne e d t o be   i nt e r p r e t e d  i n m o r e  de pt h.           F i gur e  5. A l l   s c e na r i o s i l houe t t e  s c o r e           F i gur e  6. A l l   s c e na r i o  D a vi e s - B ou l di n   i nd e x s c or e   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       Se m ant i c  c l us t e r i ng of  s c i e nt i f i c  abs t r ac t s  w i t h  t r ans f o r m e r  e m be ddi ngs   …  ( M us t hof a G al i h P r adana )   537   T he   opt i m a l   nu m be r   o f   c l us t e r s  i s   i n   t he   2nd   c l us t e r .   M or e   num be r s   l ow e r   t he   qua l i t y  of   t he  c l us t e r .   T he   m os t   opt i m a l   r e pr e s e n t a t i on  m ode l   i s   t he   e m b e ddi ng  m ode l   w i t h   B E R T   a s   t he   t e x t   r e pr e s e nt a t i on   f or   s c i e nt i f i c   a bs t r a c t   c l u s t e r i ng ,   c o m bi ne d  w i t h  k - m e a ns ,   w hi c h  i s   ove r a l l   m o r e   s t a bl e   t ha n  a gg l om e r a t i ve   i n   c om bi na t i on  w i t h  B E R T   e m be ddi ng.  T he   S B E R T   e m be ddi ng  m ode l   ne e d s   f i ne - t un i ng  i f   i t   i s   t o  be   us e d  i n   t he   dom a i n  of   s c i e nt i f i c   publ i c a t i ons   ( e s pe c i a l l y   i n  I ndone s i a n  or   m ul t i d i s c i p l i na r y)   [ 40] .  T he   t r a d i t i ona l     TF - I D F   m ode l   i s   not   r e c o m m e nde d f or  t e xt  r e pr e s e nt a t i on i n  c ont e xt ua l   c l us t e r i ng ,   s uc h a s   s c i e nt i f i c   j ou r na l   a bs t r a c t s   [ 41] . T he  m ode l  a l s o s how s  t ha t  s e m a nt i c  c l us t e r i ng i s  not  onl y t e c hn i c a l l y us e f ul  but  c a n a l s o ha ve   a   pr a c t i c a l   i m p a c t .  T he   p r a c t i c a l   i m p a c t  i s  t o  be   a b l e   t o s uppor t  r e s e a r c h  di s c ove r y, t he m a t i c   m a pp i ng,  a nd  a   m or e  e f f i c i e nt   l i t e r a t ur e  s yn t he s i s  pr oc e s s .    T hi s  pot e nt i a l  c a n be  e xp l or e d f u r t he r  i n a  di g i t a l  l i b r a r y or   i n a  r e s e a r c h da s hboa r d. T hi s  i s  e xpe c t e d   t o  be   a bl e   t o  be   de ve l ope d i n  m ul t i p l e   l a ngua ge s   a nd  i n t e gr a t e d   w i t h  va r i ous   ot he r   da t a   s ou r c e s .  T he   r e s u l t s   of   t hi s   s t udy  s how   t ha t   s e m a nt i c   g r oupi ng i s   no t   onl y t e c hn i c a l l y  be ne f i c i a l  f or  i m pr ov i ng  c l us t e r   qua l i t y  but   a l s o  ha s   a   s i gni f i c a nt   pr a c t i c a l   i m pa c t .  T he   c l u s t e r s   f or m e d  c a n  s uppor t   r e s e a r c h  di s c ove r y,  t he m a t i c   m a ppi ng,  a nd  m or e   e f f i c i e n t   a ut o m a t e d  l i t e r a t u r e   s ynt he s i s .  W i t h  t he   po t e nt i a l   f o r   i nt e g r a t i on  i n t o  di gi t a l   l i br a r i e s ,  c i t a t i on  ne t w or ks ,  or   r e s e a r c h  da s hbo a r ds ,  t h i s   a ppr o a c h  c ont r i but e s   t o  a c c e l e r a t i ng  a c c e s s   t o  a nd   unde r s t a nd i ng  of   s c i e nt i f i c   l i t e r a t ur e .  G oi ng  f or w a r d,  r e s e a r c h  d i r e c t i ons   c a n  be   de ve l ope d  t hr ough   m ul t i l i ngua l  gr oup i ng, dyna m i c  t op i c  e vol u t i on  t r a c k i ng, a nd i nt e g r a t i on w i t h c i t a t i on - b a s e d m e t r i c s  t o e n r i c h   a na l ys i s  a nd e xpa nd t h e  s c ope  of  a pp l i c a t i on s .       4.   C O N C L U S I O N     T he   r e s ul t s   s how e d  t h a t   t he   m os t   opt i m a l   m ode l   w a s   t he   e m be ddi ng   m ode l   w i t h  t he   be s t   r e s u l t s   i n   B E R T   a nd  k - m e a n s ,   w i t h  t he   m os t   opt i m a l   num b e r   of   c l us t e r s   i n  c l us t e r   2 .  T hi s   r e s ul t   w a s   s t r e ngt h e ne d  by  t he   r e s ul t s   of   t he   l a r ge s t   s i l houe t t e   s c or e   a nd  t h e   s m a l l e s t   D a vi e s - B oul di n  i nde x   v a l ue .  T he s e   f i ndi ngs   s t a t e   t ha t   t r a n s f or m e r   r e pr e s e nt a t i on s   c a n   pr oduc e   opt i m a l   c l us t e r s   a nd  c a n   be   u s e d  t o  s uppo r t   f ut u r e   r e s e a r c h   on   t opi c  m a ppi ng.       F U N D I N G  I N F O R M A T I O N   T he   a ut hor s   s t a t e   t ha t   no   f und i ng  w a s   i nvol ve d   i n   t he   de ve l opm e n t   of   t h i s   r e s e a r c h.  T he   w or k  w a s   c onduc t e d i nde p e nde nt l y w i t hout   f i na nc i a l   s uppor t   f r o m  a ny e xt e r na l  a g e nc y, gr a n t , or  i n s t i t ut i ona l   f und.       A U T H O R  C O N T R I B U T I O N S  S T A T E M E N T   T hi s   j our n a l   u s e s   t he   C ont r i but o r   R ol e s   T a xonom y  ( C R e di T )   t o   r e c ogn i z e   i nd i vi dua l   a u t hor   c ont r i bu t i ons ,  r e duc e  a u t hor s h i p di s pu t e s , a nd  f a c i l i t a t e  c o l l a bo r a t i on.      N am e  of  A u t h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   M us t ho f a  G a l i h P r a da na   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓       ✓     P uj o H a r i  S a put r o     ✓       ✓           ✓   ✓         A r dhya ns ya h M ua l o   ✓       ✓             ✓   ✓         A r bi a t i  F a i z a h   ✓     ✓             ✓       ✓       W a hyun i  F i t hr a t ul  Z a l m i       ✓           ✓   ✓     ✓     ✓     ✓     C   :    C onc e pt ua l i z a t i on   M   :    M e t ho d ol ogy   So   :    So f t w a r e   Va   :    Va l i d a t i on   Fo   :    Fo r m a l  a na l ys i s   I   :    I nve s t i ga t i on   R   :    R e s our c e s   D   :   D a t a  C ur a t i on   O   :   W r i t i ng  -   O r i g i na l  D r a f t   E   :   W r i t i ng  -   R e vi e w  &   E d i t i ng   Vi   :    Vi s ua l i z a t i on   Su   :    Su pe r vi s i on   P   :    P r oj e c t  a d m i ni s t r a t i on   Fu   :    Fu nd i ng a c qui s i t i on         C O N F L I C T  O F  I N T E R E S T   S T A T E M E N T   T he  a ut hor s  s t a t e  no  c onf l i c t  o f  i n t e r e s t .        I N F O R M E D   C O N S E N T   N ot   a ppl i c a bl e .   T hi s   s t udy  d i d  no t   i nvo l ve   hu m a n  pa r t i c i pa n t s ,  hu m a n  da t a ,  o r   a ny   pe r s ona l l y   i de nt i f i a b l e   i nf o r m a t i on.  A l l   da t a   us e d  w e r e   e i t he r   publ i c l y  a va i l a bl e ,  f u l l y  a nonym i z e d,  or   de r i v e d  f r om   non‑ hum a n s our c e s , a nd t h e r e f o r e  no i n f or m e d c ons e nt  w a s   r e qui r e d f r o m  i nd i vi dua l s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol . 15, N o. 2, J une  2026 :   532 - 540   538   E T H I C A L   A P P R O V A L   N ot   a ppl i c a bl e .  T hi s   r e s e a r c h  di d  not   i nvo l ve   hum a n  s ub j e c t s ,  hum a n  bi o l ogi c a l   m a t e r i a l s ,  or   e xpe r i m e nt a l   pr oc e dur e s   on  a n i m a l s .  T he   w or k   w a s   c onduc t e d  s o l e l y   on  c o m put a t i ona l   m ode l s ,   publ i c l y   a va i l a b l e   da t a s e t s ,  or   non ‑ s e ns i t i ve   da t a   t ha t   di d   not   r e qui r e   i n t e r ve n t i on  w i t h  l i vi ng  o r ga ni s m s .     T he r e f or e ,  e t hi c a l   a pp r ova l  f r om   a n  i n s t i t ut i ona l  r e vi e w   boa r d  or   a n i m a l   e t hi c s   c om m i t t e e   w a s   no t   ne c e s s a r y   f or  t h i s  s t udy.       D A T A  A V A I L A B I L I T Y   T he  da t a  t ha t  s uppor t  t he  f i ndi ngs  of  t h i s  s t udy a r e  a va i l a b l e  f r o m  t he  c or r e s pond i ng a ut hor ,  [ M G P ] ,  upon r e a s ona bl e   r e que s t .       R E F E R E N C E S   [ 1]   A .  K ul ka r ni   a nd   A .  S hi va na nd a ,  N at ur al   l anguage   pr oc e s s i ng  r e c i pe s :   unl oc k i ng  t e x t   dat a  w i t h  m ac hi ne   l e a r ni ng  and  de e p   l e ar ni ng us i ng P y t hon . B e r ke l e y,  C a l i f or ni a :  A pr e s s , 2021 , d oi :  10.1007/ 978 - 1 - 4842 - 7351 - 7.   [ 2]   R . S . T . L e e ,   N at ur al  l anguage  pr oc e s s i ng:  a t e x t book  w i t h  P y t hon   i m pl e m e nt at i on . S i nga po r e :  S pr i nge r , 2023 ,   d oi :  10.1007/ 978 - 981 - 99 - 1999 - 4.   [ 3]   S .  K ha n,  M .  A nw a r ,  H .   Q a yyum ,  F .  A l i ,  a nd   M . N a w a z ,  “ F a ke   ne w s   c l a s s i f i c a t i on  us i ng  m a c hi ne   l e a r n i ng:   c ount   ve c t or i z e r   a nd   s uppor t   ve c t or   m a c h i ne ,”   J ou r nal   o f   C om put i ng   and  B i om e di c a l   I n f or m at i c s ,  vo l .  4,  no.   1,  pp.  54 – 63,   J a n.  2022,     d oi :  10.56979/ 401/ 2022/ 85.   [ 4]   M .  M .  D a ny a l ,  S .  S .  K ha n,   M .   K ha n,  S .  U l l a h,  M .  B .  G ha f f a r ,   a n d  W .  K ha n,  “ S e n t i m e nt   a na l ys i s   of   m ovi e   r e vi e w s   ba s e d  on   N B   a ppr oa c he s  us i n g T F – I D F  a n d  c oun t  ve c t or i z e r ,”   Soc i al  N e t w or k   A nal y s i s  and M i ni ng , vol . 1 4, no . 1,  A pr .  2024,   d oi :  10.1 007/ s 132 78 - 024 - 01250 - 9.   [ 5]   G . M . R a z a , Z . S . B ut t , S . L a t i f , a n d  A . W a hi d , “ S e nt i m e nt   a na l ys i s  on   C O V I D  T w e e t s :   a n e xpe r i m e nt a l  a na l y s i s  on  t he  i m pa c t  of   c ount   ve c t or i z e r   a nd   T F - I D F   on  s e nt i m e nt   pr e d i c t i ons   us i ng d e e p  l e a r ni ng  m od e l s ,”   i n  2021  I nt e r nat i onal   C onf e r e nc e   on  D i gi t al   F ut ur e s  and T r ans f or m at i v e  T e c hnol ogi e s , I C oD T 2 2021 , M a y 2021, pp. 1 – 6 , d oi :  10.1109/ I C oD T 252288.2021.9441508.   [ 6]   H .  D .   A buba ka r   a n d  M .  U m a r ,  “ S e nt i m e nt   c l a s s i f i c a t i on:   r e v i e w   of  t e xt   ve c t or i z a t i on  m e t ho d s :   ba g  o f  w or d s ,  TF - I D F ,  W or d 2ve c   a nd  D oc 2ve c ,”   SL U  J our nal  of  Sc i e nc e  and T e c hnol ogy , vo l . 4, no. 1& 2, pp. 27 – 33, A ug. 2022, d oi :  10.56471/ s l uj s t .v4i .266.   [ 7]   M .  R .  A .  P r a s e t ya   a n d   A .  M .  P r i ya t no,  “ D i c e   s i m i l a r i t y  a nd   T F - I D F   f or   ne w   s t u d e nt   a d m i s s i ons   c ha t b ot ,”   R I G G S:   J our nal   of   A r t i f i c i a l  I n t e l l i ge nc e  and D i g i t a l  B us i ne s s , vol . 1, no. 1, pp. 13 – 18, J u l . 2022, d oi :  10.31004/ r i ggs .v1 i 1.5.   [ 8]   D . M e i d e l f i , Y ul he r ni w a t i , I . R a hm a yuni , T . H i d a ya t , a nd  D .  C ha nd r a , “ T F - I D F   i m pl e m e nt a t i on f or  s i m i l a r i t y c he c ke r  on t he  f i na l   pr oj e c t   t i t l e ,”   I nt e r na t i ona l   J our na l   o f   A dv anc e d   Sc i e nc e   C om put i ng  and   E ngi ne e r i ng ,  vo l .  3,   no.  1,  pp.   40 – 52,  2021,     d oi :  10.30630/ i j a s c e .3.1.3.   [ 9]   G .  Y una nd a ,  D .  N ur j a na h,  a nd   S .  M e l i a na ,  “ R e c o m m e nd a t i on  s ys t e m   f r om   M i c r os of t   N e w s   d a t a   us i ng  T F - I D F   a nd   c os i ne   s i m i l a r i t y  m e t ho d s ,”   B ui l di ng   of   I nf or m at i c s ,   T e c hnol ogy   and  Sc i e n c e ,  vol .   4,  no.  1,   pp.  277 – 284,  2022,     d oi :  10.47065/ bi t s .v4i 1.1670.   [ 10]   F .  L a n,  “ R e s e a r c h  on  t e x t   s i m i l a r i t y  m e a s ur e m e nt   hybr i d   a l gor i t hm   w i t h  t e r m   s e m a nt i c   i nf or m a t i on  a nd   T F - I D F   m e t ho d ,”   A dv anc e s  i n M u l t i m e d i a , vol . 2022, pp. 1 – 11, A pr . 2022, d oi :  10.1155/ 2022 / 7923262.   [ 11]   A .  W e nd l a nd ,  M .  Z e ne r e ,  a nd   J .  N i e m a nn,  “ I nt r od uc t i on  t o  t e xt   c l a s s i f i c a t i on:   i m pa c t   of   s t e m m i ng   a nd   c om pa r i n g  T F - I D F   a nd  c ount   ve c t or i z a t i on  a s   f e a t ur e   e xt r a c t i on  t e c hni que s ,”   i n  C om m uni c at i ons   i n  C om put e r   and  I nf or m at i on  Sc i e nc e ,  2021,  vol .  1442,  pp. 289 – 300 , d oi :  10.1007/ 978 - 3 - 030 - 85521 - 5_19.   [ 12]   A .  G up t a   a n d   U .  S ha r m a ,  “ M a c hi ne   l e a r n i ng - ba s e d   a s pe c t   c a t e gor y  d e t e c t i on  f or   H i nd i   d a t a   us i ng  TF - I D F   a n d   c oun t   ve c t or i z a t i on,”   i n  2nd   I E E E   I nt e r na t i ona l   C onf e r e n c e   on  D e v i c e   I nt e l l i ge nc e ,  C om put i ng  and   C om m uni c at i on  T e c hno l ogi e s ,   D I C C T  2024 , M a r . 2024, pp. 39 – 44 , d oi :  10.1109/ D I C C T 61038.2024.10532960.   [ 13]   M .  S i ngha l ,  N .  S i ngha l ,  S .  K he r a ,  A .  U pm a nyu,  a n d   P .   N a gr a t h,  “ I m pr ovi s a t i on  of   R e dd i t   f l a i r   d e t e c t i on  us i ng  T F - I D F   a n d  c ount ve c t or i z e r ,”  i n  A I P  C onf e r e n c e  P r oc e e di ng s , 2023,  d oi :  10.1063/ 5.0181369.   [ 14]   K .  M .  S ur ya ni ng r um ,  “ C om pa r i s on  of   t he   T F - I D F   m e t hod   w i t h  t he   c ount   ve c t or i z e r   t o  c l a s s i f y  ha t e   s pe e c h ,”   E ngi n e e r i ng,   M at he m at i c s   and C om put e r  Sc i e nc e  J our nal , vo l . 5, no. 2, pp. 79 – 83, M a y 2023, d oi :  10.21512/ e m a c s j our na l .v5i 2.9978.   [ 15]   T . A hm e d , S . F . M ukt a , T . A l  M a hm ud , S . A l  H a s a n, a nd  M . G .   H us s a i n, “ B a ngl a   t e xt  e m ot i on c l a s s i f i c a t i on us i ng L R , M N B  a nd  M L P   w i t h  T F - I D F   &   C ount V e c t or i z e r ,”   i n  I C SE C   2022  -   I n t e r nat i onal   C om put e r   S c i e nc e   and  E ng i ne e r i ng   C onf e r e nc e   2022 ,  D e c . 2022, pp. 275 – 280 , d oi :  10.1109/ I C S E C 56337.2022.10049341.   [ 16]   K .  K r a m e r ,  “ C om pa r a t i ve   a na l ys i s   of   d oc um e nt - l e ve l   e m be d d i ng  m e t ho d s   f or   s i m i l a r i t y  s c or i ng  on  S ha ke s pe a r e   s onne t s   a nd  T a yl o r  S w i f t  l yr i c s ,”   M oon l i gh t :  A I  C ol l e ague  f o r  R e s e ar c h P ape r s ,   D e c . 2024 .     [ 17]   I . S ol d e vi l l a  a nd  N . F l or e s , “ N a t ur a l  l a ngua ge  p r oc e s s i ng t hr ough B E R T  f or  i d e nt i f yi ng ge nd e r - ba s e d  vi ol e nc e  m e s s a g e s  on s oc i a l   m e d i a ,”   i n  2021  I E E E   I nt e r nat i ona l   C onf e r e n c e   on  I nf o r m at i on  C om m uni c at i on  and  So f t w ar e   E ng i ne e r i ng,  I C I C SE   2021 ,    M a r . 2021, pp. 204 – 208 , d oi :  10.1109/ I C I C S E 52190.2021.9404127.   [ 18]   M .  G .  P r a d a na , N .  I r z a vi ka ,  N .  M a ul a na ,  J .  M u,  a nd   V .   K .  W a r i ,  “ P e r f or m a nc e   i m p r ove m e nt   of   c os i ne   s i m i l a r i t y  a l go r i t hm   w i t h  bi d i r e c t i ona l   e nc od e r   r e pr e s e nt a t i ons   f r om   t r a ns f or m e r s   on  a bs t r a c t   d oc um e nt   s i m i l a r i t y  d e t e c t i on,”   J O I V   :   I nt e r na t i ona l   J our nal   on I nf or m at i c s  V i s ua l i z a t i on , vo l . 9, no. 2, M a r . 2025, d oi :  10.62527 / j o i v.9.2.2853.   [ 19]   A . B ha va ni  a n d   B . S .  K um a r , “ A   r e vi e w  of  s t a t e  a r t  o f   t e x t  c l a s s i f i c a t i on a l gor i t hm s ,”  i n  5t h I nt e r nat i onal  C onf e r e nc e  on C om put i ng   M e t hodol ogi e s  and C om m u ni c at i on, I C C M C  2021 ,  A pr . 202 1, pp. 148 4 – 1490 ,   d oi :  10.110 9/ I C C M C 510 19.2021.94 18262.   [ 20]   A .  D ha r ,  H .  M ukhe r j e e ,  N .  S .  D a s h,  a nd   K . R oy,  “ T e xt   c a t e gor i z a t i on:   pa s t   a nd   pr e s e nt ,”   A r t i f i c i al   I n t e l l i ge nc e   R e v i e w ,  vol .  54,   no. 4, pp. 3007 – 3054, A pr . 2021, d oi :  10.1007/ s 10462 - 020 - 09919 - 1.   [ 21]   A .  A .  J a l a l   a nd   B .  H .  A l i ,  “ T e xt   d oc um e nt s   c l us t e r i ng  us i ng   d a t a   m i ni ng  t e c hni que s ,”   I nt e r na t i ona l   J our na l   of   E l e c t r i c al   and   C om put e r  E ngi ne e r i ng , vo l . 11, no. 1, pp. 664 – 670, F e b. 2021, d oi :  10.11591/ i j e c e .v11 i 1.pp664 - 670.   [ 22]   L .  A bua l i ga h  e t   al . ,  “ A d va nc e s   i n  m e t a - he u r i s t i c   opt i m i z a t i on  a l gor i t hm s   i n  bi g  d a t a   t e xt   c l us t e r i ng,”   E l e c t r on i c s ,  vol .  10,  no.  2,   pp. 1 – 29, J a n. 2021, d oi :  10.3390/ e l e c t r on i c s 10020101.   [ 23]   B .  D i a l l o,  J .  H u,  T .  L i ,  G .  A .  K ha n,  X .  L i a ng,  a nd   Y .  Z ha o,  “ D e e p  e m be dd i ng  c l us t e r i ng  ba s e d   on  c ont r a c t i ve   a ut oe nc od e r ,”   N e ur oc om put i ng , vol . 433, pp. 96 – 107, A pr . 2021, d oi :  10.1016/ j .ne uc om .2020.12.094.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       Se m ant i c  c l us t e r i ng of  s c i e nt i f i c  abs t r ac t s  w i t h  t r ans f o r m e r  e m be ddi ngs   …  ( M us t hof a G al i h P r adana )   539   [ 24]   B .  V .  V .  S .   P r a s a d ,  G .  S uc ha r i t ha ,  K .  G .  S .   V e nka t e s a n,  T .  R .  P a t na l a ,   T .   M ur a r i ,   a nd   S .  R .  K a r a na m ,   “ O pt i m i s a t i on  of   t he   e xe c ut i on  t i m e   us i ng  H a d oop - ba s e d   pa r a l l e l   m a c hi ne   l e a r ni ng  on  c om put i ng  c l us t e r s ,”   i n  C om put e r   N e t w or k s ,  B i g  D at a  and  I oT ,   S i nga por e :   S p r i nge r ,   2022, pp. 233 – 244 , d oi :  10.1007 / 978 - 981 - 19 - 0898 - 9_18.   [ 25]   K .  D a hi ya   e t   al . ,  “ D e e pX M L :   a  d e e p   e xt r e m e   m ul t i - l a be l   l e a r n i ng  f r a m e w or k  a ppl i e d   t o  s hor t  t e xt  d oc u m e nt s ,”   i n  W SD M   2021  -   P r oc e e di ngs   o f   t he   14 t h  A C M   I n t e r nat i onal   C on f e r e nc e   on  W e b  Se ar c h   and  D at a  M i ni ng ,  M a r .  2021,  pp.  31 – 39.     d oi :  10.1145/ 3437963.3441810.   [ 26]   A .  S uba kt i , H .  M ur f i ,  a nd  N .   H a r i a d i ,  “ T he   pe r f or m a nc e   of   B E R T   a s  d a t a   r e pr e s e nt a t i on  o f  t e xt   c l us t e r i ng,”   J our nal   of   B i g  D at a ,  vol . 9, no. 1, D e c . 2022, d oi :  10.1186/ s 40537 - 022 - 00564 - 9.   [ 27]   R . S a ha , “ I nf l ue nc e  of  va r i ous  t e xt  e m be dd i ngs  on c l us t e r i ng pe r f or m a nc e  i n N L P ,”  M a y 2023 ,   ar X i v : 2305.03144 .   [ 28]   V .  M e ht a ,  S .   B a w a ,   a nd  J .  S i ngh,  “ W E C l us t e r i ng:   w or d   e m be dd i ngs   ba s e d  t e xt   c l us t e r i ng  t e c hni que   f or   l a r ge   d a t a s e t s ,”   C om pl e x   and I nt e l l i ge n t  Sy s t e m s , vol . 7, no. 6, pp. 3211 – 3224, D e c . 2021, d oi :  10.1007/ s 40747 - 021 - 00512 - 9.   [ 29]   Z .  C he n,  C .   M i ,  S .  D uo,  J .  H e ,  a n d   Y .  Z hou,   “ C l us T op:   a n  uns up e r v i s e d   a nd   i nt e gr a t e d  t e x t   c l us t e r i ng  a nd   t opi c   e xt r a c t i on   f r a m e w or k.”  J a n. 2023 ,  ar X i v : 2301.00818 .    [ 30]   M .  S hut a yw i   a nd   N .  N .  K a c houi e ,  “ S i l houe t t e   a na l ys i s   f or   pe r f or m a nc e   e va l ua t i on  i n  m a c h i ne   l e a r ni ng  w i t h  a ppl i c a t i ons   t o  c l us t e r i ng,”   E nt r opy , vol . 23, no. 6, J un. 2021, d oi :  10.3390 / e 23060759.   [ 31]   F .  R os ,  R .  R i a d ,   a nd  S .  G ui l l a um e ,  “ P D B I :   a   pa r t i t i oni ng  D a vi e s - B oul d i n   i nd e x  f or   c l us t e r i ng  e va l ua t i o n,”   N e ur oc om put i ng ,    vol . 528, pp. 178 – 199, A pr . 2023, d oi :  10.1016/ j .ne uc o m .2023.01.043.   [ 32]   P .  Y .  H s u  a nd   P .  A .  H .  N guye n,  “ A   f a s t   m e t hod   f or   d i s c ove r i ng  a  s u i t a bl e   nu m be r   of   c l us t e r s   f or   f uz z y  c l u s t e r i ng,”   I nt e l l i ge nt   D at a A nal y s i s , vo l . 26, no. 6, pp. 1523 – 1538, N ov. 2022, d oi :  10.3233/ I D A - 200511.   [ 33]   D .  A r i yus   a nd   A r d i a ns ya h,  “ O pt i m i z a t i on  s ubs t i t ut i on  c i phe r   a nd   hi dd e n  pl a i nt e xt   i n  i m a ge   d a t a   us i n g  L S B   m e t h o d ,”   J our nal   of   P hy s i c s :  C onf e r e nc e  Se r i e s , vo l . 1201, no. 1, 2019, d oi :  10.1088/ 1742 - 6596 / 1201/ 1 / 012033.   [ 34]   M .  A ks oy,  S .  Y a nı k,  a nd   M .  F .  A m a s ya l i ,  “ A   c o m pa r a t i ve   a na l ys i s   of   t e xt   r e pr e s e nt a t i on,  c l a s s i f i c a t i on ,   a nd   c l us t e r i ng  m e t hod s   ove r   r e a l   pr o j e c t   pr opos a l s ,”   I n t e r nat i onal   J our na l   of   I nt e l l i ge nt   C om put i ng  and  C y be r ne t i c s ,  vol .  16,  no.  3,  pp.  595 – 628,     J ul . 2023, d oi :  10.1108/ I J I C C - 11 - 2022 - 0289.   [ 35]   Z .  L i ,  Q .  S u,  S .  S i ,  a nd   J .  Y u,  “ L e ve r a gi ng   B E R T   a nd   T F I D F   f e a t ur e s   f or   s hor t   t e xt   c l us t e r i ng   vi a   a l i gn m e nt - pr o m ot i ng  c o - t r a i ni ng,”   i n  E M N L P   2024  -   2024  C onf e r e nc e   on  E m pi r i c al   M e t hod s   i n  N a t ur al   L anguage   P r oc e s s i ng,  2024,  pp.  14897 – 14913 ,  d oi :  10.18653/ v1/ 2024.e m n l p - m a i n.828.   [ 36]   M .  A s a d i ,  A .  H e i d a r i ,  a nd   N .  J .  N a vi m i pour ,  “ A   ne w   f l ow - ba s e d   a ppr oa c h  f or   e nha nc i ng  bot ne t   d e t e c t i on  e f f i c i e nc y  us i ng   c onvol ut i ona l  ne u r a l  n e t w or ks  a nd  l ong s hor t - t e r m   m e m o r y ,”   K now l e dge  and  I nf or m at i on Sy s t e m s , vol .  67, pp.  6139 – 6170 , 2025,   d oi :  10.1007/ s 10115 - 025 - 02410 - 9.   [ 37]   Q .  X u,  H .  G u,  a nd   S .  W .  J i ,  “ T e xt   c l us t e r i ng  ba s e d   on  pr e - t r a i ne d   m od e l s   a nd   a ut oe nc od e r s ,”   F r ont i e r s   i n  C om put at i onal   N e ur os c i e nc e , vo l . 17, J a n. 2023, d oi :  10.3389/ f nc om .2023.1334436.   [ 38]   A .  M our a ,  P .  L i m a ,  F .  M e nd onç a ,  S .  S .  M os t a f a ,  a nd   F .  M . - D i a s ,  “ O n  t he   us e   of   t r a ns f or m e r - ba s e d   m od e l s   f or   i nt e nt   d e t e c t i on   us i ng c l us t e r i ng a l go r i t hm s ,”   A pp l i e d Sc i e nc e s , vo l . 13, no. 8, A pr . 2023, d oi :  10.3390/ a pp13085178.   [ 39]   L .  G e or ge   a n d   P .   S um a t hy,  “ A n  i nt e gr a t e d  c l us t e r i ng  a nd  B E R T  f r a m e w or k  f or   i m pr ove d  t opi c   m od e l i ng,”   I nt e r nat i onal   J our nal   of  I nf or m at i on T e c hnol og y , vol . 15, no. 4, pp. 2187 – 2195, A pr . 2023, d oi :  10.1007/ s 41870 - 023 - 01268 - w.   [ 40]   A .  P e t ukhova ,   J .  P .   M . - C a r va l ho,  a nd   N .  F a c ha d a ,  “ T e xt   c l us t e r i ng  w i t h   l a r ge   l a ngua ge   m od e l   e m be d d i ngs ,”   I nt e r nat i onal   J our nal  of  C ogni t i v e  C om put i ng i n E ngi ne e r i ng , vo l . 6. pp. 100 – 108, D e c . 2025 , d oi :  10.1016/ j . i j c c e .2024.11.004.   [ 41]   S ut r i a w a n,  S .  R us t a d , G .  F .  S hi d i k,  a n d   P uj i ono,  “ P e r f or m a nc e   e va l ua t i on  of   t e xt   e m be dd i ng  m od e l s   f or   a m bi gui t y  c l a s s i f i c a t i on   in   I nd one s i a n  ne w s   c or pus :   a   c om pa r a t i ve   s t ud y  o f   T F - I D F ,  W or d 2V e c ,  F a s t T e xt   B E R T ,  a nd   G P T ,”   I nge ni e r i e   de s   Sy s t e m e s   d’ I nf or m at i on , vol . 30, no. 6, pp. 1469 – 1482, J un. 2025, d oi :  10.18280 / i s i .300606.       B I O G R A P H I E S  O F  A U T H O R S       Musthofa   Galih   Pradana           ob t ai n ed  h is   b ac h elor' s   degree  i n  I n for m a t ics   fro m   Un iversi t as  A m iko m  Yogyakar t a  i n  2017,   followed  by  a   m as t er' s  degree   i n   th e  sa m e   field  fro m  th e   sa m e   i n s t i tut io n   i n  2019 .   I n  th e   sa m e   year,   h e   bega n   h is   acade m ic   career   as   a  lec tu rer   a t  Un iversi t as   Al m a  A t a   Yogyakar t a,   w h ere  h e   served  unt il   2022.   Si n ce   2022,   h e  h as   bee n   a     fu ll - t i m e  lec tu rer  i n  th e  un dergrad u a t e  progra m   i n   Da t a  Scie n ce ,   Fac u l t y  of  Co m p uter  Scie n ce,   UPN   Ve t era n   Jakar t a .   His   acade m ic   a n d  researc h  i nt eres t s  i n cl u de   co m p ut a t io n al   li n g u is t ics,   n a tu ral  la n g u age  processi n g  (NLP) ,   a n d  i m age  process i n g .   He  is   ac t ively  i n volved  i n   t eac h i n g,   research,   a n d  sc h olarly   develop m e nt   i n  th ese  fields .   He  ca n  be  co nt ac t ed   a t   e m ail:   mu s th ofagali h prada n a@ u p n vj . ac . id .         Pujo  Hari   Saputro          is  a   lec tu rer   i n  th e   Depar tm e nt   of   I n for m a t ics   E n gi n eeri n g ,   Facu l t y   of  E n gi n eeri n g ,   Sa m  Ra tu la n gi   U n iversi t y.   His   areas  of   exper t ise   a n d  researc h    int eres t  i n cl u de   deep  lear n i n g ,   i m age  processi n g ,   n a tu ral   la n g u age  processi n g ,   th e  i nt er n e t  of   th i n gs   (IoT),   a n d   e - gover nm e nt .   He  h olds   a   Bac h elor' s  degree   (S. Ko m. )   i n   I n for m a t ics   En gi n eeri n g  fro m   AMKOM  U n iversi t y  Yogyakar t a   a n d  a  m as t er' s  degree  (M. T . )  i n   th e  sa m e   field  fro m   A tm a   Jaya  U n iversi t y   Yogyakar t a .   He   ca n   be   co nt ac t ed   a t   e m ail:   pu jo h arisap ut ro@ un sra t. ac. id .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol . 15, N o. 2, J une  2026 :   532 - 540   540     Ardhyansyah   Mualo          received  h is   bac h elor' s  degree  i n  I n for m a t ics   E n gi n eeri n g   at   Un iversi t as   Sa t ria  Makassar   in   2013 ,   a n d   Mas t er   of   I n for m a t ics   E n gi n eeri n g   at   U n iversi t as   Atm a  Jaya ,   Yogyakar t a   in   2016 .   He   h as   bee n   a   lec tu rer   at   a   priva t e   un iversi t y   in   Makassar   from   2014   to   2018,   a n d   fro m   2018   unt il   n ow ,   he  is   ac t ively   t eac h i n g   at   th e   Depar tm e nt   of   In for m a t ics   Ma n age m e nt   at   th e   Poli t ek n ik  Negeri  FakFak  in   Wes t   Pap u a   P rovi n ce.   Ac t ive   in   th e   m e m bers h ip   of   th e   Associa t io n  of   Hig h er   Ed u ca t io n   in   I n for m a t ics   a n d   Co m p ut ers   (APTIKOM).   Ac t ively   co nt rib ut i n g   to   researc h   a n d   co mmun i t y   service ,   bo th   locally   p u blis h ed   in   th e   m ass   m edia   a n d   n a t io n ally   in   accredi t ed   jo u r n als.   He   ca n   be   co nt ac t ed   a t   e m ail:   mu aloard h ya n sya h @ g m ail . co m .         Arbiati  Faizah           h as   a   m as t er' s   degree   i n  I n for m a t io n  Sys t e m s   (M. Ko m . )   fro m   Un iversi t as   Dipo n egoro   i n  2017.   Her   researc h  i nt eres t s   are   i nt ellige nt  sys t e m s   a n d   n a tu ral   lan g u age   processi n g .  S h e   is  c u rre nt ly   a n  acade m ic  i n  th e   Depar tm e nt   of   I n for m a t io n  Sys t e m s,   Facu l t y  of   I n for m a t ics,   I n s t i tut   Tek n ologi   da n   Bis n is  PGRI   Dewa nt ara,   Jo m ba n g,   I n do n esia.   Sh e  ca n   be   co nt ac t ed  a t  e m ail:  arbia t i . faiza h @ i t ebisdewa nt ara . ac. id .         Wahyuni  Fithratul   Zalmi           is   a   lec tu rer   of   I n for m a t ics   E n gi n eeri n g   a t  th e   Fac u l t y  of  E n gi n eeri n g,   Sa m  Ra tu la n gi   U n iversi t y.   S h e   received   h er   m as t er’s  d egree   i n  I n for m a t ics   En gi n eeri n g   f ro m   U n iversi t as  P ut ra   I n do n esia  YPTK   Pada n g  i n  2018.   Her  researc h  i nt eres t   is   art ificial   i nt ellige n ce.   S h e  ca n  be  co nt ac t ed   a t   e m ail:   wa h y un i. fi th ra tu l . zal m i@ un sra t. ac. id .     Evaluation Warning : The document was created with Spire.PDF for Python.