I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   41 ,   N o .   3 M a r c h   20 2 6 ,   pp.   1 0 17 ~ 10 24   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 41 . i 3 . pp 101 7 - 1024             1017       Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   E x p l o r i n g   w o r d   e m b e d d i n g s   a n d   c l u st e r i n g   a l g o r i t h m s   f o r   u s e r   r e v i e w s       Zu l e ai z a l   S i d e k 1 , 2 ,   S h ar i fah   S a k i n ah   S y e d   A h m ad 1   1 F a c u l t y   of   A rt i fi c i a l   I n t e l l i g e n c e   a n d   Cy b e r   S e c u ri t y ,   U n i v e r s i t i   T e k n i k a l   M a l a y s i a   M e l a k a   (U T e M ) ,   M e l a k a ,   M a l a y s i a   2 In s t i t u t   T u n   P e ra k ,   M e l a k a ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   A pr   18 ,   202 4   R e v i s e d   J a n   15 ,   202 6   A c c e pt e d   F e b   26 ,   202 6       T he   r a pi d   a dv a nc e m e n t   of   i nf o r m a t i o n   t e c hno l o gy   ha s   l e d   to   a   s i g ni f i c a nt   s ur g e   in   t he   v o l um e   of   uns t r uc t ur e d   t e x t u a l   da t a .   T h i s   ha s   po s e d   a   m a j o r   pr o bl e m   in   t e r m s   of   a n a l y z i ng ,   o r g a ni z i ng ,   a nd   a u t o m a t i c a l l y   c l us t e r i ng   t e xt   f o r   r e s e a r c h   pu r po s e s ,   w h i c h   is   c r uc i a l   f o r   e xt r a c t i ng   v a l u a bl e   i n s i g ht s .   T h e   pr o c e s s   of   m a nua l l y   c l us t e r i ng   t he   uns t r uc t u r e d   da t a ,   s uc h   as   c us t o m e r   r e v i e w s   on   t he   I nt e r ne t ,   w h i c h   c a pt u r e   t he   o p i ni o ns   of   c us t o m e r s   r e g a r d i ng   pr o duc t s ,   s e r v i c e s ,   a nd   s o c i a l   e v e n t s ,   r e qu i r e s   s i g ni f i c a nt   f i na nc i a l   r e s o ur c e s ,   m a npo w e r ,   a nd   t i m e .   M o s t   of   t he   s t ud i e s   a r e   d i r e c t e d   t o w a r ds   t h e   a na l y s i s   of   s e n t i m e nt   in   us e r   r e v i e w s .   In   o r de r   to   a d dr e s s   t h e   i s s ue s   e f f e c t i v e l y ,   a ut o m a t e d   t e x t   c l u s t e r i ng   c o ul d   a s s i s t   in   c a t e g o r i z i ng   r e v i e w s   i n t o   v a r i o us   t he m e s ,   t h e r e by   s i m p l i f y i ng   t he   a na l y s i s   p r o c e s s .   T he r e f o r e ,   in   t hi s   p a pe r ,   we   pr e s e nt   a n d   c o m pa r e   t h e   r e s ul t   of   e xp e r i m e n t   t he   c o m bi na t i o n   of   f i v e   t e x t   c l us t e r i ng   t e c hn i qu e s ,   n a m e l y   K - m e a ns ,   f uz z y   C - m ean   ( F C M ) ,   no n - ne g a t i v e   m a t r i f a c t o r i z a t i o n   ( N M F ) ,   l a t e nt   di r i c hl e t   a l l o c a t i o n   ( L D A ) ,   a nd   l a t e nt   s e m a n t i c   a n a l y s i s   ( L S A )   w i t h   d i f f e r e n t   e m be dd i ng   t e c hni que s ,   n a m e l y   t e r m   f r e que nc y i nv e r s e   do c um e nt   f r e qu e nc y   ( TF - I D F ) ,   W o r d2V e c ,   a nd   g l o ba l   v e c t o r s   ( G l o V e ) .   T he   e xpe r i m e nt s   r e v e a l e d   t ha t   L D A   is   a   r e l i a b l e   a l g o r i t hm   as   it   c o ns i s t e nt l y   pr o duc e s   good   r e s u l t s   a c r o s s   t hr e e - w o r d   e m be dd i ng s .   T he   hi g he s t   S i l ho ue t t e   s c o r e   r e c o r de d   in   t he   e xpe r i m e n t s   w a s   0 . 6 6   u s i ng   L D A   a nd   W o r d2V e c   as   w o r d   e m be ddi ng .   S i m u l t a n e o us l y ,   t he   a pp l i c a t i o n   of   L S A   in   c o nj unc t i o n   w i t h   W o r d2V e c   y i e l ds   s upe r i o r   o u t c o m e s ,   as   e v i de nc e d   by   a   S i l ho ue t t e   s c o r e   of   0. 65 .     Ke y w or d s :   Cl us t e r i n g   a l go ri t hm s   S i l h o ue t t e   s c o r e   T e xt   a n a l y s i s   U s e r   r e v i e w s   W o r d   e m b e ddi ng   T hi s   is   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   CC   BY - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   S ha r i f a h   S a ki na h   S y e d   A hm a d   F a c ul t y   of   A r t i f i c i a l   I n t e l l i ge n c e   a n d   Cy b e r   S e c ur i t y ,   U n i v e r s i t i   T e k n i ka l   M a l a y s i a   M e l a ka   (U T e M )   76100   M e l a k a ,   M a l a y s i a   E m a i l :   s a ki na h @ ut e m . e du . m y       1.   I N TR O D U C TI O N   T h e   e m e rge n c e   of   t h e   a ge   of   b i g   da t a   ha s   r e s ul t e d   in   an   e n o rm o us   a m o u n t   of   da t a   b e i n g   s p r e a d   o v e r   all   a s pe c t s   of   o ur   l i v e s .   T h e   e v e r - g r o w i n g   a m o unt   of   t e xt ua l   i n f o r m a t i o n   ha s   c r e a t e d   c h a l l e n ge s   to   c us t o m e r s   in   f i n di ng   t h e   de s i r e d   c o n t e n t .   B e fo r e   t h i s ,   t e xt ua l   d a t a   w e r e   m a n u a l l y   c l a s s i f i e d   a n d   c l us t e r e d   w h i c h   is   t i m e - c o n s um i n g ,   di f f i c ul t ,   a nd   c o s t l y .   I t o da y ’s   w o r l d,   it   is   e v i de n t   t ha t   r e l y i n g   s o l e l y   on   m a n u a l   t e xt   c l a s s i f i c a t i o n   a nd   c l us t e ri n g   is   i n s uf f i c i e n t   to   a dd r e s s   t h e   re qui r e m e nt s .   T h e   e m e r ge n c e   of   a ut o m a t i c   t e xt   c l a s s i f i c a t i o n   a n d   c l us t e r i ng   s i g ni f i c a nt l y   c o n t r i b ut e s   to   t h e   s t a t e   of   t h e   a rt   of   na t u ra l   l a ngua ge   p r o c e s s i n g   ( N L P ) .   A ppr o xi m a t e l y   80%   of   t h e   m a t e ri a l   n o w   a c c e s s i b l e   on   t h e   I nt e rn e t   e xi s t s   in   an   u n s t r uc t u r e d,   unl a b e l e d   t e xt - b a s e d.   T h e   e xpo n e n t i a l   g r o w t h   of   un s t r uc t u re d   t e xt   d a t a   can   be   a t t r i b ut e d   to   t h e   w i de s p r e a d   a v a i l a b i l i t y   of   di gi t a l   i n f o r m a t i o n,   i n c l ud i n g   e m a i l s ,   t e xt   m e s s a ge s ,   b l o gs ,   s o c i a l   m e di a   po s t s ,   a n d   p r o duc t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   3 M a r c h   20 2 6 :   1017 - 1 024   1018   e v a l ua t i o n s .   F o r   pe o pl e   us i ng   e - c o m m e r c e   p l a t f o rm s ,   t h e   p r o c e s s   of   s i f t i n g   t hr o ug h   n um e r o us   r e v i e w s   pri o r   to   m a k i n g   a   pu r c ha s e   c an   p r e s e nt   a   f o r m i d a b l e   c ha l l e n ge .   U n s upe r v i s e d   l e a rn i ng   e n a b l e s   t h e   e xpl o ra t i o n   of   di f f i c ul t i e s   t h a t   l a c k   a   l a b e l e d   d a t a s e t   a nd   do   n o t   ha v e   p r i o r   k n o w l e dge   r e ga r d i n g   t h e   o ut c o m e .     Cl us t e r i n g   is   an   a na l y t i c a l   m e t h o d   e m p l oy e d   fo r   di s c o ve r i n g   t h e   s t r uc t u ra l   r e l a t i o n s hi ps   b e t w e e n   v a r i a b l e s .   U n s upe r v i s e d   m a c hi n e   l e a rn i ng   m e t h o do l o gi e s   c a n   be   e m pl oy e d   to   a ut o n o m o us l y   a s s e s s   pr e - pr o c e s s e d   da t a   de ri v e d   f r o m   t h e s e   w e bs i t e s ,   w i t h   t h e   a i m   of   e nh a n c i ng   t h e   us e r   e xpe r i e n c e   for   c o n s um e r s   pri o r   to   m a ki ng   a   pu r c h a s e .   In   a dd i t i o n   to   a s s i s t i n g   po t e n t i a l   c o n s um e r s   in   m a ki n g   an   i n f o r m e d   pu r c ha s e   de c i s i o n ,   r e v i e w s   w r i t t e n   by   c ur r e nt   c us t o m e r s   a l l o w   pr o du c t   t e a m s   to   f i n e - t u n e   t h e i r   o ff e r i n gs .   T h e s e   da y s ,   b us i n e s s e s   r e l y   on   c o n s um e r   r e v i e w s   a nd   o t h e r   f o rm s   of   f e e db a c k   to   ga i n   v a l u a b l e   i n s i g h t s   in   t h i s   di g i t a l ,   di v e r s e   ra n ge   of   r e v i e w s ,   w h i c h   o f t e n   c o n s i s t   of   a   s ub s t a n t i a l   v o l um e   [1] V a r i o us   m e t h o do l o gi e s ,   i n c l ud i n g   t o pi c   m o de l i n g   a n d   t e xt   c l us t e ri n g ,   o ff e r e d   s e v e r a l   b e n e f i t s   s uc h   as   i de n t i fy i n g   c o m m o n   t h e m e s ,   ga i ni n g   i n s i g ht   i n t o   t h e   s t r e n gt h s   a n d   w e a kn e s s e s   of   t h e   b us i ne s s ,   f e e db a c k   pr i o r i t i z a t i o n,   m a rke t   r e s e a r c h ,   c o m pe t i t i v e   a n a l y s i s   a n d   c us t o m e r   e n g a ge m e n t .   T e xt   c l us t e r i n g   can   o nl y   be   p e r f o r m e d   f o l l ow i n g   t h e   c o m pl e t i o n   of   t h e   v e c t o r i z a t i o n   p r o c e dur e ,   w h i c h   is   r e f e r r e d   to   a s   w o r d   e m b e ddi n g .   W o r d   e m b e ddi n gs   c o n v e r t   t e xt ua l   d a t a ,   w hi c h   is   i n c o m p r e h e n s i b l e   to   m a c h i n e   l e a rni n g   a l go ri t hm s ,   i nt o   a   n um e ri c a l   f o r m a t   t ha t   t h e y   c a n   c a p t u r e   t h e   c o n t e xt u a l   b a s i c   f o r m   of   w o r ds ,   b o t h   in   t e r m s   of   t h e i r   s e m a n t i c   a n d   g ra m m a t i c a l   s i m i l a ri t i e s ,   as   w e l l   as   t h e i r   r e l a t i o n s h i p   w i t h   o t h e r   w o r ds .   F o r   th e   pu r po s e   of   de t e c t i n g   r e l e v a n t   a n d   us e f ul   t e rm s   w i t h i n   us e r   r e v i e w s ,   v a r i o us   t e c hn i que s   ha v e   b e e n   ut i l i z e d,   i n c l ud i n g   f r e que n c y - b a s e d   w o r d   e m b e ddi ng   m e t h o ds   l i ke   t e r m   f r e que n c y - i n v e r s e   do c um e n t   f r e que n c y   ( TF - ID F ) .   T h i s   s t u dy   pr i m a r i l y   c o n c e n t r a t e s   on   t h e   c l us t e r i ng   of   an   u nl a b e l e d   da t a s e t   t hr o ug h   t h e   ut i l i z a t i o n   of   s e ve r a l   w o r d   e m b e ddi n g   s t ra t e gi e s ,   na m e l y   W o r d2V e c   [2] ,   G l o V e   [3] ,   a n d   b i d i r e c t i o n a l   e n c o de r   r e p r e s e n t a t i o n s   f r o m   t ra n s f o r m e r s   (B E R T )   [4] .   In   t h i s   p a pe r ,   f i v e   u n s upe r v i s e d   t e c hni que s   ha v e   b e e n   ut i l i z e d   for   t h e   pu r po s e   of   c l us t e r i ng   us e r   r e v i e w s .   F i r s t ,   K - m e a n s   c l us t e r i n g   is   an   a l go r i t hm   t ha t   de f i n e s   c l u s t e r s   as   pa rt i t i o n s   of   da t a   [5]   b ut   [6]   m e nt i o n e d   it   f a i l s   to   l e v e r a g e   p ri o r   k n o w l e dge   a b o ut   t h e   d i s t r i b ut i o n   of   h i dde n   c l a s s   l a b e l s   ob t a i n e d   f r o m   l i m i t e d   l a b e l e d   da t a .   D e s pi t e   its   l i m i t a t i o n s ,   t h e   K - m e a n s   c l us t e r i ng   a l go ri t hm   is   c r e di t e d   w i t h   f l e xi b i l i t y ,   e ff i c i e n c y ,   a n d   e a s e   of   i m p l e m e n t a t i o n .   T h e   s i m p l i c i t y   a n d   l ow   c o m put a t i o n a l   c o m pl e xi t y   ha v e   gi v e n   t h e   K - m e a n s   c l us t e ri n g   a l go ri t hm   a   w i de   a c c e pt a n c e   in   m a n y   dom a i n s   for   s o l v i ng   c l us t e ri n g   p r o b l e m s .   A   s t udy   do n e   by   [7]   s h o w e d   k - m e a n s   c l us t e ri n g   a c h i e v e d   t h e   b e s t   r e s ul t   w i t h   a   S i l h o ue t t e   S c o r e   of   0. 6.   S e c o n d,   in   t h e   do m a i n   of   i n f o r m a t i o n   r e t ri e v a l ,   do c um e n t   m o de l i ng,   a nd   c l us t e ri n g ,   l a t e nt   di ri c hl e t   a l l o c a t i o n   (L D A )   is   a   t e c hn i que   t h a t   is   us e d   to   i de nt i fy   t h e   l a t e n t   t o pi c   s t r uc t u r e   of   t e xt ua l   da t a   a n d   it   is   an   un s upe r v i s e d   m a c h i n e   l e a rn i ng   t e c hn i que   [8] .   T h e   m a j o b e n e f i t   of   L D A   i s   t ha t   i t   c a de a l   e f f i c i e n t l y   w i t t h e   v a r i a t i o n   o f   bo t h   w o r ds   a n do c um e nt s   [9] .   L D A   c o ul b e   a   us e f ul   t oo l   t o   a ut o m a t i c a l l y   di s c ov e r   u n de rl y i n t o pi c s   w i t hi t h e   c o m pl a i nt ’s   da t a s e t   [10] .   W h i l e   [11]   m e nt i o n e L D A   is   e a s y   to   i m p l e m e n t ,   u n de r s t a nd   a n d   us e   b ut   it   r e n de r s   po o r   r e s ul t s   w h e n   t h e   n u m b e r   of   t r a i n i ng   i m a ge s   is   l a r ge .   T h i r d ,   t y pi c a l l y ,   t h e   n o n - n e g a t i v e   m a t ri x   f a c t o ri z a t i o n   (N M F )   can   be   i nt e r p r e t e d   as   a   di m e n s i o na l i t y   r e duc t i o n   m e t h o d,   w h i c h   f a c t o r i z e s   t h e   i n s t a n c e   m a t r i x   i nt o   n o n - n e ga t i v e   l o w - r a n k   a pp r o xi m a t i o n s .   T h e   l i t e r a t u r e   a na l y z e s   t h e   e qui v a l e n c e   of   NMF   a n d   s pe c t ra l   c l u s t e r i ng,   i n d i c a t i n g   t h a t   NMF   can   be   a l s o   a pp l i e d   to   c l us t e ri n g   [12] .   N M F   m e t h o ds   t h a t   ha v e   b e e n   us e s o   f a a r e   m o s t l y   un s upe r v i s e d,   w hi c m e a n s   t h e y   do  n o t   p a y   m uc h   a t t e n t i o t o   a n y   s upe r v i s e i n f o r m a t i o n   t ha t   c o ul b e   hi dde n   i t h e   d a t a   [1 3],   [14]   a l s m e nt i o n e d   NMF   can   r e duc e s   t h e   s pa r s i t y   f r o m   86%   to   44 . 9% .   F o r t h ,   f uz z y   C - m e a n s   (F CM s )   m e t h o ds   de t e r m i n e   w hi c h   d a t a   b e l o n g   to   c l us t e r s ,   t h e y   of t e n   p r o v i de   b e t t e r   r e s ul t s   t ha n   de f i n i t e   m e t h o ds .   T h e   F CM   c l us t e r   is   t h e   m o s t   po pul a r   f uz z y   m e t h o d.   It s   s i m pl i c i t y   is   o n e   of   t h e   po s i t i v e   fe a t u r e s   of   t h e   F CM   m e t h o [1 5],   [ 16]   s a y s   t h e   b i gge r   t h e   f uz z i f i c a t i o n   c o n s t a n t   i m pl i e s   t h a t   e a c h   t e xt ua l   da t a   m a y   h a v e   m o r e   t o pi c s .   W h i l e   [17]   m e n t i o n e F CM   a l go r i t hm   c a o v e r c o m e   i n c o n s i s t e n c y   a n d   a m b i gui t y   i d a t a   a n d   c a p r o d uc e   m o r e   c o m pl e x   g r o ups .   S t udy   do n e   by   [18]   o b s e r v e t h a t   t h e   b e s t   r e s ul t s   in   g r o upi ng   t h e   u nl a b e l e d   da t a ,   u n s upe r v i s e d   l e a rni n g   t e c hni que   w e r e   ob t a i n e d   w i t h   t h e   K   -   M e a n s   a n d   F CM s   a l go ri t hm s .   F i f t h,   l a t e nt   s e m a nt i c   a na l y s i s   (L S A )   is   a   w i de l y   us e d   N L P   t e c hni que   t h a t   a i m s   to   e xa m i n e   t o pi c s   unde rl y i n g   t h e   c o r p us .   L S A   r e l i e s   on   t h e   f o l l ow i n g   m a i n   i de a :   w o r ds   w i t h   s i m i l a r   m e a ni n gs   w i l l   o c c ur   in   s i m i l a r   pi e c e s   of   t e xt   [19] .   H ow e v e r ,   a   m a j o r   d r a w b a c of   L S A   i s   i t s   e xpe n s i v e   c o m put a t i o na l   c o s t   [9] .   T h e   L S A   t e c hn i q ue   i s   c l a s s i f i e a s   a u n s upe r v i s e l e a rni n g   m e t h o d,   a s   i t   l a c ks   a   g r o un d   t r ut h.   T h e   p r e s e n c e   o a b s e n c e   of   l a t e n t   c o n c e pt   i s   u n c e r t a i n.   T hr o ug h o ut   t h e   199 0 s   a n d   i nt o   t h e   20 00s ,   L S A   w a s   de m o n s t ra t e t b e   a b l e   t o   m o de l   v a r i o us   c o gn i t i v e   f un c t i o n s ,   i n c l u di n g   t h e   l e a rn i ng  a n d   u n de r s t a ndi ng  o f   w o r m e a n i ng  [2 0] .   T h e   r e s ul t s   of   t h e   e xpe r i m e n t s   ha v e   b e e n   e xa m i n e d   a n d   c o m pa r e d   w i t h   t h e   s t a t e - of - t h e - a rt   w o r d   e m b e ddi ng   t e c hni que s   a v a i l a b l e .   T h e   p a pe r   is   s t r uc t u r e d   as   fo l l ow s :   In   s e c t i o n   2,   e xpl a i n s   t h e   m e t h o do l o g y   on   h o w   t h e   e xpe r i m e nt   is   c a rr i e r   o ut .   T h e   de t a i l s   a b o ut   t h e   a na l y s i s   of   t h e   f i n di ngs   a r e   h i g hl i g h t e d   in     s e c t i o n   3.   In   c o n c l us i o n,   t h e   p a pe r   is   s u m m a r i z e d   in   s e c t i o n   4.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       E x p l or i ng   w or e m be dd i ngs   and   c l us t e r i ng   al gor i t hm s   f or   us e r   r e v i e w s   ( Z ul e ai z al   Si de k )   1019   2.   M ET H O D   To   be   a b l e   to   c o n duc t   an   e xt e n s i v e   s t udy   i n t o   t h e   w o r d   e m b e ddi ngs   in   t h e   t e xt   c l us t e ri n g   m o de l ,   t h e   fo l l ow i n g   F i gu r e   1   p r o v i de s   an   o ve r v i e w   of   o ur   m e t h o do l o g y.           F i gu r e   1.   R e s e a r c h   m e t h o do l o g y       2. 1 .     D ata   c o l l e c t i o n   T h e   da t a   c o l l e c t i o n   p r o c e s s   i n v o l ve s   r e t ri e v i n g   or   ga t h e ri n g   t h e   n e c e s s a r y   da t a   for   a n a l y s i s .   T h e   d a t a   c a n   be   a c qui r e d   f r o m   a   v a r i e t y   of   s o ur c e s ,   s uc h   as   s o c i a l   m e di a   pl a t f o r m s ,   o n l i n e   r e v i e w   pl a t f o r m s ,   a n d   e - c o m m e r c e   w e b s i t e s   s e l l i ng   m ul t i p l e   p r o duc t s   a n d   s e r v i c e s .   F o r   t hi s   p a pe r ,   t h e   r e v i e w s   t h a t   w e r e   g a t h e r e d   c o n s i s t e d   of   t e xt ua l   r e v i e w s   t ha t   w e r e   a c qui r e d   f r o m   K a ggl e   a n d   c ra w l e d   f r o m   i t s   w e bs i t e .     2. 2 .     D ata   p r e - p r o c e s s i n g   P r e p r o c e s s i n g   r e f e r s   to   t h e   a c t i v i t y   of   pr e pa ri n g   da t a   in   o r de r   to   e nha n c e   i t s   a c c u r a c y ,   e n s u r i ng   t h a t   t h e   r e s ul t s   a c c u r a t e l y   r e f l e c t   t h e   da t a   [21]   a n d   a r e   s i g ni f i c a n t   t o   t h e   r e s e a r c h   o b j e c t i v e .   W e   d o   da t a   pr e p r o c e s s i n p ri m a ri l y   t o   t r a n s f o r m   r a w   d a t a   i n t o   a   m a c hi n e - r e a da b l e   f o r m a t   b e c a us e   i t   m a y   h a v e   t h e   t e n de n c y   t o   c o n t a i n   a   s i g ni f i c a nt   qua nt i t y   of   n o i s e   a s   w e l l   a s   t e xt u a l   i n f o r m a t i o t ha t   i s   n o t   us e f ul   [22 ] B e s i de s ,   w e   a r e   a l s o   r e m o v i n g   s pe c i a l   c ha r a c t e r s ,   s t o pw o r ds ,   p u n c t ua t i o n s ,   dup l i c a t i o n s ,   U R L s   a n d   t o ke n i z a t i o a r e   c r uc i a l   s t e ps   i t h i s   p r o c e s s   t h a t   e n s u r e   t he   da t a   i s   c l e a b e f o r e   t h e   v e c t o r i z a t i o p r o c e s s .   Im po rt a nt l y ,   w e   do   n o t   pe r f o r m   l e m m a t i z a t i o n   a n s t e m m i n g   a s   s o m e   r e s e a r c w a rn s   a ga i n s t   h a s t i l y   us i n s t e m m i ng  o r   l e m m a t i z a t i o b e c a us e   i t   m i g ht   c ha n ge   t h e   r e s ul t s   [23] .   T o   e n s u r e   t h e   us e r   r e v i e w s   c l us t e r i ng   m o de l   l e a rn s   t h e   r e l a t i o n s hi ps   b e t w e e n   w o r ds   in   t h e   c o r pus ,   t h e s e   pr o c e dur e s   m us t   be   a ppl i e d.   T h e   qu a l i t y   of   t h e   m o de l ' s   r e s ul t s   de pe n ds   on   t h o r o ug h   da t a   p r e p r o c e s s i n g ,   w h i c h   can   be   a   t i m e - c o n s um i n g   p r o c e dur e .     2. 3 .     Wo r d   e m b e d d i n g   W o r d   V e c t o r i z a t i o n   or   W o r d   E m b e ddi n g   r e f e r s   to   t h e   p r o c e s s   of   t ra n s f o r m i n g   w o r ds   i nt o   a   v e c t o r .   T h i s   v e c t o r   is   t h e n   us e d   to   m a ke   p r e d i c t i o n s   a b o ut   w o r ds   a n d   i de nt i fy   s i m i l a ri t i e s   or   s e m a n t i c s   b e t w e e n   w o r ds   as   w o r d   e m b e ddi n g   ha s   b e e n   de m o n s t r a t e d   to   be   us e f ul   in   a   num b e r   of   n a t u ra l   l a n gu a ge   p r o c e s s i n g   t a s ks   [24] .   I t hi s   pa pe r ,   t h e r e   a r e   3   w o r e m b e ddi n g   t e c h ni que s   a r e   us e d:   1 T F - ID F   (us i n g   s k l e a rn  T f i df V e c t o r i z e r );   2)   W o r d 2V e c   (us i n g   py t h o ge ni s m . m o de l   W o r d2V e c );   a nd   3)   G l o V e   (us i n g   ke ra s   t e n s o r f l o w ).   T o   e xt ra c t   v a l ua b l e   i n f o rm a t i o f r o m   n a t u ra l   l a n g ua ge   t e xt   o s e nt e n c e s   us i ng  m a c hi n e   l e a rn i ng  a n de e l e a rni n t e c hni que s ,   i t   i s   n e c e s s a r y   t o   c o n v e r t   t h e   t e xt   i n t o   a   v e c t o r   [25] .     2. 4 .     Te x t   c l u s te r i n g   T e xt   c l us t e ri n g   r e f e r s   to   t h e   s y s t e m a t i c   p r o c e dur e   of   gr o upi n g   do c um e nt s   t ha t   ha v e   s i m i l a r   c o n t e n t   i n t o   t h e   s a m e   g r o up.   T e xt   c l us t e r i n g   e na b l e s   t h e   di s c o ve r y   of   c o m pl e x   a n d   s i g n i f i c a n t   r e l a t i o n s   b e t w e e n   w o r ds   in   a   c o r pus   t ha t   w o ul d   o t h e r w i s e   be   c h a l l e n gi n g   to   c l us t e r.   K - M e a n s ,   F CM s,   L S A ,   L D A ,   a nd   NMF   w e r e   s e l e c t e d   to   c l us t e r   t h e   us e r   r e v i e w s   t ha t   h a s   b e e n   t hr o ug h   w o r d   e m b e ddi ng.     2. 5 .     V al i d ati o n   W h e n   t h e   e m b e dde d   t e xt   d a t a   h a s   b e e n   c l us t e r e d   us i ng   s e l e c t e d   c l us t e ri n g   t e c hn i q ue ,   t h e   s ub s e que n t   s t e p   i n v o l ve s   a na l y z i n g   t h e   r e s ul t s   by   c o m pa ri ng   t h e   s i l h o ue t t e   s c o r e   of   t h e   c l us t e r e d   da t a   a nd   v i s ua l i z i n g   t h e   f i n di ngs .   T h e   S i l h o ue t t e   Co e ff i c i e n t   or   s i l h o ue t t e   s c o r e   is   a   qu a n t i t a t i v e   m e a s u r e   us e d   to   e v a l ua t e   t h e   e f fe c t i ve n e s s   of   a   c l us t e r i n g   t e c hni que .   T h e   ra nge   of   t h e   v a l ue   of   t h e   v a ri a b l e   s pa n s   b e t w e e n   - 1   to   1   f o l l ow i n g   t h e   s i l h o ue t t e   s c o r e   (1) .        = 1     m ax ( , )     (1)     a   -   di s t a n c e   b e t w e e n   da t a   po i n t   w i t h i n   c l us t e r   b   -   di s t a n c e   b e t w e e n   c l us t e r     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   3 M a r c h   20 2 6 :   1017 - 1 024   1020   3.   R ES U LTS   AND   DISCUSSIO N     F o r   t hi s   e xpe ri m e n t ,   t hr e e   da t a s e t s   w e r e   s e l e c t e d:   S h o pe e   c us t o m e r   r e v i e w s   (e - c o m m e r c e [26] M a l a y s i a   r e s t a u r a nt   r e v i e w s   (F oo &   B e ve r a ge )   [27] ,   a nd   M a l a y s i a   t e l e c o m m uni c a t i o n   r e v i e w s   ( S e r v i c e )   [28] .   T h e   f i l e   s i z e s   of   bo t h   da t a s e t s   w e r e   46M B ,   75M B ,   a nd   5M B ,   r e s pe c t i v e l y .   S h o pe e   c us t o m e r   r e v i e w s   c o n s i s t   of   r e v i e w s   m a de   by   c us t o m e r s   w h o   h a v e   m a de   pur c ha s e s   on   t h e   S h o pe e   e l e c t r o n i c   c o m m e r c e   pl a t f o r m ,   w i t h   a   s pe c i a l   e m p ha s i s   on   t h e   E n g l i s h   l a n gu a ge .   B o t h   t h e   M a l a y s i a   r e s t a u ra n t   r e v i e w s   a nd   M a l a y s i a   t e l e c o m m u n i c a t i o n   r e v i e w s   da t a b a s e s   c o n s i s t   of   re v i e w s   s o ur c e d   f r o m   T ri pA dv i s o r   a n d   G o o gl e ,   r e s pe c t i v e l y .   It   is   i nt e r e s t i n g   to   n o t e   t ha t   b o t h   d a t a s e t s   i n c l ude   r e v i e w s   w r i t t e n   in   b o t h   E ngl i s h   a n d   M a l a y   l a n gu a ge s .   We   us e d   a   t o t a l   of   f i v e   di ffe r e n t   a l go r i t hm s   to   a n a l y z e   t h e   da t a s e t .   E v a l u a t i o n   w a s   c o n duc t e d   ut i l i z i n g   s i l h o ue t t e   s c o r e   m e a s u r e m e n t   m e t r i c s   in   a s s o c i a t i o n   w i t h   t hr e e   d i s t i n c t   w o r d   e m b e ddi ng   t e c hn i q ue s   TF - ID F   i ni t i a l l y ,   W o r d2V e c ,   a n d   G l o V e .   We   pe r f o r m e d   on   t hr e e   s e l e c t e d   da t a s e t s   m e nt i o n e d   b e fo r e .   A   s e pa ra t e   t a b l e   is   us e d   to   p r e s e nt   t h e   r e s ul t s   a c qu i r e d   for   e a c h   da t a s e t .       3. 1 .     S h o p e e   c u s to m e r   r e v i e w s   P r i o r   to   c o n duc t i ng   t h e   w o r d   e m b e ddi n g   a n d   c l us t e r i n g   p r o c e dur e s ,   t h e   E l b o w   M e t h o d   is   e m pl o y e d   to   de t e r m i na t i o n   of   t h e   o pt i m um   K   v a l ue   is   b a s e d   on   t h e   p re s e n c e   of   an   e l b ow   c ur v e   on   t h e   g ra p h,   t ha t   is   4.   R e s ul t s   fo r   e xpe ri m e n t   us i ng   d a t a s e t   S h o pe e   c us t o m e r   r e v i e w s   as   s h o w n   in   T a b l e   1.   T a b l e   1   p r e s e n t s   i n t e r e s t i n g   f i n d i n gs ,   as   L D A   a l go r i t h m   c o n s i s t e n t l y   pr o duc e s   s i m i l a r   r e s ul t s   a c r o s s   v a r i o us   w o r d   e m b e ddi n gs .   L D A   is   a   hi g hl y   e ff i c i e n t   a l go r i t hm   for   e ff e c t i v e l y   h a n dl i n g   s ub s t a n t i a l   v o l um e s   of   s t r uc t u r e d   a nd   s e m i - s t ruc t u r e d   t e x t ua l   d a t a   [29] T h i s   f i n di n g   i l l us t r a t e s   t ha t   L D A   o ff e r s   its   a b i l i t y   to   e m pl oy   a n y   w o r d   e m b e ddi n g   t e c hn i q ue s .   D e s pi t e   t h e   c o n s i s t e n t   r e s ul t s   p r o duc e d   by   L D A ,   L S A   h a s   o ut pe r f o r m   pe r f o r m a n c e   c o m pa r e d   to   o t h e r   a l go ri t hm s ,   as   s h o w n   by   its   S i l h o ue t t e   s c or e   of   0. 65.   On   t h e   o t h e r   h a nd,   e xc e pt   for   L D A ,   4   o ut   of   5   a l go r i t hm s   de m o n s t ra t e   v e r y   l ow   pe r fo r m a n c e   w h e n   ut i l i z i ng   TF - ID F .   W o r d2V e c   is   a   t e c hn i que   t ha t   c a n   be   c o n s i de r e d   r e l i a b l e   for   w o r d   e m b e ddi n gs   as   it   ha s   s i g ni f i c a nt   e f f i c a c y   c o m pa r e d   to   G l o V e ,   e s pe c i a l l y   w i t h   r e ga r d   to   TF - ID F .   F u r t h e rm o r e ,   [23]   p r o v i de s   f ur t h e r   e v i de n c e   t ha t   TF - ID F   is   n o t   as   e f fe c t i ve   as   t h e   o t h e r   t e c hni que s   w h e n   it   c o m e s   to   e xt ra c t i n g   r e l e v a nt   t e xt   do c um e n t s .   A c c o r di n g   t o   [30] F CM s   w i l l   n o t   pr o duc e   b e t t e r   r e s ul t s   as   it   de m o n s t ra t e s   s upe r i o r   c l us t e ri n g   pe r f o r m a n c e   for   l a r ge   i m a ge   da t a s e t s   c o m pa r e d   to   t e xt ,   w i t h   a   l o w e r   e rr o r   ra t e .   T h e   s i l h o ue t t e   s c o r e   for   F CM s   ha s   b e e n   de m o n s t r a t e d   to   be   0. 001 ,   0. 31 ,   a n d   0. 009   w h e n   e m p l oy i n g   TF - ID F ,   W o rd2V e c ,   a n d   G l o V e ,   r e s pe c t i v e l y .   B a s e d   on   t h e   r e s ul t s   of   t h e   e xpe r i m e n t ,   it   can   be   a s s um e d   t ha t   t h e   us e   of   W 0r d2V e c   a nd   G l o V e   as   w o r d   e m b e ddi n gs   p r o v i de s   b e t t e r   r e s ul t s   for   b o t h   L D A   a n d   L S A .   T h e   L S A   c l us t e r i ng   v i s u a l i z a t i o n   de p i c t e d   in   F i gu r e   2   t h a t   s pl i t s   t h e   S h o pe e   c us t o m e r   r e v i e w s   i n t o   fo ur   di s t i n c t   c l us t e r s   w h i c h   a r e   0,   1,   2,   a n d   3   t h a t   c o n s i s t   9 982,   6,   7,   a n d   5   s a m pl e s ,   r e s pe c t i v e l y .   T h e   v a s t   m a j o r i t y   of   s a m pl e s   a r e   l o c a t e d   in   c l us t e r   0.   T h e   r e m a i ni n g   c l us t e r s   h o l d   i n s i g ni f i c a nt   q ua nt i t i e s   of   s a m pl e s   due   to   t h e i r   di s t a n c e   f r o m   t h e   c e nt r o i d.         T a b l e   1 .   R e s ul t s   for   S h o pe e   r e v i e w s   da t a s e t   A l g o ri t h m   Re s u l t s   (S i l h o u e t t e   S c o r e )   TF - ID F   W o r d 2 V e c   G l o V e   K - m e a n s   0 . 0 0 7   0 . 3 1   0 . 0 6   F u z z y   C - m e a n s   0 . 0 0 1   0 . 3 1   0 . 0 0 9   N o n - n e g a t i v e   m a t ri x   f a c t o ri z a t i o n   (N M F )   0 . 0 1   0 . 1 9   0 . 1 4   L a t e n t   d i r i c h l e t   a l l o c a t i o n   (L D A )   0 . 5 9   0 . 5 9   0 . 5 9   L a t e n t   s e m a n t i c s   a n a l y s i s   (L S A )   0 . 0 7   0 . 6 5   0 . 5 7       3. 2 .    M al ays i a   r e s tau r an t   r e v i e w s   F o r   t h e   s e c o n d   e xpe ri m e nt ,   M a l a y s i a   r e s t a u ra n t   r e v i e w s   f r o m   T ri pA dv i s o r . c o m   w e b s i t e   a r e   us e d   a nd   t h e   r e s ul t s   a r e   r e c o r de d   in   T a b l e   2.   I n   T a b l e   2,   L S A   c o n t i nue s   to   o ut pe r f o r m   t h e   o t h e r   a l go ri t hm s ,   b ut   s l i g ht l y   l o w e r   t h a n   t h e   f i r s t   e xpe r i m e n t ,   w h e r e   it   a c h i e v e d   a   s c o r e   of   0. 63   us i n g   W o r d2V e c   as   w o r d   e m b e ddi ngs .   In   bo t h   t h e   f i r s t   a nd   s e c o n d   e xpe r i m e n t s ,   t h e   us e   of   W o r d2V e c   as   w o r d   e m b e ddi n gs   l e a ds   to   b e t t e r   o ut c o m e s   fo r   L S A .   In   t hi s   e xpe ri m e n t ,   t h e   ga p   in   S i l h o ue t t e   s c o r e s   b e t w e e n   L S A   a n d   L D A   is   a b o ut   0. 01.   A c c o r di n g   t [3 0 ] L D A   ge t s   a   b e t t e r   r e s ul t   t h a n   L S A .   H ow e v e r ,   o ur   r e s ul t s   s h o w   t h e   o ppo s i t e   for   b o t h   e xpe ri m e n t s .   T h i s   is   ra t h e r   i n t e r e s t i n g .   It   s h o ul d   a l s o   be   hi g hl i g ht e d   t ha t   L S A   pr o duc e s   a   f a i rl y   a c c e pt a b l e   r e s ul t   of   0. 42   w h e n   us i n g   G l o V e   as   w o r d   e m b e ddi n g ,   as   c o m pa r e d   to   TF - ID F .   W h i l e ,   T h e   L D A   a l go r i t h m   c o n s i s t e nt l y   p r o duc e s   s i m i l a r   r e s ul t s   w h e n   a pp l i e d   to   t h e   t hr e e   d i f fe r e nt   w o r d   e m b e ddi n g   t e c hn i q ue s .   It   c o n f i rm s   [3 0 ]   t h a t   b o t h   L D A   a n d   L S A   a r e   a b l e   to   ge n e r a t e   r e l e v a n t   t o pi c   on   d a t a s e t .   S i m i l a r l y   to   t h e   p r e v i o us   e xpe r i m e n t ,   t h e   us e   of   TF - ID F   a nd   G l o V e   to   K - M e a n s ,   F CM s,   a n d   NMF   gi v e s   un s a t i s f a c t o r y   o ut c o m e s .   T h e   w o r d   e m b e ddi n g   t e c hn i q ue s   us e d   in   t h e   t hr e e   c l us t e r i n g   a l go r i t hm s   o ut l i n e d   e a r l i e r   f a i l   to   a c hi e v e   a   S i l h o ue t t e   S c o r e   of   0. 1   or   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       E x p l or i ng   w or e m be dd i ngs   and   c l us t e r i ng   al gor i t hm s   f or   us e r   r e v i e w s   ( Z ul e ai z al   Si de k )   1021   hi g h e r .   T a b l e   2   f urt h e r   de m o n s t ra t e s   t h e   e xt r e m e   po o r   r e s ul t s   t ha t   t h e   TF - ID F   ge n e ra t e s ,   w i t h   S i l h o ue t t e   s c o r e   v a l ue s   as   l o w   as   0 . 00 5   a n d   e v e n   l o w e r ,   0 . 001 ,   w h e n   c o m pa r e d   to   t h e   f i r s t   e xpe ri m e n t .   T hi s   de m o n s t r a t e s   t ha t   a ppl y i n g   f r e que n c y - b a s e d   w o r d   e m b e ddi ng   to   t e xt   c l us t e r i ng   s e m a n t i c a l l y   is   i n a p p r o pri a t e .   F i gu r e   3   de pi c t s   t h e   v i s ua l i z a t i o n   of   t h e   L S A   c l us t e r i n g   us i ng   W o r d2V e c   for   t h e   s e c o n d   e xpe r i m e nt .   It   s e e m s   n e a r l y   i de nt i c a l   to   t h e   f i r s t   e xpe r i m e n t ,   h o w e v e r   it   is   di f f e r e n t   as   t h e   S i l h o ue t t e   s c o r e   s l i g h t l y   l ow e r   c o m pa r e d   to   t h e   f i r s t   e xpe r i m e nt .   T h e   di s t i n c t i o n   is   a l s o   s e e n   in   t h e   v i s ua l i z a t i o n   e dge ,   w h i c h   a ppe a r s   m o r e   di s pe r s e   c o m pa r e d   to   t h e   p r e v i o us ,   w h i c h   e x h i b i t s   a   da r ke r   c o l o r a t i o n .       T a b l e   2 .   R e s ul t s   for   M a l a y s i a   r e s t a u ra nt   r e v i e w s   da t a s e t   A l g o ri t h m   Re s u l t s   (S i l h o u e t t e   S c o r e )   TF - ID F   W o r d 2 V e c   G l o V e   K - m e a n s   0 . 0 0 9   0 . 3 6   0 . 0 7   F u z z y   C - m e a n s   0 . 0 0 5   0 . 3 2   0 . 0 7   N o n - n e g a t i v e   m a t ri x   f a c t o ri z a t i o n   (N M F )   0 . 0 1   0 . 3 1   0 . 0 7   L a t e n t   d i r i c h l e t   a l l o c a t i on   (L D A )   0 . 6 2   0 . 6 2   0 . 6 2   L a t e n t   s e m a n t i c s   a n a l y s is   (L S A )   0 . 1 1   0 . 6 3   0 . 4 2           F i gu r e   2 T h e   L S A   c l us t e r i ng   (S h o pe e   c us t o m e r   r e v i e w s )       3. 3 .     M al ays i a   t e l e c o m mu n i c ati o n   r e v i e w s   T h e   t h i rd   e xpe ri m e nt   ut i l i z e d   t h e   M a l a y s i a   t e l e c o m m u n i c a t i o n   r e v i e w s   da t a s e t ,   w h i c h   c o n t a i n s   r e v i e w s   w r i t t e n   in   b o t h   E n g l i s h   a n d   M a l a y s   by   n a t i v e   M a l a y s i a n.   T h i s   d a t a s e t   w a s   s e l e c t e d   due   to   its   c o m b i na t i o n   of   mix   l a n gu a ge s   a nd   i t s   s m a l l   s i z e ,   at   o n l y   9M B .   T h i s   e xpe ri m e n t   a i m s   to   i n v e s t i ga t e   a   s m a l l   s e t   of   da t a   a nd   c o m pa r e   it   w i t h   t h e   f i ndi n gs   of   t h e   s e c o n d   a nd   t hi r d   e xpe r i m e nt s .   T h e   r e s ul t s   a r e   p r e s e nt e d   in   T a b l e   3.   R e m a r k a b l y ,   L D A   o ut pe r f o r m s   t h e   r e s ul t s   c o m pa r e d   to   t h e   o t h e r   a l go r i t h m s .   A d di t i o na l l y ,   L D A   o ut pe r f o r m s   t h e   r e s ul t s   of   t h e   t w o   pr e c e di n g   e xpe r i m e n t s   w i t h   0 . 66   S i l h o ue t t e   s c o r e .   T hi s   v a l i d a t e s   t h e   f i n di ngs   o f   [3 0 ]   w h i c i n d i c a t e   t ha t   L D A   g i v e s   b e t t e r   o ut c o m e s   c o m pa r e d   t o   L S A .   T h i s   i s   a l s o   de m o n s t ra t e s   t h e   e f f i c a c y   of   L D A   i ha ndl i ng   s m a l l   da t a s e t s ,   s pe c i f i c a l l y   us e r e v i e w s   a s   m e n t i o n e d   by   [3 1 ]   t ha t   t h e   L D A   a l go ri t hm   p r o duc e d   b e t t e r   r e s ul t s ,   s u gge s t i n g   t h a t   it   is   po s s i b l e   to   ge n e r a t e   m o r e   c o h e r e n t   c l us t e r s   of   t o pi c s .   T h e   L S A   a l go r i t hm   p r o duc e d   s t a t i s t i c a l l y   s i g n i f i c a n t   r e s ul t s ,   w i t h   a   di f f e r e n c e   of   0. 04   S i l h o ue t t e   s c o r e ,   c o m pa r e d   to   t h e   L D A   a l go r i t h m   w h e n   u t i l i z i n g   W o r d2V e c .   In   t h e   t hi r d   e xpe ri m e n t ,   t h e   L D A   c o n s i s t e nt l y   pr o duc e d   i de n t i c a l   r e s ul t s   a n d   t h i s   f i n d i n g   de m o n s t ra t e s   t h a t   t h e   L D A   a l go r i t h m   can   be   us e d   for   s e m a n t i c   t e xt   c l us t e r i ng   r e g a r dl e s s   of   w o r d   e m b e ddi n g   t e c hni que s   us e d.   T h e   e xpe r i m e n t   de m o n s t ra t e s   t ha t   t h e   L D A   a l go r i t hm   ut i l i z i n g   W o r d2V e c   a c hi e v e s   a   m o r e   b a l a n c e   di s t r i b ut i o n   of   s a m pl e s   c l us t e ri n g   (F i gu r e   4) .   Cl us t e r   0,   1,   2,   a nd   3   c o n t a i n   2 , 9 87,   2 , 6 60,   1 , 32 0,   a n d   3 , 03 2   s a m pl e s ,   r e s pe c t i v e l y .   A ddi t i o na l l y ,   t h e   v i s ua l i z a t i o n   c l us t e r s   t h e   s a m pl e s   e f fe c t i ve l y ,   as   v e r y   l i t t l e   po i nt s   t ha t   r e p r e s e n t   s a m p l e s   r e s i de   on   t o p   of   o n e   a n o t h e r   a n d   c o n f i r m   by   [3 2 ]   t ha t   L D A   as   an   u n s upe r v i s e d   m a c hi n e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   3 M a r c h   20 2 6 :   1017 - 1 024   1022   l e a rn i ng   a l go r i t hm   is   e f fe c t i ve   fo r   t o pi c   m o de l i n g   a nd   n o t   o nl y   pr o duc e d   go o d   r e s ul t s ,   b ut   a l s o   de m o n s t ra t e d   an   o ut s t a n d i n g   de gr e e   of   a c c ur a c y   in   s e nt i m e nt   a n a l y s i s   at   b o t h   t h e   do c um e nt s   a nd   w o r ds   d a t a s e t .             F i gu r e   3 T h e   L S A   c l us t e r i ng   (M a l a y s i a n   r e s t a u r a nt   r e v i e w s )       T a b l e   3 .   R e s ul t s   for   M a l a y s i a   t e l e c o m m u n i c a t i o n   r e v i e w s   da t a s e t   A l g o ri t h m   Re s u l t s   (S i l h o u e t t e   S c o r e )   TF - ID F   W o r d 2 V e c   G l o V e   K - m e a n s   0 . 0 1   0 . 2 8   0 . 1 1   F u z z y   C - m e a n s   0 . 0 4   0 . 2 6   0 . 0 5   N o n - n e g a t i v e   m a t ri x   f a c t o ri z a t i o n   (N M F )   0 . 0 1   0 . 2 5   0 . 0 7   L a t e n t   d i r i c h l e t   a l l o c a t i on   (L D A )   0 . 6 6   0 . 6 6   0 . 6 6   L a t e n t   s e m a n t i c s   a n a l y s is   (L S A )   0 . 1 8   0 . 6 2   0 . 4 1           F i gu r e   4 .   L D A   c l us t e ri n g   (M a l a y s i a   T e l e c o m m u n i c a t i o n   R e vi e w s )   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       E x p l or i ng   w or e m be dd i ngs   and   c l us t e r i ng   al gor i t hm s   f or   us e r   r e v i e w s   ( Z ul e ai z al   Si de k )   1023   4.   C O N C LU S I O N     N ow a da y s ,   t h e r e   is   a   s i g ni f i c a nt   s pi ke   in   da t a   v o l um e ,   de m a n d i n g   r a pi d   da t a   p r o c e s s i n g.   T h i s   s t udy   i n v e s t i ga t e s   t h e   t e c hn i q ue s   of   w o r d   e m b e ddi n g   s uc h   as   TF - I D F ,   W o r d2V e c   a n d   G l o V e   a nd   de m o n s t r a t e s   t h e   o ut c o m e s   of   t h e i r   a pp l i c a t i o n   in   t e xt   c l us t e ri n g   a l go ri t hm s .   We   us e   K - M e a n s ,   F CM s,   NMF,   L D A   a n d   L S A   to   c l us t e r   t h e   us e r   r e v i e w s .   T hr e e   di s t i n c t   us e r   r e v i e w   da t a s e t s   a r e   us e d   for   t h e   e xpe r i m e n t s :   1)   S h o pe e   c us t o m e r   r e v i e w s ;   2)   M a l a y s i a   r e s t a u r a nt   r e v i e w s ;   a n d   3)   M a l a y s i a   t e l e c o m m u n i c a t i o n   r e v i e w s .   In   c o n c l us i o n,   w i t h   t h e   us e   of   c l us t e r i n g   a l go ri t hm s   on   t h e   e m b e dde d   t e xt ua l   da t a ,   it   is   po s s i b l e   to   c l us t e r   di s t i n c t   c l a s s e s   or   c e n t r o i ds   t h a t   r e p r e s e n t   c l us t e r s   i n c l ud i n g   r e l a t e d   t e x t s .   T h e   i m pl e m e n t a t i o n   of   L D A   a n d   L S A   a l go ri t hm s   ha s   de m o n s t r a t e d   s i g ni f i c a n t   e ff i c a c y   in   t h e   c l us t e r i n g   of   s h o r t   t e xt u a l   da t a s e t ,   a nd   t h e r e   is   po t e n t i a l   for   b e i n g   us e d   in   t h e   c o n t e xt   of   l a r ge   t e xt u a l   d a t a s e t s .   f r o m   t h e   t hr e e   e xpe ri m e n t s ,   t h e   L S A   a nd   L D A   a l go r i t hm s   a r e   hi g h l y   c o m pa t i b l e   w i t h   W o r d2V e c   as   an   e m b e ddi n g   t e c hni q ue   for   s e m a n t i c   t e xt   c l us t e r i ng.     As   fo r   f ut u r e   w o r ks ,   it   s h o ul d   be   c o n s i de r e d   to   us e   B E R T   as   a   w o r d   e m b e ddi n g   t e c hni que   as   it   ha s   its   a b i l i t y   to   a c c ura t e l y   r e p r e s e n t   b o t h   t h e   p r e c e di ng   a n d   s uc c e e di n g   c o n t e xt   of   a   w o r d.   T hi s   w i l l   e n a b l e   B E R T   to   m o r e   e f f e c t i v e l y   c a pt u r e   t h e   i n t e n de d   m e a ni n g   of   a   s e n t e n c e .         A C K N O WL ED G E M EN TS     T h e   a ut h o r s   e xp r e s s   t h e i r   s i n c e r e   a p p r e c i a t i o n   to   t h e   r e v i e w e r s   for   t h e i r   v a l u a b l e   f e e d b a c k,   w h i c h   h e l pe d   e nha n c e   t h e   q ua l i t y   of   t h i s   a r t i c l e .   T h e   f u n di ng   for   t hi s   r e s e a r c h   w a s   p r o v i de d   by   ‘S ki m   Z a m a l a h   U T e M of   U n i v e r s i t i   T e k ni ka l   M a l a y s i a   M e l a ka   (U T e M ),   M a l a y s i a .       R EF ER EN C ES   [1 ]   N .   A .   N .   M .   Id r o s ,   H .   M o h a m e d ,   a n d   R.   J e n a l ,   T h e   u s e   o e x p e rt   r e v i e w   i n   c o m p o n e n t   d e v e l o p m e n t   f o r   c u s t o m e s a t i s f a c t i o n   t o w a r d s   E - h a i l i n g ,   In d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   Co m p u t e r   S c i e n c e ,   v o l .   1 7 ,   n o .   1 ,   p p .   3 4 7 3 5 6 ,   J a n .   2 0 1 9 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s . v 1 7 . i 1 . p p 3 4 7 - 356.   [2 ]   T .   M i k o l o v ,   I.   S u t s k e v e r,   K .   Ch e n ,   G .   Co rra d o ,   a n d   J .   D e a n ,   D i s t r i b u t e d   r e p r e s e n t a t i o n s   o fw o rd s   a n d   p h ra s e s   a n d   t h e i r   c o m p o s i t i o n a l i t y ,   A d v a n c e s   i n   Ne u r a l   In f o r m a t i o n   P r o c e s s i n g   S y s t e m s ,   O c t .   2 0 1 3 ,   [O n l i n e ].   A v a i l a b l e :   h t t p : / / a rx i v . o r g / a b s / 1 3 1 0 . 4 5 4 6 .   [3 ]   J .   P e n n i n g t o n ,   R.   S o c h e r,   a n d   C .   D .   M a n n i n g ,   G l o V e :   G l o b a l   v e c t o r s   fo w o rd   re p r e s e n t a t i o n ,   E M NL P   2 0 1 4   -   2 0 1 4   Co n f e r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   Na t u r a l   L a n g u a g e   P r o c e s s i n g ,   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e ,   p p .   1 5 3 2 154 3 ,   2 0 1 4 ,     d o i :   1 0 . 3 1 1 5 / v 1 / d 1 4 - 1162.   [ 4 ]   J .   D e v l i n ,   M .   W .   Ch a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   B E R T :   P re - t r a i n i n g   o f   d e e p   b i d i re c t i o n a l   t r a n s f o rm e rs   f o l a n g u a g e   u n d e rs t a n d i n g ,   i n   N A A CL   H L T   2 0 1 9   -   2 0 1 9   C o n f e r e n c e   o f   t h e   N o r t h   A m e r i c a n   C h a p t e r   o f   t h e   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s :   H u m a n   L a n g u a g e   T e c h n o l o g i e s   -   P r o c e e d i n g s   o f   t h e   C o n f e r e n c e ,   2 0 1 9 ,   v o l .   1 ,   p p .   4 1 7 1 4 1 8 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / n 1 9 - 1423.   [5 ]   A .   S u b a k t i ,   H .   M u r f i ,   a n d   N .   H a ri a d i ,   T h e   p e r f o r m a n c e   o B E RT   a s   d a t a   r e p re s e n t a t i o n   o f   t e x t   c l u s t e r i n g ,   J o u r n a l   o f   B i g   D a t a v o l .   9 ,   n o .   1 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 022 - 00564 - 9.   [6 ]   K .   L .   K o u a d i o ,   J .   L i u ,   R.   L i u ,   Y .   W a n g ,   a n d   W .   L i u ,   K - M e a n s   F e a t u ri z e r:   A   b o o s t e r   f o i n t ri c a t e   d a t a s e t s ,     E a r t h   S c i e n c e   In f o r m a t i c s ,   v o l .   1 7 ,   n o .   2 ,   p p .   1 2 0 3 1 2 2 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 2 1 4 5 - 024 - 01236 - 3.   [7 ]   A .   M .   Ik o t u n ,   A .   E .   E z u g w u ,   L .   A b u a l i g a h ,   B .   A b u h a i j a ,   a n d   J .   H e m i n g ,   K - m e a n s   c l u s t e r i n g   a l g o ri t h m s :   A   c o m p r e h e n s i v e   re v i e w ,   v a ri a n t s   a n a l y s i s ,   a n d   a d v a n c e s   i n   t h e   e ra   o f   b i g   d a t a ,   In f o r m a t i o n   S c i e n c e s ,   v o l .   6 2 2 ,   p p .   1 7 8 2 1 0 ,   2 0 2 3 ,     d o i :   1 0 . 1 0 1 6 / j . i n s . 2 0 2 2 . 1 1 . 1 3 9 .   [8 ]   J .   C.   Ca m p b e l l ,   A .   H i n d l e ,   a n d   E .   S t r o u l i a ,   L a t e n t   d i r i c h l e t   a l l o c a t i o n :   E x t ra c t i n g   t o p i c s   f r o m   s o f t w a r e   e n g i n e e ri n g   d a t a ,     i n   T h e   A r t   a n d   S c i e n c e   o f   A n a l y z i n g   S o f t w a r e   D a t a ,   E l s e v i e r,   2 0 1 5 ,   p p .   139 159.   [9 ]   A .   M e d d e b   a n d   L .   Be n   R o m d h a n e ,   U s i n g   t o p i c   m o d e l i n g   a n d   w o rd   e m b e d d i n g   fo r   t o p i c   e x t ra c t i o n   i n   T w i t t e r,     P r o c e d i a   Co m p u t e r   S c i e n c e ,   v o l .   2 0 7 ,   p p .   7 9 0 7 9 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 2 2 . 0 9 . 1 3 4 .   [1 0 ]   K .   S o fo k l i s ,   C o m p a ri n g   u n s u p e r v i s e d   l e a r n i n g   a p p r o a c h e s   fo r   t o p i c   c l a s s i f i c a t i o n   o b a n k   c o m p l a i n t s :   A n   N L P   s t u d y ,   U t r e c h t   U n i v e r s i t y ,   2 0 2 3 .   [1 1 ]   S .   O u n a c e r ,   D .   M h a m d i ,   S .   A r d c h i r,   A .   D a i f ,   a n d   M .   A z z o u a z i ,   Cu s t o m e s e n t i m e n t   a n a l y s i s   i n   h o t e l   r e v i e w s   t h r o u g h   n a t u ra l   l a n g u a g e   p r o c e s s i n g   t e c h n i q u e s ,   In t e r n a t i o n a l   J o u r n a l   o f   A d v a n c e d   C o m p u t e r   S c i e n c e   a n d   A p p l i c a t i o n s ,   v o l .   1 4 ,   n o .   1 ,     p p .   5 6 9 5 7 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 4 5 6 9 / IJ A CS A . 2 0 2 3 . 0 1 4 0 1 6 2 .   [1 2 ]   X .   L i ,   Y .   G u a n ,   B.   F u ,   a n d   Z .   L u o ,   A n o m a l y - a w a r e   s y m m e t ri c   n o n - n e g a t i v e   m a t r i x   f a c t o ri z a t i o n   f o s h o rt   t e x t   c l u s t e r i n g ,   K n o w l e d g e   a n d   In f o r m a t i o n   S y s t e m s ,   v o l .   6 7 ,   n o .   2 ,   p p .   1 4 8 1 1 5 0 6 ,   A p r .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 024 - 02226 - z.   [1 3 ]   J .   C h a v o s h i n e j a d ,   S .   A .   S e y e d i ,   F .   A k h l a g h i a n   T a b ,   a n d   N .   S a l a h i a n ,   S e l f - s u p e r v i s e d   s e m i - s u p e r v i s e d   n o n n e g a t i v e   m a t ri x   f a c t o ri z a t i o n   f o d a t a   c l u s t e ri n g ,   P a t t e r n   R e c o g n i t i o n ,   v o l .   1 3 7 ,   p .   1 0 9 2 8 2 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 2 2 . 1 0 9 2 8 2 .   [1 4 ]   Ş .   Ö .   Bi r i m ,   P ro d u c t   i n s i g h t s   f r o m   c u s t o m e r - g e n e ra t e d   d a t a   u s i n g   t o p i c   m o d e l i n g   w i t h   BE RT o p i c   a n d   s e n t i m e n t   a n a l y s i s   w i t h   X L M - T :   A n   e x p e ri m e n t   o n   T u rk i s h   re v i e w s ,   P R E P R IN T   (V e r s i o n   1 a v a i l a b l e   a t   R e s e a r c h   S q u a r e ,   p p .   1 3 0 ,   F e b .   2 0 2 4 ,     d o i :   1 0 . 2 1 2 0 3 / rs . 3 . r s - 3981153/ v 1.   [1 5 ]   S .   E .   H a s h e m i ,   F .   G h o l i a n - J o u y b a ri ,   a n d   M .   H a j i a g h a e i - K e s h t e l i ,   A   f u z z y   C - m e a n s   a l g o ri t h m   fo o p t i m i z i n g   d a t a   c l u s t e ri n g ,   E x p e r t   S y s t e m s   wi t h   A p p l i c a t i o n s ,   v o l .   2 2 7 ,   p .   1 2 0 3 7 7 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . e s w a . 2 0 2 3 . 1 2 0 3 7 7 .   [1 6 ]   H .   M u r f i ,   Y .   J .   A g u n g ,   S .   N u rro h m a h ,   Y .   S a t r i a ,   C.   Z a ’i n ,   a n d   D .   Ra h a y u ,   E i g e n s p a c e - b a s e d   f u z z y   C - m e a n s   w i t h   l a r g e   l a n g u a g e   m o d e l   BE RT   fo t o p i c   d e t e c t i o n ,   J a n .   2 0 2 3 ,   d o i :   1 0 . 2 1 2 0 3 / rs . 3 . r s - 3637575/ v 1.   [1 7 ]   R.   A s t u t i ,   N .   Ra h a n i n g s i h ,   U .   H a y a t i ,   C .   L .   Ro h m a t ,   a n d   N .   S u a r n a ,   I m p l e m e n t a t i o n   o f   f u z z y   C - m e a n s   a l g o ri t h m   w i t h   o p t i m i z e d   p a ra m e t e g r i d   fo r   c l u s t e r i n g   e l e c t r o n i c   p ro d u c t   s a l e s ,   E a s t   A s i a n   J o u r n a l   o f   M u l t i d i s c i p l i n a r y   R e s e a r c h ,   v o l .   2 ,   n o .   4 ,     p p .   1 6 4 7 1 6 6 0 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 5 5 9 2 7 / e a j m r. v 2 i 4 . 3 9 2 9 .   [1 8 ]   N .   S .   A y y i l d i z ,   A .   A k c a y ,   B.   Y a l c u v a ,   A .   S a y a r,   S .   E rt u g ru l ,   a n d   T .   Ca k a r,   S e g m e n t a t i o n   fo f a c t o ri n g   c u s t o m e r s :   u s i n g   u n s u p e rv i s e d   m a c h i n e   l e a rn i n g   a l g o ri t h m s ,   i n   2 0 2 3   In n o v a t i o n s   i n   In t e l l i g e n t   S y s t e m s   a n d   A p p l i c a t i o n s   C o n f e r e n c e ,   A S Y U   2 0 2 3 O c t .   2 0 2 3 ,   p p .   1 7 ,   d o i :   1 0 . 1 1 0 9 / A S Y U 5 8 7 3 8 . 2 0 2 3 . 1 0 2 9 6 6 3 9 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   3 M a r c h   20 2 6 :   1017 - 1 024   1024   [1 9 ]   Io a n a ,   L a t e n t   s e m a n t i c   a n a l y s i s :   In t u i t i o n ,   m a t h ,   i m p l e m e n t a t i o n ,   2 0 2 4 ,   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / m e d i u m . c o m / d a t a - s c i e n c e / l a t e n t - s e m a n t i c - a n a l y s i s - i n t u i t i o n - m a t h - i m p l e m e n t a t i o n - a 1 9 4 a ff 8 7 0 f 8 .   [2 0 ]   T.   K .   L a n d a u e r ,   P .   W .   F o l t z ,   a n d   D .   L a h a m ,   A n   i n t r o d u c t i o n   t o   l a t e n t   s e m a n t i c   a n a l y s i s ,   D i s c o u r s e   P r o c e s s e s ,   v o l .   2 5 ,   n o .   2 3 ,   p p .   2 5 9 2 8 4 ,   J a n .   1 9 9 8 ,   d o i :   1 0 . 1 0 8 0 / 0 1 6 3 8 5 3 9 8 0 9 5 4 5 0 2 8 .   [2 1 ]   C.   B.   A s m u s s e n   a n d   C.   M ø l l e r,   S m a rt   l i t e ra t u re   r e v i e w :   a   p ra c t i c a l   t o p i c   m o d e l l i n g   a p p r o a c h   t o   e x p l o ra t o ry   l i t e ra t u re   r e v i e w ,   J o u r n a l   o f   B i g   D a t a ,   v o l .   6 ,   n o .   1 ,   O c t .   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 019 - 0255 - 7.   [2 2 ]   E .   H a d d i ,   X .   L i u ,   a n d   Y .   S h i ,   T h e   ro l e   o f   t e x t   p r e - p ro c e s s i n g   i n   s e n t i m e n t   a n a l y s i s ,   P r o c e d i a   Co m p u t e r   S c i e n c e ,   v o l .   1 7 ,     p p .   2 6 3 2 ,   2 0 1 3 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 3 . 0 5 . 0 0 5 .   [2 3 ]   G .   C.   Ba n k s ,   H .   M .   W o z n y j ,   R.   S .   W e s s l e n ,   a n d   R.   L .   Ro s s ,   A   re v i e w   o f   b e s t   p ra c t i c e   re c o m m e n d a t i o n s   fo t e x t   a n a l y s i s   i n   (a n d   a   u s e r - f ri e n d l y   a p p ),   J o u r n a l   o f   B u s i n e s s   a n d   P s y c h o l o g y ,   v o l .   3 3 ,   n o .   4 ,   p p .   4 4 5 4 5 9 ,   J a n .   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 8 6 9 - 0 1 7 - 9 5 2 8 - 3.   [2 4 ]   A .   M o r e o ,   A .   E s u l i ,   a n d   F .   S e b a s t i a n i ,   W o r d - c l a s s   e m b e d d i n g s   fo m u l t i c l a s s   t e x t   c l a s s i fi c a t i o n ,   D a t a   M i n i n g   a n d   K n o w l e d g e   D i s c o v e r y ,   v o l .   3 5 ,   n o .   3 ,   p p .   9 1 1 9 6 3 ,   F e b .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 1 8 - 020 - 00735 - 3.   [2 5 ]   F .   T o r re g r o s s a ,   R.   A l l e s i a r d o ,   V .   Cl a v e a u ,   N .   K o o l i ,   a n d   G .   G ra v i e r,   A   s u r v e y   o n   t ra i n i n g   a n d   e v a l u a t i o n   o w o rd   e m b e d d i n g s ,   In t e r n a t i o n a l   J o u r n a l   o f   D a t a   S c i e n c e   a n d   A n a l y t i c s ,   v o l .   1 1 ,   n o .   2 ,   p p .   8 5 1 0 3 ,   F e b .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 0 6 0 - 021 - 0 0 2 4 2 - 8.   [ 2 6 ]   T .   N g ,   S h o p e e   t e x t   re v i e w s ,   K a g g l e ,   2 0 2 0 .   h t t p s : / / w w w . k a g g l e . c o m / d a t a s e t s / s h y m a m m o t h / s h o p e e - re v i e w s   ( a c c e s s e d   J a n .   0 8 ,   2 0 2 4 ) .   [2 7 ]   C.   K .   N g ,   M a l a y s i a   r e s t a u ra n t   r e v i e w   d a t a s e t s ,   K a g g l e ,   2 0 2 2 .   h t t p s : / / w w w . k a g g l e . c o m / d a t a s e t s / c h o o n k h o n n g / m a l a y s i a - re s t a u ra n t - re v i e w - d a t a s e t s   (a c c e s s e d   J a n .   1 0 ,   2 0 2 4 ) .   [2 8 ]   A .   H .   A .   M u f l e h ,   M a l a y s i a n   t e l e c o m m u n i c a t i o n   G o o g l e   P l a y   r e v i e w s ,   K a g g l e ,   2 0 2 3 .   h t t p s : / / w w w . k a g g l e . c o m / d a t a s e t s / a m m a rh e z a m a h m e d / m a l a y s i a n - t e l e c o m m u n i c a t i o n - g o o g l e - p l a y - r e v i e w s   (a c c e s s e d   J a n .   1 5 ,   2 0 2 4 ).   [2 9 ]   O .   I p a rra g u i r re - V i l l a n u e v a   e t   a l . ,   S e a r c h   a n d   c l a s s i fy   t o p i c s   i n   a   c o rp u s   o t e x t   u s i n g   t h e   l a t e n t   d i r i c h l e t   a l l o c a t i o n   m o d e l ,   In d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   Co m p u t e r   S c i e n c e ,   v o l .   3 0 ,   n o .   1 ,   p p .   2 4 6 2 5 6 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s . v 3 0 . i 1 . p p 2 4 6 - 256.   [3 0 ]   M u h a m a d   G a t o t   S u p i a d i n   a n d   A r i f   D w i   L a k s i t o ,   E v a l u a t i n g   L D A   a n d   L S A   f o t o p i c   m o d e l i n g   i n   t h e   I n d o n e s i a n   n a t u ra l   d i s a s t e r,   In d o n e s i a n   J o u r n a l   o f   Co m p u t e r   S c i e n c e ,   v o l .   1 2 ,   n o .   6 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 3 3 0 2 2 / i j c s . v 1 2 i 6 . 3 4 7 8 .   [3 1 ]   J .   A .   L o s s i o - V e n t u ra ,   S .   G o n z a l e s ,   J .   M o r z a n ,   H .   A l a t r i s t a - S a l a s ,   T .   H e r n a n d e z - B o u s s a rd ,   a n d   J .   B i a n ,   E v a l u a t i o n   o c l u s t e ri n g   a n d   t o p i c   m o d e l i n g   m e t h o d s   o v e r   h e a l t h - r e l a t e d   t w e e t s   a n d   e m a i l s ,   A r t i f i c i a l   In t e l l i g e n c e   i n   M e d i c i n e ,   v o l .   1 1 7 ,   p .   1 0 2 0 9 6 ,   J u l .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . a rt m e d . 2 0 2 1 . 1 0 2 0 9 6 .   [ 3 2 ]   A .   F a rk h o d ,   A .   A b d u s a l o m o v ,   F .   M a k h m u d o v ,   a n d   Y .   I.   Ch o ,   L d a - b a s e d   t o p i c   m o d e l i n g   s e n t i m e n t   a n a l y s i s   u s i n g   t o p i c / d o c u m e n t / s e n t e n c e   (T d s m o d e l ,   A p p l i e d   S c i e n c e s   ( S w i t z e r l a n d ) ,   v o l .   1 1 ,   n o .   2 3 ,   p .   1 1 0 9 1 ,   N o v .   2 0 2 1 ,     d o i :   1 0 . 3 3 9 0 / a p p 1 1 2 3 1 1 0 9 1 .       B I O G R A P H I ES   OF   A U T H O R S       Z u l e a i z al   b i n   S i d e k           is   t h e   f o unde r   a nd   m a n a g i ng   d i r e c t o r   of   K e nc a na   N i a g a ,   an   IT   s t a r t - up   a nd   i nd e pe n de n t   p r o v i de r   of   da t a   a na l y t i c s   f o r   i n t e r d i s c i pl i na r y   a na l y s i s .   He   is   a l s o   a   po s t g r a du a t e   s t ud e nt   in   P hi l o s o phy   D oc t o r   in   D a t a   S c i e nc e   at   t h e   U n i v e r s i t i   T e kni ka l   M a l a y s i a   ( U T e M ) .   He   is   c ur r e nt l y   w o r ki ng   as   D a t a   S c i e n t i s t   at   t he   I ns t i t u t   T u n   P e r a k   ( M e l a k a   s t a t e   o w ne d   c o m pa ny ) .   He   h a s   m u l t i p l e   e x pe r i e nc e s   in   IT   f o r   m o r e   t ha n   10   y e a r s   at   t h e   U ni v e r s i t i   T e kno l o g i   M A R A   as   an   IT   M a na g e r .   H i s   f i r s t   pa p e r   on   e - g ov e r nm e nt   s e r v i c e s :   a   v a l ue   of   E - s e r v i c e   in   l o c bn al   g o v e r nm e nt :   a   f uz z y   a ppr o a c h   e v a l u a t i o n.   H i s   a r e a s   of   i n t e r e s t   a r e   b i g   da t a   m a na g e m e n t   a nd   a na l y t i c s ,   m a c hi ne   l e a r ni ng ,   a nd   bl o c kc ha i n   t e c hno l o gy .   H e   c a n   be   c o nt a c t e d   at   e m a i l :   z ul s i d e k@g m a i l . c o m .         A s s o c .   P r o f .   Dr   S h ar i f ah   S ak i n ah   S y e d   A h m ad           is   c ur r e n t l y   an   a s s o c i a t e   pr o f e s s o r   in   t he   D e p a r t m e n t   of   I nt e l l i g e nt   C o m put i ng   a nd   A na l y t i c s   ( I C A ) ,   F a c u l t y   of   A r t i f i c i a l   I nt e l l i g e nc e   a nd   C y be r   S e c ur i t y ,   U n i v e r s i t i   T e kni ka l   M a l a y s i a   M e l a ka   ( U T e M ) .   S h e   r e c e i v e d   he r   ba c he l o r ' s   a nd   m a s t e r ' s   de g r e e s   in   a p pl i e d   m a t he m a t i c s   f r o m   t h e   S c ho o l   of   M a t he m a t i c s   at   t he   U n i v e r s i t y   of   S c i e nc e ,   M a l a y s i a .   F o l l o w i ng   t h i s ,   s he   r e c e i v e d   h e r   P h . D .   f r o m   t he   U ni v e r s i t y   of   A l be r t a ,   C a na da   in   20 12   in   i nt e l l i g e n t   s y s t e m s .   S h e   c a n   be   c o nt a c t e d   at   e m a i l :   s a k i na h @u t e m . e du . m y .     Evaluation Warning : The document was created with Spire.PDF for Python.