I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 ,   pp.   67 7 ~ 68 8   I S S N:  2 502 - 4 7 52 ,   DO I 10 . 11591/i j e e cs .v 3 8 . i 1 . pp 67 7 - 68 8             677     Jou r n al  h o m e page ht tp: // ij e e cs . iaes c or e . c om   S e n t i m e n t  an al y si s b ase d  o n  I n d on e si a n  l a n gu age  l e xi c on  a n d   In d oB E R T  on   u se r  r e v ie w s P L N   m ob i le  ap p l ic at io n       Ye s s As r i 1 Dw in K u s war d an i 2 ,   Wid ya   Nit S u l iyan t i 2 ,   Yos e f   Owe n   M an u l l an g 2 ,     At ik ah   Rif d ah   Ans yar i 1   1 D e pa r tm e nt   of  I n f or ma ti o n S y s te ms , F a c ul t y   of   E n e r g y  a nd  T e le ma ti c s , I ns ti tu te   T e c hn o l o g y   of  P L N , J a ka r ta , I nd o n e s ia   2 D e pa r tm e nt   of  I n f or ma ti c s  E ng in e e r in g,  F a c ul t y   of  E n e r g y  a nd  T e l e ma ti c s , I ns ti tu t e   T e c hn o l o g y   of  P L N , J a ka r ta ,   I ndo n e s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve M a r   14 ,   202 4   R e vi s e S e p   26 202 4   A c c e pt e N o v   7 ,   202 4       PL N   m o b i l ap p l i c at i o n   as   an   i n t e g rat e d   p l at fo r m   f o s e l f - s e rv i ce   a mo n g   mo b i l e   co n s u me rs ,   fa c i l i t at i n g   e as i e a cce s s   t o   v ari o u s   s e rv i ce s ,   i n c l u d i n g   rece i v i n g   i n fo r m at i o n   s u c h   as   p u b l i c   co m p l ai n t s .   T h ap p l i c at i o n   c a n   b d o w n l o ad ed   t h r o u g h   t h e   G o o g l e   Pl a y   St o r e   an d   A p p   St o re ,   a n d   u s e rs   c an   e x p re s s   t h e i o p i n i o n s   t h ro u g h   r e v i ew s   an d   rat i n g s .   I n   t h i s   e ra  o ad v an ced   t e ch n o l o g y ,   as p ec t s   s u ch   as   r e v i ew s ,   rat i n g s ,   a n d   e v a l u a t i o n s   h av i m p o rt an t   v al u f o b u s i n e s s   p rac t i t i o n e rs .   H o w ev e r ,   t h e r ar e   o ft e n   i n co n s i s t en c i e s   b e t w een   rat i n g s   a n d   r ev i ew s   t h at   d o   n o t   fu l l y   r e p r e s en t   t h q u al i t y   o t h ap p l i c at i o n .   I n   r e s p o n s e,   a   s t u d y   w as   co n d u c t e d   t o   a n al y z t h s en t i me n t   o f   u s e r   rev i ew s   fro J an u ar y   t o   J u n 2 0 2 2 ,   b y   co l l ec t i n g   1 , 0 0 0   re v i ew   s a m p l e s   fro t h G o o g l Pl a y   St o r e.   T h d at w as   c o l l ec t e d   u s i n g   w e b   s c rap i n g   t e ch n i q u e s   an d   t h e n   p ro ce s s ed   i n t o   d at as e t   t h ro u g h   t e x t   p re - p ro ce s s i n g   me t h o d s .   S en t i me n t s   w e r e   a n al y z ed   u s i n g   an   au t o m at i c   l ab el i n g   m e t h o d   i n   I n d o n e s i an   b as e d   o n   a   l e x i c o n   k n o w n   as   IN SE T   ( In d o n es i s e n t i men t ),   w h i ch   re s u l t e d   i n   4 8 2   p o s i t i v r e v i ew s ,   1 4 4   n eg at i v r e v i ew s ,   an d   3 7 4   n eu t ral   re v i ew s .   T h e   n e x t   s t e p   i s   cl as s i fi c at i o n   u s i n g   In d o n e s i a n   b i d i r ec t i o n al   en co d e r   re p re s e n t at i o n s   fro m   t ran s fo rme rs   ( I n d o B E RT ).   In   t h i s   p ro ce s s ,   t h e   d at w as   d i v i d ed   i n t o   t e s t i n g ,   t r ai n i n g ,   a n d   v al i d at i o n   s e t s   w i t h   a   r at i o   o 8 0 : 1 0 : 1 0 .   T h an al y s i s   m a n ag ed   t o   a ch i e v e   an   i m p re s s i v a cc u ra cy   rat o 8 1 % .   K e y w o r d s :   I n do B E R T   I n do n e s i a n   l a n gua ge   l e xi c o n   I n S e t   l e xi c o n   P L m o bil e   a pp l i c a t i o n   S e n t i m e n t   a n a ly s i s   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   Ye s s y   A s r i   De pa r t m e n t   o f   I nf o r m a t i o n   S y s t e m s ,   F a c u l t y   o f   E ne r g y   a n T e l e m a t i c s ,   I n s t i t ut e   T e c hn o l o g y   P L N   J a ka r t a   11750,   I n do n e s i a   E m a i l y e s s y a s r i @i t p l n . a c . i d       1.   I NT RODU C T I ON   T h e   P L m o bi l e   a pp li c a t i o n   s e r ve s   a s   a   di g i t a pl a t f o r m   i n t e n de to  pr o vi de   e l e c t r i c i t y - r e l a t e s e r vi c e s   vi a   m o bil e   de vi c e s .   I t s   a r r a y   o f   o nli ne   s e r vice s   e n c o m pa s s e s   bi ll   pa ym e n t s ,   e l e c t r i c i t y   c r e d i t   pu r c h a s e s ,   s e l f - m e t e r   r e a d i n s u bmi s s i o n s ,   po we r   a ugm e n t a t i o n   r e q ue s t s ,   c o m p l a i n t   a n d i s r upt i o n   r e po r t i ng,   c r e di t   m o ni t o r i n g ,   po s t pa i e l e c t r i c i t y   c o ns u m pt i o n   m o nit o r i n g,   bil l   a n po we r   o u t a ge   n ot i f i c a t i o n s ,   i nf o r m a t i o n   o n   d i s r upt i o n   r e s o l ut i o n   pr o gr e s s ,   a n po we r   n e t wor m a i n t e n a n c e .   W i t hi n   t h e   Goo gl e   P l a y   S t or e   [ 1] ,   us e r   r e vi e w s   f o r   th e   P L m o bil e   a pp l i c a t i o n   [ 2]   a r e   a s s i g n e r a t i n g s   r a n g i ng  f r o m   t o   5 .   A s   o f   2022,   t h e   P L m o bil e   a p b o a s t s   a   c o m m e n d a bl e   r a t i n o f   4. o u t   o f   [ 3] ,   i nd i c a t i ng   a   f a v o r a bl e   o v e r a l l   e v a l ua t i o n   by   i t s   us e r s .   T h e s e   r e vi e ws ,   ge n e r a l ly   de t a i l e a n c o m pr e h e n s i ve ,   pr o vi de   i ns i g h t s   i n t o   us e r s   e x pe r i e n c e s   w i t h   P L m o bil e .   T h r o ugh   t h e i r   f e e d b a c k,   us e r s   s t r i ve   to   o f f e r   v a l ua bl e   i nput   to   a ppl i c a t i o n   de v e l o pe r s ,   a i d i ng  i f e a t ur e   e n ha nc e m e n t ,   s e r vi c e   qua li t y   i m pr o v e m e n t ,   a n t h e   pr ovi s i o n   o f   b e n e f i c i a l   s ugge s t i o ns   f o r   ot h e r   us e r s .   H o we v e r ,   de s p i t e   t h e   pr o vi s i o n   o f   de t a i l e a n b e n e f i c i a r e vi e w s ,   us e r s o f t e n   e n c o un t e r   c h a l l e nge s   i a s s i g ni ng   r a t i n g s   t h a t   a l i g n   w i t h   t h e i r   wr i t t e n   e v a luat i o n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   67 7 - 68 8   678   T hi s   i nc o n gr ue n c e   o c c a s i o n a ll y   l e a ds   t o   r a t i n gs   t h a t   f a i l   t o   a c c ur a t e l y   r e pr e s e n t   t h e   a pp l i c a t i o n s   qua l i t y .   R e vi e ws   e x pr e s s e i n   s e n t e n c e   f o r m a t   m o r e   a c c ur a t e l y   r e f l e c t   us e r   r e s po n s e s   to   t h e   P L m o bil e   a ppli c a t i o n ,   t h us   i nf l ue nc i ng  pr o s pe c t i ve   us e r s   o r   d o wnl o a de r s   [ 4] .   T h e   d i s pa r i t y   b e t we e n   a s s i g n e r a t i n g s   a n pr o v i de r e vi e ws   hi g hli g h t s   d i s c o r d,   a s   i n d i c a t e b y   i ns t a nc e s   w h e r e   f i ve - s t a r   r a t i n gs   a r e   a c c o m p a ni e by   n e ga t i v e   r e vi e ws .   T hi s   d i s c r e pa n c y   u n de r s c o r e s   t h e   pr e s e nc e   o f   d i s s a t i s f a c t i o n   de s p i t e   o s t e n s i bly   po s i t i ve   r a t i n gs .   I n   l i g h t   o f   t hi s ,   s e n t i m e n t   a n a ly s i s   r e s e a r c b e c o m e s   e s s e n t i a l   t o   c o m pr e h e n s i ve ly   u n d e r s t a n d in us e r   r e vi e w s .   S uc h   s t udi e s   h o l t h e   po t e n t i a l   t o   e nh a nc e   us e r   e x pe r i e n c e s ,   a ddr e s s   i de n t i f i e s h o r t c o m i ng s ,   a n e l e va t e   o v e r a l l   us e r   s a t i s f a c t i o n .   S e n t i m e n t   a n a ly s i s ,     a n   i m po r t a n a s pe c o f   n a t ur a l   l a n gua ge   pr o c e s s i ng   ( NL P ) ,   s e e ks   to  i de n t i f y ,   c o m pr e h e n d,   a n i n t e r pr e t   s e n t i m e n t s   o r   o pi ni o n s   e m be dde w i t hi n   t e x t ua l   da t a .   I n   t h e   c o n t e x t   o f   t hi s   r e s e a r c h ,   s e n t i m e n t   a n a ly s is   r e l a t e s   to  us e r   r e vi e w s   o f   t h e   P L m o bi l e   a pp l i c a t i o n .   C ur r e n t l y ,   m a ny   l e xi c o n - ba s e s e n t i m e n t   a n a l y s i s   l a b e li ng  s y s t e m s   f o c us   o n   t h e   E n g li s h   l a n gua ge .   P r e vi o us   s t ud y   [ 5]   ut i l i z e Va de r   l e xi c o n   l a b e l i ng.   Va de r   l e xi c o n   i s   a n   E n g li s h - b a s e l a b e li ng  s y s t e m ,   t h e r e f o r e   r e s e a r c h e r s   m us t   f i r s t   t r a n s l a t e   r e vi e da t a   b e f o r e   pr o c e s s i n a n c a t e go r i z i ng  i t .   T h e   t e s t i n m o de l   e m p l o y s   t h e   m a c hi ne   l e a r ni n Na ï ve   B a y e s   a ppr o a c h .   T h e   r e s u l t i n a c c ur a c y   i s   70% ,   a l t h o ugh   t hi s   do e s   n ot  r e pr e s e n t   t h e   b e s t   r e s u l t s   b e c a u s e   t h e   l a b e li ng  m e t h o i s   i n   E n g li s h   a n t h e   t e s t i n m o de l   e m p l o y s   m a c hi ne   l e a r ni ng.   I n   t hi s   s t ud y ,   i m pr o v e m e n t s   we r e   m a de   w i t h   t h e   I n d o n e s i a n   l e xi c o n - ba s e l a b e li ng  m e t h o a n t e s t i n g   us i n de e l e a r ni ng  us i ng  t h e   I n do n e s i a n   bi d i r e c t i o n a l   e n c o de r   r e pr e s e n t a t i o ns   f r o m   t r a n s f o r m e r s   ( I n d o B E R T )   a l go r i t hm .   T h e   I n S e t   l e xi c o n   l a b e li ng  m e t h o h a s   b e e n   t e s t e i n   [ 6] ,   [ 7 ] .   T h e   r e s u l t s   o f   t h e   s t ud y   pr o v e   t h a t   I NSE T   ( I n do n e s i a   s e n t i m e n t )   h a s   be tt e r   pe r f o r m a nc e   c o m pa r e to   Va ni a   l e xi c o n .   On e   o f   t h e   r e a s o n s   i s   b e c a u s e   t h e   Va ni a   l e xi c o n   [ 8]   i s   de v e l o pe f r o m   E n g li s h   r oot  wor ds .   T h e   I n do B E R T   m o de l   i s   us e i n   t hi s   r e s e a r c h   b e c a us e   i t   i s   a   de e l e a r ni n pr e - tr a i n e m o de l   a da pt e d   f r o m   B E R T   f o r   I n do n e s i a n ,   de v e l o pe us i ng  a   t r a ns f o r m e r - ba s e a r c hi t e c t ur e ,   a n t r a i n e o n   a   s u b s t a n t i a l   I n do n e s i a n   c o r pus .   I n do B E R T   e x c e l s   i n   a   v a r i e t y   o f   NL P   t a s ks ,   i n c l ud i n s e n t i m e n t   a n a l y s i s .   I t s   p r e - tr a i ni n g   e qu i p s   I n do B E R T   to   r e c o gni z e   a n u n de r s t a n c o n t e x t ua l   n ua n c e s   i n   t h e   a n a ly z e t e x t ,   m a k i ng  i t   we l l   s u i t e d   f o r   s e n t i m e n t   a n a ly s i s   t a s ks   [ 9] .   T h e   I n do B E R T   m o de l   wa s   c h o s e n   a s   t h e   m o de l   i n   t hi s   s t ud y   due   to   i t s   a bi li t y   to  pr o c e s s   t h e   c o m p l e x   a n d i v e r s e   I n do n e s i a n   l a ngua ge .   T h e   I n do B E R T   m o de l   ha s   b e e n   t r a i n e f o r   ge n e r a l   NL P   t a s ks ,   i n c l ud i ng  s e n t i m e n t   a n a ly s i s ,   s o   i t   h a s   hi g h   pe r f o r m a n c e   f o r   s uc h   t a s ks .   I n   a dd i t i o n ,   I n do B E R T   wa s   c h o s e n   a s   t h e   m o de l   f o r   s e n t i m e n t   a n a ly s i s   b e c a u s e   i t   h a s   t h e   a d v a n t a ge   o f   pr o c e s s i n I n do n e s i a n   l a n g ua ge   a nd   t h e   a bi li t y   t un de r s t a n t h e   c o n t e x o f   t h e   gi v e n   t e x t.   I n   a ddi t i o n ,   I n do B E R T   i s   a   t r a i n e na t ur a l   l a n gua g e   m o de l   s pe c if i c a ll y   d e s i g n e f o r   t h e   I n do n e s i a n   l a ngua ge ,   s i t   h a s   b e t t e r   kn o wl e dge   a n un d e r s t a n d in o f   t h e   I n do n e s i a n   l a n gua ge   a n i t s   c o n t e x t   [ 10 ] ,   [ 11] .   I n   t h i s   s t udy ,   t h e   a u t h o r s   c o n duc t e d   r e s e a r c h   to  t e s t   wh e t h e r   t h e   us e   o f   de e l e a r ni n w i t h   a I n do n e s i a n - b a s e l e xi c o n   c a n   i m pr o v e   a c c ur a c y   c o m pa r e to   pr e vi o us   r e s e a r c h   o r   vi c e   v e r s a .   I n   a dd i t i o n ,   t h e   a ut h o r   wa n t s   to  e x a m i ne   w he t h e r   us i n t h e   I n d o n e s i a n - ba s e l e xi c o n   m e t h o ( I NS E T   l e xi c o n )   w i t h   t h e   I n do B E R T   m o de l   w i l l   r e s u l t   i n   l o a c c ur a c y   due   to  di c t i o n a r y   li mi t a t i o ns   o r   t h e   di f f i c u l t y   o f   a dd i n n e w o r ds   to   a   p r e de f i ne d i c t i o n a r y   o r   wi ll   a c t ua l ly  i n c r e a s e   a c c ur a c y   c o m pa r e to   pr e vi o us   r e s e a r c h .     T h e   a ut h o r   wi ll   a l s o   e v a l ua t e   t h e   r e s u l t s   o f   t h e   I n do B E R T   m o de l   i n   pe r f o r m i ng  s e n t i m e n t   a n a l y s i s   us i n a   s pe c i a l   I n do n e s i a n   l a n gu a ge   m o de l .   T h e   r e s u l t s   o f   t hi s   s e n t i m e n t   a n a ly s i s   pr o c e s s   w i ll   be   us e to   s e e   t h e   c o n s i s t e n c y   b e t we e n   r a t i n g s   a n r e vi e w s   g i v e n   o n   P L m o bil e   a pp l i c a t i o n   r e vi e ws .       2.   RE L AT E D   RE S E AR CH   T h e   P L m o bil e   a pp l i c a t i o n   i s   a n   i n t e gr a t e d   pl a t f o r m   f o r   s e l f - s e r vi c e   f a c il i t i e s   a i m e a m o bil e   c o n s u m e r s ,   c r e a t e by   P L N.   T h e   P L m o bi l e   a pp li c a t i o n   f a c il i t a t e s   e a s i e r   a c c e s s   to   v a r i o us   s e r vi c e s ,   i n c l ud i ng   r e c e i vi ng  d i ve r s e   i nf o r m a t i o n   s uc h   a s   a   c o m m u ni t c o m p l a i n t   f o r um ,   c a pa c i t y   e nh a n c e m e n t ,   e l e c t r i c i t y   bi ll i ng,   a n m o r e .   T hi s   r e s e a r c h   f o c us e s   o n   t h e   c l a s s if i c a t i o n   o f   us e r   r e vi e da t a   f o r   t h e   P L m o bi l e   a pp li c a t i o n ,   whi c c a n   pr o vi de   i ns i g h t s   or   i n put   to   P L c o n c e r ni ng  th e   P L m o bil e   a pp l i c a t i o n .   M a ny   m e t h o ds   f o r   c l a s s if yi ng  r e vi e da t a   u t i li z e   m a c hi ne   l e a r ni n a n de e l e a r ni ng  t e c hni que s .   T h e   r e s e a r c h   i n   [ 11 ]   e x p l o r e s   s e n t i m e n t   to wa r ds   o nl i ne   l e c t ur e s   i n   I n do n e s i a   us i n l e xi c o n - b a s e d   a ppr o a c h e s ,   w i t h   pa r t i c u l a r   a t t e n t i o n   to   t h e   C OV I D - 19  pa n de mi c s   im pa c t   o n   o nl i ne   e duc a t i o n .   L e ve r a g i n t h e   I NSE T   l e xi c o n ,   s pe c if i c a ll y   t a i l o r e f o r   I n do n e s i a n,   i t   c l a s s i f i e s e n t i m e n t s   i n t o   p o s i t i v e ,   n e ga t i v e ,   a nd  n e ut r a l   c a t e g o r i e s ,   un c o v e r i ng  t h a t   63. 4 %   o f   t we e t s   we r e   n e ga t i v e ,   27. 6%   p o s i t i v e ,   a n 8. 9%   n e ut r a l .     T h e   a pp l i c a t i o n   o f   pr e pr o c e s s i n t e c hni qu e s ,   s uc h   a s   c l e a ni ng,   to ke ni z a t i o n ,   f il t e r i n g,   a n s t e m mi ng,   p l a y e a   vi t a l   r o l e   i n   a c hi e vi ng  a n   o v e r a l l   a c c ur a c y   o f   79. 2% ,   a n a n   a v e r a ge   pr e c i s i o n   o f   72. 9% .   T hi s   r e s e a r c h   c o n t r i b ut e s   to   t h e   e x pa n d i ng  f i e l o f   s e n t i m e n t   a na l y s i s ,   hi g hl i g h t i n t h e   i m po r t a n c e   o f   un de r s t a n d in publi c   s e n t i m e n t   to wa r ds   o n l i ne   l e a r ni ng  a n pr o vi d i ng  l o c a l i z e i ns i g h t s   i n   t h e   I n do ne s i a n   c o n t e x t   dur i n g   a   g l o b a l   pa n de mi c .   Ha v e   pr o duc e a n   I n do n e s i a n   s e n t i m e n t   l e xi c o n   c a l l e I n S e t ,   c o m pr i s i ng  3, 609  p o s i t i ve   wo r ds   a n 6, 609  n e ga t i v e   wo r ds .   E a c h   wo r wa s   m a n ua ll y   l a be l e b a s e o n   i t s   po l a r i t y   a n e nh a n c e by   a dd i ng  s t e m mi ng  Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         Se nti me nt  analys is   bas e on  I ndone s ian  language   lex icon  and  …  ( Y e s s y   A s r i )   679   a n s y n o nym s   [ 10] .   T hi s   a ppr o a c h   s uc c e s s f u l ly   o u t pe r f o r m e a l l   e xi s t i n ba s e li ne   m e t h o ds ,   a c hi e vi ng  t h e   hi g h e s t   a c c ur a c y   o f   65. 78% .   T h e   s t udy   s ugge s t s   t h a l e xi c o n   e nh a n c e m e n t   c a n   b e   a c c o m p l i s he by   c o m b i n i ng  t r a n s l a t e E n g l i s h   l e xi c o ns   w i t h   I n S e t .   F i gur e   s ho ws   o f   I n S e t   l e xi c o n   a l go r i t hm .           F i gur e   1.   I n S e l e xi c o n   a l go r i t hm       I n   t h e   I n S e l e xi c o n s   da t a   l a b e li ng  pha s e ,   e v e r y   wo r d   o r   e n t r y   i s   g i ve n   a   di s t i nc t   l a b e l   o r   c a t e gor y ,   s uc h   a s   p o s i t i v e ,   n e ga t i v e ,   o r   n e ut r a l ,   us e f o r   s e n t i m e n t   a n a l y s i s   pur po s e s .   T h e s e   c a t e g o r i z a t i o n s   a r e   e s t a bli s h e by   t h e   c o n t e x t   o f   wor us a ge   wi t hi a pp l i c a bl e   t e x t s   o r   d o c um e n t s .   T h e   I n S e t   l e xi c o i nc l ud e s   v a r i o us   I n do n e s i a n   wo r ds   wi t h   po s i t i v e   o r   n e ga t i v e   a t tr i b ut e s ,   e a c h   a s s i g n e a   pa r t i c u l a r   we i g h t .     T h e   we i g h t s   o f   t h e   wor ds   f a ll   w i t hi n   t h e   r a n ge   o f   gr e a t e r   t h a n   a n l e s s   t h a n   0;   a   v a l ue   un de r   de n ot e s   t h a t h e   wo r d   h a s   a   ne ga t i v e   s e n t i m e n t ,   whi l e   a   v a l u e   o v e r   i n d i c a t e s   t h a t   t h e   wo r d   h a s   a   po s i t i v e   s e n t i m e n t     [ 10] ,   [ 1 2 ].   R e s e a r c h e r   i [ 1 3] - [1 5 ] ,   t h e   pa pe r   e l a b o r a t e s   o n   B E R T ,   a   t r a n s f o r m e r - b a s e t e c hni que   f o r   NL P   o r i g i na l ly   c o nc e i ve by   J a c o b   De vli a n hi s   c o l l e a gue s   a t   Goo gl e ,   i n t r o duc e i n   2018  [ 14] .   B E R T   f a c i li t a t e s   t h e   h a n d li ng  o f   bi d i r e c t i o n a l   r e pr e s e n t a t i o n   i n   a n o nymi z e t e x by   e f f e c t i v e ly   a m a l ga m a t i n c o n t e x f r o m   b o t h   t h e   l e f t   a n r i g h t   s e c t i o ns .   M o de s a dj u s t m e n t s   to   th e   pr e - e xi s t i ng  B E R T   m o de l   c a n   yi e l s o l ut i o ns   to   a   m y r i a d   o f   c h a ll e n ge s .   B E R T s   s tr e n gt h   l i e s   i n   i t s   s i m p li c i t y   a n r o b us t   i n t e r pr e t a bi li t y .   T hi s   c h a r a c t e r i s t i c   a c c o un t s   f o r   B E R T s   v e r s a t i li t y   a c r o s s   11  pr o g r a m mi ng  l a n gu a ge s   a n i t s   i m pr e s s i ve   pe r f o r m a nc e   m e t r i c s ,   i n c lud i n a 80. 5%   ge n e r a l   l a n gua ge   un d e r s t a n d i ng  e v a l ua t i o n   ( GL UE )   s c or e ,   86. 7 %   m u l t i - ge n r e   n a t ur a l   l a n gua g e   I nf e r e nc e   ( M u l t i N L I )   a c c ur a c y ,   93. 2%   S t a nf o r que s t i o n   a ns we r i n da t a s e t   ( S QuA D)   v 1. F t e s pe r f o r m a n c e ,   a n 83. 1%   S QuA v 2. F t e s t   p e r f o r m a n c e .   T h e   s t a n da r d i z e da t a   o u t c o m e s   a r e   vi s ua ll de p i c t e i n   F i gur e   2   [ 13] .   Dur i n t h e   pr e - t r a i ni ng  p h a s e ,   B E R T   e m p l o y s   t wo   un s upe r vi s e t a s ks ,   a s   i ll u s t r a t e i n   F i gur e   2.     T h e   i ni t i a l   pr o c e s s   i s   t e r m e m a s ke L M ,   a   pr o c e dur e   wh e r e i n   t h e   m o de l   ut i li z e s   s ur r o un d i n c o n t e x t   w o r ds   to  a tt e m p t   to  f o r e c a s t h e   [ M A S K ]   wo r d .   T h e   m o de l   u n de r go e s   t r a i ni ng  by   de s i g n a t i n [ M A S K ]   to  a   s to c h a s t i c   pe r c e n t a ge   o f   t h e   i n put   to ke n s ,   f o l l o we by   pr e d i c t i n t h o s e   [ M A S K ]   to ke n s .   A s   m e n t i o n e i n   [ 1 3 ] ,   m a s k i ng   wa s   i m p l e m e n t e f o r   15 %   o f   a l l   r a n do m ly   ge n e r a t e wo r d   pi e c e   to ke n s .   A   l im i t a t i o n   o f   t hi s   m o de l   i s   t h e   pot e n t i a l   mi s a li g nm e n t   b e t we e n   t h e   pr e - t r a i ni ng  a n f i ne - t uni ng  s t a ge s ,   s t e m mi ng  f r o m   t h e   a b s e nc e   o f   t h e   [ M A S K ]   to ke n   dur i n f i ne - t uni ng.   T hi s   i s s ue   c a n   b e   r e s o l v e by   n o t   c o n s i s t e n t l y   s u b s t i t ut i n m a s ke wo r ds   w i t h   a c t ua l   [ M A S K ]   t o ke n s ;   r a t h e r ,   80%   a r e   s ub s t i t ut e wi t h   [ M A S K ]   to ke n s ,   10%   wi t h   r a n do m   wo r ds ,   a n t h e   r e m a i ni ng  10%   a r e   l e f t   un a l t e r e [ 1 3 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   67 7 - 68 8   680       F i gur e   2.   P r e - t r a i ni ng  a n f i ne - t uni n m o de l   B E R T       T h e   s u bs e que n t   pr o c e dur e   i s   k n o wn   a s   ne x t   s e n t e nc e   pr e d i c t i o n   ( NSP ) ,   wh e r e i n   t h e   m o de l   i s   g i ve n   a   pa i r   o f   s e n t e nc e s   a s   i n put   a n i s   t r a i n e to  de t e r mi ne   i f   t h e   s e c o n s e n t e n c e   f o l l o ws   t h e   f i r s t   i n   th e   a c t ua l   do c um e n t .   Dur i n t h e   tr a i ni ng  p h a s e ,   a s   c i t e i n   [ 1 3 ] ,   h a l f   o f   t h e   i n put s   c o n s i s t   o f   pa i r s   w h e r e   t h e   s e c o n s e n t e n c e   i s   i nde e t h e   f o l l o w i ng  s e n t e n c e   i t h e   o r i g i na l   do c u m e n t ,   whi l e   t h e   r e m a i n i ng  h a lf   a r e   c o m po s e o f   r a n do m   s e n t e n c e s   f r o m   t h e   c o r pus ,   c h o s e n   to  b e   t h e   s e c o n s e n t e nc e .   I i s   pr e s u m e t h a t   t h e   r a n do m ly  s e l e c t e s e n t e n c e   w il l   b e   u n r e l a t e d   to   t h e   f i r s t   s e n t e n c e   [ 1 3 ] .   F i gur e   i ll u s t r a t e s   a   de p i c t i o n   o f   t h e   i nput   pr o c e s s   c a r r i e d   o u o n   t h e   B E R T   m o de l ,   a n t h e   o u t c o m e   o f   t h e   s t a n da r d i z e da t a   i s   pr e s e n t e i n   F i gur e   3.   T h e   r e s e a r c h   i n   [ 1 3 ] - [1 5 ] ,   di r e c t e a t   de m o n s t r a t i n t h e   pe r f o r m a nc e   a c hi e va bl e   t h r o ugh   t h e   ut i li z a t i o n   o f   m u l t i p l e   t a s ks   us i n t h e   I n do B E R T   m o de l .   I n do B E R T   i s   a n   a da pt a t i o n   a n v a r i a n t   o f   th e   B E R T   m e t h o do l o g y   s pe c i f i c   t t h e   I n do n e s i a n   c o n t e x t ,   o r i g i na l ly   de v e l o pe i n   2018  by   a   t e a m   o f   r e s e a r c h e r s   a Goo gl e   a r t i f i c i a l   i n t e ll i ge n c e   ( AI )   l a n gu a ge .   T hi s   m o de l   h a s   b e e n   i m p l e m e n t e to  f o r e c a s t   t h e   s ub s e que n s e n t e n c e   i Go o gl e s   s e a r c h   que r i e s .   W i t hi n   t h e   s e n t i m e n t   a n a ly s i s   t a s k,   e m p l o yi ng  t h e   I n do B E R T   a ppr o a c h   yi e l ds   a n   F 1 - s c o r e   m e t r i c   o f   84. 13,   a   v a l u e   t h a s ur pa s s e s   t h e   r e s ul t s   o b t a i ne by   o t h e r   m e t h o do l o gi e s   a ppl i e d   to   t h e   i d e n t i c a l   d a t a s e t ,   i n c l ud i ng  Na ï ve   B a y e s ,   l o g i s t i c   r e gr e s s i o n ,   bi d i r e c t i o n a l   l o n s h o r t - t e r m   m e m o r y   ( B i L S T M )   w i t h   f a s t   t e x t ,   M B E R T ,   a n M a l a y B E R T   [ 1 6] - [1 9 ].           F i gur e   3.   B E R T   i n put   r e pr e s e n t a t i o n       3.   M E T HO D   F i gur e   i ll us t r a t e s   t h e   wo r kf l o m e t h o do l o gy   f o r   t h e   P L m o bil e   r e vi e da t a   f r o m   J a n ua r y   t o   J un e   2022  us i n t h e   I n S e t   l e xi c o n   l a b e li ng  a n t h e   I n d o B E R T   m o de l .   I n   t hi s   r e s e a r c h ,   da t a   c o l l e c t i o n   w a s   c a r r i e d   o u t   us i n we b   s c r a p i ng  t e c hni que s .   T h e   s pe c if ic  t a r ge f o r   s c r a p i n i s   P L m o bil e   a pp l i c a t i o n   r e vi e i n f o r m a t i o n   r e l a t e to  t h e   P L m o bil e   a pp li c a t i o n   a v a il a bl e   o n   Go o gl e   P l a y   S t o r e ,   r e s ul t i n i a   d a t a s e t   o f   1 , 000  r e vi e da t a   p o i n t s   f r o m   a   p o pul a t i o n   o f   67 , 951  ( J a n ua r y - J u ne   2022)   us i n s t r a t i f i e r a n do m   s a m p li ng   da t a   t e c h ni que s   [ 20 ] .   T h e   s c r a p i n da t a   i s   t h e n   f il t e r e i n t f o ur   c o l u m ns .   T h e   c o l u m ns   t h a wi ll   be     f i l t e r e a r e   us e r n a m e ,   a t ,   s c o r e ,   a n c o n t e n t   to  f a c i li t a t e   a n a ly s i s   a t   t h e   n e x t   s t a ge .   F i gur e   s h o ws   o f   t h e     pr e - pr o c e s s i n da t a   wor kf l o w.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         Se nti me nt  analys is   bas e on  I ndone s ian  language   lex icon  and  …  ( Y e s s y   A s r i )   681         F i gur e   4.   T h e   r e s e a r c h   wo r kf l o w     F i gur e   5.   T h e   pr e - p r o c e s s i ng  da t a   w o r kf l o w       4.   RE S UL T S   AN DI S CU S S I ON   4 . 1.     T e x t   p r e - p r oc e s s in g   Af t e r   o b t a i ni ng  da t a   f r o m   t h e   P L m o bil e   a pp li c a t i o n ,   F i gur e   s h o w i n t h e   da t a   wi ll   b e   pr o c e s s e d   t h r o ugh   s e v e r a l   t e x t - p r e pr o c e s s i ng  s t a ge s ,   n a m e l y   c a s e   f o l d i ng,   n o r m a li z a t i o n   ( s l a n wo r d) ,   f i l t e r i n g,   to ke ni z a t i o n ,   s to p   w o r d   r e m o v a l ,   a n s t e m mi ng.   T c a r r y   o u t hi s   t e x t - pr e pr o c e s s i n g,   t h e   a ut h or   us e s   t h e   P y t h o n   pr o gr a m m i ng  l a n gua g e   a n i ns t a l l s   t h e   n a t ur a l   l a n gu a ge   too l k i t   ( NL T K )   l i b r a r y ,   whi c h   i s   us e to   c l e a n   t h e   da t a   [ 21] - [ 23] .   I n   t h e   i ni t i a l   s t a ge   o f   t h e   pr e pr o c e s s i n pr o c e s s ,   n a m e ly   t h e   c a s e   f o l d i ng  p r o c e s s ,   r e ge x ,   pa n da s ,   n u m p y ,   a n r e ge x   l i br a r i e s   a r e   us e d.   T hi s   li b r a r y   i s   us e t o   c h a n ge   t e x t   f r o m   uppe r c a s e   to   l o we r c a s e .   S l a n wo r i s   t h e   s t a ge   o f   c ha n g i n n o n - s t a n da r wo r ds   i n t o   s t a n da r wo r ds .   T h e   a ut h o r   us e s   a   s l a n wo r d i c t i o n a r y   o f   15, 084  di c t i o n a r i e s   to  c a r r y   o u t h e   pr o c e s s   o f   c h a n g i ng  wo r ds   i n   t h e   t e x t .     T h e   f o l l o w i ng  i s   t h e   s o ur c e   c o de   f o r   t h e   s l a n wo r d,   a s   s h o wn   i n   F i gur e s   a n s h o ws   o f   r e s u l t   o f   th e   s l a n g   wo r d   pr o c e s s .   A t   t h e   f il t e r i ng  s t a ge ,   c h a n g i ng  t h e   a f f i xe s   f r o m   e a c h   wo r t h a t   h a s   b e e n   f il t e r e i n t o   b a s i c   wo r ds   i t h e   t e x t   wi ll   b e   de l e t e d,   a s   w i ll   r e m o vi ng  r e pe a t e wo r ds   a n pun c t ua t i o n   m a r ks .   T he   da t a   h a s   b e e n   c a s e - f o l de d,   a n t h e n   a   f i l t e r i ng  pr o c e s s   i s   c a r r i e o u to   c h a n g e   t h e   a f f i xe wo r ds   o f   e a c h   wo r t h a h a s   b e e n   f il t e r e i n t o   b a s e   wo r ds ,   wi t h   t h e   t e x b e i n de l e t e a s   we l l   a s   t he   de l e t i o n   o f   r e pe a t e w or ds   a n t h e   de l e t i o n   o f   punc t ua t i o m a r ks   s u c h   a s   pe r i o ds ,   s e mi c o l o n s ,   c o m m a s ,   quot a t i o n   m a r ks ,   n u m be r s ,   i t a l i c s ,   a n s o   o n .   F i gur e   s ho ws   t h e   s o ur c e   c o de   o f   f il t e r i ng  s t e p .   I n   t h e   to ke ni z a t i o n   s t a ge ,   t h e   t e x t   i s   c h a n g e i n t o   pi e c e s   o f   wo r ds   c o n s i s t i n o f   o n e   to ke n ,   a n t h e n   i n   t h e   n e x t   s t a ge ,   n a m e ly   s t o p   r e m o v a l ,   ge n e r a l   wo r ds   t h a d n ot  h a ve   a   s pe c i a l   m e a ni ng   a r e   de l e t e ( us ua l ly   i n   t h e   f o r m   o f   c o nj u n c t i o n s ,   a uxil i a r y   wo r ds ,   a n o t h e r   ge n e r a l   wo r ds )   f r o m   to ke ni z i ng.   I t h e   f i na l   s t a ge   o f   t h e   da t a   pr e - pr o c e s s i n pr o c e s s ,   n a m e ly   t h e   s t e m m i ng  s t a ge ,   wor ds   w i ll   b e   c o nv e r t e i n t r oot  w o r ds   us i n t h e   s a s t r a w i   l i br a r y .           F i gur e   6.   S o ur c e   c o de   o f   t h e   s l a n wo r d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   67 7 - 68 8   682         F i gur e   7.   R e s u l t   o f   t h e   s l a n wo r d   pr o c e s s     F i gur e   8.   S o ur c e   c o de   o f   f il t e r i n s t e p       4. 2.     L ab e l l in d at a   Af t e r   t h e   t e x t - pr e pr o c e s s i n s t a ge ,   c l e a n   da t a   wa s   o b t a i n e d,   a n t h e n   da t a   l a b e li ng  wa s   c a r r i e o u us i n I n S e t   l e xi c o n   o n   1, 000  I n do n e s i a n   l a n gua ge   r e vi e w   da t a .   T h e   f o l l o w i ng  i s   t h e   s o ur c e   c o de   f o r   l a b e l i n g   us i n t h e   I n S e t   l e xi c o n   i n   F i gur e s   a n 10  s h o ws   o f   e x a m p l e   o f   da t a   r e s ul t s   l a b e l e da t a .   F i gur e   10  i s   a e x a m p l e   o f   da t a   r e s ul t s   l a b e l e us i ng  po s i t i v e   a n d   n e ga t i v e   d i c t i o n a r i e s .   Da t a   l a b e li ng  us e s   a n   I n S e t   l e xi c o n ,   t a ke n   f r o m   t h e   s e n t i m e n t   v a l ue   o f   e a c h   wo r d   i n   t h e   p o s i t i ve   a n n e g a t i ve   d i c t i o n a r y ,   whe r e   t h e   v a l ue   f o r   po s i t i v e   s e n t i m e n t   i s   o b t a i n e f r o m   a   s c o r e   > 0,   a n f o r   n e ga t i v e   s e n t i m e n t ,   i t   i s   o b t a i n e f r o m   a   s c o r e   < 0 .   S e n t i m e n t   p o l a r i t y   i s   a   m e a s ur e   o f   t h e   s ubj e c t i vi t y   a n o bj e c t i vi t y   o f   a   s e n t e n c e   [ 24] ,   [ 25] .   F i gur e   11  i s   t h e   r e s u l t   o f   da t a   l a b e li ng  us i ng  I n S e t   l e xi c o n ,   whi c h   o bt a i n e 482  o r   48 . 20%   p o s i t i v e   l a b e l s ,   374  o r   37. 40 %   n e ut r a l   l a b e l s ,   a n 144  or   14 . 40%   n e ga t i v e   l a b e l s .           F i gur e   9.   S o ur c e   c o de   o f   I n S e t   l e xi c o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         Se nti me nt  analys is   bas e on  I ndone s ian  language   lex icon  and  …  ( Y e s s y   A s r i )   683         F i gur e   10.   E x a m p l e   o f   da t a   r e s ul t s   l a b e l e da t a     F i g u r e   1 1 .   I n S e t   l e x i c on   l a b e l i n g   p e r c e n ta g e       4. 3.    M od e l l in g   4. 3. 1.   P r e - t r ain e d   A t   t hi s   s t a ge ,   t h e   t e x da t a   i s   c o n ve r t e i n t o   a   r e pr e s e n t a t i o n   t h a t   c a n   b e   un de r s t oo by   t h e   B E R T   m o de l .   T hi s   pr o c e s s   pr o duc e s   o ut pu i n   t h e   f o r m   o f   a   d i c t i o n a r y   ( d i c t i o n a r y )   c o n t a i ni n t o ke n s   t h a t   ha v e   be e to ke ni z e d,   i nput   I Ds ,   a tt e n t i o n   m a s k s ,   a n t o ke n   t y pe   I Ds .   T h e   s o ur c e   c o de   f o r   t h e   B e r t T o ke ni z e r   pr oc e s s   c a b e   s e e n   i n   t h e   f o l l o w i n F i g ur e   12.   I n   F i gur e   12,   B e r t T o ke ni z e r   i s   im po r t e f r o m   t h e   t r a ns f o r m e r s   l i br a r y .   T h e n   t h e   B E R T   to ke n   i s   t a ke us i n B e r t T o ke ni z e r   f r o m   i ndo b e r t - b a s e - p1.   Ne x t ,   s e l e c t   o n e   e x a m p l e   o f   da t a   to   c r e a t e   B E R T   i n put   b a s e o t h e   B e r tT o ke ni z e r   t h a h a s   b e e n   t a ke n .   E n t e r   t h e   B E R T   i n put   i n t o   t h e   s a m p l e   da t a   us e wi t h   t h e   to ke n s   ob t a i n e d.   T h e   f i na l   s t a ge   i s   a dd i ng  a   m a s b a r r i e r   t o   t h e   da t a   t h a t   h a s   b e e n   t o ke ni z e by   B e r t T o ke ni z e r .   T h e   s o ur c e   c o de   f o r   pe r f o r m i ng  B e r t T o ke ni z e r   o n   a l l   t he   da t a   us e c a n   b e   s e e n   i n   F i gur e   13 .   T h e   pr o c e s s i n r e s u l t s   f r o m   B e r t T o ke ni z e r   w i t h   a n   e x a m p l e   s e n t e nc e   a r e i n put   aju  tambah  s pe e d   iconne mbps   mbps   inf gmail   pe s an  inf or mas i ,   t h e n   t h e   s e n t e nc e   un d e r go e s   a   to ke ni z a t i o n   pr o c e s s   us i n t h e   a ppr o p r i a t e   I n do B E R T   v o c a b u l a r y .   Af t e r   to ke ni z a t i o n ,   t h e   to ke n   [ C L S ]   i s   a dde a t   t h e   b e g i nni n o f   t h e   s e n t e n c e ,   a n t h e   to ke n   [ S E P ]   i s   a dde a t   t h e   e nd  o f   t h e   s e n t e n c e .   Ne x t ,   e a c h   to ke n   i s   c o de b a s e o n   t h e   v o c a b u l a r y   i nde x .   T h e   [ C L S ]   to ke n   h a s   I D   2,   t h e   A ju  token   h a s   I 2116,   a n s o   o n .   A tt e n t i o n   m a s ks   a r e   us e to  di f f e r e n t i a t e   b e t we e n   wo r d   to ke n   v a l ue s   a n pa d d i n va l u e s .   P a dd i n to ke n s   ( P A D)   a r e   a s s i g n e a   v a l ue   o f   0 ,   whi l e   wo r to ke n s   a r e   a s s i g ne a   v a l ue   o f   1.           F i gur e   12.   S o ur c e   c o de   B e r t T o ke ni z e r           F i gur e   13.   B e r t T o ke ni z e r   i n put   s o ur c e   c o de   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   67 7 - 68 8   684   4. 3. 2.   F in e - t u n n in g   A t   t hi s   s t a ge ,   c l a s s i f i c a t i o n   i s   c a r r i e o ut   us i n I n d o B E R T .   T o   c a r r y   o ut   c l a s s if i c a t i o n   by   f i ne - t uni ng   I n do B E R T ,   i t   i s   do n e   by   i m po r t i n t h e   T F S e r t   f o r   s e que n c e   c l a s s i f i c a t i o n   c l a s s   f r o m   t h e   tr a n s f o r m e r s   l i b r a r y .   T hi s   c l a s s   i s   a n   i m p l e m e n t a t i o n   o f   t h e   B E R T   m o de l   t h a t   h a s   b e e n   s e t   up  s pe c i f i c a ll y   f o r   s e que n c e   a n t e x t   c l a s s if i c a t i o n   t a s ks .   Ne x t,   l o a t h e   B E R T   m o de l   th a t   h a s   b e e n   pr e vi o u s ly   t r a i n e us i ng  t h e   f r o m _pr e t r a i n e d( )   m e t h o f r o m   t h e   T F B e r t   f o r   s e que n c e   c l a s s i f i c a t i o c l a s s .   T h e   l o a de m o de l   i s   i n i t i a li z e w i t h   pa r a m e t e r s   w i t i ndo b e n c hm a r k/ i n do be r t - b a s e - p2,   whi c h   i s   t h e   I n do n e s i a n   v e r s i o n   o f   t h e   B E R T   m o de l   w i t h   a   l a r ge r   l a n gua ge   b a s e .   Al s o   us i n n u m _ l a b e l s = a s   a n   o p t i o n a l   a r g u m e n t   t h a t   de t e r m i ne s   t h e   n u m be r   o f   l a b e l s   i n   t h e   s e que n c e   o r   t e x c l a s s i f i c a t i o n   t a s t h a t   y o wa n t   to   pe r f o r m   w i t h   t h e   m o de l ,   i t hi s   s t ud y   t h e   a ut h o r   us e l a be l s .   Ne x t ,   c o m p il e   t h e   B E R T   m o de l   w i t h   a   c e r t a i n   c o nf i gur a t i o n   us i ng  t h e   c o m p i l e ( )   m e t h o o f   t h e   m o de l   o bj e c t .   T h e   hy pe r pa r a m e t e r s   us e a r e   l e a r ni ng  r a t e   wi t h   a   va l ue   o f   0. 00003,   e po c h = 3,   a n b a t c h   s i z e = 32.   Af t e r   t h a t ,   t h e   m o de l   pr o duc e s   a c c ur a t e   s e n t i m e n t   c l a s s if i c a t i o n   f r o m   t e s t i n da t a   us i n e n c o de tr a i ni ng  da t a .   T a bl e   s h o ws   o f   r e s u l t   f r o m   I n do B E R T .       T a bl e   1.   R e s u l t   f r o m   I n do B E R T   E poc h   L o s s   A c c u r a c y   V a l_ L o s s   V a l_ a c c ur a c y   1   0.962890   0.511250   0.775613   0.660000   2   0.598350   0.760000   0.576716   0.800000   3   0.317606   0.878750   0.593226   0.790000       T a bl e   d i s p l a y s   t h e   r e s u l t s   o f   t h e   I n do B E R T   m o de l ,   w hi c h   w a s   t r a i ne w i t h   b a t c h   s i z e   32,     a   l e a r ni ng  r a t e   o f   0. 003 ,   a n e po c h   3.   I n   t h e   f i r s t   e po c h ,   t h e r e   wa s   a   f a i r l y   hi g h   l o s s   r a t e   o f   0. 962890,   whil e   t h e   a c c ur a c y   wa s   0. 511250.   I n   t h e   s e c o n e po c h ,   t h e   I n do B E R T   m o de l   pr o duc e d   a   l o we r   l o s s   o f   0. 598350  a n i nc r e a s e a c c ur a c y   t o   0 . 760000  c o m pa r e t o   t h e   pr e vi o u s   e po c h .   I n   t h e   t hi r e po c h ,   l o s s   de c r e a s e t 0. 317606  a n a c c ur a c y   i nc r e a s e to   0. 878750 .   F r o m   t h e   r e s u l t s   o f   t h e s e   t h r e e   e po c h s ,   I n do B E R T   c a n   b e   u s e d   to  m a ke   a c c ur a t e   pr e di c t i o n s   i n   s e n t i m e n t   a n a ly s i s .     4. 4.     E val u at ion   F i gur e   13  de pi c t s   t h e   e v a l ua t i o n   o u t c o m e s   o f   t h e   I n do B E R T   p r e d i c t i o n   m o de l ,   y i e l d i ng  a n   a c c ur a c y   o f   81% .   T h e   v a l ue   o f   t r ue   n e ga t i ve s   ( T N)   i s   r e c o r de a s   11,   whil e   t h e r e   i s   i ns t a n c e   o f   f a l s e   n e ga t i v e s   ( F N) .   T hi s   i m p li e s   t h a t   o u o f   a   tot a l   o f   100  t e s t i n da t a   po i n t s   w i t h   n e ga t i v e   l a b e l s ,   I n do B E R T   c or r e c t l y   p r e d i c t e 11  i ns t a n c e s   a s   n e g a t i ve ,   a n i ns t a n c e   wa s   i nc o r r e c t l y   pr e d i c t e d,   i n d i c a t i n t h a t   t h e r e   i s   o n e   da t a   p o i n t   t h a wa s   pr e d i c t e to   b e   n o n - n e ga t i v e   w h e n   i t   s h o u l ha v e   b e e n   ne ga t i v e   ( T N) .   S i m il a r   o b s e r v a t i o ns   c a n   b e   m a de   f o r   t h e   pr e di c t i o ns   o f   po s i t i ve   a n n e ut r a l   l a b e l s ,   a s   i n d i c a t e i n   F i gur e   14.           F i gur e   14.   E v a l ua t i o n   w i t h   c o nf u s i o n   m a t r i x   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         Se nti me nt  analys is   bas e on  I ndone s ian  language   lex icon  and  …  ( Y e s s y   A s r i )   685   I n   pr e vi o u s   r e s e a r c h   r e s e a r c h e by   [ 5] ,   s e n t i m e n t   a n a ly s i s   o f   P L m o bil e   a pp li c a t i o n   r e vi e da t a   us i n t h e   Va de r   l e xi c o n   a uto m a t i c   l a b e li ng  t e c hni que   a n t h e   Na ï ve   B a y e s   E n g li s h   c l a s s if i c a t i o n   m o de l   o b t a i n e 70%   a c c ur a c y ,   w hi l e   i t hi s   s t ud y   t h e   a ut h o r   us e da t a   l a be l i ng  us i ng  t h e   I n S e t   l e xi c o a n t h e   I n do n e s i a n   l a n gu a ge   c l a s s if i c a t i o n   m o de l   I n do B E R T ,   whi c h   got  h i g he r   r e s u l t s   t h a n   t h e   E n g l i s h   c l a s s i f i c a t i o m o de l ,   n a m e ly   81% .   T hi s   c o m pa r i s o n   w i ll   b e   pr e s e n t e i n   T a bl e   2.   B a s e o n   t h e   i n t r o duc t i o n ,   i t   wa s   h i g hli g h t e t h a t   th e r e   e xi s t s   a   d i s c r e pa nc y   b e t we e n   t h e   r e vi e ws   a n d   r a t i n gs   pr o vi de by   u s e r s   o f   t h e   P L m o bil e   a pp l i c a t i o n .   T hi s   i nc o n gr u i t y   wa s   a na ly z e us i n s e n t i m e n t   a n a ly s i s   by   c o m pa r i n s e n t i m e n t   l a b e li ng  us i ng  th e   I n S e t   l e xi c o n   w i t h   s e n t i m e n t   de r i v e f r o m   r a t i n gs .   T hi s   s t udy   c o n duc t e a n   a n a ly s i s   o f   1, 000  r e vi e w s   o f   th e   P L m o bil e   a pp li c a t i o n ,   s e l e c t e f r o m   a   tot a l   o f   67, 951  r e vi e ws   o n   t h e   G oo gl e   P l a y   S t o r e   dur i n t h e   pe r i o o f   J a n ua r y   to   J un e   2022.   T h e   da t a   pr e pr o c e s s i n g   pr o c e s s   i nc l ude s t e ps   s uc h   a s   c a s e   f o l d i ng,   s l a n gwo r n o r m a li z a t i o n ,   f il t e r i n g,   to ke ni z i ng,   s to pw o r d   r e m o v a l ,   a n d   s t e m mi ng,   a l l   l a b e l e us i ng  t h e   I n S e t   l e xi c o n   [ 11] .   F i gur e   15  s h o ws   o u t   o f   t h e   tot a l   a na ly z e r e vi e ws ,   48. 20%   we r e   po s i t i v e   ( 482  r e vi e ws ) ,   37. 40%   we r e   n e ut r a l   ( 374  r e vi e ws ) ,   a n t h e   r e m a i ni ng  14. 40%   e xhi bi t e n e ga t i ve   s e n t i m e n t   ( 144  r e vi e w s ) .   F i gur e   16  s h o ws   o f   p i e   d i a gr a m   f r o m   r a t i n s e n t i m e n t   r e s ul t .       T a bl e   2.   C o m pa r i s o n   b e t we e n   I n do B E R T   a n pr i o r   l e xi c o n - b a s e m a c hi ne   l e a r ni ng  m e t h o ds   M o de l   A c c u r a c y   r e s ul t   D a ta  t e s ti n g   S pl it  da ta   L a b e ll in g da ta   L a b e li ng p e r c e nt a ge   P o s it i ve   N e ga ti v e   N e ut r a l   N a ïv e  B a y e s   70%   100   90: 10   V a de r  l e x ic o n   47%   8%   45%   I ndoB E R T   81%   100   80: 10: 10   I nS e le x i c o n   48.20%   14.40%   37.40%             F i gur e   15.   P i e   d i a gr a m   f r o m   r a t i n s e n t i m e n t     F i gur e   16.   R e s u l t   s e n t i m e n t   r e s ul t   s e n t i m e n t   i n s e r t   l e xi c o n       T h e   s t ud y   e n c o m pa s s e s   a n   a n a ly s i s   o f   1, 000  r e vi e ws   o f   t h e   P L m o bil e   a pp li c a t i o n   a c r o s s   v a r i o us   r a t i n gs .   Out   o f   t h e s e ,   585  r e vi e w s   r e c e i ve a   r a t i ng  o f   5,   i n d i c a t i n hi g h   s a t i s f a c t i o n ;   85  r e vi e w s   r e c e i v e a   r a t i n o f   4,   s i g ni f yi ng  a b o ve - a ve r a ge   s a t i s f a c t i o n .   56  r e vi e w s   w i t h   a   r a t i n o f   di s p l a y e a   n e ut r a l   r e s po n s e .   48  r e vi e w s   w i t h   a   r a t i n o f   i n d i c a t e m o de r a t e   di s s a t i s f a c t i o n ,   whil e   226  r e vi e ws   w i t h   a   r a t i n o f     r e f l e c t e s tr o n di s s a t i s f a c t i o n .   T h e   o v e r a l l   a v e r a ge   r a t i n wa s   3. 7.   B a s e o n   t h e s e   r a t i n g s ,   t h e   r e vi e ws   we r e   c a t e g o r i z e i n t o   t h r e e   s e n t i m e n t   c l a s s e s .   F i gur e   16  s h o ws   t h e   po s i t i ve   c l a s s   a c c o un t e f o r   67%   o f   tot a l   r e vi e ws ,   o r   670   r e vi e w s ;   t h e   n e ut r a l   c l a s s   e n c o m pa s s e 6% ,   or   56   r e vi e ws ;   a n t h e   n e ga t i ve   c l a s s   c o n s t i t u t e 27% ,   o r   274  r e vi e ws .   S i g ni f i c a n t l y ,   t h e r e   i s   a   d i s c r e pa n c y   b e t we e n   t h e   r a ti ngs   a n s e n t i m e n t s   e x pr e s s e i n   t h e   r e vi e w s .   T hi s   i nc o n gr u i t y   i s   d i vi de i n t 19%   wi t hi n   t h e   po s i t i ve   s e n t i m e n t   c l a s s ,   i n d i c a t i n t h a s o m e   r e vi e w s   w i t hi n   t hi s   c a t e g o r y   do  n ot  e n t i r e ly   a li g n   w i t h   t h e   hi g h   r a t i n g ;   31%   wi t hi n   t h e   n e ut r a l   c l a s s ,   hi g hli g h t i n a   n ot a bl e   d i s p a r i t y   b e t we e n   r a t i n gs   a n r e vi e t e x t   w i t hi n   t hi s   c a t e go r y ;   a n 13%   wi t hi t h e   n e g a t i ve   c l a s s ,   s ugge s t i n t ha t   c e r t a i n   l o w - r a t e r e v i e w s   do   n ot  f u ll y   mi r r o r   n e ga t i v e   s e n t i m e n t .   T h i s   a n a ly s i s   pr o vi de s   de e pe r   i ns i g h t s   i n t o   t h e   d y n a mi c s   b e t we e n   r a t i n gs   a n s e n t i m e n t s   i n   r e vi e ws ,   a s   we l l   a s   t h e   i n t r i c a t e   da t a   i n t e r pr e t a t i o n   c o m p l e xi t y .   T r a i ni ng  l o s s   de n o t e s   t h e   v a l ue   o b t a i n e f r o m   c a l c u l a t i n t h e   l o s s   f u nc t i o n   us i ng  t h e   tr a i ni n da t a s e t   a n t h e   m o de l s   pr e d i c t i o ns .   S i m u l t a ne o us l y ,   v a li d a t i o n   l o s s   r e pr e s e n t s   t h e   l o s s   f u nc t i o n   c o m put a t i o n   us i n t h e   t e s t i n da t a s e t   a l o n g s i de   t h e   m o de l s   pr e d i c t i o ns ,   ut i li z i ng  i n put   da t a   f r o m   t h e   t e s t i n da t a s e t .   A n a ly s is   o f   s uc h   e r r o r s   o c c ur s   due   to  di s c r e pa n c i e s   i n   t h e   c h a r a c t e r i s t i c s   o f   t h e s e   wo r ds   a s   s h o wn   i n   F i gur e   17 F r e que n t ly  o c c ur r i n wo r ds   i n   t h e   po s i t i v e   s e n t i m e n t   c l a s s   a r e   pr e s e n t   i n   t h e   t e s t   da t a   i n   F i gur e   17( a )   ( W o r dc l o ud  f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   67 7 - 68 8   686   s e n t i m e n t   po s i t i v e ) ;   F i gur e   17( b )   ( W o r dc l o ud  f o r   s e n t i m e n t   n e ga t i v e ) ;   a n F i gur e   17( c )   ( W o r dc l o ud  f o r   s e n t i m e n t   n e ut r a l ) .             ( a )   ( b )   ( c )     F i gur e   17.   R e s u l t   f r o m   W o r l dc l o ud  s e n t i m e n t   a n a ly s i s   f o r :   ( a )   p o s i t i v e ,   ( b )   n e g a t i v e ,   a n ( c )   n e ut r a l       I n   F i gur e   17( a ) ,   t h e   d i s t r i b ut i o n   o f   f r e que n t l y   us e o r   c o m m o nly   a pp e a r i n wo r ds   i n   t h e   po s i t i v e   s e n t i m e n t   da t a s e i s   pr e s e n t e i n   t h e   f o r m   o f   a   wor c l o ud.   T hi s   a i d s   i n   i de n t i f y i ng  t h e   f r e que n t l y   e m p l o y e d   wo r ds .   T h e   wor ds   f r e que n t l y   a ppe a r i ng  i n   po s i t i v e   s e n t i m e n t   i n c l ude   a pp li c a t i o n ,   P L N,   m o bil e ,   f a s t ,   e a s y ,   t h a n y o u,   h e l p f u l ,   a n e x c e ll e n t .   I n   F i gur e   17( b ) ,   t h e   wor ds   t h a t   f r e que n t l y   e m e r ge   i n   t h e   c o n t e x t   o f   n e ga t i v e   s e n t i m e n t   i nc l ud e   a pp l i c a t i o n ,   P L N,   e l e c t r i c i t y ,   d i s r upt i o ns ,   d i s a ppo i n t m e n t ,   di f f i c u l t y ,   s l o w n e s s ,   pa y m e n t s ,   a n o t h e r   s i mi l a r   e x pr e s s i o n s .   I n   F i gur e   17( c ) ,   t h i s   vi s ua li z a t i o n   a i ds   i i de n t i f yi ng  t h e   f r e que n t l y   e m p l o y e t e r m s .     T h e   wo r ds   f r e que n t l y   e n c o un t e r e i n   ne ut r a l   s e n t i m e n t   i n c l ude   a pp l i c a t i o n ,   h e l p f u l ,   e a s y ,   pa y m e n t s ,     goo d,   a n s e r v i c e .       5.   CONC L USI ON   An a ly z i ng  t h e   s e n t i m e n t   c l a s s if i c a t i o n   o f   us e r   r e vi e w s   o n   t h e   P L m o bil e   a pp li c a t i o n   us i ng  t h e   I n do B E R T   de e p   l e a r ni ng  m e t h o w i t h   I n S e l e xi c o n   l a be l i ng  r e s u l t e i n   a n   a c c ur a c y   o f   81% .   T h e   a c c ur a c y   pr o duc e d   i n   t hi s   s t ud y   h a s   i n c r e a s e by   a ppr o xim a t e l y   11%   f r o m   pr e vi o us   r e s e a r c h   us i n t h e   E n g l is h   Va de r   l e xi c o n   l a be l i ng  m e t h o a n t h e   Na ï v e   B a y e s   c l a s s i f i c a t i o n   a l go r i t hm .   T hi s   r e s e a r c h   s h o ws   t h a t   t h e   a c c ur a c y   r e s u l t s   a r e   b e t t e r   t h a n   pr e vi o u s   r e s e a r c h ,   b ut   i n   t h e   l a b e li ng  pr o c e s s ,   t h e r e   a r e   s t i ll   s o m e   r e vi e w s   t h a a r e   n ot  l a b e l e o pt i m a l ly .   T hi s   h a pp e n s   be c a us e   t h e r e   a r e   wo r ds   t h a t   h a v e   s pe ll i ng  e r r or s ,   s t h e   wor i s   n o we i g h t e d   c o r r e c t l y .   O n e   o f   t h e   t e x t   pr e p r o c e s s i ng  s t a ge s   t h a pl a y s   a   r o l e   i n   i m pr o vi ng  t h e   pe r f o r m a n c e   o f   m a c hi n e   l e a r ni ng   m o de l s   i s   s pe ll - c h e c k i n g.   T hi s   i s   be c a us e   tex t   o n   t h e   i n t e r n e t ,   e s pe c i a ll y   s o c i a l   m e d i a ,   o f t e n   ha s   m a n t y po s .   W i t h   s o   m a ny   t y po s ,   t h e   n u m be r   o f   v o c a b u l a r y   wo r ds   i s   ge tt i n bi gge r .   F ut ur e   r e s e a r c h   w i ll   b e   pl a nn e d   f o r   t h e   a dd i t i o n   o f   pr e - pr o c e s s i n s t a ge s ,   n a m e l y   s pe l li ng  e r r or   c or r e c t i o n   w i t h   t h e   s pe l li ng  c o r r e c to r   pr o c e s s   a n t h e   c o n s t r uc t i o n   o f   t h e   e l e c t r i c a l   c o r pus   c o n t e x t.   T h e   s pe l li ng  c o r r e c tor   pr o c e s s   de t e c t s   pa r t s   o f   t h e   t e x t   t h a a r e   n o i n   a c c o r da n c e   w i t h   t h e   c o r r e c t   s pe l l i ng  r u les   a n pr o duc e s   r e c o m m e n d a t i o ns   a c c o r d i n to   t h e   c o r r e c t   s pe l li ng  r u l e s .   S pe l li ng  c o r r e c to r   w o r k   i s   s t r o n gl y   i n f l u e n c e by   t he   c o r pus ,   whi c h   i s   us e a s   a   r e f e r e n c e   f o r   c o r r e c w o r c or r e c t i o n .       AC K NOWL E DGE M E NT S   Our   de e pe s t   gr a t i t ude   go e s   to  t h e   I ns t i t ut e   f o r   C o m m u ni t y   S e r vi c e   R e s e a r c h   ( L P P M )   o f   t h e   P L N   I n s t i t ut e   o f   T e c hn o l o g y   f o r   f u n d i ng  t h e   c o m m u ni t s e r vi c e   a c t i vi t i e s   f o r   f i s c a l   y e a r   2023.       RE F E R E NC E S   [ 1]   Q L S ut in o   a nd  D O S ia ha a n,  F e a tu r e   e x tr a c ti o f r o a pp  r e v i e w s   in   goo gl e   pl a y   s to r e   b y   c o ns id e r in in f r e qu e nt   f e a tu r e   a nd   a pp  de s c r ip ti o n,   J our nal   of   P hy s ic s :   C onf e r e nc e   Se r ie s vo l.   1230,   n o 1,   p.  012007,  J ul .   2019,     do i:  10.1088/1742 - 6596/1230/ 1/ 012007.   [ 2]   A gung  M ur di f i,   P L N   R e la un c he s   P L N   M o bi l e   A pp li c a ti o n ,”   P L N 2020.   ht tp s :/ /we b.pl n. c o .i d/ c ms /m e di a /s ia r a n - pe r s /2 020/ 12/ l e bi h - d e ka t - d e nga n - p e la ngga n - pl n - lu n c ur ka n - a pl i ka s i - ne w - pl n - m o bi l e ( a c c e s s e d, 2023) .   [ 3]   P L N   m o bi l e   a ppl i c a ti o us e r s ,   P L N 2022.  ht tp s :/ /we b.pl n. c o .i d/ m e di a /s ia r a n - pe r s /2 022/ 01/ la mpa ui - ta r g e t - 2021 - a pl ik a s i - pl n - mo bi l e - d iu nduh - 162 - ju ta - p e ngguna  ( a c c e s s e d, 2023 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.