I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   42 ,   N o .   3 J u n e   20 2 6 ,   pp .   774 ~ 785   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 42 .i 3 . pp 774 - 785             774     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   Fi n e - t u n e d   In d o B E R T   f o r   st o c k   m a r k e t   sent i m e n t   a n a l y s i s:   e v i d e n c e   f r o m   C N B C   In d o n e s i a   n e w s       Tr i   A gu n g   Ji w an d o n o 1 ,   MS   H e n d r i y aw an   A c h m ad 2 ,   S u h i r m an 1   1 M a s t e r’ s   P r o g ra m ,   I n f o r m a t i o n   T e c h n o l o g y   S t u d y   P ro g ra m ,   U n i v e r s i t a s   T e k n o l o g i   Y o g y a k a rt a ,   Y o g y a k a rt a ,   In d o n e s i a   2 D e p a rt m e n t   of   E l e c t ri c a l   a n d   E l e c t r o n i c   E n g i n e e ri n g ,   U n i v e r s i t a s   T e k n o l o g i   Y o g y a k a rt a ,   Y o g y a k a rt a ,   I n d o n e s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   N ov   30,   202 5   R e v i s e d   M a 27,   20 26   A c c e pt e d   M a y   26,   20 26       F i na nc i a l   s e n t i m e n t   a na l y s i s   in   I ndo ne s i a n   m a r k e t s   f a c e s   s i g ni f i c a nt   a c c ur a c y   c ha l l e ng e s ,   w i t h   e x i s t i ng   m o de l s   a c hi e v i ng   o n l y   78 - 81%   a c c ur a c y .   We   pr e s e n t   a   f i n e - t un e d   I ndo B E R T - L a r g e   m o de l   f o r   c l a s s i f y i ng   s e n t i m e nt   in   I nd o ne s i a n   s t o c k   m a r k e t   n e w s   h e a d l i ne s ,   t r a i n e d   on   9, 8 19   C N B C   I nd o ne s i a   he a d l i ne s   ( J a nu a r y   2024 - M a r c h   20 25) .   T hr o ug h   s y s t e m a t i c   hy pe r pa r a m e t e r   o pt i m i z a t i o n   a nd   s t r a t i f i e d   v o c a bul a r y - ba l a nc e d   s p l i t t i ng ,   o ur   m o de l   a c hi e v e d   9 4. 20 %   a c c ur a c y ,   s ur pa s s i ng   p r e v i o us   b a s e l i ne s   by   4 - 16   pe r c e n t a g e   po i nt s .   T he s e   r e s u l t s   de m o ns t r a t e   I ndo B E R T ' s   e f f e c t i ve ne s s   f o r   I nd o ne s i a n   f i n a nc i a l   N L P   a nd   i t s   po t e n t i a l   f o r   r e a l - t i m e   m a r k e t   m o ni t o r i ng   a nd   i nv e s t m e n t   de c i s i o n   s uppo r t   s y s t e m s .     Ke y w or d s :   F i na n c i a l   n e w s   c l a s s i f i c a t i o n   In do B E R T   s e nt i m e nt   a na l y s i s   S t o c k   m a r ke t   s e nt i m e nt   T r a n s f o r m e r   m o de l s   T hi s   is   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   CC   BY - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   T r i   A gu n g   J i w a n do n o   M a s t e r ’s   P r o gra m ,   I n f o r m a t i o n   T e c hn o l o g y   S t ud y   P r o gra m U n i v e r s i t a s   T e k n o l o gi   Y o gy a ka r t a   S l e m a n,   S pe c i a l   R e gi o n   o f   Y o g y a ka r t a ,   I ndo n e s i a   E m a i l :   t j . t ri a gu n gj @ g m a i l . c o m       1.   I N TR O D U C TI O N   B a c kgr o un d   a n d   c o n t e xt :   s t o c k   i n v e s t m e nt s   r e p r e s e n t   o w n e r s hi p   c l a i m s   in   c o m pa ni e s ,   w h e r e   s t o c k   pri c e s   r e f l e c t   i n v e s t m e n t   v a l ue   a n d   m a r ke t   e xpe c t a t i o n s   [1 ] .   In v e s t o r s   a l l o c a t e   f i na n c i a l   r e s o ur c e s   to   pu r c ha s e   s e c ur i t i e s   w i t h   e xpe c t a t i o n s   of   r e t u rn s   on   c a pi t a l .   H ow e ve r ,   s t o c k   p ri c e s   e xh i b i t   n a t u ra l   v o l a t i l i t y ,   c r e a t i n g   ri s k   t h a t   n e c e s s i t a t e s   s o phi s t i c a t e d   a n a l y t i c a l   t o o l s .   F i n a n c i a l   n e w s   s e n t i m e n t   a n a l y s i s   ha s   e m e r ge d   as   a   c r i t i c a l   c o m po n e nt   in   p r e di c t i ng   m a rke t   m o v e m e n t s   a nd   s upp o r t i n g   i n v e s t m e n t   de c i s i o n s   [2 ] [ 3] .   S e n t i m e n t   a na l y s i s ,   a   f u n da m e n t a l   b ra n c h   of   n a t u r a l   l a ngua g e   p r o c e s s i n g   (N L P ),   i de nt i f i e s   e m o t i o n s   in   t e xt   by   c l a s s i fy i n g   c o n t e n t   as   po s i t i v e ,   n e ga t i v e ,   or   n e u t r a l   [4] .   R e c e n t   a dv a n c e s   in   t ra n s f o r m e r - b a s e d   m o de l s ,   p a r t i c ul a rl y   b i di r e c t i o na l   e n c o de r   r e p r e s e n t a t i o n s   f ro m   t ra n s f o r m e r s   ( B E R T )   a n d   its   v a ri a nt s ,   ha v e   a c hi e v e d   r e m a rka b l e   i m p r o v e m e n t s   in   s e n t i m e nt   c l a s s i f i c a t i o n   t a s ks ,   c o n s i s t e n t l y   o ut pe r fo r m i n g   t ra di t i o na l   m a c h i n e   l e a rni n g   a pp r o a c h e s   [5 ] [ 6] .   T h e s e   p r e - t ra i n e d   l a n gu a ge   m o de l s   l e v e r a ge   t ra n s f e r   l e a rn i ng   to   c a pt u r e   c o n t e xt ua l   r e p r e s e n t a t i o n s ,   e n a b l i ng   s upe r i o r   pe r f o r m a n c e   a c r o s s   di v e r s e   N L P   a pp l i c a t i o n s   [7] .   R e s e a r c ga p   a nd  p r o b l e m   s t a t e m e nt :   d e s pi t e   s i g ni f i c a nt   a dv a n c e s   in   N L P ,   s e n t i m e n t   a na l y s i s   of   In do n e s i a n   f i n a n c i a l   n e w s   f a c e s   s ub s t a n t i a l   pe r f o r m a n c e   l i m i t a t i o n s .   P r e v i o us   s t ud i e s   on   I n do n e s i a n   f i n a n c i a l   s e n t i m e n t   c l a s s i f i c a t i o n   ha v e   a c h i e v e d   o n l y   78%   a c c ura c y   by   A dh i   et   a l .   [8 ]   a n d   81%   a c c ura c y   by   T y a s   et   al .   [9] ,   i n d i c a t i n g   a   s i g n i f i c a n t   ga p   c o m pa r e d   to   ge n e r a l - do m a i n   s e n t i m e n t   a na l y s i s .   In   c o n t ra s t ,   s e n t i m e n t   a n a l y s i s   on   I ndo n e s i a n   p r o duc t   r e v i e w s   a c h i e v e s   96%   a c c ur a c y ,   hi g h l i g ht i n g   t h e   u n i q ue   c ha l l e n ge s   of   f i n a n c i a l   t e xt   [10 ] [ 11] .     T h e   r e s e a r c h   ga p:   f i na n c i a l   n e w s   e xhi b i t s   d i s t i n c t   c h a ra c t e ri s t i c s   t h a t   c o m pl i c a t e   s e n t i m e n t   c l a s s i f i c a t i o n:   i )   c o m pl e x   l i ngui s t i c   s t r uc t u r e s   w i t h   do m a i n - s pe c i f i c   t e rm i n o l o g y ;   ii )   s ub t l e   s e n t i m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F i ne - t u ne d   Indo B E R T   f or   s t oc k   m ar k e t   s e nt i m e n t   a nal y s i s e v i d e nc e   f r om   C NB C   …  ( T r i   A gun J i w andono )   775   e xpr e s s i o n s   r e qu i r i n g   de e p   c o n t e xt ua l   u nde r s t a n d i n g;   iii )   l i m i t e d   a v a i l a b i l i t y   of   l a r ge - s c a l e   l a b e l e d   In do n e s i a n   f i n a n c i a l   da t a s e t s ;   a nd   i v )   t h e   n e e d   for   m o de l s   t ha t   c a p t u r e   n u a n c e d   f i n a n c i a l   l a n gu a ge   p a t t e rn s .   T h i s   s t udy   a ddr e s s e s   t h e s e   c h a l l e n ge s   by   pr o po s i n g   a   n o v e l   f i n e - t u ni n g   s t ra t e g y   fo r   Indo B E R T - L a r ge ,   s pe c i f i c a l l y   o pt i m i z e d   for   t h e   I n do n e s i a n   f i n a n c i a l   d o m a i n .   T h e   t h e o r e t i c a l   c o n t ri b ut i o n   of   t hi s   w o r k   l i e s   in   t h e   s y s t e m a t i c   e xpl o ra t i o n   of   vo c a b ul a r y - b a l a n c e d   s pl i t t i ng   a n d   h y pe r pa ra m e t e r   o pt i m i z a t i o n ,   pr o v i di n g   a   n e w   m e t h o do l o gi c a l   f r a m e w o r k   for   I ndo n e s i a n   f i n a n c i a l   N L P   t ha t   b ri dge s   t h e   g a p   b e t w e e n   ge n e ra l - do m a i n   a nd   do m a i n - s pe c i f i c   pe r f o r m a n c e .   We   e xpl i c i t l y   de m o n s t ra t e   h o w   do m a i n - a da p t e d   t r a n s f o r m e r   a r c hi t e c t u r e s   can   c a p t u r e   t h e   u n i que   s e m a nt i c s   of   In do n e s i a n   m a rke t   n e w s ,   o ffe r i n g   s i g ni f i c a nt   a c a de m i c   i n s i g h t s   i n t o   t h e   t ra n s f e r a b i l i t y   of   l a rge - s c a l e   l a n gu a ge   m o de l s   to   s pe c i a l i z e d ,   l o w - r e s o ur c e   f i n a n c i a l   c o n t e xt s .     R e s e a r c h   o b j e c t i ve s ;   t h i s   s t udy   a dd r e s s e s   t h e   i de n t i f i e d   g a p   t hr o ug h   t h e   f o l l ow i n g   o b j e c t i ve s :   a.   D e ve l o p   a   l a rge - s c a l e   I n do n e s i a n   f i na n c i a l   n e w s   s e n t i m e n t   d a t a s e t   f r o m   CN B C   I n do n e s i a   h e a d l i n e s .   b.   Im pl e m e nt   s y s t e m a t i c   h y pe r pa r a m e t e r   t u n i ng   s t ra t e g i e s   for   I n do B E R T - L a rge   f i n e - t u n i ng.   c.   E v a l ua t e   v o c a b ul a r y - b a l a n c e d   da t a   s pl i t t i n g   a p p r o a c h e s   us i ng   J a c c a r d   s i m i l a r i t y   m e t r i c s .   d.   Co m pa r e   m o de l   pe r f o r m a n c e   a c r o s s   m ul t i p l e   t ra i n - t e s t   c o n f i gura t i o n s   a n d   l e a rni n g   ra t e s .   e.   E s t a b l i s h   b a s e l i n e   b e n c hm a r ks   for   I ndo n e s i a n   f i n a n c i a l   s e nt i m e nt   c l a s s i f i c a t i o n.   Co n t ri b ut i o n s ;   t hi s   s t u dy   c o n t r i b ut e s   to   t h e   f i e l d   of   f i na n c i a l   N L P   a nd   I ndo n e s i a n   l a n gu a ge   pr o c e s s i n g   in   s e v e r a l   w a y s :   a.   E nh a n c e d   d a t a s e t :   We   p r e s e n t   a   c o m pr e h e n s i v e   da t a s e t   of   9 , 819   m a nua l l y   l a b e l e d   In do n e s i a n   f i n a n c i a l   n e w s   h e a dl i n e s   s pa nni n g   15   m o nt h s   (J a n u a r y   2024 M a r c h   202 5),   s i g ni f i c a n t l y   l a r ge r   t ha n   p r e v i o us   In do n e s i a n   f i n a n c i a l   s e nt i m e nt   d a t a s e t s .   b.   S y s t e m a t i c   m e t h o do l o g y :   We   i nt r o duc e   a   ri go r o us   a pp r o a c h   c o m b i n i n g   s t ra t i f i e d   s pl i t t i ng   w i t h   J a c c a r d   s i m i l a ri t y - b a s e d   v oc a b ul a r y   b a l a n c i ng,   e n s u r i ng   r e p r e s e n t a t i v e   t ra i n - t e s t   di s t r i b ut i o n s   for   r o b us t   m o de l   e v a l ua t i o n.   c.   P e r f o r m a n c e   a dv a n c e m e n t :   O u r   o pt i m i z e d   I n do B E R T - l a r ge   m o de l   a c hi e v e s   94. 20%   a c c ura c y ,   r e p r e s e n t i n g   a   4 - 16   pe r c e n t a ge   po i nt   i m p r o v e m e n t   o ve r   e xi s t i n g   I ndo n e s i a n   f i n a n c i al   s e nt i m e n t   m o de l s ,   a pp r o a c hi n g   t h e   pe r f o r m a n c e   of   ge n e r a l - do m a i n   s e n t i m e nt   c l a s s i f i e r s .   d.   P r a c t i c a l   f ra m e w o r k :   We   p r o v i de   e m pi r i c a l   e v i de n c e   for   o pt i m a l   h y pe r pa ra m e t e r   c o n f i gu r a t i o n s   (90: 10   s pl i t   ra t i o ,   2e - 6   l e a rn i ng   r a t e )   t ha t   can   gu i de   p r a c t i t i o n e r s   in   de v e l o pi n g   p r o duc t i o n - g ra de   f i na n c i a l   s e n t i m e n t   m o n i t o r i n g   s y s t e m s .   R e l a t e d   w o r k :   f i na n c i a l   s e nt i m e nt   a na l y s i s   ha s   e v o l v e d   f r o m   di c t i o na r y - b a s e d   a pp r o a c h e s   to   s o ph i s t i c a t e d   de e p   l e a rni n g   m o de l s .   E a r l y   w o r k   by   S c h um a ke r   a n d   C h e n   [ 12]   de m o n s t ra t e d   t h e   po t e nt i a l   of   t e xt ua l   a na l y s i s   fo r   s t o c k   m a r ke t   p r e di c t i o n   us i ng   b r e a k i n g   f i na n c i a l   n e w s .   R e c e n t   a dv a n c e s   l e ve r a ge   t r a n s f o r m e r - b a s e d   a r c h i t e c t ur e s   for   s upe r i o r   pe r f o r m a n c e .   Gu   et   al .   [2]  i n t e g ra t e d   F i n B E R T   w i t h   L S T M   n e t w o r ks   for   s t o c k   pr i c e   pr e d i c t i o n   us i n g   n e w s   s e n t i m e nt ,   a c h i e v i ng   s i g ni f i c a nt   i m p r o v e m e n t s   o v e r   b a s e l i n e   m o de l s .   R ua n   a n d   J i a n g   [13]   c o m b i n e d   F i n B E R T - e nh a n c e d   s e n t i m e n t   w i t h   S H A P   e xpl a i na b i l i t y   a n d   di f fe r e nt i a l   p r i v a c y   fo r   p r o duc t i o n - g r a de   f o r e c a s t i n g   s y s t e m s .   T h e   a ppl i c a t i o n   of   l a r ge   l a ngua ge   m o de l s   to   f i n a n c i a l   s e n t i m e n t   h a s   g a i n e d   m o m e nt um .   K i rt a c   a n d   G e r m a n o   [14]   b e n c hm a rke d   m u l t i pl e   L L M s   i n c l ud i n g   B E R T   a n d   F i n B E R T   a ga i n s t   di c t i o n a r y   m e t h o ds   fo r   t ra di n g   s t ra t e g y   de ve l o pm e n t ,   de m o n s t ra t i n g   t h e   s upe r i o ri t y   of   t r a n s f o r m e r - b a s e d   a pp r o a c h e s .   K u m a r   [ 15]   p r o po s e d   a   D i s t i l B E R T - G RU   h y b r i d   a r c hi t e c t u r e   fo r   f i na n c i a l   h e a dl i n e   s e n t i m e n t ,   a c h i e v i n g   h i g h   a c c ura c y   t hr o ug h   m ul t i m o da l   f us i o n .   T h e s e   s t udi e s   e m pha s i z e   t h e   i m po rt a n c e   of   do m a i n - s pe c i f i c   a da pt a t i o n   a n d   h y p e r pa ra m e t e r   o pt i m i z a t i o n   for   f i na n c i a l   t e xt   c l a s s i f i c a t i o n.   T h e   t ra n s f o r m e r   a r c hi t e c t u r e ,   i nt r o duc e d   by   V a s w a n i   et   al .   [16] ,   r e v o l ut i o n i z e d   N L P   t hr o ug h   s e l f - a t t e n t i o n   m e c ha n i s m s   t ha t   c a p t u r e   l o n g - ra n ge   de pe n de nc i e s   w i t h o ut   r e c u rr e n c e .   B E R T   e xt e n de d   t hi s   fo un da t i o n   t hr o ug h   b i di r e c t i o na l   p r e - t ra i ni n g   on   m a s ke d   l a n g ua ge   m o de l i n g   a n d   n e xt   s e n t e n c e   p r e di c t i o n   t a s ks   [5] .   S ub s e que n t   r e s e a r c h   ha s   f o c us e d   on   i m p r o v i n g   B E R T ' s   e ff i c i e n c y   a n d   e f fe c t i ve n e s s   t hr o ug h   a r c hi t e c t u r a l   m o di f i c a t i o n s   a n d   t ra i ni n g   s t r a t e gi e s .   R e c e n t   s t udi e s   h a v e   i n v e s t i ga t e d   B E R T ' s   a r c h i t e c t u r a l   c o m po n e n t s   a n d   o pt i m i z a t i o n   s t r a t e gi e s .   K o ka b   et   al .   [6]   s ur v e y e d   t r a n s f o r m e r - b a s e d   m o de l s   for   s e nt i m e nt   a n a l y s i s ,   h i g h l i g h t i n g   t h e   i m po r t a n c e   of   f i n e - t u ni n g   s t r a t e gi e s   a n d   e v a l ua t i o n   m e t ri c s .   T a n g   et   al .   [7]   e xpl o r e d   B E R T   f i n e - t u ni n g   for   m ul t i - l a b e l   s e nt i m e nt   a na l y s i s   in   i m b a l a n c e d   da t a s e t s ,   de m o n s t r a t i ng   t h e   e ff e c t i v e n e s s   of   da t a   a u gm e n t a t i o n   a nd   e n s e m b l e   m e t h o ds .   Lee   et   al .   [ 17 i nt r o duc e d   t h e   S t o c kE m o t i o n s   d a t a s e t   w i t h   12   f i n e - g r a i n e d   e m o t i o n   c l a s s e s ,   e s t a b l i s h i ng   t r a n s f o r m e r   b a s e l i n e s   for   f i n a n c i a l   s e nt i m e n t   c l a s s i f i c a t i o n .   In do n e s i a n   l a n g ua ge   p r o c e s s i n g   p r e s e n t s   u ni que   c ha l l e nge s   due   to   its   a ggl u t i na t i v e   m o r p h o l o gy ,   e xt e n s i v e   a f f i xa t i o n ,   a n d   ri c h   l i n g ui s t i c   d i v e r s i t y .   W i l i e   et   al .   [1 8]   i nt r o duc e d   I n do N L U ,   a   c o m p r e h e n s i v e   b e n c h m a r k   for   I ndo n e s i a n   na t u ra l   l a ngua ge   u n de r s t a n di ng ,   de m o n s t ra t i n g   t h e   n e e d   for   l a ngua ge - s pe c i f i c   m o de l s .   I n do B E R T ,   a   m o n o l i n g ua l   B E R T   m o de l   p r e - t ra i ne d   on   I ndo n e s i a n   c o r po ra ,   ha s   s h o w n   s upe ri o r   pe r f o r m a n c e   c o m pa r e d   to   m u l t i l i ngua l   m o de l s   for   I n d o n e s i a n   t a s ks .   D o m a i n - s pe c i f i c   a da p t a t i o n   of   In do n e s i a n   l a n gu a ge   m o de l s   h a s   e m e r ge d   as   a   c ri t i c a l   r e s e a r c h   di r e c t i o n.   M a ha ra n i   et   al .   [19]   de m o n s t r a t e d   t h e   b e n e f i t s   of   po s t - t ra i ni n g   I n do B E R T   on   I n do n e s i a n   f i na n c i a l   c o r po ra   for   s e nt i m e nt   a n d   t o pi c   c l a s s i f i c a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   42 ,   N o .   3 ,   J u n e   20 2 6 :   7 74 - 785   776   t a s ks .   T h e i r   w o r k   s h o w e d   t h a t   do m a i n - s pe c i f i c   po s t - t ra i ni n g   s i g n i f i c a n t l y   i m pr o v e s   pe r fo r m a n c e   on   f i na n c i a l   N L P   t a s ks   c o m pa r e d   to   ge n e ra l - do m a i n   m o de l s .   H ow e ve r,   s y s t e m a t i c   h y pe r pa ra m e t e r   o pt i m i z a t i o n   a n d   vo c a b ul a r y - b a l a n c e d   s pl i t t i n g   s t r a t e gi e s   for   I n do n e s i a n   fi na nc i a l   s e n t i m e n t   r e m a i n   u n de r e xpl o r e d.   E f fe c t i ve   t r a n s f e r   l e a rni n g   r e qu i r e s   c a r e f ul   h y pe r pa ra m e t e r   t uni n g   to   b a l a n c e   p r e - t ra i n e d   k n o w l e dge   r e t e n t i o n   a nd   t a s k - s pe c i f i c   a da pt a t i o n .   B a t ra   et   al .   [ 3]   de m o n s t r a t e d   t h e   e ff e c t i v e n e s s   of   B a y e s i a n   o pt i m i z a t i o n   ( O pt u n a )   for   t u ni n g   t ra n s f o r m e r - b a s e d   s e n t i m e n t - d ri v e n   s t o c k   p r e di c t i o n   m o de l s .   T h e i r   w o r k   s h o w e d   t ha t   s y s t e m a t i c   h y pe r pa ra m e t e r   s e a r c h   s i g ni f i c a n t l y   i m p r o v e s   dow n s t r e a m   pe r f o r m a n c e   c o m pa r e d   to   de f a ul t   c o n f i gu ra t i o n s .   L e a rn i ng   r a t e   s e l e c t i o n   r e p r e s e n t s   a   c r i t i c a l   f a c t o r   in   B E R T   f i n e - t u n i ng.   E xc e s s i v e l y   hi g h   l e a rni n g   r a t e s   can   c a us e   c a t a s t r o p h i c   f o r ge t t i n g   of   pr e - t ra i n e d   r e p r e s e nt a t i o n s ,   w h i l e   o ve r l y   c o n s e r v a t i v e   ra t e s   m a y   r e s ul t   in   u n de r f i t t i n g .   J i a n g   a n d   Z e n g   [20]   c o m pa r e d   v a ri o us   F i n B E R T   f i n e - t u n i ng   s t ra t e gi e s   a ga i n s t   B E R T   a n d   c l a s s i c a l   m o de l s ,   e m p ha s i z i n g   t h e   i m po r t a n c e   of   l e a rni n g   r a t e   s c h e dul i n g   a n d   e a r l y   s t o ppi n g   m e c h a ni s m s .   T h e s e   f i n d i n gs   u nde r s c o r e   t h e   n e e d   for   s y s t e m a t i c   e xpe r i m e nt a t i o n   a c r o s s   m ul t i p l e   h y pe r pa r a m e t e r   c o n f i gu ra t i o n s .   P r e v i o us   w o r k   on   I n do n e s i a n   f i na n c i a l   s e n t i m e nt   c l a s s i f i c a t i o n   ha s   a c h i e v e d   l i m i t e d   a c c ur a c y .   A d h i   et   al .   [ 8]  a pp l i e d   m a c h i n e   l e a rni n g   a p p r o a c h e s   to   I ndo n e s i a n   s t o c k   n e w s   s e n t i m e n t ,   a c h i e v i ng   78 %   a c c ura c y   us i n g   t ra d i t i o n a l   f e a t u r e   e xt r a c t i o n   m e t h o ds .   T y a s   et   al .   [9]  e m pl o y e d   s uppo r t   v e c t o r   m a c h i n e s   for   I n do n e s i a n   s t o c k   m a r ke t   n e w s   s e n t i m e n t   a n a l y s i s ,   r e a c hi n g   81%   a c c ura c y .   In   c o n t ra s t ,   A l i f i   et   al .   [21]   r e po r t e d   t ha t   In do B E R T ,   w h e n   i m pl e m e nt e d   w i t hi n   t h e   I n do N L U   f r a m e w o r k   a n d   t e s t e d   on   a   da t a s e t   of   7, 685   s t o c k   n e w s   h e a d l i n e s ,   a c hi e v e d   an   a c c u r a c y   of   a pp r o xi m a t e l y   90%.   T h e s e   s t udi e s   hi g hl i g ht   pe r s i s t e nt   c ha l l e n ge s   in   In do n e s i a n   f i n a n c i a l   s e nt i m e nt   a na l y s i s :   l i m i t e d   da t a s e t   s i z e s ,   l a c k   of   s t a n d a r di z e d   a nn o t a t i o n   p r o t o c o l s ,   a b s e n c e   of   s y s t e m a t i c   h y pe r pa r a m e t e r   t u n i ng,   a nd   i n s uf f i c i e n t   c o m pa r a t i v e   a na l y s i s   a c r o s s   di f f e r e n t   m o de l   c o n f i gur a t i o n s .   O u r   w o r k   a dd r e s s e s   t h e s e   ga ps   t hr o ug h   a   c o m p r e h e n s i v e   m e t h o do l o g y   c o m b i n i ng   l a r ge - s c a l e   da t a s e t   c o n s t r uc t i o n,   v o c a b ul a r y - b a l a n c e d   s pl i t t i n g ,   a n d   s y s t e m a t i c   o pt i m i z a t i o n.       2.   M ET H O D   2. 1 .     R e s e ar c h   d e s i gn   T h i s   s t udy   e m pl oy s   a   qua nt i t a t i v e   e xpe r i m e nt a l   de s i g n   to   e v a l u a t e   I ndo B E R T - L a r ge   for   I n do n e s i a n   f i n a n c i a l   s e n t i m e n t   c l a s s i f i c a t i o n.   F i g u r e   1   i l l us t ra t e s   our   r e s e a r c h   w o r kf l ow ,   e n c o m pa s s i n g   d a t a   c o l l e c t i o n ,   pr e p r o c e s s i n g,   m o de l   t ra i ni n g ,   a n d   e v a l ua t i o n   p ha s e s .   We   s y s t e m a t i c a l l y   c o m pa r e   m u l t i pl e   c o n f i gu r a t i o n s   to   i de nt i fy   o pt i m a l   h y pe r pa ra m e t e r s   a n d   s pl i t t i n g   s t ra t e gi e s   for   r o b us t   s e n t i m e n t   c l a s s i f i c a t i o n.             F i gu r e   1 .   R e s e a r c h   f l o w       2. 2 .     Ex p e r i m e n ta l   s e tu p   To   f a c i l i t a t e   r e p r o duc i b i l i t y ,   t h e   e xpe r i m e n t a l   w o r k   w a s   c o n duc t e d   us i n g   a   s t a nda rdi z e d   c o m put a t i o n a l   e n v i r o nm e nt .   T h e   p ri m a r y   de ve l o pm e n t   pl a t f o r m   w a s   P y t h o n   3 . 10   w i t h i n   a   c l o ud - b a s e d   e n v i r o n m e n t   (G o o gl e   Co l a b   P r o +   /   K a gg l e   K e rn e l s )   e qui ppe d   w i t h   an   N V ID IA   T e s l a   T4   GPU   (16G B   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F i ne - t u ne d   Indo B E R T   f or   s t oc k   m ar k e t   s e nt i m e n t   a nal y s i s e v i d e nc e   f r om   C NB C   …  ( T r i   A gun J i w andono )   777   V R A M )   a n d   32G B   of   s y s t e m   R A M .   We   ut i l i z e d   t h e   H uggi n g   F a c e   T ra n s f o r m e r s   l i b r a r y   fo r   m o de l   i m p l e m e nt a t i o n .   A l l   s o ur c e   c o de ,   i n c l u di n g   t h e   w e b   s c r a pi ng   s c r i p t s   (B e a ut i f ul S o up,   S e l e ni um )   a nd   t h e   f i n e - t u n i ng   pi pe l i n e s ,   is   m a i nt a i n e d   in   a   v e r s i o n - c o nt r o l l e d   r e po s i t o r y   to   e n s u r e   t h a t   o t h e r   s c i e n t i s t s   can   r e p l i c a t e   t h e   f i ndi n gs   w i t h   i de n t i c a l   c o n f i gu ra t i o n s .     2. 3 .     D atas e t   c o n s tr u c ti o n   2. 3 . 1.   D ata   c o l l e c t i o n   We   c o l l e c t e d   In do n e s i a n   f i n a n c i a l   n e w s   h e a dl i n e s   f r o m   CN B C   I n do n e s i a   (w w w . c n b c i n do n e s i a . c o m )   c ove r i n g   t h e   pe ri o d   f r o m   J a n u a r y   2024   to   M a r c h   2 025.   CN B C   In do n e s i a   w a s   s e l e c t e d   as   t h e   p ri m a r y   da t a   s o ur c e   due   to   i t s   r e pu t a t i o n   as   a   l e a d i n g   f i n a n c i a l   n e w s   pl a t f o r m   in   I n do n e s i a ,   c o m p r e h e n s i v e   c ov e r a ge   of   s t o c k   m a r ke t   de v e l o pm e n t s ,   a n d   c o n s i s t e n t   pub l i c a t i o n   f r e que n c y .   We   e m pl oy e d   w e b   s c r a p i n g   t e c hni que s   us i n g   P y t h o n   l i b r a ri e s   (B e a ut i f ul S o up,   S e l e ni u m )   to   s y s t e m a t i c a l l y   e xt ra c t   h e a d l i n e s   f r o m   t h e   m a r ke t   n e w s   s e c t i o n .   T h e   da t a   c o l l e c t i o n   p r o c e s s   y i e l de d   9, 819   h e a dl i n e s ,   r e p r e s e n t i n g   a   s ub s t a nt i a l   i n c r e a s e   o ve r   p r e v i o us   In do n e s i a n   f i n a n c i a l   s e nt i m e n t   da t a s e t s .   A d hi   et   al .   [8 us e d   1, 200   h e a d l i n e s ,   w h i l e   T y a s   et   al .   [ 9]  a na l y z e d   2, 500   h e a d l i n e s .   O u r   l a r ge r   da t a s e t   e na b l e s   m o r e   r o b us t   m o de l   t ra i ni n g   a n d   b e t t e r   ge n e ra l i z a t i o n   to   di v e r s e   f i n a n c i a l   n e w s   pa t t e rn s .     2. 3 . 2.   A n n o tati o n   p r o to c o l   E a c h   h e a d l i n e   w a s   m a nua l l y   a nn o t a t e d   by   t w o   i n de pe n de nt   a nn o t a t o r s   w i t h   e xpe r i e n c e   in   s t o c ks   m a r ke t   a nd   I ndo n e s i a n   l a n g ua ge .   T h e   a nn o t a t i o n   gui de l i n e s   de f i n e d   t hr e e   s e nt i m e n t   c l a s s e s :   a.   P o s i t i v e :   H e a dl i n e s   i n d i c a t i n g   f a v o r a b l e   m a r ke t   c o n d i t i o n s ,   c o m pa n y   gr o w t h,   po s i t i v e   e c o n o m i c   i n di c a t o r s ,   or   b ul l i s h   i n v e s t o r   s e n t i m e n t   (e . g. ,   " IH SG   m e ngua t   1. 2%   di t opa ng   k e na i k an   s a ham   pe r bank an "   /   " IH S G   s t r e n gt h e n s   1. 2%   s u ppo r t e d   by   b a n ki n g   s t o c k   i n c r e a s e s " ).   b.   N e ut ra l :   H e a dl i n e s   p r e s e n t i ng   i n f o r m a t i o n   w i t h o ut   c l e a r   po s i t i v e   or   n e ga t i v e   i m pl i c a t i o n s ,   i n c l ud i n g   a nn o un c e m e n t s ,   s t a t i s t i c s ,   a nd   b a l a n c e d   r e po rt s   (e . g . ,   " B an k   In done s i a   pe r t ahan k an   s uk u   bun ga   ac ua n   6%"   /   " B a n k   I n do n e s i a   m a i n t a i n s   r e f e r e n c e   r a t e   at   6 %").   c.   N e ga t i v e :   H e a dl i n e s   s ugge s t i ng   u n f a v o r a b l e   c o n di t i o n s ,   c om pa n y   l o s s e s ,   e c o n o m i c   c o n c e rn s ,   or   b e a r i s h   s e n t i m e n t   (e . g . ,   " R upi a h   m e l e m ah   t e r t e k an   s e n t i m e n   gl ob al "   /   " R upi a h   w e a ke n s   p r e s s u r e d   by   gl ob a l   s e n t i m e n t " ) .   Int e r - a nn o t a t o r   a g r e e m e n t   w a s   m e a s u r e d   us i n g   Co h e n' s   ka pp a   c o e f f i c i e n t ,   y i e l di ng   κ   =   0 . 87 ,   i n di c a t i n g   s t r o n g   a g r e e m e nt .   D i s a g r e e m e n t s   w e r e   r e s o l v e d   t hr o ug h   d i s c us s i o n   a n d   c o n s ul t a t i o n   w i t h   a   t hi r d   e xpe r t   a nn o t a t o r .   T h e   f i na l   da t a s e t   di s t r i b ut i o n   w a s :   2, 8 86   po s i t i v e   (29 . 4%) ,   4 , 360   n e u t r a l   (44 . 4% ),   a n d   2 , 573   n e ga t i v e   (26 . 2%)   h e a dl i n e s ,   r e f l e c t i n g   t h e   na t u ra l   d i s t ri b ut i o n   of   f i n a n c i a l   n e w s   s e n t i m e n t .     2. 4 .     D ata   p r e p r o c e s s i n g   T e xt   p r e p r o c e s s i n g   f o l l ow e d   e s t a b l i s h e d   p ra c t i c e s   for   B E R T - b a s e d   m o de l s   w h i l e   p r e s e r v i n g   In do n e s i a n   l i n gu i s t i c   f e a t u r e s :   a.   L ow e r c a s e   c o n v e r s i o n :   a ll   t e xt   c o n v e r t e d   to   l o w e r c a s e   to   r e duc e   v o c a b ul a r y   s i z e   a n d   i m p r o v e   ge n e ra l i z a t i o n.   b.   W h i t e s pa c e   n o rm a l i z a t i o n :   m ul t i p l e   c o n s e c ut i v e   s pa c e s   r e pl a c e d   w i t h   s i ngl e   s pa c e s ;   l e a d i n g   a n d   t r a i l i n g   w h i t e s pa c e   r e m o v e d.   c.   In do n e s i a n - sp e c i f i c   p r o c e s s i n g:   r e dup l i c a t e d   w o r ds   (e . g . ,   " b e s ar - be s ar "   /   v e r y   b i g)   a n d   a f f i xe s   pr e s e r v e d   as   t h e y   c a rr y   s e m a nt i c   m e a n i ng   in   I n do n e s i a n .   We   de l i b e r a t e l y   a vo i de d   a gg r e s s i v e   pr e p r o c e s s i n g   t e c hn i q ue s   s uc h   as   s t e m m i n g   or   l e m m a t i z a t i o n,   as   B E R T ' s   W o r dP i e c e   t o k e n i z a t i o n   e f f e c t i v e l y   h a n d l e s   m o r p h o l o gi c a l   v a ri a t i o n s .   T hi s   a pp r o a c h   a l i g n s   w i t h   b e s t   pra c t i c e s   for   t ra n s f o r m e r - b a s e d   m o de l s   T a ng   et   al .   [7] ,   a n d   p r e s e r v e s   t h e   ri c h   m o r p h o l o gi c a l   i n f o r m a t i o n   i nh e r e nt   in   I n do n e s i a n   t e xt .   In   s u m m a r y ,   t h e   p r e pr o c e s s i n g   p r o c e dur e   c o n s i s t e d   of   l e t t e r   l o w e r c a s i n g,   re m o v a l   of   c u rre nc y   s y m b o l s   a nd   s p e c i a l   c ha ra c t e rs ,   a d j u s t m e nt   of   t o k e ni z a t i o n   u s i ng   t he   I nd o B E R T - L a rg e   t o k e ni z e r.     2. 5 .     D ata   s p l i tt i n g   s t r at e gy   2. 5 . 1.   S tr a ti f i e d   s h u ffl e   s p l i t   We   e m pl oy e d   s t ra t i f i e d   s h uf f l e   s pl i t   to   m a i nt a i n   c l a s s   di s t ri b ut i o n   b a l a n c e   a c r o s s   t r a i n - t e s t   pa r t i t i o n s .   T hr e e   s p l i t   ra t i o s   w e r e   e v a l ua t e d:   90 : 10,   80: 2 0,   a n d   70 : 30   ( t r a i n : t e s t ).   S t ra t i f i c a t i o n   e n s u r e s   t ha t   e a c h   p a rt i t i o n   c o n t a i n s   a pp r o xi m a t e l y   t h e   s a m e   pe r c e nt a g e   of   s a m p l e s   f r o m   e a c h   c l a s s   as   t h e   c o m pl e t e   da t a s e t ,   p r e v e n t i n g   c l a s s   i m b a l a n c e   i s s ue s   t h a t   c o ul d   b i a s   m o de l   e v a l ua t i o n .   T h e   c h o i c e   of   m ul t i p l e   s pl i t   ra t i o s   e n a b l e s   a n a l y s i s   of   t h e   t ra de - o ff   b e t w e e n   t r a i n i ng   d a t a   s i z e   a n d   t e s t   s e t   r e p r e s e n t a t i v e n e s s .   L a r ge r   t r a i ni n g   s e t s   (9 0: 10 )   p r o v i de   m o r e   e xa m p l e s   for   l e a rni n g   b ut   s m a l l e r   t e s t   s e t s   for   e v a l ua t i o n,   w h i l e   s m a l l e r   t r a i ni n g   s e t s   (7 0: 30)   o ff e r   l a r ge r   t e s t   s e t s   b ut   po t e n t i a l l y   r e du c e d   m o de l   c a pa c i t y   due   to   l i m i t e d   t r a i n i ng   d a t a .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   42 ,   N o .   3 ,   J u n e   20 2 6 :   7 74 - 785   778   2. 5 . 2.   Ja c c a r d   s i m i l ar i ty   fo r   v o c ab u l ar b al an c e   To   e n s u r e   v oc a b ul a r y   di s t r i b ut i o n   b a l a n c e   b e t w e e n   t ra i ni ng   a n d   t e s t   s e t s ,   we   c o m put e d   J a c c a r d   s i m i l a ri t y   c oe ff i c i e n t s   b e t w e e n   t h e   u n i que   w o r d   v o c a b ul a r i e s   of   e a c h   pa rt i t i o n   us i n g   f o rm ul a   in   (1).     ( ,  ) =   | | | |   (1)     V t rai n   a nd   V t es t   r e p r e s e n t   t h e   u ni que   v o c a b ul a ri e s   of   t r a i n i n g   a nd   t e s t   s e t s ,   r e s pe c t i v e l y .   J a c c a r d   s i m i l a ri t y   r a n ge s   f r o m   0   ( n o   o ve r l a p)   to   1   (i de nt i c a l   v o c a b ul a ri e s ).   H i g h e r   J a c c a rd   s c o r e s   i n di c a t e   b e t t e r   vo c a b ul a r y   c ov e r a ge   in   t h e   t e s t   s e t ,   r e duc i n g   t h e   ri s k   of   o u t - of - vo c a b ul a r y   (O O V )   i s s ue s   duri n g   e v a l ua t i o n   [22] .   We   pe r f o r m e d   10   r a ndo m   s pl i t s   for   e a c h   ra t i o   a n d   s e l e c t e d   t h e   s pl i t   w i t h   t h e   hi g h e s t   J a c c a r d   s i m i l a r i t y   w h i l e   m a i nt a i ni n g   s t r a t i f i e d   c l a s s   di s t ri b ut i o n.   T hi s   a pp r o a c h   e n s u r e s   t ha t   t h e   t e s t   s e t   c o nt a i n s   v o c a b ul a r y   r e p r e s e n t a t i v e   of   t h e   t r a i n i ng   di s t r i b ut i o n ,   e na b l i n g   f a i r   e v a l ua t i o n   of   m o de l   ge n e r a l i z a t i o n .   T a b l e   1   p r e s e nt s   t h e   J a c c a r d   s i m i l a r i t y   s c o r e s   fo r   s e l e c t e d   s pl i t s .       T a b l e   1 .   D a t a s e t   s pl i t t i n g   r e s ul t s   u s i n g   s t ra t i f i e d   s huf f l e   s pl i t   D a t a s e t   r a t i o   T ra i n   d a t a   l a b e l   d i s t ri b u t i o n   T e s t   d a t a   l a b e l   d i s t ri b u t i o n   J a c c a r d   s i m i l a ri t y   P o s i t i v e   N e u t ra l   N e g a t i v e   T o t a l   P o s i t i v e   N e u t ra l   N e g a t i v e   T o t a l   7 0 : 3 0   2021   3049   1803   6873   866   1307   773   2946   0 . 5 3 4   8 0 : 2 0   2309   3485   2061   7855   578   871   515   1964   0 . 4 7 8   9 0 : 1 0   2598   3920   2319   8837   289   436   257   982   0 . 3 6 7       T h e   J a c c a r d   s i m i l a r i t y   s c o r e s   i n di c a t e   go o d   vo c a b ul a r y   o ve r l a p   a c r o s s   all   s p l i t s ,   w i t h   l a r ge r   t e s t   s e t s   na t u ra l l y   a c h i e v i n g   h i g h e r   s c o r e s   due   to   i n c r e a s e d   v o c a b ul a ry   c ove r a ge .   T h e   s t r a t i f i e d   a pp r o a c h   s uc c e s s f ul l y   m a i n t a i n s   i de n t i c a l   c l a s s   di s t ri b ut i o n s   (t ra i n/ t e s t )   a c r o s s   a l l   c o n f i gura t i o n s .     2. 6 .     M o d e l   a r c h i t e c tu r e   We   e m pl oy e d   In do B E R T - L a r ge ,   a   m o n o l i ngua l   B E R T   m o de l   p r e - t r a i n e d   on   23G B   of   In do n e s i a n   t e xt   f r o m   di v e r s e   s o ur c e s   i n c l ud i n g   n e w s   a rt i c l e s ,   s o c i a l   m e di a ,   a n d   w e b   do c um e n t s   [18] .   I n do B E R T - L a r ge   a r c hi t e c t u r e   s pe c i f i c a t i o n s :   a.   L a y e r s :   24   t ra n s f o r m e r   e n c o de r   l a y e r s   b.   H i dde n   s i z e :   1 , 024   d i m e n s i o n s   c.   A t t e nt i o n   h e a ds :   16   m ul t i - h e a d   a t t e nt i o n   m e c ha n i s m s   pe r   l a y e r   d.   P a ra m e t e r s :   ~ 340   m i l l i o n   t ra i na b l e   pa ra m e t e r s   e.   V o c a b ul a r y :   40, 000   W o r dP i e c e   t o ke n s   o pt i m i z e d   for   I n do n e s i a n   m o rp h o l o g y   f.   M a xi m um   s e que n c e   l e n g t h :   512   t o ke n s   (w e   us e d   128   for   e f f i c i e n c y )   In do B E R T - l a rge   w a s   c h o s e n   o ve r   m u l t i l i ngua l   m o de l s   (m B E R T ,   X L M - R oB E R T a )   b a s e d   on   p r i o r   r e s e a r c h,   as   its   m o n o l i ngua l   p r e - t ra i n i n g   e na b l e s   it   to   b e t t e r   c a pt u r e   I n do n e s i a n   l i n gu i s t i c   nua n c e s   c o m pa r e d   to   m o de l s   t ha t   s ha r e   v o c a b ul a r y   a nd   p a r a m e t e r s   a c r o s s   m u l t i pl e   l a n gu a ge s   [18] .     2. 7 .     Ev al u ati o n   M o de l   pe r f o r m a n c e   w a s   a s s e s s e d   us i n g   s t a nda r d   c l a s s i f i c a t i o n   m e t ri c s .   S e v e r a l   e v a l ua t i o n   m e t r i c s   w e r e   c a l c ul a t e d   to   a s s e s s   t h e   pe r f o r m a n c e   of   t h e   I n do B E R T   m o de l   in   c l a s s i f y i n g   s t o c k   n e w s   s e n t i m e n t .   T h e s e   i n c l ude   a.   A c c ur a c y :   T h i s   m e t r i c s   m e a s u r e s   t h e   p r o po r t i o n   of   c o r re c t   pr e di c t i o n s   ove r   t h e   t o t a l   n u m b e r   of   pr e di c t i o n s   m a de .   A c c u r a c y   c a n   be   c a l c ul a t e d   us i n g   (2) .      =    +   +  +  +    (2)     b.   P r e c i s i o n :   T h i s   m e t r i c s   c a l c ul a t e s   t h e   p r o po r t i o n   of   c o r r e c t   for   a   c l a s s   o ut   of   a l l   i n s t a n c e s   p r e di c t e d.   P r e c i s i o n   can   be   c a l c ul a t e d   us i n g   (3) .      =     +    (3)     c.   R e c a l l :   T h i s   m e t r i c s   a l s o   kn o w n   as   s e n s i t i v i t y   or   t r ue   po s i t i v e   ra t e ,   m e a s u r e s   h o w   w e l l   t h e   m o de l   i de nt i f i e s   a l l   a c t u a l   po s i t i v e   i n s t a n c e s   of   a   c l a s s .   R e c a l l   can   be   c a l c ul a t e d   us i ng   (4 ).     =     +      (4)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F i ne - t u ne d   Indo B E R T   f or   s t oc k   m ar k e t   s e nt i m e n t   a nal y s i s e v i d e nc e   f r om   C NB C   …  ( T r i   A gun J i w andono )   779   d.   F1 - S c o r e :   T h i s   m e t r i c   is   t h e   ha r m o n i c   m e a n   of   pr e c i s i o n   a nd   r e c a l l ,   p r o v i di n g   a   b a l a n c e d   m e a s u r e   t ha t   a c c o un t s   for   b o t h   f a l s e   po s i t i v e s   a nd   f a l s e   n e ga t i v e s ,   a nd   can   be   c a l c ul a t e d   us i n g   (5) .     1  = 2              +        (5)       3.   R ES U LTS   AND   DISCUSSIO N   T h e   I ndo B E R T   m o de l   w a s   f i n e - t u n e d   us i n g   f o ur   l e a rn i ng   ra t e   v a l ue s   (2e - 6,   3e - 6,   2e - 5,   a nd   3e - 5)   a c r o s s   t hr e e   t ra i n - t e s t   s pl i t   ra t i o s :   90 : 10 ,   80: 20,   a n d   7 0: 30 .   E a c h   c o n f i gu ra t i o n   w a s   e v a l u a t e d   us i n g   f o ur   pe r f o r m a n c e   m e t ri c s :   a c c ura c y ,   pr e c i s i o n ,   r e c a l l ,   a n d   F1 - s c o r e .   T h e   t r a i n i ng   p r o c e s s   e m pl oy e d   an   e a r l y   s t o ppi n g   m e c h a ni s m   w i t h   a   pa t i e n c e   of   3   to   pr e v e n t   o v e r f i t t i n g   a nd   e n s u r e   o pt i m a l   ge n e ra l i z a t i o n .     3. 1 .     M o d e l   t r ai n i n g   an d   e v al u ati o n   r e s u l ts   3. 1 . 1.   D atas e t   r ati o   7 0:30   T e s t i n g   w i t h   a   70 : 30   d a t a s e t   ra t i o   a l l o w s   fo r   a   m o r e   ri go r o us   a nd   r e a l i s t i c   a s s e s s m e n t   of   t h e   m o de l ’s   pe r f o r m a n c e   on   u n s e e n   da t a .   T h e   t ra i ni n g   a n d   e v a l ua t i o n   m o de l   r e s ul t   for   d a t a s e t   w i t h   t h i s   r a t i o   a r e   i l l us t r a t e d   in   F i gu r e   2   for   e a c h   l e a rni ng   ra t e   c o n f i gu ra t i o n .   T h e   m o de l   w i t h   a   2e - l e a rni n g   r a t e   r e a c h e i t s   b e s t   v a l i d a t i o a c c ura c y   of   92. 40%   a t   e po c h   8   w i t h   a   v a l i da t i o l o s s   of   20. 53  a s   s h o w n   i n   F i gu r e   2(a ).   T r a i n i ng  a c c ur a c y   w a s   97. 90%  w i t h   a   l o s s   o f   14. 86,   a nd  l a t e r   e po c h s   s h o w e o n l y   a   s l i g ht   a c c ura c y   dr o a nd  m i ni m a l   l o s s   i n c r e a s e ,   i ndi c a t i n g   s t a b l e   l e a rn i ng  w i t h   m i l d   o ve r f i t t i ng.   T h e   3e - m o de l   a c hi e v e t h e   hi g h e s t   s c o r e   f o r   t h i s   s pl i t ,   r e a c h i n g   9 2. 8 0%   a t   e po c h   6   (v a l i da t i o n   l o s s   20. 55)   a s   s h o w n   i F i gu r e   2(b ),   a n d   m a i n t a i n e d   t h e   s a m e   a c c u r a c y   unt i l   t h e   f i na l   e po c h   w i t o n l y   a   s m a l l   l o s s   ri s e ,   de m o n s t r a t i ng  e xc e l l e nt   s t a b i l i t y .   T he   2e - m o de l   pe a ke a t   91. 96%   a t   e po c h   (l o s s   21. 36)   b ut   l a t e r   de c l i n e d   t o   89. 75%  w i t a   h i g h e l o s s ,   i n d i c a t i n g   e a r l y   ov e r f i t t i n a s   s h o w n   i n   F i gu r e   2(c ) .   T h e   3e - m o de l   a c hi e v e 90. 63%   a t   e po c ( l o s s   32. 5 4)  b ut   s h o w e n o   m e a n i ngf ul   i m p r o v e m e n t   a f t e r w a r d,   w i t h i g v a l i da t i o l o s s   a nd  s t a g na n t   a c c u r a c y   a s   s h o w n   i n   F i gu r e   2(d) ,   r e f l e c t i n g   po o r   ge n e ra l i z a t i o n .     3. 1 . 2.   D atas e r ati o 80:20   T h e   80: 2 d a t a s e t   r a t i o   r e pr e s e nt s   a   b a l a n c e c o n f i gu r a t i o n   b e t w e e n   t h e   a m o un t   o f   t r a i n i ng  a n d   t e s t i n d a t a .   T h e   t r a i n i ng  a n e v a l ua t i o n   m o de l   r e s ul t   f o r   da t a s e t   w i t t hi s   ra t i o   a r e   i l l us t ra t e i F i g u r e   3.   F o r   t h e   2e - l e a rni n ra t e ,   t h e   m o de l   s h o w e t h e   m o s t   s t a b l e   a nd  o pt i m a l   pe r f o r m a n c e ,   r e a c h i ng  93 . 38 v a l i da t i o a c c ura c y   a t   e poc h   11  w i t h   a   v a l i d a t i o n   l o s s   of   1 4. 44  F i gu r e   3(a ).   T ra i ni n a c c ur a c y   w a s   98. 99%   w i t h   a   l o s s   of   8. 06,   a n d   b o t h   a c c ura c y   a n l o s s   t r e nds   i n d i c a t e m i n i m a l   o v e r f i t t i n g .   T h i s   c o n f i gu ra t i o n   w a s   t h e   m o s t   e f fe c t i ve   fo r   t h e   80 : 20  s p l i t .   T h e   3e - m o de l   a c h i e v e 91. 80%  a c c ur a c y   a t   e po c h   ( l o s s   15. 22) ,   a s   s h o w n   i F i gu r e   3(b ).   A l t h o ug h   s l i g ht l y   l ow e r   t h a 2e - 6 ,   i t   r e m a i n e s t a b l e ,   e n di n g   w i t h   91. 5 0%  a c c ura c y   a n d   o n l y   a   s m a l l   l o s s   i n c r e a s e .   T h e   2e - 5   l e a rni n g   ra t e   pe a ke a t   90. 63%   a t   e po c h   3   (l o s s   22 . 58) ,   b ut   a c c ur a c y   a n d   l o s s   w o r s e n e i t h e   f o l l ow i n e po c h ,   i n di c a t i ng  e a rl y   ov e r f i t t i n g   F i gu r e   3(c ).   T h e   h i g h e s t   l e a rn i ng  ra t e ,   3e - 5,   r e a c h e 90 . 84%   a t   e po c h   ( l o s s   17. 65)  a s   s e e n   i n   F i g ur e   3( d).   T ra i ni n a c c ura c y   i n c r e a s e a f t e r w a r d ,   b ut   v a l i d a t i o a c c ura c y   s t a g na t e d ,   a n d   l o s s   di d   n o t   i m p r o v e ,   s h o w i n g   ra pi d   o ve r f i t t i ng   a nd   w e a k   ge n e ra l i z a t i o n.     3. 1 . 3.   D atas e r ati o   9 0:10   T e s t i n g   w i t a   90 : 10   t ra i ni n g - to - te s t i n g   da t a   ra t i o   a l l o c a t e s   a   l a rge po rt i o n   o f   da t a   f o r   m o de l   l e a rn i ng,   w h i c i s   e xpe c t e t o   e nha n c e   i t s   a b i l i t y   t o   a c c ur a t e l y   c a pt ur e   s e n t i m e n t   p a t t e rn s   w i t h i t h e   t ra i n i n g   s e t .   T h e   t ra i ni n g   a nd   e v a l ua t i o m o de l   r e s ul t   f o r   d a t a s e t   w i t t hi s   ra t i o   a r e   i l l u s t ra t e d   i F i gu r e   4   f o r   e a c h   l e a rn i ng  ra t e   c o n f i gu ra t i o n .   F o r   t h e   2e - l e a rni n g   r a t e ,   t h e   m o de l   a c hi e v e t h e   h i g h e s t   v a l i da t i o a c c ura c y   of   94. 20%  a t   e po c h   10  w i t h   a   v a l i da t i o l o s s   o f   6. 52  a s   s h o w n   i F i gu r e   4(a ) .   T r a i n i ng  a c c u r a c y   r o s e   s t e a di l y   f r o m   68. 7 7%   t o   99. 45 %,   a n l o s s   dr o ppe s h a rpl y ,   i n di c a t i n g   a   c o n s i s t e nt   l e a rn i ng  pa t t e rn   t h a t   pl a t e a ue a f t e r   e po c h   10 .   T h e   3e - m o de l   r e a c h e 93 . 69%   a c c u r a c y   a t   e po c h   ( l o s s   6. 57) ,   w i t t ra i ni n g   a c c u r a c y   i n c r e a s i n g   f r o m   68 . 76 t o   98. 95 a n d   l o s s   de c r e a s i ng  a c c o r di n gl y   a s   s h o w n   i F i gu r e   4(b ).   T hi s   r e f l e c t s   s t a b l e   a nd  e f fe c t i ve   l e a rn i ng.   T h e   2e - m o de l   pe a ke a t   93. 38%  a t   e po c h   3   (l o s s   6. 65),   b ut   v a l i da t i o pe r f o r m a n c e   de c l i n e a f t e r w a r d   de s pi t e   ri s i ng   t ra i ni n g   a c c ur a c y ,   s h o w i n e a rl y   o ve r f i t t i n g   a s   s h o w n   i F i gu r e   4(c ).   T h e   3e - 5   m o de l   r e c o r de 92 . 46 a t   e po c h   1   (l o s s   6 . 35) ,   y e t   v a l i da t i o n   a c c ura c y   s t a g na t e i l a t e r   e po c h s ,   a nd  l o s s   di d   n o t   i m p r o v e ,   i n d i c a t i ng  ra p i o v e r f i t t i n g   a n po o r   ge n e ra l i z a t i o n   a s   s h o w n   i F i gu r e   4(d) .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   42 ,   N o .   3 ,   J u n e   20 2 6 :   7 74 - 785   780     (a )       (b )       (c )       (d)     F i gu r e   2 .   T r a i n i ng   a n d   e v a l ua t i o m o de l   r e s ul t   o n   d a t a s e t   w i t r a t i o   70 : 30 ( a 2e 6,   b e s t   v a l   a c c   92. 4 0%  a t   e poc h   8 ,   m i l d   o v e r f i t t i n g ,   (b 3e 6 ,   b e s t   v a l   a c c   92 . 80%   a t   e p o c h   6,   e xc e l l e n t   s t a b i l i t y ,   (c 2e 5,   pe a k   91 . 96%   a t   e po c h   2,   e a rl y   o ve r f i t t i n g ,   a n d   (d)   3e 5 ,   pe a k   90. 63%   a t   e po c h   4,   po o r   ge n e r a l i z a t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F i ne - t u ne d   Indo B E R T   f or   s t oc k   m ar k e t   s e nt i m e n t   a nal y s i s e v i d e nc e   f r om   C NB C   …  ( T r i   A gun J i w andono )   781     (a )       (b )       (c )       (d)     F i gu r e   3 .   T r a i n i ng   a n d   e v a l ua t i o n   m o de l   r e s ul t   on   d a t a s e t   w i t h   ra tio   80 : 20 ;   ( a 2e 6,   b e s t   v a l   a c c   93. 3 8%  a t   e poc h   11 ,   m o s t   s t a b l e   a n d   o pt i m a l ,   (b 3e 6 ,   b e s t   v a l   a c c   91 . 80%  a t   e po c h   5 ,   s t a b l e   w i t h   s l i g ht   d r o p,     (c 2e 5,   pe a k   90 . 63%   a t   e po c 3,   e a rl y   o ve r f i t t i n g ,   a n d   (d)   3 e 5,   pe a 9 0. 8 4%  a t   e po c h   2 ,   ra p i o v e r f i t t i ng  a n w e a ge n e r a l i z a t i o n       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   42 ,   N o .   3 ,   J u n e   20 2 6 :   7 74 - 785   782     (a )       (b )       (c )       (d)     F i gu r e   4 .   T r a i n i ng   a n d   e v a l ua t i o n   m o de l   r e s ul t   on   d a t a s e t   w i t h   r a t i o   90 : 10 ( a 2e 6,   b e s t   v a l   a c c   94. 2 0%  a t   e poc h   10 ,   c o n s i s t e n t   l e a rni n g ,   (b 3e 6,   b e s t   v a l   a c c   93 . 69 a t   e po c h   7,   s t a b l e   a n d   e f fe c t i ve ,   (c 2e 5 ,   pe a 93. 38 a t   e po c h   3 ,   e a rl y   ove r f i t t i ng ,   (d)   3e 5 ,   pe a 9 2. 46 a t   e po c h   1,   ra pi d   o v e r f i t t i n g   a nd  po o r   ge n e ra l i z a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F i ne - t u ne d   Indo B E R T   f or   s t oc k   m ar k e t   s e nt i m e n t   a nal y s i s e v i d e nc e   f r om   C NB C   …  ( T r i   A gun J i w andono )   783   3. 2 .     C o m p ar i s o n   w i th   e x i s ti n g   b e n c h m ar k s   O ur   f i n e - t u n e d   I ndo B E R T - L a r ge   m o de l   de m o n s t ra t e s   s upe ri o r   pe r f o r m a n c e   c o m pa r e d   to   s e v e r a l   r e c e n t   b e n c hm a rks   in   I n do n e s i a n   f i n a n c i a l   s e nt i m e nt   a n a l y s i s .   As   s um m a r i z e d   in   T a b l e   2 ,   our   o pt i m a l   c o nf i g u ra t i o n   re a c he d   9 4 . 2 0 %   a c c u ra c y ,   s i g ni f i c a nt l y   o u t pe rf o rm i ng   t he   78%   a c c u ra c y   a c hi e v e d   by   A d hi   et   al .   [8]   us i n g   t ra di t i o na l   m a c hi n e   l e a rn i ng   a n d   t h e   81%   r e po rt e d   by   T y a s   et   al .   [9 ]   w i t h   SVM - b a s e d   c l a s s i f i e r s .   F urt h e rm o r e ,   o ur   r e s ul t s   e xc e e d   t h e   90%   a c c u r a c y   be n c hm a r k   e s t a b l i s h e d   by   A l i f i   et   al .   [21] ,   w h o   u t i l i z e d   a   s m a l l e r   da t a s e t   of   7, 685   h e a d l i n e s .   T h e s e   i m p r o v e m e n t s   can   be   a t t r i b ut e d   to   s e v e r a l   f a c t o r s :   (1)   t h e   l a r ge r   a n d   m o r e   r e p r e s e nt a t i v e   da t a s e t   of   9, 8 19   CN B C   I ndo n e s i a   h e a d l i n e s ;   (2)   t h e   s y s t e m a t i c   h y pe r pa ra m e t e r   s e a r c h   t h a t   i de nt i f i e d   2e - 6   as   t h e   o pt i m a l   l e a rni n g   r a t e ;   a n d   (3)   t h e   v o c a b ul a r y - b a l a n c e d   s pl i t t i n g   s t r a t e gy   us i n g   J a c c a r d   s i m i l a r i t y ,   w h i c h   e n s u r e s   c o n s i s t e nt   f e a t u r e   di s t ri b ut i o n   b e t w e e n   t r a i ni n g   a nd   t e s t i ng   s e t s .   T h e   go a l   of   t h i s   e v a l ua t i o n   w a s   to   i de nt i fy   t h e   p a r a m e t e r   c o m b i n a t i o n   t ha t   o f fe r s   t h e   b e s t   ge n e ra l i z a t i o n   pe r f o r m a n c e   on   un s e e n   d a t a ,   as   s um m a ri z e d   in   T a b l e   2 .         T a b l e   2 .   M o de l   e v a l ua t i o n   r e s ul t s   c o m pa r a t i o n   D a t a s e t   Ra t i o   L e a r n i n g   Ra t e   E p o c h   A c c u ra c y   P re c i s i o n   Re c a l l   F1 - S c o r e   N o t e s   7 0 : 3 0   2e - 6   8   9 2 , 4 0 %   9 2 , 4 0 %   9 2 , 4 0 %   9 2 , 4 0 %   S t a b l e ,   b a l a n c e d   3e - 6   6   9 2 , 8 0 %   9 2 , 8 1 %   9 2 , 8 0 %   9 2 , 8 0 %   2e - 5   2   9 1 , 9 6 %   9 1 , 9 9 %   9 1 , 9 6 %   9 1 , 9 6 %   3e - 5   4   9 0 , 6 3 %   9 0 , 6 6 %   9 0 , 6 3 %   9 0 , 6 3 %   8 0 : 2 0   2e - 6   11   9 3 , 3 8 %   9 3 , 4 5 %   9 3 , 3 8 %   9 3 , 3 8 %   Be s t   f o r   m i d   s p l i t   3e - 6   5   9 1 , 8 0 %   9 2 , 2 0 %   9 1 , 8 0 %   9 1 , 8 0 %   2e - 5   3   9 0 , 6 3 %   9 1 , 2 5 %   9 0 , 6 3 %   9 0 , 6 0 %   3e - 5   2   9 0 , 8 4 %   9 1 , 2 5 %   9 0 , 8 4 %   9 0 , 8 2 %   9 0 : 1 0   2e - 6   10   9 4 , 2 0 %   9 4 , 2 5 %   9 4 , 2 0 %   9 4 , 1 9 %   Be s t   o v e ra l l   3e - 6   7   9 3 , 6 9 %   9 3 , 7 5 %   9 3 , 6 9 %   9 3 , 6 9 %   2e - 5   3   9 3 , 3 8 %   9 3 , 4 3 %   9 3 , 3 8 %   9 3 , 3 8 %   3e - 5   1   9 2 , 4 6 %   9 2 , 6 0 %   9 2 , 4 6 %   9 2 , 4 8 %       A m o n g   a l l   c o n f i gu r a t i o n s   t e s t e d,   t h e   s m a l l e s t   l e a rni n g   ra t e   (2e - 6)   c o n s i s t e nt l y   pr o v i de d   t h e   b e s t   ov e r a l l   pe r f o r m a n c e   a c r o s s   a l m o s t   all   d a t a s e t   ra t i o s .   T hi s   c o n s i s t e nt   pe r f o r m a n c e   de m o n s t ra t e s   t h a t   s m a l l e r   l e a rn i ng   ra t e s   f a c i l i t a t e   de e pe r   a nd   m o r e   g ra du a l   l e a rni n g ,   e na b l i n g   t h e   m o de l   to   b e t t e r   ge n e r a l i z e   to   u n s e e n   da t a .   S i m i l a rl y ,   t h e   m o de l   w i t h   a   l e a rni n g   ra t e   of   3e - 6   s h o w e d   s t r o n g   a n d   s t a b l e   pe r f o r m a n c e ,   p a r t i c ul a rl y   n o t a b l e   for   t h e   70: 3 0   s pl i t ,   w h e r e   it   a c hi e v e d   t h e   h i g h e s t   a c c ur a c y   of   92. 80%   w i t h   b a l a n c e d   m e t ri c s   o ve r a l l .   In   c o n t ra s t ,   l a r ge r   l e a rni n g   r a t e s   (2e - 5   a n d   3e - 5)   l e d   to   f a s t e r   c o n v e r ge n c e   b ut   r e s ul t e d   in   i n s t a b i l i t y ,   e a rl i e r   ov e r f i t t i n g ,   a n d   l o w e r   v a l i da t i o n   a c c ura c y .   T h us ,   a   b a l a n c e   be t w e e n   l e a rni n g   r a t e   s i z e   a n d   t h e   n u m b e r   of   e poc h s   is   c r uc i a l   for   o pt i m a l   m o de l   pe r f o r m a n c e ,   w i t h   s m a l l e r   l e a rni n g   r a t e s   ge n e r a l l y   be n e f i t i n g   f r o m   e xt e n de d   t ra i ni n g   d u r a t i o n s .   R e c e n t   s t udi e s   s h o w   t ha t   i n t e g ra t i ng   pub l i c   s e nt i m e nt   w i t h   h i s t o r i c a l   d a t a   us i n g   de e p   l e a rni n g   m e t h o ds   can   s i g ni f i c a n t l y   i m p r o v e   s t o c k   r e t u rn   a n d   p ri c e   p r e di c t i o n   in   e m e r g i n g   m a rke t s   [ 23,   24] .   F u r t h e rm o r e ,   c o m pa r i s o n s   b e t w e e n   l e x i c o n - b a s e d   m e t h o ds   a n d   B E R T   m o de l s   in   t h e   go v e r n m e nt   de b t   m a r ke t   i ndi c a t e   t h e   r o b us t n e s s   of   t ra n s f o r m e r   a r c hi t e c t u r e s   [ 25] .       4.   C O N C LU S I O N   T h i s   i n v e s t i ga t i o n   e s t a b l i s h e d   a   n e w   pe r f o r m a n c e   b e n c hm a r k   for   I n do B E R T - b a s e d   s e n t i m e nt   c l a s s i f i c a t i o n   of   In do n e s i a n   f i na n c i a l   n e w s :   94. 20%   a c c ura c y   a c h i e v e d   t hr o ugh   90: 10   d a t a   p a r t i t i o n i n g   a nd   2e - 6   l e a rn i ng   ra t e   c o n f i gu r a t i o n.   T hi s   r e s ul t   s ub s t a nt i a l l y   s ur p a s s e s   pri o r   r e s e a r c h   pe r f o r m a n c e   b a s e l i n e s .   T w o   pr i n c i pa l   c o n c l us i o n s   e m e r ge   f r o m   t hi s   a na l y s i s :   i )   h y pe r pa ra m e t e r   o pt i m i z a t i o n ,   pa rt i c ul a r l y   l e a rni n g   ra t e   s e l e c t i o n ,   c ri t i c a l l y   i n f l ue n c e s   c l a s s i f i c a t i o n   pe r f o r m a nc e ;   a nd   ii )   t ra i ni n g   da t a   v o l um e   c o m b i n e d   w i t h   a pp r o pri a t e   t ra i n - t e s t   pa rt i t i o ni n g   s ub s t a n t i a l l y   e n ha n c e s   m o de l   ge n e ra l i z a t i o n   c a p a c i t y .     F ut u r e   w o r k   can   e xp a n d   t h i s   s t udy   by   a ddi n g   na m e d   e n t i t y   r e c o gn i t i o n   to   i de nt i fy   ke y   f i n a n c i a l   e n t i t i e s   a n d   a s pe c t - b a s e d   s e n t i m e n t   a na l y s i s   to   c a pt u r e   m o r e   de t a i l e d ,   e nt i t y - s pe c i f i c   s e n t i m e n t .   D e v e l o pm e n t   of   r e a l - t i m e   c l a s s i f i c a t i o n   pi pe l i n e s   w o ul d   e xt e n d   a ppl i c a b i l i t y   to   a n a l y s t s   a nd   i n v e s t m e nt   p r o fe s s i o n a l s   r e qui ri n g   i m m e di a t e   s e nt i m e nt   a s s e s s m e n t .   S y s t e m a t i c   i n v e s t i ga t i o n   of   t ra n s f e r   l e a rni n g   a pp r o a c h e s   to   f i n a n c i a l   do m a i n s   r e p r e s e n t s   an   a d di t i o na l   a v e n ue   for   m e t h o do l o gi c a l   a dv a n c e m e nt .   W i t h   c o n t i nue d   de ve l o pm e n t ,   I ndo B E R T - b a s e d   s y s t e m s   de m o n s t r a t e   s ub s t a nt i a l   po t e nt i a l   as   f o un d a t i o n a l   i n f ra s t r uc t u r e   for   f i n a n c i a l   s e nt i m e nt   m o ni t o r i n g   a ppl i c a t i o n s .       A C K N O WL ED G M EN TS   T h e   a ut h o r s   w o ul d   l i ke   to   e xp r e s s   s i n c e r e   g ra t i t u de   to   t h e   de ve l o pe r s   of   t h e   I ndo N L U   f r a m e w o r k   a n d   I n do B E R T   m o de l s ,   w h i c h   s e r v e d   as   t h e   f o un da t i o n   of   t h i s   r e s e a r c h.   T h e   da t a s e t   us e d   in   t h i s   s t udy ,   c o n s i s t i n g   of   m a n ua l l y   l a b e l e d   In do n e s i a n   s t o c k   m a rke t   n e w s   h e a dl i n e s ,   w a s   s o ur c e d   f r o m   p ub l i c l y   a v a i l a b l e   Evaluation Warning : The document was created with Spire.PDF for Python.