I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - AI )   V ol .   14 , N o.   3 ,  J une  2025 , pp.  1829 ~ 1838   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v 14 .i 3 .pp 1829 - 1838          1829       Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   T h e  i n f l u e n c e  of  se n t i m e n t  an al ysi s i n  e n h an c i n g   e ar l y w ar n i n g  sys t e m  m od e l  f or  c r e d i t  r i sk  m i t i gat i on       A n ge l  K ar e n t ia 1 , D e r w in  S u h ar t on o 2   1 C om put e r  S c i e nc e   D e pa r t m e nt ,  B I N U S  G r a dua t e  P r ogr a m - M a s t e r  of  C om put e r  S c i e nc e ,   B i na   N us a nt a r a  U ni v e r s i t y, J a ka r t a , I ndone s i a   2 C om put e r  S c i e nc e   D e pa r t m e nt , S c hool  of  C om put e r  S c i e nc e ,  B i na  N u s a nt a r a   U ni ve r s i t y, J a ka r t a , I ndone s i a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  A ug   8, 2024   R e vi s e d  F e b 4, 2025   A c c e pt e d  M a r  15, 2025       One  important  source  of   bank  income  is   interest  income   from   credit  activit ies,  another  part  of   which  is  obtained   from  fee - based   income.   Rapid  credit  growth  is  directly  proportional  to   an  increase  in  potential   cre dit  risk  (counterparty  default).  In  addition  to  comprehensive  credit  assessment   at  the  initial  stage  of  credit  initiation,  banks  need  to  monitor  the  condit ion  of  existin g  debtors.   Empirical ly,  difficul ties  in  handlin g  non - performing   loans  often  occur  due  to   delays  in  detection   and  preparation   of  act ion  plans.  In  this  case,  losses  due  to  non - performing  loans  can  have  implications  f or  the  bank' s  reputation  and  worsen  its  financial  performance.  This  research  aims  to  determine  the  effect  of   sentiment  analysis  (external   sentiment  pre diction  model  [positive,  neutral,  and  negative]  with  certain  keywords)   on  th e  level  of  accuracy  of  the   early  warning   system  (EWS)   model  in   predicti ng  the  credit  quality  of  bank   debtors  in  the   coming  months.   This  study   fou nd  that  upgrading  EWS  with  sentiment   analysis  will   give  b etter  ac curacy   levels  compared  to  traditi onal  EWS  models.   In  additio n,  the  predicti ve  power  of  EWS  (traditional  and  upgraded)  is  inversely  proportional  to  the  prediction  period,  the  longer  the  target   prediction  time,  and   the  less  predictive   po wer  of  the EWS mode l.   K e y w o r d s :   C r e di t  qua li ty   E a r ly  w a r ni ng s ys te m   F or w a r d - lo oki ng   M ode l  a c c ur a c y   S e nt im e nt  a na ly s is   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   A nge l  K a r e nt ia   C om put e r  S c ie nc e  D e pa r tm e nt , B I N U S  G r a dua te  P r ogr a m - M a s te r  of  C om put e r  S c ie nc e   B in a  N us a nt a r a  U ni v e r s it y   J a ka r ta  11480, I ndone s ia   E m a il :  a nge l .ka r e nt ia @ bi nus .a c .i d       1.   I N T R O D U C T I O N   T he   c or ona vi r us   di s e a s e   2019  ( C O V I D - 19)   pa nde m ic   ha s   ha d  a   m a s s iv e   im pa c t  w he r e   a ll   c ount r ie s   ha ve   im pl e m e nt e d  a c ti vi ty   r e s tr ic ti ons   ( lo c kdown s )   to   pr e v e nt   th e   r a pi d  s pr e a d  of   th e   vi r us   a nd  th e   c ons e que nc e s   of   th is   lo c kdown  ha ve   c r e a te d  c ha ll e nge s   in   th e   he a lt h,  e c onomi c ,  a nd  s oc ia l  s e c to r s   [ 1] .  A c c or di ng t o t he  W or ld  B a nk i n 2022,  t hi s  e m e r ge nc y r e s pons e  c r e a te s  ne w  r is ks , na m e ly  i nc r e a s in g t he  de bt   r a ti o  in   th e   w or ld   e c onomy,  w hi c h  c a n  th r e a te n  th e   r e c ove r y  pr oc e s s   f r om   th e   c r is is   be c a us e   of   th e   in te r c onne c ti on  be twe e n  th e   f in a nc ia l  he a lt h  of   in di vi dua ls /c o m pa ni e s   a nd  f in a nc ia l  in s ti tu ti ons   [ 2] .  B a nks  a s   f in a nc ia l  in s ti tu ti ons   ha ve   a   c r it ic a l  r ol e   in   th e   e c onomy  in c l udi ng  th e   pr oc e s s   of   di s tr ib ut in g  f unds   to   th e   publ ic   [ 3] .  B a nks   a r e   obl ig e d  to   m a na ge   c r e di t  r is k  to   a voi d  lo s s e s   f or   th e   ba nk  it s e lf   a nd  it s   c u s to m e r s .   H ow e ve r ,  th e   im pl e m e nt a ti on  of   r is k  m a na ge m e nt   f or   e a c h  ba nk  c a n  va r y  a c c or di ng  to   obj e c ti ve s ,  bu s in e s s   pol ic ie s ,  bus in e s s   s iz e ,  a nd  c om pl e xi ty ,  f in a nc ia l  c a pa bi li ti e s ,  s uppor ti ng  in f r a s tr uc tu r e ,  a nd   hum a n  r e s our c e   c a pa bi li ti e s   a r e   ta ke n  in to   c on s id e r a ti on  a nd  one   of   th e   a ppl ic a ti ons   is   c r e a ti ng  a n  e a r ly   w a r ni ng  s ys te m   ( E W S )  w hi c h i s  a n i nnova ti on t ha t  w a s  bor n a s  a  r e s ul t  of  t he  gl oba l  c r is is  t ha t  oc c ur r e d i n 2007 - 2008.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol . 14, No. 3, J une  2025 :  1829 - 1838   1830   T he   be gi nni ng   of   E W S   in   ba nki ng   w a s   m a de   to   m oni to r   th e   ov e r a ll   s ta bi li ty   of   th e   f in a nc ia l  s ys te m   to   pr e ve nt   th e   oc c ur r e nc e   of   s ys t e m ic   r is k  w h e r e   th e   e c onomy de c li ne s  s o  th a t  th e   gl oba l  f in a nc ia l  c r is i s   doe s   not   ha ppe n  a ga in   by  de te c ti ng   c r is is   s ig na ls   be f or e   th e   a c tu a l   c r is is   oc c ur s   [ 4] .  E W S   us e d  by   m a ny  ba nk s   te nds   to   pr oduc e   f a ls e   pos it iv e s ,  th e   w a r ni ngs   gi v e n  be c om e   m e a ni ngl e s s   a nd   it   is   to o   la te   to   c a r r y  out   c r e di t  r is k  m it ig a ti on.  L os s e s   a r e   in e vi ta bl e   b e c a u s e   th e   da t a   us e d  i s   o nl y  ba s e d  on  tr a di ti ona l  da ta  s uc h  a s   f in a nc ia l  da ta   a nd   m one y  m a r ke t s   w it hout   c ons id e r in g  e xt e r na l  e ve nt s   th a t  a r e   ha ppe ni ng.   T hi s   w a s   s e e n   w he n   th e   lo c kdown  w a s   im pl e m e nt e d  dur in g  th e   C O V I D - 19  pa nd e m ic   in   2020,  e c onomi c   a c ti vi ty   de c r e a s e d   c a u s in g  m a ny de bt or s  t o be  t hr e a te ne d w it h ba nkr upt c y ( de f a ul t)  w hi c h w a s  de te c t e d t oo l a te  by t he  E W S   [ 5] .   I n  th e   21 st   c e nt ur y  e r a ,   m a c hi ne   le a r ni ng  is   w id e ly   us e d  by   th e   ba nki ng  s e c to r ,  e s pe c ia ll y  r is k   m a na ge m e nt ,  to   c r e a t e   m or e   a c c ur a te   r is k  m ode ll in g  by   id e nt if yi ng  c om pl e xi ty   a nd  nonl in e a r   pa tt e r ns   [ 6] .  T he   pot e nt ia l  of   m a c hi ne   le a r ni ng  c a n  be   ut il iz e d   to   obt a in   da t a   r e la te d  to   e xt e r na l  e ve nt s   th a t  ha ve   not   be e n   c a pt ur e d  by  th e   E W S   by   e xt r a c ti ng  s e nt im e nt   r e la te d  to   c ur r e n t  e c onomi c   f lu c tu a ti ons   [ 7] .  N a tu r a l  la ngua ge   pr oc e s s in g  ( N L P )   is   u s e d  a s   a n   e f f ic ie nt   w a y   to   r e s e a r c h  t hi ngs   th a t  a r e   im por ta nt   w he n  not   e xpl ic it ly   m e nt io ne d  by  K im   e t  al .   [ 8] .  A   te c hni que   in   N L P   th a t  w a s   pr e v io us ly   popula r ly   us e d  to   obt a in   s e nt im e nt  w a s   th e   le xi c on  a ppr oa c h  w hi c h  c r e a te s   a   di c ti ona r y  of   pos it iv e   a nd  ne ga ti ve   w or ds ,  but   th i s   a ppr oa c h  h a s   th e   w e a kne s s   of   not   be in g  a bl e   to   c a pt ur e   th e   c ont e xt ,  s o  th e   s e nt im e nt   r e s ul ts   be c om e   in a c c ur a te   [ 9] .  T he   di s c ove r y  of   tr a ns f or m e r s   in   th e   w or ld   of   N L P   c a n   c ove r   th e   s hor tc om in gs   of   th is   le xi c on   by  c odi ng   a   s e r ie s   of   w or ds   in to   one   pa r t  w hi c h  is   c a ll e d  a   s e lf - a tt e nt io n  m e c ha ni s m   [ 10] .  T r a ns f or m e r s   a r e   pr ove n  to   be   th e   m os t  f r e que nt ly   us e d  a r c hi te c tu r e   in   N L P   be c a us e   th e ir   pe r f or m a nc e   c a n  e x c e e d  ne ur a l  ne twor k  a r c hi te c tu r e s   w hi c h a r e  w id e ly  us e d t o c r e a te  m ode ls  f r om  uns tr uc tu r e d da ta   [ 11] .   E a r li e r   E W S   r e s e a r c h  a s s e s s e d  ove r a ll   f in a nc ia l  s ta bi li ty   [ 12] .  B a nks ’ s   m oni to r in g  c r e di t  r is k  c a n  us e   de ve lo pe d   in te r na l  m ode ls   th a t  a r e   a dj us te d  to   th e   ba nk' s   s tr a te gy  a nd  c ondi ti ons   [ 13] .  O th e r   th a n  th a t,   E W S   a ls o  he a vi ly   r e li e d  on  f in a nc ia l  r e por ts   us in g  m ode ls   th a t  w e r e   e a s y  to   e xpl a in   s uc h  a s   lo gi s ti c   r e gr e s s io n  [ 14]   w he r e   [ 15]   f in d  th e   be s t  us in g  C a t B oos t  a lg or i th m .  O n  th e   ot he r   ha nd,  to   id e nt if y   c r e di t  r is k   us in g  th e   s e nt im e nt   f r om   ne w s   a lr e a dy  c onduc te d  to   pr ove   it   c a n  s uppor t  th e   tr a di ti ona l  m e th od  of   a s s e s s in g  de bt or   r is k.  H ow e ve r ,  th e r e   is   s ti ll   no  r e s e a r c h  a bout   th e   in te gr a ti on  of   a s s e s s in g  d e bt or   r is k  w it h  th e   c ur r e nt   s e nt im e nt   ne w s   [ 16] .  W hi le   th e   be s t  m e th od  f or   e xt r a c ti ng  s e nt im e nt   is   us e   a   tr a ns f or m e r - ba s e d  pr e - tr a in e d   m ode l  a s   [ 17]   pr ove d  th a t  I ndoB E R T   s ur pa s s   ot he r   m e th ods   in   e xt r a c ti ng  I ndone s ia n  f in a nc ia l  te xt s .   T hi s   pa pe r   a im s   to   c r e a te   E W S   us in g  ba nk  d e bt or ’ s   da ta   a nd  th e n  a dd  th e   r e s ul ts   of   ne w s   s e nt im e nt   a n a ly s is   to   pr e di c t  th e   c r e di t  qua li ty   pa ym e nt   ( pa s s ,  s pe c i a l  m e nt io n,  a nd  non - pe r f or m in g  lo a n ) .  T he   m a in   c ont r ib ut io ns   of   th is   pa pe r   a r e   i )   im p r ove d  tr a di ti ona l  m ode l  a c c ur a c y  by  a ddi ng  th e   r e s ul ts   of   ne w s   s e nt im e nt   a nd  ii )   pr ovi ng  by  a ddi ng  th e   r e s ul ts   of   s e nt im e nt   a n a ly s is   da ta   c a n  he lp   th e   c r e di t  r is k  m it ig a ti on  pr oc e s s   by   pr ovi di ng w a r ni ngs  be f or e  de bt or s  a r e  t hr e a te ne d t o de f a ul t  ( f or w a r d - lo oki ng) .   T he   s tr uc tu r e   of   th e   pa pe r   is   a s   f ol lo w s :   s e c ti on  2  s how s   th e   li te r a tu r e   r e vi e w   o f   th is   r e s e a r c h.  S e c ti on  3  pr ovi de s   how   th e   r e s e a r c h  is   c onduc te d.   S e c ti on  4   pr e s e nt s   th e   a na ly s i s   of   th e   r e s e a r c h  r e s ul t.   S e c ti on 5 c onc lu de s  t hi s  r e s e a r c h.         2.   L I T E R A T U R E   R E V I E W   2.1.    T h e or e t ic al  f ou n d at io n   2.1.1.  E ar ly  w ar n in g s ys t e m   T he   f ir s t  r e s e a r c h  r e la te d  to   E W S   is   pr e di c te d  de bt or   ba nkr upt c y  us in g  r ough  s e ts   a nd  de c is io n  tr e e s   to   f in d  pr obl e m a ti c   c r e di t  pa tt e r ns   s o  th a t  th e y  c a n  pr e di c t  pr obl e m a ti c   c r e di t  be f or e   c us to m e r s   be c om e   de bt or s .  T he   r ough  s e t   a c c ur a c y  w a s   a bl e   to   r e a c h  87.42% ,  s up e r io r   to   th e   de c i s io n  tr e e   w ho s e   a c c ur a c y   w a s   83.33%   [ 18] .  S e c ond  r e s e a r c h  m a de   a   c om pa r is on   of   s e ve r a l  c la s s if ic a ti on  a lg or it hm s   in   th e   c a s e   of   pr e di c ti ng  ba nkr upt c y  of   c or por a te   s e gm e nt   c om pa ni e s   us in g   2014 - 2016  f in a nc ia l  r e por t  da ta   of   ba nkr upt   c om pa ni e s   in   F r a nc e .  A s   a   r e s ul t,   C a tB oos t' s   pe r f or m a nc e   c a n  s ur pa s s   8  ot he r   popul a r   a lg or it hm s ,  na m e ly   di s c r im in a nt   a na ly s is ,  lo gi s ti c   r e gr e s s io n,  s uppor t  ve c to r   m a c hi ne ,  ne ur a l  ne twor k,  r a ndom  f or e s t,   gr a di e nt   boos ti ng, de e p ne ur a l  ne twor ks , a nd X G B oos t   [ 15] .   T hi r d  r e s e a r c h  us e d  a   lo gi s ti c   r e gr e s s io n  a lg or it hm   to   de te c t  ba nk  ba nkr upt c y  us in g  f in a nc ia l  r e por t   da ta   publ is he d  by   th e   ba nk  a nd  m a c r oe c onomi c   da ta .  L ogi s ti c   r e gr e s s io n  pr oduc e s   a n  a c c ur a c y   of   89.76% ,  w he r e   th e   c r is i s   s ig n a l  th a t  w a s   s uc c e s s f ul ly   c a pt ur e d  ( tr u e  po s it iv e   ( TP ) )   w a s   67.64% ,  th e   c r is i s   s ig n a l  th a t  w a s   lo s t  ( f a ls e   ne ga ti ve   ( FN ) )   w a s   32.35% ,   a nd  th e   f a ls e   c r is is  s ig na l  ( f a ls e   pos it iv e   ( FP ) )   of   7.52%   [ 14] .  T he   f our th   a nd  f i f th   r e s e a r c h  pr e di c ts   de bt or   ba nkr upt c y  us in g  a   ne ur a l  ne twor k  a lg or it hm   th a t  opt im iz e d  w e ig ht   a nd   th r e s hol d  w it h  a   c r os s - ove r   of   0.4  a nd   m ut a ti on  of   0.2  a nd   a c c ur a c y  r e a c h e d  97%   w it h  e r r or   r e duc e d  by   55.8%   w hi le   c om pa r in g  ba c kpr opa ga ti on  ne ur a l   ne twor ks   w it h   m ode ls   th a t  a r e   us ua ll y  us e d  to   pr e di c t  f ut ur e   c r e di t  r is k,  na m e ly   a ut or e gr e s s iv e   m od e ls   a nd   lo gi s ti c   r e gr e s s i on,  it   w a s   f ound  th a t  ba c kpr opa ga ti on   ne ur a l  ne twor ks  i nc r e a s e  t he  a c c ur a c y of  f ut ur e - lo oki ng  c r e di t  r is k m a na ge m e nt   [ 19] , [ 20 ] . S ix th  r e s e a r c h m ode ll in g   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       T he  i nf lu e nc e  of  s e nt ime nt  analy s is  i n e nhanc in g e a r ly  w a r ni ng  s y s te m  m od e l  fo r  c r e di t  …  ( A nge l  K ar e nt ia )   1831   a   c om pr e he ns iv e   E W S   f or   C hi ne s e   E nt e r pr is e s   by  ut il iz in g  qu a nt it a ti ve   a nd  qua li ta ti ve   us in g  f u s io n - lo gi s ti c   a lg or it hm  r e a c he d a c c ur a c y 89.7%  i n pr e di c ti ng s pe c i a l  tr e a tm e nt  c om pa ni e s   [ 21] .       2 .1.2. S e n t im e n t  an al ys is   F ir s t  r e s e a r c h  r e la te d  to   s e nt im e nt   a na ly s is   a ppl ie d  in   th e   f in a nc ia l  s e c to r   w a s   c onduc te d  us in g   I ndoB E R T ,  w hi c h  to   id e nt if y  ne w s   r e la te d  to   s to c k  pr ic e   m ove m e nt s ,  obt a in e d  a n  a c c ur a c y  of   68% ,   s ur pa s s in g   th e   pe r f or m a nc e   of   ot he r   a lg or it hm s   s uc h  a s   lo gi s ti c   r e gr e s s io n,  di s c r im in a nt   li ne a r   a na ly s is ,     k - ne a r e s t  ne ig hbor s ,  d e c is io n  tr e e ,  s uppor t  v e c to r   m a c hi ne ,   r a n dom   f or e s t,   X G boos t,   na ïv e   B a ye s ,  lo ng s hor t - te r m   m e m or y ,  a nd  m u lt i - la ye r   pe r c e pt r on  [ 17] .   T he   s e c ond  r e s e a r c h  us e d  a   le xi c on  a ppr oa c h  to   a na ly z e   s e nt im e nt   f r om   G e r m a n  twe e ts   r e la te d  to   c om pa ni e s   by   c om bi ni ng  S e nt iW or ts c ha tz   ( G e r m a n)   a nd   S e nt iW or dN e t  3.0  ( E ngl is h)   e nha nc e d  w it h  G e r m a N e t  r e s ul ti ng  in   a n  a c c ur a c y  of   59.19%   a nd  s ur pa s s in g  r a ndom  c la s s if ic a ti on  p e r f or m a nc e   [ 22] .  T hi r d  r e s e a r c h   ha s   c r e a te d  a   m od e l  to   id e nt if y  c r e di t  r is k  th r ough  f in a nc ia l  ne w s   by e xt r a c ti ng  s e nt im e nt   f r om   e le c tr a - ba s e d  ta r ge t  e nt it y  s e nt im e nt   ( T E S )   w hi c h  a na ly s e s   n e w s   r e la te d  to   c om pa ni e s   th a t  a r e   in   th e   pr oc e s s   of   a ppl yi ng  f or   c r e di t.   T hi s   m ode l  pr oduc e s   a n  F 1 - s c or e   of   77%   w he r e  t he  be s t  pe r f or m a nc e  i s  i n t he  or ga ni z a ti on t a g  [ 23] .   F our th   r e s e a r c h  c r e a te d  a   m ode l  f or   id e nt i f yi ng  c r e di t   r is k  f r o m   ne w s   th a t  c om bi ne s   s our c e - la te nt   D ir ic hl e t   a ll oc a ti on  ( L D A ) ,  na m e d  e nt it y  r e c ogni ti on  ( N E R ) ,   a nd  ta r ge t  a s pe c t - ba s e d  s e nt im e nt   ( T A B S A )   us in g  bi di r e c ti ona l  e nc ode r   r e pr e s e nt a ti ons   f r om   tr a ns f or m e r s   ( B E R T ) .  T hi s   c om bi na ti on  m ode l  pr ove s   th a t   s e nt im e nt   s c or e s   s tr e ngt he n  tr a di ti ona l  pr e di c ti ons   th a t  onl y  u s e   s tr uc tu r e d  f in a nc i a l  va r ia bl e s   a nd  in c r e a s e   th e   pr e di c ti ve   pow e r   of   c om pa ni e s   le a vi ng  ba nks   ot he r   th a n  due   to   ba nkr upt c y  [ 24] .  T he   f if th   r e s e a r c h  id e nt if ie s   c r e di t  r is k  us in g  ne w s   m a ki ng  th e   R i s ky  N e w s   I nde x   by  a ggr e ga ti ng  ne w s   s c or e s   r e la te d  to   c r e di t,   in ve s tm e nt   s tr a te gi e s ,  a nd  f undi ng  ba s e d  on  th e   w or d   ve c to r   d is ta nc e   r e s ul ti ng  f r om   w or d   e m be ddi ngs   f r o m   f in a nc ia l  ne w s   c r e a te d  u s in g  th e   W or d2V e c   m e th od  to   o bt a in   s c or e   a ggr e ga ti on.  N e w s   is   pos it iv e ly   c or r e la te d w it h c la s s ic  f in a nc i a l  r e por ts   [ 16] .      2.2.  T h e or e t ic al  gap s   2.2.1. I n ac c u r ac y o f  E WS   m od e l  m ad e  w it h  s t r u c t u r e d  f in a n c ia l  var ia b le s  on ly   T he   C O V I D - 19  pa nde m ic   ha s   m a de   gl oba l  e c onomi c   c ondi ti ons   unc e r ta in .  T he   us e   of   E W S   a t  th a t   ti m e   be c a m e   le s s  a c c ur a te   b e c a u s e   it   di d  not   c on s id e r   th e   e xt e r na l  e ve nt s   th a t   w e r e   ha pp e ni ng.  A n  in nova ti ve   a ppr oa c h i s  ne e de d  w he r e  E W S  a nd e xt e r na l  s e nt im e nt  do not r un i ndi vi dua ll y.     2.2.2. S p e c i f i c   t e r m s   i n   t h e   f i n a n c i a l   d o m a i n   a n d   l a n g u a g e   s t r u c t u r e s   v a r y   b e t w e e n   t e x t s   i n   d i f f e r e n t   l a n g u a g e s   V a r io us   N L P   s tu di e s   ha ve   be e n  c onduc te d  to   im pr ove   s e nt im e nt   a na ly s is   s pe c if ic a ll y  f or   th e   f in a nc ia l  dom a in .  H ow e ve r ,  if   th e   la ngua ge   of   th e   te xt   us e d  is   di f f e r e nt ,  a   m ode l  s pe c if ic   to   th a t  la ngua ge   is   ne e de d.  A ls o,  th e   un a va il a bi li ty   of   da ta s e ts   s pe c if ic   to   th e   f in a nc ia l  dom a in   is   s ti ll   a   bi g  c ha ll e ng e .  A n  a ppr opr ia te  a ppr oa c h i s  ne e de d  s o t ha t  th e  r e s ul ti ng s e nt im e nt  a na ly s is  c a n b e  us e f ul .     2.2.3. S e n t im e n t  an al ys is  r e s e ar c h  i n  i d e n t if yi n g c r e d it  r is k  l im it e d  t o as s e s s  n e w  d e b t or   S e nt im e nt  a na ly s is  r e s e a r c h i n i de nt if yi ng c r e di t  r is k only a na ly z e d de bt or s  w ho w il l  a ppl y f or  c r e di t   a nd  pr ove d  th a t  th e r e   w a s   a   c or r e la ti on  w it h  tr a di ti ona l  f in a nc ia l  da ta .  D ue   to   th e   s hor tc om in gs   of   th e s e   s tu di e s ,  it   is   ne c e s s a r y  to   ha ve   a   m e th od  f or   de te c ti ng  s ig na ls   of   de te r io r a ti on  f r om   e xi s ti ng  de bt or s .  I t  c a n   c a pt ur e   f ut ur e - lo oki ng  c r e di t  r is ks   by  c r e a ti ng  a n  E W S   th a t  c o m bi ne s   tr a di ti ona l  da ta   f r om   f in a nc ia l  r e por ts   w it h t he  l a te s t  f in a nc ia l  ne w s   s o i t  c a n r e f le c t  th e  c ur r e nt  e c ono m ic  s it ua ti on.      2.3 .     C on c e p t u al  m od e l   W he n  th e   ba nk  gi ve s   c r e di t,   id e a ll y  th e   de bt or   w il l  pa y  a c c or di ng  to   th e   pa ym e nt   s c he dul e .  I f   th e   c r e di t  pa ym e nt   f ol lo w s   th e   pa ym e nt   s c h e dul e ,  th e n  th e   c r e di t  q ua li ty   is   ' pa s s ' .  I f   th e   pa ym e nt   is   d e li nque nt   by  1 - 90  da ys   f r om   th e   pa ym e nt   s c he dul e ,  th e n  th e   c r e di t  qua li ty   is   ' s pe c ia l  m e nt io n' .  M e a nw hi le ,  if   th e   pa ym e nt   is   de li nque nt   by   m or e   th a n   90  d a ys   f r om   th e   pa ym e nt   s c h e dul e ,  th e n  th e   c r e di t  qu a li ty   is   a   ‘ non - pe r f or m in g   lo a n’ .  C r e di t  qua li ty   in   th e   c om in g  m ont hs   w il l  be   th e   ta r ge t  o f   E W S   pr e di c ti on  w it h  in de pe nde nt   va r ia bl e s   f r om   th e   in te r na l  m ode l.   I n  a ddi ti on,  f r om   th os e   E W S   s tu di e s ,  lo gi s ti c   r e gr e s s io n  i s   w id e ly   us e d  be c a us e   of   it s   e a s e   of   e xpl a na ti on   [ 25] .  A f te r   ot he r   m or e   a dva n c e d  t e c h ni que s   w e r e   f ound,  s u c h  a s   r ough  s e t,   ne ur a l  ne twor k,  a nd  boos te d  m ode l,   th e ir   a c c ur a c y  out pe r f or m s   th e   l ogi s ti c   r e gr e s s io n,  but   th e ir   e xpl a na ti on  is   s ti ll   not  a s  e a s y  a s  l ogi s ti c   r e gr e s s io n.   T he   e m e r ge nc e   of   tr a ns f or m e r   ha s   m a de   it   e a s ie r   f or   th e   N L P   c om m uni ty   to   de ve lo p  pr e - tr a in e d   m ode ls   c a ll e d  la r ge   la ngua ge   m ode ls   ( L L M )   w hi c h  us e   a   lo t  of   te xt   in   it s   c r e a ti on  p r oc e s s   [ 26] .  L L M   c a n   s im pl if y  th e   m ode l  c r e a ti on  pr oc e s s   w he r e   you   do  not   h a ve   to   t r a in   f r om   s c r a tc h  be c a us e   it   ju s t  ne e ds   to   f in e - tu ne /t r a ns f e r   le a r ni ng  f r om   L L M   to   th e   da ta s e t  to   e xt r a c t  f e a tu r e s   f r om   th e   da ta s e t.   F in a nc ia l  ne w s   in   th e   I ndone s ia n  la ngua g e   is   s ti ll   a   c ha ll e ng e   due   to   th e   una va il a bi li t y  of   da ta s e ts  s pe c if ic   to   th a t  dom a in   [ 27] .  T hi s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol . 14, No. 3, J une  2025 :  1829 - 1838   1832   li m it a ti on  c a n  be   ove r c om e   by  f in e - tu ni ng/ t r a ns f e r   le a r ni ng   th e   L L M   m ode l  w it h  a   s pe c if ic   da ta s e t  on   f in a nc ia l  ne w s   to   be   a bl e   to   c a pt ur e   th e   c ont e xt ,  s o  th e   r e s ul t  of   s e nt im e nt   r e la te d  to   e c onomi c   f lu c tu a ti ons   r e f le c ts   th e   e xt e r na l  e v e nt s   th a t  a r e   c ur r e nt ly   oc c ur r in g.  T hi s   ha s   be e n   im pl e m e nt e d  in   F in B E R T   by  f in e - tu ni ng  B E R T   u s in g  a   d a ta s e t  of   E ngl is h  f in a nc ia l  te xt s   w hi c h  is   pr ove n   to   im pr ove   th e   p e r f or m a nc e   of   r e gul a r  B E R T  on f in a nc ia l  te xt s   [ 28] , [ 29] .       2.4 .     I n n ovat io n   T he   m a in   c ont r ib ut io n  of   th is   pa pe r   is   to   m a ke   a   s e nt im e nt   a na ly s is   m ode l  f r om   th e   I ndone s ia n  la ngua ge   L L M   w hi c h  is   s pe c if ic a ll y  f or   th e   e c onomi c   dom a in   by  c ont in ui ng  th e   le a r ni ng  pr oc e s s   of   th e   or ig in a l  I ndoB E R T   us in g  I ndone s ia n  f in a nc ia l  ne w s .  I ndoB E R T ,  w he r e   th is   m ode l  c a n  s ur pa s s   th e   m ul ti li ngua l  pe r f o r m a nc e   of   B E R T   a nd   M a la yB E R T   in   e x tr a c ti ng  s e nt im e nt   f r om   ge ne r a l  I ndone s ia n   la ngua ge   te xt   [ 30] .  T he   upgr a d e d  I ndoB E R T   is   u s e d   to   e xt r a c t  f e a tu r e s   f r om   th e   f in a n c ia l  ne w s   s e nt im e nt   a na ly s is  da t a s e t.   A f te r   th e   s e nt im e nt   is   ge ne r a te d,  it   w il l  be   a dde d  to   th e   ba n k  de bt or   da ta s e t  to   pr e di c t  th e   c r e di t   qua li ty   in   th e   ne xt   2  y e a r s   u s in g  th e   C a tB oos t  a lg or it hm .  C a t B oos t  is   u s e d  a s   a n  a lg or it hm   be c a u s e   it   ha s   f e a tu r e s   th a t  pr e ve nt   ove r f it ti ng  a nd  is   e f f ic ie nt   w he n  th e   in f e r e nc e   pr oc e s s   is   c a r r ie d  out .  I n  th e   e nd,   th e   r e s ul t  of  de c is io n t r e e  i s  s ym m e tr ic a l   [ 31] , [ 32] . T hi s  m ode l  w il l  be  t he  E W S .   E W S  t e s ti ng i s  di vi de d i n to  2  m ode s  w he r e  E W S  w it hout  s e nt im e nt  r e s ul ts  a nd E W S  w it h  s e nt im e nt   r e s ul ts .  T he   a im   is   to   c om pa r e   th e   pe r f or m a nc e   of   th e   tr a di ti ona l  m ode l  w it h  th e   ot he r   m ode l  th a t  ha s   be e n   a dde d  w it h  s e nt im e nt   a n a ly s is   r e s ul ts .   I n  a ddi ti on,  th e   E W S   th a t  w a s   c r e a te d   in ve s ti ga te d   w he th e r   it   us e s   s e nt im e nt   a na ly s is   r e s ul ts   to   c r e a te   f or w a r d - lo oki ng  us in g  S h a pl e y   a ddi ti ve   e xpl a na ti ons   ( S H A P )   s o  th a t  i t   c a n c r e a te  a  b e tt e r  c r e di t  r is k m it ig a ti on pr oc e s s  by pr ovi di ng w a r ni ngs  be f or e  t he  de bt or  goe s  ba nkr upt .         3.   M E T H O D   3.1.  Dat a c ol le c t io n   T he   da ta   c ol le c ti on  is   c a r r ie d  out   by  w e b  s c r a pi ng  th e   C N B C   I ndone s ia   ne w s   por ta l  w it h  th e   S c r a py  pa c ka ge   us in g  th e   P yt hon  pr ogr a m m in g  la ngua ge   in   G oogl e   C ol la bor a to r y  ( P yt hon  3.9  ve r s io n) .  T he   c ol le c te d  ne w s   is   th e   ne w s   th a t  w a s   publ i s he d  f r om   2018 - 2022.  T he   r e s ul ts   a r e   s a v e d  e ve r y  m ont h  in   a   f il e   in   C S V   f or m a t.   A f te r   obt a in in g  th e   ne w s   da ta ,  it   w a s   r a ndomi z e d  a nd  th e n  a nnot a te d  in to   3   la be ls   ( ne ga ti ve ,   ne ut r a l,   a nd  pos it iv e )  ba s e d on the  de ta il e d c ont e nt  of  t he  ne w s  a r ti c le  w it h 500 ins ta nc e s  of  e a c h l a be l,  s o t he   to ta l  s e nt im e nt   a na ly s i s   da ta s e t  in s ta n c e s   a r e   1,500  in s ta nc e s .  M e a nw hi le ,  E W S   da ta   u s e s   c or por a te   s e gm e nt   c r e di t  da ta   f r om   one   of   th e   pr iv a te   ba nks   in   I ndone s i a   f r om   th e   2018 - 2022  pe r io d.  F ig ur e   1  s how s   th e   w hol e   f lo w  of  t he  pr opos e d m e th od.             F ig ur e  1. P r opos e d  m e th od f lo w   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       T he  i nf lu e nc e  of  s e nt ime nt  analy s is  i n e nhanc in g e a r ly  w a r ni ng  s y s te m  m od e l  fo r  c r e di t  …  ( A nge l  K ar e nt ia )   1833   3.2.  P r e - p r oc e s s in g   S ta r t  f r om   p r e - pr oc e s s in g  th e   te xt   da ta   by  c a s e - f ol di ng   to   e qua t e   a ll   c ha r a c te r s   us e d  in   ne w s   a r ti c le s   to   lo w e r c a s e   us in g  th e   s tr .l ow e r ( )   f unc ti on  a nd  r e m ovi ng  m e a ni ngl e s s   r e pe ti ti ve   s e nt e n c e s   us in g  th e   r e pl a c e ( )   f unc ti on  f r o m   th e   P a nda s   pa c ka ge   ( 2.2.0  ve r s io n) .  T he   ne xt   s te p  is   r e m ovi ng  nu m be r s   a nd  punc tu a ti on  us in g   th e  R e ge x pa c ka ge  ( 2023.12.25 ve r s io n) . A f te r  t ha t,  c or r e c ti ng   non - s ta nda r d w or ds  i nt o s ta nda r d w or ds  us in g   a n  A la y  la ngua ge   di c ti ona r y  f r om   th e   r e s e a r c h  [ 33] .  A f te r   c or r e c ti on,  c ont in ue d  to   th e   s to pw or d s   r e m ova l  to   r e m ove   m e a ni ngl e s s   w or d s   s u c h  a s   c onj unc ti ons   u s in g  th e   I ndone s ia n  s to pw or d  di c ti ona r y  f r om   th e   N L T K   pa c ka ge   ( 3.8.1  ve r s io n) .  T he   la s t  s te p  i s   e xt r a c ti ng  th e   r oot   w or ds   f r om   w or ds   in   ne w s   a r ti c le s   us in g  th e   S a s tr a w i  pa c ka ge   ( 1.0.1  ve r s io n) .  P r e - pr oc e s s in g  th e   da ta s e t  f or   th e   la ngua ge   m ode l  doe s   not   r e qui r e   s te m m in g t o m a in ta in  pa r a gr a phs  t ha t  c a n be  und e r s to od by hu m a ns .   P r e - pr oc e s s in g  on  th e   E W S   da ta s e t  w a s   c a r r ie d  out   by  a ddi n g  s e nt im e nt   a na ly s is   r e s ul ts   in to   th e   E W S   da ta s e t  on R S tu di o  ( R   4.2.0  ve r s io n) .  T h e   pr oc e s s   of   a ggr e ga ti ng  s e nt im e nt   a n a ly s is   r e s ul ts   in   th e   E W S   da ta s e t  us in g  th e   dpl yr   ( 1.0.9  ve r s io n)   to   f il te r   ne ga ti ve   s e nt im e nt   r e s ul ts   w hi c h  ha ve   a   pr oba bi li ty   pr e di c ti on   a bove   80%   a nd   s tr _de te c t  f unc ti on  f r om   ti dyve r s e   pa c ka g e s   ( 1.3.1  ve r s io n)   to   de te c t  de bt or ' s   in du s tr ia l  s e c to r . T a bl e  1  s how s  t h e  de ta il s  of  E W S  va r ia bl e s .         T a bl e  1. V a r ia bl e  of  E W S   da ta s e t   V a r i a bl e   D a t a   t ype   E xpl a na t i on   I nt e r na l  r i s k gr a di ng   N um e r i c   L ow  r i s k - hi gh r i s k:  1 - 10   C ur r e nt  c r e di t  qua l i t y   C a t e gor i c a l   D e l i nque nt   0 da y:  ‘ P a s s ’   1 - 90 da ys :  ‘ S pe c i a l  M e nt i on’   > 90 da ys :  ‘ N on - pe r f or m i ng L oa n’   U s a ge   N um e r i c   C r e di t   out s t a ndi ng di vi de d by c r e di t  pl a f ond   U S D  t o I D R   N um e r i c   E xc ha nge  r a t e   f r om  U S D  t o I D R   B i  r a t e   N um e r i c   T he  pr e va i l i ng i nt e r e s t  r a t e  of  t he   c e nt r a l  ba nk  i n I ndone s i a   I nf l a t i on r a t e   N um e r i c   I ndone s i a ’ s  i nf l a t i on r a t e   H a s  ne ga t i ve  ne w s   C a t e gor i c a l   D e bt or s  ha ve  ne ga t i ve  ne w s  ba s e d on t he i r  i ndus t r y s e c t or   I f  a ny:  ‘ Y e s ’   O n t he  c ont r a r y:  ‘ N o’   C ount  ne ga t i ve  ne w s   N um e r i c   T ot a l  c ount  of  de bt or ’ s  ne ga t i ve  ne w s  ba s e d on i t s  i ndu s t r y s e c t or       3.3.  M od e ll in g   T h e   m od e l li n g   pr o c e s s   s t a r t s   w it h   t h e   u n a n no t a t e d   n e w s   d a ta   to   c r e a t e   a n   I nd o B E R T   m o de l   t h a t   i s   s p e c if ic   t o  t h e   e c o no m i c  do m a i n by f i n e - t u ni ng a n e x i s t i ng I n doB E R T  m o d e l  ( i nd o be n c hm a r k/ in d ob e r t - ba s e - p 2)   pr ovi de d  by  I ndoB e nc hm a r k  on  th e   hugging  f a c e   por ta l  in to   a   ne w   la ngua ge   m ode l.   N e xt ,  th e   ne w   la ngua ge   m ode l  be c a m e   a   m ode l   th a t  e xt r a c t s   f e a tu r e s   f r om   th e   s e nt im e nt   a na ly s i s   da ta s e t  a nd  th e   r e s ul ts   b e c a m e   a   m ode l  f or   pr e di c ti ng  ne w s   s e nt im e nt .  B ot h  pr oc e s s e s   a r e   c a r r ie d  out   us in g  th e   s im pl e   tr a ns f or m e r s   pa c ka ge   ( 0.64.3 ve r s io n) .   T he   da ta   te s ti ng  m e th od  us e d  f or   m ode ll in g  ne w s   s e nt im e nt   a na ly s is   us e s   a   p e r c e nt a ge   s pl it   te s t  m e th od of  90%  w he r e  1,350 ins ta nc e s  a s  t r a in in g da ta  a r e  t a ke n , 75 ins ta nc e s  of  w hi c h a r e  t a k e n a s  v a li da ti on  da ta   a nd  150   in s ta nc e s   a s   t e s t  da t a .  H ype r pa r a m e te r   tu ni ng   w a s   a l s o  c ondu c te d  on  th e   s e nt im e nt   a na ly s i s   us in g  le a r ni ng  r a te ,  e poc h,   a nd  r e gul a r iz a ti on  va lu e s .  T he   ba t c h  s iz e   a nd   m a x  s e que nc e   le ngt h  va lu e s   a r e   m a de   f ix e d  w he r e   th e   ba tc h   s iz e   us e d  is   16  w hi le   th e   m a x   s e que nc e   le ngt h  i s   512   w hi c h  is   th e   m a xi m um   c a pa c it y  of   a   B E R T - ba s e d  a r c hi te c tu r e   to   r e c e iv e   s e qu e nt ia l  da ta .  T he   opt im iz e r   th a t  is   us e d  is   A da m   W .    I n  a ddi ti on,  e a r ly   s to ppi ng  is   us e d  to   pr e ve nt   ove r f it ti ng  by  m oni to r in g  th e   in c r e a s e   of   M a th e w s   c or r e la ti on  c oe f f ic ie nt   ( M C C )  va lu e  w hi c h ha s  be e n pr ove n t o be  r e li a bl e  f or  a s s e s s in g t he  m ode l  pr opor ti ona ll y  f or  e a c h   c la s s  e l e m e nt  i n t he  da ta s e t  [ 34] . A ll  pa r a m e te r s  a r e  s um m a r iz e d i n T a bl e  2.         T a bl e  2. P a r a m e te r s  of  s e nt im e nt  a na ly s i s  m ode ll in g   P a r a m e t e r   V a l ue   B a t c h  s i z e   16   O pt i m i z e r   A da m   W   E a r l y  s t oppi ng   M C C  ( de l t a =0.01)   M a x  s e qu e nc e   l e ngt h   512   L e a r ni ng  r a t e   5e - 5 - 1e - 5   E poc h   2 - 5   R e gul a r i z a t i on   0 - 0.2       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol . 14, No. 3, J une  2025 :  1829 - 1838   1834   A f te r   th e   s e nt im e nt   a n a ly s is   m ode l  is   c r e a te d,  th e   E W S   da ta s e t   s ta r ts   to   b e   pr e - pr oc e s s e d  by   a ddi ng  va r ia bl e s   f r om   th e   s e nt im e nt   a na ly s is   r e s ul ts .  E W S   m ode ll in g  is   c a r r ie d  out   us in g  th e   C a tB oos t  a lg or it hm   w it h  a   pe r c e nt a ge   s pi lt   te s ti ng  m e th od  of   80%   a nd  100  it e r a ti o ns   f or   pr e di c ti ng  th e   de bt or ’ s   c r e di t  qua li ty   f or   th e   ne xt   3,   6,  9,   12,  15,  18,   21,  a nd  24  m ont h s .  T he   pr oc e s s   of   di vi di ng  th e   da ta s e t  f or   m ode ll in g  u s e d  th e   s c ik it - le a r n  ( s kl e a r n)   pa c ka ge   ( 1.0.2  ve r s io n)   a nd  th e   C a tB oos t  a lg or it hm   f r om   th e   C a tb oos t  pa c ka ge     ( 1.2.3 ve r s io n)  on t he  J upyt e r  N ot e book ( 8.2.0 ve r s io n) .     3.4.  P e r f or m an c e   m e as u r e m e n t   T he   pr oc e s s   of   m e a s ur in g  la ngua ge   m ode l   c a n  u s e   lo g  pr ob a bi li ty   a nd  pe r pl e xi ty   a s   e v a lu a ti on  m e tr ic s   w he r e     is   a   to ke n  a t  t - pos it io n  a nd   p  is   th e   pr oba bi li ty   [ 35] .  T he   s e nt im e nt   a na ly s is   m od e l  a nd  th e   E W S   m ode l  us e   th e   c onf us io n  m a tr ix   to   obt a in   p r e c is io n,  r e c a ll ,  a nd  a c c ur a c y  va lu e s   f or   a   c la s s if ic a ti on  m ode l.  T a bl e  3 s ho w s  t he  c onf us io n m a tr ix  of  3 c la s s e s .         = ∑ 2 ( | < ) 1 =   ( 1)      = ( 1 , 2 , …   , ) = 2 − 1 ∑ l o g 2 ( | < ) 1 =   ( 2)       T a bl e  3. C onf us io n  m a tr ix  of  3 c la s s e s   A c t ua l   P r e di c t i on   C l a s s  1   C l a s s  2   C l a s s  3   C l a s s  1   T r ue  C 1   F a l s e  C 2a   F a l s e  C 3a   C l a s s  2   F a l s e  C 1a   T r ue  C 2   F a l s e  C 3b   C l a s s  3   F a l s e  C 1b   F a l s e  C 2b   T r ue  C 3        =    1    1 +   1 +   1 +    2   2 +    2 +   2 +    3   3 +   3 +    3 3   ( 3)     =    1    1 +   2 +   3 +    2   1 +    2 +   3 +    3   1 +   2 +    3 3   ( 4)      =   1   +     2   +     3   1   +     1 … 1   +     2   +     2 … 2   +     3   +     3 … 3   ( 5)     T o  ha ve   a   be tt e r   unde r s ta ndi ng  of   how   th e   E W S   m ode l  w or ks   w he th e r   it   ut il iz e s   th e   r e s ul ts   of   s e nt im e nt   a na ly s is   or   not ,  a   s e a r c h  f or   f e a tu r e   im por ta nc e   is   c a r r ie d  out   to   know  how   th e   m ode l  m a k e s   d e c is io ns   us in g   T r e e S H A P   f r om   th e   S H A P   pa c ka ge .  T r e e S H A P   is   de s ig ne d   to   e xt r a c t  S ha pl e y  va lu e s   f r om   s pe c if ic   tr e e - ba s e d m ode ls   s o t ha t  it  i s  s ui ta bl e  f or  t he  C a tB oos t  a lg or it hm   [ 36] , [ 37] .         4.   R E S U L T S  A N D  D I S C U S S I O N   W hi le   e a r li e r   r e s e a r c h  s uc c e s s f ul ly   m ode le d  th e   c la s s ic   f in a nc ia l  r e por ts   to   c a tc h  th e   s ig na l  of   de te r io r a ti on, a nd t he   f in a nc ia l  ne w s  ha s  a  pos it iv e  c or r e la ti on  w it h i t,  no  r e s e a r c h ha s  c om bi ne d t he  f in a nc ia l   r e por ts   w it h  th e   f in a nc ia l  ne w s .  S ta r t  by  m a ki ng  a   s e nt im e nt   a na ly s is   m ode l  f r om   f in a nc ia l  ne w s   th e n  th e   r e s ul t  is  a dde d t o t he  f in a nc ia l  r e por ts . A f te r  i t  is  a dde d, i t  w il l  be  t he  da ta s e t  of  e nha n c e d E W S .     4.1.  S e n t im e n t  an al ys is  m od e l   F r om   w e b  s c r a pi ng  f r om   th e   C N B C   I ndone s ia   ne w s   por ta l,   th e r e   a r e   258,678   ne w s   c ol le c te d,    a nd  it   w a s   us e d  a s   a   da t a s e t  to   f in e - tu ne   I ndoB E R T   in to   a   ne w   la ngua ge   m ode l.   A s   s how n  in   T a bl e   4,     th e   r e s ul ts   of   th e   n e w   la ngua g e   in c r e a s e   lo g  pr oba bi li ty   b y  7.04  a nd  r e duc e   p e r pl e xi ty   by  58,275.74,  in di c a ti ng  th a t  th e   r e s ul ts   of   f in e - tu ni ng  I ndoB E R T   in to   a   ne w   la ngua ge   m ode l  c a n  r e c ogni z e   f in a nc i a l  ne w s   te xt  be tt e r  t ha n t he  or ig in a l  I ndoB E R T  m ode l  w it hout  f in e - tu ne . T he  s e nt im e nt  a na ly s is  c r e a te d f r om  t he  ne w   la ngua ge   m ode l   pr oduc e s   th e   b e s t  r e s ul ts   on   hype r pa r a m e te r s   le a r ni ng  r a te = 3e - 5,  r e gul a r iz a ti on = 0.1,    a nd  e poc h= 5   w it h  pr e c is io n   of   80.89% ,  r e c a ll   of   80.67% ,  a nd   a c c ur a c y  of   80.67%   on   te s t  d a ta .  T hi s   r e s ul t  s how s   th a t  f in e - tu ni ng  th e   ne w   la ngua ge   m ode l  c a n  a c hi e v e   be tt e r   r e s ul ts   c om pa r e d  to   th e   or ig in a l  la ngua ge   m ode l.   A s   s how n  in   T a bl e   5,  th is   r e s ul t  is   hi ghe r   c om pa r e d  to   ot he r   s im il a r   pr e vi ous   r e s e a r c h  f r o m     A nde r ie s   e t  al .   [ 17]   w hi c h  obt a in e d  a n  a c c ur a c y  of   onl y   68%   on  te s t  da ta .  T hi s   m ode l  is   us e d  to   ge ne r a te   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       T he  i nf lu e nc e  of  s e nt ime nt  analy s is  i n e nhanc in g e a r ly  w a r ni ng  s y s te m  m od e l  fo r  c r e di t  …  ( A nge l  K ar e nt ia )   1835   ne w s   s e nt im e nt   a nd  a dd  it   to   th e   E W S   da ta s e t.   H ow e ve r ,  t hi s   good  r e s ul t  c a n  be   obt a in e d  be c a us e   th e   pr opos e d  m e th od  c ont in ue d   th e   pr oc e s s   of   or ig in a l  la ngua ge   m ode l  le a r ni ng,  s o   it   ha s   a   b e tt e r   unde r s ta ndi ng   of   th e   da ta s e t.   T he   pr opo s e d  m e th od   a ls o   onl y  u s e s   one   s our c e   of   f in a nc ia l  n e w s   w hi c h  c a n  h a ve   th e   s a m e   w r it in g  s ty le .  F ut ur e   r e s e a r c h  m a y  a dd  m or e   r e s our c e s   of   da ta   to   gi ve   m or e   va r ia ti on  to   gi ve   a   be tt e r   ge ne r a li z a ti on.        T a bl e  4. R e s ul t  of   f in e - tu ne  I ndoB E R T  i nt o  la ngua ge  m ode l   F i ne - t une   s t a t us   L og  pr oba bi l i t y   P e r pl e xi t y   B e f or e   - 10.97   58,326.80   A f t e r   - 3.93   51.06       T a bl e  5. C om pa r is on t o  ot he r s  s im il a r  r e s e a r c h   R e s e a r c he r   R e s ul t  ( A c c ur a c y)   (%)   A nde r i e s   e t  al .   [ 17]   68   T hi s  R e s e a r c h   81       4.2.  E WS   m od e l   A   s um m a r y  of   th e   pe r f or m a nc e   of   th e   E W S   m ode l  c a n  be   s e e n  in   T a bl e   6.  F r om   th e   r e s ul ts   of   th e   E W S   m ode ll in g,  th e   pr e c is io n,  r e c a ll ,  a nd  a c c ur a c y  va lu e s   a f te r   a ddi ng  th e   s e nt im e nt   a na ly s is   r e s ul t s   a r e   m os tl y  hi ghe r   th a n  be f or e   a ddi ng  th e   s e nt im e nt   a na ly s is   r e s ul ts   s o  th e   E W S   pe r f or m a nc e   a f te r   a ddi ng  th e   s e nt im e nt   a na ly s is   r e s ul ts   pr oduc e s   be tt e r   pe r f or m a nc e .   H ow e ve r ,  ove r   ti m e   th e   pr e di c te d   c r e di t  qua li ty   s ti ll   s how s   poor   r e s ul ts .  I n  a ddi ti on,  E W S   be f or e   a nd  a f te r   a ddi ng   s e nt im e nt   a na ly s is   r e s ul ts   a lw a ys   ha s   hi ghe r   pr e c is io n  c om pa r e d  to   r e c a ll ,  in di c a ti ng  th a t  E W S   ha s   de s c r ib e d  th e   in f or m a ti on  pr ovi de d  e ve n  th ough  th e   le ve l  of  i nf or m a ti on r e tr ie va l  is  qui te  l ow .         T a bl e  6. R e s ul t  of   f in e - tu ne  I ndoB E R T  i nt o  la ngua ge  m ode l   C r e di t  qua l i t y ne xt   W i t hout  s e nt i m e nt  a na l ys i s  r e s ul t   W i t h s e nt i m e nt  a na l ys i s  r e s ul t   D i f f e r e nc e   ( A c c ur a c y)   (%)   P r e c i s i on   (%)   R e c a l l   (%)   A c c ur a c y   (%)   P r e c i s i on   (%)   R e c a l l   (%)   A c c ur a c y   (%)   3 M ont hs   87.40   68.37   97.51   88.39   69.24   97.56   0.05   6 M ont hs   84.09   63.29   95.56   85.38   63.60   95.69   0.13   9 M ont hs   77.46   55.82   93.59   78.64   55.28   93.62   0.03   12 M ont hs   79.95   53.94   91.89   80.14   52.65   91.92   0.03   15 M ont hs   72.47   44.33   89.87   72.95   43.62   89.89   0.02   18 M ont hs   74.80   41.76   88.44   72.06   43.11   88.46   0.02   21 M ont hs   71.10   41.46   87.31   74.78   43.11   87.55   0.24   24 M ont hs   71.31   38.30   86.30   75.14   42.90   86.96   0.66       T he   E W S   m ode l  a dde d  w it h  th e   s e nt im e nt   a na ly s is   r e s ul ts   w a s   th e n  a na ly z e d  us in g  T r e e S H A P   to   a s s e s s   th e   f e a tu r e   im por ta nc e   of   th e   s e nt im e nt   a na ly s is   r e s u lt s   ba s e d   on  th e   s iz e   of   th e   S ha pl e y  v a lu e .    F ig ur e   2  s how s   th e   m ove m e nt   of   th e   a v e r a ge   S ha pl e y   va lu e   of  t he   e nt ir e   E W S   da ta s e t  a s   th e   pr e di c te d  pe r io d   in c r e a s e s . F r om  t he  f ig ur e , t he  hi ghe s t  a ve r a ge  S ha pl e y va lu e  i s  pr e di c ti ng c r e di t  qua li ty  f o r  12 mont hs  w hi c h   m e a ns  t ha t  E W S  i s  m os t  e f f e c ti ve  i n pr e di c ti ng c r e di t  qua li ty  f or  t he  ne xt  12 mont hs .   T he   va r ia bl e   of   w he th e r   th e r e   is   a   pr e s e n c e   or   a bs e n c e ,  a nd  th e   to ta l  of   ne ga ti ve   ne w s   ba s e d  on  th e   de bt or ' s   in dus tr ia l  s e c to r   ha s   a   s m a ll   a ve r a ge   S ha pl e y   va lu e   w he n  c om pa r e d  to   ot he r   va r ia bl e s .   I t  m e a ns   th a t   th e   s e nt im e nt   a na ly s is   r e s ul t  is   not   th e   m a in   c om pone nt   of   th e   E W S   m ode l  to   pr e di c t  th e   c r e di t  qua li ty   in   th e   f ut ur e   w he r e   it   is   c le a r   f r om   th e   g r a ph  th a t  th e   a ve r a ge   S ha pl e y  va lu e   of   th e   us a ge   a nd  in te r na l  r is k  g r a di ng   va r ia bl e s   is   gr e a te r   th a n  th e   ot h e r   va r ia bl e s .  H ow e ve r ,  th e   a v e r a ge   S ha pl e y  va lu e   of   th e   va r ia bl e   w he th e r   th e r e   is   pr e s e nc e   or   a bs e nc e   a nd  th e   a m ount   of   ne ga ti ve   ne w s   ba s e d  on  th e   de bt or ' s   in dus tr ia l  s e c to r   te nds   t o   in c r e a s e ,  w hi c h  m e a n s   th e   im por ta nc e   of   th e   va r ia bl e   r e s ul ti ng  f r om   s e nt im e nt   a n a ly s is   in c r e a s e s   a s   th e   pr e di c te d  pe r io d  in c r e a s e s ,  w hi c h  in di c a t e s   th a t  E W S   le ve r a ge s   th e   r e s ul ts   of   s e nt im e nt   a na ly s i s   f r om   ne w s   r e la te d  to   e c onomi c   f lu c tu a ti ons   to   a s s e s   f ut ur e   c ondi ti ons  s o  th a t  it   c a n   s uppor t  a   be tt e r   c r e di t  r is k   m it ig a ti on  pr oc e s s   by   pr ovi di ng  w a r ni ngs   be f or e   th e   de bt or ’ s   c r e di t  qua l it y  s ta r t  to   de te r io r a ti on.  T he s e   r e s ul ts   pr ove   th a t  a ddi ng  s e nt im e nt   a na ly s is   r e s ul t s   f r om   f in a nc ia l  ne w s   to   f in a nc ia l  r e por ts   da ta   c a n  c r e a te   a   f or w a r d - lo oki ng  E W S .  F ut ur e   r e s e a r c h  m a y  s tu dy  a not he r   m e th od  to   pr oduc e   E W S   w it h  r e li a bl e   pe r f or m a nc e   of   in f or m a ti on r e tr ie va l  ove r  t i m e  t he  pr e di c te d c r e di t  qua li ty .    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol . 14, No. 3, J une  2025 :  1829 - 1838   1836       F ig ur e  2. A ve r a ge   S ha pl e y va lu e   of  E W S   m ode l  a f te r  a ddi ng s e nt im e nt  a na ly s is  r e s ul ts       5.   C O N C L U S I O N   T hi s   r e s e a r c h  s u c c e s s f ul ly   im pr ove d  E W S   m ode l  a c c ur a c y  by  a ddi ng  th e   r e s ul ts   of   ne w s   s e nt im e nt   in di c a te d  by  th e   m os tl y  hi ghe r   pr e c is io n,  r e c a ll ,  a nd  a c c ur a c y  va lu e s   th a n  be f or e   a ddi ng  th e   s e nt im e nt   a na ly s is .  A pa r t  f r om   th a t,   th e   a ve r a ge   S ha pl e y  va lu e   of   th e   s e nt im e nt   a na ly s is   r e s ul t  in c r e a s e s   a s   th e   pr e di c te d  pe r io d  in c r e a s e s .  I t  m e a ns   th a t  th e   E W S   ut il iz e s   th e   r e s ul ts   of   s e nt im e nt  a na ly s is   f r om   ne w s   r e la te d  to  e c onomi c  f lu c tu a ti ons  t o s e e  f ut ur e  c ondi ti ons  t ha t  m a ke  t he  E W S  f or w a r d - lo oki ng. T he  f ut ur e  di r e c ti on o f   th is   r e s e a r c h  w oul d  us e   bi g  da t a   te c hnol ogy  to   s im pl if y  th e   pr oc e s s   of   c om bi ni ng  f in a nc ia l  r e por ts   w it h  th e   f in a nc ia l  ne w s  i n r e a l - ti m e  t o a c c e le r a te   c r e di t  r is k m it ig a ti on.       F U N D I N G  I N F O R M A T I O N   T hi s   r e s e a r c h  r e c e iv e d  no  s pe c if ic   gr a nt   f r om   a ny  f undi ng  a ge nc y  in   th e   publ ic ,  c om m e r c ia l,   or   not - f or - pr o f it  s e c to r s .       A U T H O R  C O N T R I B U T I O N S  S T A T E M E N T   T hi s   jo ur na l  us e s   th e   C ont r ib ut or   R ol e s   T a xonomy  ( C R e d iT )   to   r e c ogni z e   in di vi dua l  a ut hor   c ont r ib ut io ns , r e duc e  a ut hor s hi p di s put e s ,  a nd f a c il it a te  c ol la bo r a ti on.      N am e  o f  A u t h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   A nge l  K a r e nt ia   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓     D e r w in  S uha r to no     ✓         ✓   ✓       ✓     ✓   ✓   ✓     C   :    C onc e pt ua l i z a t i on   M   :    M e t hodol ogy   So   :    So f t w a r e   Va   :    Va l i da t i on   Fo   :    Fo r m a l  a na l ys i s   I   :    I nve s t i ga t i on   R   :    R e s our c e s   D   :   D a t a  C ur a t i on   O   :   W r i t i ng  -   O r i gi na l  D r a f t   E   :   W r i t i ng  -   R e vi e w  &   E di t i ng   Vi   :    Vi s ua l i z a t i on   Su   :    Su pe r vi s i on   P   :    P r oj e c t  a dm i ni s t r a t i on   Fu   :    Fu ndi ng a c qui s i t i on         C O N F L I C T  O F  I N T E R E S T  S T A T E M E N T   T he  a ut hor s  de c la r e  t ha t  th e r e  i s  no c onf li c t  of  i nt e r e s t  r e ga r di n g t he  publi c a ti on of  t hi s  pa pe r .       D A T A   A V A I L A B I L I T Y   N e w s   da ta   a r e   a va il a bl e   f r om   th e   c or r e s ponding  a ut hor ,  [ A K ] ,   upon  r e a s ona bl e   r e que s t.   T he   de bt or   da ta   s uppor ti ng  th e   f in di ngs   of   th is   s tu dy  c a nnot   be   publ i s he d  due   to   th e   s tr ic tn e s s   of   I ndone s ia n   ba nki ng  la w s   a nd  r e gul a ti ons ,  e s pe c ia ll y  r e ga r di ng  th e   pr ot e c ti on  of   pe r s ona l  da ta   a nd  c onf id e nt ia li ty   of   c us to m e r   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       T he  i nf lu e nc e  of  s e nt ime nt  analy s is  i n e nhanc in g e a r ly  w a r ni ng  s y s te m  m od e l  fo r  c r e di t  …  ( A nge l  K ar e nt ia )   1837   da ta .  F ur th e r m or e ,  w e   ha ve   c onduc te d  a   s c r e e ni ng  pr oc e s s   of   th e   de bt or   da ta /i nf or m a ti on  us e d  in   th is   r e s e a r c h  a nd  e ns ur e d  th a t  th e   da ta /i nf or m a ti on  doe s   not   vi o la te   th e   de bt or ' s   pr iv a c y/ pe r s on a l  r ig ht s   a nd   c om pl ia nc e  w it h ba nki ng r e gul a ti ons  i n I ndone s ia .       R E F E R E N C E S   [ 1]   S .  N a s e e r ,  S .  K ha l i d,  S .  P a r ve e n,  K .  A bba s s ,  H .  S ong,  a nd  M .  V .  A c hi m ,  “ C O V I D - 19  out br e a k:   i m pa c t   on  gl oba l   e c onom y,”   F r ont i e r s  i n P ubl i c  H e al t h , vol . 10, 2023, doi :  10.3389/ f pubh.2022.1009393.   [ 2]   W or l d  B a nk,  “ W or l d  de ve l opm e nt   r e por t   2022:   f i na nc e   f or   a n  e qui t a bl e   r e c ove r y,”   W or l d  D e v e l opm e nt   R e po r t ,  W a s hi ngt on :   U ni t e d S t a t e s , vol . 1,  2022.   [ 3]   A .  N .  B e r ge r ,  P .  M ol yne ux,   a nd  J .  O .  S .   W i l s on,  T he   O x f o r d  handbook   of   ban k i n g,   O xf or d,  U ni t e d  K i ngdom :  O xf or d  U ni ve r s i t y   P r e s s , 2014 , doi :  10.1093/ oxf or dhb/ 9780199688500.001.0001 .   [ 4]   E .  J .  C a s a bi a nc a ,  M .  C a t a l a no,  L .  F or ni ,  E .  G i a r da ,  a nd  S .  P a s s e r i ,  A n  e ar l y   w ar ni ng  s y s t e m   f or   ban k i ng  c r i s e s :   f r om   r e g r e s s i on - bas e d anal y s i s  t o m ac hi ne  l e ar ni ng t e c hni que s ,  P a dova , I t a l y:  M a r c o F a nno W or ki ng P a pe r s ,  2019.   [ 5]   G a l yt i x  a nd  P w C ,  “ B a nks   m u s t   a c t   on  t he i r   e a r l y  w a r ni ng  s ys t e m s   or   r i s k  R O E   dow nt ur n  i n  a s s oc i a t i on  w i t h,”   G al t i x   L i m i t e d ,   L ondon, E ngl a nd,   2022.    [ 6]   M .  L e o,  S .  S ha r m a ,  a nd  K .  M a ddul e t y,  “ M a c hi ne   l e a r ni ng  i n  ba nki ng   r i s k  m a na ge m e nt :   a   l i t e r a t ur e   r e vi e w ,”   R i s k s ,  vol .  7,  no.   1,  2019, doi :  10.3390/ r i s ks 7010029.   [ 7]   M .  E .  K .  A gor a ki ,  N .  A s l a ni di s ,   a nd  G .  P .   K our e t a s ,  “ U .S .  ba nks ’   l e ndi ng,   f i na nc i a l   s t a bi l i t y,  a nd   t e xt - ba s e d  s e nt i m e nt   a na l y s i s , ”   J our nal  of  E c onom i c  B e hav i or  and O r gani z at i on , vol . 197, pp. 73 – 90, 2022, doi :  10.1016/ j .j e bo.2022.02.025.   [ 8]   S .  K i m ,  S .  C hoi ,  a nd  J .  S e ok,  “ K e yw or d  e xt r a c t i on  i n  e c onom i c s   l i t e r a t ur e s   us i ng  na t ur a l   l a ngua ge   pr oc e s s i ng,”   2021  T w e l f t h   I nt e r nat i onal   C onf e r e n c e   on  U bi qui t ous   and  F ut ur e   N e t w or k s   ( I C U F N ) ,  J e j u  I s l a nd,  K or e a ,  R e publ i c   of ,  2021,   pp.  75 - 77,  doi :   10.1109/ I C U F N 49451.2021.9528546.   [ 9]   B .  L i u,   Se nt i m e nt   anal y s i s :   m i ni ng   opi ni ons ,  s e nt i m e nt s ,   and  e m ot i ons ,  s e c ond   e di t i on .  C a m br i dge ,  U ni t e d   K i ngdom :   C a m br i dge   U ni ve r s i t y P r e s s , 2020.   [ 10]   A .  R a ha l i   a nd  M .  A .  A khl ouf i ,  “ E nd - to - e nd  t r a ns f or m e r - ba s e d  m ode l s   i n  t e xt ua l - ba s e d  N L P ,”   AI ,  vol .  4,  no.  1,  pp.  54 – 110,  2023,   doi :  10.3390/ a i 4010004.   [ 11]   T .  W ol f   e t   al . ,  “ T r a ns f or m e r s :   s t a t e - of - t he - a r t   na t ur a l   l a ngua ge   pr oc e s s i ng,”   E M N L P   2020  -   C onf e r e nc e   on  E m pi r i c al   M e t hods   i n   N at ur al   L anguage   P r oc e s s i ng,  P r oc e e di ng s   of   Sy s t e m s   D e m ons t r at i ons ,  A s s o c i a t i on  f or   C om put a t i ona l   L i ngui s t i c s ,  pp.  38 – 45,  2020, doi :  10.18653/ v1/ 2020.e m nl p - de m os .6.   [ 12]   A .  C os t e a ,  “ A n  e a r l y - w a r ni ng  s ys t e m   f or   f i na nc i a l   pe r f or m a nc e   pr e di c t i ons ,”   E c onom i c   C om put at i on  and  E c onom i c   C y be r ne t i c s   St udi e s  and R e s e ar c h , vol . 56, no. 2, pp. 5 – 20, 2022, doi :   10.24818/ 18423264/ 56.2.22.01.   [ 13]   A .  S i ddi que ,  M .  A .  K ha n,  a nd  Z .  K ha n,  “ T he   e f f e c t   of   c r e di t   r i s k  m a na g e m e nt   a nd  ba nk - s pe c i f i c   f a c t or s   on  t he   f i na nc i a l   pe r f or m a nc e  of  t he  S out h A s i a n  c om m e r c i a l  ba nk s ,”   A s i an  J our nal  of  A c c ount i ng R e s e ar c h ,  vol . 7, no.  2, pp.  182 – 194, 2022, doi :   10.1108/ A J A R - 08 - 2020 - 0071.   [ 14]   A. - I .  S t r ă c hi na r u ,  “ E a r l y  w a r ni ng   s ys t e m s   f or   ba nki ng  c r i s i s   a nd  s ove r e i gn  r i s k,”   J our nal   of   F i nanc i al   St udi e s   and  R e s e ar c h ,  pp.   1 – 9, 2022, doi :  10.5171/ 2022.441237.   [ 15]   S .  B e n  J a be ur ,  C .   G ha r i b,  S .  M e f t e h - W a l i ,  a nd  W .  B e n  A r f i ,  “ C a t B oos t   m ode l   a nd  a r t i f i c i a l   i nt e l l i ge nc e   t e c hni que s   f or   c or por a t e   f a i l ur e   pr e di c t i on,”   T e c hnol ogi c al   F or e c as t i ng  and  Soc i al   C hange ,  vol .  166,  pp.  1 - 19,  M a y.  2021,  doi :   10.1016/ j .t e c hf or e .2021.120658.   [ 16]   P . L a bonne  a nd  L . A . T hor s r ud,  R i s k y  ne w s  and c r e di t  m ar k e t  s e nt i m e nt ,  O s l o,  N or w a y:   B I  N or w e gi a n B us i ne s s  S c hool ,  2023.   [ 17]   A nde r i e s ,  R .  R a hut om o,  a nd  B .  P a r da m e a n,  “ F i ne t unni ng  I ndoB E R T   t o   un de r s t a nd  i ndone s i a n  s t oc k  t r a de r   s l a ng  l a ngua ge , ”   P r oc e e di ngs   of   2021  1s t   I nt e r nat i onal   C onf e r e nc e   on  C om put e r   Sc i e nc e   and  A r t i f i c i al   I n t e l l i ge nc e ,  I C C SA I   2021 ,   pp.  42 – 46,  2021, doi :  10.1109/ I C C S A I 53272.2021.9609746.   [ 18]   N .  L ua ngna r ue dom   a nd  S .  P r a ka nc ha r oe n,  “ L oa n  r e pa ym e nt   s t a t u s   pr e di c t i on,”   I nt e r nat i onal   J our nal   of   I nnov at i on,  C r e at i v i t y   and C hange ,  vol . 15, no. 4, pp. 133 - 153, 2021.   [ 19]   Y .  W a ng,  “ R e s e a r c h  on  c om m e r c i a l   ba nk  r i s k  e a r l y  w a r ni ng  m ode l   ba s e d  on  dyna m i c   pa r a m e t e r   opt i m i z a t i on  ne ur a l   ne t w or k,”   J our nal  of  M at he m at i c s , vol . 2022, 2022, doi :  10.1155/ 2022/ 9754428.   [ 20]   Y .  C he ng,  Q .  Y a ng,   L .   W a ng,  A .  X i a ng,   a nd  J .  Z ha ng,  “ R e s e a r c h  on  c r e di t   r i s k  e a r l y  w a r ni ng  m ode l   of   c om m e r c i a l   ba nk s   ba s e d   on  ne ur a l   ne t w or k  a l gor i t hm ,”   P r oc e di a  C om put e r   Sc i e nc e ,  vol .   199,  pp.  1168 – 1176,  M a y  2024,  doi :   10.1016/ j .pr oc s .2022.01.148.   [ 21]   H .  W e i   a nd  X .  W a ng,  “ F i na nc i a l   r i s k  m a na ge m e nt   e a r l y - w a r ni ng  m ode l   f or   C hi ne s e   e nt e r pr i s e s ,”   J our nal   of   R i s k   and  F i nanc i al   M anage m e nt , vol . 17, no. 7, 2024, doi :  10.3390/ j r f m 17070255.   [ 22]   A .  M e nge l ka m p,  K .  K oc h,  a nd  M .  S c hum a nn,  “ C r e a t i ng  s e nt i m e nt   di c t i ona r i e s :   pr oc e s s   m ode l   a nd  qua nt i t a t i ve   s t udy  f or   c r e di t   r i s k,”   9t h E ur ope an C onf e r e n c e  on Soc i al  M e di a, E C SM  2022 , pp. 121 – 129, 2022, doi :  10.34190/ e c s m .9.1.167.   [ 23]   N .  A hba l i ,  X .  L i u,   A .  A .  N a nd a ,  J .  S t a r k,  A .  T a l ukde r ,  a nd  R .  P .  K ha ndpur ,  “ I de nt i f yi ng  c or por a t e   c r e di t   r i s k  s e nt i m e nt s   f r om   f i na nc i a l   ne w s ,”   N A A C L   2022  -   2022  C onf e r e nc e   of   t he   N o r t h  A m e r i c an   C hapt e r   of   t he   A s s o c i at i on  f or   C o m put at i onal   L i ngui s t i c s :  H um an L anguage  T e c hnol ogi e s , I ndus t r y  P ape r s , pp. 362 – 370, 20 22, doi :  10.18653/ v1/ 2022.na a c l - i ndus t r y.40.   [ 24]   J . C . D ua n a nd X . Y a o, “ M e di a  s e nt i m e nt s  f or  e nha nc e d c r e di t  r i s k a s s e s s m e nt , ”   N U S C r e di t  R e s e ar c h I ni t i at i v e ,  pp. 1 - 26,  2022.    [ 25]   F .  G a m ba r ot a   a nd  G .  A l t oè ,  “ O r di na l   r e gr e s s i on  m ode l s   m a de   e a s y:   A   t ut or i a l   on  pa r a m e t e r   i nt e r pr e t a t i on,  da t a   s i m ul a t i on  a nd  pow e r  a na l ys i s ,”   I nt e r nat i onal  J ou r nal  of  P s y c hol ogy ,  vol . 59, no. 4, pp. 1263 - 1292,  2024, doi :  10.1002/ i j op.13243.   [ 26]   A .  D a s h,  T he   L L M   adv ant age :   how   t o  unl oc k   t he   pow e r   of   l anguage   m od e l s   f o r   bus i ne s s   s uc c e s s :   a  pr ac t i c al   gui de   t o  l e v e r agi ng   A I  f or  i nnov at i on, gr ow t h, and c om pe t i t i v e  e dge , 1s t   e d.  T ha ne  W e s t , I ndi a :   G r a z i ng M i nds  P ubl i s hi ng, 2023.   [ 27]   K .  M i s he v,  A .  G j or gj e vi kj ,  I .  V ode ns ka ,  L .  T .  C hi t kus he v,  a nd  D .   T r a j a nov,  “ E va l ua t i on  of   s e nt i m e nt   a na l ys i s   i n  f i na nc e :   f r om   l e xi c ons  t o t r a ns f or m e r s ,”   I E E E   A c c e s s , vol . 8, pp. 131662 – 131682, 2020, doi :  10.1109/ A C C E S S .2020.3009626.   [ 28]   D .  A r a c i ,  “ F i nB E R T :   f i na nc i a l   s e nt i m e nt   a n a l ys i s   w i t h  pr e - t r a i ne d  l a ngua ge   m ode l s ,”   M .Sc .   T he s i s ,   F a c ul t y  of   S c i e nc e ,   U ni ve r s i t y of  A m s t e r da m ,  A m s t e r da m , N e t he r l a nds ,  2019.    [ 29]   Z .  L i u,  D .  H ua ng,  K .  H ua ng,  Z .  L i ,  a nd  J .  Z ha o,  “ F i nB E R T :   A   pr e - t r a i ne d  f i n a nc i a l   l a ngua ge   r e pr e s e nt a t i on  m ode l   f or   f i na nc i a l   t e xt  m i ni ng,”   P r oc e e di ngs  of  t h e  T w e nt y - N i nt h I nt e r nat i onal  J oi nt   C onf e r e n c e   on A r t i f i c i al  I nt e l l i ge nc e  ( I J C A I - 20) :  Spe c i al  T r ac k   on A I  i n F i n T e c h , pp. 4513 – 4519, 2020, doi :  10.24963/ i j c a i .2020/ 622.   [ 30]   F .  K ot o,  A .  R a hi m i ,  J .  H .  L a u,  a nd   T .  B a l dw i n,   “ I ndoL E M   a nd  I ndoB E R T :   a   be nc hm a r k  da t a s e t   a nd  pr e - t r a i ne d  l a ngua g e   m ode l   f or   i ndone s i a n  N L P ,”   C O L I N G   2020  -   28t h  I nt e r nat i onal   C onf e r e nc e   on   C om put at i onal   L i ngui s t i c s ,  P r oc e e di ngs   of   t h e   C onf e r e nc e , pp. 757 – 770, 2020, doi :  10.18653/ v1/ 2020.c ol i ng - m a i n.66.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol . 14, No. 3, J une  2025 :  1829 - 1838   1838   [ 31]   J .  T .  H a nc oc k  a nd  T .  M .  K ho s hgof t a a r ,  “ C a t B oos t   f or   bi g  da t a :   a n  i nt e r di s c i pl i na r y  r e vi e w ,”   J our nal   of   B i g  D at a ,  vol .  7,   no.  1 ,   2020, doi :  10.1186/ s 40537 - 020 - 00369 - 8.   [ 32]   L . O w e n,  H y pe r par a m e t e r  t uni ng w i t h P y t hon .  B i r m i ngha m , U ni t e d K i ngdom :  P a c kt  P ubl i s hi ng,  2022.   [ 33]   M .  O .  I br ohi m   a nd  I .  B udi ,  “ M ul t i - l a be l   ha t e   s pe e c h  a nd  a bus i ve   l a ngu a ge   d e t e c t i on  i n  i ndone s i a n  t w i t t e r ,”   P r oc e e di ng s   of   t he   T hi r d W or k s hop on A bus i v e  L anguage  O nl i ne ,  2019, pp. 46 – 57, doi :  10.18653/ v1/ w 19 - 3506.   [ 34]   D .  C hi c c o  a nd  G .  J u r m a n,  “ T he   a dva nt a ge s   of   t he   M a t t he w s   c or r e l a t i on   c oe f f i c i e nt   ( M C C )   ove r   F 1   s c or e   a nd  a c c ur a c y  i n  b i na r y  c l a s s i f i c a t i on e va l ua t i on,”   B M C  G e nom i c s , vol . 21, no. 1, 2020, doi :  10.1186/ s 12864 - 019 - 6413 - 7.   [ 35]   Y .  P r uks a c ha t kun,  M .  M c a t e e r ,  a nd  S .   M a j um da r ,  P r ac t i c i ng   t r us t w or t hy   m a c hi ne   l e ar ni ng:   c ons i s t e nt ,  t r an s par e nt ,  and  f ai r   A I   pi pe l i ne s , 1s t  e d.  C a l i f or ni a , U ni t e d S t a t e s :   O ’ R e i l l y M e di a , I nc , 2023.   [ 36]   S .  M .  L undbe r g  e t   al . ,  “ F r om   l oc a l   e xpl a na t i ons   t o  gl oba l   unde r s t a ndi ng  w i t h  e xpl a i na bl e   A I   f or   t r e e s ,”   N at ur e   M ac hi n e   I nt e l l i ge nc e , vol . 2, no. 1, pp. 56 – 67, 2020, doi :  10.1038/ s 42256 - 019 - 0138 - 9.   [ 37]   C .  M ol na r ,  I nt e r p r e t abl e   m ac hi n e   l e ar ni ng:   a  gui d e   f or   m a k i ng  bl ac k   bo x   m ode l s   e x pl ai nabl e ,  2 nd   ed .   N or t h  C a r ol i na ,  U ni t e d   S t a t e s :  L e a n P ubl i s hi ng,   2020.       B I O G R A P H I E S  O F  A U T H O R S         Angel  Karentia           is  a  graduate  student  of  computer  science  from  B ina  Nusantara  University,  Indonesia.  Currently,  she  is  working  as  a  data  analyst  specializing  in  risk  manageme nt  in  the  financial  industry  in  Indonesia.   Her  resear ch  int erest  includes  artificia l  intelligence ,  machine  learning,  and  deep  learning.   She   can  be  contacted  at  email:   angel .karentia@ binus.ac.id .          Derwin Suha rtono           is a fac ulty member  of  Bina Nusanta ra Unive rsi ty, Indonesia .   He got his P h . D .   degree in computer  science from  Universitas Indones ia in 2018. His  research   fields  are  natural  language  processing.  Recently,  he  has  been  contin ually  doing  research  in  argumentat ion  mining   and  personali ty   recogniti on.  He  is   actively  in volved  in  the  Indonesi a   Association  of  Computation al  Linguistics   (INACL),  a   national  s cientific  association  in   Indonesia.  He  has  his  professional   memberships   in  ACM,  INSTICC,  a nd  IACT.  He  also  takes   the  role  of  reviewer  in  several  international  conferences  and  journals.   He  ca n  be  contacted  at   email:  dsuhartono@ binus.edu .       Evaluation Warning : The document was created with Spire.PDF for Python.