I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia I n t e ll ig e n c e  ( I J - AI )   V ol .   14 , N o.   3 J une   2025 , pp.  2389 ~ 2401   I S S N 2252 - 8938 ,   D O I 10.11591/ ij a i. v 14 .i 3 .pp 2389 - 2401          2389     Jou r n al  h om e page ht tp : // ij ai . ia e s c or e .c om   M od e l i n g se n t i m e n t  an al y si s of  In d o n e si an  b i o d i ve r si t y p ol i c T w e e t s u si n g In d oB E R T w e e t       M oh am m ad  T e d u h  U li n ia n s yah , A s r il  Jar in , A gu n g S an t os a, G u n ar s o   R e s e a r c C e nt e r  f or  D a t a  a nd I nf or m a t i on S c i e nc e s R e s e a r c h O r ga ni z a t i on f or  E l e c t r oni c s  a nd I nf or m a t i c s   N a t i ona l  R e s e a r c h a nd  I nnova t i on   A ge nc y ( B R I N ) , K S T  S a m a un S a m a di kun B a ndung,  B a ndung,  I ndone s i a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e A ug   28 2024   R e vi s e F e b   12 2025   A c c e pt e M a r   15 2025       This  study  develops  and  evaluates  sentiment  analysis  model  using  IndoBERTweet   to  analyze  Twitter   data  on   Indonesia’s  biodiversi ty  policy.  Twitter  data  focusing  on   topics  such   as  food  se curity,  healt h,  and  environm ental  management   were  collected,   with  a   r epresentati ve  su bset  of  13,435  tweets  annotated  from  larger  dataset  of  500,000  to   ensure  r eliable  sentiment  labels  through  majority   voting.  IndoBERTweet   was  comp ared  to  seven  traditional  machine - learning  classifier using   TF - IDF  and  BERT  embeddin gs  for  f eature  extraction.  Model  performance  was  assessed   using  mean  accuracy mean  F1  score ,   and  statistical  significance   (p - v alues).  Additionally sentiment  analysis  included  word  attribution  techniques  with   BERT  embeddings,  enhancing  relevance,   interpretability,  and   con sistent  attribut ion  to  deliver  accurate  insigh ts.  IndoBER Tweet  models  consi stently  outperformed  traditional  methods  in  both  accuracy  and  F1  score.  While  BERT  embeddin gs  boosted   performance  for  conventi onal  models,   IndoBER Tweet  delivered  superior  r esults,   with   p - values  below   0.05  confirming   sta tistical  significance.  This  approach  demonstrates  that   the  model’s  outpu ts  are   explainab le  and  align  with  human  understan ding.  Findi ngs   und erscore  IndoBERTweet ’s  substanti al  impact  on  advancing  sentiment   analy sis  technology,  showcasing  its potential  to drive  innovation a nd  elevate  pr actices  in the field .   K e y w o r d s :   B E R T  e m be ddi ngs   B io di ve r s it y poli c y   I ndoB E R T w e e t   S e nt im e nt  a na ly s is   T w it te r  da ta   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   A s r il  J a r in   R e s e a r c C e nt e r  f or  D a ta  a nd I nf or m a ti on S c ie nc e , N a ti ona R e s e a r c h a nd I nnova ti on A ge nc y   B a ndung, I ndone s ia   E m a il a s r i0 03@ br in .go.i d       1.   I N T R O D U C T I O N   I ndone s ia r e c ogni z e a s   one   of   th e   w or ld s   m os s ig ni f ic a n bi odi ve r s it hot s pot s   w it a   hi gh  c onc e nt r a ti on  of   e nde m ic   s pe c ie s   [ 1] is   f a c in in c r e a s in th r e a ts   f r om   ha bi ta de s tr uc ti on,  c li m a te   c ha nge a nd  e nvi r onm e nt a de gr a da ti on.  T he s e   c ha ll e nge s   unde r s c or e   th e   ur ge nt   ne e f or   e f f e c ti ve   c ons e r va ti on  pol ic ie s w hi c m us be   in f or m e by  publ ic   s e nt im e nt   to   e n s ur e   th e ir   r e s pons iv e ne s s   a nd  e f f e c ti ve ne s s H ow e ve r ,   a na ly z in publ ic   s e nt im e nt   f r om   la r ge - s c a le   s oc ia m e di a   pl a tf or m s   li ke   T w it te r   pr e s e nt s   s ig ni f ic a nt   c ha ll e nge s   due   to   th e   in f o r m a l,   di ve r s e   na tu r e   of   th e   la ngua ge   us e d.  T a ddr e s s   th e s e   c ha ll e ng e s th is   s tu dy  ut il iz e s   I ndoB E R T w e e t   [ 2] a   pr e - tr a in e la ngua ge   m ode opt im iz e f o r   I ndone s ia T w it te r   da ta to   pe r f or m   s e nt im e nt   a na ly s is   on  th e   publ ic   di s c our s e   s ur r ounding  I ndone s ia s   bi o di ve r s it pol ic ie s B le ve r a gi ng  c ont e xt - r ic e m be ddi ngs I ndoB E R T w e e e nha nc e s   bot th e   a c c ur a c a nd  in t e r pr e ta bi li ty   of   s e nt im e nt   a na ly s is   [ 3] of f e r in g   a   m or e   e f f e c ti ve   to ol   th a tr a di ti ona m a c hi ne   le a r ni ng  a ppr o a c he s T hi s   s tu dy  a im s   to   pr ovi de   a c ti ona bl e   in s ig ht s   to   pol ic ym a ke r s   by  a ppl yi ng  th e s e   a dva nc e m e th ods   to   r e f in e   bi odi ve r s it y   c ons e r va ti on  s tr a te gi e s   a nd  im pr ove  publi c  e nga ge m e nt   [ 4] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  3 J une   20 25 2389 - 2401   2390   B ui ld in on  th e   de m ons tr a te s tr e ngt hs   of   I ndoB E R T w e e t,   th is   s tu dy  f ur th e r   e va lu a te s   th e   pe r f or m a nc e   of   it s   di f f e r e nt   va r ia nt s   ( G E L U T a nh,  a nd  N one )   a s   de s c r ib e by  S a nt os a   e al .   [ 5] c om pa r in th e m   w it tr a di ti ona m a c hi ne   le a r ni ng  c la s s if ie r s   s uc a s   lo g is ti c   r e gr e s s io n,  s uppor ve c to r   m a c hi ne a nd   r a ndom f or e s t.   S e ve r a l  s tu di e s  ha ve  hi ghl ig ht e d t he  e f f e c ti ve ne s s  of  B E R T  a nd i ts  va r ia nt s  i n t w e e s e nt im e nt   a na ly s is de m on s tr a ti ng  s ig ni f ic a nt   ga in s   in   a c c ur a c a nd  c ont e x tu a unde r s ta ndi ng  w he c om bi ne w it ne ur a ne twor a r c hi te c tu r e s F or   in s ta nc e B e ll e al .   [ 6]   pr opos e a   B E R T   f r a m e w or f or   s e nt im e nt   a na ly s i s   th a in te gr a te s   B E R T   w it c onvolut io na ne ur a ne twor ( C N N ) r e c ur r e nt   ne ur a ne twor k   ( R N N ) a nd  bi di r e c ti ona l   lo ng  s hor t - te r m   m e m or y   ( B iL S T M ) a c hi e vi ng  im pr ove m e nt s   i a c c ur a c y,  pr e c is io n,  a nd  r e c a ll   c om pa r e to   c onve nt io na m e th ods T he s e   tr a di ti ona m ode ls w hi c ty pi c a ll r e ly   on  f e a tu r e   e xt r a c ti on  m e th ods   li ke     TF - I D F   [ 7] ,   of te f a ll   s hor in   ha ndl in g   th e   c om pl e xi ty   a nd  i nf or m a la ngua ge   ty pi c a of   s oc ia m e di a I n   c ont r a s t,   I ndoB E R T w e e t,   le ve r a gi ng  B E R T   e m b e ddi ngs   [ 8] pr ovi de s   a   m or e   nua nc e a na ly s is T hi s   s tu dy  e nha nc e s   pr io r   e va lu a ti ons   by  in te gr a ti ng  a dva n c e te c hni que s   s uc a s   w or a tt r ib ut io a nd  te n - f ol c r os s - va li da ti on,  us in m e tr ic s   li ke   m e a a c c ur a c a nd  m e a F1 - s c or e w it s ta ti s ti c a s ig ni f ic a nc e   c onf ir m e th r ough  p - va lu e s T h e s e   c om pr e he n s iv e   e v a lu a ti ons   d e m ons tr a t e   th e  s upe r io r   pe r f or m a nc e   of   I ndoB E R T w e e a nd pr ovi de  m or e  r e li a bl e  t ool s  f or  pol ic y de c is io n - m a ki ng.   T he   a r c hi te c tu r e   of   th e   I ndoB E R T w e e va r ia nt s a s   s how i F ig ur e   1,  il lu s tr a te s   a   de e ne ur a l   ne twor ( D N N )   s tr uc tu r e   be gi nni ng  w it a   pr e - tr a in e I ndoB E R T w e e t   m ode de s ig ne to   c a pt ur e   c ont e xt ua l   e m be ddi ngs   a nd s e m a nt ic   r e pr e s e nt a ti ons   uni que   to  B a ha s a   I nd one s ia   twe e ts . T hi s   m ode l   is   th e n   f ol lo w e by  two  f ul ly   c onne c te la ye r s a   256 - uni t   la ye r   th a m a tc he s   th e   I n doB E R T w e e pool e out put   ve c to r   a nd  a   th r e e - uni out put   la ye r   r e pr e s e nt in s e nt im e nt   c la s s if ic a ti on  out c om e s T hr e e   di f f e r e nt   a c ti va ti on  f unc ti o ns - N one ,   G E L U a nd  T a nh - a r e   te s te d   in   th e   f ir s f ul ly   c onne c te la y e r   to   a s s e s s   th e ir   im pa c on   s e nt im e nt   a na ly s is   pe r f or m a nc e T hi s   s tu dy   f ur th e r   de m ons tr a te s   th a I ndoB E R T w e e s ur pa s s e s   s e ve tr a di ti ona l   c la s s if ie r s w hi c h   r e ly   on  m e th ods   li ke   T F - I D F   a nd  B E R T   e m be ddi ngs in   a na ly z in twe e ts   a bout   I ndone s ia ' s   bi odi ve r s it pol ic ie s W it a   f oc us e da ta s e of   13,435  twe e ts I ndoB E R T w e e a c hi e ve s   s upe r io r   m e a a c c ur a c a nd  F s c or e s w it s ta ti s ti c a ll s ig ni f ic a nt   p - va lu e s   ( be lo w   0.05)   c o m pa r e to   c onve nt io na m ode ls .   A ddi ti ona ll y,  w or a tt r ib ut io te c hni que s   e nha nc e   in te r pr e ta bi li ty s uppor ti ng  th e   m ode l’ s   a ppl ic a ti on  in   hi gh - pr e c is io pol ic y - m a ki ng f or  bi odi ve r s it y a nd e nvi r onm e nt a m a na ge m e nt .           F ig ur e  1.   D N N  a r c hi te c tu r e  of  t he  I ndoB E R T w e e m ode w it h t w o f ul ly  c onne c te d l a ye r s   [ 5]       T he   pa pe r   is   or ga ni z e a s   f ol lo w s in   th e   m e th od  s e c ti on,  w e   d e s c r ib e   th e   pr oc e s s   of   c ol le c ti ng  a nd  pr e pa r in T w it te r   da ta   on  bi odi ve r s it pol ic ie s   in   I ndone s ia f o ll ow e by  th e   de ve lo pm e nt   a nd  e va lu a ti on  of   th e   s e nt im e nt   a na ly s is   m ode ls   us in I ndoB E R T w e e t   a nd  tr a d it io na c la s s if ie r s .   T he   r e s ul ts   a nd  di s c us s io s e c ti on  pr e s e nt s   a   d e ta il e c om p a r is on  of   th e   pe r f or m a nc e   o f   I ndoB E R T w e e t   a ga in s t   tr a di ti ona m ode ls ,   s uppor te by  w or d - a tt r ib ut io te c hni que s   a nd  s ta ti s ti c a a na ly s i s F in a ll y,  th e   c onc lu s io s um m a r iz e s   th e   ke f in di ngs hi ghl ig ht in th e   pr a c ti c a im pl ic a ti ons   f or   bi odi ve r s it pol ic y - m a ki ng  a nd  of f e r in di r e c ti ons   f or   f ut ur e  r e s e a r c h t o e nha nc e   s e nt im e nt  a na ly s i s  m e th odol ogi e s  i s im il a r  c ont e xt s .       2.   M E T H O D   A s  i ll us tr a te d i n F ig ur e  2, t he  di a gr a m  pr e s e nt s  t he  s te p s  f or  de ve lo pi ng a nd e va lu a ti ng t he  s e nt im e nt   a na ly s is   m ode l   us in I ndoB E R T w e e on  I ndone s ia T w it te r   da t a   a bout   bi odi ve r s it pol ic y.  T he   pr oc e s s   be gi n s   w it da ta  pr e pa r a ti on , w hi c h  i nc lu de s  c ol le c ti ng, c le a ni ng, s e le c ti ng, a nd l a be li ng t he  d a ta  f r om  T w it te r . N e xt da ta   pr e pr oc e s s in in vol ve s   nor m a li z in th e   da ta   a nd  e n s ur in c ons is te nt   da ta   f or m a ts T he   m ode li ng  ph a s e   in vol ve s   bot de e l e a r ni ng  a nd  non - de e le a r ni ng  te c hni que s .   F or   de e le a r ni ng,  th e   I ndoB E R T w e e m ode l   is   ut il iz e w it va r io us   a c ti va ti on  f unc ti ons F e a tu r e   ve c to r iz a ti on  is   pe r f or m e us in T F - I D F   a nd  B E R T   e m be ddi ngs   f or   non - de e l e a r ni ng  te c hni que s F in a ll y,  m ode pe r f or m a nc e   e va lu a ti on  u s e s   10 - f ol c r os s - va li da ti on,  m e a s u r in a c c ur a c a nd  F 1 - s c or e a s s e s s in s ta ti s ti c a s ig ni f ic a nc e   w it p - va lu e s a nd  e va lu a ti ng   w or a tt r ib ut io n.  T hi s   c om pr e he ns iv e   a ppr oa c e ns ur e s   a   r obu s a s s e s s m e nt   of   th e   m ode l’ s   a bi li ty   to   a na ly z e   s e nt im e nt  i n t he  c ont e xt  of  I ndone s ia n bi odi ve r s it y pol ic y.     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M ode li ng s e nt ime nt  analy s is  of  I ndone s ia n bi odi v e r s it y  pol ic y   T w e e ts   …  ( M ohamm ad T e duh Ulini ans y ah )   2391       F ig ur e  2. W or kf lo w  of   s e nt im e nt  a na ly s is  m ode de ve lo pm e nt  a nd e va lu a ti on  us in g I ndoB E R T w e e on  I ndone s ia n T w it te r   da ta       2.1.    D at as e t   p r e p ar at io n  f r om   T w it t e r   T he   da ta s e pr e pa r a ti on  pha s e   in vol ve c r e a ti ng  a   la be le d   da ta s e of   twe e ts   f r om   T w it te r c a te gor iz in th e m   a s   pos it iv e n e ga ti ve or   ne ut r a f or   s e nt im e nt   a na ly s i s T w e e ts   w e r e  c ol le c te u s in th e   T w it te r   A P I   [ 9]   f r om   J a nua r 2020  to   M a r c 2023,  f oc us in on  to pi c s   r e la te t f ood  s e c ur it y,  he a lt hc a r e a nd e nvi r onm e nt a m a na ge m e nt   in   I ndone s ia T hi s   pr oc e s s   in it ia ll ga th e r e 500,000  twe e ts A f te r   c le a ni ng  to   r e m ove   dupl ic a te s ,   non - I ndone s ia c ont e nt a nd   ir r e le va n in f or m a ti on  s uc a s   a dv e r ti s e m e nt s   a nd   nove quot e s th e   da ta s e w a s   r e duc e to   200,015  twe e ts D u e   to   li m it a ti ons   in   a nnot a to r   a va il a bi li ty 15,323  twe e ts   w e r e   s e le c t e f or   a nnot a ti on.  T e ns ur e   c on s is te nc a nd  r e li a bi li ty   in   th e   a nnot a ti o pr oc e s s 18  tr a in e a nnot a to r s   w e r e   pr ovi de w it de ta il e gui de li ne s   f or   s e nt im e nt   c l a s s if ic a ti on   ba s e on  e s t a bl is he s ta nda r ds   [ 4]   f r om   pr io r   s tu di e s E a c h   twe e w a s   r e vi e w e in d e pe nde nt ly   by  th r e e   a nnot a to r s a nd  i nt e r - a nnot a to r   a gr e e m e nt   w a s   a s s e s s e us in g   F le is s   K a ppa   w it a   va lu e   of   0.62187,  w hi c h   s how e a   s ub s ta nt ia a gr e e m e nt A   m a jo r it vot in a ppr oa c h   w a s   e m pl oye to   f in a li z e   th e   s e nt im e nt   la be f or   e a c twe e t,   r e s ol vi ng  a ny  di s a gr e e m e nt s .   T hi s   a ppr oa c h   e ns ur e d   th a th e   a nnot a ti ons   w e r e  c ons is t e nt   a nd  r e f le c te a   r e li a bl e   c on s e ns u s   a m ong  th e   a nnot a to r s .   A f te r   e xc lu di ng  twe e ts  l a be le a s  “ none ,  t he  f in a da ta s e u s e d i n t he  r e s e a r c h c om pr is e d 13,435 twe e ts . D e ta il e d i nf or m a ti on  on  th e   la be li ng  pr oc e s s   a nd  th e   f in a da ta s e is   pr ovi de d   in   th e  r e la te pa pe r   [ 10] a nd   th e   da ta s e is   a va il a bl e   a th e  M e nde le y D a ta  r e pos it or y   [ 11] .     2.2.    D at p r e p r oc e s s in g   F ol lo w in th e   in it ia da ta s e pr e pa r a ti on,  s e ve r a pr e pr oc e s s in s te ps   w e r e   pe r f or m e to   r e a dy  th e   da ta   f or  m ode li ng. I n l in e  w it h t he  a ppr oa c h by P e bi a na   e al .   [ 12] , t he  t e xt   w a s  t r a ns f or m e d t o l ow e r c a s e  t o e n s ur e   uni f or m it y. U R L s  w e r e   r e m ove d, punc tu a ti on ( e xc e pt  a pos tr ophe s )  w a s  r e pl a c e d w it h s pa c e s , a nd non - A S C I I   c ha r a c te r s   w e r e   s ub s ti tu te w it th e ir   ne a r e s A S C I I   e qui va le nt s I nf or m a la ngua ge   a nd  ty pogr a phi c a e r r or s   w e r e   nor m a li z e d,  w or va r ia ti ons   w e r e   s ta nda r di z e d,  a nd  n um e r ic   da ta   a nd  non - A S C I I   c ha r a c te r s   w e r e   e li m in a te d.  C ons e c ut iv e   s pa c e s   w e r e   c on s ol id a te d,  a nd  s to pw or ds   w e r e   r e m ove us in th e   S a s tr a w P yt ho n   li br a r y   [ 13] th ough  a dve r bs   w e r e   r e ta in e du e   to   th e ir   s i gni f ic a nt   r ol e   in   s e nt im e nt   a n a ly s is .   T he s e   pr e pr oc e s s in g s te p s  pr e pa r e d t he  da ta s e f or  m ode li ng by e ns ur i ng c le a ne r  a nd mor e  uni f or m  t e xt  da ta .   O ne  of  t he  m a jo r  c ha ll e nge s  e nc ount e r e d dur in g t he  s tu dy w a s  t he  i nf or m a a nd dive r s e  na tu r e  of  t he   la ngua ge  us e d i n I ndone s ia n T w it te r , w hi c h i nc lu de s  s la ng, a bbr e vi a ti ons , a nd mi xe d l a ngua ge s . T hi s  m a de  i t   di f f ic ul to   c le a a nd  pr e pr oc e s s   th e   da ta   e f f e c ti ve ly A ddi ti ona l ly obt a in in r e li a bl e   s e nt im e nt  l a be ls   r e qui r e d   c a r e f ul   c ur a ti on  a nd  a nnot a ti on  of   twe e ts a s   w e ll   a s   r e s ol vi ng  di s a gr e e m e nt s   be tw e e a nnot a to r s w hi c a dde c om pl e xi ty  t o t he  da ta s e pr e pa r a ti on pr oc e s s .     2.3.    M od e li n g   T hi s   s tu d c om p a r e s   s e nt im e nt   a na ly s i s   m od e ls   by   e m pl oyi n bot d e e l e a r ni ng  a nd   tr a di ti on a m a c hi n e   l e a r n in t e c hni qu e s ,   e a c h   of f e r i ng  di s ti n c a dv a nt a g e s   f or   te xt   c la s s if ic a t io n.   T he   de e l e a r ni ng  a ppr oa c us e s   a   B E R T   a r c hi te c tu r e s pe c if ic a ll I nt r ove r t e d ,   a   m ode pr e - tr a in e d   on  I n don e s i a T w i tt e r   da t a   a nd  th us   hi ghl y   e f f e c ti v e   a h a ndl in in f or m a l a ngu a ge   c om m o nl f oun on   s o c ia m e di a .   I ndo B E R T w e e t' s   c ont e xt ua l   e m b e ddi n gs   pr ovi d e   nu a nc e s e m a nt i c   r e pr e s e nt a ti o ns   th a m a ke   i pa r ti c ul a r ly   s ui te to   s e nt im e n a na ly s i s  i n I ndon e s i a T w it t e r  d a ta ,  w h e r e  l a ngu a ge   pa tt e r ns  c a n  be  c om pl e x a nd c ont e xt - s e ns it iv e .   T he   tr a di ti ona m a c hi ne   le a r ni ng  m e th od s   s e le c te d   in c lu de   lo gi s ti c   r e gr e s s io n,  s uppor v e c to r   c la s s if ie r r a ndom  f or e s t L G B M C la s s if ie r e xt r e m e   gr a di e nt   boos ti ng  ( X G B oos t) a da pt iv e   boos ti ng  ( A da B oos t) a nd  de c is io tr e e c hos e f or   th e ir   pr ove e f f e c ti ve ne s s   in   te xt   c la s s if ic a ti on  a nd  s e nt im e nt   a na ly s is   ta s ks .   T he s e   m ode l s   of f e r   a   ba la n c e   of   in te r pr e ta bi li ty r obus tn e s s a nd   pe r f or m a nc e lo gi s ti c   r e gr e s s io n a nd  s uppor ve c to r  c la s s if ie r s  a r e   s tr a ig ht f or w a r d a nd e f f ic ie nt , r a ndom f or e s a nd de c i s io n t r e e   a dd   e ns e m bl e   s ta bi li ty   to   r e duc e   ove r f it ti ng,   a nd  gr a di e nt   boos ti ng   m e th ods   li ke   L G B M C la s s if ie r   a nd  X G B oos t   pr ovi de  hi gh a c c ur a c y f or  c om pl e x da t a s e t s . W hi le   s im pl e r  m ode ls  s uc h  a s   n a iv e  B a ye s  w e r e  c on s id e r e d, t he y   w e r e   e xc lu de a f te r   in it ia te s ts   in di c a te d   li m it e pe r f or m a nc e   on  th is   c ont e xt - he a vy  T w it te r   da ta s e t.   T e ns ur e   a   th or ough  c om pa r is on,  w e   e m pl oye d   bot T F - I D F   a nd  B E R T   e m be ddi ng s   f or   f e a tu r e   r e pr e s e nt a ti on  in   a ll   tr a di ti on a m ode ls a ll ow in a   di r e c e va lu a ti on  o f   tr a di t io na ve c to r iz a ti on  ve r s us   B E R T - ba s e c ont e xt ua Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  3 J une   20 25 2389 - 2401   2392   e m be ddi ngs R e s ul ts   a r e   s um m a r iz e in   t a bl e s   in   th e   r e s ul ts   a nd  di s c u s s io s e c ti on,  w it ke p e r f or m a nc e   m e tr ic s , i nc lu di ng me a n a c c ur a c a nd F 1 - s c or e , pr e s e nt e c onc is e ly  f or  c la r it y.     2.3.1.   M od e li n s e n t im e n t  an al ys is   w it h  B E R T - b as e d   d e e p  l e ar n in g t e c h n iq u e s   T he   pr e - tr a in e I ndoB E R T w e e m ode l   [ 2]   ha s   pr ove hi ghl y   e f f e c ti ve   f or   s e nt im e nt   a n a ly s is   on   I ndone s ia T w it te r   da ta   due   to   it s   s pe c if ic   tr a in in in   th e   in f or m a la ngua ge   ty pi c a of   s oc ia m e di a U nl ik e   I ndoB E R T   [ 3] w hi c w a s   tr a in e on  ove r   220  m il li on  w or ds   f r om   va r io us   f o r m a I ndone s ia s our c e s   li ke   W ik ip e di a   a nd  ne w s   a r ti c le s I ndoB E R T w e e t’ s   tr a in in c or pu s   c ons i s ts   of   a ppr oxi m a te ly   409  m il li on  w or to ke ns  s ol e ly  f r om  I ndone s ia n  T w it te r  da ta .  T hi s  f oc us  on  i nf or m a la ngua ge  e n a bl e s  I ndoB E R T w e e t  t o be tt e r   c a pt ur e   th e   nua nc e s   of   I ndone s ia s oc ia m e di a   di s c our s e m a k in it   hi ghl y   s ui ta bl e   f or   a na ly z in s e nt im e nt s   on  T w it te r T h e   m ode l’ s   tr a in in e m pl oy s   uns up e r vi s e le a r ni ng   te c hni que s pr e di c ti ng  m a s ke d   to ke ns   in   in put   te xt c ons is te nt   w it B E R T s   a r c hi te c tu r e w hi c e nha n c e s   it s   a bi li ty   to   unde r s ta nd  c ont e xt u a r e la ti ons hi ps   w it hi n s oc ia m e di a  t e xt .   B ui ld in upon  I ndoB E R T w e e t’ s   s tr e ngt hs ,   our   s e nt im e nt   a n a ly s is   s ys te m   in c or por a te s   two  f ul ly   c onne c te la ye r s   th a ut il iz e   s e nt e n c e   e m be ddi ng s   ge ne r a te by  I ndoB E R T w e e a s   in put   f e a tu r e s T hi s   a r c hi te c tu r e il lu s tr a te in   F ig ur e   1,  is   s tr uc tu r e a s   a   D N N   t c a pt ur e   c om pl e c ont e xt ua r e la ti ons hi ps   in he r e nt   in   I ndone s ia la ngua ge   te xt e s s e nt i a f or   a c c ur a te   s e nt im e nt   a na ly s is A ddi ti ona ll y,  w e   e va lu a te th e   pe r f or m a nc e   im pa c of   di f f e r e nt   a c ti va ti on  f unc ti ons - s pe c if ic a ll y,  hype r bol ic   ta nge nt   ( ta nh) ,   G a us s ia e r r or   li ne a r   uni ( G E L U ) a nd  no  a c ti va ti on - in   th e   f ir s f ul ly   c onne c te la ye r   to   opt im iz e   th e   m ode l’ s  e f f e c ti ve ne s s T he s e   c om pa r is ons   pr ovi de   in s ig ht s   in to   how   I ndoB E R T w e e t   e m be ddi ngs   in te r a c w it hi a   de e le a r ni ng  f r a m e w or k,  c ont r ib ut in to   m or e   in f or m e c hoi c e s   in   m od e c onf ig ur a ti ons   f or   im pr o ve s e nt im e nt   a n a ly s is   out c om e s .     2.3.2.   M od e li n s e n t im e n t   an al ys is  w it h  t r ad it io n al  m ac h in e  l e ar n in g m e t h od s   I th is   s e c ti on,  w e   in ve s ti ga te   th e   e f f e c ti ve ne s s   of   s e ve tr a di ti ona m a c hi ne   le a r ni ng  m e th ods   in   s e nt im e nt   a na ly s is   by  ut il iz in two  di s ti nc ve c to r iz a ti on  te c hn iq ue s T F - I D F   a nd  B E R T   e m be ddi ngs W hi le   TF - I D F   pr ovi de s   a   s ta ti s ti c a m e a s ur e   of   w or im por t a nc e   w it hi th e   c or pus B E R T   e m be ddi ngs   of f e r   r ic h,   c ont e xt ua li z e d w or d r e pr e s e nt a ti ons  t ha c a pt ur e  s e m a nt ic  nua n c e s . T he  t r a di ti ona m a c hi ne  l e a r ni ng me th ods   w e   e m pl oy  a r e   lo gi s ti c   r e gr e s s io n,  s uppor ve c to r   m a c hi ne ,   r a ndom  f or e s t L G B M C la s s if ie r X G B oos t A da B oos t a nd  de c i s io tr e e T th or oughly  a s s e s s   th e   pe r f or m a nc e   a nd  pr e c i s io of   th e s e   m e th ods   in   s e nt im e nt   a na ly s is w e   di vi de   our   in ve s ti ga ti on  in to   two  a ppr oa c he s T F - I D F - ba s e tr a di ti ona m ode ls   a nd  B E R T   e m be ddi ng - ba s e tr a di ti ona m ode ls T hi s   a na ly s is   pr ovi de s   in s ig ht s   in to   th e   s tr e ngt hs   a nd  li m it a ti ons   of   tr a di ti ona te c hni que s   in   c a pt ur in s e nt im e nt   f r om   te xt ua da t a c om pa r e w it B E R T - ba s e de e le a r ni ng  a ppr oa c he s .     TF - I D F - ba s e tr a di ti ona m ode ls t he   T F - I D F   te c hni que   [ 7]   is   a e s s e nt ia to ol   f or   f e a tu r e   e xt r a c ti on f r o m   th e   la be le da ta s e t,   e n a bl in th e   a ppl ic a ti on  of   va r io us   tr a di ti ona m a c hi ne - le a r ni ng  a lg or it hm s T hi s   a ppr oa c h be gi ns  w it lo gi s ti c  r e gr e s s io [ 14] , a  m e th od t ha m o de ls  t he  pr oba bi li ti e s  of  bi na r y outc om e s .   N e xt w e   ut il iz e   th e   s uppor ve c to r   c la s s if ie r   [ 15] w hi c e f f e c ti ve ly   e m pl oys   hype r pl a ne s   to   s e pa r a te   c la s s e s   in   hi gh - di m e ns io na s pa c e li ght   gr a di e nt   boos ti ng  m a c hi ne   [ 16]   is   a ls a ppl ie d,  a nd  it   is   known   f or   it s   hi gh  e f f ic ie nc w he ha ndl in la r ge - s c a le   da ta s e ts A dd it io na ll y,  r a ndom  f or e s [ 17 ]   is   e m pl oye a s  a n  e ns e m bl e  m e th od t ha t  c ons tr uc t s  m ul ti pl e  de c i s io n t r e e s  t o i m pr ove  m ode a c c ur a c y.  X G B oos [ 18] opt im iz e f or   bot pe r f or m a nc e   a nd  e f f ic ie nc y,  is   in c lu de in   our   a na ly s is W e   f ur th e r   in c or por a te   A da B oos t   [ 19] , w hi c h i te r a ti ve ly  c om bi ne s  w e a c la s s if ie r s  t o f or m  a  r obus c la s s if ie r . F in a ll y, a   de c is io t r e e   [ 20] w it it s   tr e e - li ke   s tr uc tu r e is   u s e f or   bot c l a s s if ic a ti on  a nd   r e gr e s s io ta s k s T hi s   c om pr e he ns iv e   e va lu a ti on  a ll ow s   f or   a   de ta il e c om pa r is on   o f   how   th e s e   tr a di ti ona m a c hi ne   le a r ni ng  m ode ls   pe r f or m   in   th e   c ont e xt   of   s e nt im e nt   a na ly s is   w h e us in T F - I D F   a s   th e   f e a tu r e   r e pr e s e nt a ti on  te c hni que .     B E R T   e m be ddi ng - ba s e tr a di ti ona m ode ls B E R T   e m b e ddi ngs   pr ov id e   a   s ig ni f ic a nt   a d va nt a ge   ove r     TF - I D F  ve c to r s   by   c a pt ur in th e  c ont e xt   in   w hi c h w or d s  a ppe a r c r e a ti n g a   m or e  hol i s ti c   r e pr e s e nt a ti on   of   te xt . T F - I D F a   s ta ti s ti c a m e tr i c   f or   e va lu a ti ng  a   w or d' s   im por t a nc e   w it hi n a   c or pu s e f f e c ti v e ly   id e nt if ie s   ke yw or r e le v a nc e   but   tr e a t s   e a c te r m   i nde p e nd e nt ly la c ki ng   c ont e x tu a in s ig ht I c on tr a s t,   B E R T or   bi di r e c t io na l   e n c od e r   r e pr e s e nt a ti on s   f r om   tr a ns f or m e r s g e ne r a te s   c ont e x tu a li z e d   w or d   e m b e ddi n gs   th a t   c a pt ur e   c om pl e s e m a nt i c   a nd  s ynt a c ti c   nu a nc e s T h is   c a p a bi li ty   is   p a r ti c ul a r ly   v a lu a bl e   in   s e n ti m e nt   a na ly s i s , w h e r e   a  w or d’ s  s e nt im e nt  c a n v a r y s u bs t a nt i a ll y b a s e on ne a r by t e r m s R e s e a r c h h a s   s ho w n t ha us in B E R T   e m be dd in g s   a s   in put   f e a tu r e s   f or   tr a di ti on a l,   n on - de e p - l e a r ni n c l a s s if ie r s - s uc a s   s upp or ve c to r   m a c hi n e s r a ndo m   f or e s t s or   bo os ti ng  a lg or it hm s - e na bl e s   th e s e   m ode l s   to   h a r ne s s   th e   e nr i c he d,  c ont e xt ua l   in f or m a ti on   e m b e dd e i th e   t e xt ,   le a di ng   to   im pr o ve a c c ur a c a nd   r obu s tn e s s   in   s e nt im e nt   c la s s if i c a ti on  ta s ks  c om p a r e to   m od e ls   r e ly in g s ol e l on  T F - I D F   ve c to r s E m pl oyi ng  B E R T   e m be ddi ngs   in  t hi s  w a y of f e r s  a  pr om i s in a ppr o a c h  t e nha nc in g s e nt im e nt   a na ly s i s  m od e l s   [ 21] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M ode li ng s e nt ime nt  analy s is  of  I ndone s ia n bi odi v e r s it y  pol ic y   T w e e ts   …  ( M ohamm ad T e duh Ulini ans y ah )   2393   2.4.    M od e p e r f or m an c e  e val u at io n   T hi s   s tu dy  a ddr e s s e s   th e   c ha ll e ng e   of   a na ly z in publ ic   s e nt i m e nt   f r om   th e   in f or m a a nd  di ve r s e   la ngua ge   us e on  I ndone s ia T w it te r pa r ti c ul a r ly   in   th e   c ont e xt   of   bi odi ve r s it pol ic ie s by  e va lu a ti ng  th e   e f f e c ti ve ne s s   of   I ndoB E R T w e e c om p a r e to   s e ve n   tr a d it io na c la s s if ie r s U s in a   c ur a te da ta s e of     13,435  twe e ts w e   e m pl oy  bot T F - I D F   a nd  B E R T   e m be ddi ngs   f or   f e a tu r e   e xt r a c ti on  in   th e   tr a di ti ona l   c la s s if ie r s ,   w hi le   I ndoB E R T w e e t   le ve r a ge s   it s   pr e - tr a in e e m b e ddi ngs K e y   m e tr ic s   s uc h   a s   m e a n   a c c ur a c y,  m e a F1 - s c or e a nd  s t a ti s ti c a s ig ni f ic a nc e   ( p - va lu e s )   a r e   us e to   c om pa r e   th e   m ode l s   to   e ns ur e   a   r obus t   pe r f or m a nc e   a s s e s s m e nt F ur th e r   e va lu a ti on  m e th ods   in c lu de   10 - f ol c r os s - va li da ti on  to   e ns ur e   r obus tn e s s a c c ur a c y,  a nd   F 1 - s c or e   to   m e a s ur e   pr e di c ti ve   c or r e c tn e s s ,   S ta ti s ti c a S ig ni f ic a nc e   te s t s   to   va li da te   pe r f or m a nc e   di f f e r e nc e s a nd  W or A tt r ib ut io to   e nha nc e   in te r pr e ta bi li ty   by  id e nt if yi ng  ke te r m s   in f lu e nc in s e nt im e nt   pr e di c ti ons .   T he s e  e va lu a ti ons   pr ovi de  c r it ic a in s ig ht s   in to   th e  s tr e ngt hs   a nd  li m it a ti ons   of  e a c h a ppr oa c f or   a na ly z in g s e nt im e nt  f r om  I ndone s ia n T w it te r  da ta .     2.4.1.   10 - f ol d  c r os s - val id at io n   10 - f ol d c r os s - va li da ti on i s  a  w id e ly  r e c ogni z e d m e th od f or  e va l ua ti ng ma c hi ne  l e a r ni ng mode ls   [ 22] T hi s  t e c hni que  di vi de s  t he  da ta s e   in to  t e n e qua s ubs e ts , known a s  “ f ol ds .”  I n e a c h i te r a ti on, one - f ol   is   s e a s id e   a s   th e   te s ti ng  s e t,   w hi le   th e   r e m a in in ni ne   f ol ds   ( 90 %   of   th e   da ta )   a r e   us e f o r   t r a in in th e   m ode l   ( 10%  f or  t e s ti ng) . T hi s  pr oc e s s  i s  r e pe a te d t e n t im e s , w it h e a c s ubs e s e r vi ng a s  t he  t e s s e e xa c tl y on c e . T h e   pe r f or m a nc e   m e tr ic     is   c a lc ul a te f or   e a c f ol d,   a nd  th e   ov e r a ll   pe r f or m a nc e   is   de te r m in e by  a ve r a gi ng   th e s e  m e tr ic s  a c r os s  a ll  t e n f ol ds   ( 1) .           =   1 10 10 1     ( 1)     T hi s  a ve r a g e  of f e r s  a  c om pr e he ns iv e   a s s e s s m e nt  of  t he  m ode l’ s  c a pa bi li ty  t o ge ne r a li z e  t o uns e e n da ta .   10 - f ol d c r os s - va li da ti on e nha nc e s   e va lu a ti on r e li a bi li ty  by  r e du c in g va r ia nc e  f r om  r a ndom da ta   s pl it s   a nd  e ns ur in e a c in s ta nc e   ha s   e qu a c ha nc e s   in   tr a in in a nd  te s ti ng  s e ts r e duc in ove r f it ti ng  r is ks S c ik it - le a r n’ s   c r os s _va l_ s c or e   f unc ti on  a ut om a te s   da ta   di vi s io n,  m ode tr a in in g,  a nd  pe r f or m a nc e   e va lu a ti on.   P e r f or m a nc e   m e tr ic s   a r e   a ve r a ge d   a c r os s   a ll   f ol ds   f or   a   r obus e s t im a te m a ki ng  t hi s   m e th od  e s pe c ia ll e f f e c ti ve   w he n da ta  i s  l im it e d a nd a   s in gl e  t r a in - te s s pl it  m a y not a c c ur a t e ly  r e f le c m ode ge ne r a li z a ti on.     2.4.2.   A c c u r ac y an d  F 1 - s c or e   B ui ld in on  th e   10 - f ol c r os s - va li da ti on  pr oc e s s w e   now   a s s e s s   m ode pe r f or m a nc e   us in a c c ur a c y   a nd  F 1 - s c or e w it r e s ul ts   a ve r a ge a c r os s   a ll   te f ol ds   to   e ns ur e   a   c om pr e he ns iv e   e v a lu a ti on.  A c c ur a c y,   c a lc ul a te a s   ( 2) pr ovi de s   a ove r a ll   vi e w   of  m ode p e r f or m a nc e w he r e   tr ue   pos it iv e s   ( T P )   a nd  tr ue   ne ga ti ve s   ( T N )   r e pr e s e nt   c or r e c tl pr e di c te pos it iv e   a nd  ne ga ti ve   in s ta nc e s a nd  f a ls e   pos it iv e s   ( F P )   a nd   f a ls e   ne ga ti ve s   ( F N )  a c c ount  f or  i nc or r e c pr e di c ti ons .      =  +   +  +  +      ( 2)     W hi le   a c c ur a c gi ve s   a   br oa ove r vi e w th e   F 1 - s c or e   of f e r s   a   m or e   nua nc e e va lu a ti on,  pa r ti c ul a r ly   f or   im ba la nc e da ta s e ts .   P r e c is io n,  th e   pr opor ti on  of   T P   out   of   a l pos it iv e   pr e di c ti ons   ( T P   +   F P ) r e f le c ts   th e   m ode l’ s   a bi li ty   to   a voi f a ls e   pos it iv e s w h il e   r e c a ll th e   pr opor t io of   T P   out   of   a ll   a c tu a pos it iv e s   ( T P   +   F N ) in di c a te s   th e   m ode l’ s   e f f e c ti ve ne s s   in   id e nt if yi ng  tr ue   pos it iv e s T he   F 1 - s c or e de f in e a s   th e   ha r m oni c   m e a n   of   pr e c is io n a nd r e c a ll , i s  gi ve n by ( 3) .     1 _  = 2   ×     ×   +     ( 3)     T hi s  m e tr ic  ba la nc e s  t he  t r a de - of f  be twe e pr e c is io n a nd r e c a ll ,  m a ki ng i e s pe c ia ll y us e f ul  w he n po s it iv e  a nd  ne ga ti ve   c la s s e s   a r e   not   e qua ll r e pr e s e nt e d.  C a lc ul a ti ng  bot a c c ur a c a nd  F 1 - s c or e   f or   e a c f ol dur in c r os s - va li da ti on  e ns ur e s   th a our   e va lu a ti on  r e f le c ts   th e   m ode l’ s   pe r f or m a nc e   a c r os s   di f f e r e nt   da ta   s u bs e ts e nha n c in th e  r obus tn e s s  of  our  r e s ul ts .     2.4.3.   S t at is t ic al   s ig n if i c an c e   T o a s s e s s  t he  r e li a bi li ty  of  pe r f or m a nc e  di f f e r e nc e s  a m ong the   s e nt im e nt  a na ly s is  m ode ls , w e  us e  t he   pa ir e t - te s t   [ 23] T hi s  s ta ti s ti c a l   te s c om pa r e s   th e   m e a n a c c ur a c a nd  F 1 - s c or e   of   th e   m ode ls ,   w hi c in c lu d e   B E R T - ba s e de e le a r ni ng  a nd  tr a di ti ona m a c hi ne   le a r ni ng  m ode ls   e m pl oyi ng  e it he r   T F - I D F   or   B E R T   e m be ddi ngs T he   p a ir e t - te s e v a lu a te s   w he th e r   th e   obs e r ve di f f e r e nc e s   in   pe r f or m a nc e   m e tr ic s   a c r o s s   th e   10 - f ol d c r os s - va li da ti on a r e  s ta ti s ti c a ll y s ig ni f ic a nt  or  i f  t he y c o ul d be  a tt r ib ut e d t o r a ndom va r ia ti on   [ 24] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  3 J une   20 25 2389 - 2401   2394   T he   t - va lu e   f or   th e   p a ir e t - te s is   c a lc ul a te d   a s   ( 4) w he r e   d ̅   is   t he   m e a of   th e   di f f e r e nc e s   be tw e e pa ir e obs e r va ti ons s d   is   th e   s ta nda r de vi a ti on  of   th e s e   di f f e r e nc e s a nd  is   th e   num be r   of   f ol ds T hi s   t - va lu e   m e a s ur e s   ho w   s ig ni f ic a nt ly   th e   m e a di f f e r e nc e   de vi a te s   f r om   z e r o,  w it th e   c or r e s ponding   p - va lu e   de r iv e f r om  t he  t - di s tr ib ut io n w it h n− 1 de gr e e s  of  f r e e dom .     t = d ̅ s d n     ( 4)     A   p - va lu e   le s s   th a n   0.05  in di c a te s   th a th e   p e r f or m a nc e   di f f e r e nc e s   a r e   s ta ti s ti c a ll s ig ni f ic a nt     [ 25] [ 26] s ugge s ti ng  th a one   m ode pe r f or m s   be tt e r   th a a not he r   m e a ni ngf ul ly T hi s   a na ly s i s   e ns ur e s   th a our   c onc lu s io ns   a bout   m ode e f f e c ti ve ne s s   a r e   s uppor te by  s ta ti s ti c a e vi de nc e pr ovi di ng  a   r e li a bl e   ba s is   f o r   e va lu a ti ng t he  a dva nt a ge s  of  di f f e r e nt  s e nt im e nt  a na ly s is  t e c hni que s   [ 27] .     2.4.4.   Wor d   at t r ib u t io n   I a ddi ti on  to   a s s e s s in m ode pe r f or m a nc e   w it a c c ur a c a n F 1 - s c or e th is   s tu dy  e m pl oys   w or a tt r ib ut io te c hni que s   to   de e pe in s ig ht s   in to   s e nt im e nt   a na l ys is   m ode ls pa r ti c ul a r ly   th os e   us in B E R T   e m be ddi ngs   [ 28] [ 29] W or a tt r ib ut io is   c r uc ia f or   unde r s ta n di ng  th e   in f lu e nc e   of   in di vi dua w or ds   or   to ke ns   on  m ode pr e di c ti ons e ns ur in th a th e   de r iv e d   in s ig ht s   a r e   a c c ur a te   a nd  in te r pr e ta bl e T qua nt if e a c w or d’ s   c ont r ib ut io to   s e nt im e nt   pr e di c ti on,  w e   us e   th e   in te gr a te gr a di e nt s   m e th od,  w hi c c om put e s   th e   a ve r a ge   gr a di e nt   of   th e   m ode l’ s   out put   w it r e s pe c to   w or e m be ddi ngs   in te gr a te f r om   a   ba s e li ne   ( e .g.,  a   z e r ve c to r )   to  t he  a c tu a in put . T he  f or m ul a  f or  I nt e gr a te d G r a di e nt s  i s  de f i ne d i n ( 5) .        ( ) = ( )   ×  ( +     × ( )   ) 1 0        ( 5)     w he r e   x   is  t he  i nput  f e a tu r e   is  t he  ba s e li ne  i nput F   is  t he  m ode f unc ti on, a nd  α   is  a  s c a li ng f a c to r   [ 29] .   T va li da te   a nd  vi s ua li z e   r e s ul ts w e   us e   w or c lo uds   to   di s pl a w or pr om in e nc e   ba s e on  a tt r ib ut io n   s c or e s   [ 30] [ 31] .   H ig hl ig ht in g   w or ds   th a s ig ni f ic a nt ly   im pa c s e nt im e nt   pr e di c ti ons T hi s   c om bi na ti on  o f   qua nt it a ti ve   a tt r ib ut io a nd  qua li ta ti ve   v is ua li z a ti on  e nha nc e s   t he   in te r pr e ta bi li ty   a nd  r e li a bi li ty   of   s e nt im e nt   a na ly s is  m ode l s .       3.   R E S U L T S  A N D  D I S C U S S I O N   T hi s   s e c ti on  pr e s e nt s   th e   r e s ul ts   of   c om pa r in I ndoB E R T w e e w it tr a di ti ona m a c hi ne   le a r ni ng  m ode ls   to   th e   c ur a te da ta s e t,   w it pe r f or m a nc e   m e a s ur e by  a c c ur a c a nd  F 1 - s c or e W e   a l s a na ly z e   s e nt im e nt   di s tr ib ut io a c r os s   bi odi ve r s it pol ic s ubdom a in s   a nd  e v a lu a te   m ode p e r f or m a nc e   th r ough  s ta ti s ti c a s ig ni f ic a nc e  a nd  w or d - a tt r ib ut io a na ly s is .   T he s e   f in di ngs   pr ovi de   in s ig ht s   in to   th e   e f f e c ti ve n e s s   of   th e  m ode ls  a nd of f e r  r e c om m e nda ti ons  f or  f ut ur e  i m pr ove m e nt s .     3.1.    L ab e li n r e s u lt s   T he   a n a ly s is   of   s e nt im e nt   di s tr ib ut io w it hi our   la be le d a ta s e of   13,435  tw e e ts   r e v e a ls   di s ti nc pa tt e r ns   a c r os s   va r io us   s ubdoma in s   of   bi odi ve r s it pol ic ie s   in   I ndone s ia T h e   he a lt s ubdoma in   e xhi bi ts   th e   hi ghe s pr opor ti on  of   pos it iv e   twe e ts w hi le   f oo s e c ur it is   pr e d om in a nt ly   a s s oc ia t e w it ne ga ti ve   s e nt im e nt T he s e   f in di ngs   unde r s c or e   th e   h e te r oge ne ous   na tu r e   of   pu bl ic   s e nt im e nt w it F ig ur e   pr ovi di ng  a   c om pr e he ns iv e  ove r vi e w  of  pos it iv e , ne g a ti ve , a nd ne ut r a s e nt i m e nt s  a c r os s  t h e  s ubdoma in s .           F ig ur e  3. D is tr ib ut io n of   s e nt im e nt  l a be ls  a c r os s   I ndone s i a n T w it te r   s ubdoma in s   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M ode li ng s e nt ime nt  analy s is  of  I ndone s ia n bi odi v e r s it y  pol ic y   T w e e ts   …  ( M ohamm ad T e duh Ulini ans y ah )   2395   3.2.    E val u at io n  r e s u lt s   T hi s   e xpe r im e nt   e va lu a te s e ve n   non - de e p - le a r ni ng  m e th od s - lo gi s ti c   r e gr e s s io n,  s uppor v e c to r   c la s s if ie r r a ndom  f or e s t,   L G B M C la s s if ie r X G B oos t,   A da B o os t,   a nd  de c is io tr e e - us in bot T F - I D F   a nd  B E R T   e m be ddi ng s   a s   in put   f e a tu r e s A ddi ti ona ll y,  th e   I ndoB E R T w e e pr e - tr a in e m ode w a s   te s te d   w it th r e e   va r ia ti ons   of   a   f ul ly   c onne c te la y e r no  a c ti va ti on  f unc ti on,  G E L U a nd  T a nh.  I to ta l,   17  s e nt im e nt  a na ly s i s   m ode ls   w e r e   e va lu a te us in 10 - f ol c r os s - va li da ti on,  w it a c c ur a c a nd  F 1 - s c or e   m e tr ic s   c om pa r e a c r os s   m ode ls . S ta ti s ti c a s ig ni f ic a nc e  t e s ts  w e r e  c ondu c te d t o c om pa r e  m ode pa ir s , a nd t he  be s t - pe r f or m in g B E R T - ba s e m o de l   unde r w e nt   w or d - a tt r ib ut io a na ly s is   to   unde r s ta nd  th e   im pa c of   s pe c if ic   w or ds   on  s e nt im e nt   pr e di c ti on.     3.2.1. P e r f or m an c e   m e t r ic   T a bl e  1 pr e s e nt s  t he  e va lu a ti on me tr ic s  f or  e a c h m ode l,  i nc lu di ng me a n a c c ur a c y a nd me a n F 1 s c or e ,   a ve r a ge ove r   te f ol ds   a nd  hi ghl ig ht in th e   be s pe r f or m a n c e   f r om   th e   f ol ds T he   B E R T - ba s e m ode ls   de m ons tr a te s up e r io r   pe r f or m a nc e   to   tr a di ti ona m a c hi ne   le a r ni ng  m ode ls a s   il lu s tr a te in   F ig ur e   4,  w hi c h   s how s   e a c h  c la s s if ie r s  m e a n  a c c ur a c y  a nd  m e a n F 1  s c or e .  T he   hi ghe s m e a n  F 1 s c or e  of  0.7633  w a s  a c hi e v e us in th e  T a nh a c ti va ti on  f unc ti on,  w hi le   th e   G E L U   a c ti va ti on f unc ti on  yi e ld e th e   hi ghe s m e a n   a c c ur a c of   0.7899.  T he s e   r e s ul ts   unde r s c or e   B E R T s   e x c e pt io na c a pa bi li t to   c a pt ur e   th e   nua nc e s e nt im e nt   e xpr e s s e d   w it hi th e   da ta s e t.   F ur th e r m or e th e   B E R T - ba s e m ode ls   s how e r e m a r ka bl e   c ons is te nc in   th e ir   pe r f or m a nc e ,   w it h s li ght  va r ia ti ons  i n a c c ur a c y   a nd F 1 s c or e s  a c r os s  di f f e r e nt  a c ti va ti on f unc ti ons .       T a bl e  1.  T he  a c c ur a c y a nd F 1 - s c or e  f or  e a c h m ode l   V e c t or i z a t i on   C l a s s i f i e r   M e a a c c ur a c y   S t d.   D e a c c ur a c y   M e a   F s c or e   S t d.   D e   F s c or e   B e s t   a c c ur a c y   B e s t  F s c or e   TF - I D F   L ogi s t i c  r e gr e s s i on   0.7144   0.0135   0.6688   0.0094   0.7337   0.6819   S uppor t  ve c t or  c l a s s i f i e r   0.7101   0.0142   0.6556   0.0097   0.7307   0.6689   R a ndom  f or e s t   0.6670   0.0137   0.6022   0.0114   0.6884   0.6212   L G B M C l a s s i f i e r   0.6915   0.0118   0.6475   0.0104   0.7149   0.6700   X G B oos t   0.6762   0.0151   0.6281   0.0151   0.7119   0.6637   A da B oos t   0.6153   0.0144   0.5688   0.0152   0.6399   0.5891   D e c i s i on t r e e   0.5596   0.0100   0.5263   0.0124   0.5781   0.5479   B E R T   e m be ddi ng   L ogi s t i c  r e gr e s s i on   0.7409   0.0087   0.7057   0.0058   0.7559   0.7145   S uppor t  ve c t or  c l a s s i f i e r   0.7616   0.0096   0.7198   0.0047   0.7792   0.7277   R a ndom  f or e s t   0.6828   0.0155   0.6075   0.0121   0.7041   0.6192   L G B M C l a s s i f i e r   0.7362   0.0124   0.6952   0.0086   0.7511   0.7102   X G B oos t   0.7315   0.0122   0.6878   0.0118   0.7443   0.7040   A da B oos t   0.6689   0.0125   0.6144   0.0120   0.6920   0.6287   D e c i s i on t r e e   0.5396   0.0121   0.5053   0.0108   0.5615   0.5201   B E R T   I ndoB E R T w e e t   -   G E L U   0.7899   0.0123   0.7632   0.0140   0.8065   0.7810   I ndoB E R T w e e t   -   T A N H   0.7891   0.0129   0.7633   0.0156   0.8088   0.7907   I ndoB E R T w e e t   -   NONE   0.7868   0.0103   0.7582   0.0153   0.8080   0.7917       U s in B E R T   w or e m be ddi ngs   a s   f e a tu r e s   f or   tr a di ti ona m a c hi ne   le a r ni ng  m ode ls ot he r   th a n   D e c is io T r e e in c r e a s e th e   pe r f or m a nc e   of   th e   r e s ul ti ng  m ode ls H ow e ve r th e w e r e   s ti ll   lo w e r   th a th e   B E R T - ba s e d   m ode ls T he   pe r f or m a nc e   de c r e a s e   of   th e   D e c i s io T r e e   w h e us in g   B E R T   e m be ddi ngs   c a n   be   a tt r ib ut e to   th e   de ns e   na tu r e   o f   B E R T   e m be ddi ng s w hi c m a ke s   it   ha r de r   to   f in opt im a s pl it s   f or   th e   D e c is io T r e e I c ont r a s t,   T F - I D F   f e a tu r e s   a r e  s pa r s e w hi c is   m or e   s ui ta bl e   f or   D e c is io n T r e e s   a s   th e y c a n   e f f e c ti ve ly  l e ve r a ge  t he  s pa r s it y f or  be tt e r  s pl it s .   P r io r   s e nt im e nt   a na ly s is   s tu di e s   in   th is   f ie ld   h a ve   us e ge ne r a m a c hi ne   le a r ni ng  a nd  N L P   m ode ls but   th e ha ve   not   f ul ly   a ddr e s s e th e   uni que   li ngui s ti c   a nd  c ul tu r a c ha r a c te r is ti c s   of   I ndone s ia s oc ia m e di a   di s c our s e I ndoB E R T w e e t   e f f e c ti ve ly   f il ls   th i s   r e s e a r c ga p,   de m ons tr a ti ng  hi ghe r   a c c ur a c y   a nd   F s c or e s   th a n   tr a di ti ona m ode ls   li ke   lo gi s ti c   r e gr e s s io n,  s uppor ve c to r   m a c hi ne s a nd  r a ndom  f or e s t S pe c if ic a ll y,  I ndoB E R T w e e a c hi e ve a   m e a a c c ur a c of   78.99%   a nd  a F s c or e   of   0.7633,  s ur pa s s in th e   hi gh e s a c c ur a c a nd   F s c or e   of   71.44%   a nd  0.6688,  r e s pe c ti ve ly a c hi e ve by  tr a di ti ona m ode l s I ts   pr e - tr a in e c a pa bi li ti e s   e na bl e   a   m or e   nua nc e unde r s ta ndi ng  of   c om pl e x   s e nt im e nt   e xpr e s s io ns   s pe c if ic   to   I ndone s ia n   bi odi ve r s it y poli c y. W hi le  t r a di ti on a m ode ls  pe r f or m e d r e a s on a bl y w it h T F - I D F  ve c to r iz a ti on, t he s tr uggl e w it th e   in f or m a la ngua ge   pr e va le nt   on  s oc ia m e di a D e s pi te   I ndoB E R T w e e t' s   a dva nt a ge s ,   tr a di ti ona m ode ls   r e m a in   va lu a bl e   in   r e s our c e - li m it e s e tt in gs   f or   th e ir   s im pl e r   im pl e m e nt a ti on  a nd  lo w e r   c om put a ti ona de m a nds T he s e   f in di ngs   unde r s c or e   th e   im por ta nc e   of   s e le c ti n m ode ls   s ui te to   th e   uni que   r e qui r e m e nt s   of   a   gi ve ta s a nd  c ont e xt r e ve a li ng  I ndoB E R T w e e t’ s   pot e nt ia to   a dva nc e   m or e   e qui ta bl e   a nd  pr e c is e   s e nt im e nt   a na ly s is  i n I ndone s i a n bi odi ve r s it y di s c our s e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  3 J une   20 25 2389 - 2401   2396   H ow e ve r , t hi s  s tu dy i s  l im it e d by it s  r e li a nc e  on a  s in gl e  da ta s e t  f r om  T w it te r , w hi c h, w hi le  e f f e c ti ve   in   e va lu a ti ng  I ndoB E R T w e e t’ s   s tr e ngt hs m a y   not   f ul ly   c a pt ur e   s e nt im e nt   nua nc e s   a c r os s   ot he r   s oc ia m e di a   pl a tf or m s T hi s   li m it a ti on  c oul a f f e c th e   m o de l' s   a ppl ic a bi li ty   in   br oa de r   c ont e xt s a s   s e nt im e nt   e xpr e s s io ns   m a va r s ig ni f ic a nt ly  a c r os s   di f f e r e nt   pl a tf or m s A s  a   r e s ul t,   th e   f in di ngs   s houl d   be   in te r pr e te d w it c a ut io n,   r e c ogni z in g t ha a ddi ti ona da ta s e t s  m a y be  ne e d e d t o c onf ir m  t he  m ode l’ s  ge n e r a li z a bi li ty .           F ig ur e  4. C om pa r is on of  m e a n a c c ur a c ie s  a nd F 1 - s c or e s  f or  e a c h m ode l       3.2.2. S t at is t ic al   s ig n if ic an c e  an al ys is   F ig ur e   p r ovi de s   th e   p - va lu e s   f or   pa i r w is e   c om pa r is ons   of   th e   F 1 - s c or e   be twe e a ll   17  m ode ls A l l   p - va lu e s  a m ong B E R T - ba s e a nd t r a di ti ona m a c hi ne  l e a r ni ng mode ls  ha ve  va lu e s  l e s s  t ha n  0.05, indi c a ti ng a   s ta ti s ti c a ll s ig ni f ic a nt   di f f e r e nc e T he   p - va lu e s   a m ong  B E RT - ba s e m ode l s   a r e   a ll   gr e a te r   th a 0.05 ,   in di c a ti ng  th e do  not   d if f e r   s ig ni f ic a nt ly T he   ta bl e   a ls s how s   th a th e   us e   of   B E R T - e m be ddi ng  in   t r a di ti ona l   m a c hi ne   le a r ni ng  m e th ods   m os tl di f f e r s   s ig ni f ic a nt ly   f r om   us in T F - I D F e xc e pt   f or   th e   pa ir   of   r a ndo m   f o r e s us in g B E R T  e m be ddi ng  a nd T F - I D F , w hi c h ha s  a  p - va lu e  of  0. 3.           F ig ur e  5.  T he  p - va lu e s  f or  pa ir w is e  c om pa r is on s  be twe e n m ode ls   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M ode li ng s e nt ime nt  analy s is  of  I ndone s ia n bi odi v e r s it y  pol ic y   T w e e ts   …  ( M ohamm ad T e duh Ulini ans y ah )   2397   3.2.3. Wor d - at t r ib u t io n  an al ys is   T hi s   s tu dy  f oc us e s   on   s e nt im e nt   c la s s if ic a ti on  us in g   w or a tt r ib ut io de r iv e f r om   th e   in te gr a te gr a di e nt s   m e th od,  s uppl e m e nt e by  w or f r e que nc a na ly s is .   T he   in te gr a te gr a di e nt s   m e th od  e nh a nc e s   th e   in te r pr e ta bi li ty   of   s e nt im e nt   pr e di c ti ons   by  c a lc ul a ti ng  w or d - le ve c ont r ib ut io ns   f r om   a   ba s e li ne   to   th e   a c tu a in put pa r ti c ul a r ly   in   th e   I ndoB E R T w e e t - G E L U   m ode l,   w hi c is   th e   be s t - pe r f or m in m ode in   th is   r e s e a r c h.  A lt hough  ot he r   m e th ods   li ke   s ha pl e a ddi ti ve   e xpl a na ti ons   ( S H A P )   [ 32]   a nd  lo c a in te r pr e ta bl e   m ode l - a gnos ti c   e xpl a na ti ons   ( L I M E )   [ 33]   c oul d  pr ovi de  a ddi ti ona l  i nt e r pr e ta bi l it y by a na ly z in g w or in te r a c ti ons  or  bui ld in g   lo c a a ppr oxi m a ti ons , t he y w e r e  not  i nc lu de d i n t hi s   s tu dy.   a.   W or f r e que nc y   c lo uds   W or f r e que nc c lo uds   vi s ua ll s um m a r iz e   th e   m os f r e qu e nt ly   m e nt io ne te r m s   w it hi e a c s e nt im e nt   c a te gor y - ne ga ti ve n e ut r a l,   a nd  pos it iv e .   T he s e   c lo uds   he lp   id e nt if dom in a nt   th e m e s   in   publ ic   di s c our s e .     N e ga ti ve   s e nt im e nt A s   s how in   F ig ur e   6 ( a ) th e   w or f r e que nc c lo ud  f or   ne ga ti ve   s e nt im e nt   hi ghl ig ht s   te r m s   s uc a s   k e bak ar an  hut an   ( f or e s f ir e s )   a nd ‘ impor   be r as   ( r ic e   im po r ts ) T he s e   te r m s   s tr ongl f oc us   on e nvi r onm e nt a c r is e s  a nd f ood s e c ur it y, r e f le c ti ng w id e s pr e a d publi c  c onc e r n.     N e ut r a s e nt im e nt F ig ur e   6 ( b)   il lu s tr a te s   th a ne ut r a s e nt im e nt   is   dom in a te by  w or ds   li ke   m obi li s tr ik ’  ( e le c tr ic   c a r s )   a nd  s tu nt in g,’   w hi c s ugge s ongoing  di s c us s io ns   a r ound  te c hnol ogy  a nd  publ ic   he a lt h,  ty pi c a ll y r e por te d i n a  f a c tu a or  ne ut r a to ne .     P os it iv e  s e nt im e nt T he   w or d f r e que nc y c lo ud  f or  pos it iv e   s e nt i m e nt  F ig ur e   6 ( c )  e m pha s iz e s  t e r m s  s u c h a s   I ndone s ia   a nd  k e ndar aan  li s tr ik   ( e le c tr ic   ve hi c le s ) in di c a ti ve   of   na ti ona pr id e   a nd  opt im is m   to w a r ds   te c hnol ogi c a pr ogr e s s  a nd e nvi r onm e nt a s us ta in a bi li ty .   I is   im por ta nt   to   not e   th a t   th e s e   w or c lo uds   a r e   ba s e on  r a w   w or f r e que nc ie s   a nd  do  not   a c c ount   f o r   th e   s pe c if ic  pe r f or m a nc e  of  s e nt im e nt  a na ly s i s  m ode ls .   b.   W or a tt r ib ut io n c lo u ds   W or a tt r ib ut io c lo uds de r iv e f r om   I n te gr a te G r a di e nt s s pot li ght   th e   w or ds   w it th e   hi ghe s m e a n   a tt r ib ut io n va lu e s , s ig ni f ic a nt ly  i m pa c ti ng s e nt im e nt  c la s s if ic a ti on.     N e ga ti ve   s e nt im e nt A s   de pi c te in   F ig ur e   7 ( a ) ,   w or ds   li ke   pos i ti c ov id   ( C O V I D - pos it iv e )   a nd  k e bi ja k an   impor   ( im por pol ic y)   e xhi bi hi gh  a tt r ib ut io va lu e s T he s e   te r m s   a r e   c r it ic a in   dr iv in ne g a ti ve   s e nt im e nt hi ghl ig ht in g publi c  c onc e r ns  ove r  he a lt h c r is e s   a nd e c onomi c  p ol ic ie s .     N e ut r a s e nt im e nt F ig ur e   7 ( b)   s ho w s   th a in   ne ut r a l   s e nt im e nt w or ds   s uc h   a s   hut an  m angr o v e   ( m a ngr ove   f or e s t)  a nd ‘ obat  he r bal  ( he r ba m e di c in e )  ha ve  hi gh   a tt r ib ut io n va lu e s .  T he s e  w or d s  a r e   c e nt r a to  ne ut r a l   di s c our s e , r e f le c ti ng ba la nc e d, c ont e xt - s pe c if ic  c ont e nt .     P os it iv e   s e nt im e nt F or   pos it iv e   s e nt im e nt F ig ur e   7 ( c )   r e v e a ls   th a t   w or ds   li ke   s al ur k an  bant uan ’  ( di s tr ib ut e  a id )  a nd ‘ ja ga k e ta hanan  ( m a in ta in  r e s il ie nc e )  hol th e  hi ghe s a tt r ib ut io n va lu e s . T he s e  t e r m s   unde r s c or e  t he  i m por ta nc e  of  c om m uni ty  s uppor a nd r e s il ie nc e  i n pos it iv e  s e nt im e nt  e xpr e s s io ns .   T he s e   a tt r ib ut io c lo uds   a r e   ge n e r a te u s in th e   I ndoB E R T w e e t - G E L U   m ode l,   w hi c is   th e   be s t - pe r f or m in g   m ode in  our  a na ly s is , t he r e by pr ovi di ng mor e  a c c ur a te  a nd  s e n ti m e nt - s pe c if ic  i ns ig ht s .   c.   C om pa r is on of  w or d c lo uds f r e que nc y vs . a tt r ib ut io n   T a bl e   2   c om pa r e s   th e   to f our   w or ds   de r iv e f r om   bot f r e que nc a nd  a tt r ib ut io a na ly s e s   f or   e a c s e nt im e nt  c a te gor y t o unde r s ta nd t he  di f f e r e nc e s  i n w or d s ig ni f ic a nc e  ba s e d on a na ly s is  a ppr oa c h e s .     N e ga ti ve   s e nt i m e nt T h e   f r e que nc c lo ud  e m pha s iz e s   br oa de r   s oc ie ta is s ue s   li ke   k e bak a r an  hut an   ( f or e s t   f ir e s ) w hi le   th e   a tt r ib ut io n   c lo ud  id e nt if ie s   pos it if   c ov id   ( C O V I D - pos it iv e )   a s   a   ke dr iv e r   of   ne ga ti ve   s e nt im e nt  de s pi te  i ts  l ow e r  f r e que nc y. T hi s  r e s ul de m ons tr a te s  t he  I ndoB E R T w e e t - G E L U  m ode l’ s  a bi li ty   to  di s c e r n m or e  i m pa c tf ul  w or ds  c ont r ib ut in g t o ne ga ti ve  s e nt im e nt .     N e ut r a s e nt i m e nt C om m on t opi c s  l ik e  ‘ m obi li s tr ik  ( e le c tr ic   c a r s )  a r e  pr om in e nt  i n t he  f r e que nc y c lo ud,   w he r e a s   hut an  m ang r ov e   ( m a ngr ove   f or e s t)   e m e r ge s   in   th e   a tt r ib ut io c lo ud,  s how in it s   im por ta nc e   in   ne ut r a di s c us s io n s  de s pi te  i t s  r e la ti ve  i nf r e que nc y. T hi s  r e s ul r e f le c ts  t he  m ode l’ s  nua nc e d unde r s ta ndi ng   of  ne ut r a s e nt im e nt .     P os it iv e   s e nt im e nt W hi le   I ndone s ia   is   f r e que nt ly   m e nt io ne d   in   pos it iv e   s e nt im e nt th e   a tt r ib ut io c lo ud   e m pha s iz e s   a c ti on - or ie nt e te r m s   li ke   s al ur k an  bant uan   ( di s tr ib ut e   a id ) r e ve a li ng  th e ir   de e pe r   e m ot io na l   im pa c t.   T hi s   r e s ul hi ghl ig ht s   th e   r e f in e s e nt im e nt   a na ly s is   c a pa bi li ti e s   of   th e   I ndoB E R T w e e t - G E L U   m ode l.   T he  w or d - a tt r ib ut io n a na ly s is  us in g t he  I ndoB E R T w e e t - G E L U   m ode s how s  a  m a r ke d i m pr ove m e nt   in   th e   a c c ur a c a nd  de pt of   s e nt im e nt   a na ly s is e s pe c ia ll w it hi I ndone s ia T w it te r   di s c us s io ns   on   bi odi ve r s it y poli c y, by ove r c om in g t he  l im it a ti ons  of  t r a di ti ona l  f r e que nc y - ba s e d m e th ods , w hi c h of te n f a il  t o   c a pt ur e   c ont e xt ua de pt h.  U nl ik e   th e s e   c onve nt io na m e th od s I ndoB E R T w e e t - G E L U   e f f e c ti ve ly   gr a s ps   th e   c ont e xt ua r e le va nc e   of   w or ds   in   I ndone s ia n’ s   uni que   li ngui s ti c   a nd  c ul tu r a nua nc e s id e nt if yi ng  f r e que nt l us e te r m s   w hi le   a c c ur a te ly   a tt r ib ut in s e nt im e nt th us   unc ove r in s ubt le   f a c to r s   li ke   s pe c if ic   le xi c a c hoi c e s   th a s ha pe   e m ot io na r e s pons e s T he s e   f in di ngs   a r e   c r uc ia f or   f i e ld s   r e qui r in pr e c is e   s e nt im e nt   in te r pr e ta ti on,   s uc h a s  publi c  opi ni on on e n vi r onm e nt a pol ic ie s , a s  t he y e n a bl e  pol ic ym a ke r s  t o m a ke  de c is io ns  gr ounde d i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  3 J une   20 25 2389 - 2401   2398   m or e   a c c ur a te a c ti ona bl e   in s ig ht s T hi s   s tu dy   e m pha s i z e s   th e   e s s e nt ia r ol e   of   a dva n c e m ode l s   li ke   I ndoB E R T w e e t - G E L U   in   de li ve r in hi gh - qua li ty   a na ly ti c a r e s ul ts   a nd  s tr e s s e s   th e   ne e f or   c ont in uous   m ode l   r e f in e m e nt  t o m e e th e  c om pl e xi ti e s  of  s e nt im e nt   a na ly s is  a c r o s s  di ve r s e  l in gui s ti c  s e tt in gs .             ( a )   ( b)   ( c )     F ig ur e   6 W or d f r e que nc y c lo uds  f or  e a c h s e nt im e nt   c la s s ( a )   ne ga ti ve , ( b)  ne ut r a l,  ( c )  pos it iv e             ( a )   ( b)   ( c )     F ig ur e   7 . W or d A tt r ib ut io c lo uds  f or  e a c h s e nt im e nt  c la s s ( a )   ne ga ti ve , ( b)  ne ut r a l,  ( c )  pos it iv e       T a bl e   2 . C om pa r is on  of  t op w or ds  by f r e que nc a nd a tt r ib ut io n   S e nt i m e nt   T op  w or ds  ( f r e que nc y )   T op  w or ds  ( a t t r i but i on )   N e ga t i ve   ' k e bak ar an  hut an'   ( f or e s t   f i r e s ) ' i m por   be r as '   ( r i c e   i m por t s ) , ' s t unt i ng' , ' pe t ani '   ( f a r m e r s )   ' pos i t i f   c ov i d'   ( C O V I D - pos i t i ve ) ' k e bi j ak an  i m por '   ( i m por t   pol i c y) ' k e na  s t unt i ng'   ( a f f e c t e by  s t unt i ng) ' r ak y at  k e c i l '   ( c om m on pe opl e )   N e ut r a l   ' m obi l   l i s t r i k '   ( e l e c t r i c   c a r s ) ' s t unt i ng' ' m i ny ak   gor e ng'   ( c ooki ng oi l ) , ' I ndone s i a'   ' hut an  m angr ov e '   ( m a ngr ove   f or e s t ) ' m at e r i '   ( m a t e r i a l ) ' obat  he r bal '   ( he r ba l  m e di c i ne ) , ' be r al i h'   ( s w i t c h)   P os i t i ve   ' i ndone s i a' ' k e ndar aan   l i s t r i k '   ( e l e c t r i c   ve hi c l e s ) ' m obi l   l i s t r i k   ( e l e c t r i c   c a r s ) ' ' angk s t unt i ng'   ( s t unt i ng f i gur e s )   ' s al ur k an  bant uan'   ( di s t r i but e   a i d) ' j aga  k e t ahanan'   ( m a i nt a i r e s i l i e nc e ) ' m ar i   be r s a m a'   ( l e t ' s   be   t oge t he r ) ' be r s am a c e gah'   ( t oge t he r  pr e ve nt )       4.   C O N C L U S I O N   T hi s   s tu dy  c onf ir m s   th a I ndoB E R T w e e w it h   th e   G E L U   a c ti va ti on  e nha nc e s   bot a c c ur a c a nd   in te r pr e ta bi li ty  i n s e nt im e nt  a na ly s is  f or  I ndone s ia n bi odi ve r s it y poli c y di s c our s e , e s ta bl is hi ng i a s  a  v a lu a bl e   to ol   f or   publ ic   s e c to r   e va lu a ti ons A ppl ie to   13,4 35  twe e ts I nd oB E R T w e e t - G E L U   c ons is te nt ly   out pe r f or m e d   tr a di ti ona c la s s if ie r s , w it h a  m e a n a c c ur a c y of  78.99% , i m pr ovi ng by 7.55%  ove r  t he  be s T F - I D F  m ode a n d   by  2.83%   ove r   ot he r   B E R T - ba s e m ode ls w hi le   W or d - A tt r ib ut io A na ly s is   de m on s tr a te I ndoB E R T w e et - G E L U s   c a pa c it f or   c ont e xt ua r e le va nc e ,   pr ovi di ng  nua nc e d s e nt im e nt   in s ig ht s   w it hi I ndone s ia T w it te r s   uni que   li ngui s ti c   c ont e xt H ow e ve r pot e nt ia bi a s e s   r e qui r e   a tt e nt io n,  a s   I ndoB E R T w e e r e f le c ts   de m ogr a phi c   Evaluation Warning : The document was created with Spire.PDF for Python.