I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.  1 5 ,   No .   1 Ma r ch   20 2 6 ,   p p .   3 2 2 ~ 3 3 2   I SS N:  2252 - 8 8 1 4 DOI 1 0 . 1 1 5 9 1 /ijaas . v 1 5 . i 1 . pp 322 - 3 3 2           322     J o ur na l ho m ep a g e h ttp : //ij a a s . ia esco r e. co m   H y brid d eep l ea rning  appro a ch f o r Indo nesia n hoa x   de tec tion:  a  com pa ra tive eva lua tion with  In d o BE RT       Siti  M ujila h wa t i,  M o h.  Ro s i di Z a m ro ni ,   M if t a hu s   S ho lih in   D e p a r t me n t   o f   I n f o r m a t i c En g i n e e r i n g ,   F a c u l t y   o f   S c i e n c e   a n d   Te c h n o l o g y ,   U n i v e r si t a s I sl a m   La m o n g a n ,   L a m o n g a n I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   May   26 2 0 2 5   R ev is ed   Sep   23 2 0 2 5   Acc ep ted   J an   22 2 0 2 6       Th e   sp re a d   o h o a x e in   I n d o n e sia   h a e sc a lat e d   sig n ifi c a n tl y ,   with   o v e r   1 2 , 5 4 7   c a se re c o rd e d   b e twe e n   2 0 1 8   a n d   2 0 2 3 .   Lo w   p u b li c   li t e ra c y   a n d   u n c o n tro ll e d   in f o rm a ti o n   flo c o n tri b u te  to   t h e   ra p id   d isse m in a ti o n   o fa lse   c o n ten t h a fu e ls  d isi n fo rm a ti o n   a n d   so c ial  u n re st.  P re v io u stu d ies   h a v e   u ti li z e d   a rti ficia in telli g e n c e   (AI)   a p p ro a c h e s su c h   a In d o n e sia   b id irec ti o n a l   e n c o d e re p re se n tati o n fr o m   Tr a n sfo rm e rs  ( In d o BERT )   a n d   d e e p   lea rn i n g   m o d e ls  li k e   l o n g   s h o rt - term   m e m o ry   (L S TM ) ,   b id irec ti o n a LS TM   (BiL S TM ),   c o n v o lu t io n a n e u ra n e two r k   (CNN ),   a n d   Tran sfo r m e r - b a se m e th o d s.   Ho we v e r,   m o st  re li e d   o n   a   si n g le  m o d e li n g   p a ra d ig m   a n d   d id   n o t   a d d re ss   th e   trad e - o ffs  b e twe e n   c las sifica ti o n   p e rfo rm a n c e   a n d   c o m p u tati o n a l   e fficie n c y .   Th is  st u d y   p ro p o se a   h y b ri d   a rc h it e c tu re   th a in teg ra tes   In d o BERT   with   b id i re c ti o n a g a t e d   re c u rre n u n i (BiG RU)  a n d   BiL S TM   t o   e n h a n c e   I n d o n e sia n   h o a x   d e tec ti o n .   Us in g   4 , 3 1 2   n e ws   a rti c les   a n d   1 0 - fo l d   c ro ss - v a li d a ti o n ,   we   c o m p a re   th e   p e rfo rm a n c e   o In d o BER T BiG RU,  In d o BERT Bi LS TM ,   a n d   t h e   p ro p o se d   h y b ri d   In d o BERT BiG RU BiL S TM   m o d e l.   Ev a l u a ti o n   m e tr ics   i n c lu d e   a c c u ra c y ,   p re c isio n ,   r e c a ll ,   F 1 - sc o re ,   a n d   trai n in g   ti m e .   T h e   h y b rid   m o d e a c h iev e d   th e   b e st  p e rfo rm a n c e   with   9 8 . 7 3 %   a c c u ra c y ,   9 9 . 0 1 %   re c a ll ,   9 8 . 0 4 %   p re c isio n ,   a n d   9 8 . 9 8 %   F 1 - sc o re ,   wh il e   a lso   re d u c in g   trai n i n g   ti m e   c o m p a re d   to   sin g le  m o d e ls.  Th e se   f in d i n g s   d e m o n stra te  th a t   c o m b in i n g   BiG RU  a n d   BiL S T M   with in   t h e   In d o BERT   fra m e wo rk   e ffe c ti v e ly   b a lan c e p e rfo rm a n c e   a n d   e fficie n c y ,   m a k in g   i a   ro b u st   so lu ti o n   f o In d o n e sia n   tex c las sifica ti o n .   K ey w o r d s :   B id ir ec tio n al  g ated   r ec u r r en u n it   B id ir ec tio n al  L STM   Dee p   lear n in g   Ho ax   d etec tio n   Hy b r id   m o d el   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sit i M u jilah wati   Dep ar tm en t o f   I n f o r m atics E n g in ee r in g ,   Facu lty   o f   Scien ce   an d   T ec h n o lo g y Un iv e r s itas   I s lam   L am o n g an   L am o n g a n ,   E ast J av a,   I n d o n es ia   E m ail:  m o ed jee@u n is la. ac . id       1.   I NT RO D UCT I O   T h s p r ea d   o f   f ak n ews  ( h o ax es)  h as  b ec o m g lo b al  is s u th at  d em an d s   in cr ea s in g   atten tio n ,   p ar ticu lar ly   in   d ev elo p in g   co u n tr ies wh er d ig ital liter ac y   le v els v ar y   s ig n if ican tly   am o n g   th p o p u latio n .   T h e   r ap id   d is s em in atio n   o f   u n v e r if ied   in f o r m atio n   th r o u g h   d ig ital  p latf o r m s   h as  co n tr ib u ted   to   wid esp r ea d   d is in f o r m atio n ,   p u b lic  an x iety ,   u ltima tely ,   an d   s o cial  d i v is io n   [ 1 ] .   T h is   p h en o m en o n   h as  e s ca lated   s h ar p ly   in   I n d o n esia,  with   1 2 , 5 4 7   h o ax   c ases   r ep o r ted   o n lin b etwe en   2 0 1 8   an d   2 0 2 3 .   k ey   co n tr ib u tin g   f ac to r   to   th is   tr en d   is   th e   lo w   lev el  o f   i n f o r m atio n   liter ac y ,   wh ic h   h a m p er s   th p u b lic’ s   a b ilit y   to   ef f ec tiv ely   d is tin g u is h   b etwe en   cr ed ib le  s o u r ce s   an d   m is lead in g   co n ten [ 2 ] .   T o   ad d r ess   th is   ch allen g e,   m an y   r esear ch er s   h av e   d ev o ted   t h em s elv es  t o   u tili zin g   ar tific ial   in tellig en ce   ( AI ) ,   p ar ticu lar ly   d ee p   lear n in g   a n d   n at u r al  la n g u ag e   p r o ce s s in g   ( NL P),   to   d etec f ak n ews.  T r an s f o r m e r - b ased   m o d els  li k b id i r ec tio n al  e n co d e r   r e p r esen tatio n s   f r o m   T r an s f o r m e r s   ( B E R T )   an d   its   v ar ian ts   in   v ar io u s   lan g u a g e s ,   s u ch   as  I n d o n esia  B E R T   ( I n d o B E R T ) ,   h av d e m o n s tr ated   o u ts ta n d in g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Hyb r id   d ee p   lea r n in g   a p p r o a c h   fo r   I n d o n esia n   h o a d etec tio n   :   a   c o mp a r a tive  …  ( S iti Mu jila h w a ti )   323   p er f o r m an ce   in   T r an s f o r m er - b ased   m o d els  s u ch   as  B E R T   an d   its   v ar ian ts   in   v ar io u s   lan g u ag es,  s u ch   as   I n d o B E R T ,   h av e   s h o wn   e x c ellen p er f o r m an ce   in   s u m m ar izatio n   ap p r o ac h es  f o r   tex t - b ased   d ep r ess io n   d etec tio n   [ 3 ] R ah m awa ti  et  a l [ 4 ]   t h eir   r esear ch   co m p ar ed   s ev er al  o f   th b est  m o d els  in   h o ax   n ews  class if icatio n   an d   co n clu d ed   t h at  I n d o B E R T   was  th b est  m o d e o u o f   s u p p o r v ec to r   m ac h in ( SVM)   an d   n aiv B a y es.  Similar ly ,   R id h o   an d   Yu lian ti   [ 5 ]   in te g r ated   I n d o B E R T   with   class ical  m ac h in lear n in g   m o d els  ( e. g . ,   SVM  an d   n aïv B ay es),   s h o win g   th at  th is   co m b in atio n   im p r o v ed   class if icatio n   ac c u r ac y   b y   o v er   1 0 co m p ar ed   to   m o d els  with o u t   co n tex tu al  e m b ed d in g s .   Nu g r ah a   a n d   Fu d h o li  [ 6 ]   ap p lied   B E R T   to   d etec t   C OVI D - 1 9   m is in f o r m atio n   o n   I n d o n esian   T witter   an d   f o u n d   th at  B E R T   ef f ec tiv ely   h an d led   in f o r m al  an d   n o is y   tex t,  ac h iev in g   s tr o n g   F1 - s co r es  with   m in im al  p r ep r o ce s s in g .   Yu s u f   an d   Su y a n to   [ 7 ]   em p lo y ed   lo n g   s h o r t - ter m   m em o r y   ( L STM )   f o r   h o a x   class if icatio n   in   I n d o n esian   n ews,  d em o n s tr atin g   th e   m o d el’ s   ca p a b ilit y   to   lear n   s eq u en tial   d ep e n d en c ies,  alth o u g h   c o n s tr ain ed   b y   t r ain in g   tim an d   g r ad ien t   is s u es.  Fak h r u zz am an   an d   Gu n awa n   [ 8 ]   u s ed   co n v o lu tio n al  n eu r al  n etwo r k s   ( C NN)   with   d ata  au g m en tatio n   tech n iq u es,  wh ich   p r o v e d   ef f ec tiv i n   en h a n cin g   m o d el  g e n er aliza tio n   o n   s m all  d atasets .   Alth o u g h   th ese  s tu d ies  d em o n s tr ate  th p o ten tial  o f   d ee p   lea r n in g   f o r   h o ax   d etec tio n ,   m o s r ely   o n   a   s in g le  m o d el in g   p ar a d ig m ,   ei th er   r ec u r r e n n eu r al  n etwo r k s   ( R NN) - b ased   o r   T r an s f o r m er - b ased ,   with o u co m p r eh e n s iv an aly s is   o f   tr a d e - o f f s   b etwe en   class if icatio n   p er f o r m an ce   an d   co m p u tatio n al  ef f icien cy .   Fo r   in s tan ce ,   b id ir ec tio n al  L STM   ( B iLST M)   ca p tu r es  lo n g - r an g d ep en d en cies  ef f ec tiv ely   b u s u f f er s   f r o m   h ig h   co m p u tatio n al  c o s [ 9 ] .   I n   co n tr ast,  b id ir ec tio n al  g ated   r ec u r r en u n it  ( B iGR U)   o f f er s   m o r lig h tweig h t   ar ch itectu r with   f aster   co n v er g en ce ,   th o u g h   it  m ay   b l ess   ex p r ess iv f o r   m o d elin g   co m p lex   lin g u is tic  p atter n s .   T r an s f o r m er - b ased   m o d els  lik I n d o B E R T   p r o v id r ich   co n tex tu al  r ep r esen tatio n s ,   y et  th e y   in h er en tly   lack   s eq u e n tial  m o d elin g   ca p ab ilit ies.  T h ese  lim itatio n s   ar f u r th er   am p lifie d   in   th I n d o n esian   lan g u ag e,   wh ich   f ea tu r es  co m p lex   m o r p h o lo g y ,   in f lectio n ,   an d   h ig h ly   f lex ib le  wo r d   o r d er .   T h er e f o r e,   a   m o d el  th at  co m b i n es  th s tr en g th s   o f   b o th   r ec u r r en an d   T r an s f o r m e r - b ased   ap p r o ac h e s ,   wh ile  ad d r ess in g   th eir   r esp ec tiv lim itatio n s ,   is   ess en tial.   W h ile  p r ev io u s   s tu d ies  h av e   ex p lo r ed   th u s o f   eith er   T r an s f o r m e r - b ased   m o d els  o r   R NNs  f o r   I n d o n esian   h o ax   d etec tio n ,   th ey   h av e   n o e x p licitly   a d d r ess ed   th tr ad e - o f f s   b et wee n   class if icatio n   e f f ec tiv en ess   an d   co m p u tatio n al  ef f icien c y ,   n o r   p r o p o s ed   u n if ied   h y b r id   f r am ewo r k   th at  lev e r ag es  th e   s tr en g th s   o f   b o th .   T o   ad d r ess   th is   g ap ,   th is   p ap er   p r esen ts   n o v el  h y b r id   d ee p   lear n in g   m o d el  th at  in teg r ates  B iG R an d   B iL STM   lay er s   with   I n d o B E R T   em b ed d in g s   f o r   I n d o n esian   f ak n ews  d et ec tio n .   T h h y b r id   ar ch itectu r is   d esig n e d   to   lev er ag th e   co m p le m en tar y   s tr en g th s   o f   ea ch   co m p o n en t:   B iGR o f f er s   ef f icien t   tr ain in g   an d   f aster   c o n v e r g en c e,   wh ile  B iLST ca p tu r es  co m p lex   an d   lo n g - r a n g d ep en d en cies  in   s e q u en tial   d ata.   No tab ly ,   B iGR h as   d em o n s tr ated   s u p er io r   v ali d atio n   ac cu r ac y   co m p a r ed   to   B iLST ( 0 . 9 6 9   v s .   0 . 9 4 7 )   an d   ex h ib its   f aster   co n v er g en ce   d u r in g   tr ain in g   [ 1 0 ] .   W h en   co m b in e d   with   co n tex tu alize d   em b ed d in g s   f r o m   I n d o B E R T ,   th e   h y b r id   co n f ig u r atio n   is   ex p ec ted   to   o u tp er f o r m   m o d els  th at   r ely   s o lely   o n   T r a n s f o r m er - b ased   o r   n o n - c o n tex tu al   ar c h itectu r e s .   Fo r   e x am p le,   T r an s f o r m er - b ased   h y b r id   m o d els  in co r p o r atin g   B iGR h av e   ac h iev ed   u p   to   9 9 . 7 ac cu r ac y   in   f a k n ews  d etec tio n   b ef o r th 1 0 t h   ep o c h   [ 1 1 ] .   T h is   co m b in atio n   o f f er s   a   b alan ce d   t r ad e - o f f   b etwe en   ac cu r ac y ,   co n v er g e n ce ,   a n d   co m p u tatio n al   ef f icien c y ,   m a k in g   it   p r ac tical  s o lu tio n   f o r   NL P task s   in   I n d o n esian .   T h p r o p o s ed   m o d el  is   ev alu a ted   u s in g   d ataset  o f   4 , 3 1 2   n ews  ar ticles,  with   p er f o r m an c v alid ated   th r o u g h   1 0 - f o ld   c r o s s - v alid a tio n .   E v alu atio n   m etr ics  in clu d ac cu r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e,   an d   tr ain in g   tim e.   Desp ite  th p r o m is in g   p r o g r ess   o f   p r e v io u s   s tu d ies,  two   cr itical  g ap s   r em ai n   u n r eso lv ed .   First,   m o s ap p r o ac h es  h av f o c u s ed   o n   s in g le  m o d elin g   p ar ad ig m ,   eith er   T r an s f o r m e r - b ase d   o r   R NN ,   with o u ex p li citly   ad d r ess in g   th tr a d e - o f f s   b etwe en   class if icatio n   p e r f o r m a n ce   an d   c o m p u tatio n al  ef f icien cy .   Seco n d ,   th co m p lem e n tar y   s tr en g th s   o f   B iGR an d   B iLST h a v n o t   b ee n   s y s tem atica lly   in teg r ated   with in   t h I n d o B E R T   f r am ew o r k   f o r   I n d o n esian   h o ax   d etec tio n .   T o   b r id g e   th ese  g a p s ,   th is   s tu d y   in tr o d u ce s   a   h y b r id   I n d o B E R T - B iGR U - B iLST ar ch itectu r an d   m ak es th f o l lo win g   co n tr i b u tio n s :   i)   No v el  h y b r id   f r am ewo r k we  d esig n   an d   im p lem e n h y b r i d   ar ch itectu r th at  in teg r ates  co n tex tu alize d   em b ed d in g s   f r o m   I n d o B E R T   with   B iG R an d   B iLST la y er s ,   en ab lin g   ef f icien co n v e r g en ce   wh ile   p r eser v in g   t h ab ilit y   to   ca p tu r lo n g - ter m   d ep e n d en cies.   ii)   C o m p r eh en s iv e v alu atio n :   we  s y s tem atica lly   ev alu ate  th r ee   m o d el  v a r ian ts   ( I n d o B E R T - B i GR U ,   I n d o B E R T - B iLST M,   an d   t h p r o p o s ed   h y b r id   I n d o B E R T - B iG R U - B iL STM )   o n   d ataset  o f     4 , 3 1 2   I n d o n esian   n ews a r ticle s   u s in g   1 0 - f o ld   cr o s s - v alid atio n .   iii)   Per f o r m an ce   an d   ef f icien cy : w d em o n s tr ate  th at  t h h y b r i d   m o d el  ac h iev es  s u p er i o r   ac c u r ac y   ( 9 8 . 7 3 % )   an d   F1 - s co r ( 9 8 . 9 8 %)  wh ile  r ed u cin g   tr ain i n g   tim co m p ar ed   to   s tan d alo n m o d els,  th er eb y   b alan cin g   ef f ec tiv en ess   an d   ef f icien cy .   iv )   Gen er alis ab ilit y   an d   p r ac tical  im p licatio n s b ey o n d   h o ax   d et ec tio n ,   th e   p r o p o s ed   h y b r id   f r am ewo r k   ca n   b ex te n d ed   to   o th er   NL tas k s   in   l o w - r eso u r ce   an d   m o r p h o lo g ically   r ich   lan g u ag es ,   s u p p o r tin g   r ea l - wo r ld   ap p licatio n s   s u ch   as m is in f o r m atio n   f ilter in g ,   m ed ia  v er if icatio n ,   an d   d ig ital liter ac y   in itiativ es.   Alth o u g h   th e x p er im e n tal  ev alu atio n   in   th is   s tu d y   f o cu s es  o n   I n d o n esian   tex ts ,   th p r o p o s ed   h y b r i d   I n d o B E R T - B iGR U - B iLST f r am ewo r k   is   co n ce p t u ally   g e n er aliza b le.   I ts   d esig n   is   p ar ti cu lar ly   r elev a n f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   1 5 ,   No .   1 ,   Ma r c h   2 0 2 6 :   322 - 3 3 2   324   m u ltil in g u al  h o a x   d etec tio n   in   lo w - r eso u r ce   an d   m o r p h o l o g i ca lly   r ich   lan g u a g es,  wh er s im ilar   ch allen g es  o f   d ata  s ca r city ,   n o is y   tex t,  a n d   c o m p lex   lin g u is tic  s tr u ctu r es o cc u r .   T h r em ain d er   o f   th is   p ap e r   is   o r g an ized   as  f o llo ws s ec tio n   2   p r esen ts   th m eth o d o lo g y   a n d   ar ch itectu r o f   th p r o p o s ed   m o d el.   Sectio n   3   d escr ib es   th d atasets   an d   e x p er im e n t al  s etu p .   Sectio n   4   d is cu s s es  th r esu lts   an d   p e r f o r m a n ce   ev al u atio n .   Fin ally ,   s ec ti o n   5   c o n clu d es   th p ap er   a n d   s u g g ests   d ir ec tio n s   f o r   f u tu r r esear ch .       2.   M E T H O D   T h is   s tu d y   co m p ar es  th p e r f o r m an ce   o f   th r ee   I n d o B E R T - b ased   m o d els ,   B iGR U,   B iLS T M,   an d   h y b r id   B iGR U - B iLST f o r   I n d o n esian   h o ax   d etec tio n .   T h m eth o d o lo g ical  wo r k f lo co v er s   f iv s tag es:   d ata  co llectio n ,   p r ep r o ce s s in g ,   f ea tu r ex tr ac tio n   with   I n d o B E R T ,   m o d el  tr ain in g ,   an d   p er f o r m an ce   ev alu atio n .   T h h y b r id   d esig n   is   m o tiv ated   b y   p r io r   wo r k   s h o win g   th ef f ec tiv e n ess   o f   co m b in in g   T r an s f o r m e r   em b ed d in g s   w ith   r ec u r r en t   n etwo r k s   ( e. g . ,   B E R T - B iGR f o r   s en tim en an aly s is   an d     B E R T - C NN - L STM   f o r   h o ax   d etec tio n ) .   Acc o r d i n g ly ,   th i s   s tu d y   in teg r ates  I n d o B E R T   with   B iG R an d   B iLST lay er s   to   ex p lo it th eir   co m p lem e n tar y   s tr en g th s   in   ca p tu r in g   c o n tex tu al  an d   s eq u en tial in f o r m atio n .   Fig u r 1   illu s t r ates  th ar c h itectu r o f   th r esear ch   p i p elin e.   T h p r o ce s s   b eg in s   with   d ata   p r ep ar atio n ,   in cl u d in g   p r e p r o c ess in g   s tep s   s u ch   as  clea n in g   an d   to k en izatio n .   T h e   clea n ed   d ata  is   th en   p ass ed   th r o u g h   th I n d o B E R T   m o d el   to   o b tain   co n tex tu al  em b e d d i n g s ,   wh ich   ar s u b s eq u e n tly   f ed   in to   th r ee   ty p es  o f   d ee p   lear n in g   class if ier s :   B iLST M,   B iG R U,   an d   h y b r id   B iGR U - B iLST m o d el.   T h o u t p u ts   ar e   ev alu ated   u s in g   class if icatio n   m etr ics in clu d in g   ac c u r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e,   a n d   t r ain in g   tim e.           Fig u r 1 .   Ar c h itectu r o f   th r esear ch       2 . 1 .     Da t a s et   T h e   d atas et   w as   c o m p i le d   f r o m   tw o   r el ia b l e   s o u r c es:   T u r n B a c k H o a x . id   ( l ab ele d   as   h o a x )   an d   Deti k . c o m   ( l a b el ed   as  n o n - h o a x ) .   T h D eti k . c o m   s u b s e c o v e r s   t h r ee   ca te g o r i es:  p o li tics ,   s p o r ts ,   an d   tec h n o lo g y .   I n   to tal ,   4 , 3 1 2   n e ws  a r ti cles  we r e   c o ll ec t ed .   F o r   m o d el  d e v el o p m e n t ,   th d at as et  w as  d i v i d e d   i n t o   tr a in in g   ( 7 0 % ) ,   v ali d ati o n   ( 2 0 %),   a n d   test in g   ( 1 0 %)   s e ts   to   e n s u r r o b u s t   a n d   r e lia b l e v al u ati o n   ( s e T a b le   1 ) .       T ab le  1 .   Data s et  s p litt in g   o v er v iew   D a t a   C o u n t   Tr a i n   7 0 %   3 , 01 9   Te st   1 0 %   4 3 2   V a l i d a t i o n   2 0 %   8 6 1       2 . 2   P re pro ce s s ing   I n   th is   s tag e,   th d ataset  u n d er g o es  clea n in g   an d   lab elin g   to   p r ep ar f o r   m o d el  tr ain i n g .   C lean in g   in clu d es  lo wer ca s in g ,   r e m o v al  o f   n o n - alp h ab etic  p u n ctu a tio n ,   n o r m aliza tio n ,   s to p wo r d   elim in atio n ,   a n d   to k en izatio n   [ 1 2 ] .   L a b elin g   is   s o u r ce - b ased n ews  f r o m   T u r n B ac k Ho ax . id   is   ass ig n ed   lab el  0   ( h o a x ) ,   wh ile   n ews  f r o m   Detik . co m   i s   ass ig n ed   lab el  1   ( n o n - h o ax ) .   T h tex ts   ar th en   to k en ized   w ith   th I n d o B E R T   W o r d Piece  to k en izer ,   p ad d ed   o r   tr u n ca ted   t o   m ax im u m   s eq u en ce   len g t h   o f   1 2 8   to k en s ,   an d   co n v er ted   in to   in p u t_ id s   an d   atten tio n _ m ask   ten s o r s .   Fin ally ,   th 4 , 3 1 2   n e ws  ar ticles   ar e   s p lit  in to   tr ain i n g   ( 7 0 %),   v alid atio n   ( 2 0 %),   an d   test   ( 1 0 %)  s ets to   en s u r r eliab le  ev alu atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Hyb r id   d ee p   lea r n in g   a p p r o a c h   fo r   I n d o n esia n   h o a d etec tio n   :   a   c o mp a r a tive  …  ( S iti Mu jila h w a ti )   325   2 . 3 .     E m bedd ing   ex t ra ct i o n wit I nd o B E R T   T h I n d o B E R T   m o d el  em p lo y ed   in   t h is   s tu d y   f o llo ws  th e   s tan d ar d   B E R T   T r an s f o r m er   en co d e r   ar ch itectu r e,   as  a d ap ted   f o r   th I n d o n esian   lan g u ag e   [ 1 3 ] .   E ac h   in p u tex is   to k en ized   u s in g   th e   W o r d Piece  to k en izer   an d   en clo s ed   b y   s p ec ial  to k en s   [ C L S]  an d   [ SEP] .   T h to k en s   ar e   tr an s f o r m ed   in t o   v ec to r   r ep r esen tat io n s   th r o u g h   co m b in atio n   o f   to k en ,   s eg m e n t,  an d   p o s itio n al  em b e d d in g s ,   wh ich   ar th e n   p r o ce s s ed   b y   m u ltip le  b id ir ec t io n al  T r an s f o r m er   e n co d er   lay er s   to   ca p tu r c o n tex tu al  r elatio n s h ip s   with in   th e   s en ten ce .   T h r esu ltin g   co n te x tu al  em b ed d i n g s   ( in clu d in g   t h [ C L S]  to k en   r ep r esen tatio n )   s er v as  th in p u t   f ea tu r es  f o r   th s u b s eq u en d e ep   lear n in g   m o d els.  Un lik ty p ical  I n d o B E R T   class if ica tio n   s etu p s   th at  d ir ec tly   ap p ly   So f tm ax   lay er ,   in   th i s   s tu d y ,   th em b ed d in g s   ar p ass ed   in to   B iG R U,   B iLST M ,   an d   th p r o p o s ed   B iG R U - B iLST h y b r id   ar ch i tectu r es to   en h an ce   s eq u en tial  m o d elin g   ( s ee   Fig u r 2 ) .           Fig u r 2 .   I n d o B E R T   ar ch itect u r e       2 . 4 .     Desig n mo del   2 . 4 . 1 .   B idi re ct io na l lo ng   s ho rt - t er m m e m o ry   a rc hite ct ure   T h B iLST M   m o d el   ex ten d s   th c o n v e n tio n al  L STM   b y   p r o ce s s in g   th in p u t   s eq u en ce   in   b o th   f o r war d   an d   b ac k war d   d ir ec tio n s .   T h is   b id ir ec tio n al  s tr u ctu r allo ws  th m o d el  to   ca p tu r p ast  an d   f u tu r e   co n tex s im u ltan eo u s ly ,   p r o d u cin g   r ich er   s eq u en ce   r ep r esen t atio n s   [ 1 4 ] .   T h o u tp u ts   f r o m   th two   d ir ec tio n s   ar co n ca ten ated   at  ea ch   tim e   s tep   an d   th en   p ass ed   to   d en s o r   class if icatio n   lay er .   C o m p ar ed   to   s ta n d ar d   L STM ,   B iLST is   m o r ef f ec tiv in   m o d elin g   lo n g - ter m   d ep en d en cies  in   s eq u en tial  d ata ,   m ak in g   it  s u itab le  f o r   tex class if icatio n   task s .   T h o v er all  d esig n   is   illu s tr ated   in   Fig u r 3 .   T h is   ar ch itectu r h as  b ee n   wid ely   ap p lied   i n   NL task s   s u c h   as  s en t im en an al y s is ,   m ac h in e   tr a n s latio n ,   an d   f a k n ews  d etec t io n ,   d em o n s tr atin g   its   ef f ec tiv en ess   in   ca p tu r in g   s eq u en tial d ep e n d en cies.           Fig u r 3 .   B iLST ar ch itectu r e     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   1 5 ,   No .   1 ,   Ma r c h   2 0 2 6 :   322 - 3 3 2   326   2 . 4 . 2 .   B idi re ct io na l g a t ed  re c urre nt  un it   a rc hite ct ure   B iG R U   f u n ctio n s   s im ilar ly   to   B iLST in   th at  b o th   p r o ce s s es  d ata  in   two   d ir ec tio n s ,   f o r war d   an d   b ac k war d ,   s im u ltan eo u s ly .   T h is   allo ws  f o r   th e   r ec o g n itio n   o f   d ep e n d en c y   r elatio n s h ip s   in   b o th   d ir ec tio n s   a n d   th h an d lin g   o f   co m p le x   tem p o r al  d y n am ics  [ 1 5 ] ,   [ 1 6 ] .   I n   th B iGR ar ch itectu r e,   th e   in p u t   s eq u en ce   is   d iv id ed   in t o   two   p ath s o n f o llo win g   th o r ig in al  s eq u e n c ( f o r war d   p ath )   an d   o n f o ll o win g   th r e v er s s eq u en ce   ( b ac k war d   p ath )   [ 1 7 ] .   E ac h   p ath way   c o m p r is es  GR u n its   th at  u tili ze   g atin g   m ec h a n is m s   to   r eg u late  th f lo o f   in f o r m a tio n   ( s ee   Fig u r 4 ) .   T h f o r war d   p ath   GR ca p tu r es  in f o r m atio n   f r o m   th e   p r ev io u s   tim t o   th cu r r en ti m e,   wh ile  th b ac k war d   p ath   GR ca p tu r es  in f o r m atio n   f r o m   th later   tim to   th cu r r en tim e.   T h r esu lts   o f   th ese  two   p ath s   ar th en   co m b in ed   to   f o r m   th f in al  r e p r esen tatio n   at  ea ch   p o in t in   tim e.   C o m p ar e d   to   B iLST M,   B iG R u s es f ewe r   p ar a m eter s ,   wh ich   r ed u ce s   co m p u tatio n al  co s t w h ile  m ain tain in g   co m p etitiv p er f o r m an ce   in   s eq u en tial m o d elin g   task s .           Fig u r 4 .   B iGR ar c h itectu r [ 1 8 ]       2 . 4 . 3 .   P ro po s ed  hy brid   I n   ad d itio n   t o   ev alu ati n g   B iGR an d   B iLST s ep ar ately ,   t h is   s tu d y   p r o p o s es  h y b r id   ar ch itectu r th at  in teg r ates  b o th   o n   t o p   o f   I n d o B E R T   em b ed d in g s .   T h e   aim   is   to   co m b in e   B iGR U’ s   tr ain in g   ef f icien cy   with   B iLST M’ s   ab ilit y   to   c ap tu r lo n g - ter m   s eq u en tial  d ep en d e n cies,  th er eb y   ad d r e s s in g   th tr ad e - o f f   b etwe en   co m p u tatio n al  s p ee d   an d   co n tex tu al  ac cu r ac y   in   I n d o n esian   h o ax   d etec tio n .   T h o v er all  d esig n   o f   th p r o p o s ed   m o d el  is   illu s tr ated   in   Fig u r 5 .           Fig u r 5 .   Hy b r id   m o d el  ar c h itectu r e     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Hyb r id   d ee p   lea r n in g   a p p r o a c h   fo r   I n d o n esia n   h o a d etec tio n   :   a   c o mp a r a tive  …  ( S iti Mu jila h w a ti )   327   W s tack   a   b id ir ec t io n al  GR U   f o llo wed   b y   B iLST M   o n   to p   o f   I n d o B E R T   em b ed d in g s   to   co m b in e   f ast  co n v er g en ce   ( B iGR U)   with   lo n g - r an g d e p en d e n cy   m o d elin g   ( B iLST M) .   T h e   s en ten ce   em b e d d in g   is   th en   p o o led   an d   f ed   to   lig h t weig h t c lass if ier .   Pip elin e.   1)   I n p u t te x t →  I n d o B E R T   to k en i ze r   →  in p u t_ id s ,   atten tio n _ m ask   ( m ax   s eq   len   e . g . ,   1 2 8 ) .   2)   I n d o B E R T   en co d e r   →  co n te x tu al  to k en   e m b ed d in g s   ( h i d d en   s ize  p er   to k en   p er   s tep ) .   3)   B iG R ( b id ir ec tio n al)   →  ca p t u r es e f f icien t b id ir ec ti o n al  p at ter n s .   4)   B iLST ( b id ir ec tio n al)   →  en r ich es lo n g - ter m   s eq u en t ial  d e p en d en cies.   5)   Glo b al  av er ag p o o lin g   →  B atch No r m   →  d r o p o u t .   6)   Den s ( R eL U)   →  Den s e   ( So f tm ax ,   2   class es: h o ax / n o n - h o ax ) .   Desig n   r atio n ale.     B iG R →  B iLST o r d er GR U’ s   lig h ter   g atin g   ac ce ler ate s   ea r ly   co n v er g en ce   an d   s tab ilizes  g r ad ien ts L STM   th en   ca p tu r es lo n g er   d e p en d en cies th at  GR m ay   m is s .     P o o lin g   an d   r e g u lar izatio n g l o b al  p o o lin g ,   b atch   n o r m aliza tio n ,   an d   d r o p o u r ed u ce   d im e n s io n ality   an d   m itig ate  o v er f itti n g   w h ile  k ee p in g   th class if ier   co m p ac t.     C o m p atib ilit y   with   I n d o B E R T lev er ag es  co n tex tu al  em b ed d in g s   with o u h ea v y   task - s p ec if ic  h ea d s ,   p r eser v in g   T r an s f o r m er   s em an tics .   As  s u m m ar ized   in   T ab le  2 ,   to k en ized   in p u ts   ar en co d ed   b y   I n d o B E R T   in to   ( 1 2 8 ,   7 6 8 )   co n te x tu al   em b ed d in g s ,   p ass ed   th r o u g h   b id ir ec tio n al   GR U - L STM   s eq u en ce   la y er ,   p o o le d   to   f i x ed - len g t h   v ec t o r ,   r eg u lar ized ,   an d   f in ally   class if ied   v ia  two - lay e r   d en s h ea d   with   So f tm ax .       T ab le  2 .   Hy b r id   m o d el  lay er   c o n f ig u r atio n   La y e r   t y p e   N a me/ d e s c r i p t i o n   O u t p u t   s h a p e   P a r a me t e r s   I n p u t La y e r   i n p u t _ i d s,  a t t e n t i o n _ mas k   ( N o n e ,   1 2 8 )   0   La mb d a   -   ( N o n e ,   1 2 8 ,   7 6 8 )   0   B i d i r e c t i o n a l   ( G R U + LST M )   -   ( N o n e ,   1 2 8 ,   2 5 6 )   3 9 4 , 2 4 0   G l o b a l A v e r a g e P o o l i n g 1 D   -   ( N o n e ,   2 5 6 )   0   D r o p o u t   -   ( N o n e ,   1 2 8 )   0   D r o p o u t   -   ( N o n e ,   2 5 6 )   0   D e n se   -   ( N o n e ,   1 2 8 )   3 2 , 8 9 6   D e n se   S o f t ma x   o u t p u t   ( 2   c l a s ses)   ( N o n e ,   2 )   2 5 8       2 . 5 .     M o del  ev a lua t i o n   T h ev alu atio n   o f   m o d el  p er f o r m a n ce   is   co n d u cted   u s in g   co n v en tio n al  class if icatio n   m etr ics,   in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   a n d   th F1 - s co r e.   I n   th is   s ce n ar io ,     ( tr u e   tr u e )   d en o te s   th q u an tity   o f   d ata  th at  is   ac cu r ately   id en tifie d   as  tr u ( tr u p o s itiv e) ,   wh er ea s     ( tr u f alse )   s ig n if ies  th am o u n o f   d ata  th at  is   er r o n eo u s ly   class if ied   as  tr u ( f alse  n eg ativ e ) .   Fu r t h er m o r e,     ( f alse  tr u e )   d e n o tes  t h am o u n o f   d ata   th at  is   in co r r ec tly   class if ied   as  f alse  ( f alse  p o s itiv e) ,   an d     ( f alse  f alse )   d en o tes  th am o u n o f   d ata  t h at  is   co r r ec tly   class if ied   as f alse ( tr u n eg ativ e) .       =   +   +   +  +      ( 1 )       =   +      ( 2 )       =     +       ( 3 )     1  = 2      +    ( 4 )     2 . 6 .     M o del  v a lid a t io n   T o   p r ev e n o v er f itti n g   an d   en s u r th g en er aliza b ilit y   o f   th m o d el,   k - f o ld   cr o s s - v alid atio n   tech n iq u was  em p lo y ed   with   1 0   f o ld s .   E ac h   m o d el  was  tr ain ed   f o r   2 0   ep o c h s   p er   f o ld ,   r e s u ltin g   in   to tal  o f   2 0 0   tr ain i n g   iter atio n s   ac r o s s   th f o ld s .   E ar ly   s to p p in g   was  ap p lied   d u r in g   tr ai n in g   to   m o n i to r   v alid atio n   lo s s   an d   h alt  th tr ain in g   p r o ce s s   if   n o   im p r o v em en was  o b s er v ed   o v er   p r e d ef in e d   p atien ce   th r esh o ld .   T h is   ap p r o ac h   n o o n ly   m in im izes  th r is k   o f   o v e r f itti n g   b u a ls o   en s u r es  m o r e   s tab le  an d   r eliab le  ev alu atio n   r esu lts   ac r o s s   d if f er en t d ata  p a r titi o n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   1 5 ,   No .   1 ,   Ma r c h   2 0 2 6 :   322 - 3 3 2   328   3.   RE SU L T S AN D I SCU SS I O N   T h I n d o B E R T - b ased   B iG R U - B iL STM   h y b r id   m o d el  was  tr ain ed   an d   test ed   u s in g     cr o s s - v alid a tio n   tech n i q u f o r   1 0   f o ld s   ( k - f o ld   =1 0 )   to   e n s u r th s tab ilit y   an d   g en e r aliza tio n   o f   th m o d el  to   th d ata  u s ed .   T h tr ain in g   was  co n d u cted   f o r   2 0   ep o ch s   with   b atch   s ize  o f   3 2   in   ea ch   f o ld .   T h ev al u atio n   r esu lts   d em o n s tr ate  th m o d el's  ca p ac ity   to   g en e r ate  co n s is ten p er f o r m an ce   in   th t r ain in g ,   test in g ,   a n d   v alid atio n   p r o ce s s es,  with   ac cu r ac y   v al u es  an d   o t h er   ev al u atio n   m etr ics  ex h ib itin g   r ela tiv s tab ilit y   ac r o s s   ea ch   f o l d   ( s ee   Fig u r 6 ) .   T h is   f in d in g   s u g g ests   th at  th e   h y b r id   m o d el  p o s s ess e s   ef f ec tiv g en er aliza tio n   ca p ab ilit ies  an d   ca n   ef f icien tly   h an d le  d ata  v ar iatio n s .   T h e   em p lo y m en o f   k - f o ld   v alid a tio n   o f f er s   m o r e   co m p r eh e n s iv d ep ictio n   o f   t h m o d el' s   p er f o r m an ce   a n d   ass is ts   in   m itig atin g   th p o ten tial  f o r   b ias  ar is in g   f r o m   r a n d o m   d ata  d is tr ib u tio n .           Fig u r 6 .   Gr a p h ic  tr ain in g   an d   v alid atio n   ac cu r a cy   f o r   1 0 - f o ld       I n   th p r o p o s ed   h y b r id   m o d e l,  B iGR an d   B iLST M   ar ar r an g e d   s eq u en tially   to   c o m b in th eir   co m p lem en tar y   s tr en g th s .   B iGR U,   p lace d   f ir s t,  ac ce ler ates  co n v er g e n ce   with   f ewe r   p ar am eter s   wh ile   ef f ec tiv ely   m o d elin g   b id ir ec ti o n al  d ep en d en cies.  B iLST th en   en h an ce s   th ab ilit y   to   ca p tu r lo n g - ter m   d ep en d e n cie s   an d   co m p lex   c o n tex tu al  p atter n s .   T h is   co n f i g u r atio n   en a b les  r ich er   s eq u en ce   r ep r esen tatio n s   an d   lead s   to   im p r o v e d   class if i ca tio n   p er f o r m an ce ,   as  s u m m ar ized   in   T ab le  3 .   Fig u r 7   s h o ws  g r ap h   o f   th e   r esu lts   o f   th I n d o B E R T - b ase d   B iGR U - B iLST h y b r id   m o d el  tr ain in g   p r o ce s s ,   wh ich   i n clu d es  ch an g es  in   ac cu r ac y   an d   lo s s   v alu es o v er   2 0   ep o c h s .   T h is   g r ap h   p r o v id e s   an   o v er v iew  o f   th s tab ilit y   a n d   co n v er g e n ce   o f   th m o d el  d u r in g   th tr ain i n g   an d   v alid atio n   p r o ce s s .   T r ain in g   ac c u r ac y   in c r ea s es  g r ad u ally   f r o m   th b e g in n i n g   to   th en d   o f   th ep o ch ,   i n d icatin g   th at  th m o d el  ca n   lear n   p atter n s   f r o m   th tr ain in g   d ata  ef f ec tiv el y .   T h v ali d atio n   ac cu r ac y   d em o n s tr ates  s tab ilit y   an d   h ig h   v al u f r o m   th e   o u ts et,   ex h ib itin g   s lig h v ar iatio n s   b u m ain tain i n g   co n s is ten u p war d   tr e n d .   T h e   ab s en ce   o f   an y   d is ce r n ib le  i n d icatio n   o f   o v er f itti n g   is   ev id en ce d   b y   th e   lack   o f   s u b s tan tial  d ec lin in   v alid atio n   ac cu r ac y ,   d esp ite  t h s u s tain ed   in cr ea s i n   tr ain i n g   ac cu r ac y .   Me an wh ile,   th e   s ec o n d   Fig u r e   8   is   co n f u s io n   m atr ix   th at   illu s tr ates  th d is tr ib u tio n   o f   m o d el  p r ed ictio n s   f o r   ea c h   o f   th class es  an d   id en tifie s   th e   ty p o f   m is class if icatio n   th at  o cc u r r ed .   T o   ev alu ate   p er f o r m a n ce   im p r o v em en ts ,   t h p r o p o s ed   h y b r id   m o d el   was  co m p a r ed   with   s tan d alo n B iG R an d   B iLST b aselin es.  W h ile  B iG R ex ce lled   i n   tr ain in g   ef f icien cy   an d   B i L STM   in   m o d elin g   lo n g - ter m   co n tex t,   th I n d o B E R T - b ased   B iGR U - B iLST h y b r id   ac h iev ed   s u p er io r   ac cu r ac y ,   p r ec is io n ,   an d   s tab ilit y   b y   co m b in i n g   th eir   s tr en g th s .   T h e   co m p a r ativ r esu lts   ar s u m m ar ized   in   T ab le   4 .   T h e   ev alu atio n   r esu lts   s h o th at  th I n d o B E R T - b ased   B iG R U B iLST h y b r id   m o d el  p r o v id es  th e   m o s s u p er io r   p er f o r m an ce   ac r o s s   all  ev alu atio n   m etr ics.  S p ec if ically ,   it  ac h iev ed   an   ac c u r ac y   o f   9 8 . 7 3 %,  r ec all  o f   9 9 . 0 1 %,  p r ec is io n   o f   9 8 . 0 4 %,  an d   an   F1 - s co r o f   9 8 . 9 8 %.  I n   c o m p ar is o n ,   B iGR an d   B iLST M   m o d els  ac h iev e d   ac c u r ac ies  o f   9 5 . 5 4 an d   9 5 . 9 4 %,  r esp ec tiv ely ,   with   l o wer   v alu es  a cr o s s   o th er   m etr ics.   T h is   ad v an tag was  co n s is ten tly   o b s er v ed   ac r o s s   all  1 0   f o l d s ,   in d icatin g   s tr o n g   g e n er ali za tio n   an d   s tab ilit y .   C at eg o r y - wis r esu lts   ( p o liti cs,  s p o r ts ,   an d   tech n o lo g y )   also   r em ain   co n s is ten tly   h ig h   with   o n ly   m in o r   v ar iatio n s   ( s ee   T ab le  5 ) ,   in d icatin g   r o b u s tn ess   ac r o s s   h eter o g en eo u s   co n ten t y p es.  I n ter esti n g ly ,   d esp ite  its   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Hyb r id   d ee p   lea r n in g   a p p r o a c h   fo r   I n d o n esia n   h o a d etec tio n   :   a   c o mp a r a tive  …  ( S iti Mu jila h w a ti )   329   h ig h er   ar ch itectu r al   co m p le x ity ,   th h y b r i d   m o d el   also   ac h iev ed   th f astes tr ain in g   tim ( 1 7 2 . 7 2 s ) ,   o u tp er f o r m in g   B iGR ( 2 3 1 . 0 4 s )   an d   B iLST ( 2 8 0 . 9 4 s ) .   T h ese  f in d in g s   s u g g est  th at  th in teg r atio n   o f   B iG R an d   B iLST ef f ec tiv ely   lev er ag es  th s eq u en t ial  m o d elin g   s tr en g th s   o f   b o th   ar ch itectu r es,     wh er B iG R co n tr ib u tes  to   f aster   co n v er g e n ce ,   an d   B iLST ca p tu r es  lo n g er - ter m   d ep en d en cies.  Un lik e   p r io r   s tu d ies  th at  u tili ze d   B iLST [ 2 0 ]   o r   B iGR [ 1 9 ]   in   i s o latio n ,   th is   s tu d y   d e m o n s tr a tes  th at  co m b in in g   b o th   with in   th I n d o B E R T   f r am ewo r k   o f f er s   m o r b alan ce d   an d   ef f icie n s o lu tio n   f o r   h o ax   d etec tio n   in   I n d o n esian   lan g u a g e .       T ab le  3 .   R esu lt  ev alu atio n   p er f o r m an ce   o f   th e   h y b r id   m o d el   Ev a l u a t i o n   V a l u e   %   A c c u r a c y   9 8 . 7 3   R e c a l l   9 9 . 0 1   P r e c i s i o n   9 8 . 0 4   F1 - sc o r e   9 8 . 9 8           Fig u r 7 Gr a p h ic  tr ain in g   ac c u r ac y ,   v alid atio n ,   a n d   lo s s           Fig u r 8 C o n f u s io n   m atr i x   h o ax   d etec tio n       T ab le  4 .   C o m p a r is o n   o f   th h y b r id   m o d el  with   th b aselin e   M o d e l - b a se d   I n d o B ER T   A c c u r a c y   %   R e c a l l   %   P r e c i s i o n   %   F1 - sc o r e %   Ti me / se c o n d   B i G R U   [ 1 9 ]   9 5 . 5 4   9 6 . 1 5   9 5 . 0 1   9 5 . 5 8   2 3 1 . 0 4   B i LST M   [ 2 0 ]   9 5 . 9 4   9 6 . 6 6   9 5 . 3 0   9 5 . 9 7   2 8 0 . 9 4   B i G R U - B i LS TM   h y b r i d   9 8 . 7 3   9 9 . 0 1   9 8 . 0 4   9 8 . 9 8   1 7 2 . 7 2       T ab le  5 Per f o r m an ce   o f   th e   h y b r id   m o d el  ac r o s s   ca teg o r ies   C a t e g o r y   A c c u r a c y   %   R e c a l l   %   P r e c i s i o n   %   F1 - sc o r e   %   P o l i t i c s   9 9 . 16   9 9 .1 6   9 8 . 8 9   9 9 . 02   Te c h n o l o g y   9 8 .9 8   9 9 . 44   9 8 . 4 8   9 8 .9 6   S p o r t s   9 9 . 04   9 9 . 86   98 . 6 2   9 9 . 24   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   1 5 ,   No .   1 ,   Ma r c h   2 0 2 6 :   322 - 3 3 2   330   Ov er all,   th ese  r esu lts   p r o v e   th at  th I n d o B E R T - b ased   h y b r id   B iGR U - B iLST M   ap p r o ac h   is   an   ef f ec tiv s tr ateg y   to   im p r o v t h p er f o r m a n ce   o f   tex class if icatio n   s y s tem s ,   esp ec ially   in   t h co n tex o f   n ews  o r   in f o r m atio n   d etec tio n   b as ed   o n   th I n d o n esian   lan g u a g e.   T h s u p er io r ity   in   all  asp ec ts   o f   ev alu atio n   m etr ics  an d   tim ef f icie n cy   m ak es  th is   m o d el  v er y   f ea s ib le  to   b ap p lied   i n   r ea s ce n a r io s   with   lar g an d   co m p lex   d ata  v o lu m es.   Desp ite  its   h ig h   p er f o r m an ce ,   th p r o p o s ed   h y b r id   m o d el  h as  s ev er al  lim itatio n s .   I t s   d u al - lay er   s eq u en tial  ar ch itect u r in cr ea s es  th n u m b er   o f   p ar am ete r s   an d   m em o r y   u s ag co m p ar ed   to   s in g le   m o d els.  Mo r eo v e r ,   th m o d e h as  o n ly   b ee n   ev alu ated   o n   b in ar y - class   d ataset,   an d   its   ef f ec tiv en ess   o n   m u lti - class   o r   m u lti - lab el   h o ax   d etec tio n   r em ain s   t o   b e   i n v esti g ated .   Fu tu r wo r k   s h o u ld   also   ev alu ate   in f er en ce   s p ee d   an d   d ep lo y ab i lity   o n   lo w - r eso u r ce   o r   ed g e   d ev ices to   en s u r r ea l - tim f ea s ib ilit y .   T h f in d i n g s   o f   th is   s tu d y   h a v s ev er al  im p o r tan im p licatio n s .   First,  th ey   v alid ate  t h s y n er g is tic   ef f ec o f   c o m b in in g   B iGR an d   B iLST o n   to p   o f   I n d o B E R T ,   r esu ltin g   in   im p r o v e d   clas s if icatio n   ac cu r ac y   an d   co m p u tatio n al  e f f icien cy .   T h is   d ir ec tly   ad d r ess es  k ey   tr ad e - o f f   in   p r io r   s tu d ies,  wh er eith er   m o d el   ef f ec tiv en ess   o r   t r ain in g   ef f ici en cy   was  o f ten   p r io r itized ,   r ar ely   b o th .   Un lik e   p r e v io u s   wo r k s   th at  r elied   s o lel o n   eith er   T r an s f o r m e r - b ased   o r   R NN - b ased   m o d els,  th p r o p o s ed   h y b r id   f r am ewo r k   lev er ag es  th s tr en g th s   o f   b o t h ,   m ak i n g   it  p r ac tical  an d   h i g h - p e r f o r m in g   s o lu tio n .   R esid u al  er r o r s   ar c o n ce n tr ated   o n   b o r d er lin e   ca s es  s u ch   as  s atir e,   clic k b ait,   o r   p ar tial ly   tr u cl aim s ,   s u g g esti n g   th v alu e   o f   in co r p o r atin g   s ty lis tic/p r ag m atic  cu es in   f u tu r wo r k .   T h m o d el' s   ab ilit y   to   ac h iev f aster   co n v er g e n ce   an d   h ig h er   ac cu r ac y   d em o n s tr ates  its   s u itab ilit y   f o r   r ea l - wo r ld   d ep l o y m en ts ,   esp ec ially   o n   m o b ile  o r   we b   p latf o r m s   wh er c o m p u tatio n al  r eso u r ce s   a r e   lim ited .   T h is   is   p a r ticu lar ly   s ig n if ican i n   th e   I n d o n esian   co n tex t,  wh e r th e   lan g u ag e' s   r ich   m o r p h o lo g y   an d   co m p lex   s y n tax   p o s c h allen g es  th at  th is   h y b r id   a p p r o ac h   ca n   ef f ec tiv ely   ad d r ess .   B ey o n d   tech n ical   p er f o r m an ce ,   th is   s u itab ilit y   also   ex ten d s   to   r ea l - wo r ld   ap p l icatio n s   s u ch   as  s o cial  m ed ia  m o d er atio n ,   m ed ia   v er if icatio n ,   a n d   d ig ital  liter ac y   in itiativ es,  r ein f o r cin g   th r o le  o f   AI   in   s tr en g t h en in g   p u b lic  tr u s in   in f o r m atio n   s y s tem s .   T h h y b r id   m o d el  ar ch itectu r p r esen t s   p r o m is in g   av en u es  f o r   e x p a n s io n   in to   d iv er s NL ap p licatio n s ,   in clu d in g   r u m o r   d etec tio n   [ 2 1 ] ,   c y b er b u l ly in g ,   a n d   o f f e n s iv co n te n d etec tio n   [ 2 2 ] [ 2 5 ] an d   m en tal  h ea lth   class if icati o n   f r o m   s o cial  m ed ia  [ 2 6 ] ,   [ 2 7 ] .   T h ese  task s   h av e   s ee n   g r o win g   in ter est  d u to   th eir   s o cial  im p ac an d   d ata  c o m p lex ity .   Fu r th e r   wo r k   co u l d   ex p lo r e   m o d el  co m p r ess io n   an d   q u an tizatio n   t o   en h an ce   r ea l - tim d ep lo y m en t   in   co n s tr ain ed   en v ir o n m en ts .       4.   CO NCLU SI O N   T h is   s tu d y   in tr o d u ce d   h y b r id   d ee p   lear n in g   m o d el  in teg r atin g   I n d o B E R T   with   B iGR an d   B iLST M   f o r   I n d o n esian   h o ax   d etec tio n .   T h p r o p o s ed   ap p r o ac h   ac h ie v ed   s u p er io r   p er f o r m a n ce     ( ac cu r ac y   9 8 . 7 3 %   an d   F1 - s co r 9 8 . 9 8 %)  co m p a r ed   to   s tan d alo n m o d els,  d em o n s tr at in g   th b en ef it  o f   co m b in in g   co n te x tu al  an d   s e q u en tial  lear n in g .   T h s y n er g y   b etwe en   B iGR U’ s   ef f icien cy   an d   B iLST M’ s   ab ilit y   to   ca p tu r lo n g - ter m   d e p en d en cies  o f f e r s   b alan ce d   s o lu tio n   f o r   tex class if icatio n   i n   m o r p h o lo g icall y   r ich   lan g u ag es  s u ch   as  I n d o n esian   lan g u ag e .   Desp ite  th ese  s tr en g th s ,   lim itatio n s   r em ain   r eg ar d in g   d ataset   d iv er s ity ,   m o d el  c o m p lex ity ,   an d   r elia n ce   o n   a   s in g le  p r e - tr ain ed   em b ed d in g .   Fu t u r r esear ch   s h o u ld   a d d r ess   th ese  asp ec ts   an d   ex p lo r b r o ad er   ap p licatio n s   s u ch   as  r u m o r   d etec tio n ,   o f f en s iv co n ten f ilter in g ,   a n d     r ea l - tim an aly tics .   Ov er all,   th is   wo r k   p r o v id es  p r ac tical  an d   ef f ec tiv f r am ewo r k   with   p o ten tial  to   s u p p o r m ed ia  m o n ito r in g ,   f ac t - ch ec k in g ,   an d   d ig ital  liter ac y   in itiativ es.  T h ese  f in d in g s   h ig h lig h n o o n ly   th e   m o d el’ s   tech n ical   m er its   b u t   also   its   p o ten tial  f o r   r ea l - t im f ilter in g ,   f ac t - ch ec k in g   s u p p o r t,   an d   civ ic  ed u ca tio n ,   t h er eb y   co n tr i b u tin g   to   b r o ad er   s o cial  im p ac t.       F UNDING   I NF O R M A T I O N   T h is   r esear ch   d id   n o r ec eiv an y   s p ec if ic  g r an f r o m   f u n d i n g   ag en cies  in   th p u b lic,   co m m er cial,   o r   not - f o r - p r o f it secto r s .   All r esear ch   ex p e n s es we r f u lly   s u p p o r ted   b y   th au t h o r s   th r o u g h   p er s o n al  f u n d in g .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Sit i M u jilah wati                               M oh .   R o s id i Z am r o n i                               Mif tah u s   Sh o lih in                                 Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Hyb r id   d ee p   lea r n in g   a p p r o a c h   fo r   I n d o n esia n   h o a d etec tio n   :   a   c o mp a r a tive  …  ( S iti Mu jila h w a ti )   331   C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   d ec lar th at  t h ey   h av n o   k n o wn   co n f licts   o f   in ter est,  wh eth er   f in an cial  o r   n o n - f in an cial   ( in clu d in g   p o liti ca l,  p er s o n al,   r elig io u s ,   id eo l o g ical,   ac a d em ic,   o r   in tellectu al) ,   th at   co u l d   h av in f lu en ce d   o r   b ee n   p er ce i v ed   to   i n f lu en ce   th r esu lts   an d   in ter p r etatio n   o f   th r esear ch   r e p o r ted   in   th is   p a p er .       I NF O RM E CO NS E N T   T h d ata  an aly ze d   in   th is   s tu d y   wer o b tain ed   f r o m   p u b licly   av ailab le  s o u r ce s .   No   p er s o n ally   id en tifia b le  in f o r m atio n   was c o llected   o r   d is clo s ed ; th er e f o r e,   in f o r m ed   co n s en t w as n o r e q u ir ed .       E T H I CAL AP P RO V AL   T h d ata  u s ed   in   th is   s tu d y   w er o b tain ed   f r o m   p u b licly   av ailab le  s o u r ce s   an d   d id   n o in v o lv d ir ec in ter ac tio n   with   h u m an   s u b je cts  o r   th co llectio n   o f   p er s o n ally   id en tifia b le  i n f o r m atio n .   T h er ef o r e,   et h ical  ap p r o v al  was n o r eq u ir ed .       DATA AV AI L AB I L I T Y   T h d ata  t h at  s u p p o r th e   f in d in g s   o f   th is   s tu d y   a r o p en l y   av ailab le  o n   Kag g le  at  th e   f o llo win g   r ep o s ito r y h o ax   n ews  I n d o n esia  d ataset  ( h ttp s ://www. k ag g le. co m /d atasets /v ijay an d ik a/h o ax - n ews - in d o n esia) .   T h d ataset  was a cc ess ed   an d   u s ed   in   ac c o r d a n ce   with   Kag g le’ s   d ata  u s ag p o li cies.       RE F E R E NC E S   [ 1 ]   N .   R a i ,   D .   K u mar,   N .   K a u s h i k ,   C .   R a j ,   a n d   A .   A l i ,   F a k e   n e w c l a ssi f i c a t i o n   u s i n g   t r a n sf o r mer   b a se d   e n h a n c e d   LST M   a n d   B ER T,   I n t e r n a t i o n a l   J o u r n a l   o f   C o g n i t i v e   C o m p u t i n g   i n   E n g i n e e r i n g ,   v o l .   3 ,   p p .   9 8 1 0 5 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . i j c c e . 2 0 2 2 . 0 3 . 0 0 3 .   [ 2 ]   A .   Z.   M .   N o o r ,   R .   G e r n o w o ,   a n d   O .   D .   N u r h a y a t i ,   D a t a   a u g me n t a t i o n   f o r   h o a x   d e t e c t i o n   t h r o u g h   t h e   m e t h o d   o f   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   i n   I n d o n e s i a n   n e w s,”   J u r n a l   Pe n e l i t i a n   Pe n d i d i k a n   I PA ,   v o l .   9 ,   n o .   7 ,   p p .   5 0 7 8 5 0 8 4 ,   2 0 2 3 ,     d o i :   1 0 . 2 9 3 0 3 / j p p i p a . v 9 i 7 . 4 2 1 4 .   [ 3]   H .   S .   G a v a l a n ,   M .   N .   R a s t g o o ,   a n d   B .   N a k i s a ,   A   B E R T - b a se d   s u m mariz a t i o n   a p p r o a c h   f o r   d e p r e ss i o n   d e t e c t i o n , ”  2 0 2 4 a rXi v : 2 4 0 9 . 0 8 4 8 3 .   [ 4 ]   A .   R a h m a w a t i ,   A .   A l a ms y a h ,   a n d   A .   R o m a d h o n y ,   H o a x   n e w d e t e c t i o n   a n a l y s i u si n g   I n d o B ER T   d e e p   l e a r n i n g   m e t h o d o l o g y , ”  i n   2 0 2 2   1 0 t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y   ( I C o I C T ) ,   A u g .   2 0 2 2 ,   p p .   3 6 8 3 7 3 ,     d o i :   1 0 . 1 1 0 9 / I C o I C T 5 5 0 0 9 . 2 0 2 2 . 9 9 1 4 9 0 2 .   [ 5 ]   M .   Y .   R i d h o   a n d   E.   Y u l i a n t i ,   F r o t e x t   t o   t r u t h :   l e v e r a g i n g   I n d o B ER a n d   m a c h i n e   l e a r n i n g   m o d e l f o r   h o a x   d e t e c t i o n   i n   I n d o n e si a n   n e w s,   J u r n a l   I l m i a h   T e k n i k   El e k t r o   K o m p u t e r   d a n   I n f o rm a t i k a ,   v o l .   1 0 ,   n o .   3 ,   p p .   5 4 4 5 5 5 ,   2 0 2 4 ,     d o i :   1 0 . 2 6 5 5 5 / j i t e k i . v 1 0 i 3 . 2 9 4 5 0 .   [ 6 ]   F .   A .   N u g r a h a   a n d   D .   H .   F u d h o l i ,   C O V I D - 1 9   mi si n f o r mat i o n   d e t e c t i o n   i n   I n d o n e si a n   t w e e t u s i n g   B ER T ,   J u rn a l   Me d i a   I n f o rm a t i k a   Bu d i d a rm a ,   v o l .   7 ,   n o .   2 ,   p p .   6 0 0 6 0 8 ,   2 0 2 3 ,   d o i :   1 0 . 3 0 8 6 5 / mi b . v 7 i 2 . 5 6 6 8 .   [ 7 ]   R .   Y u s u f   a n d   S .   S u y a n t o ,   H o a x   d e t e c t i o n   o n   I n d o n e s i a n   t e x t   u si n g   l o n g   sh o r t - t e r m   mem o r y ,   i n   I C O I AC T   2 0 2 2   -   5 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n f o rm a t i o n   a n d   C o m m u n i c a t i o n s   T e c h n o l o g y :   A   N e w   Wa y   t o   M a k e   AI   U se f u l   f o r   Ev e ry o n e   i n   t h e   N e w   N o rm a l   Era ,   Pr o c e e d i n g ,   2 0 2 2 ,   p p .   2 6 8 271 ,   d o i :   1 0 . 1 1 0 9 / I C O I A C T 5 5 5 0 6 . 2 0 2 2 . 9 9 7 2 0 8 6 .   [ 8 ]   M .   N .   F a k h r u z z a m a n   a n d   S .   W .   G u n a w a n ,   W e b - b a se d   a p p l i c a t i o n   f o r   d e t e c t i n g   I n d o n e s i a n   c l i c k b a i t   h e a d l i n e s   u s i n g   I n d o B ER T , ”  2 0 2 1 a rXi v : 2 1 0 2 . 1 0 6 0 1 .   [ 9 ]   J.  D o n g ,   I mp r o v i n g   t h e   B i LST M   m o d e l   p e r f o r ma n c e   f o r   t w e e t   se n t i me n t   a n a l y si s,   A p p l i e d   a n d   C o m p u t a t i o n a l   E n g i n e e ri n g v o l .   6 ,   n o .   1 ,   p p .   1 1 0 6 1 1 1 7 ,   Ju n .   2 0 2 3 ,   d o i :   1 0 . 5 4 2 5 4 / 2 7 5 5 - 2 7 2 1 / 6 / 2 0 2 3 0 4 1 5 .   [ 1 0 ]   A .   A b d u l l a h ,   C l a ss i f y i n g   i n n o v a t i o n   w i t h   b i LST M   a n d   b i G R U :   a   s t u d y   o f   l a b o r   mar k e t   d a t a   i n   t h e   N e t h e r l a n d s,”   M. S .   T h e s i s D e p a r t me n t   o f   C o g n i t i v e   S c i e n c e   a n d   A r t i f i c i a l   I n t e l l i g e n c e ,   T i l b u r g   U n i v e r si t y ,   Ti l b u r g ,   T h e   N e t h e r l a n d s ,   2 0 2 1 .   [ 1 1 ]   T.   H u a n g ,   Z.   X u ,   P .   Y u ,   J.   Y i ,   a n d   X .   X u ,   A   h y b r i d   t r a n sf o r mer m o d e l   f o r   f a k e   n e w d e t e c t i o n :   l e v e r a g i n g   B a y e si a n   o p t i m i z a t i on  a n d   b i d i r e c t i o n a l   r e c u r r e n t   u n i t ,   i n   2 0 2 5   8 t h   I n t e r n a t i o n a l   S y m p o si u m   o n   Bi g   D a t a   a n d   A p p l i e d   S t a t i st i c s   ( I S B D AS ) ,   F e b .   2 0 2 5 ,   p p .   6 9 6 701 ,   d o i :   1 0 . 1 1 0 9 / I S B D A S 6 4 7 6 2 . 2 0 2 5 . 1 1 1 1 7 0 5 8 .   [ 1 2 ]   N .   N o o r ,   N .   Z.   M .   S a f a r ,   a n d   C .   S u p r i y a n t o ,   S e g me n t a t i o n   w o r d   t o   i m p r o v e   p e r f o r ma n c e   se n t i me n t   a n a l y s i f o r   I n d o n e si a n   l a n g u a g e ,   Fu s i o n :   Pra c t i c e   a n d   A p p l i c a t i o n s ,   v o l .   1 5 ,   n o .   2 ,   p p .   1 4 5 1 5 4 ,   2 0 2 4 ,   d o i :   1 0 . 5 4 2 1 6 / F P A . 1 5 0 2 1 3 .   [ 1 3 ]   F .   K o t o ,   J.  H .   L a u ,   a n d   T.   B a l d w i n ,   I N D O B ER TWEET :   a   p r e t r a i n e d   l a n g u a g e   m o d e l   f o r   I n d o n e si a n   Tw i t t e r   w i t h   e f f e c t i v e   d o m a i n - s p e c i f i c   v o c a b u l a r y   i n i t i a l i z a t i o n ,   i n   E MN L 2 0 2 1   -   Pro c e e d i n g o f   t h e   2 0 2 1   C o n f e re n c e   o n   Em p i ri c a l   Me t h o d i n   N a t u r a l   L a n g u a g e   Pro c e ss i n g ,   2 0 2 1 ,   p p .   1 0 6 6 0 1 0 6 6 8 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . e m n l p - mai n . 8 3 3 .   [ 1 4 ]   F .   C .   Z e g a r r a ,   J .   V . - M a c h u c a ,   a n d   A .   M .   C o r o n a d o ,   A   c o m p a r a t i v e   s t u d y   o f   C N N ,   L S T M ,   B i L S T M ,   a n d   G R U   a r c h i t e c t u r e s   f o r   t o o l   w e a r   p r e d i c t i o n   i n   m i l l i n g   p r o c e s s e s ,   J o u r n a l   o f   M a c h i n e   E n g i n e e r i n g ,   v o l .   2 3 ,   n o .   4 ,   p p .   1 2 2 1 3 6 ,   2 0 2 3 ,   d o i :   1 0 . 3 6 8 9 7 / j m e / 1 7 4 0 1 9 .   [ 1 5 ]   B .   K h a l d i ,   F .   H a r r o u ,   A .   D a i r i ,   a n d   Y .   S u n ,   A   d e e p   r e c u r r e n t   n e u r a l   n e t w o r k   f r a m e w o r k   f o r   sw a r m o t i o n   s p e e d   p r e d i c t i o n ,   J o u rn a l   o f   El e c t r i c a l   E n g i n e e r i n g   a n d   T e c h n o l o g y ,   v o l .   1 8 ,   n o .   5 ,   p p .   3 8 1 1 3 8 2 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 4 2 8 3 5 - 0 2 3 - 0 1 4 4 6 - 7.   [ 1 6 ]   X .   Li n ,   Z.   Q u a n ,   Z .   J.   W a n g ,   H .   H u a n g ,   a n d   X .   Ze n g ,   A   n o v e l   m o l e c u l a r   r e p r e s e n t a t i o n   w i t h   B i G R U   n e u r a l   n e t w o r k f o r   l e a r n i n g   a t o m,”   Bri e f i n g s   i n   B i o i n f o r m a t i c s ,   v o l .   2 1 ,   n o .   6 ,   p p .   2 0 9 9 2 1 1 1 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 9 3 / b i b / b b z 1 2 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.