I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   42 ,   N o .   1 A p r i l   20 2 6 ,   p p.   1 23 ~ 1 30   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 42 . i 1 . pp 1 23 - 1 30             123     Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   V i Ha t e T 5   w i t h   L o R A :   e f f i c i e n t   v i e t n a m e se  t o x i c   n e w c l a ssi f i c a t i o n   o n   so c i a l   m e d i a       Tr an   D u c   D u o n g 1 H a i   H o an   D o 2   1 D e p a rt m e n t   o f   I n fo r m a t i o n   T e c h n o l o g y ,   P o s t s   a n d   T e l e c o m m u n i c a t i o n s   In s t i t u t e   o T e c h n o l o g y ,   H a   N o i ,   V i e t   N a m   2 M u l t i m e d i a ,   P o s t s   a n d   T e l e c o m m u n i c a t i o n s   In s t i t u t e   o f   T e c h n o l o g y ,   H a   N o i ,   V i e t   N a m       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   O c t   3,   2025   R e v i s e J a n   19,   202 6   A c c e pt e M a r   4,   2026       W e   pr o po s e   a n   e f f i c i e n t   t r a n s f o r m e r - ba s e d   a pp r o a c t o   de t e c t   t o xi c   o r   m i s l e a d i ng   ne w s   i V i e t n a m e s e   s o c i a l   m e di a .   M o t i v a t e d   by   t he   s o c i e t a l   ha r m   o f   v i r a l   m i s i nf o r m a t i o i V i e t n a m ,   w e   f i n e - t un e   a   V i e t n a m e s e   T m o de l   ( V i H a t e T 5)   o a   ne w   d a t a s e t   o f   2, 962   s o c i a l - m e d i a   n e w s   s ni p pe t s   l a b e l e d   a s   t o xi c   v s .   no n - t o xi c .   W e   us e   l o w - r a nk   a da p t a t i o n   ( L o R A )   t o   i n j e c t   t r a i n a bl e   l a y e r s   i nt o   V i H a t e T 5 ,   a l l o w i ng   hi g a c c ur a c y   w i t h   m i n i m a l   a ddi t i o na l   pa r a m e t e r s .   O u r   m o de l   a c hi e v e s   9 7. 5%   m a c r o - F o a   he l d - o ut   t e s t   s e t ,   s i g ni f i c a nt l y   hi g he r   t ha a   P ho B E R T   b a s e l i ne   by   2. p o i nt s .   B y   f oc us i ng   o V i e t na m e s e   da t a   a n a   p a r a m e t e r - e f f i c i e n t   m e t ho d,   w e   de m o ns t r a t e   a   pr a c t i c a l   pi pe l i ne   f o r   l o w - r e s o ur c e   f a k e - ne w s   d e t e c t i o n.   T he s e   r e s ul t s   s ug g e s t   t ha t   t r a ns f o r m e r   p r e t r a i ni ng   o s o c i a l - m e d i a   t e x t   c a n   ef f e c t i v e l y   c a pt ur e   t he   s ub t l e   c ue s   o f   de c e pt i v e   o r   de f a m a t o r y   ne w s .   L i m i t a t i o ns :   t he   c ur r e nt   m o de l   i s   t r a i n e o a   s p e c i f i c   l a b e l e d a t a s e t   a nd   m a y   no t   g e n e r a l i z e   t o   a l l   do m a i ns ;   f ut ur e   w o r k   s ho ul d   e v a l ua t e   i t s   f a i r ne s s   a nd  bi a s e s   i n   d e pl o y m e nt .   Ke y w or d s :   L oR A   f i n e t uni n g   N a t u ra l   l a n gu a ge   p r o c e s s i n g   S o c i a l   m e di a   c l a s s i f i c a t i o n   T o xi c   n e w s   de t e c t i o n   T r a n s f o r m e r   m o de l s     T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   T r a D uc   D uo n g   D e pa rt m e n t   o f   In f o r m a t i o n   T e c hn o l o g y ,   P o s t s   a n d   T e l e c o m m u n i c a t i o n s   I n s t i t u t e   o f   T e c hn o l o g y   H a   N o i ,   V i e t   N a m   E m a i l :   duc dt @ pt i t . e du. v n       1.   I N TR O D U C TI O N   S o c i a l   m e di a   p l a t f o r m s   s uc h   a s   F a c e boo a n X   (f o r m e r l y   T w i t t e r )   n o w   s e r v e   a s   p r i m a r y   n e w s   o ut l e t s   i n   V i e t n a m .   W h i l e   t h e s e   pl a t f o r m s   e na b l e   ra pi i n f o r m a t i o s h a ri n g ,   t h e y   a l s o   a m pl i f y   m i s i n f o r m a t i o a n d   h a rm f ul   rum o r s   (e . g . ,   f a l s e   e pi de m i c   o d i s a s t e r   s t o r i e s t ha t   c a c a us e   pub l i c   c o n f us i o a nd  p a ni c   [1] T h e   V i e t n a m e s e   m e di a   e n v i r o nm e nt   i s   e s pe c i a l l y   s e n s i t i v e :   un c h e c ke de f a m a t i o n   o r   di s i n f o r m a t i o n   o n   s oc i a l   f e e ds   pos e s   r i s ks   t o   s o c i a l   s t a b i l i t y   a nd  p ub l i c   t rus t   [2 ] .   H ow e ve r ,   V i e t n a m e s e   i s   a   l o w - r e s o ur c e   l a n gu a ge ,   a nd  e x i s t i ng  t o o l s   fo r   a ut o m a t i c   m o de ra t i o n   o f   f a ke   n e w s   a r e   s c a r c e .   T h i s   pa pe a dd r e s s e s   t h e   c h a l l e nge   o f   V i e t na m e s e   t o x i c - ne w s   de t e c t i o b y   l e v e ra g i ng   re c e nt   na t u ra l   l a ng u a ge   p r o c e s s i ng   ( N L P )   a dv a nc e s .   T r a n s f o r m e r - b a s e m o de l s   p r e t ra i n e o n   l a r ge   c o r po r a   ha v e   r e v o l ut i o n i z e t e xt   c l a s s i f i c a t i o n     [3] [5] .   F o V i e t na m e s e ,   m o n o l i n gu a l   m o de l s   l i ke   P h o B E R T   [6]   a n d   V i T [ 7]   s i g n i f i c a n t l y   i m p r o ve   pe r f o r m a n c e   o v e r   m ul t i l i n g ua l   o n e s .   L IA R   [8]   -   a   T m o de l   p r e t r a i n e o n   V i e t n a m e s e   s o c i a l   m e di a   da t a   f o r   ha t e - s pe e c h   t a s ks   -   a c h i e v e s   s t a t e - of - t h e - a rt   r e s ul t s   i o ff e n s i v e - c o n t e n t   de t e c t i o n.   H ow e v e r ,   f ul l y   f i n e - t u n i n g   s uc h   l a r ge   m o de l s   c a n   b e   c o s t l y   i t e r m s   o f   c o m put a t i o a nd  da t a ,   e s pe c i a l l y   fo r   o ur  ~ 3K   e xa m pl e   d a t a s e t .   T o   a dd r e s s   t h i s ,   w e   us e   l ow - r a n a d a pt a t i o n   ( L o R A [9]   t o   a da p t   V i H a t e T w i t h   o n l y   a   s m a l l   n u m b e r   o t r a i na b l e   pa ra m e t e r s .   L o R A   f r e e z e s   t h e   p r e t r a i n e w e i ght s   a n i n s e rt s   l o w - r a nk  up da t e   m a t ri c e s ,   p r e s e r v i ng  e ff i c i e n c y   a n d   r e duc i n o v e r f i t t i n g .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   42 ,   N o .   1 A p r i l   20 2 6 :   1 23 - 1 30   124   T h i s   pa pe i nt r o duc e s   a   n e w   V i e t n a m e s e   t o xi c - n e w s   da t a s e t   a nd  a pp l i e s   V i H a t e T 5   w i t L o R A   f o r   b i n a r y   c l a s s i f i c a t i o o f   t o xi c   v e r s us   n o n - t o xi c   n e w s .   O u c o n t r i b ut i o n s   a r e   t hr e e f o l d:     D a t a s e t :   W e   c o m pi l e   a nd  a nn o t a t e   a   n e w   V i e t n a m e s e   s oc i a l - m e di a   n e w s   da t a s e t   ( 2, 9 62  i t e m s l a b e l e a s   t o xi c   o r   n o n - t o xi c .   (A v a i l a b l e   upo r e que s t . )     M o de l i n g:   W e   a ppl y   L oR A   f i n e - t u ni n t o   V i H a t e T f o r   b i na r y   t o xi c - n e w s   c l a s s i f i c a t i o n ,   de m o n s t ra t i n pa r a m e t e r - e ff i c i e n t   t r a n s f e f r o m   ha t e - s pe e c h   p r e t r a i n i ng.     E v a l ua t i o n :   V i H a t e T 5+ L o R A   a t t a i n s   a   97. 5 m a c r o - F s c or e   o t h e   t e s t   s e t ,   o ut pe r f o r m i n g   a   P h o B E R T   b a s e l i n e   (94 . 8%   F 1)   by   s e ve r a l   po i nt s .   T h i s   s h o w s   t h a t   s o c i a l - m e di a - p r e t r a i n e V i H a t e T 5   c a pt u r e s   c o l l o qui a l   t o xi c   c ue s   (l i ke   s l a n g   a nd  s a r c a s m )   b e t t e r   t ha n   n e w s - t r a i n e d   m o d e l s .   T h e s e   r e s ul t s   a dd r e s s   o ur   r e s e a r c h   que s t i o n s :   (a )   Ca a   V i e t n a m e s e   pr e - t ra i n e T 5 - b a s e m o de l   o ut pe r f o r m   e xi s t i n B E R T - b a s e a p p r o a c h e s   i de t e c t i n t o xi c   c o n t e nt   i n   s o c i a l   m e di a   n e w s ?   (b H ow   do e s   pa r a m e t e r - e ff i c i e n t   f i n e - t u ni n g   us i ng  L o R A   a f fe c t   m o d e l   pe r f o r m a n c e   a n d   t ra i ni n g   e f f i c i e n c y ?   W e   f i n t ha t   t h e   L oR A - a da pt e V i H a t e T n o t   o n l y   a c h i e v e s   h i g h   a c c ura c y   w i t h   f e w   pa r a m e t e r s   b ut   a l s o   r e duc e s   b o t h   f a l s e   po s i t i v e s   a n d   f a l s e   n e ga t i v e s   t o   v e r y   l ow   l e ve l s .       2.   R ELA TED   WO R K   2 . 1 .     F ak e   n e w s   an d   m i s i n fo r m ati o n   d e t e c t i o n   R e s e a r c o n   f a ke   n e w s   de t e c t i o n   h a s   g r o w n   ra pi dl y .   S h e t   al .   [1]   p r o v i de a n   e a rl y   c o m pr e h e n s i v e   s ur v e y ,   h i g hl i g ht i ng   c ha l l e nge s   o f   s o c i a l   m e di a   m i s i n f o rm a t i o n.   A l l c o t t   a n d   G e nt z ko w   [10]   a n a l y z e f a ke   n e w s   du r i n g   t h e   2 016   U . S .   e l e c t i o n ,   w hi l e   V o s o ugh i   e t   a l.   [1 1]   s h o w e f a l s e   n e w s   s pr e a ds   m o r e   q ui c kl y   t h a t r ue   n e w s   o T w i t t e r.   Co nr oy   e t   a l .   [1 2]   p r o po s e a   t a xo no m y   of   de c e pt i o n   de t e c t i o m e t h o ds ,   i n c l ud i n g   l i n gu i s t i c   a nd   m e t a da t a   c ue s ,   i a e a r l y   s t udy   of   f a ke   n e w s .   L a t e r ,   R u c ha n s ky   e t   al .   [13 ]   i n t r o duc e CS I ,   a   h y b r i m o de l   c o m b i ni n c o nt e nt   a na l y s i s ,   us e r   c o m m e nt s ,   a n d   s o ur c e   c r e di b i l i t y ;   t h e y   s h ow e CS I   s ub s t a n t i a l l y   i m p r o v e de t e c t i o n   a c c u r a c y   by   i n t e g ra t i ng  s o c i a l   c o n t e xt .   N a s s e e t   a l .   [14 ]   s u r v e y   m ul t i m o da l   de t e c t i o n   t e c hn i que s ,   n o t i n g   i n c r e a s i n g   us e   o f   i m a ge s   a n d   n e t w o r f e a t u r e s   f o r   v e r i f i c a t i o n .   T h e s e   s t ud i e s   c o l l e c t i ve l y   e s t a b l i s h   t ha t   l e v e r a gi n g   d i v e r s e   s i g n a l s   b e y o n pl a i n   t e xt   i s   b e n e f i c i a l   f o r   f a ke   n e w s   de t e c t i o n .   M a c hi n e   l e a rni n g   a pp r o a c h e s   ha v e   e vo l ve f r o m   t ra d i t i o n a l   c l a s s i f i e r s   (S V M s ,   l o gi s t i c   r e g r e s s i o n t o   de e n e ura l   n e t w o r ks   a n t ra n s f o r m e r - b a s e m o de l s .   E n c o de r - o nl y   m o de l s   l i ke   B E R T   a n R o B E R T a   ha v e   a c hi e v e s t a t e - of - t h e - a r t   pe r f o r m a n c e   i t e xt   c l a s s i f i c a t i o t a s ks .   F o f a ke   n e w s ,   Q i a nd   Z ha n g [15]   f o un t h a t   f i n e - t u n e B E R T   m o de l s   of t e n   o ut pe r f o r m   e a rl i e r   de e n e t w o r ks .   R a z a   e t   al .   [ 16]   c o m pa r e d   B E R T - l i ke   e n c o de r   m o de l s   t o   l a r ge   a ut o r e g r e s s i v e   L L M s ,   s h o w i n t ha t   t h e   c o m pa c t ,   e n c o de r - o n l y   m o de l s   ge n e r a l l y   o ut pe r f o r m   L L M s   i f a ke   n e w s   c l a s s i f i c a t i o (de s pi t e   s m a l l e s i z e ).   T hi s   s ugge s t s   t ha t   f o c us e p r e - t r a i n e t r a n s f o r m e r s   c a b e   m o r e   e f fe c t i ve   fo r   c l a s s i f i c a t i o t ha l a rge   ge n e r a l - pu r po s e   ge n e r a t o r s .   D a t a s e t s   a r e   c r i t i c a l .   I E n g l i s h,   b e n c hm a r ks   i n c l ude   L IA R   [ 8] ,   F E V E R   [17 ]   (f a c t   v e r i f i c a t i o n ) ,   a nd  M ul t i F C   [1 8]   ( m u l t i - do m a i n   f a c t   c h e c ki n g) .   M ul t i m o da l   da t a s e t s   l i ke   F a ke ddi t   [1 9]   a n d   M M - CO V ID   [20]   c o m b i n e   t e xt   w i t i m a ge s   a nd   m e t a da t a   f o CO V ID - r e l a t e d   m i s i n f o r m a t i o n.   I V i e t na m e s e ,   r e s o ur c e s   r e m a i n   l i m i t e d:   V F N D   [21]   a n d   R M D M   [22]   p r o v i de   i ni t i a l   n e w s   c o r po r a ,   a n d   T ha nh   e t   a l .   [21 ]   p r e s e n t e d   V F N D   w i t ~ 40 00  l a b e l e i t e m s .   T h e   r e c e n t   V i F a c t C h e c da t a s e t   [ 23]   i n c l ude s   o v e r   7, 000   V i e t na m e s e   c l a i m s   w i t h   e v i de n c e ,   e n a b l i ng  f a c t - c h e c ki ng  m o de l s .   O u w o r di f f e r s   i f o c us i n s pe c i f i c a l l y   o n   t h e   t o xi c   n a t u r e   o n e w s   o n   s o c i a l   m e di a ,   r a t h e r   t h a pu r e   f a c t ua l   a c c u r a c y .     2 . 2   H a te   s p e e c h   an d   to x i c   c o n te n d e te c ti o n   T o xi c i t y   de t e c t i o n   o ve r l a ps   w i t h   f a ke   n e w s   i p r o t e c t i n g   di s c o ur s e .   D a v i ds o e t   a l .   [24 ]   i nt r o duc e a   l a r ge   e n g l i s da t a s e t   o f   24k  t w e e t s   a nn o t a t e a s   ha t e ,   o ff e n s i v e ,   o r   n e i t h e r ,   f i n di ng  t h a t   s i m pl e   c l a s s i f i e r s   a l r e a dy   a c h i e v e ~ 90 %   a c c ura c y   o n   c o a r s e   l a b e l s .   F o rt u n a   a n d   N u n e s   [25]   s u r v e y e h a t e   s pe e c de t e c t i o n,   c o n c l udi n t ha t   t ra n s f o r m e m o de l s   y i e l s t r o n g   r e s ul t s   b ut   s t r ug gl e   w i t e v o l v i n s l a ng.   I V i e t n a m e s e   N L P ,   P h o B E R T   [6]   ha s   s e t   hi g b a s e l i n e s   o m a n y   t a s ks .   L uu   e t   al .   [26]   r e l e a s e V i H S D ,   a   da t a s e t   o f   30, 000   V i e t na m e s e   s o c i a l   m e di a   c o m m e n t s   l a b e l e f o r   h a t e / o ffe ns i v e   c o n t e n t .   T h e y   r e po r t e t h a t   P h o B E R T   a n f i n e - t u n e m u l t i l i ngua l   m o de l s   r e a c h e F 1   s c o r e s   i n   t h e   80 - 90 ra n ge   o V i H S D .   B ui l d i n g   o t hi s ,   V i H a t e T [27]   l e v e r a ge a   u ni f i e t e xt - to - t e xt   f ra m e w o r k:   b y   pr e t r a i n i ng  o n   o ur  l a r ge   V i e t na m e s e   h a t e   da t a   a n d   f ra m i n g   t a s ks   a s   t ra n s l a t e   t e xt   i n t o   ‘t o xi c ’/ ‘c l e a n’  l a b e l s ,   V i H a t e T 5   a c h i e v e s t a t e - of - t h e - a r t   pe r f o r m a n c e   o m ul t i p l e   h a t e - s pe e c h   b e n c hm a rks .   S t udi e s   ha v e   a l s o   e xa m i n e t o xi c i t y   i n e w s   c o n t e xt s .   F o r t u na   e t   al .   [28]   l o o ke a t   t o xi c i t y - as s o c i a t e n e w s ,   l a b e l i n n e w s   a r t i c l e s   b a s e o n   w h e t h e r   t he   us e r   c o m m e n t s   w e r e   ha t e f ul .   T h e y   fo un t ha t   n e w s   w i t h   t o xi c   c o m m e n t   t hr e a ds   c o ul b e   pr e di c t e w i t h   h i g h   a c c ur a c y   by   m e t a da t a   (e . g.   c o m m e nt   c o unt s ,   l i ke s a l o n e ,   o f t e n   o ut pe r f o r m i ng   t e xt   f e a t u r e s .   T h i s   i ndi c a t e s   t o xi c   n e w s   o f t e n   h a s   d i s t i n c t   e n ga ge m e nt   pa t t e rn s .   I o ur  t a s k,   w e   foc us   o n   t h e   n e w s   t e xt   i t s e l f ,   b ut   t h e s e   f i n d i n gs   m o t i v a t e   c o n s i de r i n g   a ddi t i o na l   s i g n a l s   (w h i c c o ul b e   f ut ur e   w o r k).   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       V i H at e T 5   w i t L oR A e f f i c i e nt   v i e t nam e s e   t ox i c   ne w s   c l as s i f i c at i on  on  s o c i a l   m e di ( T r an  D uc   D uon g )   125   2 . 3   P ar am e t e r - e ffi c i e n f i n e - tu n i n g   F ul l y   f i n e - t u n i ng  l a r ge   t ra n s f o r m e r s   i s   e xpe n s i v e .   R e c e n t   a dv a n c e s   i n c l ude   a da p t e m o dul e s ,   pr o m p t - t u ni n g ,   a n L o R A .   A da pt e r s   (P f e i ffe r   e t   al .   [29] i n s e r t   s m a l l   b o t t l e n e c l a y e r s   i n t o   e a c t ra n s f o r m e b l oc k,   a n P f e i f fe r   e t   al .   [2 9]   s h o w e t h a t   c o m b i n i ng  m ul t i pl e   a d a pt e r s   (A d a pt e r F us i o n )   c a n   i n t e g ra t e   t a s kn o w l e dge   w i t h o ut   o ve r w r i t i n g   b a s e   w e i ght s .   P r o m pt - t u n i n g   (L e s t e e t   a l .   [30 ] )   o pt i m i z e s   a   s m a l l   s o f t   pr o m p t   p r e pe n de d   t o   i n p ut s ,   m a t c h i n g   f ul l   f i n e - t u ni n g   o n   s o m e   t a s ks .   F E V E R   [ 17]   f r e e z e s   m o s t   w e i gh t s   a n d   i n t r o duc e s   l o w - r a n k   m a t ri c e s   f o r   w e i gh t   upd a t e s ;   H e t   a l .   de m o n s t r a t e o G P T - 3   t ha t   L o R A   c a r e duc e   t r a i na b l e   pa ra m e t e r s   by   t h o us a n ds   o f   t i m e s   w i t h   m i ni m a l   a c c ur a c y   l o s s .   T h e s e   e ff i c i e n t   f i n e - t u n i ng  s t ra t e gi e s   a r e   p a r t i c ul a rl y   a t t ra c t i v e   f o l o w - r e s o ur c e   l a n g ua ge s   l i ke   V i e t na m e s e ,   w h e r e   l a b e l e d a t a   i s   s c a r c e   a n d   c o m put i n g   r e s o ur c e s   a r e   l i m i t e d.   O u r   a pp r o a c a p pl i e s   L o RA   t o   V i H a t e T 5,   b e n e f i t i ng  f r o m   t h e s e   e ff i c i e n c y   ga i n s .       3.   M ET H O D   3 . 1 .     D atas e t   W e   c o l l e c t e a n l a b e l e a   da t a s e t   o f   V i e t n a m e s e   s oc i a l   m e di a   n e w s   s n i ppe t s .   E a c h   s a m p l e   i s   a   s h o rt   t e xt   ( h e a dl i n e   o r   po s t a n d   a   b i na r y   l a b e l :   =   t o xi c   ( m i s l e a di ng/ de f a m a t o r y o r   =   n o n - t o xi c .   I n   t o t a l ,   w e   ha v e   2, 962   s a m pl e s .   T h e   c o n t e nt   s p a n s   t o pi c s   l i ke   h e a l t r u m o r s ,   po l i t i c s ,   a n d   v i r a l   e v e n t s .   T o xi c i t y   h e r e   i n c l ude s   b o t i nt e nt i o n a l   di s i n f o r m a t i o (f a b r i c a t e n e w s   i nt e n de d   t o   de c e i v e a n d   m a l i n f o r m a t i o n   (pri v a t e / ha r a s s i ng   i n f o   l e a ke d   m a l i c i o us l y )   [22] T h e   a nn o t a t i o p r o c e s s   w a s   c o n duc t e b y   t hr e e   na t i v e   V i e t na m e s e   a nn o t a t o r s   w i t h   a c a de m i c   b a c kg r o u n ds   i l i n g ui s t i c s   a n s o c i a l   s c i e n c e s .   A l l   a nn o t a t o r s   w e r e   pr o v i de w i t de t a i l e d   a nn o t a t i o g ui de l i n e s   de f i ni n g   t o xi c   c o n t e n t   a s   l a n gu a ge   c o nt a i n i ng   e xpl i c i t   i n s u l t s ,   ha r a s s m e nt ,   ha t e   s pe e c h ,   o r   de m e a ni n e xp r e s s i o n s   t a r ge t i n g   i n di v i du a l s   o s o c i a l   g r o ups .   E a c h   i n s t a n c e   w a s   i n de pe n de n t l y   a nn o t a t e d   by   a l l   t hr e e   a nn o t a t o r s .   F i n a l   l a b e l s   w e r e   de t e rm i n e d   us i ng  m a j o ri t y   vo t i ng.   T a s s e s s   a nn o t a t i o r e l i a b i l i t y ,   w e   c o m put e i nt e r - r a t e a g r e e m e n t   us i ng  Co h e n ’s   k a pp a   c o e ff i c i e n t ,   o b t a i n i ng  a   s c o r e   o f   0. 78,   w h i c h   i n d i c a t e s   s ub s t a n t i a l   a g r e e m e nt .   M o s t   a nn o t a t i o di s a g r e e m e nt s   a r o s e   i b o r de r l i n e   c a s e s   i n v o l v i n s a r c a s m ,   i n d i r e c t   i n s u l t s ,   o r   i m p l i c i t   t o xi c i t y ,   r e f l e c t i n t h e   i nh e r e n t   s ub j e c t i v i t y   of   t o xi c   l a n gu a ge   i n t e r p r e t a t i o n . .   W e   s pl i t   t h e   d a t a   80 : 20   f o r   t ra i ni n g : t e s t   (2 , 370   t ra i n,   592   t e s t ).     3. 2   M o d e l   a r c h i t e c tu r e   O ur  c o r e   m o de l   i s   V i H a t e T 5 - b a s e   (≈223M   p a r a m e t e r s ),   a   V i e t na m e s e   T 5   t ra n s f o r m e p r e - t ra i n e f o r   ha t e - s pe e c h   de t e c t i o n   [6] .   V i H a t e T us e s   a   t e xt - to - t e xt   p a r a di gm :   w e   pr e pe n a   t a s k   p r e f i t o   t h e   i n pu t   (e . g.   c l a s s i fy   n e w s :   a n d   ha v e   t h e   m o de l   ge n e r a t e   t h e   l a b e l   t o ke n   t o xi c   o c l e a n.   T hi s   u ni f i e T 5   f o r m a t   a l l o w e t h e   o r i g i n a l   V i H a t e T t o   h a n d l e   m ul t i p l e   H S D   t a s ks   w i t o n e   m o de l .   W e   h y po t h e s i z e   i t s   s o c i a l - m e di a   p r e t ra i n i n g   h e l ps   c a pt u r e   V i e t na m e s e   s l a n g   a n d   i n f o r m a l   s t y l e   a n d   a d a p t   i t   h e r e   t o   b i na r y   c l a s s i f i c a t i o by   f i n e - t u n i ng  a l l   l a y e r s   v i a   L o R A .   A s   a   b a s e l i n e ,   w e   a l s o   f i n e - t u n e   P h o B E R T - b a s e   (a   B E R T   t r a i n e o ge n e ra l   V i e t n a m e s e   t e xt   [2 7] )   by   a ddi ng   a   c l a s s i f i c a t i o h e a d .   P h o B E R T   h a s   s e t   h i g s t a nda r ds   o V i e t na m e s e   N L P   t a s ks ,   s o   i t   p r o v i de s   a   s t r o n g   c o m pa r a t i v e   b a s e l i n e .   U n l i ke   V i H a t e T 5’s   e n c o de r - de c o d e r ,   P h o B E R T   us e s   o nl y   t h e   e n c o de r ,   e n c o di ng  i n pu t   i nt o   a   [C L S v e c t o r   a n d   a ppl y i n g   a   l i n e a l a y e r   t o   p r e di c t   t o xi c i t y .   F o r   t h e   V i H a t e T m o de l ,   w e   e m pl oy   L ow - R a n A da pt a t i o n   i e a c t ra n s f o r m e r   l a y e r   w e   f r e e z e   t h e   o r i gi na l   w e i gh t s   a n d   a dd   t ra i na b l e   r a n k - w e i ght   m a t ri c e s   (w i t h   r= 8)  t o   t h e   que r y   a n v a l ue   p r o j e c t i o n s .   A   s c a l i n g   f a c t o α = 16   a nd   d r o po ut   0 . 1   a r e   a ppl i e d   a s   i n   [9] .   T hi s   i nt r o duc e s   o n l y   a   f e w   m i l l i o e xt ra   pa ra m e t e r s   (≈3%   o f   t o t a l )   t o   l e a rn  t h e   n e w   t a s k - s pe c i f i c   i n f o r m a t i o n ,   m a k i n g   t ra i n i n g   e f f i c i e n t   w h i l e   r e t a i ni n g   t h e   p r e - t r a i n e d   l a n gu a ge   k n o w l e dge .     3. 3   Tr ai n i n g   s tr a te gy   W e   f i n e - t u n e   b o t V i H a t e T 5   (w i t L o R A a n d   P h o B E R T   unde s t a n d a r d   s e t t i n gs .   W e   us e   c r o s s - e n t r o py   l o s s   o n   t h e   b i n a r y   l a b e l s .   H y pe r pa r a m e t e r s   (c h o s e by   t u n i ng   o a   v a l i d a t i o s pl i t )   a r e :   10   e po c h s ,   l e a rn i ng  ra t e   2 × 10^ - 4,   b a t c s i z e   8 ,   w e i ght   de c a y   0. 01 .   W e   t ra i o n   a   s i n g l e   N V ID IA   R T X - 50 60   G P U   us i n g   m i xe d   p r e c i s i o n;   f o r   V i H a t e T 5+ L o R A   w e   f i n e - t u n e   a l l   L o RA - a da p t e pa ra m e t e r s   (w i t h   t h e   r e s t   f r o z e n ).   F o r   c o m pa ri s o n ,   w e   a l s o   t r a i n   a   f ul l y   f i n e - t u n e V i H a t e T ( n o   L oR A un de r   t h e   s a m e   c o n di t i o n s ,   a s   w e l l   a s   P h o B E R T   w i t h   i t s   s m a l l   h e a u n f r o z e n.   W e   m o ni t o t ra i n i ng/ v a l i d a t i o n   l o s s   t o   e n s u r e   c o n v e r ge n c e   by   e poc h   6 - 8,   a nd  w e   di d   n o t   o b s e r ve   s e v e r e   o ve r f i t t i n g .   A l l   r u n s   w e r e   r e pe a t e d   w i t h   d i f f e r e n t   ra n do m   s e e ds ,   y i e l di n g   r e s ul t s   (s t a nda rd  de v i a t i o n   < 0. 5%  F 1) .   E v a l u a t i o n   o t h e   h e l d - o ut   t e s t   us e s   p r e c i s i o n ,   r e c a l l ,   a n m a c r o - a v e r a ge F 1   (e qua l   w e i g h t   f o r   e a c c l a s s ) .     3. 4   I m p l e m e n tati o n   O ur  i m p l e m e nt a t i o n   us e s   t h e   huggi ng  f a c e   t ra n s f o r m e r s   l i b ra r y .   T o ke n i z a t i o f o l l ow s   V i H a t e T 5’s   s t a n d a r S e n t e n c e P i e c e   w i t h   a   32k - t o ke n   V i e t n a m e s e   vo c a bul a r y .   T h e   f i n a l   c l a s s i f i c a t i o n   h e a f o r   V i H a t e T 5   s i m pl y   ge n e ra t e s   a   t w o - t o ke n   o ut put   m a ppe t o   l a b e l s .   W e   u s e   t h e   P E F T   l i b r a r y   t o   i nt e g r a t e   L oR A .   T r a i ni n Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   42 ,   N o .   1 A p r i l   20 2 6 :   1 23 - 1 30   126   a n d   i n f e r e n c e   us e   m i xe p r e c i s i o n;   L o R A   h a s   n o   o ve rh e a d   a t   i n f e r e n c e   s i n c e   t h e   l o w - r a n k   w e i gh t s   a r e   m e r ge d   i nt o   t h e   T r a n s f o r m e l a y e r s   b e fo r e   e v a l ua t i o n .   O v e ra l l ,   L o R A   t ra i ni n g   w a s   a b o ut     f a s t e i w a l l - c l o c t i m e   t ha f ul l   f i n e - t u ni n g   (s i n c e   f e w e r   p a r a m e t e r s   a r e   u pda t e d   e a c s t e p).       4.   R ES U LTS   A N D   D I S C U S S I O N   4 . 1 .     C o m p ar ati v e   m o d e l   p e r fo r m an c e   T a b l e   s u m m a r i z e s   t h e   p r e c i s i o n ,   r e c a l l ,   a n m a c r o - a v e r a ge F f o r   e a c h   m o de l   o n   t h e   h e l d - o ut   t e s t   s e t .   A l l   m o de l s   pe r f o r m   w e l l   ( > 94%   F 1),   b ut   V i H a t e T 5 - b a s e m o de l s   o ut pe r f o r m   t h e   P h o B E R T   b a s e l i n e .   P h o B E R T   a t t a i n s   a   m a c r o - F o f   94. 8%  (p r e c i s i o n   9 4. 5 %,   r e c a l l   95 . 1%) ,   w h e r e a s   V i H a t e T (f ul l y   f i n e - t u n e d)  r e a c h e s   97 . 0% ,   a nd  V i H a t e T 5+ L o R A   y i e l ds   97. 5 %.   T h e s e   g a i n s   a r e   s t a t i s t i c a l l y   s i gni f i c a nt   gi v e o ur  s a m p l e   s i z e .   T hi s   i ndi c a t e s   t h a t   V i H a t e T -   a   t ra n s f o r m e r   p r e - t r a i n e o V i e t na m e s e   s o c i a l - m e di a   t e xt   -   b e t t e c a pt u r e s   t h e   c o l l o qui a l   a n d   i n f o rm a l   l a n gu a ge   o f   t o xi c   po s t s   t ha n   P h o B E R T ’s   m o r e   f o r m a l   p r e t ra i ni n g .   T h e   r e s ul t s   a l i g w i t p r i o r   f i n d i n gs   t ha t   do m a i n - s pe c i f i c   p r e t ra i ni n g   i m p r o v e s   pe r f o r m a n c e :   V i H a t e T 5’s   s o c i a l - m e di a   c o r p us   e xpo s e s   i t   t o   s l a n a n d   j a r go n   c o m m o i t o xi c   n e w s .   P h o B E R T ,   b y   c o n t ra s t ,   w a s   t r a i n e o n   n e w s   a n d   f o r m a l   t e xt   a n d   m i s s e s   s om e   c ue s   (e . g .   s l a n g   o s a r c a s m ) .   T h e   t e xt - to - t e xt   T de s i g n   m a y   a l s o   h e l p   by   f r a m i n g   c l a s s i f i c a t i o a s   ge n e ra t i o n ,   b ut   t h e   m a i d ri v e r   s e e m s   t h e   d a t a   a n d   f i n e - tu n i ng  s t r a t e g y .   T h e   L o R A   m o de l   s l i g ht l y   o ut pe r f o r m s   f ul l   f i n e - t u n i ng,   s ugge s t i n g   t ha t   p a r a m e t e r - e ff i c i e n t   t u n i ng  h e l ps   ge n e ra l i z e   o o ur  l i m i t e d a t a .   L o R A ’s   r e gul a ri z a t i o n   (t ra i ni n g   o n l y   a   f e w   pa r a m e t e r s )   l i ke l y   pr e v e n t s   m i l d   o v e r f i t t i n g.   O v e r a l l ,   t h e   V i H a t e T m o de l s   (b o t w i t h   a n d   w i t h o ut   L o RA a c h i e v e   s ub s t a nt i a l l y   be t t e r   F 1   s c o r e s   t h a P h o B E R T .   F o e xa m pl e ,   V i H a t e T 5 + L o R A   r e duc e s   c l a s s i f i c a t i o n   e rr o r s   i b o t c l a s s e s   (t o xi c   a n d   n o n - t o xi c ),   a s   e v i de nt   f r o m   i t s   v e r y   h i g h   p r e c i s i o n   a n r e c a l l   v a l ue s .   T h i s   i m p r o v e m e n t   a l i g n s   w i t h   p ri o ob s e r v a t i o n s   t ha t   V i H a t e T 5’s   s o c i a l - m e di a   p r e t r a i n i ng  y i e l ds   s t a t e - of - t h e - a rt   r e s ul t s   o n   ha t e - s pe e c h   t a s ks .   Int ui t i v e l y ,   b e c a us e   V i H a t e T w a s   t r a i n e o s i m i l a V i e t na m e s e   o n l i n e   t e x t ,   i t   i s   m o r e   a t t u n e d   t o   s l a n g ,   c o l l o qui a l i s m s ,   a n d   i n f o r m a l   g ra m m a o f t e n   f o un i n   t o xi c   ne w s   po s t s .   P h o B E R T ,   by   c o n t ra s t ,   w a s   o pt i m i z e fo r   f o r m a l   V i e t na m e s e   a n s o   m i s s e s   s o m e   c ue s   i n   o u r   do m a i n .   T h e   t e xt - to - t e xt   de s i g n   o f   T m a y   a l s o   c o n f e r   a   s l i g h t   a dv a n t a ge   i m o de l i n g   t h e   b i n a r y   o ut put   a s   a   s t ri ng,   b ut   t h e   p r i m a r y   dri v e r   a ppe a r s   t o   b e   do m a i n - s pe c i f i c   pr e t ra i ni n g   a nd  f i n e - t u ni n g   s t ra t e gy .       T a b l e   1 .   E xpe r i m e nt   r e s ul t s   M o d e l   P re c i s i o n   ( % )   Re c a l l   (% )   M a c r o - F 1   (% )   P h o BE RT   (b a s e l i n e )   9 4 . 5   9 5 . 1   9 4 . 8   V i H a t e T 5   ( f u l l   fi n e - t u n e )   9 7 . 2   9 6 . 8   9 7 . 0   V i H a t e T 5   +   L o R A   9 7 . 8   9 7 . 2   9 7 . 5       4. 2   C o n fu s i o n   m atr i x   an d   e r r o r   an al ys i s   F i gu r e   1   s h o w s   t h e   c o n f us i o n   m a t ri f o r   t h e   b e s t   m o de l   (V i H a t e T 5 + L o R A ).   N e a r l y   a l l   t e s t   e xa m pl e s   f a l l   o n   t h e   di a go na l ,   i ndi c a t i n c o rr e c t   c l a s s i f i c a t i o n   i n   a l m o s t   e v e r y   c a s e .   O f   r o ughl y   100  t o xi c   po s t s ,   o n l y   a   ha n df ul   (2 - 5)  w e r e   m i s c l a s s i f i e a s   n o n - t o xi c ,   a n c o n v e r s e l y   o n l y   a   f e w   n o n - t o xi c   po s t s   (a l s o   ~ 2 - 5)  w e r e   f l a gge a s   t o xi c .   T h i s   v e r y   l ow   r a t e   o f   f a l s e   n e ga t i v e s / po s i t i ve s   i s   c o n s i s t e n t   w i t h   t h e   hi g h   m a c r o - F 1.   W e   a l s o   n o t e   a o v e r a l l   a c c ur a c y   of   a bo ut   97. 5%   ( n o t   s h o w n m a t c hi n g   t h e   F 1.           F i gu r e   1 Co n f us i o n   m a t r i x   o f   t h e   V i H a t e T 5+ L o R A   m o de l   o t h e   t e s t   s e t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       V i H at e T 5   w i t L oR A e f f i c i e nt   v i e t nam e s e   t ox i c   ne w s   c l as s i f i c at i on  on  s o c i a l   m e di ( T r an  D uc   D uon g )   127   E rr o a na l y s i s   r e v e a l s   t ha t   r e m a i n i ng  m i s c l a s s i f i c a t i o n s   i n v o l v e   l i n g ui s t i c a l l y   s ub t l e   c a s e s .   F o r   i n s t a n c e ,   a   t o xi c   po s t   p hr a s e i r o ni c a l l y   o r   w i t h   s a r c a s m   m i ght   e v a de   de t e c t i o n ,   s i n c e   t h e   l i t e r a l   w o r ds   s e e m   ha r m l e s s .   Co n v e r s e l y ,   a   n o n - t o xi c   h e a d l i n e   us i ng  s e n s a t i o na l   o c o l o r f ul   l a n gu a ge   (e . g .   m e t a p h o r   o r   s l a n g c o ul b e   m i s t a ke n   a s   h a rm f ul .   T h e s e   bo r de rl i n e   e xa m pl e s   a r e   i nh e r e n t l y   di f f i c ul t .   I s o m e   c a s e s ,   c ul t u r a l   o r   c o n t e xt - s pe c i f i c   r e f e r e n c e s   c o n f us e   t h e   m o de l :   e . g.   a   b e ni g l o c a l   n e w s   h e a d l i n e   m i g h t   c o n t a i a   ke y w o r t h a t   i s   o f t e n   f o un d   i t o xi c   po s t s .   I a l l ,   t h e   c o n f us i o n   m a t r i x   s ugge s t s   m o s t   e rr o r s   a ri s e   f r o m   a m b i guo us   l a n gu a ge .   D e pl oy i n a a ut o m a t e t o xi c - n e w s   c l a s s i f i e r   ra i s e s   i m po r t a nt   e t hi c a l   i s s ue s .   A l t h o ug o ur  m o de l   i s   hi g h l y   a c c ura t e ,   f a l s e   po s i t i v e s   (f l a ggi ng   b e n i g n e w s   a s   t o xi c c o ul d   i na dv e r t e n t l y   c e n s o r   l e gi t i m a t e   i n f o r m a t i o n.   Co n v e r s e l y ,   f a l s e   n e ga t i v e s   a l l o w   h a rm f ul   r u m o r s   t o   s pr e a d.   B a l a n c i n g   p r e c i s i o n   a n d   r e c a l l   i s   t h e r e f o r e   a   s o c i a l   c o n c e rn:   o ve r l y   a gg r e s s i v e   f i l t e ri n g   m i g h t   s uppr e s s   f r e e   e xp r e s s i o n   o m i n o ri t y   v i e w p o i n t s ,   w h i l e   l e ni e nt   f i l t e r i n g   m a y   f a i l   v i c t i m s   o f   de f a m a t i o n.   A n y   m o de r a t i o t o o l   m us t   b e   us e w i t h   t r a n s pa r e n c y   a n h u m a o v e r s i ght .   By   di s c us s i n t h is ,   w e   a i m   f o r   a   b a l a n c e pe r s pe c t i v e :   t h e   t o o l   h a s   p r o m i s e   f o r   i m p r o v i n g   c o n t e n t   s a f e t y ,   b ut   i t s   l i m i t a t i o n s   a n d   ri s ks   (e . g .   o v e r - c e n s o r s hi p)  m us t   b e   m a na ge d   i de pl oy m e n t .     4. 3   C o m p ar ati v e   c as e   s tu d y V i H ate T5  Lo R A   v s .   P h o B ER T   W h i l e   qu a n t i t a t i v e   m e t ri c s   de m o n s t ra t e   t h e   s upe r i o r i t y   of   V i H a t e T +   L o R A ,   a   qu a l i t a t i v e   c o m pa ri s o n   f urt h e r   hi g hl i g ht s   t h e   m o de l ’s   e ffe c t i ve n e s s   i n   h a ndl i n s ub t l e ,   r e a l - w o r l c a s e s .   I n   t hi s   s ub s e c t i o n ,   w e   pr e s e n t   s e v e r a l   r e p r e s e n t a t i v e   e xa m p l e s   f r o m   t h e   t e s t   s e t   w h e r e   V i H a t e T +   L o R A   c l e a r l y   o ut pe r f o r m e P h o B E R T .   T h e s e   e xa m p l e s   e m p ha s i z e   t h e   m o de l ’s   s t r e n g t h s   i s a r c a s m   de t e c t i o n ,   ha n dl i n g   i n di r e c t   i n s u l t s ,   r e c o gn i z i n s l a n a n o b f us c a t e pr o f a ni t y ,   a n di f f e r e n t i a t i ng  b e t w e e n   quo t e a n d   i n t e n t i o n a l   t o xi c   c o n t e n t .   E xa m pl e   1:   S a r c a s m   D e t e c t i o n   V i e t na m e s e   t e xt :   Ô i   t hật   t uy t ,   t m   m ột   c nh   s ác n hư  t h ế   y   t h ì   m ì nh  hạnh   phú c   l ắm .   E n gl i s h   t r a n s l a t i o n:   O h   w onde r f ul ,   w i t ano t h e r   po l i c y   l i k e   t hi s ,   our   pe opl e   w i l l   b e   s ha ppy .   (s a r c a s t i c )   G o l l a b e l :   T o xi c   P h o B E R T   p r e di c t i o n:   N o n - t o xi c   V i H a t e T +   L o R A   pr e di c t i o n :   T o xi c   A na l y s i s :   P h o B E R T   m i s c l a s s i f i e due   t o   l i t e r a l   po s i t i v e   w o r ds .   V i H a t e T +   L o R A   c a pt u r e t h e   i r o n i c   t o n e ,   i ndi c a t i n g   b e t t e r o b us t n e s s   t o   s a r c a s m .   E xa m pl e   2:   C r e a t i v e   S pe l l i n g   a nd  S l a n g   V i e t na m e s e   t e xt :   L ũ   n** ó c   c ,   c h   b i ế t   c m   g i ó.   E n gl i s h   t r a n s l a t i o n:   Y ou   i di o t s ,   onl y   k now   how   t t al k   nons e ns e .   (p r o f a n i t y   obf us c a t e d)   G o l l a b e l :   T o xi c   P h o B E R T   p r e di c t i o n:   N o n - t o xi c   V i H a t e T +   L o R A   pr e di c t i o n :   T o xi c   A na l y s i s :   P h o B E R T   s t r ug gl e w i t o bf us c a t e s pe l l i n g   (“ n**g”   f o r   ngu” ) .   V i H a t e T 5   +   L o R A s   t o ke n i z a t i o a nd  p r e t ra i ni n g   e n a b l e i t   t o   de t e c t   t o xi c   i nt e n t   de s pi t e   n o i s y   i nput .   E xa m pl e   3:   Q uo t i n g   T o xi c i t y   W i t h o ut   E n do r s e m e n t   V i e t na m e s e   t e xt :   T ô i   c hỉ   nh ắc   l i   c âu     nói :   ‘Đ   ngu   dố t ’.   E n gl i s h   t r a n s l a t i o n:   I ’m   j us t   r e pe at i ng  w hat   h e   s a i d:  ‘Y ou  i di ot .   G o l l a b e l :   N o n - t o xi c   P h o B E R T   p r e di c t i o n:   T o xi c   V i H a t e T +   L o R A   pr e di c t i o n :   N o n - t o xi c   A na l y s i s :   P h o B E R T   f l a gge p r o f a n i t y   r e ga r dl e s s   o f   c o n t e xt .   V i H a t e T +   L o R A   c o r r e c t l y   r e c o gn i z e t h e   n e ut ra l   i nt e n t ,   s h o w i n g   s t r o n ge c o n t e xt u a l   r e a s o n i ng.   T h e s e   qua l i t a t i v e   c a s e s   s h ow   t h a t   w h i l e   P h o B E R T   pe r f o r m s   r e a s o na b l y   w e l l   i n   s t a nda rd  c o n t e xt s ,   i t   s t ruggl e s   w i t h   n o n - l i t e ra l ,   i n f o rm a l ,   o r   c o n t e xt - de pe n de n t   t o xi c i t y .   V i H a t e T +   L o R A ,   l e ve r a g i n s e que n c e - to - s e que n c e   pr e t r a i ni n a n d   L o R A   f i n e - tu ni n g ,   de m o n s t ra t e s   a   s t r o n ge a b i l i t y   t o   c a pt u r e   i r o n y ,   s ub t l e   i n s ul t s ,   n o i s y   s o c i a l   m e di a   l a n gu a ge ,   a nd  c o nt e xt ua l   nua n c e .   T hi s   qu a l i t a t i v e   i m p r o v e m e n t   e xpl a i n s   i t s   s upe r i o r   pe r f o r m a n c e   i n   m a c r o - F s c o r e   a n d   i ndi c a t e s   i t s   p ra c t i c a l i t y   fo r   r e a l - w o r l t o xi c   n e w s   de t e c t i o n   o n   V i e t na m e s e   s oc i a l   m e di a .     4. 4   I m p ac o Lo R A   fi n e - tu n i n g   T h e   L o R A   a pp r o a c y i e l ds   a   s l i g ht   b ut   c o n s i s t e nt   i m pr o v e m e n t   o v e r   f ul l   f i n e - t u ni n g .   O u r   V i H a t e T 5+ L o R A   m o de l   a c h i e v e s   a   m a c r o - F o f   97. 5% ,   v e r s us   97 . 0%   f o r   V i H a t e T w i t a l l   pa ra m e t e r s   un f r o z e n.   T h i s   s m a l l   ga i n   l i ke l y   a r i s e s   f r o m   L o R A ’s   e ff i c i e n c y   a n r e gu l a ri z a t i o e ff e c t .   By   f r e e z i n g   t h e   b ul k   of   t h e   p r e - t ra i n e d   V i H a t e T 5   w e i g h t s   a nd   t ra i ni n g   o n l y   a   s m a l l   s e t   o f   l ow - r a nk   a d a pt e m a t r i c e s ,   L o RA   dra s t i c a l l y   r e duc e s   t h e   n u m b e r   o f   l e a rn e p a ra m e t e r s .   T hi s   n o t   o nl y   s pe e ds   up  t ra i ni n g   a n d   r e duc e s   m e m o r y   us a ge   (a s   r e po r t e i n   p ri o w o r k),   b ut   a l s o   s e r v e s   a s   a   f orm   o f   pa r a m e t e r e gul a r i z a t i o n .   I n   p r a c t i c e ,   w e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   42 ,   N o .   1 A p r i l   20 2 6 :   1 23 - 1 30   128   ob s e r ve   t h a t   t h e   L o R A - t un e m o de l   m a ke s   f e w e r   o ve r - c on f i de n t   e rr o r s   o l i m i t e d   da t a .   I n   o t h e r   w o r ds ,   L oR A   a ppe a r s   t o   s o a up”   V i H a t e T 5 ’s   p r e - t ra i n e d   k n o w l e dge   w i t h o ut   o v e r f i t t i n t o   i d i o s y n c r a s i e s   o f   o ur   s m a l l   d a t a s e t .   T hi s   m a t c h e s   H e t   a l . ’s   f i n d i n gs   t h a t   L o R A   c a n   m a t c o r   e xc e e f ul l   f i n e - t u n i ng  pe r f o r m a n c e   w h i l e   l e a rni n f a r   f e w e r   w e i gh t s .   I o ur   e xpe r i m e nt s ,   t h e   L oR A   v a r i a nt   s l i g h t l y   o ut pe r f o r m s   t h e   f ul l y   f i n e - t u n e m o de l ,   s u gge s t i n t ha t   t h i s   e f f i c i e n t   t u ni n g   s t r a t e gy   b e t t e r   l e v e r a ge s   V i H a t e T 5’s   do m a i n   k n o w l e dge   w i t h o ut   de g ra di ng  ge n e r a l i z a t i o n.     4. 5   P r ac ti c al   i m p l i c ati o n s   fo r   v i e tn am e s e   s o c i al   m e d i a   m o d e r ati o n   O ur  hi g h - pe r f o r m i ng   V i H a t e T 5 + L oR A   c l a s s i f i e r   h a s   d i r e c t   s i g n i f i c a n c e   f o r   V i e t na m ’s   s o c i a l - m e di a   l a n ds c a pe .   A c hi e v i n r o ug h l y   97. 5%  m a c r o - F 1,   i t   c o ul g r e a t l y   r e duc e   t h e   b u r de o n   h u m a n   m o de ra t o r s   by   a ut o m a t i c a l l y   f l a ggi n g   po t e n t i a l l y   t o xi c   n e w s   po s t s   a t   s c a l e .   T hi s   a l i g n s   w i t t h e   V i e t na m e s e   go v e r nm e nt ’s   e m pha s i s   o p r o a c t i v e   A I   f i l t e r i ng  o f   t o xi c   c o n t e nt :   a   c l a s s i f i e r   w i t s uc h i g a c c ura c y   c a c a t c t h e   v a s t   m a j o r i t y   o f   m i s l e a di n o r   de f a m a t o r y   h e a d l i n e s   b e fo r e   t he y   s pr e a w i de l y ,   e ffe c t i v e l y   i m p r o v i n o n l i n e   s a f e t .   F o r   pl a t f o r m   e ngi n e e r s   a n d   po l i c y   m a ke r s ,   t h e s e   r e s ul t s   de m o n s t ra t e   t ha t   a   s pe c i a l i z e V i e t na m e s e   t e xt - to - t e xt   m o de l   c a n   s e r v e   a s   a   p ra c t i c a l   m o de ra t i o n   a i d ,   t ri a gi n c o n t e nt   f o r   h um a n   r e v i e w   i n   r e a l   t i m e   a n d   c o n t ri b ut i n g   t o   a   h e a l t hi e i n f o rm a t i o e c o s y s t e m .   A t   t h e   s a m e   t i m e ,   de p l oy m e n t   m us t   b e   ha n d l e c a r e f ul l y .   E v e n   a   2 - 5 %   e rr o r a t e   ha s   n o nt r i v i a l   i m p a c t :   f a l s e   n e ga t i v e s   c o ul l e t   s o m e   ha rm f ul   c o nt e nt   s l i t hr o ug h ,   w hi l e   f a l s e   po s i t i v e s   m i g ht   w r o n g l y   c e n s o r   l e gi t i m a t e   n e w s .   T h i s   c l a s s i c   p r e c i s i o n - r e c a l l   t ra de o ff   hi g h l i g ht s   t h e   n e e d   f o h u m a o v e r s i g h t   a n c l e a r   g ui de l i n e s   i n   p ra c t i c e .   I a   r e a l - w o r l s y s t e m ,   o ur   m o de l   w o ul l i ke l y   a c t   a s   a   f i r s t - p a s s   f i l t e r:   i t   c o ul f l a s us p i c i o us   po s t s   f o m o de ra t o i n s pe c t i o b ut   n o t   m a ke   f i n a l   j udgm e n t s   a l o n e .   S uc a   h y b r i d   a pp r o a c -   a ut o m a t e d   p r e - s c r e e ni n c o m b i n e w i t h   hum a n   r e v i e w   -   i s   re c o m m e n de f o r   r e s po n s i b l e   m o de r a t i o n ,   a n i t   unde r s c o r e s   t h e   i m po rt a n c e   o f   h i g h - qu a l i t y   t ra i ni n g   d a t a   t o   m i ni m i z e   m i s t a ke s .   I o t h e w o r ds ,   c o nt i n u a l   r e f i n e m e nt   o f   t h e   da t a s e t   a n d   o n go i n g   v a l i d a t i o w o ul b e   r e qui r e d   t o   ke e t h e   m o de l   r o b us t   a s   l a ngua ge   a nd  t o pi c s   e vo l ve   [27] .   In  s u m m a r y ,   o ur  e nha n c e V i H a t e T 5+ L o R A   a pp r o a c s u b s t a n t i a l l y   a dv a n c e s   V i e t n a m e s e   t o xi c - n e w s   de t e c t i o n .   T h e   c o m pa ra t i v e   r e s ul t s ,   c o n f us i o n - m a t r i a na l y s i s ,   a n c a s e   s t udi e s   a l l   u n de r s c o r e   t h e   b e n e f i t   o f   do m a i n - s pe c i f i c   p r e t r a i n i n g   a n d   e ff i c i e n t   t u ni n g .   M o s t   r e m a i ni n g   e rr o r s   a r i s e   f r o m   s ub t l e   l i n g ui s t i c   n u a n c e   (s a r c a s m ,   s l a n g ,   c o n t e xt ra t h e r   t h a s y s t e m a t i c   f l a w s ,   w h i c h   gi v e s   c o n f i de n c e   t ha t   f u r t h e r   g a i n s   c a b e   m a de   w i t a ddi t i o n a l   da t a   o f e a t u r e s .   C ruc i a l l y ,   t h e s e   f i n di ngs   n o t   o nl y   pus t h e   t e c hn i c a l   f r o nt i e b ut   a l s o   p r o v i de   a   c o n c r e t e   pa t h w a y   t o   s a f e r   s o c i a l - m e di a   m o de ra t i o n   u nde V i e t na m ’s   e m e r gi ng  A I   po l i c i e s .       5.   C O N C LU S I O N   T h i s   w o r p r e s e n t s   a   V i e t na m e s e   t o xi c - n e w s   c l a s s i f i e r   b a s e o V i H a t e T 5   f i n e - t u n e v i a   L o R A .   In  e xpe r i m e nt s   o n   a   c u ra t e t e s t   s e t   o f   2, 962  s o c i a l - m e di a   n e w s   po s t s ,   o ur   m o de l   a c h i e v e s   a   m a c r o - F o f   97. 5% ,   s ub s t a n t i a l l y   o ut pe r f o r m i ng   a   P h o B E R T   b a s e l i n e .   T h i s   c o n f i rm s   t ha t   a   V i e t n a m e s e   T 5   m o de l   -   p r e t r a i n e d   o o n l i n e ,   c o l l o qui a l   t e xt   -   c a e ff e c t i v e l y   t r a n s f e r   t o   b i n a r y   t o xi c i t y   c l a s s i f i c a t i o n   w i t o n l y   a   f e w   t ra i na b l e   pa r a m e t e r s .   T h e s e   r e s ul t s   a r e   s i g ni f i c a n t   f o r   b o t r e s e a r c h e r s   a n d   p ra c t i t i o n e r s :   t h e y   s h o w   t ha t   m o de rn   t r a n s f o r m e a r c h i t e c t ur e s   c a b e   a d a pt e d   e f f i c i e n t l y   f o r   l o w - r e s o ur c e   V i e t na m e s e   N L P   t a s ks .   F o e xa m pl e ,   V i e t na m e s e   N L P   de v e l o pe r s   n o w   h a v e   e v i de n c e   t h a t   a n   o pt i m i z e T 5 + L o R A   pi pe l i n e   c a m e e t   t h e   a c c u r a c y   n e e ds   o f   r e a l - w o r l m o de ra t i o n.   F o r   po l i c y   m a ke r s   a n pl a t f o r m   o pe r a t o r s ,   t h e   f i n di ngs   i n d i c a t e   t ha t   h i g h - a c c ur a c y   a ut o m a t e d   f i l t e r s   a r e   f e a s i b l e   a n c o ul b e   i nt e gra t e i nt o   c o n t e nt - po l i c i ng  w o r kf l ow s .   B ui l di n g   o o ur  f i n di ngs ,   f ut u r e   r e s e a r c c a n   e xp l o r e   s e v e r a l   di r e c t i o n s .   F i r s t ,   e xpa ndi ng  a n d   di v e r s i fy i n t h e   d a t a s e t   i s   c r uc i a l :   c o l l e c t i n m o r e   e xa m pl e s   a c r o s s   di f fe r e nt   t o pi c s   a n d   t i m e   pe ri o ds   w i l l   h e l e n s u r e   t h e   m o de l   r e m a i n s   r o b us t   a s   n e w   fo r m s   o f   m i s i n f o rm a t i o a ppe a r.   M ul t i - m o da l   e xt e n s i o n s   a r e   a l s pr o m i s i n g   -   f o r   i n s t a n c e ,   i n c o r po r a t i n g   i m a ge   o r   n e t w o r s i g na l s   ( a s   i r e c e n t   V i e t na m e s e   f a ke - n e w s   b e n c h m a r ks c o ul c a p t u r e   c ue s   t h a t   t e xt   a l o n e   m i s s e s .   K e y   e xpe r i m e n t s   s h o ul d   i n c l ude   s y s t e m a t i c   c o m p a ri s o n s   o f   o t h e pa ra m e t e r - e f f i c i e n t   f i n e - t u n i ng  m e t h o ds   (e . g. ,   t h e   R e F T   s t r a t e gy ,   w h i c h   r e c e n t   w o r h a s   s h o w n   c a r e a c h   ≈98%   o f   L oR A ’s   a c c ur a c y   w i t o nl y   ~ 3%  o f   t h e   p a r a m e t e r s   a nd  a b l a t i o n s   o v e r   L oR A ’s   ra n a n r e gu l a ri z a t i o n   h y pe r pa ra m e t e r s .   I t   w o ul a l s o   b e   v a l ua b l e   t o   t e s t   r o b us t n e s s   u n de r   a dv e r s a r i a l   o r   s h i f t e c o n d i t i o n s   (e . g .   pa ra p hra s e po s t s   o r   e m e r g i n g   v oc a b ul a r y a n t o   e v a l ua t e   c r o s s - do m a i n   ge n e ra l i z a t i o (f o r   e xa m pl e ,   a ppl y i n g   t h e   m o de l   t o   n e w s   f r o m   u n f a m i l i a r   s o u r c e s ).   W e   e n c o ura ge   t h e   c o m m uni t y   t o   us e   o ur   d a t a   a n c o de   t o   r e pl i c a t e   t he s e   e xpe r i m e n t s   a n d   t o   a dv a n c e   V i e t na m e s e   m i s i n f o r m a t i o de t e c t i o n.   In   s u m m a r y ,   t h i s   p a pe r   de m o n s t r a t e s   t h a t   a   V i e t na m e s e   T m o de l   f i n e - t u n e w i t h   L o R A   i s   a e ffe c t i ve   a n d   e ff i c i e n t   s o l ut i o f o r   de t e c t i ng  t o xi c   n e w s   o n   s oc i a l   m e di a ,   s e t t i n g   a   s t r o n g   b a s e l i n e   f o r   f ut u r e   w o r k.   O u r e s ul t s   p r o v i de   bo t h   a   t e c hni c a l   f o un da t i o a n d   p r a c t i c a l   gui d a n c e   f o r   de ve l o pi n m o r e   r o b us t   m i s i n f o r m a t i o de f e n s e s   i l o w - r e s o ur c e   l a n g ua ge   s e t t i n gs .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       V i H at e T 5   w i t L oR A e f f i c i e nt   v i e t nam e s e   t ox i c   ne w s   c l as s i f i c at i on  on  s o c i a l   m e di ( T r an  D uc   D uon g )   129   F U N D I N G   I N F O R M A TI O N   T h e   a u t h o r s   s t a t e   n o   f undi n g   i s   i n v o l v e d.       A U TH O R   C O N TR I B U TI O N S   S TA T EM EN T   T h i s   j o urn a l   us e s   t h e   Co n t ri b ut o R o l e s   T a xo n o m y   (CR e di T t o   r e c o gn i z e   i ndi v i du a l   a u t h o c o n t ri b ut i o n s ,   r e duc e   a ut h o r s hi p   di s pu t e s ,   a n d   f a c i l i t a t e   c o l l a bo r a t i o n.     N am e   o A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   T r a D uc   D uo n g                               H a i   H o a n   D o                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r m a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u r c e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra f t   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e rv i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         C O N F LI C O F   I N T ER ES S TA T EM EN T   T h e   a u t h o r s   s t a t e   n o   c o n f l i c t   o f   i n t e r e s t .       D A TA   A V A I LA B I LI T Y   -   T h e   d a t a   t ha t   s u ppo rt   t h e   f i ndi n gs   o f   t hi s   s t udy   a r e   a v a i l a b l e   f r o m   t h e   c o rr e s po n di n g   a u t h o r,   [ DD ],   upo n   r e a s o na b l e   r e que s t .       R EF ER EN C ES   [1 ]   K .   S h u ,   A .   S l i v a ,   S .   W a n g ,   J .   T a n g ,   a n d   H .   L i u ,   F a k e   n e w s   d e t e c t i o n   o n   s o c i a l   m e d i a ,   A C M   S IG K D D   E x p l o r a t i o n s   Ne w s l e t t e r v o l .   1 9 ,   n o .   1 ,   p p .   2 2 3 6 ,   S e p .   2 0 1 7 ,   d o i :   1 0 . 1 1 4 5 / 3 1 3 7 5 9 7 . 3 1 3 7 6 0 0 .   [2 ]   A .   T .   H u y n h   a n d   P .   T ra n ,   U t i l i z i n g   t ra n s fo r m e m o d e l s   t o   d e t e c t   v i e t n a m e s e   f a k e   n e w s   o n   s o c i a l   m e d i a   p l a t f o r m s ,   K S II   T r a n s a c t i o n s   o n   In t e r n e t   a n d   In f o r m a t i o n   S y s t e m s ,   v o l .   1 9 ,   n o .   2 ,   p p .   4 7 2 4 8 7 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 3 8 3 7 / t i i s . 2 0 2 5 . 0 2 . 0 0 6 .   [3 ]   J .   D e v l i n ,   M . - W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   Be r t :   P re - t ra i n i n g   o f   d e e p   b i d i r e c t i o n a l   t ra n s fo r m e r s   fo l a n g u a g e   u n d e r s t a n d i n g ,   i n   P r o c e e d i n g s   o f   t h e   2 0 1 9   Co n f e r e n c e   o f   t h e   No r t h ,   S t r o u d s b u rg ,   P A ,   U S A :   A s s o c i a t i o n   fo r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 9 ,   p p .   4 1 7 1 4 1 8 6 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 9 - 1423.   [4 ]   Y .   L i u   e t   a l . ,   R o BE RT a :   A   r o b u s t l y   o p t i m i z e d   B E RT   p r e t ra i n i n g   a p p ro a c h ,   J u l .   2 0 1 9 ,   [O n l i n e ] .   A v a i l a b l e :   h t t p : / / a rx i v . o r g / a b s / 1 9 0 7 . 1 1 6 9 2   [5 ]   C.   Ra ffe l   e t   a l . ,   E x p l o ri n g   t h e   l i m i t s   o t ra n s fe r   l e a r n i n g   w i t h   a   u n i fi e d   t e x t - to - t e x t   t ra n s f o r m e r ,   J o u r n a l   o f   M a c h i n e   L e a r n i n g   R e s e a r c h ,   v o l .   2 1 ,   S e p .   2 0 2 0 ,   [O n l i n e ].   A v a i l a b l e :   h t t p : / / a r x i v . o rg / a b s / 1 9 1 0 . 1 0 6 8 3   [6 ]   D .   Q .   N g u y e n   a n d   A .   T .   N g u y e n ,   P h o B E RT :   P r e - t ra i n e d   l a n g u a g e   m o d e l s   fo V i e t n a m e s e ,   i n   F i n d i n g s   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s   F i n d i n g s   o f   A C L E M N L P   2 0 2 0 ,   S t ro u d s b u r g ,   P A ,   U S A :   A s s o c i a t i o n   fo C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 0 ,   p p .   1 0 3 7 1 0 4 2 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . f i n d i n g s - e m n l p . 9 2 .   [7 ]   L .   P h a n ,   H .   T ra n ,   H .   N g u y e n ,   a n d   T .   H .   T ri n h ,   V i T 5 :   P r e t ra i n e d   t e x t - to - t e x t   t ra n s fo r m e fo v i e t n a m e s e   l a n g u a g e   g e n e ra t i o n ,   i n   NA A C L   2 0 2 2   -   2 0 2 2   Co n f e r e n c e   o f   t h e   No r t h   A m e r i c a n   Ch a p t e r   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   P r o c e e d i n g s   o f   t h e   S t u d e n t   R e s e a r c h   W o r k s h o p ,   S t ro u d s b u rg ,   P A ,   U S A :   A s s o c i a t i o n   fo Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 2 ,   p p .   1 3 6 1 4 2 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . n a a c l - s r w . 1 8 .   [8 ]   W .   Y .   W a n g ,   ‘L i a r,   l i a p a n t s   o n   fi r e ’:   A   n e w   b e n c h m a rk   d a t a s e t   f o f a k e   n e w s   d e t e c t i o n ,   i n   A CL   2 0 1 7   -   5 5 t h   A n n u a l   M e e t i n g   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e   ( L o n g   P a p e r s ) ,   S t r o u d s b u rg ,   P A ,   U S A :   A s s o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 7 ,   p p .   4 2 2 4 2 6 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / P 1 7 - 2067.   [ 9 ]   E .   J .   H u   e t   a l . ,   L o RA :   l o w - r a n k   a d a p t a t i o n   o f   l a rg e   l a n g u a g e   m o d e l s ,   O c t .   2 0 2 1 ,   [ O n l i n e ].   A v a i l a b l e :   h t t p : / / a rx i v . o rg / a b s / 2 1 0 6 . 0 9 6 8 5   [1 0 ]   H .   A l l c o t t   a n d   M .   G e n t z k o w ,   S o c i a l   m e d i a   a n d   f a k e   n e w s   i n   t h e   2 0 1 6   e l e c t i o n ,   J o u r n a l   o f   E c o n o m i c   P e r s p e c t i v e s ,   v o l .   3 1 ,   n o .   2 ,   p p .   2 1 1 2 3 6 ,   M a y   2 0 1 7 ,   d o i :   1 0 . 1 2 5 7 / j e p . 3 1 . 2 . 2 1 1 .   [1 1 ]   S .   V o s o u g h i ,   D .   R o y ,   a n d   S .   A ra l ,   T h e   s p r e a d   o f   t ru e   a n d   f a l s e   n e w s   o n l i n e ,   S c i e n c e ,   v o l .   3 5 9 ,   n o .   6 3 8 0 ,   p p .   1 1 4 6 1 1 5 1 ,   M a r.   2 0 1 8 ,   d o i :   1 0 . 1 1 2 6 / s c i e n c e . a a p 9 5 5 9 .   [1 2 ]   N .   J .   C o n ro y ,   V .   L .   Ru b i n ,   a n d   Y .   C h e n ,   A u t o m a t i c   d e c e p t i o n   d e t e c t i o n :   M e t h o d s   fo r   f i n d i n g   f a k e   n e w s ,   i n   P r o c e e d i n g s   o f   t h e   A s s o c i a t i o n   f o r   In f o r m a t i o n   S c i e n c e   a n d   T e c h n o l o g y ,   J a n .   2 0 1 5 ,   p p .   1 4 .   d o i :   1 0 . 1 0 0 2 / p ra 2 . 2 0 1 5 . 1 4 5 0 5 2 0 1 0 0 8 2 .   [1 3 ]   N .   Ru c h a n s k y ,   S .   S e o ,   a n d   Y .   L i u ,   C S I:   A   h y b ri d   d e e p   m o d e l   fo r   f a k e   n e w s   d e t e c t i o n ,   i n   In t e r n a t i o n a l   Co n f e r e n c e   o n   In f o r m a t i o n   a n d   K n o wl e d g e   M a n a g e m e n t ,   P r o c e e d i n g s ,   N e w   Y o rk ,   N Y ,   U S A :   A C M ,   N o v .   2 0 1 7 ,   p p .   7 9 7 8 0 6 .   d o i :   1 0 . 1 1 4 5 / 3 1 3 2 8 4 7 . 3 1 3 2 8 7 7 .   [1 4 ]   M .   N a s s e r   e t   a l . ,   A   s y s t e m a t i c   r e v i e w   o m u l t i m o d a l   f a k e   n e w s   d e t e c t i o n   o n   s o c i a l   m e d i a   u s i n g   d e e p   l e a r n i n g   m o d e l s ,   R e s u l t s   i n   E n g i n e e r i n g ,   v o l .   2 6 ,   p .   1 0 4 7 5 2 ,   J u n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . ri n e n g . 2 0 2 5 . 1 0 4 7 5 2 .   [1 5 ]   S .   Q i n   a n d   M .   Z h a n g ,   B o o s t i n g   g e n e ra l i z a t i o n   o f i n e - t u n i n g   BE RT   fo f a k e   n e w s   d e t e c t i o n ,   i n   In f o r m a t i o n   P r o c e s s i n g   a n d   M a n a g e m e n t ,   J u l .   2 0 2 4 ,   p .   1 0 3 7 4 5 .   d o i :   1 0 . 1 0 1 6 / j . i p m . 2 0 2 4 . 1 0 3 7 4 5 .   [1 6 ]   S .   Ra z a ,   D .   P a u l e n - P a t t e r s o n ,   a n d   C .   D i n g ,   F a k e   n e w s   d e t e c t i o n :   c o m p a r a t i v e   e v a l u a t i o n   o B E RT - l i k e   m o d e l s   a n d   l a r g e   l a n g u a g e   m o d e l s   w i t h   g e n e ra t i v e   A I - a n n o t a t e d   d a t a ,   K n o wl e d g e   a n d   In f o r m a t i o n   S y s t e m s ,   v o l .   6 7 ,   n o .   4 ,   p p .   3 2 6 7 3 2 9 2 ,   A p r.   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 024 - 02321 - 1.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   42 ,   N o .   1 A p r i l   20 2 6 :   1 23 - 1 30   130   [1 7 ]   J .   T h o r n e ,   A .   V l a c h o s ,   C.   Ch r i s t o d o u l o p o u l o s ,   a n d   A .   M i t t a l ,   F E V E R:   A   l a rg e - s c a l e   d a t a s e t   fo f a c t   e x t ra c t i o n   a n d   v e ri f i c a t i o n ,   i n   NA A CL   H L T   2 0 1 8   -   2 0 1 8   Co n f e r e n c e   o f   t h e   No r t h   A m e r i c a n   Ch a p t e r   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s H u m a n   L a n g u a g e   T e c h n o l o g i e s   -   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e ,   S t ro u d s b u r g ,   P A ,   U S A :   A s s o c i a t i o n   fo r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 8 ,   p p .   8 0 9 8 1 9 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / n 1 8 - 1074.   [1 8 ]   I.   A u g e n s t e i n   e t   a l . ,   M u l t IF C :   A   r e a l - w o rl d   m u l t i - d o m a i n   d a t a s e t   f o r   e v i d e n c e - b a s e d   f a c t   c h e c k i n g   o c l a i m s ,   i n   E M N L P - IJ CNL P   2 0 1 -   2 0 1 9   Co n f e r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   Na t u r a l   L a n g u a g e   P r o c e s s i n g   a n d   9 t h   In t e r n a t i o n a l   J o i n t   Co n f e r e n c e   o n   Na t u r a l   L a n g u a g e   P r o c e s s i n g ,   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e ,   S t ro u d s b u rg ,   P A ,   U S A :   A s s o c i a t i o n   fo C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 9 ,   p p .   4 6 8 5 46 9 7 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / D 1 9 - 1475.   [1 9 ]   K .   N a k a m u ra ,   S .   L e v y ,   a n d   W .   Y .   W a n g ,   r/ F a k e d d i t :   A   n e w   m u l t i m o d a l   b e n c h m a rk   d a t a s e t   fo f i n e - g ra i n e d   f a k e   n e w s   d e t e c t i o n ,   i n   L R E C   2 0 2 0   -   1 2 t h   In t e r n a t i o n a l   Co n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n ,   Co n f e r e n c e   P r o c e e d i n g s M a r.   2 0 2 0 ,   p p .   6 1 4 9 6 1 5 7 .   [O n l i n e ].   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 1 9 1 1 . 0 3 8 5 4   [2 0 ]   Y .   L i ,   B.   J i a n g ,   K .   S h u ,   a n d   H .   L i u ,   M M - CO V ID :   A   m u l t i l i n g u a l   a n d   m u l t i m o d a l   d a t a   r e p o s i t o ry   fo c o m b a t i n g   CO V ID - 1 9   D i s i n fo r m a t i o n ,   N o v .   2 0 2 0 ,   [O n l i n e ] .   A v a i l a b l e :   h t t p : / / a rx i v . o r g / a b s / 2 0 1 1 . 0 4 0 8 8   [2 1 ]   H .   T h a n h ,   N i n h - Pm - S e ,   a n d   T .   C.   V i ,   V F N D / V F N D - V i e t n a m e s e - f a k e - n e w s - d a t a s e t s :   A   c o l l e c t i o n   o V i e t n a m e s e - l a n g u a g e   n e w s   a rt i c l e s   a n d   s o c i a l   m e d i a   p o s t s   l a b e l e d   a s   T ru e   o F a l s e   (2 5 4   i t e m s a n d   s u p p o r t i n g   t o o l s .   (I n   V i e t   N a m ).   M a y   2 9 ,   2 0 2 2 .   Z e n o d o .   d o i :   1 0 . 5 2 8 1 / Z E N O D O . 6 5 9 0 9 4 8 .   [2 2 ]   H. - L .   N g u y e n ,   T . - K. - T .   P h a m ,   T . - S .   L e ,   T . - M .   N g u y e n ,   T . - H. - Y .   V u o n g ,   a n d   H . - T .   N g u y e n ,   RM D M :   A   m u l t i l a b e l   f a k e n e w s   d a t a s e t   fo v i e t n a m e s e   e v i d e n c e   v e ri f i c a t i o n ,   S e p .   2 0 2 3 ,   [O n l i n e ].   A v a i l a b l e :   h t t p : / / a r x i v . o rg / a b s / 2 3 0 9 . 0 9 0 7 1   [2 3 ]   T .   T .   H o a ,   T .   Q .   D u y ,   K .   Q .   T ra n ,   a n d   K .   V a n   N g u y e n ,   V i F a c t C h e c k :   A   n e w   b e n c h m a rk   d a t a s e t   a n d   m e t h o d s   f o m u l t i - d o m a i n   n e w s   f a c t - c h e c k i n g   i n   V i e t n a m e s e ,   i n   P r o c e e d i n g s   o f   t h e   A A A Co n f e r e n c e   o n   A r t i f i c i a l   In t e l l i g e n c e ,   A p r.   2 0 2 5 ,   p p .   3 0 8 3 1 6 .   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 9 i 1 . 3 2 0 0 8 .   [2 4 ]   T .   D a v i d s o n ,   D .   W a r m s l e y ,   M .   M a c y ,   a n d   I.   W e b e r ,   A u t o m a t e d   h a t e   s p e e c h   d e t e c t i o n   a n d   t h e   p r o b l e m   o f   o ffe n s i v e   l a n g u a g e ,   i n   P r o c e e d i n g s   o f   t h e   1 1 t h   In t e r n a t i o n a l   Co n f e r e n c e   o n   W e b   a n d   S o c i a l   M e d i a ,   IC W S M   2 0 1 7 ,   M a y   2 0 1 7 ,   p p .   5 1 2 5 1 5 .   d o i :   1 0 . 1 6 0 9 / i c w s m . v 1 1 i 1 . 1 4 9 5 5 .   [2 5 ]   P .   F o r t u n a   a n d   S .   N u n e s ,   A   s u rv e y   o n   a u t o m a t i c   d e t e c t i o n   o f   h a t e   s p e e c h   i n   t e x t ,   A C M   Co m p u t i n g   S u r v e y s ,   v o l .   5 1 ,   n o .   4 ,   p p .   1 3 0 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 1 4 5 / 3 2 3 2 6 7 6 .   [2 6 ]   S .   T .   L u u ,   K .   V a n   N g u y e n ,   a n d   N .   L .   T .   N g u y e n ,   A   l a r g e - s c a l e   d a t a s e t   f o h a t e   s p e e c h   d e t e c t i o n   o n   V i e t n a m e s e   s o c i a l   m e d i a   t e x t s ,   i n   L e c t u r e   No t e s   i n   Co m p u t e r   S c i e n c e   ( i n c l u d i n g   s u b s e r i e s   L e c t u r e   No t e s   i n   A r t i f i c i a l   In t e l l i g e n c e   a n d   L e c t u r e   No t e s   i n   B i o i n f o r m a t i c s ) ,   v o l .   1 2 7 9 8   L N A I ,   2 0 2 1 ,   p p .   4 1 5 4 2 6 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 79457 - 6_35.   [2 7 ]   L .   T .   N g u y e n ,   V IH A T E T 5 :   E n h a n c i n g   h a t e   s p e e c h   d e t e c t i o n   i n   v i e t n a m e s e   w i t h   a   u n i f i e d   t e x t - to - t e x t   t ra n s f o r m e m o d e l ,   i n   P r o c e e d i n g s   o f   t h e   A n n u a l   M e e t i n g   o f   t h e   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   S t r o u d s b u rg ,   P A ,   U S A :   A s s o c i a t i o n   fo r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 4 ,   p p .   5 9 4 8 5 9 6 1 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . f i n d i n g s - a c l . 3 5 5 .   [2 8 ]   P .   F o rt u n a ,   L .   B.   Cru z ,   R .   M a i a ,   V .   C o rt e z ,   a n d   S .   N u n e s ,   T o x i c i t y - a s s o c i a t e d   n e w s   c l a s s i f i c a t i o n :   T h e   i m p a c t   o m e t a d a t a   a n d   c o n t e n t   fe a t u r e s ,   i n   IC W S M   W o r k s h o p s ,   2 0 2 1 .   [2 9 ]   J .   P fe i ffe r ,   A .   K a m a t h ,   A .   c k l é ,   K .   Ch o ,   a n d   I .   G u r e v y c h ,   A d a p t e r F u s i o n :   N o n - d e s t ru c t i v e   t a s k   c o m p o s i t i o n   fo t ra n s fe r   l e a r n i n g ,   i n   E A C L   2 0 2 1   -   1 6 t h   Co n f e r e n c e   o f   t h e   E u r o p e a n   Ch a p t e r   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e ,   S t r o u d s b u rg ,   P A ,   U S A :   A s s o c i a t i o n   fo r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 1 ,   p p .   4 8 7 5 0 3 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . e a c l - m a i n . 3 9 .   [3 0 ]   B.   L e s t e r ,   R.   A l - R fo u ,   a n d   N .   Co n s t a n t ,   T h e   p o w e r   o f   s c a l e   f o r   p a ra m e t e r - e ff i c i e n t   p r o m p t   t u n i n g ,   i n   E M N L P   2 0 2 1   -   2021  Co n f e r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   Na t u r a l   L a n g u a g e   P r o c e s s i n g ,   P r o c e e d i n g s ,   S t r o u d s b u rg ,   P A ,   U S A :   A s s o c i a t i o n   fo r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 1 ,   p p .   3 0 4 5 3 0 5 9 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . e m n l p - m a i n . 2 4 3 .       B I O G R A P H I ES   O F   A U T H O R S       T r an   D u c   D u o n g           ho l ds   a   D o c t o r   o f   C o m put e r   E ng i ne e r i ng   d e g r e e   f r o m   P o s t s   a nd   T e l e c o m m uni c a t i o ns   I ns t i t ut e   o f   T e c hno l o gy V i e t na m   i n   20 17 .   H e   a l s o   r e c e i v e d   hi s   B . S c   f r o m   V i e t na m   N a t i o na l   U ni v e r s i t y   o f   H a no i   ( I nf o r m a t i o T e c hno l o gy )   a nd   M . S c .   ( I nf o r m a t i o S y s t e m s )   f r o m   U n i v e r s i t y   o f   L e e ds U ni t e d   K i ng do m   i n   1 999   a nd   20 04 r e s pe c t i v e l y .   H e   i s   c ur r e nt l y   a   l e c t u r e r   a t   t he   F a c ul t y   o f   I n f o r m a t i o n   T e c hno l o gy   i P o s t s   a nd   T e l e c o m m uni c a t i o ns   I ns t i t u t e   o f   T e c hno l o gy H a no i V i e t na m .   H i s   r e s e a r c i nc l ude s   m a c hi ne   l e a r n i ng ,   de e l e a r n i ng ,   i m a g e   a n n a t ur a l   l a ng ua g e   p r o c e s s i ng ,   a nd  l a r g e   l a ng ua g e   m o de l s .   H e   c a n   be   c o nt a c t e d   a t   e m a i l :   duc dt @ pt i t . e du . v n .         H a i   H o an   D o           r e c e i v e d   a   D o c t o r   o f   E c o no m i c s   f r o m   t h e   V i e t n a m   A c a de m y   o f   S o c i a l   S c i e nc e s ,   H a no i V i e t na m   a nd   M a s t e r   o f   P r o j e c t   M a n a g e m e nt   f r o m   F o r e i g T r a de   U ni v e r s i t y ,   H a no i ,   V i e t n a m   i 2018   a nd  2013 ,   r e s p e c t i v e l y .   S h e   i s   c ur r e n t l y   a   l e c t u r e r   a t   F a c ul t y   o f   M ul t i m e d i a   i t h e   P o s t s   a nd   T e l e c o m m uni c a t i o ns   I ns t i t ut e   o f   T e c hno l o gy H a no i V i e t na m .   H er   r e s e a r c i nc l ud e s   s o c i a l   e n t r e pr e ne ur s hi p,   s o c i a l   c o m m uni c a t i o ns ,   a nd  s o c i a l   pr e s s .   S he   c a b e   c o nt a c t e a t   e m a i l :   ho a ndh @ p t i t . e du . v n .     Evaluation Warning : The document was created with Spire.PDF for Python.