I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   4 ,  A u g u s t 2 0 2 6 ,   p p .   3 1 4 4 ~ 3 1 5 3   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 4 . p p 3 1 4 4 - 3 1 5 3           3144     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   So cia l news f a c tu a lity v erification  using  larg e lang ua g e mo dels       T ra n Duc  Duo ng 1 ,   H a i H o a n Do 2   1 F a c u l t y   o f   I n f o r m a t i o n   T e c h n o l o g y ,   P o st s   a n d   Te l e c o mm u n i c a t i o n s   I n st i t u t e   o f   T e c h n o l o g y ,   H a n o i ,   V i e t n a m   2 Ec o n o mi c   R e s e a r c h   I n st i t u t e   o f   P o s t a l   Te c h n o l o g y ,   P o st s   a n d   Te l e c o m mu n i c a t i o n s I n st i t u t e   o f   Te c h n o l o g y ,   H a n o i ,   V i e t n a m       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 5 ,   2 0 2 5   R ev is ed   Ma y   1 3 ,   2 0 2 6   Acc ep ted   J u n   1 9 ,   2 0 2 6       S o c ial  m e d ia  p latfo rm s  h a v e   g re a tl y   a c c e lera ted   th e   sp re a d   o f  n e ws ,   b u t  th is  ra p id   in f o rm a ti o n   flo w  a lso   a m p li fies   th e   risk   o f  m isin fo rm a ti o n .   T ra d it io n a l   a u to m a ti c   d e tec ti o n   m e th o d s  th a t  re ly   so lely   o n   tex tu a l  fe a t u re s  o ften   stru g g le wit h   n u a n c e d ,   e m e rg in g   c o n ten t.   T h is p a p e r  p re se n t  a   n o v e l  p ip e li n e   th a t  v e rifi e s  t h e   fa c tu a li t y   o f   so c ial  n e ws   b y   c lu ste rin g   re late d   a rt icle s  in to   e v e n ts  a n d   u sin g   larg e   lan g u a g e   m o d e ls  (LL M s)  t o   e x trac t  a n d   v e rify   c laim s  a g a in st  tru ste d   n e ws   so u rc e s.  Th e   a p p ro a c h   g r o u p s  so c ial - m e d ia  p o sts  a n d   m a in stre a m   re p o rts  o n   t h e   sa m e   e v e n t,   e x trac ts  a to m ic  c laim s  wit h   a   m o d e l  li k e   G P T - 4 ,   a n d   c h e c k s  e a c h   c l a im’s   tru th f u ln e ss   b y   c o m p a rin g   it   t o   t h e   c lu ste r’s  re li a b le  n e ws .   Th is  p ip e li n e   wa s  e v a lu a ted   o n   a   n e wl y   c o n stru c te d   Vie tn a m e se   n e ws   d a tas e t  o f  1 , 7 6 5   a rti c les   (in c l u d i n g   7 2 3   so c ial - m e d ia   it e m s),  m a n u a ll y   a n n o tatin g   c laim s  a s  tru e   o r  fa lse .   Th e   LLM - b a se d   m e th o d   a c h iev e d   h ig h   a c c u ra c y   (≈8 8 . 9 %   F 1 - sc o re   o n   c laim   v e rifi c a ti o n   a n d   9 2 . 1 %   F1 - sc o re   o n   o v e ra ll   n e ws   v e ri fica ti o n ).   Th e se   re su lt s  d e m o n s trate   th a t  c a re fu ll y   p r o m p ted   LL M s,  c o m b i n e d   wit h   e v e n t - le v e l  c lu ste rin g   o f   e v id e n c e ,   c a n   o u t p e rfo rm   trad it io n a l  m e th o d s  (e . g . ,   b id irec ti o n a l   e n c o d e r   re p re se n tatio n s   fro m   tran sfo rm e rs  ( BERT ) - b a se d   c las sifiers )  in   v e rif y in g   n e ws .   Th e   p a p e r  d isc u ss e s  a d v a n tag e s  o f  c lu ste ri n g   o v e r  sim p le   re tri e v a l,   sc a lab il it y   c o n si d e ra ti o n s  fo r  L LM s,  a n d   p ro s p e c ts  fo r  m u lt i li n g u a l  a n d   k n o wle d g e - e n h a n c e d   v e rif ica ti o n .   K ey w o r d s :   C laim   ex tr ac tio n   C laim   v er if icatio n   L ar g e  lan g u ag e  m o d els   New s   clu s ter in g   So cial  n ews v er if icatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   T r an   Du c  Du o n g   Facu lty   o f   I n f o r m atio n   T ec h n o lo g y ,   Po s ts   an d   T elec o m m u n icatio n s   I n s titu te  o f   T ec h n o lo g y   Km .   1 0   Ng u y en   T r ai,   Ha  Do n g ,   Ha  No i,  Viet  Nam   E m ail:  d u cd t@ p tit.ed u . v n       1.   I NT RO D UCT I O N   T h e  p r o life r atio n   o f   s o cial - m ed ia  n ews  h as  d em o cr atize d   in f o r m atio n   b u t  also   f ac ilit ated   th e  r ap i d   s p r ea d   o f   f alse n ews.  Misin f o r m atio n   o n lin e  ca n   s way   p u b lic  o p in io n   an d   ev en   in cite  r ea l - wo r ld   h ar m ,   as p ast   ev en ts   h av e   s h o wn .   T r a d itio n al  f ac t - ch ec k i n g   s ites   ( e. g . ,   Po liti Fact,   Sn o p es)  r ely   o n   la b o r - in ten s iv e   m an u al   r ev iew,   wh ich   is   to o   s lo w  f o r   lar g e - s ca le  s o cial  f ee d s .   C o n s eq u en tly ,   au to m ated   m et h o d s   ar e  n ee d ed .   E ar l y   f ak e  n ews  d etec to r s   u s ed   co n ten t - b ased   cu es  ( lin g u is tic  s ty le,   s en tim en t,  an d   s tan ce )   to   class if y   n ews  [ 1 ] – [ 4 ] .  Ho wev er ,   s u ch   m eth o d s   o f te n   lack   ex ter n al  g r o u n d in g   a n d   ca n   b e  ea s ily   f o o led   b y   ad v er s ar ial  o r   co n tex t - s h if ted   co n ten t.  I n   r esp o n s e,   k n o wled g e - b ased   ap p r o ac h es  h av e  b ee n   d e v elo p e d :  th ey   ex tr ac t  ch ec k - wo r th y   s tatem en ts   an d   co m p ar e  th em   ag ain s t  ev id en ce   f r o m   tr u s ted   s o u r ce s   o r   k n o wled g e  b ase s .   Fo r   ex am p le,   th e  f ac t  ex tr ac tio n   an d   v e r if icatio n   ( FEVE R )   b en ch m ar k   d e m o n s tr ated   a  p ip elin e  o f   claim   ex tr ac tio n ,   ev id e n ce   r etr iev al,   an d   class if icatio n   [ 5 ] .   T h ese  m eth o d s   ty p ically   e m p lo y   p r e - tr ain e d   tr an s f o r m er s   ( e. g .   b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   t r an s f o r m er s   ( B E R T ) )   o n   f ea tu r es o r   ev id e n ce   p ass ag es  [ 6 ] – [ 1 0 ] .   R ec en tly ,   lar g e  lan g u ag e  m o d els  ( L L Ms)   ( GPT - 3 /4 )   h av e  s h o wn   r em ar k a b le  r ea s o n in g   an d   k n o wled g e  r etr iev al  ab ilit ies,  s u g g esti n g   n ew  f ac t - c h ec k in g   s tr ateg ies  [ 1 1 ] ,   [ 1 2 ] .   U n lik e  class if icatio n - o n ly   m o d els,  L L Ms  ca n   b e  p r o m p ted   to   d ec o m p o s e  a n d   v e r if y   co m p lex   claim s   b y   g en er atin g   ev id en ce   o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S o cia l n ews   fa ctu a lity v erif ica tio n   u s in g   la r g e  l a n g u a g e  mo d els ( Tr a n   Du c  Du o n g )   3145   ex p lan atio n s   [ 1 3 ] ,   [ 1 4 ] .  T h is   wo r k   in v esti g ates  s u ch   an   L L M - p o wer ed   p ip elin e  f o r   s o cia l  n ews  v er if icatio n .   Sp ec if ically ,   s o cial - m ed ia   ar ti cles  ( wh ich   m a y   c o n tain   r u m o r s   o r   m is in f o r m atio n )   ar e   co llected   an d   clu s ter   th em   to g et h er   with   r eliab le   n ews  r ep o r ts   o n   t h e  s am e   ev e n ts .   GPT - 4   is   th e n   u s ed   to   ex tr ac t  ato m ic  claim s   f r o m   ea ch   s o cial  p o s t  an d   v er i f y   th ese  claim s   ag ain s t  th e  clu s ter ’ s   tr u s two r th y   n ews.   T h e  m ain   co n tr ib u tio n s   o f   th is   p ap er   ar e:   i )  a   n o v el  c lu s ter in g   +   L L M  p ip elin e  f o r   v er if y in g   s o cial - m ed ia   n ews  b y   cr o s s - ch ec k in g   with   m ain s tr ea m   s o u r ce s ;   ii )  d em o n s tr atio n   th at   L L Ms  ca n   e x ce ed   tr ad itio n al  m o d els  f o r   t h is   task :  o u r   GPT - 4  b ased   ap p r o ac h   ac h iev es  ≈ 8 8 . 9 %  F1 - s co r e   o n   claim   v er if icatio n   an d   9 2 . 1 %  F1 - s co r e   o n   o v er all  n ews  lab elin g ,   s ig n if ica n tly   o u tp er f o r m in g   a   B E R T - b ased   b ase lin e ;  an d   iii )  i n s ig h ts   in t o   r etr iev al  s tr ateg ies:   clu s ter in g   b y   e v en t is sh o wn   t o   y ield   m o r e  r elev a n t e v id e n c e  th an   n aiv e   “to p - N”  s ea r ch   a n d   s ca les b etter .     T h e  r em ain d e r   o f   th is   p a p er   i s   o r g an ized   as  f o llo ws.  Sectio n   2   r ev iews  r elate d   liter atu r e.   Sectio n   3   d escr ib es  th e  p r o p o s ed   m eth o d o lo g y .   Sectio n   4   p r esen ts   th e  d ataset,   ex p er im e n tal  s etu p ,   an d   ev alu atio n   r esu lts .   Fin ally ,   s ec tio n   5   co n c lu d es th e  p ap e r .       2.   RE L AT E D  WO RK   2 . 1 .     T ex t - ba s ed  f a k e   news det ec t io n   E a r l y   wo r k   o n   a u to m a t ed   d ec e p t i o n   d et e c t i o n   f o c u s ed   o n   l i n g u i s t i c   c u e s   an d   c l a s s i f i ca t i o n .   F o r   e x a m p l e ,   W a n g   [ 1 ]   in t r o d u c ed   t h e   L I A R   d a t a s e t   o f   1 2 . 8 K  l a b e l ed   s t a t e m en t s   f r o m   P o l it i F a c t   a n d   s h o w ed   t h a t   n e u r a l   m o d e l s   ( c o n v o l u ti o n a l   n eu r a l   n e t w o r k   ( C N N s ) ,   h y b r id   ar c h i te c t u r e s )   ca n   u s e   s u r f a c e   p a t t e r n s   f o r   d e t e c t io n .   S u p er v i s ed   m o d e l s   l i k e   B E R T   h av e   s i n ce   a c h i e v e d   s t r o n g   r e s u l t s   o n   s u c h   b en ch m ar k s .   H o w e v er ,   t h e s e  a p p r o a ch e s   c l a s s i f y   n e w s   b a s e d   s o l e ly   o n   t h e  t e x t,   w i th o u t   g r o u n d i n g   i n   r e a l - w o r l d   e v i d en c e.   A s   R a z a   e t   a l.   [ 4 ]   n o t e   t h a t   B E R T - l i k e   m o d e l s   g en e r a l ly   o u t p e r f o r m   L L M s   in   c l a s s i f i c a t i o n   t a s k s   ( i . e . ,   t ex t - b a s e d   c l a s s i f ic a t i o n ) .   I n   o th e r   w o r d s ,   f in e - tu n e d   tr a n s f o r m e r s   ex c e l  w h en   a  t r a in i n g   s e t  i s   a v a i l ab l e ,   b u t  t h ey   a r e  l im i te d   wh en   c l a i m s   r eq u ir e  e x ter n a l  co n t ex t .   D i s t a n t ly   s u p e r v i s e d   d a ta s e t s   l ik e   N E L A - G T   o r   F a k ed d i t   l ab e l  a r t i c l e s   f r o m   s o c ia l   s o u r c e s   b y   s o u r c e   cr e d ib i l i t y   [ 4 ] ,   b u t   t h e s e   c an   e m b e d   b i a s   ( e. g . ,   l ab e l in g   e n t i r e   o u t le t s   a s   f ak e )   a n d   m i s s   n u an c e .     2 . 2 .     E v idence - ba s ed  f a ct   che ck ing   T o   m o r e  r o b u s tly   v er if y   clai m s ,   r esear ch er s   h av e  d ev elo p ed   f ac t - c h ec k in g   p ip elin es   th at  r etr iev e  ev id en ce .   T h e   FEVE R   d ataset  ex em p lifie s   th is :  it  co n s is ts   o f   1 8 5 K  claim s   f r o m   W ik ip ed i a  with   g r o u n d - tr u th   ev id en ce   s en ten ce s   [ 5 ] .   So lu ti o n s   ty p ically   ex tr ac t  a  claim ,   r etr iev e  r elev an t  d o cu m en ts   ( v ia  B M2 5   o r   n e u r al  s ea r ch ) ,   a n d   ap p ly   class if ier   to   ju d g e   “Su p p o r ted /R ef u te d /No tEn o u g h I n f o ”.   Po liti Fact  an d   o th er   f ac t - ch ec k e r s   u s e  s im ilar   p r o ce s s es  with   n e ws  o r   k n o wled g e   b ases .   Fo r   ex am p le,   Y u   et   a l.   [ 1 5 ]   f u s ed   tex t  a n d   r etr iev ed   f ac t - ch ec k in g   s ig n als  in   a  d u al - p er ce p tio n   m o d el,   im p r o v i n g   o n   ea r lier   B E R T   b aselin es.  B u t  ev en   th ese  en h an ce d   ar ch itectu r es r ely   o n   m atch in g   s u r f ac e  tex t o r   s h allo w  in f er en ce .     2 . 3 .     L a rg e   la ng ua g e  m o del - driv en  f a ct   v er if ica t io n   R ec en tly ,   LLM s   h av e  b ee n   ap p lied   to   f ac t  v e r if icatio n   in   n o v el  way s .   On e  s tr an d   u s es  p r o m p tin g   o r   ch ain - of - th o u g h t  t o   h a v e  a n   L L M  an al y ze   a   claim .   Z h an g   an d   Gao   [ 1 2 ]   in tr o d u ce d   th e  h ier ar ch ical     s tep - by - s tep   ( HiSS )   p r o m p tin g :  th ey   d ec o m p o s e  c o m p le x   c laim s   in to   s u b - claim s   a n d   iter ativ ely   v er if y   ea c h   u s in g   GPT - 4 ,   ac h iev in g   s tate - of - th e - ar t  o n   m is in f o r m ati o n   b en ch m ar k s   [ 1 2 ] .   Min   et  a l.   [ 1 4 ]   p r o p o s e   F a ctSco r e  f o r   f in e - g r ain ed   ev alu atio n   o f   L L M  an s wer s ,   h ig h lig h tin g   th at  L L M  ac cu r ac y   h in g es  o n   co n tex t   an d   p r o m p t  d esig n .   Me tr o p o litan s k y   an d   L ar s o n   [ 1 6 ]   d e v elo p ed   C laim if y ,   an   L L M - b ased   ex tr ac to r   th at   b r ea k s   an   o u tp u t   in to   p r ec is e  f ac tu al  s tatem en ts .   E x p e r im en t s   s h o w  th at   u s in g   h ig h - q u ality   ex tr ac ted   claim s   is   cr u cial,   s in ce   f a u lty   claim   p h r asin g   ca n   u n d e r m in e   v er if icat io n .   A  m ajo r   tr en d   is   to   c o m b in e  L L Ms  with   th e   r etr iev al  o f   ex ter n al  k n o wled g e.   Kh aliq   et  a l.   [ 1 7 ]   ex e m p lify   th is   with   r etr iev al - au g m en ted   g e n er atio n - au g m en ted   r ea s o n in g   ( R AGAR ) ,   wh ich   u s es  a  m u ltimo d al  L L M  p lu s   r etr iev al  to   f ac t - ch ec k   p o liti ca l  claim s   in   twee ts   an d   im a g es.  T h e y   in tr o d u ce   c h ain - of - r etr iev al - au g m en ted   g e n er atio n   ( R AG)   an d   t r ee - of - R AG  r ea s o n in g ,   wh er eb y   th e   m o d el  alter n ates  b etwe en   r etr iev i n g   ev i d en ce   a n d   g en e r atin g   n ew  s u b - q u esti o n s ,   ac h iev in g   a  weig h ted   F1 - s co r e   o f   0 . 8 5   o n   a  p o liti ca l  claim s   test   s et.   Fac tC h ec k GPT  [ 1 8 ]   im p lem en ts   an     eig h t - s tep   p ip elin e  o n   L L M   o u tp u ts .   I n   ex p e r im en ts   o n   th e  Factch ec k - B en ch   ( 6 7 8   cla im s   f r o m   C h atGPT   r esp o n s es),   FactC h ec k GPT  f o u n d   th at  s tate - of - t h e - ar t  ch ec k er s   ( FacT o o l,  FactSco r e,   an d   Per p lex ity )   s tr u g g le   –   th e  b est  F1 - s co r e   o n   f alse  claim s   was  o n ly   ~0 . 5 3 .   An o th e r   lin e  tr ea ts   L L Ms  as  ag en ts .   L i   et  a l.   [ 1 3 ]   p r o p o s e   FactAg en t,  wh ich   em u lates  h u m an   ex p er t  wo r k f lo ws:   th e  m o d el  p er f o r m s   r esear c h   s u b task s   s eq u en tially   ( e. g . ,   s ea r ch ,   s u m m a r izatio n ,   c r o s s - ch ec k in g )   b ef o r e  g iv in g   a   v er d ict.   Qu elle  an d   B o v et  [ 1 1 ]   d em o n s tr ate  th at   GPT - 4   with   r etr iev ed   co n te x t  an d   s o u r ce - citatio n   ca n   f ac t - ch ec k   with   p r o m is in g   ac c u r ac y ,   th o u g h   a cc u r ac y   v ar ies  b ased   o n   q u er y   lan g u a g e  an d   claim   v er ac ity .   I n   s u m m ar y ,   L L Ms  ca n   lev er ag e  b r o ad   k n o wled g e  an d   co m p lex   r ea s o n i n g ,   b u t  th eir   u n ch ec k e d   o u tp u ts   ca n   b e   in co n s is ten t.  T h er ef o r e,   m a n y   r ec en t  s y s tem s   co m b in e  L L Ms w ith   r etr ie v al:  e. g . ,   in te g r atin g   s ea r ch   r esu lts   in to   L L M  p r o m p ts   f o r   ev id e n ce   [ 1 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 1 4 4 - 3 1 5 3   3146   A  s ec o n d   f a m ily   au g m en ts   L L Ms  with   s tr u ctu r ed   k n o wled g e  o r   s y m b o lic  r ea s o n in g .   Gr ap h C h ec k   [ 1 9 ]   is   a  p r im e  ex am p le:  it  ex tr ac ts   a  k n o wled g e  g r a p h   ( KG)   f r o m   th e  d o cu m en t  a n d   claim ,   en co d es  it  with   a  g r ap h   n eu r al  n etwo r k ,   an d   f e ed s   th e  r esu ltin g   em b e d d in g s   in to   a n   L L M   p r o m p t.   E m p ir ically ,   Gr ap h C h ec k   im p r o v e d   o v e r all  ac cu r ac y   b y   ~7 . 1 %  o v e r   b aselin es  o n   s ev en   g en e r al  an d   m e d ical - d o m ain   b en ch m ar k s .   An o th er   h y b r id   s y s tem ,   Hy b r id FC ,   is   a   h y b r id   KG - b ased   f ac t - ch ec k in g   m eth o d   th at  e n s em b les  m u ltip le   ap p r o ac h es  ( tex t - b ased ,   p at h - b ased ,   r u le - b ased ,   em b e d d i n g - b ased )   t o   d ec id e  th e  v er ac ity   o f   ass er tio n s   ( tr ip les)  in   KG s .   I t  r ep o r ts   i m p r o v e m en ts   o f   0 . 1 4   to   0 . 2 7   in   ar ea   u n d e r   th e  cu r v e  ( AUC )   o v er   th e  p r io r     s tate - of - th e - ar t o n   th e  FactB en ch   d ataset  [ 2 0 ] .   R ec en t  wo r k   h as  ex ten d ed   f ac t - ch ec k in g   to   m u ltimo d al  claim s   ( tex t  +  im ag es/v id eo s ) .   T h e   Fak eM ar k   s y s tem   [ 2 1 ]   tack le s   f ac t - ch ec k in g   o f   n ews  v i d e o s .   Fak eM ar k   u s es  a  q u esti o n - d r iv e n   p ip elin e:  it  p ass es  th e  v id eo ,   titl e,   an d   tr a n s cr ip t  th r o u g h   a  v is io n   lan g u ag e  m o d el   ( VL M)   an d   L L M   ( GPT - 4o - m in i   an d   I n ter n VL - 8 B )   with   tailo r e d   p r o m p ts .   Fak eM ar k ’ s   tr ai n in g - f r ee   p i p elin e  ac h iev ed   ~6 2 . 9 %  ac cu r ac y   ( F1 ≈ 5 9 . 4 %)  o n   b i n ar y   v er ac it y .   An o t h er   m u ltimo d al   ap p r o ac h   is   L R Q - Fact  [ 2 2 ] ,   d esig n ed   f o r   m u ltimo d al   m is in f o r m atio n   ( im a g es+tex t) .   I t  g en er ates  r elev an t  f ac t - c h ec k   q u esti o n s   b y   p r o m p tin g   a  VL M   +   L L M   p ip elin e.   A  th ir d   ex am p le  is   m u ltimo d al  au to m ated   f ac t - c h ec k in g   v ia  te x tu aliza tio n   ( MA FT )   [ 2 3 ] ,   a  g e n er al   m u ltimo d al  f ac t - ch ec k er   f o r   tex t,  im ag es,  v id eo ,   an d   a u d io .   MA FT  f ir s t  tex tu alize s   all  in p u t  m ed ia     ( e. g . ,   g e n er atin g   ca p tio n s /tra n s cr ip ts ) ,   th en   ex tr ac ts   claim s ,   an d   co llects ev id en ce   ( v ia  web   s ea r ch   o r   KB ) ,   an d   f in ally   g en e r ates a   r ep o r t.   T h e   p r o p o s ed   m eth o d   d i f f er s   f r o m   th ese  p r io r   ap p r o ac h es  in   s ev er al  way s .   First,  s o cial  n e ws  ar ticles   ar e  p r e - clu s ter ed   b y   ev en t  b ef o r e  r etr iev al.   T h is   d r a m atica lly   n ar r o ws  th e  s ea r ch   s p ac e:  i n s tead   o f   r etr iev in g   f r o m   an   e n tire   n ews  co r p u s ,   we  v er if y   ea ch   p o s t  ag ain s t  a  s m all  s et  o f   ev en t - r elate d   ar ticles,  s im ilar   in   s p ir it  to   th e  clu s ter in g   u s ed   in   FA STT R A C K  [ 2 4 ] .   T h is   r ed u ce s   n o is e  an d   co m p u tatio n al  c o s t  wh ile  p r eser v in g   r elev an t  ev i d en ce .   Seco n d ,   a  p lain tex t  L L M  p ip elin e   ( GPT - 4 )   is   u s ed   with o u t   an y   f in e - tu n in g   o r   en d - to - en d   tr ain in g ,   r ely i n g   o n   its   ze r o /f ew - s h o t  ca p ab ilit ies  to   ex tr ac t  claim s   an d   ch ec k   th e m .   I n   c o n tr ast,  m an y   p r io r   s y s tem s   eith er   f in e - tu n e  m o d e ls   ( e. g . ,   R az a  et  a l.   [ 4 ]   f in e - tu n e  B E R T )   o r   tr ain   class if icati o n   h ea d s .   T h ir d ,   t h e   ap p r o ac h   tar g ets  s o cial  m e d ia  n ews  p o s ts   in   Vietn am ese,   a  d o m ain   wh e r e  f ew  f ac t - ch ec k i n g   s tu d ies  ex is t.  B y   o p er atin g   in   Vietn am ese  an d   alig n in g   s o cial  p o s ts   wit h   m ain s tr ea m   n ews  clu s ter s ,   a  lo w - r eso u r ce   m u ltil in g u al  s ettin g   ( co m p ar a b le  to   th e  d o m ain   ad ap tatio n   in   ViFact C h ec k   [ 2 5 ] )  is   ad d r ess ed   r ath er   th an   m o s tly   E n g lis h   p o liti ca l  n ews.  Fin ally ,   u n lik e  m o n o lith ic  cla s s if ier s ,   th e   p ip elin e  o u tp u ts   a  “su s p icio u s ”  lab el  o n ly   if   th er e  is   co n f lictin g   ev i d en ce   b etwe en   th e  p o s t  an d   it s   clu s ter ;  th i s   cr o s s - v alid atio n   s tep   lev er ag es  b o th   th e  L L M’ s   k n o wled g e  a n d   c o n cr ete  r etr iev e d   f ac ts ,   an   asp ec t  s im ilar   to   R AG  b u t  f r am ed   th r o u g h   e v en t   clu s ter s .   Ov er all,   b y   co m b in in g   L L M   r ea s o n in g   with   cl u s ter - co n s tr ain ed   r etr iev al,   th e   m eth o d   ac h ie v es  h ig h er   ac c u r ac y   t h an   b aselin es   wh ile  r em ain in g   e f f icien t.     2 . 4 .     New s   clus t er ing   a nd   re t riev a l   An o th er   k ey   i d ea   is   clu s ter in g   r elate d   n ews  b ef o r e  v e r if icatio n .   I n s tead   o f   r etr iev in g   to p - K  d o cu m e n ts   f o r   a   claim ,   o n e   ca n   clu s ter   t h e  e n tire   n ews  co r p u s   i n to   e v en ts .   Pan c h en d r ar ajan   et  a l.   [ 2 6 ]   in tr o d u ce d   Mu ltiC laim Net,   clu s ter in g   s im ilar   claim s   ac r o s s   lan g u ag es  to   r e d u ce   r ed u n d an cy   an d   im p r o v e   r etr iev al  ef f icien cy   [ 2 6 ] .   FASTT R AC K  [ 2 4 ]   tak es  a   two - s ta g e  ap p r o ac h :  it  b u ild s   a n   o f f li n e  clu s ter in g   in d ex   o f   th e  co r p u s ,   th en   f o r   ea ch   q u er y   r etr ie v es  o n ly   r elev an t  cl u s ter s   an d   u s es  an   L L M  f o r   f i n e - g r ain e d   ev id e n ce   s co r in g .   T h is   d r am atica lly   s h r i n k s   th e  s ea r ch   s p ac e;  FASTT R AC K  r ep o r ted   >3 3 ×  s p ee d - u p s   an d   m u ch   h i g h er   ac cu r ac y   t h an   n aïv e   r etr iev a l.  R ec en t  clu s ter in g - b ased   R AG  f r am ewo r k s   s u ch   as  C R AVE   [ 2 7 ]   f u r th e r   d em o n s tr ate  th at   o r g an izin g   d o cu m en ts   in to   co h e r en t  ev en t  o r   n a r r ativ e  cl u s ter s   im p r o v es  e v id en c e   co n s is ten cy   an d   c o n tex tu al  g r o u n d in g   co m p ar ed   to   f lat  to p - K  r etr iev al.   I n   th e   p ip elin e ,   s o cial  p o s ts   an d   tr u s two r th y   n ews  ar e  s im ilar ly   g r o u p ed   b y   ev e n t,  s o   th at  e ac h   claim   is   ch ec k ed   ag ain s t  th e   m o s t  r elev an t  clu s ter   o f   s o u r ce s   ( r at h er   th a n   m illi o n s   o f   d o cu m en ts ) .   As  o th er   wo r k s   n o te,   clu s ter in g   b y   ev en t  “i m p r o v es  claim   r etr iev al  a n d   v alid atio n ”  b y   r ed u cin g   r ed u n d an c y   [ 2 6 ] .   T h is   ap p r o ac h   also   ad d r ess es  p r ac tical  is s u e s :  s elec tin g   a  f ix ed   to p - N  r esu lts   ca n   m is s   co n tex t  o r   in clu d e  n o is e,   wh er ea s   clu s ter in g   ad ap ts   to   t h e  d ata  d is tr ib u tio n .       3.   M E T H O D   T o   en s u r e  t h e  n ews  v er i f icatio n   p r o ce s s   is   b o th   s y s tem atic  an d   tr an s p a r en t,  th e   s y s tem   d e v elo p ed   is   s tr u ctu r ed   in to   f o u r   m ain ,   in ter co n n ec ted   s tag es.  T h ese  s tag es   ar e   in clu d e:   i )   n ews  co llectio n   an d   ev en t   clu s ter in g ,   ii )   claim   ex tr ac tio n ,   iii )   claim   v er if icatio n ,   an d   iv )   f in al  n ews v er if icatio n .     3 . 1 .     New s   co llect io n a nd   clus t er ing   A  d ataset  o f   Vietn am ese  n ews  ar ticles  f r o m   late  2 0 2 4   was   g ath er e d ,   in clu d in g   s o cial - m ed ia  p o s ts   ( e. g . ,   v ir al  Face b o o k ,   Yo u T u b e  n ews)   an d   m ain s tr ea m   o u tle ts   ( e. g . ,   V n E x p r ess ,   Vietn am n et) .   I n   to tal,   1 , 7 6 5   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S o cia l n ews   fa ctu a lity v erif ica tio n   u s in g   la r g e  l a n g u a g e  mo d els ( Tr a n   Du c  Du o n g )   3147   ar ticles  wer e  co llected ,   co v er i n g   d o m ai n s   lik e  p o liti cs,  d is aster s ,   s p o r ts ,   an d   en ter tain m e n t.  So cial  p o s ts   ar e   tr ea ted   as  “item s   to   v er if y ” ,   wh ile  th e  tr u s ted   n ews  s er v es   as  ev id en ce .   T h e  tex t  is   p r e p r o ce s s ed   ( clea n in g   HT ML   an d   n o r m alizin g   f o n t s )   an d   th en   clu s ter   ar ticles  b y   ev e n t.  Fo r   clu s ter in g ,   d e n s ity - b ased   s p atial   clu s ter in g   o f   a p p licatio n s   w ith   n o is e  ( DB SC AN )   [ 2 8 ]   is   u s ed   o n   d o cu m e n t  em b e d d in g s   ( with   tex t   em b ed d in g s   ex tr ac ted   u s in g   Ph o B E R T   [ 2 9 ] ) ,   wh ich   g r o u p s   to g eth er   ar ticles  m en tio n in g   th e  s am e  e v en t   o r   to p ic.   T em p o r al   m etad ata   ( p u b licatio n   d ate)   is   also   in co r p o r ated   to   p r ev e n t  u n r elate d   s to r ies  with   s im ilar   co n ten t  f r o m   b ein g   co n f late d .   Af ter   tu n i n g ,   DB SC A N  ef f ec tiv ely   is o lates  clu s ter s   o f   a r b itra r y   s h a p e  an d   d en s ity ,   ca p tu r in g   ev en ts   r an g in g   f r o m   n atu r al  d is aster s   to   p r ess   co n f er en ce s .   E ac h   clu s t er   th u s   co n tain s   all  s o cial  an d   m ain s tr ea m   ar ticles r elate d   to   o n e  ev en t.   B y   clu s ter in g   f ir s t,  ev id en ce   r etr iev al  is   r estricte d   to   th e  clu s ter   o f   in ter est.  I n   co n t r ast  to   “to p - N”  s ea r ch   ( wh er e  ch o o s in g   N  is   ar b itra r y   an d   m ay   o m it  r elev an t  co n tex t) ,   clu s ter in g   a d a p tiv ely   co llects  all   p er tin en t  r ef e r en ce s .   As  p r io r   s tu d ies  s h o w,   clu s ter in g   ev e n ts   ca n   s ig n if ican tly   r e d u ce   t h e  s ea r ch   s p ac e  an d   im p r o v e   ev id e n ce   r elev an ce   [ 2 4 ] .   Fo r   ex am p le,   d u r in g   v e r if icatio n ,   we  o n ly   lo o k   at   th e   r e liab le  n ews  ar ticles  in   th e  s am e   clu s ter   as  a  s o ci al  p o s t,  r ath e r   th a n   q u er y i n g   a  web   s ea r ch   e n g in e.   T h is   en s u r es  all  ch ec k e d   s o u r ce s   ar e  o n - to p ic  an d   o f   k n o wn   cr e d ib ilit y ,   wh ich   also   m itig ates  th e  is s u e  o f   co n f lictin g   o r   s p u r io u s   r etr iev al  r esu lts .     3 . 2 .     Cla i m   ex t r a ct io n   G i v e n   a   s o c ia l - m e d i a   ar t i c l e ,   a t o m i c   c l a im s   a r e   i d e n t if i e d   w i t h i n   i t .   An   a t o m ic   c l a i m   i s   d e f in e d   a s   a   c o n c i s e   s t a t em e n t   th a t   co n v e y s   o n e   v er i f i ab l e   p i ec e   o f   i n f o r m a t io n   [ 1 4 ] .   F o r   in s t a n c e,   “T h e   p r e s i d en t   w i l l   v i s i t   J a p a n   i n   S ep t e m b e r ”   i s   a t o m i c,   wh e r e a s   a   s en t e n c e  l is t i n g   m u l t ip l e  f a c t s   i s   n o t .   B r e a k i n g   c o n t en t   in t o   a t o m i c   c la i m s   s i m p l if i e s   v er i f i c a t io n   an d   av o id s   p ar t i a l  t r u t h s .   G P T - 4  i s   u s ed   t o   e x t r a c t   c l a i m s   by  p r o m p t in g   t h e   m o d e l   w i t h   t h e   a r t ic l e  t e x t,   a s k i n g   i t  to   l i s t  t h e  k e y   f a c t u a l  s t a t em e n t s .   I n   ac c o r d an c e  w i t h   r e c e n t   wo r k ,   a   c a r ef u l ly   d e s i g n ed   p r o m p t   ( e . g . ,   f e w - s h o t  e x a m p l e s )   i s   ap p l i ed   t o   e n s u r e   h i g h - p r e c i s io n   e x t r a c t io n .   W o r k s   s u c h   a s   C l a i m i f y   [ 1 6 ]   an d   f a c t - in - f r a g m e n t s   [ 3 0 ]   d em o n s t r a t e  t h a t   d e co m p o s i n g     l o n g - f o r m   co n te n t  i n to   a t o m i c ,   v er i f i ab l e  u n i t s   s i g n if i c a n t ly   im p r o v e s   d o wn s t r ea m   f a c t - c h e ck i n g   r e l i a b i l i ty .   C l a i m i f y   [ 1 6 ]   an d   r e l a t ed   m e t h o d s   h a v e  s h o w n   th a t  t h e  q u a l i ty   o f   ex t r ac t e d   c l a i m s   s t r o n g ly   a f f e c t s   d o wn s t r e am   f ac t - ch e ck i n g .   C l a i m s   th a t   ar e   u n v e r if ia b l e   ( e . g . ,   o p in i o n s   o r   u n g r o u n d e d   s p e c u la t i o n )   a r e   f u r th er   f i l te r ed   o u t ,   a n d   o n l y   c h e ck - wo r th y   f a c tu a l   c l a im s   a r e  p a s s e d   t o   t h e  n ex t   s t ag e .   T h i s   ex t r ac t i o n   s t e p   a l i g n s   w i t h   p r a c t i c e s   in   L L M - b a s e d   ev a lu a t i o n :   th e   F act S c o r e   f r a m e wo r k   a l s o   b r ea k s   t e x t  i n to   a t o m i c  f a c t s   t o   a s s e s s   f a c tu a l i ty   [ 1 4 ] .   B y   f o cu s i n g   th e   L L M ’ s   ef f o r t   o n   e a ch   c l a i m   in d e p en d e n t l y ,   w e   i m p r o v e  c o n s i s t e n c y   an d   t r ac e ab i l i t y   o f   t h e   v e r if i c a t io n .   I n   ex p er im e n t s ,   s y s t e m s   u s i n g   ex t r ac te d   c l a i m s   a r e   s h o wn   t o   o u tp e r f o r m   a t t e m p t s   to   v e r if y   e n t ir e  a r t i c l e s   a t  o n ce .   F i g u r e   1   i l lu s t r a t e s   t h e  p r o m p t  d e s i g n   f o r     c l a i m   ex t r a ct i o n .           Fig u r e  1 .   Pro m p t d esig n   f o r   th e  claim   ex tr ac tio n   task       3 . 3 .     Cla i m   v er if ic a t io n   E ac h   ex t r ac ted   at o m ic  claim   is   th en   v er if ied   ag ain s t  e v id e n ce .   An   L L M   ( GPT - 4 )   is   p r o m p ted   to   ev alu ate  th e  tr u th   o f   a  claim   g iv en   r elev an t  c o n tex t.  Fo r   c o n tex t,  th e  tr u s ted   n ews  ar ticles  in   th e  s am e  clu s ter   ar e  u s ed .   Sp ec if ically ,   th e   m o d el  is   p r o v id ed   with   t h e  claim   tex t  an d   th e  co n ca ten ated   co n ten ts     ( o r   s u m m ar ies)  o f   all  clu s ter   n ews,  an d   ask   it  to   r esp o n d   “ t r u e”   o r   “ f alse”   with   a  b r ief   ju s tific atio n .   A   m u lti - s tep   r ea s o n in g   s tr ateg y   in s p ir ed   b y   h ier ar c h ical  p r o m p tin g   is   ad o p ted :  if   a   claim   is   co m p lex ,   th e  L L M  ca n   d ec o m p o s e  it a n d   ch ec k   s u b - c o m p o n en ts   ( s im ilar   to   HiSS   [ 1 2 ] ).   I n   p r ac tice,   p r o v id in g   GPT - 4   with   a  f ew - s h o t  e x em p lar s   ( claim   +  ev id en ce   +  v er d ict)   i s   f o u n d   to   im p r o v e  ac c u r ac y .   T h e  L L M  th u s   ac ts   as  a  s m ar t  co m p ar at o r :  lev er ag in g   b o th   its   in ter n a l  wo r ld   k n o wled g e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 1 4 4 - 3 1 5 3   3148   an d   th e  p r o v id ed   clu s ter   co n tex t.  T h is   d if f er s   f r o m   p u r e  r etr iev al - b ased   ch ec k s   ( wh ic h   m ig h t  lack   d ee p   in f er en ce )   a n d   f r o m   n aiv e  c lass if icatio n   ( wh ich   lack s   d y n am ic  ev id en ce ) .   I t  is   also   r elate d   to   ag en tic   ap p r o ac h es:  FactAg en t  [ 1 3 ]   d em o n s tr ated   th at   b r ea k in g   v er if icatio n   in to   s u b task s   ( s ea r ch ,   ju d g m en t)   y ield s   b etter   p er f o r m a n ce .   No   m o d el   is   tr ain ed   e n d - to - en d ;   in s tead ,   GPT - 4 ’ s   ze r o - s h o t/fe w - s h o t   ca p ab ilit y   is   r elied   upon .   Fig u r e  2   illu s tr ates th e  p r o m p t d esig n   f o r   claim   v er if ic atio n .   T o   ass ess   v er if icatio n   r eliab ilit y ,   th e   L L M  is   r e q u ir e d   to   p r o v id e   v e r b atim   e v id en ce   ci tatio n s   f o r   ea ch   v er d ict.   A   v er d ict   is   co n s id er ed   ev id e n ce - g r o u n d ed   o n ly   if   all   q u o ted   s en ten ce s   ap p ea r   v er b atim   in   th e   r ef er en ce d   a r ticles  an d   lo g ical ly   s u p p o r t  th e  c o n clu s io n .   T h e  h allu cin atio n   r ate  is   m ea s u r ed   as  th e  f r ac tio n   o f   v er d icts   th at  eith e r :  i)   lack   v alid   citatio n s   o r   ii)  cite   s en ten ce s   th at  d o   n o t   s u p p o r t  t h e  v e r d i ct.   Ad d itio n ally ,   a   d is tin g u is h   is   m ad e   b etwe en   v er d icts   g r o u n d e d   in   clu s ter   ev id en ce   an d   th o s e  in f er r e d   p r im ar ily   f r o m   t h e   m o d el’ s   in ter n al  k n o wled g e.   T h is   d esig n   alig n s   with   r ec en t   ef f o r ts   to   e n f o r ce   citatio n - g r o u n d ed   r ea s o n in g   to   r ed u ce   h allu cin atio n   in   L L M  o u tp u ts   [ 3 1 ] .   R esu lts   s h o w  th at  en f o r cin g   citatio n   s u b s tan tially   r ed u ce s   u n s u p p o r ted   ju d g m en ts ,   th o u g h   a   s m all  f r a ctio n   o f   h allu cin ated   d ec is io n s   p er s is ts ,   co n s is ten t  with   p r io r   f in d in g s   o n   L L M  f ac t u ality   lim its .     3 . 4 .     New s   v er if ica t io n   Fin ally ,   claim - lev el  ju d g m en t s   ar e  ag g r eg ated   to   lab el   ea c h   s o cial  n ews  item .   A   s tr ict  a p p r o ac h   is   tak en :  a  s o cial  n ews  ar ticle  is   m ar k e d   v e r if ied   o n ly   if   all   its   ch ec k - wo r t h y   claim s   a r e  tr u e;  if   a n y   claim   is   f alse,  th e  ar ticle  is   m ar k ed   as   u n v er if ied .   T h is   co n ju n ctiv e  r u le  m ak es  s en s e  b ec au s e  o n e  f alse  ass er t io n   is   en o u g h   to   d ee m   th e  n ews  u n r eliab le.   T h e  m o d el’ s   ju s tific atio n s   also   p r o v id e  tr a n s p ar en c y   f o r   ea ch   claim .   I n   th e   d ataset  an n o tatio n ,   h u m a n   an n o tato r s   lik ewise  lab eled   ea ch   claim   an d   th en   d er iv e d   th e  ar ticle  lab el  b y   th e  s am e  r u le.           Fig u r e  2 .   Pro m p t d esig n   f o r   claim   v er if icatio n   task       4.   RE SU L T S AN D  D I SCU SS I O N   4 . 1 .     Da t a s et   A  cu s to m   d ataset  is   co n s tr u cted   f o r   ev alu atio n .   I t  co n tain s   1 , 7 6 5   Vietn am ese   n ew s   ar ticles:     7 2 3   s o cial - m e d ia  item s   to   v e r if y ,   a n d   1 , 0 4 2   “tr u s ted ”  m ai n s tr ea m   n ews  s er v in g   as  ev id en ce .   Ar ticles  s p an   No v em b er – Dec em b er   2 0 2 4   a n d   co v er   e v en ts   in   p o liti cs,  d i s aster s ,   s p o r ts ,   an d   en ter tain m en t.  Fo r   ea c h   s o cial   ar ticle,   ato m ic  claim s   ar e  m a n u ally   an n o tated   ( 3 , 3 7 3   claim s   in   to tal)   a n d   v er if ied   th eir   tr u th   b y   c o n s u ltin g   clu s ter   n ews.  I n   an n o tatio n ,   a  claim   was   m ar k ed   tr u e  if   s u p p o r ted   b y   ev id en ce ,   o r   f a ls e  o th er wis e.   I t  i s   en s u r ed   th at  ea ch   claim   h ad ,   o n   av er ag e ,   3   s u p p o r tin g   ar ticles  ( ≥ 3 0 0   wo r d s   ea ch )   in   th e  clu s ter .   T h e  r ich er   ev id en ce   s et  c o n tr asts   with   s o m e  p u b lic  d atasets   wh er e  o n ly   o n e  o r   two   s o u r ce s   a r e  g iv en   p e r   claim .   T h e   an n o tatio n s   y ield e d   2 , 6 3 4   tr u e  claim s   an d   7 3 0   f alse  o n es;  co r r esp o n d i n g ly ,   3 5 2   s o c ial  ar ticles  b ec am e  v er if ied   ( all  claim s   tr u e) ,   an d   3 7 1   b e ca m e  u n v er if ied   ( ≥ 1   f al s e  claim ) .   I t  is   em p h asized   th at   ex is tin g   Vietn am ese  o r   m u ltil in g u al   f a ct - ch ec k   d atasets   lack   th is   c o m b in atio n   o f   s o cial  n ews  with   m u ltip le  h ig h - q u ality   r ef er en ce s .   Hen c e,   th e  d ataset  is   cr ea ted   s p ec if ically   f o r   th is   s tu d y .   T ab le  1   s u m m ar izes  its   k ey   s t atis tics .   Fo r   r ep r o d u cib ilit y ,   t h e  ar ticles  ar e  en s u r ed   to   co m e   f r o m   late  2 0 2 4   s o   th ey   wer e  n o t in   th e  L L M ’ s   tr ain in g   d ata .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S o cia l n ews   fa ctu a lity v erif ica tio n   u s in g   la r g e  l a n g u a g e  mo d els ( Tr a n   Du c  Du o n g )   3149   I n   ad d itio n ,   two   o th er   d ata s ets,  Vi W ik iF C   an d   ViFact C h ec k ,   ar e  also   ch o s en   as  ev alu atio n   b en ch m ar k s   f o r   t h e  m et h o d .   T h e  r ea s o n s   f o r   ch o o s in g   th ese  d atasets   ar e  Vietn am ese  f ac t - c h ec k in g   d atasets   in   co n tex ts   s im ilar   to   th e   ta s k   a n d   well - estab lis h ed   in   th e  lite r atu r e.   ViW ik iFC   is   an   o p en - d o m ain   Vietn am ese  W ik ip ed ia  f ac t - ch ec k in g   c o r p u s   ( o v er   2 0 , 0 0 0   claim s )   [ 3 2 ] ,   wh ile  ViFact C h ec k   is   a  Vietn am ese  m u lti - d o m ain   n ews  f ac t - ch ec k in g   d ataset  wi th   7 , 2 3 2   claim s   [ 2 5 ] .   B o th   a r e   m an u ally   cu r ate d   an d   in   Viet n am ese,   m atch in g   th e  lan g u ag e  a n d   s ty le  o f   th e   d ata.   B y   co n tr ast,  p o p u la r   E n g lis h   b en ch m a r k s   ( e. g . ,   FEVE R   o n   E n g lis h   W ik ip ed ia)   o p e r ate  o n   d if f er en t  lan g u ag es  an d   d o m ain s   [ 5 ]   a n d   w o u ld   n o t   r ef lect  V ietn am ese - s p ec if ic  lin g u is tic  p h en o m e n a.       T ab le  1 .   Data s et  s tatis tic s   Ty p e   Q u a n t i t y   S o c i a l   n e w s   7 2 3   N u mb e r   o f   e x t r a c t e d   c l a i ms   3 , 3 7 3   N u mb e r   o f   c l a i ms  v e r i f i e d   a s   “ t r u e ”   2 , 6 4 3   N u mb e r   o f   c l a i ms  v e r i f i e d   a s   “ f a l se ”   7 3 0   N u mb e r   o f   n e w s c l a ss i f i e d   a s  t r u e   ( a l l   c l a i ms   a r e   t r u e )   3 5 2   N u mb e r   o f   n e w s c l a ss i f i e d   a s f a l se   ( a t   l e a st   o n e   c l a i m   i s   f a l s e )   3 7 1   N e w s fr o m  t r u s t e d   s o u r c e s   1 , 0 4 2   To t a l   n e w s   1 , 7 6 5       4 . 2 .     E x perim ent a l  s et up   E x p er im en ts   ar e  s tr u ct u r ed   a r o u n d   k ey   r esear ch   q u esti o n s :   i)   R Q1 :  a r e  L L Ms  ef f ec tiv e   at  s o cial  n ews  v er if icatio n ?  th e   L L M  p ip elin e  is   c o m p ar e d   a g ain s t  a  s tr o n g   b aselin e:  a  B E R T - b ased   m o d el  ( a   r eim p lem en tatio n   o f   a  Vietn am ese  f ak e - n ews  d etec to r   [ 1 0 ] )   tr ain ed   t o   class if y   ar ticles  d ir ec tly .   T h is   s im u lates  “tr ad itio n al”  n atu r al  lan g u ag e  p r o ce s s in g   ( NL P )   v er if icatio n .   Pre cisi o n ,   r ec all,   an d   F1 - s co r e   ar e  r ep o r ted   f o r   claim - lev el  a n d   ar ticle - lev el  lab els .   ii)   R Q2 :  d o es  claim   e x tr ac tio n   h elp ?  th e   s am e  L L M   v er if icati o n   v er if icatio n   is   test ed   wh e n   ap p lied   to   f u ll   ar ticles  ( with o u t  claim   ex tr ac t io n )   v e r s u s   ato m ic  claim s .   Pr io r   wo r k   s u g g ests   v er if y in g   c o n cise  claim s   y ield s   m o r e  r eliab le  r esu lts   [ 1 6 ] .   iii)   R Q3 :  c lu s ter in g   v s .   to p - N  r etr iev al:  th e  clu s ter in g - b ased   ap p r o ac h   is   co m p ar ed   to   a  s im p ler   s ch em e :  f o r   ea ch   s o cial  ar ticle,   u s e  an   o n lin e  s ea r ch   ap p licatio n   p r o g r a m m in g   in ter f ac e  ( API )   to   r etr iev e  th e  to p - 3  p o ten tially   r elate d   n ews  ( ig n o r in g   clu s ter in g ) ,   th e n   v e r if y   claim s   ag ain s t  th o s e.   T h is   ev alu ates  th e   b en ef it o f   o f f lin e   clu s ter in g   o f   all  co llected   n ews.   I n   all  L L M   ex p e r im en ts ,   th e   GPT - 4   m o d el  is   u s ed .   C laim s   an d   cl u s ter   n ews  ar e   f ed   v ia  a   L an g C h ai n   in ter f ac e.   Fo r   th e  claim - ex tr ac tio n   p ip elin e,   a  f ew - s h o t  p r o m p t  with   GPT - 4   is   u s ed   f o r   ato m ic  claim s   ( s im ilar   to   th e  C laim if y   m eth o d   [ 1 6 ] ).     4 . 3 .     Resul t s   T o   ass ess   th e  q u ality   o f   L L M - b ased   claim   ex tr ac tio n ,   ex tr a cted   claim s   ar e   m an u all y   ev al u ated   o n   a   r an d o m   s u b s et  o f   2 0 0   s o cial  n ews  p o s ts ,   s tr atif ied   ac r o s s   t o p ics.  E ac h   p o s t  was  an n o tated   in d ep en d en tly   b y   two   h u m a n   a n n o tato r s   with   e x p er ien ce   in   m is in f o r m atio n   a n aly s is .   Fo r   ea ch   p o s t,  an n o ta to r s   f ir s t  id en tifie d   th e  s et  o f   g o ld   at o m ic  f ac t u al  claim s   p r esen t   in   th e   tex t.   E x tr ac ted   claim s   wer e   th en   m a tch ed   ag ai n s t  g o ld   claim s   u s in g   s em an tic  e q u iv a len ce   cr iter ia.   Pre cisi o n ,   r ec a ll,  an d   F1 - s co r e  a r e  r ep o r te d   in   T a b le  2 .   T h ese   r esu lts   in d icate   th at  th e  L L M  ex tr ac ts   m o s t  v er if iab le  cl aim s   wh ile  m ain tain in g   h ig h   p r ec is io n ,   wh ich   is   cr u cial  s in ce   d o wn s tr ea m   v er i f icatio n   co s t g r o ws lin ea r ly   with   th e  n u m b er   o f   ex tr ac te d   clai m s .       T ab le  2 .   C laim   ex tr ac tio n   ev al u atio n   M e t r i c   S c o r e   ( %)   P r e c i s i o n   8 9 . 7   R e c a l l   8 7 . 5   F1 - sc o r e   8 8 . 6       All  ex tr ac tio n   e r r o r s   a r e  ca te g o r ized   in to   f o u r   m u tu ally   e x clu s iv e  ty p es .   Miss in g   f ac ts   a cc o u n t  f o r   4 2 %  o f   e r r o r s ,   w h er e  th e  m o d el  ca p tu r es  th e  m ai n   claim   b u t  o m its   s ec o n d ar y   v er if ia b le  d e tails   ( e. g . ,   d ates  o r   n u m er ical  v alu es),   p r im ar ily   af f ec tin g   r ec all.   Ov er - s p litt in g   o r   r ed u n d a n cy   r ep r esen ts   2 8 %,  wh er e  a   s in g le  f ac tu al  s tatem en t  is   f r a g m en ted   in to   o v e r lap p in g   claim s ,   co m p licatin g   alig n m en t  wit h   g o ld   a n n o tatio n s .   I n clu d in g   o p in i o n s   o r   s u b jecti v e  s tatem en ts   ac co u n ts   f o r   1 8 %  o f   er r o r s   an d   n eg ativ ely   im p ac ts   p r ec is io n .   T h e   r em ain in g   1 2 %  in v o l v e  co n te x tu al  in co m p leten ess   o r   en tity   am b ig u ity ,   w h er e  ex tr ac te d   cl aim s   lack   s u f f icien t  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 1 4 4 - 3 1 5 3   3150   s p ec if icity .   T h is   d is tr ib u tio n   ex p lain s   th e  s lig h tly   lo wer   r e ca ll  ( 8 7 . 5 %)  co m p ar ed   to   p r e cisi o n   ( 8 9 . 7 %)  a n d   alig n s   with   ty p ical  er r o r   p att er n s   r ep o r ted   i n   r ec en t  L L M - b ased   claim   ex tr ac tio n   s tu d ie s .   E v en t  clu s ter in g   q u ality   is   ev alu ated   u s in g   p u r ity   an d   n o r m alize d   m u tu al   in f o r m atio n   ( NM I )   o n   a   m an u ally   lab eled   s u b s et   ( 3 0 0   ar ticles)  an d   r e p o r t  t h e  r esu lts   in   T ab le  3 .   Hig h   p u r ity   co n f ir m s   th at  e v id en ce   clu s ter s   ar e  s em an tically   co h er en t,  w h ich   d ir ec tly   b en ef its   v er if icatio n   ac cu r ac y .   M ac r o - av er a g ed   p r ec is io n ,   r ec all,   an d   F1 - s co r e   f o r   claim   v e r if icatio n   an d   ar ticle  ( n ews)   v er if icatio n   ar e  r ep o r te d   in   T ab le  4 .   T o   p r ev en t  in f o r m atio n   leak ag e ,   an   ev en t - lev el  tr ain /tes t  s p lit   is   a p p lied .   All  ar ticles   ar e  f ir s t  g r o u p ed   in t o   ev en t  cl u s ter s ,   an d   en tire   clu s ter s   ar e  ass ig n ed   ex clu s iv ely   to   eith er   tr ain in g   o r   test   s ets.   T h is   en s u r es  th at  n o   e v en t  a p p ea r s   in   b o th   s p lits .   Fo r   L L M - b ased   ze r o - s h o t   ev alu atio n ,   n ea r - d u p licate   co n ten t   b etwe en   s o cial  p o s ts   an d   tr u s ted   ar ticles  i s   f u r th er   r em o v e d   u s in g   s tr in g   s im ilar ity   f ilte r in g ,   en s u r in g   th at   ev id en ce   is   n o t tr i v ially   co p ie d .   ‒   B aselin e  ( B E R T ) :  th e   B E R T   m o d el  ( Sem ViQA  ar ch itectu r e  ad ap ted   to   Vietn am ese  [ 1 0 ] )   ac h iev ed   an   F1 - s co r e   o f   o n ly   7 7 . 7 %  o n   claim - lev el  lab els  an d   7 4 . 6 %   o n   n ews - lev el  lab els.   T h is   r elativ ely   lo w   p er f o r m an ce   h i g h lig h ts   th e  c h allen g e  o f   ca p tu r in g   ev id e n ce   with o u t c o n tex t.   ‒   L L M  ( n o   ex t r ac tio n ) :  v e r if y i n g   f u ll  ar ticles  with   GPT - 4   ( u s in g   all  clu s ter   tex t)   g iv es  a n   F1 - s co r e   o f   6 9 . 8 %  o n   n ews - lev el  lab els  ( n o   claim s   ar e  ex tr ac ted ,   s o   t h er e  is   n o   r esu lt  o n   claim - le v el  lab els).   T h e  n o t   g o o d   r esu lt m ay   b e  s u f f er e d   f r o m   v er b o s ity   an d   co n f u s io n   in   lo n g   in p u ts .   ‒   L L M  ( with   ex tr ac tio n ,   to p - N   s ea r ch ) :  wh en   claim s   ar e  f ir s t  ex tr ac ted   an d   th e  to p   3   r e lev an t  clu s ter   ar ticles  as  ev id en ce   ( HiSS - s ty le  p r o m p t  [ 1 2 ] ) ,   F1 - s co r e   in cr ea s es  to   8 6 . 7 %  o n   claim - lev el  lab els  an d   8 9 . 6 % o n   n ews - lev el  lab els.  T h is   s h o ws  th at  lim itin g   co n tex t   to   h ig h - q u ality   s o u r ce s   h elp s .   ‒   L L M  ( with   ex tr ac tio n ,   clu s ter i n g ) :  th e   f u ll p ip elin e  ( claim s   +  L L M  +  clu s ter   ev id en ce )   ac h i ev ed   ~8 8 . 9 %  F1 - s co r e   o n   claim s   an d   9 2 . 1 %  F1 - s co r e   o n   n ews.  T h is   w as  th e  b est  r esu lt,  f ar   s u r p ass in g   th e  B E R T   b aselin e  an d   th e   n o n - clu s ter   v ar ian ts .   I n   p a r ticu lar ,   r ec all  of   f alse  claim s   was  h ig h ,   m ea n i n g   m o s t  f als e   s tatem en ts   wer e  ca u g h t.   T h ese  r esu lts   co n f ir m   r ec en t  f in d in g s   th at  well - p r o m p ted   L L Ms  ca n   m atch   o r   ex c ee d   s u p er v is ed   m o d els o n   f ac t - ch ec k in g   [ 1 2 ] .  T h e   u s ag e  o f   GPT - 4   with   co n t ex tu al  clu s ter   ev id en ce   y ield e d   s u b s tan tial g ain s .   I t  also   v alid ates  th at   clu s ter in g   is   s u p er io r   to   n aïv ely   r etr ie v in g   f ix ed   to p - N   s o u r ce s :  clu s ter in g   en s u r ed   th at   n o   r elev a n t  ev id e n ce   was  m i s s ed   an d   th at  o f f - to p ic   co n te n t  was  n o t  in clu d e d .   I n   ex p e r im en ts ,   clu s ter in g   im p r o v e d   p r ec is io n   b y   s ev er al   p o in ts   o v er   to p - N  r etr iev al  f o r   th e  s am e  n u m b e r   o f   s o u r ce s .   As  ex p ec ted ,   th e   co m p ar is o n   also   s h o ws  th e   ad v an tag e  o f   claim   ex tr ac tio n :  v er if y in g   co n cise  at o m ic  s tatem en ts   s ig n if ican tly   o u tp er f o r m ed   ev alu atin g   wh o l e  ar ticles,  co r r o b o r atin g   t h e  b e n ef it o f   f o cu s ed   claim   d ec o m p o s itio n   [ 1 6 ] .   T ab le  5   r ep o r ts   r esu lts   o n   th e  t est  s p lit  o f   ea ch   b en ch m ar k .   A  s tr o n g   b aselin e  m o d el  ( I n f o X L M - lar g e   o n   ViW ik iFC   [ 3 2 ] ;  Gem m a  o n   ViFactC h ec k   [ 2 5 ] )  is   co m p a r ed   to   th e  p r o p o s ed   m et h o d .   E ac h   s co r e  is   s h o wn   with   a  9 5 %  co n f id en ce   in ter v al,   an d   we  in clu d e  a  p - v alu e  f r o m   a  p air e d   test   to   ch ec k   s ig n if ican ce .   T h ese  r esu lts   s h o w  th at  th e   m eth o d   co n s is ten tly   s lig h tly   o u tp er f o r m s   th e  b aselin es  o n   b o th   d atasets   ( alb eit  b y   o n ly   1 – 2   p o in ts ) ,   wh ile  th e  c o n f id e n ce   in ter v als q u a n tify   th e  r eliab ilit y   o f   ea ch   s co r e.       T ab le  3 .   C lu s ter   p u r ity   an d   N MI   M e t r i c   S c o r e   ( %)   P u r i t y   9 1 . 4   N M I   8 6 . 7       T ab le  4 .   E x p er im en t  r esu lts   M e t h o d   C l a i m  v e r i f i c a t i o n   N e w s v e r i f i c a t i o n   P r e c i s i o n   R e c a l l   F1 - sc o r e   P r e c i s i o n   R e c a l l   F1 - sc o r e   B ER T - b a se d   b a se l i n e   ( S e mV i Q A   [ 1 0 ] )   7 5 . 3   8 0 . 2   7 7 . 7   6 3 . 3   9 0 . 7   7 4 . 6   LLM   ( n o   e x t r a c t i o n )   ( H i S S   [ 1 2 ] )         6 3 . 6   7 7 . 3   6 9 . 8   LLM - b a s e d   w i t h   t o p   N   t r u st e d   n e w s   9 3 . 6   8 0 . 8   8 6 . 7   9 5 . 3   8 4 . 5   8 9 . 6   LLM - b a s e d   w i t h   n e w s   c l u s t e r i n g   9 3 . 1   8 5 . 1   8 8 . 9   9 3 . 6   9 0 . 7   9 2 . 1       T ab le  5 .   Ma cr o - F1   ( in   %)  o n   Vietn am ese  f ac t - ch ec k in g   b en ch m ar k s   D a t a s e t   B a se l i n e   m o d e l   B a se l i n e   F 1   P r o p o se d   m e t h o d   V i W i k i F C   I n f o X LM - l a r g e   6 7 . 0   6 8 . 2   ±   0 . 5   V i F a c t C h e c k   G e mm a   ( L LM )   8 9 . 9   9 0 . 7   ±   0 . 4       T h e  r esu lts   in   T ab le  5   in d icate   th at  th e   m eth o d   ac h iev es  a  s lig h t   im p r o v e m en t  o v e r   th e  b a s elin es  o n   b o th   Vietn am ese  b en ch m a r k s .   On   ViW ik iF C ,   I n f o XL M - lar g e  s co r ed   ab o u t  6 7 . 0 %  f o r   p i p elin e  ( co m b i n atio n   o f   b o th   task s ) ,   an d   p r o p o s e d   m eth o d   s co r es  ~6 8 . 2 %  ( ± 0 . 5 ) .   On   ViFactC h ec k ,   Gem m a  s co r ed   8 9 . 9 0 %,    Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S o cia l n ews   fa ctu a lity v erif ica tio n   u s in g   la r g e  l a n g u a g e  mo d els ( Tr a n   Du c  Du o n g )   3151   wh ile  th e  p r o p o s ed   m eth o d   r e ac h es   ~9 0 . 7 %  ( ± 0 . 4 ) .   T h e  d if f er en ce s   ( ≈ 1 . 2   an d   0 . 8   p o i n ts )   ar e  s m all,   b u t   th e   s tatis t ical  test s   co n f ir m   th ey   ar e  u n lik ely   to   b e  d u e  to   r an d o m   ch an ce   ( p   <0 . 0 5 ) .   R ep o r tin g   co n f id en c e   in ter v als  h elp s   to   s ee   th at   th e  in ter v als  b ar ely   o v er lap ,   s u p p o r tin g   t h e  claim   o f   a  r ea l   g ain .   T h ese  s m all  g ain s   ar e  ex p ec ted ,   g i v en   th at  th e  b aselin es  ar e  alr ea d y   s tr o n g .   T h e  k ey   p o i n t  is   th at  p r o p o s ed   ap p r o ac h   p r o v id es  co n s is ten tly   h ig h er   p er f o r m a n ce   in   th e  s am e  Vietn am ese  co n tex t.  T h is   s u g g ests   p r o p o s ed   m eth o d   b etter   h an d les Vietn am ese - s p ec if ic  lin g u is tic  p atter n s   o r   d o m ain   k n o wled g e.     4 . 4 .     Dis cus s io n   W h ile  th e   p ip elin e  ac h iev ed   h ig h   ac cu r ac y ,   s ev er al  p r ac tica l  ch allen g es  r em ain .   First,  am b ig u ity   in   claim s   ca n   s tu m p   th e  L L M:  s o m e  s tatem en ts   r eq u ir ed   n u an c ed   wo r ld   k n o wled g e  o r   co n tex t  b ey o n d   wh at  was  p r o v id e d .   Fo r   ex am p le,   a  claim   ab o u t  a  p o licy   an n o u n ce m en t  with o u t  n a m ed   p ar ticip an ts   n ee d ed     cr o s s - ch ec k in g .   I n teg r atin g   ex ter n al  k n o wled g e  ( e. g . ,   W ik ip ed ia  o r   a  KG )   co u ld   h el p   d is am b ig u ate  s u ch   claim s .   I n d ee d ,   s u r v ey s   s h o w  th at  L L Ms  b e n ef it  f r o m   s tr u ctu r ed   k n o wled g e   s o u r ce s   to   im p r o v e   f ac tu al   g r o u n d in g   [ 3 3 ] .   Seco n d ,   c o n f l ictin g   s o u r ce s   with in   a  clu s ter   ca n   lead   to   in co n s is ten t  v er d icts .   I n   a  f ew  ca s es,   two   r ep u tab le  o u tlets   q u o ted   c o n tr ad icto r y   f ig u r es  f o r   an   e v e n t.  T o   m itig ate  th is ,   o n e  co u ld   weig h t  s o u r ce s   b y   r eliab ilit y   ( e. g . ,   f av o r in g   g o v er n m en t  o r   m ajo r   p r ess ) .   I n   t h e   ex p e r im en ts ,   th e  L L M   s o m etim es  ar b itra r ily   ch o s e  o n e   s o u r ce ,   s o   h u m a n - in - th e - l o o p   weig h tin g   o r   a n   en s em b le  o f   L L M   ju d g m en ts   co u ld   in c r ea s e   r o b u s tn ess .   T h ir d ,   s ca lab ilit y   an d   laten cy   ar e  c o n ce r n s .   R u n n in g   GPT - 4   o n   m a n y   claim s   is   co m p u tatio n ally   ex p en s iv e,   p o s in g   ch allen g es  f o r   r ea l - tim e  d ep lo y m en t.  R e ce n t  in d u s tr y   p r ac tice  s u g g est s   m o d el  d is till atio n   o r   q u a n tizatio n   tech n iq u es  to   s p ee d   u p   i n f er en ce .   Alter n ativ ely ,   a  h y b r id   ap p r o ac h   m ig h t  u s e  a  f aster ,   s m aller   L L M  f o r   ea s y   ca s es  an d   r ese r v e  GPT - 4   f o r   am b ig u o u s   cl aim s .   T h e  FASTT R A C K  f r am ewo r k   s h o ws  th at  o f f lin e  clu s ter in g   ca n   d r am ati ca lly   r ed u ce   q u er y   lo ad ,   an d   t h e   r esu lts   alig n   with   th eir   f in d in g   th at  cl u s ter in g   s ca les to   ten s   o f   th o u s an d s   o f   d o cu m e n ts   wh ile  r etain in g   h i g h   ac cu r ac y   [ 2 4 ] .   Fin ally ,   m u ltil in g u alis m   an d   k n o wled g e   in teg r atio n   ar e   p r o m is in g   f u t u r e  d i r ec tio n s .   T h e   cu r r e n t   wo r k   f o cu s es  o n   Vietn am ese  co n ten t,  b u t  th e   ar c h itectu r e  c an   n atu r ally   ex te n d :  m a n y   L L Ms  ar e  m u ltil in g u al,   an d   ev id en ce   clu s ter s   co u ld   i n clu d e  s o u r ce s   in   an y   lan g u a g e.   Fo r   in s tan ce ,   ch ec k in g   a  Vietn am ese  claim   ag ain s t  E n g lis h   W ik ip ed ia  v ia  GPT’ s   tr an s latio n   ab ilit y .   T h i s   cr o s s - lin g u al  in teg r atio n   co u ld   f u r th er   im p r o v e   co v er ag e.   Su r v e y s   n o te  t h at  co m b in in g   L L Ms  with   d o m ai n   o n to l o g ies  an d   k n o wled g e  b ases   ca n   en h an ce   r ea s o n in g   [ 3 3 ] ;  p lan   to   e x p l o r e  co n n ec tin g   th e   p ip elin e  t o   m ed ical,   f in an cial,   o r   g eo g r ap h ic  KG s   wh en   v er if y in g   s p ec ialized   n ews.   T h e   p r o p o s ed   f ac tu ality   v er if ica tio n   f r a m ewo r k   ca n   b e  i n teg r a ted   in to   n ewsr o o m s   an d   s o cial - m ed ia  m o d e r atio n   s y s tem s   th r o u g h   API s   th at  s u p p o r t  ev en t  clu s ter in g ,   claim   ex tr ac tio n ,   an d   ev id en ce   r etr iev al.   I n   p r ac tice,   th e  m o d el  f u n ctio n s   as a   h u m an - in - th e - l o o p   ass is tan t,  au to m atica lly   g en er atin g   v er if icatio n   s u m m a r ies  an d   c o n f id en ce   s co r es  th at  ed ito r s   o r   f ac t - c h ec k er s   ca n   r ev iew   b ef o r e  p u b licatio n .   T h is   h y b r i d   d esig n   i n cr ea s es  ef f icien cy   w h ile  m ain tain in g   ed ito r ial  c o n tr o l  a n d   ac c o u n tab ilit y   ( a  d em o   v er s io n   is   at  h ttp s ://8 am . v n ).   T o   en s u r e  eth ical  an d   tr u s two r th y   d e p lo y m e n t,  p o ten tial   lan g u ag e  an d   to p ic   b iases   ar e  m itig ated   th r o u g h   b alan ce d   d ataset  f in e - t u n in g   an d   p er io d ic  au d its   o f   m o d el  o u t p u ts .   All  r etr iev ed   ev id en ce   is   tr ac ea b le  to   p u b lic  s o u r ce s ,   an d   u s er   d ata  is   n ev e r   s to r ed .   B y   co m b in in g   s ca lab le  au to m atio n   with   tr an s p ar en cy   an d   h u m a n   o v e r s ig h t,  th e   s y s tem   s u p p o r ts   r esp o n s ib le  u s e  o f   L L M - b ased   f ac t - ch ec k in g   in     r ea l - wo r ld   n ews e n v ir o n m en ts .       5.   CO NCLU SI O N   A   r o b u s t   f r a m e w o r k   f o r   v er if y i n g   th e   f a c t u a l i ty   o f   s o c i a l - m e d ia   n e w s   b y   l e v er ag i n g   L L M s   a n d   e v e n t - b a s ed   c l u s t er i n g   h a s   b ee n   p r e s e n te d .  T h e   c o n t r i b u t io n s   i n c l u d e  d em o n s t r a t i n g   t h a t   G P T - 4 ,     w h e n   g u id e d   b y   h ig h - q u a l i ty   e v id e n c e   c lu s t e r s   a n d   a to m i c   c l a i m s ,   c a n   g r e a t l y   o u tp e r f o r m   t r ad i t i o n a l  B E R T - b a s e d   c la s s i f i e r s   o n   a   V i e t n a m e s e   n e w s   v e r i f ic a ti o n   t a s k .   N e w s   c l u s t er i n g   wa s   s h o w n   to   b e   a   p o w er f u l  s t r a t eg y   f o r   e v id e n c e   r e tr i e v a l ,   y i e ld i n g   m o r e  r e l e v an t   co n t ex t   th a n   s i m p le   t o p - N  s e a r ch .   T h e  h i g h   ac c u r a cy   ac h i ev e d   ( ≈ 9 0 – 9 2 %  F 1 - s c o r e )   u n d e r s c o r e s   t h e   p o te n t i a l  o f   A I - d r iv en   f ac t - c h ec k in g .   A t  t h e  s a m e   t i m e ,   k e y   l i m i t a t i o n s   a r e   i d e n t if i e d :   L L M   i n f e r en c e   c o s t s   c h a l l en g e   r e a l - t im e   u s e ,   a n d   a m b i g u o u s   o r   u n s u p p o r t ed   c l a i m s   c a n   s t i l l  s l i p   t h r o u g h .   Fu t u r e  r e s e ar ch   w i l l  ad d r e s s   t h e s e  b y   i n co r p o r a t in g   e f f i c i en t   m o d e l   s er v in g   ( d i s t i l l a t i o n ,   ca c h i n g )   an d   r i ch er   k n o w l e d g e   s o u r c e s   ( o n to l o g i e s ,   KG s )   f o r   d i s a m b i g u a t io n .   A l s o   p l an n e d   i s   ex p an s i o n   to   m u l t i l i n g u a l   v e r if i c a t io n :  tr a i n in g   w i t h   c r o s s - l i n g u a l  c lu s t e r s   to   a l lo w   a  V i e t n a m e s e  c l a im   t o   b e   c h ec k e d   ag a i n s t  E n g l i s h   an d   C h i n e s e  co n t en t .   A n o t h e r   a v en u e  i s   l e v er a g in g   L L M s ’   a b i l i ty   t o   c i te   s o u r ce s   e x p l i c i t ly   –   f o r   g r ea t e r   tr a n s p ar en c y ,   t h e   m o d e l   m i g h t   p r o v id e   f a c t u a l   j u s t i f i c a t io n s   w i t h   l i n k s   o r   r e f e r en c e s .   I n   s u m m a r y ,   t h i s   w o r k   d em o n s t r a t e s   th a t   L L M - b a s ed   p ip e l i n e s ,   a u g m e n t ed   w i th   e v en t   c lu s te r i n g ,   a r e  a   p r o m i s i n g   d i r ec t i o n   f o r   c o m b a t in g   m i s i n f o r m a t io n   o n   s o c i a l   p l a t f o r m s .   A s   L L M  t e ch n o l o g y   e v o l v e s   an d   b e c o m e s   m o r e   e f f i c i en t ,   s u ch   s y s t e m s   a r e  a n t i c i p a t e d   t o   p l a y   a n   i n c r e a s in g ly   p r a c t i c a l   r o le  i n   r ea l - t i m e   n e w s   v e r if i c a t io n ,   u lt i m a t e ly   co n t r ib u ti n g   t o   a   m o r e   t r u s t w o r th y   i n f o r m a t io n   e co s y s t e m .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 1 4 4 - 3 1 5 3   3152   F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al   u s es  th e  C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   T r an   Du c  Du o n g   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓       ✓   ✓     Hai  Ho an   Do   ✓       ✓   ✓   ✓   ✓   ✓     ✓             C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h e  d ata  th at  s u p p o r t  th e  f in d i n g s   o f   th is   s tu d y   ar e  av ailab le  f r o m   th e  co r r esp o n d in g   au th o r ,   [ T DD] ,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   W .   Y .   W a n g ,   “ ‘ Li a r ,   l i a r   p a n t s   o n   f i r e ’ :   a   n e w   b e n c h mar k   d a t a s e t   f o r   f a k e   n e w s  d e t e c t i o n , ”   i n   5 5 t h   A n n u a l   M e e t i n g   o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   V a n c o u v e r ,   C a n a d a ,   2 0 1 7 ,   p p .   4 2 2 – 4 2 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / P 1 7 - 2 0 6 7 .   [ 2 ]   V .   P .   R o sas,   B .   K l e i n b e r g ,   A .   Le f e v r e ,   a n d   R .   M i h a l c e a ,   “ A u t o ma t i c   d e t e c t i o n   o f   f a k e   n e w s , ”   i n   C O L I N G   2 0 1 8   -   2 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   L i n g u i st i c s,   S a n t a   F e ,   N e w   M e x i c o ,   2 0 1 8 ,   p p .   3 3 9 1 – 3 4 0 1 .   [ 3 ]   I .   A u g e n st e i n   e t   a l . ,   “ M u l t i F C :   a   r e a l - w o r l d   m u l t i - d o m a i n   d a t a s e t   f o r   e v i d e n c e - b a s e d   f a c t   c h e c k i n g   o f   c l a i ms, ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 1 9   C o n f e re n c e   o n   Em p i ri c a l   Me t h o d s   i n   N a t u ra l   L a n g u a g e   Pr o c e ssi n g   a n d   t h e   9 t h   I n t e r n a t i o n a l   J o i n t   C o n f e re n c e   o n   N a t u r a l   L a n g u a g e   Pro c e ss i n g   ( EM N L P - I J C N L P) ,   H o n g   K o n g ,   C h i n a ,   2 0 1 9 ,   p p .   4 6 8 4 – 4 6 9 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / D 1 9 - 1 4 7 5 .   [ 4 ]   S .   R a z a ,   D .   P .   P a t t e r so n ,   a n d   C .   D i n g ,   “ F a k e   n e w s  d e t e c t i o n :   c o m p a r a t i v e   e v a l u a t i o n   o f   B E R T - l i k e   m o d e l s  a n d   l a r g e   l a n g u a g e   mo d e l s  w i t h   g e n e r a t i v e   A I - a n n o t a t e d   d a t a , ”   K n o w l e d g e   a n d   I n f o rm a t i o n   S y s t e m s ,   v o l .   6 7 ,   n o .   4 ,   p p .   3 2 6 7 – 3 2 9 2 ,   2 0 2 5 ,     d o i :   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 024 - 0 2 3 2 1 - 1.   [ 5 ]   J.  T h o r n e ,   A .   V l a c h o s ,   C .   C h r i s t o d o u l o p o u l o s ,   a n d   A .   M i t t a l ,   “ F EV ER :   a   l a r g e - s c a l e   d a t a s e t   f o r   f a c t   e x t r a c t i o n   a n d   v e r i f i c a t i o n , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 1 8   C o n f e r e n c e   o f   t h e   N o r t h   Am e ri c a n   C h a p t e r  o f   t h e   Asso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s,   N e w   O r l e a n s ,   L o u i si a n a ,   2 0 1 8 ,   p p .   8 0 9 – 8 1 9 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 8 - 1 0 7 4 .   [ 6 ]   A .   S o l e i m a n i ,   C .   M o n z ,   a n d   M .   W o r r i n g ,   “ B E R T  f o r   e v i d e n c e   r e t r i e v a l   a n d   c l a i m  v e r i f i c a t i o n , ”   i n   A d v a n c e s   i n   I n f o rm a t i o n   Re t r i e v a l :   4 2 n d   E u ro p e a n   C o n f e ren c e   o n   I R  Re s e a r c h   ( EC I R   2 0 2 0 ) ,   Li s b o n ,   P o r t u g a l ,   2 0 2 0 ,   p p .   3 5 9 – 3 6 6 ,    d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 030 - 4 5 4 4 2 - 5 _ 4 5 .   [ 7 ]   C .   K r u e n g k r a i ,   J.   Y a ma g i sh i ,   a n d   X .   W a n g ,   “ A   mu l t i - l e v e l   a t t e n t i o n   m o d e l   f o r   e v i d e n c e - b a se d   f a c t   c h e c k i n g , ”   i n   F i n d i n g s   o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s:   AC L - I J C N L P  2 0 2 1 ,   2 0 2 1 ,   p p .   2 4 4 7 – 2 4 6 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . f i n d i n g s - a c l . 2 1 7 .   [ 8 ]   F .   Y a n g   e t   a l . ,   “ X F a k e :   e x p l a i n a b l e   f a k e   n e w s  d e t e c t o r   w i t h   v i s u a l i z a t i o n s,”   i n   T h e   W o rl d   Wi d e   We b   C o n f e r e n c e ,   N e w   Y o r k ,   U n i t e d   S t a t e s ,   M a y   2 0 1 9 ,   p p .   3 6 0 0 – 3 6 0 4 ,   d o i :   1 0 . 1 1 4 5 / 3 3 0 8 5 5 8 . 3 3 1 4 1 1 9 .   [ 9 ]   N .   K o t o n y a   a n d   F .   T o n i ,   “ E x p l a i n a b l e   a u t o m a t e d   f a c t - c h e c k i n g   f o r   p u b l i c   h e a l t h   c l a i ms , ”   i n   2 0 2 0   C o n f e r e n c e   o n   Em p i r i c a l   Me t h o d s   i n   N a t u ra l   L a n g u a g e   Pr o c e s si n g   ( E MN L P) ,   2 0 2 0 ,   p p .   7 7 4 0 – 7 7 5 4 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . e mn l p - mai n . 6 2 3 .   [ 1 0 ]   D .   X .   Tr a n   e t   a l . ,   “ S e mV i Q A :   a   sem a n t i c   q u e st i o n   a n sw e r i n g   s y st e m  f o r   V i e t n a mes e   i n f o r m a t i o n   f a c t - c h e c k i n g , ”   a rXi v : 2 5 0 3 . 0 0 9 5 5 ,   2 0 2 5 .   [ 1 1 ]   D .   Q u e l l e   a n d   A .   B o v e t ,   “ T h e   p e r i l s  a n d   p r o m i ses  o f   f a c t - c h e c k i n g   w i t h   l a r g e   l a n g u a g e   m o d e l s , ”   Fro n t i e rs  i n   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   7 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 3 3 8 9 / f r a i . 2 0 2 4 . 1 3 4 1 6 9 7 .   [ 1 2 ]   X .   Z h a n g   a n d   W .   G a o ,   “ T o w a r d s   LLM - b a s e d   f a c t   v e r i f i c a t i o n   o n   n e w s  c l a i ms  w i t h   a   h i e r a r c h i c a l   st e p - by - s t e p   p r o mp t i n g   met h o d , ”   i n   1 3 t h   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   N a t u ra l   L a n g u a g e   P ro c e ssi n g   a n d   t h e   3 r d   C o n f e re n c e   o f   t h e   Asi a - P a c i f i c   C h a p t e r   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   N u s a   D u a ,   B a l i ,   2 0 2 3 ,   p p .   9 9 6 – 1 0 1 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 3 . i j c n l p - mai n . 6 4 .   [ 1 3 ]   X .   L i ,   Y .   Zh a n g ,   a n d   E.   C .   M a l t h o u s e ,   “ La r g e   l a n g u a g e   m o d e l   a g e n t i c   a p p r o a c h   t o   f a c t   c h e c k i n g   a n d   f a k e   n e w s  d e t e c t i o n , ”   i n   2 7 t h   E u ro p e a n   C o n f e re n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   1 9 – 2 4   O c t o b e r   2 0 2 4 ,   I n c l u d i n g   1 3 t h   C o n f e r e n c e   o n   Pre s t i g i o u s   Ap p l i c a t i o n s  o f   I n t e l l i g e n t   S y s t e m s (P AI S   2 0 2 4 ) ,   S a n t i a g o   d e   C o m p o s t e l a ,   S p a i n ,   2 0 2 4 ,   d o i :   1 0 . 3 2 3 3 / F A I A 2 4 0 7 8 7 .   [ 1 4 ]   S .   M i n   e t   a l . ,   “ F A c t S c o r e :   f i n e - g r a i n e d   a t o m i c   e v a l u a t i o n   o f   f a c t u a l   p r e c i s i o n   i n   l o n g   f o r m  t e x t   g e n e r a t i o n , ”   i n   2 0 2 3   C o n f e re n c e   o n   Em p i ri c a l   Me t h o d s  i n   N a t u r a l   L a n g u a g e   Pro c e ss i n g ,   2 0 2 3 ,   p p .   1 2 0 7 6 – 1 2 1 0 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 3 . e mn l p - mai n . 7 4 1 .   [ 1 5 ]   W .   Y u   e t   a l . ,   “ R e s e a r c h   o n   f a k e   n e w s  d e t e c t i o n   b a s e d   o n   d u a l   e v i d e n c e   p e r c e p t i o n , ”   En g i n e e ri n g   A p p l i c a t i o n s   o f   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 3 3 ,   J u l .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . e n g a p p a i . 2 0 2 4 . 1 0 8 2 7 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S o cia l n ews   fa ctu a lity v erif ica tio n   u s in g   la r g e  l a n g u a g e  mo d els ( Tr a n   Du c  Du o n g )   3153   [ 1 6 ]   D .   M e t r o p o l i t a n s k y   a n d   J.  L a r so n ,   “ T o w a r d s   e f f e c t i v e   e x t r a c t i o n   a n d   e v a l u a t i o n   o f   f a c t u a l   c l a i ms, ”   i n   6 3 r d   An n u a l   Me e t i n g   o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 5 ,   p p .   6 9 9 6 – 7 0 4 5 .   [ 1 7 ]   M .   A .   K h a l i q ,   P .   Y . - C .   C h a n g ,   M .   M a ,   B .   P f l u g f e l d e r ,   a n d   F .   M i l e t i ć ,   “ R A G A R ,   y o u r   f a l s e h o o d   r a d a r :   R A G - a u g men t e d   r e a so n i n g   f o r   p o l i t i c a l   f a c t - c h e c k i n g   u si n g   m u l t i m o d a l   l a r g e   l a n g u a g e   m o d e l s,”   i n   S e v e n t h   Fa c t   Ex t r a c t i o n   a n d   VER i f i c a t i o n   W o r k sh o p   ( FEVE R) ,   M i a m i ,   F l o r i d a ,   2 0 2 4 ,   p p .   2 8 0 – 2 9 6 .   [ 1 8 ]   Y .   W a n g   e t   a l . ,   “ F a c t c h e c k - b e n c h :   f i n e - g r a i n e d   e v a l u a t i o n   b e n c h mar k   f o r   a u t o ma t i c   f a c t - c h e c k e r s,”   i n   F i n d i n g s  o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s:   EM N L P  2 0 2 4 ,   M i a mi ,   F l o r i d a ,   2 0 2 4 ,   p p .   1 4 1 9 9 – 1 4 2 3 0 .   [ 1 9 ]   Y .   C h e n   e t   a l . ,   “ G r a p h C h e c k :   b r e a k i n g   l o n g - t e r m  t e x t   b a r r i e r s  w i t h   e x t r a c t e d   k n o w l e d g e   g r a p h - p o w e r e d   f a c t - c h e c k i n g , ”   i n   6 3 r d   An n u a l   M e e t i n g   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 5 ,   p p .   1 4 9 7 6 – 1 4 9 9 5 ,  d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . a c l - l o n g . 7 2 9 .   [ 2 0 ]   U .   Q u d u s,   M .   R ö d e r ,   M .   S a l e e m ,   a n d   A . - C .   N .   N g o m o ,   “ H y b r i d F C :   a   h y b r i d   f a c t - c h e c k i n g   a p p r o a c h   f o r   k n o w l e d g e   g r a p h s , ”   i n   T h e   S e m a n t i c   We b   ( I S WC   2 0 2 2 ) ,  C h a m ,   S w i t z e r l a n d :   S p r i n g e r ,   2 0 2 2 ,   p p .   4 6 2 – 4 8 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 1 9 4 3 3 - 7 _ 2 7 .   [ 2 1 ]   B .   Y a n g ,   D .   X u ,   K .   N i u ,   W .   Li u ,   Z .   W a n g ,   a n d   M .   K a n k a n h a l l i ,   “ A   n e w   d a t a s e t   a n d   b e n c h m a r k   f o r   g r o u n d i n g   m u l t i m o d a l   mi si n f o r m a t i o n , ”   i n   3 3 rd   A C M  I n t e rn a t i o n a l   C o n f e re n c e   o n   M u l t i m e d i a ,   N e w   Y o r k ,   U S A ,   O c t .   2 0 2 5 ,   p p .   1 2 5 7 1 – 1 2 5 7 7 ,    d o i :   1 0 . 1 1 4 5 / 3 7 4 6 0 2 7 . 3 7 5 8 1 9 1 .   [ 2 2 ]   A .   B e i g i   e t   a l . ,   “ C a n   L LM s  i m p r o v e   mu l t i mo d a l   f a c t - c h e c k i n g   b y   a sk i n g   r e l e v a n t   q u e s t i o n s?, ”   i n   2 0 2 5   I E EE  I n t e r n a t i o n a l   C o n f e re n c e   o n   Bi g   D a t a   ( B i g D a t a ) ,   D e c .   2 0 2 5 ,   p p .   2 7 3 2 – 2 7 4 1 ,   d o i :   1 0 . 1 1 0 9 / B i g D a t a 6 6 9 2 6 . 2 0 2 5 . 1 1 4 0 0 8 4 6 .   [ 2 3 ]   K .   K a k i z a k i ,   Y .   M a t s u n a g a ,   a n d   R .   F u r u k a w a ,   “ M A F T :   m u l t i m o d a l   a u t o m a t e d   f a c t - c h e c k i n g   v i a   t e x t u a l i z a t i o n , ”   i n   Pr o c e e d i n g s   o f   t h e   3 9 t h   A n n u a l   AA AI   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   2 0 2 5 ,   p p .   2 9 6 4 6 – 2 9 6 4 8 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 9 i 2 8 . 3 5 3 5 4 .   [ 2 4 ]   S .   C h e n ,   F .   K a n g ,   N .   Y u ,   a n d   R .   J i a ,   “ F A S TTR A C K :   r e l i a b l e   f a c t   t r a c i n g   v i a   c l u s t e r i n g   a n d   LL M - p o w e r e d   e v i d e n c e   v a l i d a t i o n , ”   i n   Fi n d i n g s  o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i s t i c s:   E MN L P  2 0 2 4 ,   M i a m i ,   F l o r i d a ,   2 0 2 4 ,   p p .   5 8 2 1 – 5 8 3 6 ,    d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . f i n d i n g s - e mn l p . 3 3 4 .   [ 2 5 ]   T.   T.   H o a ,   T.   Q .   D u y ,   K .   Q .   Tr a n ,   a n d   K .   V .   N g u y e n ,   “ V i F a c t C h e c k :   a   n e w   b e n c h m a r k   d a t a set   a n d   me t h o d s  f o r   m u l t i - d o m a i n   n e w s   f a c t - c h e c k i n g   I n   V i e t n a m e se, ”   i n   Pr o c e e d i n g s  o f   t h e   3 9 t h   AAAI   C o n f e re n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   2 0 2 5 ,   p p .   3 0 8 – 3 1 6 ,    d o i :   1 0 . 1 6 0 9 / a a a i . v 3 9 i 1 . 3 2 0 0 8 .   [ 2 6 ]   R .   P a n c h e n d r a r a j a n ,   R .   M .   P é r e z ,   a n d   A .   Z u b i a g a ,   “ M u l t i C l a i m N e t :   a   m a s s i v e l y   m u l t i l i n g u a l   d a t a s e t   o f   f a c t - c h e c k e d   c l a i m   c l u s t e r s , ”   i n   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s :   E M N L P   2 0 2 5 ,   2 0 2 5 ,   p p .   1 1 2 0 3 – 1 1 2 1 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . f i n d i n g s - e m n l p . 5 9 9 .   [ 2 7 ]   A .   U .   D e y ,   M .   J.   A w a n ,   G .   C h a n n i n g ,   C .   S .   D .   W i t t ,   a n d   J.   C o l l o m o sse,   “ F a c t - c h e c k i n g   w i t h   c o n t e x t u a l   n a r r a t i v e s :   l e v e r a g i n g   r e t r i e v a l - a u g me n t e d   L LM s  f o r   so c i a l   me d i a   a n a l y s i s,”   I E EE  T ra n s a c t i o n s  o n   C o m p u t a t i o n a l   S o c i a l   S y s t e m s ,   v o l .   1 3 ,   n o .   3 ,     p p .   3 3 6 5 – 3 3 7 6 ,   Ju n .   2 0 2 6 ,   d o i :   1 0 . 1 1 0 9 / T C S S . 2 0 2 6 . 3 6 6 9 7 9 9 .   [ 2 8 ]   R .   J.   G .   B .   C a m p e l l o ,   D .   M o u l a v i ,   a n d   J .   S a n d e r ,   “ D e n si t y - b a s e d   c l u st e r i n g   b a s e d   o n   h i e r a r c h i c a l   d e n s i t y   e st i m a t e s , ”   i n   A d v a n c e s   i n   K n o w l e d g e   D i s c o v e r y   a n d   D a t a   Mi n i n g   ( PA K D D   2 0 1 3 ) ,   2 0 1 3 ,   p p .   1 6 0 – 1 7 2 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 642 - 3 7 4 5 6 - 2 _ 1 4 .   [ 2 9 ]   D .   Q .   N g u y e n   a n d   A .   T .   N g u y e n ,   “ P h o B E R T:   p r e - t r a i n e d   l a n g u a g e   m o d e l s  f o r   V i e t n a m e se , ”   i n   Fi n d i n g s  o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s:   EM N L P   2 0 2 0 ,   2 0 2 0 ,   p p .   1 0 3 7 – 1 0 4 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . f i n d i n g s - e m n l p . 9 2 .   [ 3 0 ]   L.   Zh e n g   e t   a l . ,   “ F a c t   i n   f r a g me n t s:   d e c o n st r u c t i n g   c o m p l e x   c l a i ms   v i a   LLM - b a s e d   a t o mi c   f a c t   e x t r a c t i o n   a n d   v e r i f i c a t i o n , ”   Ex p e rt   S y st e m s w i t h   Ap p l i c a t i o n s ,   v o l .   3 0 2 ,   M a r .   2 0 2 6 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 5 . 1 3 0 5 7 2 .   [ 3 1 ]   K .   W u   e t   a l . ,   “ A n   a u t o m a t e d   f r a m e w o r k   f o r   a sses si n g   h o w   w e l l   LL M s c i t e   r e l e v a n t   me d i c a l   r e f e r e n c e s , ”   N a t u r e   C o m m u n i c a t i o n s ,  v o l .   1 6 ,   n o .   1 ,   A p r .   2 0 2 5 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 4 6 7 - 0 2 5 - 5 8 5 5 1 - 6.   [ 3 2 ]   H .   T.   Le ,   L.   T.   T o ,   M .   T.   N g u y e n ,   a n d   K .   V .   N g u y e n ,   “ V i W i k i F C :   f a c t - c h e c k i n g   f o r   V i e t n a m e se   w i k i p e d i a - b a se d   t e x t u a l   k n o w l e d g e   s o u r c e , ”   2 0 2 4 ,  a rX i v : 2 4 0 5 . 0 7 6 1 5 .   [ 3 3 ]   W .   Y a n g ,   L.   S o m e ,   M .   B a i n ,   a n d   B .   K a n g ,   “ A   c o m p r e h e n s i v e   s u r v e y   o n   i n t e g r a t i n g   l a r g e   l a n g u a g e   mo d e l s  w i t h   k n o w l e d g e - b a se d   met h o d s, ”   K n o w l e d g e - B a se d   S y s t e m s ,   v o l .   3 1 8 ,   Ju n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . k n o sy s . 2 0 2 5 . 1 1 3 5 0 3 .       B I O G RAP H I E S O F   AUTH O RS       Tr a n   Duc  Duo n g           h o l d s  a   Do c to r  o f  C o m p u ter  E n g i n e e rin g   d e g re e   fro m   P o sts  a n d   Tele c o m m u n ica ti o n s In stit u te   o f  Tec h n o lo g y ,   Vie t n a m   in   2 0 1 7 .   He   a lso   re c e iv e d   h is B. S c .   fro m   Vie tn a m   Na ti o n a l  U n iv e rsity   o f   Ha n o i  (I n fo rm a ti o n   Tec h n o lo g y )   a n d   M . S c .   (In fo rm a ti o n   S y ste m s)  fro m   Un iv e rsit y   o f  Lee d s,  Un it e d   Kin g d o m   i n   1 9 9 9   a n d   2 0 0 4 ,   re sp e c ti v e ly .   He   is  c u rre n t ly   a   lec tu re r  a t  F a c u lt y   o f  I n fo rm a ti o n   Tec h n o l o g y ,  P o sts  a n d   Tele c o m m u n ica ti o n s  I n stit u te  o f  Tec h n o l o g y ,   Ha n o i,   Vie tn a m .   Hi s  re se a rc h   in c lu d e s  m a c h in e   lea rn in g ,   d e e p   lea rn i n g ,   ima g e   a n d   n a t u ra l  lan g u a g e   p r o c e ss in g ,   a n d   LLM s.  He   c a n   b e   c o n tac ted   a t  e m a il :  d u c d t@ p ti t. e d u . v n .         H a i  H o a n   Do           re c e iv e d   a   Do c to r  o f  Eco n o m ics   fro m   t h e   Vie tn a m   Ac a d e m y   o f  S o c ial  S c ien c e s,  Ha n o i ,   Vie tn a m   a n d   M a ste r  o f  P ro jec t  M a n a g e m e n t  fro m   F o re ig n   Trad e   Un iv e rsity ,   Ha n o i,   Vie t n a m   in   2 0 1 8   a n d   2 0 1 3 ,   re sp e c ti v e ly .   S h e   is  c u rre n tl y   a   lec tu re r  a t  t h e   Eco n o m ic  Re se a rc h   In stit u te  o f   P o sta l  Tec h n o lo g y ,   P o sts  a n d   Tele c o m m u n ica ti o n s  I n stit u te  o f   Tec h n o l o g y ,   Ha n o i,   Vie tn a m .   He r  re se a rc h   in c lu d e s  so c ial  e n trep re n e u rsh i p ,   s o c ial   c o m m u n ica ti o n s,   a n d   so c ial  p re ss .   S h e   c a n   b e   c o n tac ted   a t  e m a il :  h o a n d h @p ti t. e d u . v n .     Evaluation Warning : The document was created with Spire.PDF for Python.