I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   41 ,   N o .   1 J a n u a r y   20 26 ,   pp .   3 31 ~ 34 3   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 41. i 1 . pp 33 1 - 343             331     Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   W e i g h t e d   f i n e - t u n e d   B E R T - b a sed   s p a r se   R N N   f o r   f a k e   n e w s   d e t e c t i o n       A s h K ath i gi G au tam   V i n o d   N ai r ,   K r u th i k a   K ad u r ah al l i   R agh u ,   K av ya  P u jar   P r a k as h ,     M e gh an a   D e e p a k   D u ttar g i   D e p a rt m e n t   o A rt i fi c i a l   I n t e l l i g e n c e   a n d   M a c h i n e   L e a r n i n g ,   G M   I n s t i t u t e   o f   T e c h n o l o g y ,   D a v a n a g e re ,   I n d i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e M a y   16 2024   R e v i s e O c t   13 2 025   A c c e pt e D e c   13 2 025       F a ke   n e w s   r e f e r s   t o   m i s i nf o r m a t i o n   o r   f a l s e   r e po r t s   s ha r e d   i n   t h e   f o r m   o f   i m a g e s ,   a r t i c l e s ,   o r   v i de o s   t ha t   a r e   d i s g ui s e d   a s   r e a l   n e w s   t o   t r y   t o   m a ni p ul a t e   pe o pl e s   o pi n i o ns .   H o w e v e r ,   de t e c t i o s y s t e m s   f a i l   t o   c a pt ur e   di v e r s e   f e a t ur e s   o f   f a ke   ne w s   due   t o   v a r i a b i l i t y   i n   l i ng ui s t i c   s t y l e s ,   c o nt e xt s ,   a nd  s o ur c e s ,   w h i c l e a t o   i na c c ur a t e   i de nt i f i c a t i o n.   F o r   t hi s   p ur po s e ,   w e i g ht e f i n e - t un e d - bi di r e c t i o na l   e nc o de r   r e pr e s e nt a t i o f o r   t r a ns f o r m e r - ba s e d   s p a r s e   r e c ur r e n t   ne ur a l   n e t w o r k   ( W F T - B E R T - S R N N )   i s   pr o po s e d   f o r   f a ke   n e w s   de t e c t i o us i ng   de e p   l e a r ni ng   ( D L ) .   I ni t i a l l y ,   da t a   i s   a c qui r e d   f r o m   B uz z f e e P o l i t i F a c t ,   F a ke dd i t ,   a nd   W e i bo   da t a s e t s   t o   e v a l u a t e   W F T - B E R T - S R N N .   P r e - pr o c e s s i ng   i s   e s t a b l i s he us i ng   s t o pw o r d   r e m o v a l ,   t o ke ni z a t i o n,   a nd   s t e m m i ng   t o   e l i m i na t e   u nw a n t e ph r a s e s   o r   w o r ds .   T he n ,   W F T - B E R T   i s   e m pl o y e t o   e xt r a c t   f e a t u r e s .   F i na l l y ,   S R N N   i s   e m pl oy e t o   de t e c t   a n c l a s s i f y   f a ke   ne w s   a s   r e a l   o r   f a ke .   E x i s t i ng   t e c hn i que s   l i k e   d e e p   ne ur a l   ne t w o r ks   f o r   F a ke   n e w s   de t e c t i o ( D e e pF a k e ) ,   B E R T   w i t h   j o i n t   l e a r n i ng ,   a nd   m u l t i - E D U   s t r uc t u r e   f o r   F a k e   ne w s   d e t e c t i o ( E D U 4F D ) ,   I m a g e   c a pt i o n - ba s e t e c hni que ,   a nd   f i ne - g r a i ne d   m u l t i m o da l   f u s i o ne t w o r k   ( F M F N )   a r e   c o m pa r e d   w i t h   W F T - B E R T - S R N N .   T he   W F T - B E R T - S R N N   a c hi e v e s   a   be t t e r   a c c ur a c y   o f   0. 9847 ,   0 . 972 4,   0 . 96 24,   a nd  0. 9725   f o r   B uz z f e e d,   P o l i t i f a c t ,   F a k e dd i t ,   a nd  W e i bo   da t a s e t s   c o m pa r e t o   e xi s t i ng   t e c hni que s   l i ke   D e e pF a k e ,   B E R T - j o i n t   f r a m e w o r k ,   E D U 4F D ,   I m a g e   c a pt i o n - ba s e t e c hn i qu e ,   a nd  F M F N .   Ke y w or ds :   D e e l e a rni n g   F a ke   n e w s   N a t u ra l   l a n gu a ge   p r o c e s s i n g   S pa r s e   r e c urr e n t   n e u r a l   n e t w o r k   W e i gh t e d   f i n e - t u n e d - b i di r e c t i o n a l   r e p r e s e n t a t i o f o r   t r a n s f o r m e r s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A s h a   K a t h i gi   D e pa rt m e n t   o f   A r t i f i c i a l   I n t e l l i ge n c e   a nd  M a c hi n e   L e a rn i ng G M   I n s t i t ut e   o f   T e c h n o l o g y   D a v a na ge r e ,   I ndi a     E m a i l :   i n f o @ gm i t . a c . i n       1.   I N TR O D U C TI O N   F a ke   n e w s   i s   o n e   o f   t h e   p r i m a r y   s e v e r e   da nge r s   t o   de m o c r a c y ,   j o ur na l i s m ,   a n d   gl o b a l   c o m m e r c e   w i t h   a pp r o p r i a t e   c o l l a t e ra l   ha r m   [1] .   T h e   p l a t f o r m   o f   s oc i a l   n e t w o r ks   ge n e r a t e s   a   s i g ni f i c a nt   c h a nn e l   f o r   c o n s um e r s   t o   b ui l d ,   a c c e s s ,   a n d   s h a r e   di v e r s e   i n f o r m a t i o n .   T h e   de p l oy m e n t   o f   s o c i a l   m e d i a   n e t w o r ks   i s   e nh a n c e a s   v a r i o us   us e r s   r e c e i v e   a n d   l o o fo r   t h e   l a t e s t   up da t e   a t   a pp l i c a b l e   t i m e s .   M o r e o v e r ,   s o c i a l   m e di a   pr o v i de s   a n   o ppo r t u n i t y   fo r   s pr e a di n g   c o un t l e s s   f a ke   a n d   m i s l e a di ng  d a t a   t o   a   us e r,   a n d   s uc da t a   ha s   de s t r uc t i v e   c o n s e que n c e s   fo r   t h e   c o m m u ni t y   [2].   F a ke   n e w s   s i g n i f i c a n t l y   di ff us e s   de e pe r   a n f a s t e r   t h a t h e   t r ut h,   c a us i n s e v e r e   n e g a t i v e   i m pa c t s   o n   b o t h   s o c i e t y   a nd  i n d i v i dua l s   [3] .   F a c e b oo i s   o n e   of   t h e   m o s t   c o m m o n l y   us e m e di a   p l a t f o r m s   f o r   s pr e a di n g   f a ke   n e w s ,   c o m pa r e t o   T w i t t e r,   G o o gl e ,   a n w e b m a i l   l i ke   G m a i l   a n Y a h o o   [4].   T h e   c o n c e rn s   i n c r e a s e by   i t   h a v e   e xpa n de o nl y   w i t h   t h e   r i s i ng  t i m e   o f   pe o pl e   s pe n o n   s o c i a l   m e di a ,   a nd  t hus   i s   t h e   o n l y   pr i m a r y   s o ur c e   of   n e w s   fo r   t h e m   [5] .   A dd i t i o n a l l y ,   c e r t a i n   a gg r e ga t o r s   of   off i c i a l   n e w s   i n t e n t i o na l l y   s pr e a f a l s e   n e w s   t o   ob t a i n   po pul a ri t y ,   e a rn  m o n e y ,   o r   a c hi e v e   c e r t a i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   41 ,   N o .   1 J a n u a r y   20 26 33 1 - 3 43   332   ob j e c t i ve s   of   po l i t i c s .   It   e n a b l e s   f a ke   n e w s   t o   b e   e xt e n s i v e   due   t o   i t s   l a c k   o f   c o n t r o l   o v e r   t h e   I n t e rn e t   a nd  s i m pl i c i t y   [6].   D u ri n g   t h e   2 016   U S   e l e c t i o n,   n u m e r o us   f a ke   n e w s   i n s t a n c e s   w e r e   p r o c l a i m e t o   ha v e   s p r e a o n   s o c i a l   m e di a   w hi c c o n t a i n e d   a   n e w   A i M a r s ha l   n o m i na t i o i I ndi a   du r i ng   t h e   p r e s i de n t i a l   e l e c t i o n s   [7 ].   T h e   e ff e c t i ve n e s s   of   e v a l ua t i n g   a n d   e n du r i ng  k n o w l e dge   w i t o t h e r s   e na b l e s   e n t i c i ng  o n l i n e   s o c i a l   n e t w o r ks .   M o r e ov e r ,   t h e   s c a t t e ri n o f   i n s t a nt a n e o us   da t a   a t   a   g r e a t e pa c e   w i t h   s m a l l   e f fo r t   e n a b l e s   f o r   w i de s pr e a di f f us i o n   o f   f a l s e   da t a   l i ke   f a ke   n e w s   [8].   D i s i n f o r m a t i o a n m i s i n f o rm a t i o n   a r e   t h e   t w o   ki n ds   o f   f a ke   i n f o r m a t i o n.   D i s i n f o r m a t i o i s   f a l s e   d a t a   de c l a r e d   t o   m i s l e a t h e   pub l i c   w h i c h a s   po l i t i c a l ,   e c o n o m i c ,   a n d   s oc i a l   i m p a c t s   [9] .   F u rt h e rm o r e ,   i t   i s   c ha l l e n g i n t o   t e rm i na t e   f a ke   n e w s   w h e n   a l r e a dy   s h a r e num e r o us   t i m e s ,   o a   l a r ge   s c a l e   [ 10].   T h us ,   f a ke   n e w s   s pr e a di ng  ha s   e xe r t e a   n e g a t i v e   i m p a c t   o t h e   a b i l i t y   of   s o c i a l ,   pe r s o n a l   l i f e ,   a n d   po l i t i c a l   p a t t e rn s   [1 1].   H e n c e ,   f a ke   n e w s   de t e c t i o n   ha s   b e c o m e   o n e   o f   t h e   i m po rt a nt   i s s ue s   of   s o c i a l   m e di a   [1 2].   H e n c e ,   a e f f i c i e n t   de t e c t i o t e c hni qu e   i s   e s t a b l i s h e i t hi s   s t udy   t o   a v o i t h e s e   e v i l   i n t e n t s   t ha t   a s s i s t   pe o pl e   n o t   t o   f a l l   i n t o   t h e m   [1 3],   [ 14].   R e c e n t   r e s e a r c h e s   o t h e   de t e c t i o o f   f a ke   n e w s   v i a   D L   ha s   a t t a i n e i m p r e s s i v e   s uc c e s s   by   e m pl oy i n v a r i o us   n e w s   f e a t ur e s   o f   s oc i a l   m e di a   l i ke   us e f e a t u r e s ,   t e xt   d a t a ,   a n us e r   f e e db a c [15].   H um a n’s   a b i l i t y   t o   i de nt i fy   f a l s e   da t a   w i t h o ut   s pe c i a l   a s s i s t a n c e   i s   o nl y   54%  a c c o r di n g   t o   s t ud i e s .   H e n c e ,   i t   i s   n e e de f o r   c o m put e r i z e r e a l   a n d   f a ke   n e w s   de t e c t i o n   [16] .     H ow e ve r ,   de t e c t i o s y s t e m s   f a i l   t o   c a p t u r e   t h e   d i v e r s e   f e a t ur e s   of   f a ke   n e w s   due   t o   t h e   v a r i a b i l i t y   i l i n gu i s t i c   s t y l e s ,   c o n t e xt s ,   a n d   s o ur c e s   w h i c h   l e a t o   i na c c ura t e   i de nt i f i c a t i o n   o f   f a ke   n e w s .   K a l i y a r   e t   al .   [17]   i m p l e m e nt e a   D e e pF a kE   by   e m pl oy i n t e n s o de c o m po s i t i o n .   T h e   us e r ’s   n e w s   e n ga ge m e nt   w a s   ga t h e r e d   a n i n t e g ra t e w i t da t a   o f   a   us e r   c o m m u n i t y   t o   e s t a b l i s h   a   3 - m o de   t e n s o l i ke   c o n t e xt ,   c o nt e nt ,   a nd  us e r   c o m m uni t y .   T o   a c qui r e   a   n e w s   a r t i c l e ’s   l a t e n t   r e p r e s e nt a t i o n ,   c o upl e m a t ri x - t e n s o f a c t o r i z a t i o w a s   pe r f o r m e d.   T h e n,   D e e pF a ke   a n d   X G B oo s t   w e r e   ut i l i z e f o r   a   c l a s s i f i c a t i o t a s k.   T hi s   i m p l e m e nt e a pp r o a c pr o v i de b e t t e pe r f o r m a n c e s   by   i nt e g r a t i n g   c o n t e xt   a n d   c o n t e n t   t e c hn i que s .   H ow e v e r ,   D e e pF a ke   f a c e d   di f f i c ul t i e s   i e v o l v i n g   pa t t e rn s   a nd   c a pt u r i n g   dy n a m i c s   o f   f a ke   n e w s   b e c a us e   o f   t h e i s t a t i c   n a t u r e .   C h e   e t   al .   [18]  p r e s e n t e d   a S p a r s e   a n d   G r a p h - R e gul a r i z e CA N D E CO M P / P A R A F A (S G CP l e a rni n g   o f   t e n s o r   de c o m po s i t i o f o r   f a ke   n e w s   de t e c t i o n .   T h e   n e w s   f a c t o r   m a t ri x   w a s   e s t a b l i s h e b y   CP   t e n s o r   de c o m pos i t i o t h a t   r e f l e c t e i n t ri c a t e   a s s o c i a t i o n s   b e t w e e n   t h e   us e r   a n n e w s .   T hi s   a pp r o a c h   e m pl o y s   t w o   da t a s e t s :   B uz z f e e a n d   P o l i t i F a c t   N e w s ,   t o   e v a l ua t e   t h e   p r e s e n t e a p pr o a c h .   T h i s   a pp r o a c r e t a i n s   n e w s   f a c t o r   m a t r i x   s pa r s i t y   a n p r e s e r v e s   t h e   s t r uc t u r e   o f   t h e   m a n i f o l f r o m   t he   o r i gi na l   s p a c e .   H ow e ve r ,   w h e n   a   h uge   n u m b e r   of   s a m pl e s   w e r e   l o s t ,   t h e   p r e s e n t e d   t e c hni que   de c r e a s e t h e   d e t e c t i o n   pe r f o r m a n c e .   P a l a ni   e t   al .   [19]   de v e l o pe a   CB - F a ke   f o t h e   de t e c t i o o f   fa ke   n e w s .   T h e   B E R T   w a s   e m pl oy e t e xt ra c t   t h e   t e xt ua l   f e a t u r e s   t ha t   p r e s e r v e t h e   r e l a t i o n s hi p   o f   s e m a n t i c s   a m o n g   w o r ds .   T h e   C a ps N e t   w a s   ut i l i z e d   f o r   c a p t u ri n g   t h e   v i s ua l   f e a t u r e s   f r o m   i m a ge s .   T h e s e   f e a t ur e s   w e r e   i n t e g ra t e d   t o   a c qui r e   t h e   r e p r e s e n t a t i o o f   ri c h e d a t a   f o de t e rm i ni n g   w h e t h e t h e   n e w s   w a s   r e a l   o f a ke .   T h e   CB F a ke   a pp r o a c w a s   e ff i c i e n t   a n d   s c a l a b l e   f o de t e c t i n g   f a ke   n e w s .   B ut ,   t h e   CB - F a ke   ge n e r a t e v i s ua l   a nd   t e xt u a l   f e a t u r e s   f r o m   n e w s   a r t i c l e s   b ut   t h e   d a t a   o f   t h e   us e r ’s   p r o f i l e   a nd   b e h a v i o ra l   c h a ra c t e ri s t i c s   w e r e   n o t   e v a l ua t e d .   S h i s ha [20 i n t r o duc e a   B E R T   w i t h   j o i nt   l e a rni n g ,   i n t e g ra t i ng  n a m e e n t i t y   r e c o gn i t i o n   (N E R a nd  r e l a t i o na l   f e a t u r e s   c l a s s i f i c a t i o n   (R F C)  fo r   f a ke   n e w s   de t e c t i o n .   T h e   S P R - e n c o de r   w h i c h   m o di f i e t h e   l a y e r ’s   d y n a m i c   a t t e n t i o ra n ge   i B E R T   w a s   ut i l i z e d   t o   e s t a b l i s h   t h e   c o nt e xt   v e c t o r   b y   e m pl oy i n p r i o k n o w l e dge   i t h e   pr o v i de p r e - t ra i n e d   t e c hni que .   T h i s   B E R T   j o i n t   a pp r o a c h s   u ni que n e s s   ge n e ra t e s   a   m e a n i ngf ul   w e i g h t   t f e a t ur e s ,   t h e r e by   pr o v i di n a   b e t t e r   pe r f o r m a n c e .   H ow e v e r ,   t h i s   a pp r o a c h   f a c e di f f i c ul t i e s   i di f f e r e n t i a t i n g   a m o ng  v a r i o us   i n f o r m a t i o t y pe s   w h i c h   a f f e c t e t h e   c l a s s i f i c a t i o n .   K a l i y a r   e t   a l .   [21]   i m p l e m e nt e a   D e e L e a rn i ng  a pp r o a c h   b a s e o E c h o   c h a m b e r s   ( E c h o F a ke D w i t h   b o t c o n t e xt   a nd  c o nt e nt   da t a   f o r   t h e   de t e c t i o n   o f   f a ke   n e w s .   T h e   c o n t e nt   o f   t h e   n e w s   w a s   f us e w i t a   t e n s o t o   o b t a i a   l a t e n t   r e p r e s e nt a t i o o bo t h   s o c i a l   c o n t e xt   a nd  n e w s   c o n t e nt   da t a .   T o   c a t e go r i z e   t h e s e   da t a ,   a   de e n e u ra l   n e t w o r (D N N w a s   ut i l i z e d   w i t o pt i m a l   h y pe r - pa ra m e t e r.   E m p l oy i n t e n s o de c o m po s i t i o n   i a i m p l e m e nt e t e c hn i que   pr o v i de b e t t e pe r f o r m a n c e .   H ow e ve r ,   i nt e g r a t i n g   b o t c o n t e n t   a n d   c o n t e xt   d a t a   i a E c h o F a ke D   t e c hn i q ue   s t ruggl e d   w i t ge n e r a l i z a t i o i s s ue s .     W a ng  e t   al .   [22]   de v e l o pe a   m u l t i - E D U   s t r uc t u r e   t o   e nha n c e   t h e   t e xt   r e p r e s e n t a t i o n   f o t h e   de t e c t i o n   o f   f a ke   n e w s   n a m e l y   E D U 4F D .   Ini t i a l l y ,   t h e   rh e t o r i c a l   r e l a t i o n s   w e r e   e xt r a c t e d   t o   c o n s t r uc t   t h e   E D U   de pe n de n c y   gr a p a nd  t h e r e l a t i o g ra p h   a t t e nt i o n   ne t w o r (R G A T w a s   s e t   t o   o b t a i n   a   g ra p h - b a s e E D U   r e p r e s e n t a t i o n.   A t   l a s t ,   t h e s e   t w o   r e pr e s e nt a t i o n s   w e r e   c o m b i n e a s   t h e   e nha n c e t e xt   r e p r e s e nt a t i o n   by   ut i l i z i n g   a   ga t e r e c u r s i v e   u n i t   w i t gl o b a l   a t t e nt i o a pp ro a c h   f o t h e   de t e c t i o o f   f a ke   n e w s .   H ow e ve r ,   E D U 4F D   s uffe r s   f r o m   v a r i a b i l i t y   i n   l i ngui s t i c   s t y l e s ,   c o n t e xt s ,   a nd  s o ur c e s .   L i u   e t   a l .   [23]   s ugge s t e a i m a ge   c a pt i o n - b a s e t e c hni que   t o   i m p r o v e   a n   s e m a n t i c   da t a   f r o m   i m a ge s   f o r   f a ke   n e w s   de t e c t i o n .   T h e   i m a ge   de s c r i pt i o da t a   w a s   i nt e g r a t e i nt o   t e xt   t o   b r i d ge   a   s e m a nt i c   ga p   a m o ng  i m a ge s   a nd   t e xt .   T h e n ,   t h e   t r a n s f o r m e r   w a s   e m pl oy e t o   f us e   m ul t i - m o da l   c o n t e n t .   T h e   o bj e c t   a n d   g l o b a l   f e a t u r e s   f r o m   a n   i m a ge s   w e r e   c o m b i n e w hi c i n c r e a s e   i m a ge   ut i l i z a t i o a nd  i m p r o v e s   a n   s e m a n t i c   i n t e ra c t i o a m o n g   t e xt   a nd  i m a ge .   H ow e ve r ,   t h e   s ugge s t e a pp r o a c h   de pe n ds   o p r e - de f i n e d   v o c a b ul a r y   w h i c s t r u ggl e s   t o   a c c ura t e l y   de s c r i be   c o m pl e v i s ua l   c o n c e pt s .   W a n g   e t   a l .   [2 4]  p r e s e n t e a   f i n e - gra i n e d   m ul t i m o da l   f us i o n e t w o r (F M F N t Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52         W e i gh t e d   f i ne - t un e d   B E R T - bas e d   s par s e   R NN   f or   f a k e   n e w s   de t e c t i on   ( A s ha  Kat h i gi )   333   f us e   t e xt ua l   a n d   v i s ua l   f e a t u r e s   f o r   t h e   de t e c t i o n   o f   f a ke   n e w s .   T h e   de e c o n v o l ut i o n a l   n e u r a l   n e t w o r (CN N w a s   ut i l i z e t o   e xt r a c t   v a ri o us   v i s ua l   f e a t u r e s   o f   a i m a ge .   T h e   s c a l e d   do t - p r o du c t   a t t e n t i o n   w a s   e m p l oy e t i n c r e a s e   v i s ua l   a n t e xt u a l   f e a t u r e s   a n d   f us e   t h e m .   A t   l a s t ,   t h e   f us e fe a t ur e   p a s s e t hr o ugh  t h e   b i n a r y   c l a s s i f i e f o r   de t e c t i o n.   S c a l e d   do t - p r o duc t   n o t   o n l y   c o n s i de r s   t h e   c o rr e l a t i o a m o n g   v i s ua l   f e a t u r e s   b ut   a l s c a pt u r e s   t h e   de pe n de n c y   a m o n g   t e xt u a l   a n d   v i s ua l   f e a t u r e s .   H ow e ve r ,   F M F N   s uf f e r s   f r o m   o ve r f i t t i ng   i s s ue   due   t o   c o m pl e f us i o n   p r o c e s s   w h i c h   l e a ds   t o   b i a s e r e pr e s e nt a t i o a n d   de c r e a s e   ge n e r a l i z a t i o pe r f o r m a n c e   o n   u n s e e d a t a .   F r o m   t h e   o v e r a l l   e v a l ua t i o n,   t h e   e xi s t i n g   t e c h ni que s   ha s   l i m i t a t i o n s   l i ke   f a c i ng  c h a l l e n ge s   w i t ge n e ra l i z a t i o n ,   v a ri a b i l i t y   i l i ngui s t i c   s t y l e s ,   c o n t e xt s ,   a nd   s o ur c e s   w h i c l e a d   t o   i na c c ura t e   i de nt i f i c a t i o o f   f a ke   n e w s .   T o   a dd r e s s   t h i s   i s s ue ,   t h e   W F T - B E R T - S R N N   i s   p r o po s e t o   de t e c t   f a ke   n e w s   a c c ur a t e l y .   T h e   b a s i c   c o n t ri b ut i o n s   o f   t h i s   r e s e a r c a r e :     W F T - B E R T   i s   ut i l i z e d   t o   e xt r a c t   t h e   f e a t u r e s   t ha t   e n a b l e   p r i o r i t i z i n g   s pe c i f i c   do m a i n s   o t a s ks   du r i ng  pr e - t ra i ni n g ,   a n d   i n c r e a s e   t h e   m o de l ’s   c a p a b i l i t y   t o   c a pt u r e   d o m a i n - s pe c i f i c   i n f o r m a t i o n.     S R N N   i s   e m pl o y e fo r   de t e c t i n g   a n d   c l a s s i fy i n g   f a ke   n e w s   a s   r e a l   o f a ke ,   a n d   i t   h a s   t h e   po t e n t i a l   t o   c a pt u r e   l o n g - ra n ge   de pe n de n c i e s   i t h e   s e m a n t i c   da t a .     F o ur   b e n c hm a r da t a s e t s   na m e l y ,   B uz z F e e d,   P o l i t i F a c t ,   F a ke ddi t ,   a n d   W e i b o ,   a r e   e s t a b l i s h e t o   e v a l ua t e   t h e   W F T - B E R T - S R N N   t e c hn i que .   T h e   r e m a i n i ng  s e c t i o n   i s   s t ruc t u r e a s   f o l l ow s :   S e c t i o n   di s c us s e s   t h e   p r o po s e m e t h o do l o g y .   S e c t i o n   3   de t a i l s   a   w e i gh t e d   f i n e - t u n e d - b i di r e c t i o na l   e n c o de r   r e p r e s e n t a t i o f o r   t ra n s f o r m e r - b a s e d   s pa r s e   r e c urr e n t   n e u r a l   n e t w o r k,   w hi l e   S e c t i o n   4   di s p l a y s   t h e   r e s ul t s   a n d   di s c us s i o n ,   a nd  S e c t i o n   i n d i c a t e s   t h e   c o n c l us i o n.       2.   P R O P O S ED   M ETH O D   T h e   W F T - B E R T - S R N N   i s   p r o po s e fo r   f a ke   n e w s   de t e c t i on  i t hi s   r e s e a r c h .   I ni t i a l l y ,   t h e   da t a   i s   a c qui r e f r o m   B uz z f e e d,   P o l i t i F a c t ,   F a ke ddi t ,   a n W e i b o   be n c hm a rk  d a t a s e t s   t o   e v a l ua t e   t h e   W F T - B E R T - S R N N   t e c hn i que .   D a t a   p r e - p r o c e s s i n i s   e s t a b l i s h e us i n g   s t o p w o r d   r e m o v a l ,   t o ke ni z a t i o n ,   a n d   s t e m m i ng   t o   e l i m i na t e   u n w a nt e p hra s e s   o r   w o r ds .   W F T - B E R T   i s   ut i l i z e f o r   e xt ra c t i n g   t h e   f e a t u r e s ,   a nd  S R N N   i s   pe r f o r m e f o r   de t e c t i n a nd  c l a s s i f y i n f a ke   n e w s   a s   r e a l   o f a ke .   F i gu r e   r e p r e s e nt s   t h e   b l o c di a g ra m   f o r   t h e   p r o po s e t e c h ni que .           F i gu r e   1 .   B l o c di a g r a m   f o r   t h e   p r o po s e a pp r o a c h       2. 1 .     D atas e ts   F a ke   n e w s   de t e c t i o n   i s   e v a l ua t e by   e m pl oy i n f o ur  b e n c h m a r k   da t a s e t s :   B uz z f e e [25]  a n d   P o l i t i F a c t   [26] ,   F a ke ddi t   [ 27],   a n d   W e i b o   [28].   B uz z f e e ha s   t w o   t y p e s   of   n e w s   s e t s   t h a t   a r e   r e a l   a n d   f a ke   n e w s ,   a n d   i s   g a t h e r e d   f r o m   t h e   a r t i c l e   o f   f a l s e   n e w s   r e ga r d i n g   a   U S - 2016   p r e s i de n t i a l   e l e c t i o n.   It   c o n t a i n s   1700  a rt i c l e s   o f   n e w s   ga t h e r e d   f r o m   F a c e boo k.   T h e   c h o s e n   t e r m s   o f   t h i s   da t a s e t   a r e   na t i o n ,   c o unt r y ,   pa r t y ,   po l i t i c a l ,   de m o c r a t ,   b i l l ,   a n s o   o n.   T h e   P o l i t i F a c t   da t a s e t   c o nt a i n s   14 , 055   a rt i c l e s   t ha t   a r e   p r o v i de by   3634   a ut h o r s ,   w h o   a l s o   ha v e   a a v e ra ge   o f   3. 86   a rt i c l e s .   T h e s e   a rt i c l e s   c o ve r   52   s ub j e c t s ,   a n d   e v e r y   a r t i c l e   c ov e r s   m o r e   t ha 1   s ub j e c t .   T h e   o b t a i n e d   da t a   a r e   f e i n t o   t h e   p r e - p ro c e s s i n s t a ge .   T h e   F a ke ddi t   d a t a s e t   i s   ga t h e r e f r o m   R e ddi t ,   w h i c h   i s   a   p o pul a r   s o c i a l   m e di a .   It   c o n t a i n s   o v e r   m i l l i o n   s a m p l e s   a nd  ge n e r a t e s   m u l t i - g ra i n e l a b e l s   w h i c c ov e r s   m e t a da t a ,   t e xt ,   c o m m e n t s ,   a n d   i m a ge s .   W e i bo   da t a s e t   a ri s e   f r o m   C h i na ’s   po pul a r   p l a t f o r m   o f   s oc i a l   m e di a .   E a c h   n e w s   i t e m   c o n t a i n s   a   c o rr e s po n di ng  i m a ge ,   l a b e l ,   a n d   t e x t .     2. 2 .     P r e - p r o c e s s i n g   A f t e r   d a t a   a c qui s i t i o n,   t h e   p r e - p r o c e s s i n i s   pe r f o r m e d   by   e m pl oy i n s t o w o r r e m o v a l ,   t o ke n i z a t i o n,   a nd  s t e m m i n g ,   w hi c h   a r e   di s c us s e b e l ow .   T o ke n i z a t i o n   r e m o v e s   pun c t ua t i o n   f r o m   t h e   t e xt   da t a ,   a n d   s t o p   w o r r e m o v a l   e l i m i na t e s   p r e po s i t i o n s ,   p ro n o un s ,   a n d   c o n j u n c t i o n s .   S t e m m i ng   r e m o v e s   gra m m a t i c a l   w o r ds   l i ke   a dv e r b s ,   v e r b s ,   a nd  s o   o n.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   41 ,   N o .   1 J a n u a r y   20 26 33 1 - 3 43   334     T o ke n i z a t i o n:   It   i s   t h e   p r o c e dur e   o f   o r i g i n a l   t e xt   d i v i s i o i nt o   s m a l l e s e gm e n t s   [2 9] ,   w hi c i s   de s c ri b e d   a s   t o ke n s .   M o r e o v e r ,   p u n c t ua t i o f r o m   t e xt   d a t a   i s   e l i m i na t e d   by   us i ng  t hi s   a pp r o a c h .   T h e   num b e f i l t e r s   a r e   ut i l i z e d   t o   e l i m i n a t e   t h e   t e rm s   o f   n u m b e r s   f r o m   a   s pe c i f i c   s e n t e n c e .   Ca s e   c o n v e r t e r s   a r e   e m pl oy e f o r   t h e   t e xt ua l   d a t a   t r a n s f o r m a t i o t o   uppe r   a n d   l ow e r   c a s e s .   A t   l a s t ,   t h e   w o r ds   i n c l udi ng  a   l o w e r   n u m b e r   o f   c h a ra c t e r s   a r e   e l i m i n a t e u t i l i z i n g   N - c h a f i l t e r s .     S t o w o r r e m o v a l :   It   i s   i na pp r o p r i a t e   a n d   n o t   c ruc i a l   b u t   i t   i s   e m p l oy e f r e que n t l y   i a s s o c i a t i n g   e xpr e s s i o n s   a nd  t h e   c o m pl e t i o o f   s e n t e n c e s .   It   i s   qu i t e   p r e v a i l e a n us u a l   i n   e a c h   s e nt e n c e   w h i c h   do e s   n o t   c a rr y   a n y   da t a .   M o r e o ve r ,   i E ngl i s h,   t h e r e   a r e   a b out   5 00  s t o w o r ds   t h a t   a r e   c o n j u n c t i o n s ,   pr e po s i t i o n s ,   a n p r o n o un s   w hi c h   a r e   r e ga rde a s   f e w   ‘s t o w o r ds ’.   I n s t a n c e s   of   s t o w o r ds   a r e   a ,   w h e n ,   o n ,   w ha t ,   a m ,   a n ,   u nde r,   a nd   s o   o n .   H e n c e ,   b y   r e m o v i n g   t h e   s t o p   w o r ds ,   t h e   p r o c e s s i n g   t i m e   a nd  s pa c e   a r e   s a v e d.     S t e m m i ng :   T h e   b a s i c   a i m   o f   a   s t e m m i ng   [3 0]   p r o c e du re   i s   t o   o b t a i t he   b a s i c   f o rm   o f   w o r d s   w h i c c a rri e s   t h e   s a m e   m e a ni ng   w i t d i f f e r e nt   w o rds .   N u m e r o us   g ra m m a t i c a l   w o rds   l i ke   a dj e c t i v e s ,   a dv e r b s ,   v e r b s ,   a nd   n o u ns   a re   c o n v e rt e d   i nt o   s o u rc e   f o rm   d u ri ng   t hi s   p r o c e s s .   F o i n s t a nc e ,   t he   w o r d s   ‘c o n s u l t i ng   a nd   ‘c o n s u l t a nt s   s t e m   f r o m   t he   w o r d   c o n s ul t .   T hu s ,   t h e   w o rd   re duc t i o i nt o   a   re gu l a b a s i c   f o rm   i s   r e g a rde a s   a e f f i c i e nt   t e c hni q ue .   H e n c e ,   t h e   re d u nd a nt   a nd   c ha ra c t e t e rm s   na m e l y ,   t e x t ,   nu m b e rs ,   a nd   s t o p   w o r ds   a r e   f i l t e re d   i t he   p r e - p ro c e s s i ng   s t a ge   w hi c i s   p a s s e d   f o r   f e a t u r e   e xt ra c t i o n.       3.   WE I G H T ED   F I N E - TU N E D - BI D I R E C T I O N A L   EN C O D E R   R EP R ES EN TA TI O N   F O R   TR A N S F O R M ER S - BA S ED   S P A R S E   R EC U R R EN T   N E U R A L   N ET W O R K   ( WF T - BER T - S R N N )   3. 1 .     F e atu r e   e x tr ac ti o n   T h e   p r e - p r o c e s s e da t a   i s   f e a s   i n pu t   t o   t h e   W F T - B E R T   [31 f o r   e xt ra c t i n g   f e a t u r e s   f o r   t h e   de t e c t i o n   o f   f a ke   n e w s .   It   ha s   t h e   a b i l i t y   t o   i n c r e a s e   t h e   r e pr e s e nt a t i o na l   c a pa c i t y   of   m o de l   by   e m pha s i z i n g   s i g n i f i c a n t   w o r ds   o r   p hra s e s   w h i c h   i m p r o v e s   t h e   de t e c t i o n   a c c ur a c y .   It   e m pl o y s   pr e - t ra i n e d   k n o w l e dge   w h i l e   b e i n f i n e - t u n e d   o s pe c i f i c   da t a   w h i c e n s u r e s   b e t t e c o n t e xt u a l   u nde r s t a n d i n g .   A   t e xt   s e que n c e s   a r e   i n di c a t e a s   = { 1 , , } ,   w h e r e   1 ( 1 1 )   po i nt s   t o   s e n t e n c e s   a n   i n d i c a t e s   t he   l e n gt o f   t e xt   s e que n c e s .   By   us i n g   b i d i r e c t i o n a l   p r e - t ra i n e d   a p p r o a c h,   t h e   t e xt   s e que n c e   i s   e n c o de a s   = { 1 , , }   t t h e   v e c t o r   o f   f i xe d - l e n g t h   s e nt e n c e   fo r m s   ,   w h i c h   i s   r e p r e s e n t e a s   i n pu t   s o ur c e - e l e m e nt .   T h e   s e n t e n c e   v e c t o r   f o r m   1   i s   i n d i c a t e i (1) .     1 =  ( 1 )   (1)     W h e r e ,     ( . )   r e p r e s e nt s   t h e   e n c o di n o f   s e n t e n c e s   i nt o   s e n t e n c e   ve c t o r s .   T h e   r e p r e s e n t a t i o of   hi dde n   v e c t o r   1   o f   t ra n s f e rr e s e nt e n c e   v e c t o r   f o r m   1   i s   a c qui r e by   e m pl oy i n g   M ul t i - L a y e r   P e r c e pt i o (M L P ).   T h e   m a t h e m a t i c a l   f o r m ul a   f o r   1   i s   e xp r e s s e i n   (2).     1 = t a n h   ( 1 1 + 1 )   (2)     W h e r e ,   1   a n d   1   i ndi c a t e   t h e   w e i ght   a n d   b i a s   p a r a m e t e r.   T h e   g e n e ra l   u t i l i z e t e x t - r e p r e s e n t a t i o a pp r o a c e l i m i na t e s   t h e   i nt e r a c t i o n   da t a   b e t w e e n   t h e   t e xt   s e nt e n c e   w h i c l e a ds   t o   t h e   l o s s   o f   pa rt i a l   s e m a n t i c s .   H e r e ,   t h e   w h o l e   s o ur c e - e l e m e n t s   a r e   r e ga rde a s   c o n t e xt - i n f o r m a t i o n   t o   o b t a i n   t h e   r e p r e s e nt a t i o of   t e xt   w h i c c o n t a i n s   m o r e   s e m a n t i c s .   F o e x a m p l e ,   c   a m o ng  o n e   s o ur c e   e l e m e n t     a n d   a l l   s o ur c e   e l e m e n t s   ( 1 , 2 , , )   a r e   c a pt u r e d .   T h e   1   s e m a n t i c   w e i ght   i s   a l l o c a t e by   ,   s o u r c e   e l e m e n t   i s   e xp r e s s e a s   1   w h i c i s   r e p r e s e n t e i n   ( 3).     1 = ex p   (  ) ex p   ( 1 ) 1 = 1   (3)       i s   e xp r e s s e i (4) .     = 1 1 1 1   (4)     E a c h   e l e m e nt   o f   s i ngl e   s o u r c e   h a s   a i nt e ra c t i o w i t a l l   s o u r c e s   a n d   a c qui r e s   t h e   i n t e r a c t i o b e t w e e n   a l l   s o u r c e - e l e m e n t   a n s i n gl e - s o ur c e   e l e m e nt s   a s   i n d i c a t e i (5) .   T h e   i nt e r a c t i o n   de v o t e t o   a   f i n a l i z e r e p r e s e n t a t i o o f   un e qu a l   t e xt   a n d   a t t e n t i o l a y e r   i s   i n c l u de t o   e na b l e   da t a - i n t e r a c t i o w h i c i s   s i m i l a t o   c l a s s i f i c a t i o n.   T h e     i n d i c a t e s   c o m pa t i b i l i t y   s c o r e   t o     w e i gh t   a n d     r e p r e s e n t s   t h e   i n t e r a c t i o n   r e p r e s e n t a t i o n.   D u r i n g   j o i nt   w o r e m b e ddi n g   p r o c e s s ,   t h e   e n t i r e   t e xt ’s   c o m pa t i b i l i t y   s c o r e   i s   p r o duc e d.   T h e r e f o r e ,   t h e   f i na l   t e xt     i s   e xp r e s s e i (6) .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52         W e i gh t e d   f i ne - t un e d   B E R T - bas e d   s par s e   R NN   f or   f a k e   n e w s   de t e c t i on   ( A s ha  Kat h i gi )   335   = ( 1 , 2 , , )   (5)     =    (6)     E v e r y   s e n t e n c e   i s   i ndi c a t e a s   1 = {  1 ,  2 , ,  } ,   s uc t ha t    1   i n d i c a t e s   e a c w o r i n   a   s e n t e n c e .   T h e   p r e - t ra i n e B E R T   a pp r o a c h   e n c o de s   a l l   s e n t e n c e s   1 = {  1 ,  2 , ,  }   t o   t h e i r   f o r m   o r e s pe c t i v e   w o r e m b e ddi n { 1 , , } ,   w h i c h   i s   de n o t e i ( 7).   W h e r e ,    ( 1 )   i n di c a t e s   t h e   e n c o di n g   o f   w o r t o   t h e i r   w o r v e c t o r s .   T h e   r e p r e s e nt a t i o of   w o r d - e m b e ddi n g   o f   w h o l e   t e xt   s e nt e n c e   = { 1 , , }   i s   de n o t e a s   = { 1 , 2 , 1 } = { { 1 , , } , { 1 , , } , , { 1 , , } } ,   w h e r e     r e p r e s e n t s   t h e   o ve r a l l   c o un t   o f   w o r ds .   I n   a ddi t i o n,     po i nt s   t o   a s s o c i a t i ng  s e que n c e   of   t e xt   l a b e l     i s   e n c o de w i t h   t h e i fo r m   o f   l a b e l   e m b e ddi n g   = { 1 , 2 , }   e v a l ua t e by   B E R T ,   w h e r e ,     d e n o t e s   t h e   c l a s s   c o un t .   = { 1 , 2 , }   i s   e xp r e s s e i (8) .     1 =  ( 1 )   (7)     = ( )   (8)     T h e   l a b e l s   a n d   w o r a r e   e m b e dde t o   t h e   s p a c e   of   o n e - j o i n t .   T h e   s i m pl e   t e c hni que   t o   c o m put e   c o m pa t i b i l i t y     b e t w e e n   l a b e l   w o r pa i r s   i s   c o s i n e   s i m i l a ri t y   w h i c h   i s   de n o t e i n   (9 ).   T h e   d i v i s i o n   o e l e m e n t - w i s e   a i d   i m a t r i x   o v e c t o r   o pe r a t i o n   w hi c i s   i ndi c a t e a s   ̂   de n o t e s   t h e   n o r m a l i z e m a t r i w h i c h   c o n s i s t s   o f   ×   s i z e .   A l l   e l e m e nt s   o f   t h e   n o rm a l i z e m a t r i a r e   e xp r e s s e a s   ̂ | |  | |   | |  | | ,   w h e r e   | | . | |   i ndi c a t e s   n o rm s   2 .   1   a n d     r e p r e s e n t s   t h e   1   w o r d   a n d     l a b e l   e m b e ddi ng.   By   e m pl oy i n g   n o n - li n e a r   f un c t i o n,   t h e   s p a t i a l   r e l a t i v e   da t a   a m o n g   c o n s e c ut i v e   w o r ds   a r e   c o m put e du ri n g   a c qu i r i ng  t h e   c o m pa t i b i l i t y   of   l a b e l   w o r pa i r s .   T h e   (1 0)    i ndi c a t e s   s t i gm a t i z a t i o n   o f   h i g h - l e v e l   c o m pa t i b i l i t y   be t w e e n   e nt i r e   l a b e l s   a n d     p hra s e .     = ( )     ̂   (9)     = ( : +  2 + 2 )   (10)     W h e r e ,   : +   r e p r e s e n t s   t h e   l a b e l - to - t o ke n   c o m pa t i b i l i t y ,    2   de n o t e   w e i gh t ,   a n d   2   i n di c a t e   b i a s .   T h e   m a xpo o l i n o pe ra t i o n   a c qui r e s   t h e   v a l ue   o f   gr e a t e s t   c o m pa t i b i l i t y   be t w e e n     p hr a s e   a c c o r di ng  t o   t h e   e n t i r e   l a b e l s ,   a s   e xp r e s s e i (11) .   T h e   w h o l e   s e que n c e   of   t e xt ’s   c o m pa t i b i l i t y   s c o r e   i s   e xp r e s s e i (12) .   T h e     i n d i c a t e s     e l e m e nt   o f   S of t m a x   w h i c h   i s   e xp r e s s e i (13 ).     = ma x   ( )   (11)     =    ( )   (12)     = ex p ( ) ex p   ( ) 1   (13)     W h e r e ,     a n d     r e p r e s e n t   t h e   l e n gt a n d   v e c t o r .   T h e   e n t i r e   t e xt   s e que n c e ’s   c o m pa t i b i l i t y   s c o r e     i s   c o m put e by   e m pl oy i n g   w o r ds   l e a rni n g   e m b e ddi n g   a n d   l a b e l   e m b e ddi n g.   T h e     i s   ut i l i z e d   t o   c a p t u r e   l a r ge   i n t e r a c t i v e - da t a   a n d   t o   w e i gh   t h e   r e p r e s e n t a t i o n   o f   f i n a l i z e i n t e r a c t i v e   t e xt   = ( 1 , 2 , , ) .   M o r e o ve r ,   t h e   l a b e l s   l e a rn  a   l a r ge   c o un t   o f   t e xt u a l   d a t a ,   t h e   c l a s s i f i e us e s   t h o s e   w e i gh t e d   l a b e l s   e f fe c t i ve l y   fo r   c l a s s i f i c a t i o n.   A dd i t i o na l l y ,     i s   ut i l i z e f o r   t h e   w e i ght   f i n a l i z e v e c t o r   o f   l a b e l   ,   w hi c i s   e xp r e s s e i n   (14)  a n (15) .     =   (14)     ́ =   (15)     W h e r e ,     a n ́   i n di c a t e s   t h e   f i na l   t e xt   a n l a b e l   r e p r e s e nt a t i o n.   A l s o ,   t h e   s i m i l a ri t y   s c o r e s   of  v a r i o us   s t a t e m e n t s   i s   e xt ra c t e i t h e   a n a l y s i s   s t a ge .   T h e   t e c hni que   o f   t ra i n e c l a s s i f i c a t i o n   i ndi c a t e s   : T h e   s e t t i n g   o f   s of t - l a b e l   i s   c o n s i de r e d   s uc t ha t   t h e   a t t a c ke que r i e s   o ut   t h e   c l a s s i f i e t o   a c qui r e   t h e   pr o b a b i l i t i e s   o f   o ut put   by   t h e   ge n e ra t e i n p ut .   T h e   m o de l   pa r a m e t e r   a n t r a i n i ng  d a t a   n o t   p r o v i de   t o   a c c e s s .   F o r   i n s t a n c e ,   w e i gh t   e xa m pl e   i s   r e p r e s e nt e a s   _  ,   r e qui r e t o   ge t   ge n e ra t e f o r   p r o v i de i nput - p a i l i ke   c o n di t i o n   ( )   n e e t o   b e   s a t i s f i e d.   T h e   _   n e e ds   t o   b e   c o r r e c t   g r a m m a t i c a l l y   w i t h   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   41 ,   N o .   1 J a n u a r y   20 26 33 1 - 3 43   336   s e m a n t i c   .   It   ha s   t w o   ki n ds   o f   t o ke n   l e v e l   pe rt u r b a t i o n s   o f   n e w   t o ke n   i n s e rt i o n   a n d   r e pl a c e m e n t   o f   t o ke n ,   e s t a b l i s h e f o r   ge n e r a t i n g   t h e   w e i ght e e xa m pl e   _  .   i R e pl a c e m e n t   o f   t o ke n   w i t h   c o n d i t i o n       w i t a n o t h e r   t o ke n .   i i T h e   i n s e rt i o o f   n e w   t o ke n     w i t h     L e s s   i n pu t   t o ke n   c o nt r i b ut e s   m o r e   f o r   t h e   f i n a l   de t e c t i o n   v i a   ,   w h e n   c o m pa r e d   t o   o t h e r s .   T h e   r e pl a c e m e n t   o f   t o k e n   o r   n e w   t o ke n   i n s e r t i o n   ha s   s t r o n i m p a c t s   i n   u pda t i n g   t h e   c l a s s i f i e r ’s   de t e c t i o n.   T h e     t o ke n   i m po rt a n c e   i s   c o m put e f o r   e a c ‘a   v i a   r e m o v i n a ’  f r o m   ,   a nd  a l s o   by   r e duc i n t h e   p r o b a b i l i t y   c o m put a t i o i t h e   de t e c t i o o f   t h e   c o rr e c t   l a b e l   (y ).   T h e   p r e - t ra i n e d   B E R T   t e c hn i q ue   i s   e m p l oy e f o r   de t e c t i o n   o f   s i m i l a ri t y   t o ke n .   T h e   s i m i l a r i t y   t o k e n s   s ui t   w e l l   fo r   g ra m m a t i c a l   t e xt   a n d   t e xt   c o n t e xt .   D u r i ng  t h e   r e pl a c e m e n t   o f   t o ke n ,   i f   t h e r e   a r e   m u l t i pl e - t o ke n s   o c c urr e n c e s ,   t h e y   c a us e     fo r     m i s c l a s s i f i c a t i o n,   a n d   t h e t h e   t o ke t ha t   e n a b l e s   _    m o r e   i de nt i c a l   t o   t h e   o r i g i n a l     o t h e   b a s i s   o f   s i m i l a ri t y   s c o r e   i s   s e l e c t e d.   If  m i s c l a s s i f i c a t i o n   do e s   n o t   o c c ur ,   a n o t h e t o ke n   w h i c h   de c re a s e s   t h e   de t e c t i o p r o b a b i l i t y   i s   s e l e c t e d.   T h e   pe r t u r b a t i o o f   t h e   t o ke n   i s   e m p l oy e i t e r a t i v e l y   t i l l   e i t h e r   ( _  )   o r   w h o l e     t o ke n s   a r e   pe r t u r b e d.   B E R T   ha s   a   l i m i t e a b i l i t y   t o   m o de l   l o ng - r a nge   de pe n de n c i e s   b e c a us e   o f   t h e   f i xe c o nt e xt   s i z e .   H e n c e ,   B E R T   i s   us e d   a s   a e xt ra c t i o n   p r o c e s s ,   a nd  n o t   fo r   c l a s s i f i c a t i o n.   A f t e f e a t ur e   e xt r a c t i o n,   t h e   c l a s s i f i c a t i o i s   pe r f o r m e d   us i n g   S R N N   w hi c ha s   t h e   po t e nt i a l   t o   c a pt u r e   l o n g - r a nge   de pe n de n c i e s   i t h e   s e m a n t i c   da t a .     3. 2 .     C l as s i f i c a ti o n   A f t e r   e xt r a c t i ng  t h e   f e a t u r e s ,   t h e   S R N N   i s   e m pl oy e t o   de t e c t   a n d   c l a s s i fy   f a ke   n e w s   de t e c t i o n   e ffe c t i ve l y .   T h e   e xt ra c t e f e a t u r e s   f r o m   W F T - B E R T   a re   i nput   t o   a   S p a r s e   R N N   by   c o n v e r t i n t h e   e m b e ddi n gs   o f   de n s e   B E R T   i n t o   s pa r s e   r e p r e s e n t a t i o n .   T hi s   e n a b l e s   t h e   S R N N   t o   ge n e r a t e   s e que n t i a l   d a t a   i n v o l ve i t h e   e xt ra c t e f e a t u r e s ,   a s   w e l l   a s   de t e c t   a nd  c l a s s i fy   b a s e o n   t h e   l e a rn e d   t e m po r a l   de pe n de n c i e s .   T h e   S R N N   c o m b i n e s   n o v e l   s pa r s e   c o nn e c t i v i t y   w i t h   s t a n d a r d   R N N   a r c hi t e c t u r e   t o   e ff e c t i v e l y   c a pt ur e   l o n g - t e rm   de pe n de n c i e s .   T hi s   a pp r o a c p r e s e r v e s   c r uc i a l   i n f o rm a t i o b y   m a i nt a i n i ng  ke y   c o n n e c t i o n s   a nd  e l i m i na t i n g   r e du n da nt   o n e s   w h i c h   e n s u r e s   a c c ura t e   de t e c t i o n.   R N N   [32]  i s   a   c o m m o n l y   ut i l i z e v e r s i o n   o N e ur a l   N e t w o r e m p l oy e i t h e   na t u r a l   l a n g ua ge   p r o c e s s i n g   (N L P b e c a us e   of   i t s   c a p a b i l i t y   t o   r e m e m b e r   t h e   p r i o r   e s t i m a t i o n .   It   c o n t a i n s   e v e r y   pr i o c a l c ul a t i o n   t o   e v a l ua t e   t h e   p r e s e nt   l a y e r   o ut c o m e .   T h i s   c o n t r a di c t s   t h e   c o n v e n t i o na l   n e u r a l   n e t w o r w h e r e   a l l   i n p ut s   a r e   i nd e pe n de nt   o f   e a c h   o t h e r;   R N N ’s   e a c i nput   i s   t r a n s f e rr e f o r w a r d   t o   t h e   f o l l ow i n l a y e r ,   a nd  t h e   o ut c o m e   of   e ve r y   l a y e r   i s   de pe nde nt   o n   t h e   p r i o r   l a y e r s .   It   i s   k n o w a s   re c u rre nt   a s   i t   e xe c ut e s   t h e   s a m e   f u n c t i o f o a l l   c o m po n e nt s .   H o w e v e r ,   t he   R N N   ha s   s l o w   a nd   c o m p l e x   t ra i ni ng   p r o c e s s   f o c l a s s i f i c a t i o n.   T o   o v e r c o m e   t hi s   i s s ue ,   t h e   S R N N   w hi c i nc r e a s e s   t he   ge n e ra l i z a t i o b y   l e a rni ng   a p p r o p ri a t e   p a t t e rns   a nd   c o nne c t i o n,   a nd   g a i ns   e f f i c i e nc y   a nd   e f f e c t i v e n e s s   o b o t i n f e r e nc e   a nd   t ra i ni ng   i s   e m p l o y e d.   H e r e ,   a   s p a rs e   t ra i ni ng   o f   R N N   i s   i nt ro d uc e d   w hi c i s   a   n e w   c l a s s   o f   S R N N .     3. 2 . 1.   S p ar s e   to p o l o gy  i n i ti a l i z ati o n   In  s p a r s e   t o po l o g y   i ni t i a l i z a t i o n,   a   n e t w o r   i s   e xp r e s s e i (16) .   W h e r e ,     i ndi c a t e s   t h e   n e t w o r k’s   de n s e   pa ra m e t e r .   I n s t e a o f   be gi w i t de n s e   pa ra m e t e r ,   t hi s   t e c hn i que   m a ke s   t h e   n e t w o r b e gi w i t .   H e r e ,   t o   e n f o r c e   t h e   s t r uc t u r e   o f   s pa r s e ,   t h e   m a s ks   a re   e m pl oy e b e c a us e   o f   l i m i t e s u ppo r t   f o t h e   c o n n e c t i o o f   s pa r s e .   B a s i c a l l y ,   t h e   n e t w o r i s   i n i t i a l i z e i t h e   ( 17).     = ( ; )   (16)     =   (17)     W h e r e ,     r e p r e s e n t s   b i na r y   m a s k   i w h i c n o nz e r o   c o m po n e nt s .   It   i s   i ni t i a l i z e by   E r do s - R e n y i   o r   ra n do m   di s t ri b ut i o n.   E rdo s - Re n y i   i s   e s t a b l i s h e d   w h e r e   t he      a m o n g   n e ur o 1   a n d     e xi s t   w i t pr o b a b i l i t y ,   a s   i n di c a t e i n   ( 18).      = ( + 1 ) 1   (18)     W h e r e ,   , 1   i ndi c a t e s   t h e   num b e o f   n e u r o n s   o f     a n d   1   r e pr e s e nt s   t h e   pa ra m e t e e v a l ua t e a t   t h e   l e v e l   of   s pa r s i t y   .   I n i t i a l i z e b y   t h e   t o po l o g y   of   E r do s - R e n y i ,   l a y e r s   w i t t h e   g r e a t e s t   w e i ght s   ha v e   l a r ge r   s p a r s i t y   t h a t h e   s m a l l e r   o n e s .   S p a r s e   i ni t i a l i z a t i o i s   a n o t h e t e c hni que   t ha t   i n i t i a l i z e s   e a c h   l a y e r   w i t h   i de nt i c a l   s p a r s i t y   a s   ov e r a l l   s p a r s i t y       3. 2 . 2.   P r u n i n s tr at e gy   In  s p a r s e   e v o l ut i o n a r y   t r a c ki n g   (S E T ) ,   di f f e r e n t   f r o m   m a g ni t ude - b a s e p r u ni n g   i s   e m p l oy e t ha t   e l i m i na t e s     f un c t i o n   o f   s m a l l e s t   po s i t i v e   a n d   l a r ge s t   n e ga t i v e   w e i gh t s   o f   e ve r y   l a y e r   a f t e r   t r a i n i ng  e a c h   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52         W e i gh t e d   f i ne - t un e d   B E R T - bas e d   s par s e   R NN   f or   f a k e   n e w s   de t e c t i on   ( A s ha  Kat h i gi )   337   e poc h ,   a n o t h e r   p ru n i ng  o f   v a r i a n t   w e i ght   i s   s e l e c t e w i t h   s m a l l e s t   a b s o l ut e   v a l ue s .   F o r   e a c h   ,   i t s   s i g n i f i c a n c e   i s   de f i n e d   a s   i t s   a b s o l ut e   v a l ue s   w hi c i s   e xpr e s s e i (19) .   T h e     pe r c e nt i l e   o f   ( )   i s   de t e r m i n e b y   s o m e   p r u n i ng  ra t e     w i t h   a s c e n di ng  o r de r   .   T h e n ,   t h e   n e w   m a s i s   e xp r e s s e i (2 0).   A l s o ,   duri n g   t r a i n i ng,   t h e   p ru n i ng   r a t e     i s   de c a y e i t e ra t i v e l y   t o   0,   s o   t h a t   t h e   t o po l o g y   o f   s pa r s e   c o n v e r ge s   t o   t h e   o pt i m a l   o n e .        = |   (19)     = ( ) >   (20)     3. 2 . 3.   R e g r o w i n s tr ate g y   T h e   n e w   w e i ght s   a r e   r a ndo m l y   r e gr o w n   b y   e m pl oy i n da t a   o f   n o n - z e r o   pa ra m e t e r s   t o   m a i nt a i n   a   pur e   s p a r s e   s t r uc t u r e ,   b o t h   f o r   b a c kw a r d   a n d   f o r w a r p r o c e dur e .   It   i s   t h e   p ri m a r y   di ff e r e n c e   a m o ng  S T - R N N   w i t h   g ra di e nt - b a s e m e t h o ds   of   s pa r s e   t r a i n i ng  l i ke   s pa r s e   ne t w o r ks   f r o m   s c r a t c h   (S N F S a n ri gge l o t t e r y   (R i gL ).   G r a d i e nt - b a s e r e gr o w i n g   de pe n ds   g r e a t l y   o n   a l l   gra di e nt ’s   pa ra m e t e r s ,   a n s t i l l   n e e ds   a   de n s e   fo r w a r d   pa s s   a t   l e a s t   o n c e   pe   i t e r a t i o n s ,   w hi l e   S R N N   m a i nt a i n s   c l e a r l y   b a c k w a r s p a r s e   pa s s   a n d   n e e ds   l e s s   f l o a t i ng - po i n t   o pe r a t i o n s   (F L O P s ).   T h e   r a ndo m   r e g r o w   i s   i n d i c a t e i n   (21) .     = +   (21)     W h e r e ,     r e p r e s e n t s   t h e   b i n a r y   t e n s o r ,   a n d   i t h a t ,   t h e   n o n - z e r o   c o m po n e nt s   a r e   d i s t r i b ut e d   ra n do m l y .   T h e   o v e r a l l   n e w l y   a c t i v a t e a s s o c i a t i o n s   a r e   s a m e   a s   t h e   n u m b e r   o f   e l i m i n a t e a s s o c i a t i o n s   t o   m a i n t a i a   l e v e l   of   s a m e   s pa r s i t y .   F ur t h e rm o r e ,   e a c l a y e r ’s   s pa r s i t y   l e v e l   i s   ke pt   f i xe d;   t h e   F L O P s   r e qui r e d   t o   t r a i t h e   m o de l   a r e   p r o po rt i o na l   t o   t h e i de n s e   c o un t e rpa rt .   A s   t h e   s e que nt i a l   da t a   a r e   ge n e ra t e i n   S R N N   w i t h   v a r y i n t i m e   s t e ps ,   i t   e na b l e s   t h e   m o de l   t o   c a p t u r e   l o n g - ra n ge   de pe n de n c i e s   e f fe c t i ve l y .   It   p r o c e s s e s   t h e   s e que n c e   of   s pa r s e   i nput ,   a pp r o p r i a t e   c o nt e xt   a n de t e c t i n f a ke   n e w s   pa t t e rn s .   F u rt h e r m o r e ,   t hr o ug c l a s s i f i c a t i o n,   i t   d i f f e r e n t i a t e s   a m o n g   ge nui n e   a nd  m i s l e a d i ng  da t a   b a s e o n   t h e   l e a rn e s e que n t i a l   pa t t e rn s ,   t h e r e by   e n ha n c i n t h e   a c c u r a c y   a n de t e c t i n g   f a ke   n e w s   e ffe c t i ve l y .   T a b l e   r e p r e s e n t s   t h e   N o t a t i o n   D e s c r i pt i o n .       T a b l e   1 .   N o t a t i o de s c r i pt i o n   S y m b o l   D e s c ri p t i o n     t e x t   s e q u e n c e s     ( . )   e n c o d i n g   s e n t e n c e s   i n t o   s e n t e n c e   v e c t o r s   1     h i d d e n   v e c t o r e p re s e n t a t i o n   1   a n d   1   w e i g h t   a n d   b i a s   p a ra m e t e r     c o m p a t i b i l i t y   s c o re     F i n a l   t e x t     ( 1 )   w o rd   e m b e d d i n g   t o   t h e i w o rd   v e c t o r s     o v e ra l l   c o u n t   o f   w o r d s     c l a s s   c o u n t     M a t ri x   o v e c t o r   o p e ra t i o n   ̂   n o r m a l i z e d   m a t r i x     1    w o r d   a n d     l a b e l   e m b e d d i n g     s t i g m a t i z a t i o n   o f   h i g h - l e v e l   c o m p a t i b i l i t y   b e t w e e n   e n t i r e   l a b e l s   a n d     p h ra s e   : +   l a b e l - to - t o k e n   c o m p a t i b i l i t y    2   w e i g h t   2   b i a s       e l e m e n t   o f   S o ft m a x     a n d     l e n g t h   a n d   v e c t o r     a n d   ́   f i n a l   t e x t   a n d   l a b e l   r e p r e s e n t a t i o n   _   w e i g h t   e x a m p l e     n e t w o rk     n e t w o rk ’s   d e n s e   p a ra m e t e r     b i n a ry   m a s k   , 1   n u m b e o f   n e u ro n s   o f     a n d   1     p a ra m e t e r   e v a l u a t e d   t h e   s p a r s i t y   l e v e l       p ru n i n g   ra t e     a s c e n d i n g   o r d e r     b i n a ry   t e n s o r         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   41 ,   N o .   1 J a n u a r y   20 26 33 1 - 3 43   338   4.   R ES U LTS   A N D   D I S C U S S I O N   H e r e ,   t h e   W F T - B E R T - S R N N   i s   s i m u l a t e by   e m pl oy i n a   P y t h o n   3. 8   e n v i r o nm e n t   w i t h   16G B   R A M ,   I n t e l   c o r e   i p r o c e s s o r ,   a n d   W i n do w s   10  o pe ra t i ng  s y s t e m .   T h e   a c c u r a c y ,   r e c a l l ,   f 1 - s c o r e ,   a nd  pr e c i s i o a r e   t h e   pa ra m e t e r s   us e t o   e v a l ua t e   t h e   p r o po s e d   t e c hni que .   T h e   m a t h e m a t i c a l   f o r m u l a   f o r   t h e s e   m e t r i c s   a r e   e xp r e s s e i n   ( 22)  t o   (25) .   W h e r e ,      i s   f a l s e   po s i t i v e    i s   t r ue   po s i t i v e    i s   f a l s e   n e g a t i v e a n    i s   t rue   n e ga t i v e .      =  +   +  +  +  × 100   (22)      =   +    (23)     =     +    (24)     1  = 2 ×  2 ×  +  +  × 100             (25)     4. 1 .     P e r fo r m an c e   an a l ys i s   T h i s   s e c t i o n   i l l us t ra t e s   t h e   qua l i t a t i v e   a n q ua nt i t a t i v e   e v a l ua t i o n   o f   W F T - B E R T - S R N N   w h i c i s   r e p r e s e n t e i n   T a b l e s   t o   5.   T a b l e   s h o w s   di ffe r e nt   f e a t u r e   e xt ra c t i o m e t h o ds   us i ng  B uz z f e e d.   T h e   e xi s t i ng  t e c hn i q ue s   l i ke   b a o f   w o r ds   (B o W ),   W o r d2V e c ,   t e rm   f r e qu e n c y - in v e r s e   do c um e n t   f r e que n c y   (T D - ID F ) ,   a nd  B E R T   a r e   c o m pa r e d   w i t h   W F T - B E R T .   F i gu r e   r e p r e s e nt s   t h e   g r a p hi c a l   r e p r e s e nt a t i o o f   f e a t ur e   e xt ra c t i o n   a n a l y s i s   us i n g   B uz z f e e d.   T h e   W F T - B E R T   a pp r o a c h   a c h i e v e s   a   b e t t e a c c ura c y   of   0. 9847   w h e c o m pa r e d   t o   t h e s e   e xi s t i n t e c hn i q ue s   b e c a us e   W F T - B E R T   c a pt u r e s   c o n t e xt ua l   n u a n c e s   a n s e m a nt i c   r e l a t i o n s h i ps   b e t w e e n   w o r ds   w h i c p r o v i de s   r i c h e r   r e p r e s e nt a t i o n.   T hi s   e nh a n c e u n de r s t a ndi n g   i m p r o v e s   fe a t u r e   e xt ra c t i o a n de t e c t i o n   a c c ura c y   fo r   f a ke   n e w s .           F i gu r e   2 .   G ra p h i c a l   r e pr e s e nt a t i o n   o f   f e a t ur e   e xt ra c t i o m e t ho ds   ut i l i z i n B uz z f e e d       T a b l e   2 .   D i f f e r e n t   f e a t u r e   e xt ra c t i o m e t h o ds   ut i l i z i ng  B uz z f e e da t a s e t   P e r fo r m a n c e   m e a s u r e s   Bo W   W o r d 2 V e c   TD - ID F   BE RT   W F T - BE RT   A c c u ra c y   0 . 8 5 3 2   0 . 8 6 1 4   0 . 8 7 3 6   0 . 8 7 7 1   0 . 9 8 4 7   Re c a l l   0 . 8 4 2 5   0 . 8 3 5 6   0 . 8 5 4 7   0 . 8 6 2 5   0 . 9 7 0 4   P re c i s i o n   0 . 8 5 2 0   0 . 8 4 5 3   0 . 8 3 4 7   0 . 8 5 9 8   0 . 9 7 1 2   F1 - s c o r e   0 . 8 4 3 5   0 . 8 3 7 4   0 . 8 2 1 5   0 . 8 6 0 3   0 . 9 6 7 4       T a b l e   3 .   C l a s s i f i c a t i o pe r f o r m a n c e   ut i l i z i ng  B uz z f e e da t a s e t   P e r fo r m a n c e   m e a s u r e s   DNN   CN N   L S T M   RN N   S RN N   A c c u ra c y   0 . 9 4 2 5   0 . 9 5 4 7   0 . 9 5 8 6   0 . 9 6 3 5   0 . 9 8 4 7   Re c a l l   0 . 9 3 5 7   0 . 9 4 6 8   0 . 9 5 1 5   0 . 9 5 9 6   0 . 9 7 0 4   P re c i s i o n   0 . 9 4 2 6   0 . 9 5 3 6   0 . 9 6 1 5   0 . 9 6 5 4   0 . 9 7 1 2   F1 - s c o r e   0 . 9 3 5 7   0 . 9 2 3 5   0 . 9 5 6 7   0 . 9 5 8 8   0 . 9 6 7 4     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52         W e i gh t e d   f i ne - t un e d   B E R T - bas e d   s par s e   R NN   f or   f a k e   n e w s   de t e c t i on   ( A s ha  Kat h i gi )   339   T a b l e   3   s h o w s   t h e   c l a s s i f i c a t i o pe r f o r m a n c e s   e m pl o y i n B uz z f e e d.   T h e   e xi s t i n t e c hni que s   l i ke   D N N ,   CN N ,   L S T M ,   a n d   R N N   a r e   c o m pa r e d   w i t h   S R N N   t e c hni que .   F i gu r e   3   r e p r e s e n t s   t h e   g ra p hi c a l   r e p r e s e n t a t i o o f   c l a s s i f i c a t i o w i t F E   us i n g   B uz z f e e d.   W he n   c o m pa r e d   t o   t h e s e   e xi s t i ng  t e c hni que s ,   S R N N   a c hi e v e s   a   hi g a c c ura c y   o f   0. 9847   d ue   t o   t h e   p r o po s e a pp r o a c l e v e r a gi ng   s pa r s e   c o nn e c t i v i t y   t o   e nha n c e   m o de l   e ff i c i e n c y   a n d   r e duc e   o ve r f i t t i ng ,   w h i c a l l o w s   i t   t o   b e t t e c a pt u r e   n ua n c e pa t t e rn s   i n   t e xt ua l   da t a .   T a b l e   4   s h o w s   di f fe r e n t   f e a t u r e   e xt ra c t i o m e t h o ds   us i n g   P o l i t i F a c t .   T h e   e x i s t i ng  t e c hni que s   l i ke   Bo W ,   W o r d2V e c ,   T D - ID F ,   a nd  B E R T   a r e   c o m pa r e w i t h   W F T - B E R T .   F i gu r e   r e p r e s e nt s   a   g ra p hi c a l   r e p r e s e n t a t i o o f   di f fe r e nt   f e a t ur e   e xt ra c t i o m e t h o ds   us i ng  P o l i t i F a c t .   T h e   W F T - B E R T   t e c hn i que   a c hi e v e s   a   b e t t e r   a c c ura c y   of   0. 9724   w h e n   c o m pa r e t o   t h e s e   e xi s t i n g   t e c hni que s .   W F T - B E R T   e nha n c e s   pe r f o r m a n c e   by   a s s i gn i ng  v a r y i n g   s i g ni f i c a n c e   t o   di f f e r e n t   s e gm e nt s   o r   t o ke n s   w h i c h   a l l o w s   t h e   m o de l   t o   f o c us   m o r e   o n   a pp r o pri a t e   p a r t s   o f   a   t e xt .   T h i s   e nha n c e s   c o n t e xt u a l   u n de r s t a n d i n g   a nd  a c c ur a c y   i f a ke   n e w s   de t e c t i o n .           F i gu r e   3 .   G ra p h i c a l   r e pr e s e nt a t i o n   o f   c l a s s i f i c a t i o pe r f o r m a n c e   ut i l i z i n g   B uz z f e e d       T a b l e   4 .   D i f f e r e n t   f e a t u r e   e xt ra c t i o m e t h o ds   ut i l i z i ng  P o l i t i F a c t   d a t a s e t   P e r fo r m a n c e   m e a s u r e s   Bo W   W o r d 2 V e c   TD - ID F   BE RT   W F T - BE RT   A c c u ra c y   0 . 8 3 3 6   0 . 8 4 2 6   0 . 8 5 6 3   0 . 8 6 2 5   0 . 9 7 2 4   Re c a l l   0 . 8 4 1 6   0 . 8 3 2 0   0 . 8 4 3 6   0 . 8 5 3 6   0 . 9 6 1 2   P re c i s i o n   0 . 8 4 2 5   0 . 8 3 0 3   0 . 8 3 6 1   0 . 8 5 8 4   0 . 9 5 4 7   F1 - s c o r e   0 . 8 5 0 7   0 . 8 4 3 6   0 . 8 6 3 5   0 . 8 5 0 2   0 . 9 3 0 9           F i gu r e   4 .   G ra p h i c a l   r e pr e s e nt a t i o n   o f   di f fe r e nt   f e a t u r e   e xt ra c t i o n   m e t h o ds   ut i l i z i n P o l i t i F a c t       T a b l e   5   s h o w s   t h e   c l a s s i f i c a t i o pe r f o r m a n c e s   e m p l oy i n g   P o l i t i F a c t .   T h e   e xi s t i n g   t e c hn i q ue s   l i ke   D N N ,   CN N ,   L S T M ,   a n d   R N N   a r e   c o m pa r e w i t h   t h e   S R N N   t e c hn i que .   F i gu r e   r e p r e s e nt s   t h e   g r a p hi c a l   r e p r e s e n t a t i o o f   c l a s s i f i c a t i o w i t h o ut   F E   us i n g   P o l i t i F a c t .   S R N N   a c hi e v e s   a   s upe r i o a c c ura c y   of   0. 9724   b e c a us e   t h e   p r o po s e a pp r o a c l e v e r a ge s   s p a r s e   c o nn e c t i v i t y   by   e n ha n c i n g   m o de l   e ff i c i e n c y   c o m pa r e t o   e xi s t i n g   a p p r o a c h e s   l i ke   D N N ,   CN N ,   L S T M ,   a n d   R N N .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   41 ,   N o .   1 J a n u a r y   20 26 33 1 - 3 43   340   T a b l e   5 .   C l a s s i f i c a t i o pe r f o r m a n c e   ut i l i z i ng  P o l i t i F a c t   d a t a s e t   P e r fo r m a n c e   m e a s u r e s   DNN   CN N   L S T M   RN N   S RN N   A c c u ra c y   0 . 9 4 1 2   0 . 9 4 5 6   0 . 9 5 4 8   0 . 9 6 2 5   0 . 9 7 2 4   Re c a l l   0 . 9 3 5 4   0 . 9 3 7 5   0 . 9 4 5 6   0 . 9 5 2 0   0 . 9 6 1 2   P re c i s i o n   0 . 9 4 3 2   0 . 9 3 5 7   0 . 9 4 3 5   0 . 9 4 6 8   0 . 9 5 4 7   F1 - s c o r e   0 . 9 1 3 5   0 . 9 2 5 7   0 . 9 2 1 5   0 . 9 2 6 5   0 . 9 3 0 9           F i gu r e   5 .   G ra p h i c a l   r e pr e s e nt a t i o n   o f   c l a s s i f i c a t i o pe r f o r m a n c e s   us i n g   P o l i t i F a c t       4. 2 .     C o m p ar ati v e   an al ys i s   T a b l e s   6 - 8   di s pl a y   a   c o m pa r a t i v e   a na l y s i s   b e t w e e n   e xi s t i n g   t e c hn i q ue s   a nd   t h e   p r o po s e m e t h o o n   B uz z f e e d,   P o l i t i F a c t ,   F a ke dd i t ,   a nd   W e i bo   da t a s e t s .   T h e   e x i s t i n g   t e c hn i q ue s   l i ke   [17] ,   [22]   a r e   e xp l o i t e t c o m pa r e   w i t W F T - B E R T - S R N N   us i n g   B uz z f e e da t a s e t .   T h e   s t udi e s   [17] ,   [ 20] ,   [ 22]   a r e   t h e   e x i s t i ng  a pp r o a c h e s   us e f o r   c o m pa ri s o n   w i t h   t h e   W F T - B E R T - S RN N   us i n P o l i t i f a c t .   T h e   s t udi e s   [23] ,   [2 4]  a r e   c o m pa r e w i t t h e   p r o po s e m e t h o us i n g   F a ke ddi t   a n d   W e i b o   da t a s e t s .   Co m pa r e d   t o   t h e s e   e xi s t i n g   t e c hn i q ue s ,   t h e   p r o po s e W F T - B E R T - S R N N   a c h i e v e s   a   b e t t e a c c u r a c y   of   0. 9847 ,   0. 9 724,   0 . 96 24,   a n 0. 9725   f o r   B uz z f e e d,   P o l i t i f a c t ,   F a ke ddi t ,   a nd  W e i b o   da t a s e t s   by   l e ve r a g i n g   B E R T ’s   c o n t e xt u a l   e m b e ddi n gs   fo r   ri c h   t e xt   r e p r e s e n t a t i o a nd   S R N N ’s   s e que n t i a l   m o de l i n g   t o   c a pt u r e   p a t t e rn s   i n e w s   a rt i c l e s .   T hi s   c o m b i na t i o n   i n c r e a s e s   a c c u r a c y   i n   d i s t i n gu i s h i n g   f a ke   f r o m   ge n ui n e   n e w s   by   e ffe c t i ve l y   m a n a g i n g   t e m po r a l   de pe n de n c i e s   a n d   c o m pl e l i n gu i s t i c   f e a t u r e s .         T a b l e   6 .   Co m p a r a t i v e   a na l y s i s   w i t h   e xi s t i n g   t e c hn i q ue s   ut i l i z i n B uz z f e e d   P e r fo r m a n c e   m e a s u r e s   D e e p F a k e   [1 7 ]   E D U 4 F D   [2 2 ]   P ro p o s e d   W F T - BE RT - S RN N   A c c u ra c y   0 . 8 6 4 9   0 . 7 4 8 8   0 . 9 8 4 7   Re c a l l   0 . 8 6 9 6   0 . 7 4 8 6   0 . 9 7 0 4   P re c i s i o n   0 . 8 3 3 3   0 . 7 5 1 9   0 . 9 7 1 2   F1 - s c o r e   0 . 8 5 1 1   0 . 7 4 7 5   0 . 9 6 7 4       T a b l e   7 .   Co m p a r a t i v e   a na l y s i s   w i t h   e xi s t i n g   t e c hn i q ue s   ut i l i z i n P o l i t i F a c t   P e r fo r m a n c e   m e a s u r e s   D e e p F a k e   [1 7 ]   BE RT - j o i n t   f ra m e w o rk   [2 0 ]   E D U 4 F D   [2 2 ]   P ro p o s e d   W F T - BE RT - S RN N   A c c u ra c y   0 . 8 8 6 4   0 . 8 4   0 . 7 1 6 2   0 . 9 7 2 4   Re c a l l   0 . 8 4 6 0   N / A   0 . 7 1 1 1   0 . 9 6 1 2   P re c i s i o n   0 . 8 2 1 0   N / A   0 . 7 1 5 5   0 . 9 5 4 7   F1 - s c o r e   0 . 8 4 0 4   0 . 8 7   0 . 7 1 1 0   0 . 9 3 0 9       T a b l e   8 .   Co m p a r a t i v e   a na l y s i s   w i t h   e xi s t i n g   t e c hn i q ue s   us i n g   F a ke ddi t   a n d   W e i b o   da t a s e t s   P e r fo r m a n c e   m e a s u r e s   F a k e d d i t   d a t a s e t   W e i b o   d a t a s e t   Im a g e   c a p t i o n - b a s e d   t e c h n i q u e   [2 3 ]   P ro p o s e d   W F T - BE RT - S RN N   Im a g e   c a p t i o n - b a s e d   t e c h n i q u e   [2 3 ]   F M F N   [2 4 ]   P ro p o s e d   W F T - BE RT - S RN N   A c c u ra c y   0 . 9 2 5 1   0 . 9 6 2 4   0 . 8 8 8 6   0 . 8 8 5   0 . 9 7 2 5   Re c a l l   0 . 9 3 7 4   0 . 9 5 1 5   0 . 9 2 0 1   N / A   0 . 9 6 1 5   P re c i s i o n   0 . 9 3 8 3   0 . 9 5 2 0   0 . 8 6 9 2   N / A   0 . 9 5 3 6   F1 - s c o r e   0 . 9 3 7 9   0 . 9 5 8 8   0 . 8 9 3 9   N / A   0 . 9 6 2 1   Evaluation Warning : The document was created with Spire.PDF for Python.