I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   42 ,   N o .   2 ,  M a y   20 2 6 ,   pp .   3 91 ~ 402   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 42 . i 2 . pp 3 91 - 402             391     Jou r n al   h o m e pa ge :  ht t p: / / i j e e cs . i a e s c or e . c om   A  h y b r i d   l a r g e   l a n g u a g e   m o d e l - g r a p h   n e u r a l   n e t w o r k   f r a m e w o r k   f o r   A r a b i c   s e n t i m e n t   a n a l y si s       H an i   M o h am m ad n   I w i d at   D e p a rt m e n t   o f  D a t a   S c i e n c e ,   A l - I s t i q l a l   U n i v e r s i t y ,   J e ri c h o ,   P a l e s t i n e       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  N ov   18 ,  202 5   R e v i s e d  F e b   24 ,  202 6   A c c e pt e d  M a y   26 ,  20 26       A r a bi c   s e n t i m e n t   a na l y s i s   ( S A )   f a c e s   s i g ni f i c a nt   c ha l l e ng e s   d u e   t o   t he   l a ng ua g e ’ s   m o r pho l o g i c a l   r i c hn e s s   a nd  di a l e c t a l   d i v e r s i t y .   T hi s   s t udy   i nt r o duc e s   a   no v e l   hy br i d   l a r g e   l a ng ua g e   m o de l - g r a ph   ne u r a l   ne t w o r k   ( L L M - G N N )   f r a m e w o r k   de s i g ne d   t o   a ddr e s s   t h e s e   c ha l l e ng e s .   T he   pr o po s e d   m o de l   i n t e g r a t e s   t h e   c o nt e xt ua l   und e r s t a nd i ng   o f   A r a B E R T   v 2  w i t h   t h e   s t r uc t ur a l   l e a r n i ng   c a pa b i l i t y   of   a   g r a p h  c o nv o l ut i o na l   ne t w o r k   ( G C N ) .   I t   c o ns t r uc t s   a   g r a ph   o f   s e n t e nc e s   us i ng   c o s i ne   s i m i l a r i t y ,   a l l o w i ng   t h e   G C N   t o   c a pt ur e   c r uc i a l   i nt e r - s e nt e nc e   s e m a nt i c   de p e nde nc i e s   o f t e n   m i s s e d   by   s e qu e nt i a l   m o de l s .   F i ndi ng s :   T he   m o de l   i s   e v a l ua t e d  o n  a   pub l i c l y   a v a i l a bl e   A r a bi c   10 0k   R e v i e w s   da t a s e t   c o ns i s t i ng   o f   a ut he n t i c   us e r - g e ne r a t e d   A r a bi c   r e v i e w s   b a l a nc e d  a c r o s s   po s i t i v e ,   ne g a t i v e ,   a nd  m i xe d  s e n t i m e nt   c l a s s e s .   T h e   r e s ul t s   d e m o ns t r a t e   t ha t   t he   p r o po s e d   L L M - G N N   m o de l   pe r f o r m e d  b e t t e r   a s   c om pa r e d   t o   t he   ba s e l i ne   m o de l s ,   i nc l ud i ng   f i ne - t u ne d   A r a B E R T ,   A r a B E R T - B i L S T M ,   A r a B E R T - M L P ,   a n d  m u l t i l i ng ua l   B E R T .   T he   hy br i d   m o de l   a c hi e v e s   a n   o v e r a l l   a c c u r a c y   o f   66. 8 %   a nd   a   F 1 - s c o r e   o f   66 . 5 5% ,   w i t h   a n   i m p r o v e m e nt   o f   7 . 6 %   a n d  4. 4% ,   r e s p e c t i v e l y .   T h e   m o de l   de m o ns t r a t e d   s t a b l e   c o nv e r g e nc e   f r o m   t he   f i r s t   t r a i ni ng   e po c h.   R e s e a r c h   l i m i t a t i o ns / i m pl i c a t i o ns :   T he   g r a ph   c o ns t r uc t i o n   i s   pe r f o r m e d   a t   t he   m i n i - ba t c h  l e v e l ,   w h i c h  r e s t r i c t s   t he   m o de l i ng   o f   g l o ba l   s e m a n t i c   r e l a t i o ns h i p s   a c r o s s   t he   e nt i r e   c o r pus .   T he   r e s u l t s   s ho w   t h a t   t he   hy br i d   m o de l   i de n t i f i e s   s ubt l e   s e nt i m e n t   c ue s   t ha t   s e q ue n t i a l   m o de l s   f r e q ue n t l y   m i s s   by   f us i ng   r e l a t i o na l   g r a ph   r e a s o ni ng   w i t h   c o nt e xt ua l   e m be ddi ng s .   B y   e f f e c t i v e l y   i de n t i f y i ng   s ubt l e   s e nt i m e n t   c ue s ,   t h e   hy br i d  m o de l   c a n  s i g ni f i c a nt l y   e nha nc e   t he   a c c ur a c y   of   r e a l - w o r l d   a p pl i c a t i o ns   s uc h   a s   s o c i a l   m e d i a   m o ni t o r i ng   a nd  c u s t o m e r   r e v i e w   a na l y s i s   f o r   A r a b i c   c o nt e nt .   Ke y w or ds :   A ra b i c   t e xt   G ra p h   n e u ra l   n e t w o r ks   L a r ge   l a ngua ge   m o de l s   M a c hi n e   l e a rni n g   S e n t i m e n t   a na l y s i s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   H a n i   i w i da t   D e pa rt m e n t   o f   D a t a   S c i e n c e ,  Al - Is t i ql a l   U n i v e r s i t y   J e r i c h o ,   P a l e s t i n e   E m a i l :   h a ni . i w i da t @ p a s s . ps       1.   I N TR O D U C TI O N   T h e   r i s e   o f   e - c o m m e r c e   pl a t f o r m s   a nd  s o c i a l   m e di a   n e t w o r ks   ha s   c h a n ge d  t h e   w a y   pe o pl e   e xpr e s s   o pi n i o n s ,   e xc h a nge   i n f o r m a t i o n ,   a n d   c o nn e c t   w i t h  p r o duc t s   a n d  s e r v i c e s   [1] .   T hi s   e xpa n s i o n   ha s   ge n e r a t e d  l a r ge   v o l um e   o f   c o n t e n t ,   r e v i e w s ,   c o m m e n t s ,   a n d   di s c u s s i o n s   t ha t   r e f l e c t   di f fe r e nt   pe r s pe c t i v e s   a n d    e m o t i o n s   [2] .   S e n t i m e nt   a na l y s i s   (S A )  i s   a l s o   kn o w n   a s   o pi n i o n   m i n i ng  [3] ,   [4]   a n d  us e s   c o m put a t i o na l   t e c hn i q ue s   t o   a u t o m a t i c a l l y   i de n t i f y ,   e xt r a c t ,   a n d   a na l y z e   s ub j e c t i ve   o pi n i o n s   a n d   e m o t i o n s   f r o m   t e xt   [ 5] .   It   c l a s s i f i e s   t h e   v i e w p o i n t s   e xp r e s s e d  a b o ut   pa r t i c ul a r  s ub j e c t s ,   t hi n gs ,   o r   e v e n t s   us i n g  d i f f e r e n t   t e rm s   s uc h  a s   po s i t i v e ,   n e g a t i v e ,   o r   n e ut ra l   [6 ] .   S A   m o n i t o r e d  i n v e s t o r   b e ha v i o r   a nd  m a r ke t   t r e n ds   i n   f i na n c e   i n dus t r y   [7] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m p  S c i ,  V o l .   42 ,   N o .   2 ,  M a y   20 2 6 :   3 91 - 402   392   T h e   c o m pa ni e s   c o l l e c t   d a t a   f r o m   n e w s ,   a r t i c l e s ,   s o c i a l   m e di a   po s t s ,   a n d   o t h e r  s o ur c e s   t o   u nde r s t a n d   t h e   m a rke t   s e nt i m e nt s   o f   c o n s um e r s   [8] .   S A   i m p r o v e s   r i s k  a s s e s s m e n t s   a n d  c o m b i n e s   m a r ke t   da t a   w i t h  m a c r o e c o n o m i c   i ndi c a t o r s   t o   s t r e n g t h e n   de c i s i o n - m a ki ng   [9] .   It   i s   us e d   o n  T w i t t e r,   F a c e b oo k,   a n d   I n s t a g ra m .   In  s uc h  pl a t f o r m s ,   b i l l i o n s   o f   us e r s   a r e   ge n e ra t i n g   c o n t e n t   da i l y   a n d   a r e   t h e   r e a l - t i m e   r e po s i t o r i e s   o f   pub l i c   o pi n i o n .   S A   a l s o   i m p r o v e s   c us t o m e r   e xpe r i e n c e   a n d  m a r ke t   c o m pe t i t i v e n e s s   i n  di g i t a l   c o m m e r c e .   T o  de t e r m i n e   c us t o m e r  p r e f e r e n c e s ,   i de n t i fy   di s s a t i s f a c t i o n,   a n d  f o r e c a s t   pu r c ha s i n g   b e h a v i o r ,   e - c o m m e r c e   pl a t f o r m s   e xa m i n e   p r o duc t   r e v i e w s ,   fe e d b a c k,   a n d   s e r v i c e   i n t e r a c t i o n s   [8] .   T h e   h e a l t h c a r e   s y s t e m   us e s     SA - dri v e n   t e c hn i q ue s   a n d   e xa m i n e s   e l e c t r o n i c   h e a l t h   r e c o r ds ,   o n l i n e   h e a l t h   f o r u m s ,   a n d   p a t i e nt   r e v i e w s   [10] .   In  l i t e r a t u r e ,   s t ud i e s   h a v e   a p pl i e d  na t u ra l   l a n gu a ge   p r o c e s s i n g   (N L P )  a nd  M L   t e c hni que s   f o r   s e n t i m e n t   a n a l y s i s .   F o r  e xa m pl e ,   H o t a   e t   a l .   [ 11]   a ppl i e d  l e xi c o n - b a s e d  a nd   V A D E R   s e n t i m e n t   a n a l y s i s   o n   T w i t t e r  da t a .   I n  o r de r   t o   c a t e go ri z e   pub l i c   s e n t i m e n t   a s   po s i t i v e ,   n e ut r a l ,   o r   n e g a t i v e ,   d a t a   w e r e   ga t h e r e d  f r o m   s i x  c o un t r i e s   du ri n g  t h e   CO V ID - 19  o ut b r e a k .   T h e   r e s ul t s   s how e d  n e ga t i v i t y   i n   t h e   U K   a n d  F ra n c e ,   w h i l e   i n   In d i a ,   t h e   n e ga t i v i t y   r o s e   a f t e r  t h e   l o c kdow n .   T h e   c o n t e xt ua l l y   e nr i c h e d   g r a p h  n e u r a l   n e t w o r k    (CE - G N N )  w a s   de v e l o pe d  by   J i n   a nd  Z h a n g   [1]   t o   e nha n c e   s e n t i m e n t   a na l y s i s   i n  C h i n e s e   m i c r o b l o gs .   T h e y   c o m b i n e d  s e l f - s upe r v i s e d  l e a rni n g ,   c o n t e x t   s e nt i m e nt   e m b e ddi n gs ,   a nd  G N N s   t o   ha n d l e   c o m pl e x  s e n t e n c e   s t ruc t u r e s   a n d   s e nt i m e nt   pa t t e rn s .   K ha n  e t   a l .   [ 12]   e m pl o y e d  t h e   i nt e l l i ge n t   h y b r i d   f e a t u r e   s e l e c t i o n  f o r   s e n t i m e n t   a na l y s i s   (IH F S S A ).   It   a d d r e s s e d  t h e   h i g h  d i m e n s i o n a l i t y   of   un s t r uc t u r e d  us e r - ge n e ra t e d  c o n t e nt   by   c o m b i n i ng   w r a p pe r - b a s e d   a n d   e n s e m b l e   f i l t e r  a pp r o a c h e s .   A c c ura c y   h a s   i n c r e a s e d  i n  v a r i o us   b e n c h m a r k   da t a s e t s   due   t o   t h e   s m a l l e r  f e a t u r e   s pa ce.   G o ka l p  e t   al .   [ 13]  e m p l oy e d  t h e   i t e r a t e d  g r e e d y   (IG )  m e t a h e u ri s t i c   t o   i m p r o v e   s e n t i m e n t   c l a s s i f i c a t i o n  us e d   a nd   us e d  a m a z o n  r e v i e w   a n d   pub l i c   s e n t i m e nt   da t a s e t s .   S e m a r y   et   a l .   [ 14]   i n v e s t i g a t e d   t h e   i m p a c t   o f   fe a t u r e   e xt ra c t i o n  t e c hn i que s ,   s uc h  a s   B a g - o f - W o r ds ,   W o rd2V e c ,   T F - ID F ,   N - g ra m s ,   H a s h i ng  V e c t o r i z e r,   a nd  G l o V e   o n   S A   pe r f o r m a n c e .   T h e   f e a t ur e   e x t r a c t i o n   t e c hni que s   us e d  w i t h  t h e   r a ndo m   f o r e s t   ( RF )   c l a s s i f i e r   a nd  t h e   T F - ID F   ha v e   a n  a c c u r a c y   of   99%  o n  a m a z o n  r e v i e w s   a n d   96 %  o n  T w i t t e r  d a t a .   A l   S a ri   e t   a l .   [1 5]  de v e l o pe d  S A   da t a s e t s   f r o m   I n s t a g ra m ,   S n a p c h a t ,   a nd  T w i t t e r  t o   e xa m i n e   pub l i c   i m p r e s s i o n s   of   S a udi   c r u i s e s .   T h e y   e m pl oy e d  M L   a l go r i t hm s   s uc h  a s   M L P ,   na ï v e   b a y e s   ( NB ) ,  s uppo rt   v e c t o r   m a c hi n e   ( SVM ) ,   R F ,   a n d   v o t i n g .   T h e   R F   m o de l   a c c u ra c y   w a s   100   % .   M u k h e r j e e   e t   al .   [ 16 ]   e x a m i n e d   t h e   e f f e c t   o f   n e g a t i o n s   o n  s e nt i m e nt   po l a ri t y   de t e c t i o n  us i ng  a   c us t o m i z e d   n e g a t i o n   m a r k i ng  a l go r i t hm .   T h e y   us e d  a m a z o n  p r o d uc t   r e v i e w s   da t a   a nd  a p pl i e d   d i f f e r e nt   c l a s s i f i e r s   s uc h  a s   S V M ,   NB ,  a rt i f i c i a l   n e u ra l   n e t w o r k  ( ANN ) ,   a nd  r e c u rr e nt   n e u ra l   n e t w o rk  ( R N N ) .   T h e   R N N   a c hi e v e d  a n  a c c u ra c y   of   95 . 67 % .   N o o ri   [1 7]   de v e l o pe d  a   f r a m e w o r k   f o r   c l a s s i fy i ng  c us t o m e r  s e nt i m e nt s   a nd   us e d   r e v i e w s   c o l l e c t e d   f r o m   a n  i nt e rna t i o na l   h o t e l .   T h e y   a p pl i e d   T F - ID F   f o r   f e a t u r e   e xt ra c t i o n  a n d   t e s t e d   s e v e ra l   m o de l s .   T he   de c i s i o n  t r e e   (D T )   ha s   a n  a c c u ra c y   o f   98. 9 % .   L o n g  s h o r t - t e rm   m e m o r y   ( L S T M )   n e t w o r ks   a r e   e xt e n s i v e l y   e m pl oy e d  i n  s e nt i m e nt   a n a l y s i s   due   t o  t h e i r   e f fe c t i ve n e s s   i n   m o de l i n g  l o n g - t e r m   de pe n de n c i e s .   Cha t t e r j e e   e t   al .   [18]   e m pl o y e d  a   m u l t i c h a nn e l   L S T M   m o de l ,   S S - B E D ,   f o r   e m o t i o n  de t e c t i o n  i n  t w e e t s .   G l o V e   a nd  a   s e nt i m e nt - s pe c i f i c   w o r d  e m b e ddi n g   (S S W E )  w e r e   us e d,   a l o ng  w i t h   t hr e e   s e que nt i a l   L S T M   l a y e r s ,   t o   m o de l   c o n t e xt u a l   de pe n de n c i e s   [19] .    L i   a nd  N i n g   [20]   i nt r o duc e d  a   h y b r i d   CN N – L S T M   m o de l   f o r   C hi n e s e   n e w s   t e xt   c l a s s i f i c a t i o n.   T h e   L S T M   w a s   us e d  t o   c a pt u r e   l o n g - t e rm   de pe n de n c i e s ,   a nd   a   s ha l l o w   c o n v o l ut i o n a l   n e u r a l   n e t w o r k  ( CN N )   w i t h  m a x  po o l i n g   w a s   us e d  t o   e xt ra c t   s e m a n t i c   f e a t u r e s .   T h e   m o de l   s h o w e d  b e t t e r   pe r f o r m a n c e   o n  t h e   N e w s   da t a s e t .   L i u   a n d   G uo   [21]   de v e l o p e d  A C - B i L S T M   m o de l   t h a t   c o m b i n e s   b i di r e c t i o n a l   L S T M ,   CN N ,   a n d  a n  a t t e n t i o n   m e c h a ni s m   [22] .   B a s i r i   e t   al   [23] .   a ppl i e d  a n   a t t e nt i o n - b a s e d  b i di r e c t i o n a l   CN N - R N N   de e p  m o de l   (A B CD M )  fo r   s e n t i m e n t   a na l y s i s .   T h e y   i nt e gra t e d   B i L S T M   a n d   G R U   w i t h  a n  a t t e n t i o n  m e c h a ni s m   t o   c a pt u r e   c o n t e xt ua l   de pe n de n c i e s .   T h e   h y b r i d  m o de l   us e d  c o n v o l ut i o na l   a nd  po o l i n g   l a y e r s   t o   r e duc e   di m e n s i o na l i t y   a n d  e xt ra c t   l o c a l   f e a t ur e s .   A B CD M   pe r f o r m e d  b e t t e r  a s   c o m pa r e d  t o   t h e   o t h e r   D L   m o de l s .   A b i m b o l a   e t   al .   [24]   de ve l o pe d  a   CN N – L S T M   f ra m e w o r k  f o r   l e ga l   s e n t i m e n t   a na l y s i s   i n   C a na di a n   m a ri t i m e   c a s e   l a w .   T h e   m o de l   a c hi e v e d  98. 05%   a c c ur a c y .   T h e   S V M ,   NB ,   a n d   l o gi s t i c   r e gr e s s i o n  ha d   a c c ura c y   o f   52. 57% ,   5 7. 4 4%,   a n d   61. 86 %  r e s pe c t i v e l y .   A l s e ka i t   e t   al .   [25 ]   p r o po s e d  a   s e n t i m e nt   a na l y s i s   f r a m e w o r k  fo r   F a c e bo o k  a n d  T w i t t e r  po s t s   by   c o m b i n i ng  f i v e   M L   t e c hn i que s   w i t h   t hr e e   de e p  l e a rni n g   m o de l s .   T h e   L S T M   ha s   a n  a c c u r a c y   of   0. 99   o n  F a c e boo k  da t a .   T h e   f r a m e w o r k  a l s o   s h o w e d  s i g n i f i c a n t   i m p r o v e m e n t s   i n  o t h e r  m e t ri c s .   It   i m p r o v e d  pr e c i s i o n   by   1. 23%,   r e c a l l   b y   11. 11%,   a n d   F 1 - s c o r e   by   3. 61%.   A l h a y a n   a n d   H i m d i   [26]   de v e l o pe d  a n  e n s e m b l e   l e a rni ng  f ra m e w o r k  t o   de t e c t   h u m a n -   a n d   c o m put e r - ge n e ra t e d   A r a b i c   r e v i e w s .   T h e   s o f t - v o t i n g  m o de l   c o m b i n i n g   L R   a n d   CN N   a c h i e v e d  89. 70%   a c c u r a c y ,   c l o s e   t o   A r a B E R T ’s   90. 0 %.   L i ngui s t i c   a n a l y s i s   s h o w e d  c o m put e r - ge n e ra t e d   r e v i e w s   us e d  m o r e   a dj e c t i v e s   a n d   h e l pe d  t o   di s t i ngui s h  t h e m   f r o m   ge n u i n e   o n e s .   B a y a z e d  e t   a l .   [27]   i n t r o duc e d  t h e   A r a b i c   c o m pa r a t i v e   o pi ni o n  m i ni n g   (A CO M )   a p p r o a c h  a nd   c o n s t r uc t e d  a   do m a i n - s pe c i f i c   A CO M   c o r pus   f r o m   t h e   X   pl a t f o r m   f o r   t h e   c o m pa ra t i v e   o pi ni o n s   i n  t h e   t e c hn o l o g y   s e c t o r .   T h e y   e v a l ua t e d   CN N ,   L S T M ,   a nd   B i L S T M   m o de l s   a n d  a c hi e v e d  91%  f o r   t h e   B i L S T M .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2 5 0 2 - 4 7 52       A   h y br i d   l ar ge   l an guag e   m od e l - gr aph   ne ur a l   n e t w or k   f r am e w or k   f or   A r abi c   s e nt i m e n t   …  ( H ani   Iw i dat )   393   T h e   s i g ni f i c a n t   p r o gr e s s   i n   S A   a c r o s s   m ul t i p l e   l a n gu a ge s   i s   a v a i l a b l e   i n  t h e   l i t e ra t u r e ,   w hi l e   s t udi e s   fo c us i n g  o n   A ra b i c   a r e   l i m i t e d.   T h e   A ra b i c   l a n g ua ge ’s   r i c h   m o r p h o l o gy ,   di a l e c t a l   v a ri a t i o n,   a n d  c o n t e xt - de pe n de nt   s e m a nt i c s   po s e   c h a l l e n ge s   f o r  c o n v e n t i o n a l   t e c hni que s .   D e e p  l e a rni n g   m o de l s   a n d   e m b e ddi n g - b a s e d  t e c h n i que s   ha v e   l i m i t a t i o n s   t o   b a l a n c e   s e m a n t i c   de t a i l s   w i t h   s t r uc t u r a l   p r e c i s i o n.   de e p  n e u ra l   n e t w o r ks   ( DNNs )   a r e   e ff e c t i v e   a t   m o de l i ng  l o n g - r a nge   de pe n de n c i e s   b ut   i n t r o duc e   i rr e l e v a nt   f e a t u r e s   a n d  f a i l   t o   c a pt u r e   s ub t l e   s e n t i m e nt   c ue s .   T h e   t r a di t i o na l   f e a t ur e   e x t r a c t i o n   t e c hn i q ue s   ha v e   l i m i t e d  c l a s s i f i c a t i o n   a c c ur a c y .   In  t h i s   s t u dy ,   a   h y b r i d   l a r ge   l a ngua ge   m o de l - gra p h  n e u ra l   n e t w o r k  (L L M – G N N )  f ra m e w o r k  i s   us e d  fo r   A ra b i c   s e n t i m e n t   a na l y s i s .   T h e   L L M   c a pt u r e s   c o n t e xt u a l   de pe n de n c i e s   a nd  s e m a n t i c   v a ri a t i o n s ,   w h i l e   G N N s   e xpl i c i t l y   m o de l   s y n t a c t i c   a n d  r e l a t i o na l   s t r uc t u r e s   t h a t   s e que nt i a l   m o de l s   t e n d  t o   ov e r l o o k.   T h e   c o n t ri b ut i o n s   o f   t h e   s t udy   a r e :     B a l a n c e d  A r a b i c   s e n t i m e nt   d a t a s e t   w a s   s y n t h e t i c a l l y   ge n e r a t e d  us i n g  m a nua l l y   c ur a t e d   M o de rn   S t a n d a r d  A ra b i c   (M S A )  s e e d  s e n t e n c e s .     T h e   h y b r i d  f ra m e w o r k  w a s   de v e l o p e d  t o   i n t e g ra t e   A r a B E R T   v 2  f o r   c o n t e xt ua l   f e a t u r e   e xt ra c t i o n  w i t h   a   GNN.     T h e   f ra m e w o r k  w a s   t ra i n e d  a n d   e v a l ua t e d  a g a i n s t   b a s e l i n e   m o de l s ,   a n d   t h e   pe r f o r m a n c e   w a s   m e a s u r e d.   T h e   st udy   h a s  b e e n   o r g a n i z e d   i n t o   s e c t i on s,   S E CT IO N   2  D E S CR IB E S   T H E   M E T H O D O L O G Y ,   S E CT IO N   3   D IS CU S S E S   T H E   R E S U L T S   A N D   D IS C U S S IO N   A N D   S E CT IO N   4   IN CL U D E S   T H E   CO N CL U S IO N .         2.   M ET H O D   2. 1 .     D atas e t   d e s c r i p ti o n   In  t h i s   s t udy ,   t h e   pub l i c l y   a v a i l a b l e   d a t a s e t   f r o m   K a gg l e   i s   us e d.   I t   ha s   a n  A ra b i c   100 k   R e v i e w s   da t a s e t   de s i g n e d   f o r   A ra b i c   s e nt i m e n t   a na l y s i s   t a s ks   [2 8 ] .   T h e   da t a s e t   i s   c o l l e c t e d  f r o m   e - c o m m e r c e   pl a t f o r m s ,   h o s pi t a l i t y   s e r v i c e s ,   a n d   p r o duc t   r e v i e w s   a nd  ha s   99 , 999   a ut h e n t i c   A ra b i c   t e xt   r e v i e w s .     T h e   ge n u i n e   l i ngui s t i c   p a t t e rn s   a n d   s e n t i m e n t   e xp r e s s i o n s   i n  t h e   d a t a s e t   r e p r e s e nt   t h e   r e a l - w o r l d  A ra b i c   t e xt .   T h e   c o r pus   ha s   a   b a l a n c e d  di s t r i b ut i o n   a c r o s s   t hr e e   s e n t i m e nt   c l a s s e s :   po s i t i v e ,   n e ga t i v e ,   a nd  m i xe d  (3 3, 3 33  s a m pl e s   pe r  c l a s s ).   T h e   b a l a n c e d  d i s t r i b ut i o n   p r e v e n t s   c l a s s   i m b a l a n c e   i s s ue s   t ha t   c o ul d  po t e nt i a l l y   b i a s   t h e   m o de l ' s   l e a rni n g  p r o c e s s .   T h e   da t a s e t   ha s   d i s t i n c t   s e nt i m e nt   e xpr e s s i o n s   s uc h   a s   e xp l i c i t   p ra i s e   a n d   c ri t i c i s m ,   n u a n c e d  m i xe d  o pi n i o n s ,   a n d   v a r i e d  l i ngui s t i c   pa t t e rn s   c ha r a c t e r i s t i c   o f   a ut h e n t i c   A r a b i c   us e r - ge n e r a t e d  c o n t e n t .   T h e   s a m pl e   o f   da t a   w i t h   9 , 99 9  r e v i e w s   w a s   s e l e c t e d  f o r   t ra i ni n g   a nd  e v a l u a t i o n   o f   t h e   m o de l .   It   e n s u r e s   c o m put a t i o na l   e f f i c i e n c y   a n d  m a i n t a i n s   t h e   1 : 1: 1   c l a s s   ra t i o   f o r   e a c h  s e n t i m e nt   c a t e go r y .   T h e   d a t a s e t   di s t r i b ut i o n  i s   gi v e n  i n  F i gu r e   1 .   T h e   m o rp h o l o gi c a l   a n d   d i a l e c t i c a l   v a ri a t i o n s   p r e s e nt   i n  t h e   A r a b i c   t e x t   a r e   c ove r e d  i n   t h e   s a m pl e .   T h e   da t a s e t   w a s   di v i de d  i n t o   80/ 2 0  fo r   t h e   t ra i ni n g   a n d   t e s t i ng  o f   t h e   h y b r i d  m o de l .   T h e   7 , 999   s a m p l e s   f r o m   e a c h  c l a s s   w e r e   us e d  f o r   t h e   t r a i n i n g,   a n d   2 , 000   f o r   t h e   t e s t i n g .   T h e   t ra i ni n g   s e t   ha s   666  n e g a t i v e ,   66 7  po s i t i v e ,   a n d   667   m i xe d  s a m pl e s .   It   m a i nt a i n s   t h e   o r i g i n a l   c l a s s   r a t i o   f o r   t h e   e v a l u a t i o n   m e t r i c s   a nd  p r e v e n t s   di s t r i b ut i o n   s hi f t   b e t w e e n   t ra i ni n g   a n d   e v a l ua t i o n  p h a s e s .           F i gu r e   1 .   D a t a s e t   s t r uc t u r e :   b a l a n c e d  di s t ri b ut i o n   o f   9, 999   s a m pl e s   a c r o s s   t hr e e   s e nt i m e nt   c l a s s e s     (33. 3 %  e a c h ) ,   e qua l   c l a s s   r e p r e s e n t a t i o n  (3 , 333s a m p l e s   pe r  c l a s s ),   a nd  s t ra t i f i e d  80 : 20    t r a i n - t e s t   s pl i t   w i t h  c l a s s   b a l a n c e       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m p  S c i ,  V o l .   42 ,   N o .   2 ,  M a y   20 2 6 :   3 91 - 402   394   2. 2 .    D ata   p r e p r o c e s s i n g   an d   to k e n i z ati o n   T h e   p r e p r o c e s s i n g  p i pe l i n e   i s   a   m u l t i s t a ge   a pp r o a c h  f o r   m o de rn  s t a nda r d   A ra b i c   (M S A )  t e x t ,   a nd  i t   ha s   di f f e r e n t   r e qui r e m e nt s   a s   c o m pa r e d   t o   d i a l e c t a l   A ra b i c .   T h e   d a t a s e t   c o n t a i n s   o n l y   M S A   t e xt ,   a s   s h o w n   b y  fo r m a l   c o n s t r uc t i o n s   s uc h   a s   " ة ي ا غ ل ل   ة ئ ي س   ة م د خ "   (v e r y   b a d  s e r v i c e )  r a t h e r   t ha n   d i a l e c t a l   v a r i a nt s   s uc h   a s   E gy pt i a n  " ي و أ   ة ش ح و   ة م د خ "   o r  L e v a nt i n e   " ا ر ي ث ك   ة ئ ي س   ة م د خ   " .   It   a l l o w s   f ul l   us e   o f   t h e   A r a B E R T   v 2  t o ke n i z e r,   w h i c h  w a s   t r a i n e d   o n   7 0  m i l l i o n  M S A   s e n t e n c e s   d r a w n   f r o m   n e w s   a r t i c l e s ,   W i ki pe di a ,   a nd  o nl i n e   s o ur c e s .   T h e   M S A   de s i gn  ha s   a dv a n t a ge s   s uc h   a s   t h e   t o ke n i z e r  c o v e r s   98. 6 %  o f   t h e   v o c a b ul a r y   i n  t h e   da t a s e t   c o m pa r e d  t o   o nl y   73%  w h e n   a ppl i e d  t o   di a l e c t a l   t e xt .   I t   do e s   n o t   r e qui r e   e xt ra   p r o c e dur e s   l i ke   c o de - s w i t c h i n g  de t e c t i o n ,   di a l e c t a l   m o r p h o l o gi c a l   a n a l y s i s ,   o r   t r a n s l i t e ra t i o n   n o rm a l i z a t i o n ,   w hi c h  a r e   us ua l l y   n e c e s s a r y   w h e n   pr o c e s s i n g  m i xe d  A r a b i c   v a r i e t i e s .   T h e   M S A   s i m p l i f i e s   p r e p r o c e s s i n g  pi pe l i n e   w h i l e   i m p r o v e s   m o de l   pe r f o r m a n c e .   T h e   di a l e c t a l   A ra b i c   h a s   h i g h   o r t h o g r a p h i c   v a ri a b i l i t y   (t h e   w o r d  " w h a t "   a l o n e   ha s   15 +   di a l e c t a l   v a r i a t i o n s :       ، و ن ش   ، ه ي أ   ، ش ي إ   ، و ش شو ،  e t c . ),   w h i l e   M S A   m a i nt a i n s   c o n s i s t e n t   o rt h o gra p h y   t ha t   a l i g n s   pe r f e c t l y   w i t h   A ra B E R T ' s   pr e - t ra i ni n g   c o r pus .   T h e   p r e p r o c e s s i n g  pi pe l i n e   e m pl o y s   t a r ge t e d  n o rm a l i z a t i o n s   t o   t h e   M o de r n  S t a nda rd  A ra b i c .   V a ri a t i o n s   o f   A l i f   ( آ   ، إ   ، أ )  a r e   s t a nda rdi z e d   i n  b a s e   fo r m   ( ا ) ,   r e duc e s   v oc a b ul a r y   s pa r s i t y   by   15 - 20%.   M S A   t e xt   o n   di g i t a l   p l a t f o r m s   l a c ks   f ul l   v o c a l i z a t i o n  a n d  D i a c r i t i c a l   m a r ks   a r e   a l s o   r e m o v e d.   T h e   t o ke n i z a t i o n   p r o c e s s   us e s   W o r dP i e c e   s e gm e n t a t i o n   f o r   M S A ' s   m o r p h o l o gy ,   de c o m pos i n g  w o r ds   l i ke   " نو ب هذي س و "   i n t o   m e a n i ngf ul   s ub - u n i t s   [" نو ##"   , " به ذ ##"   , " ي س ##"   , " و " ].   T h e s e   s ub - uni t s   p r e s e r v e   t h e   c o n j un c t i o n,   a s pe c t   m a r ke r ,   t r i l a t e r a l   r o o t ,   a n d   i n f l e c t i o na l   s uf f i x.   T h e   s y s t e m a t i c   de c o m po s i t i o n   i s   e f fe c t i ve   i n  M S A   b ut   i s   o f t e n   l e s s   r e l i a b l e   f o r   di a l e c t a l   A r a b i c ,   w h i c h   do e s   n o t   fo l l ow   t h e   s a m e   c o n s i s t e n t   m o r p h o l o gi c a l   p a t t e rn s .   M S A s   p l a y   a   s i g ni f i c a n t   r o l e   i n  e na b l i n g   s y s t e m a t i c ,     w e l l - s t r uc t u r e d  d a t a   o r g a n i z a t i o n.   T h e   da t a   o r ga ni z a t i o n   ha s   a n   a v e ra ge   t e xt   l e n g t h   o f   a ppr o xi m a t e l y   250   c h a ra c t e r s .   It   ha s   M S A ' s   p r e di c t a b l e   s e n t e n c e   s t ruc t u r e .   D y n a m i c   b a t c h i ng   ut i l i z e s   d a t a   e f f i c i e n c y   by   pa ddi n g   e a c h   64 - s a m p l e   b a t c h   t o   i t s   m a x i m u m   l e n g t h,   r a t h e r   t ha n   t h e   f ul l   12 8  t o ke n s   a n d  i t   r e duc e s   c o m put a t i o n a l   ov e r h e a d .   T h e   M S A - b a s e d  pr e p r o c e s s i n g  p i pe l i n e   a c hi e v e s   f ul l   v oc a b ul a r y   c o ve r a ge   o n   t h e   t e s t   s e t   w i t h o ut   de pe n di n g   o n  d i a l e c t - s pe c i f i c   t oo l s   s uc h   a s   M A D A R   c o r pus   m a pp i n gs   o r   di a l e c t   i de nt i f i c a t i o n   m o dul e s .     2. 3 .    H yb r i d   LL M - G N N   a r c h i t e c tu r e   T h e   H y b r i d  f ra m e w o r k  i s   gi v e n   i n   F i gu r e   2   a n d   i t   i n t e g ra t e s   t h e   c a p a b i l i t i e s   o f   l a r ge   l a n gu a ge   m o de l s   w i t h  t h e   r e l a t i o na l   l e a rni n g   s t r e n gt h s   o f   gr a p h  ne ur a l   n e t w o r ks .   It   h a s   m u l t i pl e   i n t e r c o nn e c t e d  c o m po n e n t s   t h a t   c a pt u r e   b o t h  s e m a nt i c   a n d   s t r uc t u ra l   p a t t e rns   i n  s e n t i m e nt   a n a l y s i s .           F i gu r e   2 .   H y b r i d   L L M - G N N   f r a m e w o r k  f o r   A ra b i c   s e n t i m e nt   a n a l y s i s       2. 3 . 1 .   A r a BER T   v 2  b ac k b o n e   T h e   h y b r i d  a r c h i t e c t ur e   e m pl oy s   A r a B E R T   v 2  ( ' a ub m i nd l a b / b e r t - b a s e - a r a b e r t v 2' ) ,   a   p r e - t r a i n e d  t r a n s f o r m e r   m o de l   de v e l o pe d  s pe c i f i c a l l y   fo r   A r a b i c   l a ngu a ge   u nde r s t a n d i n g   [29] .   T h e   m o de l   f un c t i o n s   a s   t h e   p ri m a r y   fe a t u r e   e xt ra c t o r ,   u t i l i z i n g   i t s   12 - l a y e r   t r a n s f o rm e r  de s i g n  w i t h  768 - d i m e n s i o n a l   hi dde n  s t a t e s .   F o r   e a c h   i nput   s e n t e n c e ,   t h e   m o de l   ge n e r a t e s   c o n t e xt u a l i z e d  r e p r e s e n t a t i o n s   t hr o ug h   m u l t i - h e a d  s e l f - a t t e nt i o n  m e c h a ni s m s .   T h e   [CL S ]   t o ke n  e m b e ddi n g   f r o m   t h e   f i n a l   t ra n s f o r m e r  l a y e r   i s   e xt r a c t e d   a s   a   768 - d i m e n s i o n a l   de n s e   v e c t o r ,   r e p r e s e n t i n g  t h e   s e n t e n c e - l e v e l   s e m a nt i c   i n f o rm a t i o n.   F i n e - t u n i ng  i s   c a rri e d  o ut   t o   a d a pt   t h e   p r e - t ra i n e d  m o de l   t o   t h e   s e nt i m e nt   c l a s s i f i c a t i o n  t a s k.   I n  t hi s   c o n f i gur a t i o n ,   o n l y   t h e   t ra n s f o r m e r  l a y e r s   a r e   upda t e d  du ri n g   t ra i ni n g ,   w hi l e   t h e   e m b e ddi n g  l a y e r   r e m a i n s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2 5 0 2 - 4 7 52       A   h y br i d   l ar ge   l an guag e   m od e l - gr aph   ne ur a l   n e t w or k   f r am e w or k   f or   A r abi c   s e nt i m e n t   …  ( H ani   Iw i dat )   395   f r o z e n .   F r e e z i ng  t h e   e m b e ddi n g  l a y e r   p r e s e r v e s   t h e   o ri gi na l   l e xi c a l   r e p r e s e n t a t i o n s   l e a rn e d  du r i ng    pr e - t ra i ni n g   a n d   r e duc e s   t h e   n u m b e r   o f   t ra i na b l e   pa ra m e t e r s .   T h e   a pp r o a c h  a l l o w s   t h e   m o de l   t o   l e a rn    t a s k - s pe c i f i c   s e n t i m e n t   f e a t u r e s   w i t h o ut   o v e r r i d i n g   i t s   ge n e ra l   l i n gu i s t i c   k n o w l e dge .     ℎ [ C L S ] = A r a B E RT ( t o k e n s ) [ 0 ]   (1)     w h e r e   ℎ [ ] ∈ ℝ 768   i s   t h e   e xt ra c t e d  s e nt e n c e   e m b e ddi n g  a n d    r e p r e s e n t s   t he   t o ke n i z e d   i nput   s e que n c e .     2. 3 . 2 .   G r ap h   c o n s tr u c ti o n   an d   G C N - b as e d   r e p r e s e n tati o n   l e ar n i n g   A   g r a p h  i s   c o n s t r uc t e d  f o r   e a c h   m i ni - b a t c h   t o   m o de l   r e l a t i o ns h i ps   a m o n g   s e nt e n c e s .   F o r   a   b a t c h   o f     s e n t e n c e s ,   a   c o s i n e   s i m i l a ri t y   m a t ri x   ∈ ℝ × i s   c o m put e d  us i n g   t h e   [ CL S ]  e m b e ddi n gs   [30] :      = ℎ ⋅ ℎ | ℎ | ⋅ | ℎ |   (2)     w h e r e   ℎ a nd  ℎ r e p r e s e nt   t h e   [CL S ]  e m b e ddi n gs   o f   s e n t e n c e s     a nd   .   T o   fo r m   t h e   g ra p h   s t r uc t u r e ,   e a c h  s e nt e n c e   n o de   s e l e c t s   i t s   f i v e   m o s t   s i m i l a r   n e i g h b o r s ,   a nd  a n  e dge   i s   a dde d  w h e n   t h e   s i m i l a r i t y   e xc e e ds   0. 7.   T hi s   s t e p  r e t a i n s   o nl y   s e m a n t i c a l l y   m e a ni n gf ul   l i n ks   w hi l e   a v o i di n g   a   f ul l y   de n s e   g ra p h.   T h e   a d a p t i v e   t hr e s h o l di n g   m e c h a ni s m   i s   us e d   f o r   t h e   g ra p h  t o po l o g y .   In  t h e   g ra p h   c o n s t r uc t i o n   p r o c e s s ,   f i ve   n e a r e s t   s e m a nt i c   n e i g h b o r s   f o r   e a c h   n o de   a r e   s e l e c t e d.   W h e n   t h e   s i m i l a r i t y   t hr e s h o l d  i s   a b o ve   0. 7,   t h e   e dge s   a r e   c r e a t e d.   T h e   r e l e v a n t   s e m a n t i c   r e l a t i o n s hi ps   a r e   c a p t u r e d,   a n d   c o m put a t i o n a l   e f f i c i e n c y   i s   i m p r o v e d.   If   t h i s   r e s ul t s   i n  i s o l a t e d  n o de s ,   a   f a l l b a c k  k - n e a r e s t   n e i g h b o r s   a pp r o a c h  w i t h   = 5   i s   a pp l i e d  t o   m a i nt a i n  t h e   g ra p h  c o nn e c t i v i t y .   E dge   w e i gh t s   a r e   de ri v e d  f r o m   t h e   c o s i n e   s i m i l a ri t y   v a l ue s .   T h e   g r a p h  i s   u n w e i g h t e d  i n   t h e   c u rr e n t   i m p l e m e nt a t i o n   t o   m a i n t a i n  c o m put a t i o n a l   s i m p l i c i t y .   T h e   r e s ul t i ng  g ra p h  i s   p r o c e s s e d  us i n g  a   t w o - l a y e r   gra p h  c o n v o l ut i o na l   n e t w o r k  (G CN ),   a n d   i t   upd a t e s   e a c h  n o de   r e p r e s e n t a t i o n  by   a gg r e ga t i n g   i n f o r m a t i o n   f r o m   i t s   n e i g h b o r s   [3 0] .   T h e   l a y e r - w i s e   pr o pa g a t i o n   i s   g i v e n   a s :     ( + 1 ) = ( ̃ ( ) ( ) )   (3)     w h e r e   ( ) i s   t h e   n o de   f e a t u r e s   a t   l a y e r   ,  ̃   i s   t h e   n o rm a l i z e d   a dj a c e n c y   m a t ri x  w i t h  s e l f - l o o ps ,   ( ) i s   t h e   l e a rn a b l e   w e i ght   m a t r i x ,   a n d     i s   t h e   a c t i v a t i o n   f u n c t i o n .   In  o r de r   t o   i m p r o v e   ge n e ra l i z a t i o n ,   t h e   m o de l   a p pl i e s   b a t c h   n o r m a l i z a t i o n   a nd  d r o po ut   (0 . 3)   b e t w e e n   l a y e r s   w h i l e   r e duc i ng  di m e n s i o n a l i t y   i n   s t e ps   (76 8  →  2 56  →  128) .   T h e   m o de l   do e s   n o t   us e   gl o b a l   poo l i ng  b e c a us e   e a c h   n o de   r e p r e s e nt s   a   s i ngl e   s e nt e n c e .   T h e   G CN   o ut put s   a   128 - di m e n s i o na l   r e p r e s e n t a t i o n   f o r   e a c h   s e n t e n c e   a n d   c a pt u r e s   i t s   i n d i v i dua l   s e m a n t i c   c o n t e n t   a nd  r e l a t i o n a l   c o n t e x t   i n   t h e   b a t c h .     2. 4 .    M o d e l   t r ai n i n g   an d   e v al u ati o n   T h i s   s e c t i o n  p r e s e nt s   t h e   f us i o n   m e c h a ni s m ,   m o de l   t ra i ni ng,   a n d   t h e   e v a l ua t i o n   c r i t e ri o n  f o r   t h e   h y b r i d  f ra m e w o r k   a n d   i t s   v a r i a n t s .   S e n t e n c e - l e v e l   r e p r e s e nt a t i o n s   f r o m   t h e   g ra p h  n e u ra l   n e t w o r k  a n d   t h e   l a n gu a ge   e n c o de r   a r e   c o m b i n e d  by   t h e   f us i o n   m e c ha n i s m .   I n  pa r t i c ul a r,   a n   e nri c h e d  89 6 - di m e n s i o na l   f e a t u r e   v e c t o r   i s   c r e a t e d  by   c o n c a t e n a t i ng  t h e   768 - d i m e n s i o na l   A r a B E R T   [CL S ]  e m b e ddi n g   w i t h   t h e     128 - di m e n s i o na l   G CN - de r i v e d  s e n t e n c e   r e p r e s e n t a t i o n :     f us e d = [   ℎ [C L S ]   |   ℎ G C N   ] .   (4)     A   f ul l y   c o n n e c t e d  l a y e r   w i t h   b a t c h   n o r m a l i z a t i o n   a n d  R e L U   a c t i v a t i o n   i s   us e d  t o   p r o j e c t   t h e   f us e d  v e c t o r   i n t o   a   25 6 - di m e n s i o na l   s pa c e :     p ro j = Re L U ( B a t c h N o r m ( p ro j ⋅ f us e d + p ro j ) ) .   (5)     T h e   c l a s s i f i c a t i o n   h e a d   c o n s i s t s   o f   a   f e e d - fo r w a r d  n e t w o r k  w i t h   d r o po ut   ( ra t e = 0 . 5)  a n d   t w o   l i n e a r  l a y e r s   (256→ 128→3) .   T h e   f i n a l   l a y e r   o ut pu t s   l o gi t s   c o rr e s po n d i n g   t o   t h e   t hr e e   s e nt i m e nt   c a t e go r i e s .     T h e   a r c hi t e c t u r e   r e f i n e s   t h e   f e a t u r e   a n d   p r e v e n t s   o v e r f i t t i n g   t hr o ug h  a gg r e s s i v e   d r o po ut   a n d   d i m e n s i o n a l i t y   r e duc t i o n .   T h e   m o de l   i s   t ra i n e d  us i ng  c r o s s - e n t r o py   l o s s   fo r   t hr e e - c l a s s   c l a s s i f i c a t i o n:     ℒ = − ∑ ∑    ( ̂  ) 3 = 1 . = 1   (6)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m p  S c i ,  V o l .   42 ,   N o .   2 ,  M a y   20 2 6 :   3 91 - 402   396   w h e r e     i s   t h e   b a t c h   s i z e ,    i s   t h e   g r o u n d  t rut h   l a b e l ,   a n d  ̂  is   t h e   pr e di c t e d  c l a s s   p r o b a b i l i t y .   T h e   A da m W   o pt i m i z e r  w i t h   a   l e a rni n g   r a t e   o f   2 × 10 − 5   a n d   w e i gh t   de c a y   f o r   i m p r o v e d  ge n e r a l i z a t i o n  i s   us e d.   T h e   t ra i ni n g   s c h e dul e   s p a n s   5 0  e po c h s   a nd  e m p l oy s   Re duc e L R O n P l a t e a u ,   w hi c h  a dj us t s   t h e   l e a rn i ng  ra t e   b a s e d  o n   v a l i d a t i o n   F 1 - s c o r e   s t a g na t i o n.   T h e   f ul l   a r c h i t e c t u r e   c o n t a i n s   a p p r o xi m a t e l y   135. 7M   pa r a m e t e r s ,   w i t h  86 . 1M   t ra i na b l e ,   d ue   t o   t h e   f r o z e n  e m b e ddi n g   l a y e r s .   T o   e v a l u a t e   t h e   s pe c i f i c   c o n t ri b ut i o n  of   t h e   g ra p h - b a s e d  r e p r e s e nt a t i o n  l e a rn i ng  c o m po n e n t ,   a n  a l t e rna t i v e   m o de l   v a r i a nt   i s   c o n s t ruc t e d  i n  w h i c h   t h e   g r a p h   m o dul e   i s   r e pl a c e d  by   a n   e i g ht - h e a d  s e l f - a t t e n t i o n  m e c ha n i s m   a pp l i e d  d i r e c t l y   t o   t h e   t o ke n - l e v e l   A ra B E R T   e m b e ddi ngs .   T h e   r e s ul t i n g   a t t e n de d  r e p r e s e nt a t i o n  i s   a v e r a ge d  a nd  t h e n   f u s e d  w i t h  t h e   [ CL S ]  v e c t o r ,   f o l l ow e d  b y  t h e   s a m e   p r o j e c t i o n  a nd   c l a s s i f i c a t i o n  l a y e r s   us e d  i n  t h e   p r i m a r y   m o de l .   T hi s   v a r i a n t   i s   us e d  a s   a n  a b l a t i o n  m o de l   t o   di s t i n gu i s h   t h e   c o n t ri b ut i o n  o f   gra p h - b a s e d  r e l a t i o na l   r e a s o n i ng  f r o m   t h e   e ff e c t s   of   s t a n d a r d  t o ke n - l e v e l   a t t e n t i o n .   M o de l   p e r f o r m a n c e   i s   e v a l u a t e d  us i n g   a c c ura c y ,   p r e c i s i o n ,   r e c a l l ,   a n d   m a c r o - a v e r a ge d  F 1 - s c o r e   i n  o r de r  t o   e n s u r e   b a l a n c e d  a s s e s s m e n t   a c r o s s   t h e   t hr e e   s e nt i m e nt   c l a s s e s .   T h e   c o n f us i o n  m a t ri x   i s   us e d  t o   de s c r i b e   h o w   t h e   m o de l   d i s t i ngui s h e s   b e t w e e n   t h e   s e n t i m e n t   c a t e go ri e s   a n d   t o   f i n d   s y s t e m a t i c   m i s c l a s s i f i c a t i o n  pa t t e rn s .       3.   R ES U LTS   A N D   D I S C U S S I O N   3. 1 .    Tr ai n i n g   d yn am i c s   an d   c o n v e r ge n c e   c h a r ac t e r i s ti c s   T h e   e xpe ri m e nt a l   e v a l ua t i o n   o f   t h e   p r o po s e d  A r a B E R T - G N N   h y b r i d  m o de l   w a s   c o n duc t e d  o n   t h e   h e l d - o ut   t e s t   s e t   c o m pri s i n g   2, 000  i n s t a n c e s   f r o m   t h e   A ra b i c   100k  R e v i e w s   da t a s e t ,   m a i n t a i ni n g     b a l a n c e d  r e p r e s e n t a t i o n  w i t h  666   n e ga t i v e ,   667   po s i t i v e ,   a nd   667   m i xe d   s a m pl e s .   T h e   c o m p r e h e n s i v e   pe r f o r m a n c e   a s s e s s m e nt   de m o n s t ra t e s   s t r o n g  c l a s s i f i c a t i o n   c a pa b i l i t i e s   t ha t   r e f l e c t   r e a l i s t i c   pe r f o r m a n c e   o n  a ut h e n t i c   A r a b i c   t e x t   d a t a .   T h e   m o de l   a c hi e v e s   a n  o ve r a l l   c l a s s i f i c a t i o n   a c c ur a c y   of   66. 80% ,     w i t h   m a c r o - a v e r a ge d  p r e c i s i o n   o f   66. 47% ,   r e c a l l   o f   66. 80%,   a n d   F 1 - s c o r e   o f   66. 55%.   T h e   de t a i l e d  c l a s s i f i c a t i o n   r e po r t   f o r   d i f fe r e nt   s e nt i m e nt   c a t e go ri e s   i s   gi v e n   i n  T a b l e   1.   T h e   m o de l   h a s   F 1 = 0 . 72  f o r   po s i t i v e   s e n t i m e nt   c l a s s i f i c a t i o n,   F 1 = 0. 71  f o r   n e ga t i v e   s e n t i m e n t ,   a n d   F 1= 0 . 56   w i t h   M i xe d  s e nt i m e nt ,   pr e s e nt i n g   t h e   c ha l l e nge .       T a b l e   1 .   C l a s s i f i c a t i o n  pe r f o r m a n c e   m e t ri c s   pe r  s e n t i m e n t   c l a s s   o n  t h e   A ra b i c   100k   r e v i e w s   t e s t   s e t   Cl a s s   P re c i s i o n   Re c a l l   F1 - S c o r e   S u p p o r t   N e g a t i v e   0 . 7 1   0 . 7 1   0 . 7 1   666   P o s i t i v e   0 . 7 0   0 . 7 5   0 . 7 2   667   M i x e d   0 . 5 9   0 . 5 4   0 . 5 6   667   M a c r o   A v g   0 . 6 6   0 . 6 7   0 . 6 7   2000       T h e   t r a i n i ng  dy n a m i c s   o f   t h e   h y b r i d   m o de l   s h o w   s t a b l e   a n d   c o n s i s t e n t   c o n v e r ge n c e   a c r o s s     50 - e po c h s ,   a s   g i v e n   i n   F i gu r e   3.   T h e   l o s s   a n d  a c c ur a c y   c ur ve s   s h ow   i m po rt a nt   i n s i g h t s   a b o ut   m o de l   l e a rni n g   b e h a v i o r   o n   t h e   di v e r s e   A r a b i c   100k   R e v i e w s   da t a s e t .   T h e   l o s s   c ur v e s   de c r e a s e   m o n o t o n i c a l l y   fo r   t ra i ni n g   a n d  v a l i da t i o n   s e t s ,   a n d   t h e r e   i s   n o   ov e r f i t t i n g .   T h e   t r a i n i ng  l o s s   b e gi n s   a t   1. 063  a nd  de c r e a s e s   s ha r p l y   i n   t h e   f i r s t   f e w   e po c h s ,   t h e   s ub s t a nt i a l   c h a n ge   o c c ur s   du ri n g   t h e   f i r s t   10   e po c h s   a nd   t h e n  g ra dua l   de c l i n e s .     T h e   l o s s   s t a b i l i z e s   a t   0 . 16  by   t h e   e nd  o f   t h e   50  e po c h ,   w hi c h   i s   85%  l e s s   t ha n   t h e   s t a rt i n g   v a l ue .   T h e   de c r e a s e   de m o n s t r a t e s   t ha t   t h e   m o de l   s uc c e s s f ul l y   a dj us t e d  t o   t h e   di s t r i b ut i o n  o f   t r a i ni n g  da t a .   T h e   t e s t   l o s s   be gi n s   a t   0 . 96  a n d   de c r e a s e s   t o   0. 74   i n  t h e   f i r s t   f o ur   e po c h .   T h e   i ni t i a l   t e s t   l o s s   i s   l o w   a s   c o m pa r e d  t o   t h e   t ra i ni n g   l o s s ,   a n d   i t   ha s   go o d  i ni t i a l i z a t i o n   a n d   i m m e di a t e   ge n e r a l i z a t i o n   c a p a b i l i t y .   T h e   c o n t i n ue d  r e duc t i o n   i n   t e s t   l o s s   w i t h o ut   di v e r ge n c e   i n di c a t e s   n o   o ve r f i t t i n g .   S ub s e que n t l y ,   t h e   v a l i d a t i o n   l o s s   e xh i b i t s   a   g ra du a l   i n c r e a s e ,   s t a b i l i z i n g  a r o u n d  1 . 14  b y   t h e   f i na l   e po c h .   T h e   d i v e r ge n c e   b e t w e e n   t r a i n i ng  a nd  v a l i da t i o n  l o s s   a f t e r  e po c h   4   i n di c a t e s   t h e   o n s e t   o f   ov e r f i t t i n g ,   a   c o m m o n  p h e n o m e n o n  w h e n  t ra i ni n g   l a r ge   t r a n s f o r m e r - b a s e d  m o de l s   o n  l i m i t e d  d a t a .   T h e   b e s t   m o de l   c h e c kpo i nt   i s   s a v e d  a t   e po c h   4   b a s e d  o n  F 1 - s c o r e .   T h e   a c c u r a c y   c ur v e   i s   gi v e n   i n   F i gu r e   3   f o r   t ra i n i n g   a n d   t e s t   s e t s .   T r a i n i ng   a c c ura c y   s h o w s   c o n t i n uo us   i m p r o v e m e n t   a n d   ri s e s   f r o m   41 . 5%   a t   e po c h   1   t o   a pp r o xi m a t e l y   96%   by   e po c h   50 .   T e s t   a c c ur a c y   s h o w s   ra pi d  i n i t i a l   i m p r o v e m e n t   a nd   i t   r e a c h e s   a t   pe a k   o f  66. 8%   a t   e po c h   4,   t h e n  s t a b i l i z e s   a r o u n d   65 %   f o r   t h e   r e m a i n de r  o f   t ra i ni n g .   T h e   t e s t   a c c u r a c y   s h o w s   t h e   e poc h   4   a s   t h e   o pt i m a l   c h e c kpo i n t   f o r   ge n e ra l i z a t i o n .           Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2 5 0 2 - 4 7 52       A   h y br i d   l ar ge   l an guag e   m od e l - gr aph   ne ur a l   n e t w or k   f r am e w or k   f or   A r abi c   s e nt i m e n t   …  ( H ani   Iw i dat )   397       F i gu r e   3 .   T r a i n i ng  dy n a m i c s :   (t o p - l e f t )  l o s s   c ur v e s   a n d   v a l i d a t i o n   l o s s ,   (t o p - r i g ht )   a c c ura c y   c o n v e r ge n c e   w i t h  t e s t   a c c u r a c y   s t a b i l i z i ng  a r o u n d  6 5 - 67% ,   (b o t t o m - l e f t )  pr e c i s i o n ,   r e c a l l ,   a n d   F 1   t ra j e c t o r i e s ,     a n d  (b o t t o m - r i g ht )   f i na l   pe r - c l a s s   pe r f o r m a n c e   m e t ri c s       3. 2 .    C l as s - w i s e   p e r fo r m an c e   an al ys i s   T h e   m o de l   h a s   p r e c i s i o n  o f   0. 71 ,   r e c a l l   o f   0. 71 ,   a n d   F 1 - s c o r e   of   0. 71 .   O ut   o f   666  n e g a t i v e   t e s t   s a m pl e s ,   476  w e r e   c o rr e c t l y   c l a s s i f i e d  (71. 5%  a c c u r a c y ).   It   i de n t i f i e d  n e ga t i v e   s e n t i m e nt   e xp r e s s i o n s   a nd  s h o w e d  a   de t a i l e d  u nde r s t a n d i n g   o f   l i ngui s t i c   c ue s   s uc h  a s   c r i t i c i s m   pa t t e rn s ,   a dv e r s e   o pi n i o n s ,   a nd  c o n t e xt ua l   i ndi c a t o r s   o f   n e ga t i v i t y .   T h e   p r e c i s i o n   a nd  r e c a l l   s ugge s t   t h a t   t h e   m o de l   n e i t h e r   o v e r - p r e di c t s   n o r  unde r - p r e d i c t s   n e ga t i v e   s e n t i m e n t .   P o s i t i v e   s e n t i m e n t   h a s   p r e c i s i o n  o f   0. 70,   r e c a l l   o f   0. 75 ,   a n d   F 1 - s c o r e   o f   0. 72 .   It   ha s   b e s t   pe r f o r m a n c e   a m o n g  t hr e e   c l a s s e s .   T h e   m o de l   c o r r e c t l y   c l a s s i f i e d  502  o ut   of   667  po s i t i v e   s a m pl e s   (75. 3%   a c c ur a c y ).   T h e   r e c a l l   i s   h i g h  c o m pa r e d  t o   p r e c i s i o n . It   s how s   t ha t   t h e   m o de l   s u c c e s s f ul l y   c a pt u r e s   m o s t   po s i t i v e   i n s t a n c e s .   T h e   M i xe d  c a t e go r y   ha s   p r e c i s i o n  o f   0. 59,   r e c a l l   o f   0. 54,   a nd  F 1 - s c o r e   o f   0. 56 .   O nl y   358  o ut   o f   667  m i xe d  s a m p l e s   w e r e   c o r r e c t l y   c l a s s i f i e d  (53. 7 %  a c c ur a c y ).   T h e   l o w e r   pe r f o r m a n c e   s h o w s   t h e   i nh e r e n t   d i f f i c ul t y   o f   i de n t i f y i n g  m i xe d  s e n t i m e n t s ,   i t   ha s   b o t h   po s i t i v e   a n d   n e ga t i v e   i n di c a t o r s   w i t hi n  t h e   s a m e   t e xt .   T h e   m i xe d  c l a s s   s h o w s   t h e   hi g h e s t   c o n f us i o n  w i t h   b o t h  po s i t i v e   a n d   n e ga t i v e   c a t e go r i e s ,   a s   t h e s e   r e v i e w s   t y pi c a l l y   e xpr e s s   n u a n c e d  o pi n i o n s   t ha t   s ha r e   l i n gu i s t i c   f e a t u r e s   w i t h  b o t h   po l a r  s e n t i m e n t   c l a s s e s .     3. 3 .    C o n fu s i o n   m atr i x   an al ys i s   T h e   m o de l ' s   c l a s s i f i c a t i o n   r e s ul t s   a c r o s s   s e n t i m e nt   c a t e go ri e s   a r e   gi v e n   in   t h e   c o n f us i o n   m a t ri x   in   F i gu r e   4 .   T h e   d i a go n a l   e l e m e n t s   h a v e   c o rr e c t l y   c l a s s i f i e d  i n s t a n c e s   w i t h  n e ga t i v e   a nd   po s i t i v e   s a m pl e s .   I t   h a s   a c c ur a t e l y   i de n t i f i e d  476   n e ga t i v e   s a m p l e s   (71 . 5%)   a n d   502   po s i t i v e   s a m p l e s   (75 . 3% ).   T h e   m i xe d  c l a s s   ha s   l o w   a c c ur a c y   a n d   3 58   i n s t a n c e s   (53 . 7% )  a r e   c o r r e c t l y   c l a s s i f i e d.   T h e   o ff - di a go na l   e l e m e n t s   ha v e   a   h i g h  m i s c l a s s i f i c a t i o n  r a t e   a nd  1 52  i n s t a n c e s   a r e   p r e di c t e d  a s   n e ga t i v e   a nd  1 57  a s   po s i t i v e .   It   s h o w   t h e   i nh e r e n t   a m b i gui t y   i n  t hi s   c l a s s .   N e ga t i v e   s a m p l e s   h a v e   m o de ra t e   c o n f us i o n   a nd  13 8  i n s t a n c e s   a r e   m i s c l a s s i f i e d  a s   m i xe d  a n d   52   a s   po s i t i v e ,   w h i l e   po s i t i v e   s a m pl e s   ha v e   hi g h  di s c r i m i na t i o n  a nd  3 5  i n s t a n c e s   a r e   m i s c l a s s i f i e d   a s   n e ga t i v e   a n d   130   a s   m i xe d.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m p  S c i ,  V o l .   42 ,   N o .   2 ,  M a y   20 2 6 :   3 91 - 402   398       F i gu r e   4 .   Co n f us i o n   m a t r i x   o n  t h e   h e l d - o ut   t e s t   s e t   (2, 0 00  s a m pl e s )  f o r     n e ga t i v e ,   po s i t i v e ,   a n d   m i xe d  s e n t i m e n t   c l a s s e s       3. 4 .    Q u al i ta ti v e   p r e d i c ti o n   an a l ys i s   T h e   p re di c t i o n  p r o b a b i l i t i e s   p r e s e nt e d   i n   F i gu re   5   s ho w s   t he   m o de l ’ s   d i f f e r e nt i a t i o n  b e t w e e n  s e nt i m e nt   c l a s s e s   f o r  re p re s e nt a t i v e   e x a m pl e s .   T he   m o de l   a s s i g ns   hi g h  p r o b a b i l i t y   t o   c l e a rl y   e x p r e s s e d   s e nt i m e nt s .   F o r  t h e   po s i t i v e   c a s e   ( C a s e   1 :   " ز ا ت م م   ج ت ن م ل ا   ا ذ ه   ه ئ ا ر ش ب   ع ي م ج ل ا   ح ص ن أ و "  -   T hi s   p r o duc t   i s   e xc e l l e nt   a nd   I   re c o m m e nd   e v e r y o n e   b uy   i t ) ,   i t   p r e d i c t s   t he   po s i t i v e   c l a s s   w i t h  8 8 . 0 %   c o n f i de n c e ,   a nd   a l l o c a t e s   o nl y   3 . 6%   a nd   8 . 3 %   t o   ne g a t i v e   a nd   M i xe d ,   r e s pe c t i v e l y .   I n  t h e   n e g a t i v e   c a s e   ( C a s e   2 :   "   ا د د ج م   د و د عا   ن ل و خ     ا د ج   ة ئ ي س   ت ن ا ك   ء م ع ل ا   ة م د   "  -   C us t o m e r  s e r v i c e   w a s   v e r y   b a d   a nd   I   w i l l   n o t   re t u rn  a g a i n) ,   i t   p r e d i c t s   t h e   n e ga t i v e   c l a s s   w i t h  7 7 . 9 %   c o n f i de nc e   a nd   s h o w s   s e p a ra t i o n  b e t w e e n   o p po s i ng  s e nt i m e nt s .   F o r  t h e   m i xe d  s e nt i m e nt   c a s e ,   t he   m o de l   ha s   55 - 6 0 %  c o n f i de nc e .   T he   u n c e rt a i nt y   i n  m i x e d   e x p r e s s i o n s   i s   t he   m a j o r  r e a s o n  f o r  t he   l o w   c o n f i de nc e   i n  t he   ne u t ra l   s e nt i m e nt   c a s e .   T he   p r o b a b i l i t y   di s t ri b u t i o n s   s ho w   t ha t   t he   m o de l ' s   c o n f i de nc e   i s   re l a t e d   t o   t he   s e nt i m e nt   c l a ri t y .   S t a t e m e nt s   w i t h  c l e a r  e m o t i o na l   c ue s   ha v e   hi g h  c o n f i de n c e   p re di c t i o n s   ( > 7 5 %) .   T he   b a l a n c e d   o r  u n c l e a r  s t a t e m e nt s   p r o d uc e   e v e nl y   d i s t ri b u t e d   p r o b a b i l i t i e s   a c r o s s   c l a s s e s .   T he   m o de l   ha s   n o   c o n f u s i o n  b e t w e e n  o ppo s i ng   s e nt i m e nt   c l a s s e s   ( po s i t i v e   v s .   n e g a t i v e ) .   T h e   u n c e rt a i nt y   i s   p r e s e nt   i n  t he   n e u t ra l   c l a s s e s .           F i gu r e   5 .   T h e   c o n f i de n c e   s c o r e s   a c r o s s   t hr e e   s e n t i m e n t   c l a s s e s ,   h i g h - c o n f i de n c e   c l a s s i f i c a t i o n s   (77 - 88%)     fo r   po s i t i v e / n e ga t i v e   s e n t i m e n t s   v e r s us   m e di u m   c o n f i de n c e   ( 55 - 60%)   f o r   m i xe d  s e n t i m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2 5 0 2 - 4 7 52       A   h y br i d   l ar ge   l an guag e   m od e l - gr aph   ne ur a l   n e t w or k   f r am e w or k   f or   A r abi c   s e nt i m e n t   …  ( H ani   Iw i dat )   399   3. 5 .    C o m p ar ati v e   p e r fo r m an c e   an a l ys i s   T h e   h y b r i d   m o de l   w a s   c o m pa r e d  w i t h :   i )  f i n e - t u n e d   A ra B E R T   w i t h o ut   g ra p h  c o m po n e n t s ,     i i )  A ra B E R T   w i t h   M L P   c l a s s i f i e r,   i i i )  A ra B E R T   -   B i L S T M   l a y e r   (s h o w n   i n  F i gu r e   6) ,   a n d  iv )  m u l t i l i ngua l   B E R T   (m B E R T )  f i n e - t u n e d  f o r   A ra b i c   s e n t i m e n t   c l a s s i f i c a t i o n .   A s   i l l us t ra t e d  i n   T a b l e   2  a n d   F i gu r e   6 ,   t h e   A ra B E R T - G N N   h y b r i d  m o de l   ha s   i m p r o v e d  pe r f o r m a n c e   a c r o s s   a l l   e v a l ua t i o n   m e t r i c s .   T h e   m o de l   ha s   a n   F1 - s c o r e   of   0. 666 ,   a n d   s h o w s   s i g n i f i c a n t   i m p r o v e m e n t s   o v e r   a l l   b a s e l i n e   a pp r o a c h e s .   F i gu r e   7   p r e s e n t s   t h e   pe r - c l a s s   F 1 - s c o r e   c o m pa ri s o n  f o r   a l l   m o de l .   It   s h o w s   h o w   m o de l s   ha n d l e   i m po rt a nt   p a t t e rn s   i n  v a r i o us   s e n t i m e n t   c a t e go r i e s .   T h e   A ra B E R T - G N N   h a s   i m p r o v e m e n t s   a c r o s s   a l l   t hr e e   s e n t i m e n t   c l a s s e s :   F o r   n e ga t i v e   s e n t i m e n t   c l a s s i f i c a t i o n ,   t h e   pr o po s e d  m o de l   a c hi e v e s   F 1= 0. 71 ,   c o m pa r e d   t o   0. 66   f o r  A r a B E R T   f i n e - t u n e d  a n d   0 . 68   f o r  A r a B E R T + B i L S T M .   It   ha s   i m p r o v e m e n t   o f   7. 6%   a nd   4. 4%,   r e s pe c t i v e l y .           F i gu r e   6 .   Co m p a r a t i v e   pe r f o r m a n c e   a na l y s i s :   (l e f t )  m e t ri c   c o m pa ri s o n  a c r o s s   a l l   m o de l s     s h o w i n g  A ra B E R T - G N N ' s   c o n s i s t e nt   s upe r i o r i t y ,   (ri g h t )   r e l a t i v e   F 1 - s c o r e     i m p r o v e m e n t   o f   t h e   p r o po s e d  m o de l   o ve r   e a c h   b a s e l i n e       T a b l e   2 .   Co m p a r i s o n  o f   t h e   A r a B E R T - G N N   m o de l   w i t h   b a s e l i n e   a pp r o a c h e s   M o d e l   T o t a l   P a ra m s   T ra i n a b l e   A c c u ra c y   P re c i s i o n   Re c a l l   F1 - S c o r e   A ra B E RT - G N N   (P ro p o s e d )   1 3 5 . 7 M   8 6 . 1 M   0 . 6 6 8   0 . 6 6 5   0 . 6 6 8   0 . 6 6 6   A ra B E RT   F i n e - t u n e d   1 2 4 . 1 M   1 2 4 . 1 M   0 . 6 2 1   0 . 6 1 8   0 . 6 2 1   0 . 6 1 9   A ra B E RT   +   Bi L S T M   1 2 8 . 5 M   1 2 8 . 5 M   0 . 6 3 4   0 . 6 3 0   0 . 6 3 4   0 . 6 3 1   A ra B E RT   F r o z e n   +   M L P   1 2 4 . 1 M   1 . 2 M   0 . 5 7 3   0 . 5 6 8   0 . 5 7 3   0 . 5 7 0   m B E RT   F i n e - t u n e d   1 7 8 . 9 M   1 7 8 . 9 M   0 . 5 8 9   0 . 5 8 4   0 . 5 8 9   0 . 5 8 6       T h e   i m p r o v e d  pe r f o r m a n c e   o n  n e ga t i v e   s e nt i m e nt   s ugge s t s   t ha t   t h e   g ra p h  c o m po n e n t   e f fe c t i ve l y   c a pt u r e s   t h e   pa t t e rn s   c ha r a c t e r i s t i c   o f   c r i t i c a l   a n d   n e ga t i v e   re v i e w s .   F o r   po s i t i v e   s e n t i m e n t ,   t h e   i m p r o v e m e n t   i s   m o s t   p r o n o u n c e d,   w i t h   A ra B E R T - G N N   h a v i n g  F 1 = 0. 72  c o m pa r e d  t o   0. 68  f o r   A r a B E R T   f i n e - t u n e d  (5 . 9%   i m p r o v e m e n t ) .   T h e   G N N   i s   e f fe c t i ve   a t   i de nt i fy i n g   a nd   p r o pa ga t i ng  po s i t i v e   s e nt i m e nt   s i g n a l s   a c r o s s   s e m a n t i c a l l y   s i m i l a r  r e v i e w s .   F o r   t h e   m i xe d   s e nt i m e nt   c a t e go r y ,   t h e   m o de l   a c hi e v e s   F 1= 0. 56 ,   a n d   t h e   A ra B E R T   b a s e l i n e   (F 1= 0 . 49)   a nd  a n   i m p r o v e m e n t   o f   14. 3 %.   T h e   s i g ni f i c a n t   i m p r o v e m e n t   s h o w s   t h a t   t h e   G N N   di s a m b i gua t e s   m i xe d  s e n t i m e n t s   b y   us i n g  s i m i l a ri t y   pa t t e rn s   w i t h   n e i g h b o r i ng  r e v i e w s   i n   t h e   e m b e ddi n g  s p a c e .   T h e   e xpe r i m e nt a l   r e s ul t s   o n  t h e   A r a b i c   10 0k   R e v i e w s   da t a s e t   s h o w   t ha t   t h e   h y b r i d   A ra B E R T - GNN  ha v e   b e t t e r  s e n t i m e nt   c l a s s i f i c a t i o n  a s   c o m pa r e d   t o   m u l t i pl e   b a s e l i n e   m o de l s .   T h e   a c c ur a c y   of   66. 8 %   a nd   F 1 - s c o r e   o f   66. 55%  i s   a c h i e v e d.   It   ha s   b e t t e r   pe r f o r m a n c e   l e v e l s   fo r   t hr e e - c l a s s   s e n t i m e n t   c l a s s i f i c a t i o n   o n  us e r  da t a .   T h e   m o de l   ha s   a   s i g ni f i c a n t   i m p r o v e m e n t   o f   5. 5%   t o   16. 8%   r e l a t i v e   F 1 - s c o r e   ove r   a l l   b a s e l i n e ’s   m o de l s .   It   s h o w s   t h e   e f fe c t i ve n e s s   of   a   t ra n s f o r m e r - b a s e d  l a n gu a ge   a n d   g r a p h   n e u r a l   n e t w o r k  m o de l .   T h e   s i g n i f i c a n t   i m p r o v e m e n t s   a r e   o b s e r v e d  o n   t h e   M i xe d  s e n t i m e n t   c a t e go r y   (14. 3%   i m p r o v e m e n t   o v e r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m p  S c i ,  V o l .   42 ,   N o .   2 ,  M a y   20 2 6 :   3 91 - 402   400   A ra B E R T   b a s e l i n e ).   It   s ugge s t s   t ha t   t h e   G N N   c o m po ne n t   i s   i m po r t a n t   f o r  d i s a m b i gu a t i n g   n u a n c e d  s e n t i m e n t s   t h a t   ha v e   bo t h   po s i t i v e   a n d  n e ga t i v e   i n d i c a t o r s .   T h e   s t r o n g  pe r f o r m a n c e   o n   po s i t i v e   (F 1= 0. 72)   a nd  n e ga t i v e   (F 1= 0. 7 1)   s e n t i m e nt s   s h o w s   t h a t   t h e   m o de l   e f fe c t i v e l y   c a pt u r e s   e xpl i c i t   s e nt i m e nt   i n d i c a t o r s   a n d   di s t i ngui s h e s   b e t w e e n   o ppo s i ng  po l a r i t i e s .   T h e   g ra p h  c o m po n e n t   a ppe a r s   t o   r e i n f o r c e   s e nt i m e nt   s i g na l s   by   pr o pa g a t i n g  i n f o r m a t i o n  b e t w e e n   s e m a n t i c a l l y   s i m i l a r   re v i e w s ,   e nh a n c i n g  t h e   m o de l ' s   di s c r i m i na t i v e   c a pa b i l i t y .   T h e   t r a i n i ng  dy n a m i c s   s h o w   c h a r a c t e r i s t i c   pa t t e rn s   f o r   t r a n s f o r m e r - b a s e d  m o de l s   o n   t h e   K a g gl e   da t a s e t   [28] .   T h e   di v e r ge n c e   b e t w e e n   t ra i ni n g  a n d   v a l i d a t i o n   l o s s   a f t e r   e po c h   4  s h o w s   ove r f i t t i ng  a nd  i t ’s   a   m a j o r   c h a l l e n ge   f o r   t h e   l a r ge   p r e - t ra i n e d   m o de l s .   T h e   b e s t   m o de l   i s   s e l e c t e d  b a s e d  o n   v a l i da t i o n  F 1 - s c o r e ,   a n d   s uc c e s s f ul l y   c a pt u r e s   t h e   o pt i m a l   b a l a n c e   b e t w e e n   m o de l   e xp r e s s i v e n e s s   a n d   ge n e ra l i z a t i o n .   I t   i s   us e f ul   fo r   t h e   e a r l y   s t o ppi ng  a n d   c h e c kpo i nt   s e l e c t i o n  i n  p ra c t i c a l   d e pl oy m e n t s .           F i gu r e   7 .   P e r - c l a s s   F 1 - s c o r e   c o m pa ri s o n   a c r o s s   a l l   m o de l s     fo r   n e ga t i v e ,   po s i t i v e ,   a n d   m i xe d  s e n t i m e n t   c a t e go ri e s       T h e   c o m pa ri s o n  w i t h   m u l t i l i ngua l   B E R T   ( m B E R T )  i s   us e ful .   D e s pi t e   m B E R T ' s   l a r ge r  pa ra m e t e r  c o un t   ( 178. 9M   v s .   135 . 7M ) ,   t h e   A ra b i c - s pe c i f i c   A ra B E R T   b a c kb o n e   c o m b i n e d  w i t h  G N N   pe r f o r m s   b e t t e r  a s   c o m pa r e d   t o   t h e   m ul t i l i n g ua l   a pp r o a c h  (13 . 7%   F 1   i m p r o v e m e n t ).   T h e   g ra p h  c o m po n e n t   i n  t hi s   s t ud y   pr o v i de s   b a t c h - l e v e l   c o n n e c t i v i t y   b a s e d  o n   e m b e ddi n g  s i m i l a ri t y ,   w h i c h   a p pe a r s   t o   o ff e r   m e a n i ngf ul   i m p r o v e m e n t s   t hr o ug h  s e m a nt i c   n e i g h b o rh o o d  m o de l i n g.   T h e   d y n a m i c   g ra p h   c o n s t ruc t i o n,   w h e r e   e a c h   b a t c h   fo r m s   i t s   o w n   s i m i l a ri t y   gra p h,   a l l o w s   t h e   m o de l   t o   us e   l o c a l   s e m a n t i c   s t r uc t u r e   w i t h o ut   r e qu i r i ng  s t a t i c   c o r pus - l e v e l   gr a p h s   t h a t   m a y   be c o m e   o ut da t e d  o r   c o m put a t i o na l l y   pr o h i b i t i v e   a t   s c a l e .   T h e   h y b r i d  L L M - G N N   i s   a   p r o m i s i n g  s o l ut i o n   f o r   A r a b i c   s e n t i m e n t   a na l y s i s   a n d  ha s   c o n s i s t e n t   i m p r o v e m e n t s   o ve r   b o t h   s t a n d a r d  f i n e - t u ni n g   a pp r o a c h e s   a n d   s e que n t i a l   m o de l i n g  a l t e rna t i v e s .       4.   C O N C LU S I O N   T h e   s t udy   pr e s e nt s   a   h y b r i d   L L M - G N N   f ra m e w o r k  f o r  A r a b i c   s e n t i m e n t   a n a l y s i s .   It   c o m b i n e s   t h e   s e m a n t i c   u n de r s t a n di ng   o f   t ra n s f o r m e r - b a s e d  m o de l s   w i t h  t he   s t r uc t u ra l   r e a s o ni n g   c a pa b i l i t y   o f   gr a p h  n e u ra l   n e t w o r ks .   T h e   a r c h i t e c t ur e   s uc c e s s f ul l y   c a pt ur e s   l i n gu i s t i c   a n d  s y n t a c t i c   de pe n de n c i e s   i n   A r a b i c   t e xt   by   c o m b i n i ng  a   t w o - l a y e r   G r a p h  G CN   f o r   r e l a t i o n a l   l e a rni n g   w i t h  A r a B E R T   v 2  f o r  c o n t e xt u a l   e m b e ddi ng.   T h e   f r a m e w o r k  pe r f o r m s   b e t t e r  a s   c o m pa r e d  t o   m o de l s   s uc h  a s   f i n e - t u n e d  A ra B E R T ,   A ra B E R T - B i L S T M ,   A ra B E R T - M L P   a n d   m B E R T .   T h e   h y b r i d  f r a m e w o r k  a l s o   e xh i b i t s   r a pi d   c o n v e r ge n c e   a n d   s t a b l e   l o s s   r e duc t i o n ,   c o n f i rm i ng  i t s   t ra i ni n g   e ff i c i e n c y   a n d   r o b us t n e s s .   T h e   g r a p h   c o n s t ruc t i o n  o pe r a t e s   a t   t h e   m i ni - b a t c h   l e v e l ;   e xt e n d i n g   i t   t o   c o r pus - l e v e l   g r a p h  f o r m a t i o n   us i n g   a   m e m o r y   b a n k   o f   s e n t e n c e   e m b e ddi n gs   c o ul d  e n a b l e   ri c h e r  m o de l i n g   o f   gl o b a l   s e m a nt i c   r e l a t i o n s hi ps .   P a ra m e t e r - e f f i c i e n t   f i n e - t u ni n g   s t ra t e gi e s ,   s uc h   a s   l o w - r a nk  a da p t a t i o n  (L o R A )  c a n  r e duc e   c o m put a t i o n a l   ov e r h e a d  w h i l e   i m p r o v i n g   pe r f o r m a n c e .   T h e   M i xe d  s e nt i m e nt   c l a s s   i s   t h e   l a rge   s o ur c e   of   c l a s s i f i c a t i o n   e rr o r s   due   t o   i t s   a m b i gu i t y ;   i n c o r po r a t i n g   g r a p h  a t t e n t i o n  m e c h a ni s m s   o r  h i e r a r c hi c a l   c l a s s i f i c a t i o n   s t r a t e gi e s   m a y   i m p r o v e   di s c r i m i na t i o n  i n  s e nt i m e nt   b o un d a r y   c a s e s .       A C K N O WL ED G E M EN T   D uri n g  t h e   p r e pa ra t i o n  o f   t h i s   pa pe r  t h e   a ut h o r   ha s   us e d  A I  ge n e r a t i v e   t o o l s   t o   i m p r o v e   E n g l i s h  gra m m a r .   T h e   a u t h o r s   h a v e   r e v i e w e d  a n d   t a ke   f ul l   r e s po n s i b i l i t y   fo r   t h e   c o n t e n t   o f   t hi s   pub l i c a t i o n .   Evaluation Warning : The document was created with Spire.PDF for Python.