I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 4 ,   N o .   2 A ugus t   20 2 5 ,   pp.   478 ~ 487   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 4 i 2 . pp 47 8 - 487             478       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   In d oB A R T  o p t i m iz at io n  f or  q u e st io n  an sw e r  g e n e r at io n  s y st e m   w ith  l on gf or m e r  at t e n t io n       P e t e r   And r e w,   Abb S u gan d a   Gi r s an g   D e pa r tm e nt   of  C o mput e r  S c i e n c e B in us   G r a dua te   P r o gr a m - M a s te r   of  C o mput e r  S c i e n c e B in a  N us a nt a r a  U ni ve r s it y , J a ka r ta , I ndo n e s ia         Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d   A pr   30,   2024   R e vi s e De c   13,   2024   A c c e pt e J a n   19,   2025       T h e   I n co rp o rat i o n   o Q u e s t i o n   A n s w e r i n g   s y s t em   h o l d s   i mme n s e   p o t en t i al   fo ad d r e s s i n g   In d o n e s i a’s   e d u c at i o n al   d i s p ari t i e s   b e t w ee n   t h e   ab u n d an ce   o f   h i g h   s c h o o l   s t u d en t s   an d   t h e   l i mi t ed   n u m b e o t e a ch e rs   i n   I n d o n e s i a.   T h e s s t u d i e s   ai m   t o   e n h an ce  t h e   Q u e s t i o n   A n s w e r i n g   S y s t em  m o d el   t ai l o r ed   f o r   t h e   I n d o n e s i an   l an g u a g e   d at as e t   t h ro u g h   e n h an ceme n t s   t o   t h e   In d o n e s i a n   I n d o BA RT   m o d e l .   Im p ro v eme n t   w as   d o n e   b y   i n co rp o rat i n g   L o n g fo r me r’s   s l i d i n g   w i n d o w s   at t en t i o n   mec h a n i s m   i n t o   t h e   I n d o B A RT   m o d e l ,   i t   w o u l d   i n c r e as m o d e l   p ro fi ci e n cy   i n   m an a g i n g   e x t e n d ed   s e q u en ce   t as k s   s u c h   as   q u e s t i o n   a n s w e r i n g .   T h e   d at as e t   u s e d   i n   t h i s   r e s earc h   w as   T y D i Q A   mu l t i l i n g u al   d at as e t   an d   t ran s l at e d   t h e   SQ u A D v 2   d at as e t .   T h e   e v a l u at i o n   i n d i c at e s   t h at   t h e   L o n g fo r me r - In d o BA RT   m o d e l   o u t p e rf o rm s   i t s   p re d ece s s o o n   t h e   T y D i Q A   d at as e t ,   s h o w c as i n g   an   a v e rag e   2 6 %   e n h an cemen t   ac r o s s   F1 ,   E x ac t   Mat c h ,   BL E U ,   a n d   RO U G E   me t ri c s .   N e v e rt h e l e s s ,   i t   e x p e r i e n ced   mi n o s e t b ack   o n   t h SQ u A D   v 2   d at as e t ,   l e ad i n g   t o   a n   av e rag e   d ec r e as e   o f   0 . 6 %   ac ro s s   al l   me t ri c s .   K e y w o r d s :   F i ne - t uni n g   Na t ur a l   l a n gua ge   ge n e r a t i o n   Na t ur a l   l a n gua ge   pr o c e s s i n g   Que s t i o n   a ns we r   ge ne r a t i o n   T r a n s f o r m e r   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   P e t e r   A n dr e w   De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   B i n us   Gr a dua t e   P r o gr a m - M a s t e r   o f   C o m put e r   S c i e n c e   B i n a   Nu s a n t a r a   Uni v e r s i t y     J a ka r t a ,   I n do n e s i a ,   11480   E m a i l pe t e r . a n dr e w@b i nu s . a c . i d       1.   I NT RODU C T I ON   T h e r e   i s   a n   i m ba l a nc e   i n   t h e   t e a c h e r   a n s t ude nt  r a t i o   i n   I n do n e s i a .   B a s e o n   I n do n e s i a   C e n t r a l   S t a t i s t i c ,   i n   2021/2022,   t h e   n u m be r   o f   hi g h   s c hoo l   s t ude n t s   i n   I n do n e s i a   r e a c h e 10, 063, 926.   W hil e   t h e   a v a il a bl e   n u m be r   o f   t e a c h e r s   wa s   o n l y   700, 742.   On e   t e a c h e r   h a s   to  o v e r s e e   a r o un 14   s t ude n t s .   W i t h   t h e   a dv a nc e m e n t   o f   t e c h n o l o g y ,   i t   c o ul a s s i s t   t e a c h e r s   i n   t h e   l e a r ni ng  pr o c e s s   a n e ns ur e   t h e   e f f e c t i v e n e s s   o f   t he   t e a c h e r   e f f o r [ 1] .   I n   e duc a t i o n ,   r e a d i n i s   a n   i m po r t a n t   a c t i vi t y .   R e a d i n e na bl e s   s t ude n t s   to   un de r s t a n t h e   t e x t   or   r e a d i n m a t e r i a l   a n i s   a   c o gni t i ve   pr o c e s s   f o r   e x t r a c t i n i nf o r m a t i o n .   R e a d i ng  s t r a t e gi e s ,   i n t e r pr e t i ng  wor ds ,   a n r e a d i ng  t e c hni que s   a r e   a l s o   c r uc i a l   f o r   e f f e c t i v e   l e a r ni ng  [ 2] ,   [ 3 ] .   Due   to  t h e   i m po r t a n c e   o f   r e a d i n g,   t e a c hi n s t r a t e gi e s   h a v e   b e e n   de v e l o pe to  t e a c h   a n e va l u a t e   r e a di n [ 4] .   On e   o f   t h e   de v e l o pe s t r a t e gi e s   i s   que s t i o n   ge ne r a t i o n   ( QG ) .   Ho we v e r ,   t h e   pr o c e s s   o f   c r e a t i n que s t i o n s   i s   t i m e - c o n s u mi ng  [ 5] .   F r o m   t h i s   i s s ue ,   t h e   r e s e a r c h   o n   QG ,   a l s o   kn o wn   a s   a ut o m a t i c   qu e s t i o n   ge ne r a t i o n   ( A QG )   [ 6] ,   [ 7 ] ,   h a s   b e e n   d e ve l o pe a s   a   b r a n c h   o f   n a t ur a l   l a n gua ge   ge n e r a t i o n   ( NL G)   QG   i s   t h e   pr o c e s s   o f   a uto m a t i n t h e   c r e a t i o n   o f   que s t i o ns   b a s e o n   t e x t ua l   i nput   i n   v a r i o us   f o r m s   s uc h   a s   s h o r t   a n s we r ,   o pe n - e n d e que s t i o n s ,   m u l t i p l e - c h o i c e ,   a n f il l - in - t h e - bl a n k   [ 8] .   T h e   a i m   o f   QG   i s   to  c r e a t e   n a t u r a l   que s t i o n s   t t e s t h e   kn o w l e dge   a c q u i r e f r o m   r e a d i n g.   Que s t i o n   An s w e r   Ge n e r a t i o n   wa s   f i r s i n t r o duc e i n   1999  a t   t h e   t e x t   r e tr i e va l   c o nf e r e n c e   ( T R E C )   a s   a   t e s t   f o r   s y s t e m   c a pa bil i t i e s   i f i nd i ng  s h o r Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it longf or me r   att e nti on   ( P e ter   A ndr e w )   479   a n c o n c i s e   t e x t s   to  a n s we r   g i v e n   que s t i o n s .   T h e   t e s t i n y i e l de s a t i s f a c t or y   r e s u l t s   a s   t h e   s y s t e m   c o u l d   e x t r a c t   s pe c i f i c   t e x t s   t h a t   we r e   p r e di c t e to   b e s t   a ns we r   t h e   g i v e n   que s t i o n s .   Que s t i o n   a n s we r   r e s e a r c h   h a s   r a p i d ly   de ve l o pe a n c o m bi ne s e v e r a l   d if f e r e n t   b ut   r e l a t e r e s e a r c h   f i e l d s ,   i n c l ud i ng  i nf o r m a t i o n   e x t r a c t i o ( I E ) ,   n a t ur a l   l a n gua ge   pr o c e s s i ng  ( NL P ) ,   a n i nf o r m a t i o n   r e t r i e v a l   ( I R )   [ 9] .   T h e   A QG   s y s t e m   t y p i c a ll y   c o ns i s t s   o f   t h r e e   c o n c e pt ua l   pr o c e s s e s   [ 8] .   W hi c h   i s   t a r ge s e l e c t i o n ,   t h e   s t a ge   o f   i de n t i f yi ng  i m po r t a n t   s e n t e n c e s   a n ke y w o r ds .   Que s t i o n   r e pr e s e n t a t i o n   c o ns t r uc t i o n ,   de t e r m i n i ng  t h e   t y pe   a n s y n t a c t i c   f o r m   o f   que s t i o ns   b a s e o n   t h e   s e n t e n c e s   a n ke y wo r ds   c o n t a i ne i t h e   t e x t .   Que s t i o r e a l i z a t i o n ,   t h e   f i na l   s t a ge   o f   que s t i o n   c r e a t i o n .     Que s t i o n   a ns we r i ng  s y s t e m s   c a n   b e   d i vi de i n t o   two   t y pe s   [ 9] .   C l o s e d o m a i n,   t h e   s y s t e m   c a n   o nl h a n d l e   que s t i o n s   i s pe c if i c   f i e l ds   ( s po r t s ,   p o l i t i c s ,   a n h e a l t h ) .   I c a n   a l s o   b e   i n t e r pr e t e a s   a   c o n d i t i o n   wh e r e   t h e r e   a r e   l im i t a t i o n s   o n   que s t i o n   t y pe s ,   s uc h   a s   d e s c r i pt i v e   que s t i o ns .   T hi s   t y pe   c a n   b e   f a c i li t a t e by   us i ng   NL P   s y s t e m s   w i t h   t h e   e x p l o i t a t i o n   o f   s pe c i f i c   s c i e n t i f i c   f i e l d s   ( o n to l o g i e s ) .   Ope n   d o m a i n,   t h e   s y s t e m   c a h a n d l e   ge n e r a l   que s t i o n s   t h a a r e   n ot  l im i t e to  s pe c i f i c   f i e l ds   o f   kn o w l e dge .   S uc h   s y s t e m s   us ua ll y   r e qu i r e   a   l a r ge   a m o u n t   o f   da t a   to  o b t a i n   a c c ur a t e   a n s w e r s .   T h e r e   a r e   s e v e r a l   a pp r oa c h e s   to  q u e s t i o n - a n s we r i n g   s y s t e m s ,   i n c l udi n g   [ 9] ,   f r e q ue n t l y   a s ke d   que s t i o n s   a n d   a n s we r s   ( F A Qs ) ,   T h e   e a s i e s a p p r oa c h   i nv o l v e s   c o l l e c t i n g   a   da tas e of   q ue s t i o n - a n s we r   pa i r s   s tor e d   i n   t h e   s y s te m .   W h e n   a   q ue s t i o n   i s   gi v e n ,   t h e   s y s t e m   s e a r c h e s   f o r   t h e   a n s we r   f r o m   t h e   s tor e d   d a tas e t.   I n f or m a t i o R e tr i e v a l ,   t h i s   i s   t h e   m o s c o m m o nl y   us e d   a p p r oa c h ,   wh e r e   t h e   m a i n   c o n c e p i s   to  s e a r c h   f or   a c c ur a te   a n p r e c i s e   a n s we r s   f r o m   a   c o l l e c t i o n   o f   d oc um e n t s .   T h e   ge n e r a l   s te ps   us e d   i n   t h i s   a p pr oa c h   i n c l ude   pr e - p r oc e s s i n g ,   q ue s t i o n   a n a l y s i s ,   d oc um e n r e tr i e v a l ,   a n d   a n s we r   e x tr a c t i o n .   M a c hi n e   l e a r ni n g,   t hi s   a p p r oa c h   i s   s i m i l a r   to  I n f or m a t i o n   R e tr i e v a l ,   b u wi t h   t h e   a ddi t i o n   o f   c l a s s i f i c a t i o n   a l g or i t hm s   to   c l a s s i f y   qu e s t i o n   t y pe s .   S e v e r a l   de v e l o p m e n t s   i n   A QG   s y s t e m s   ha v e   b e e n   m a d e .   He r e   a r e   s o m e   r e l a t e A QG   r e s e a r c s t udi e s   s uc h   a s ,   t h e   de v e l o p m e n t   o f   t h e   s t a n f o r que s t i o n   a n s we r i ng  da t a s e ( S QuA D)   by   [ 10] .   T h e   da t a s e wa s   c o l l e c t e f r o m   W i k i pe d i a   a r t i c l e s ,   w i t h   c r o wds o ur c e que s t i o n - a n s we r   pa i r s .   T he   h u m a n - v a li d a t e t e s r e s u l t s   a c hi e v e a n   e x a c t   m a t c h   ( E M )   o f   77%   a n a n   F S c o r e   o f   86. 8% .   T h e   de v e l o p m e n t   o f   a   d o c um e n t   r e tr i e va l   m e t h o us i n a   r e c ur r e n t   g r a ph - b a s e m o de l   by   [ 11] .   I wa s   de v e l o pe to  s o l v e   t h e   pr o bl e m   o f   e n t i t y - c e n t r i c   que s t i o ns   c a us e by   i n f o r m a t i o n   c o m pr e s s i o n .   T h e   m e t h o a c hi e v e a n   i m pr o v e F 1   s c or e   o f   2. a n E M   o f   3. 5   us i n t h e   S QuA da t a s e t.   T h e   de ve l o p m e n t   o f   a   d o c um e n t   r e tr i e v a l   m e t h o ut i li z i ng   Ge n e r a t i v e   M o de l s   by   [ 12] .   I a i m e to   t e s t h e   c a pa bil i t y   o f   Ge n e r a t i v e   M o de l s   i n   s e a r c hi ng   f o r   t e x do c um e n t s   c o n t a i ni ng  e vi de nc e .   T h e   r e s u l t s   s h o we a n   F s c o r e   o f   63. a n E M   o f   56. o n   t h e   S QuA D   da t a s e t,   a s   we l l   a s   a n   F s c o r e   o f   56. a n E M   o f   80. o n   t h e   T r i vi a Q A   da t a s e t .   T h e   de v e l o p m e n t   o f   De c o m po s e P r e - T r a i n   T r a n s f o r m e r   by   [ 13] ,   wi t t h e   g o a l   o f   s pe e d i n up  t h e   pr o c e s s   by   4. 3 x   c o m pa r e to  pr e vi o us   t r a n s f o r m e r   m o de l s ,   w i t h   o nl y   a   1%   de c r e a s e   i n   a c c ur a c y .   I n   [ 14]   i n t r o duc e I n do NL G,   a   b e n c hm a r f o r   NL G   i n   t h r e e   c o m m o nly   u s e I ndo n e s i a n   l a n gua ge s B a h a s a   I n do n e s i a ,   S un da ,   a n J a wa .   I n do NL i n c l ude s   s i x   e v a l ua t i o n   t a s ks m a c hi ne   t r a n s l a t i o n   ( M T ) ,   QG s u m m a r i z a t i o n ,   C hi t - c h a t ,   a n m o r e .   T h e   da t a s e t   I n do 4B - P l u s   [ 15]   i s   us e t o   p r e - t r a i t h e   I n do B A R T   a n I n do GPT   m o de l s ,   w hi c a c hi e v e   c o m pe t i t i v e   r e s u l t s   w i t h   1/5t h   o f   t h e   pa r a m e t e r s   c om pa r e to   m u l t i - li ngua l   m o de l s   li ke   m B AR T .   Am o n t h e   de v e l o pe A QG   s y s t e m s ,   o nl y   a   f e h a ve   f o c us e o n   t h e   I n do n e s i a n   l a n gua ge .   T h e r e f o r e ,   t hi s   a r t i c l e   a im s   im pr o vi n t h e   a c c ur a c y   o f   I n do n e s i a n - b a s e AQ s y s t e m s   m o de l   by   mo di f y i ng   t h e   a tt e n t i o n   l a y e r   o f   t h e   m o de l   us i ng  l o n g f o r m e r     s l i d i ng  w i n do ws   a tt e n t i o n .       2.   RE L AT E WORK S   B L E ( B i li ngua l   E v a l ua t i o n   U n de r s t ud y )   [ 16]   c o m pa r e s   MT   to   h u m a n   t r a n s l a t i o ns ,   a i mi ng  t c l o s e ly   mi r r o r   pr o f e s s i o n a l   h u m a n   t r a n s l a t i o n s .   B L E s c or e s   i n d i vi du a l   t r a n s l a t e s e g m e n t s   a ga i n s t   r e f e r e n c e   t r a n s l a t i o ns ,   t h e n   a v e r a ge s   s c o r e s   a c r o s s   t h e   c o r pus   to   ga uge   o v e r a l l   t r a n s l a t i o n   qua l i t y .   I t   p r i o r i t i z e s   pr e c i s i o n   o v e r   f a c t o r s   l i ke   i n t e ll i g i b il i t y   a n gr a m m a t i c a l   c o r r e c t n e s s   by   c o m put i n t h e   pr e s e n c e   o f   n - gr a m s   i n   t h e   c a n d i da t e   tr a n s l a t i o n   a l s o   f o un i n   r e f e r e n c e   tr a n s l a t i o n s .   B L E o f f e r s   v a r i a n t s   s uc h   a s   B L E U - a n d   B L E U - 4,   wh e r e   n   va r i e s   f r o m   to   a   s pe c i f i e ( e . g. ,   or   4 ) ,   a n a ggr e ga t e s   s c o r e s   us i n a   ge o m e t r i c   m e a n .   R e c a ll - o r i e n t e un de r s t u dy   f o r   gi s t i n e va l ua t i o n   ( R OU GE )   [ 17]   i s   a   r o b us m e t r i c   us e i n   NL P   to  e v a l ua t e   a uto m a t i c   s u mm a r i z a t i o n   a n MT   s y s t e m s .   I t   c o m pa r e s   ge n e r a t e s u m m a r i e s   o r   tr a n s l a t i o n s   w i t h u m a n   r e f e r e n c e s ,   pr o vi d i ng  v a l ua bl e   i ns i g h t s .   N ot a bl y   c a s e - i ns e ns i t i ve .   R OU GE - L   v a r i a n t s ,   c o m put e s   i t s   s c o r e   b a s e o n   t h e   l o n ge s t   c o m m o n   s u b s e que n c e   ( L C S )   b e t we e n   r e f e r e n c e   a n c a n d i da t e   t e x t s ,   o f f e r i ng   f l e xi b i li t y   w i t h o u t   r e qui r i n a   pr e de f i ne n - gr a m   s ize .   S e v e r a l   que s t i o n - a n s w e r i n m o de l s   h a v e   b e e n   d e v e l o pe t o   e n h a n c e   a c c ur a c y   a n e f f i c i e nc y   i n   h a n d li ng  ge n e r a l   do m a i t a s ks ,   [ 18]   p r o p o s e u t i li z i ng  m u l t i p l e   f r a m e wo r ks   to  l e a r n   f r o m   r e pr e s e n t a t i o n s ,   whi c h   c a n   b e   d i vi de i n t s e v e r a l   pr o c e s s e s .   T h e   m o de l   i s   b a s e o n   t h e   pr e - t r a i n e m o de l   ( XL Ne t )     a n s u b s e qu e n t l y   f i ne - t un e us i ng  v a r i o us   da t a s e t s .   T h e   e x pe r i m e n t a l   r e s u l t s   f r o m   d i f f e r e n t   f r a m e wo r ks   yi e l de a n   a v e r a ge   E M   s c o r e   o f   56. 59  a n a n   F s c o r e   o f   68. 98  ( f r o m   t e s da t a s e t s B i o P r o c e s s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   478 - 487   480   C o m p l e xW e b Que s t i o ns ,   M C T e s t ,   QA M R ,   QA S T ,   T R E C ) ,   i n d i c a t i n a n   i m pr o v e m e n t   i n   a c c ur a c y   c o m pa r e d   to  t h e   B E R T - l a r ge   b a s e l i ne   m o de l .   De c o m po s e t r a n s f o r m e r   m o de l   [ 13]   e nh a nc e s   t i m e   a n m e m o r y   e f f i c i e nc y ,   i n   o r de r   to   r e duc e   t h e   c o m p l e xi t y   o f   t h e   t r a n s f o r m e r   f u n c t i o n ,   i t   i s   de c o m po s e b a s e o n   i n put   s e g m e n t a t i o n .   E v a l u a t i o n   us i n t h e   S QuA v 1. 1,   R A C E ,   B oo l Q,   M NL I ,   a n QQ P   d a t a s e t s   de m o n s t r a t e   s i g ni f i c a n t   i m pr o v e m e n t   i n   s pe e a n d   m e m o r y   e f f i c i e n c y   up  t o   4x   i n c r e a s e s .   B A R T   pr e - tr a i ne m o de l   [ 19] ,   whi c h   c o m bi ne s   B i - d i r e c t i o n a l   a nd   A ut o - R e gr e s s i v e   T r a ns f o r m e r   m o de l s   i s   a   de n o i s i ng  a ut o e n c o de r   wi t h   a   s e qu e n c e - to - s e que n c e   m o de l .   T h e   m o de l   a c hi e ve s   t h e   hi g h e s t   pe r f o r m a n c e   o n   t h e   S QuA da t a s e us i n t e x i nf il li ng  de n o i s i ng  m e t h o d   wi t pr e c i s i o n   o f   90. F s c o r e .   C h u n g   e al .   [ 20]   pr o p o s e s   a   pr o c e dur e   f o r   c r e a t i n m u l t i li ngua l   v o c a b u l a r i e s   by   c o m bi n i ng   s e pa r a t e l y   t r a i ne v o c a b u l a r i e s   f r o m   m u l t i p l e   l a n g ua ge   c l us t e r   de r i v a t i o n s .   T hi s   a ppr o a c h   a i m s   t b a l a n c e   t h e   e x c ha n ge   b e t we e n   c r o s s - l i ngua l   s u b wo r ds   a n l a n gua ge - s p e c i f i c   v o c a b u l a r y .   T he   e v a l ua t i o n   r e s u l t s   o f   t hi s   m e t h o us i n t h e   T y D i Q A ,   XN L I ,   a n W i k i Ann  NE R   da t a s e t s   s h o v a r yi ng  pe r f o r m a n c e   s c o r e s   de pe n d i ng   o n   t h e   l a n gu a ge .   Ho we v e r ,   o n   a v e r a ge ,   t h e   m e t h o a c hi e v e s   a n   F s c o r e   o f   70. 1,   whi c h   i s   2. p o i n t s   hi g h e r   t h a n   t h e   i ni t i a l   j o i n t   m e t h o d' s   F s c o r e   o f   68. 0.   Opt i mi z a t i o n   o n   t r a n s f o r m e r   s e l f   a t t e n t i o n   l a y e r   to   a c c o m m o da t e   l o n ge r   s e que n c e s   l e n gt h   by  c h a n g i ng  t h e   dot  pr o duc m e c h a ni s m   o n   t h e   s e l f   a tt e n t i o n   l a y e r   w i t h   s l i d i ng  w i ndo ws   t e c hni qu e   pr opo s e i L o n g f o r m e r   [ 21] .   T h e   s e l f   a t t e n t i o n   m e c h a ni s m   h a s   t h e   c o m p l e xi t y   o f   O( n 2) ,   whil e   t h e   pr o p o s e l o ng f o r m e r   m o de l   h a t h e   l i ne a r   c o m p l e xi t y   o f   O( n ) .   T h e   e v a l ua t i o n   s h o ws   a n   i m pr o v e m e n t   by   p o i n t s   o n   W i k i h o p,     po i n t   o n   T r i vi a Q A   a n Ho t p ot QA   c o m pa r e to  th e   R o B E R T a - b a s e   m o de l .   I n do NL [ 14] ,   a   b e n c hm a r f o r   NL G   i n   t h r e e   c o m m o nly   u s e I n do n e s i a n   l a n gua ge s B a h a s a   I n do n e s i a ,   S un d a ,   a n J a wa .   I n do NL i n c l ude s   s ix   e v a l ua t i o n   t a s ks MT QG ,   S um m a r i z a t i o n ,   C hi t - c h a t ,   a n m o r e .   T h e   da t a s e I n do 4B - P l us   i s   us e to   p r e - t r a i n   t h e   I n do B AR T   a n I n do G P T   m o de l s ,   whi c a c hi e v e   c o m pe t i t i v e   r e s u l t s   w i t h   1/5t h   o f   t h e   pa r a m e t e r s   c om pa r e to   m u l t i - li ngua l   m o de l s   li ke   m B AR T .   A Q G   s y s tem   d e v e l opm e n f or   th e   I n d on e s i a n   l a n g u a g e   [ 2 2 ]   u s i n g   th e   S Q uA D   v 2   d a ta s e t,   w h i c h   h a s   b e e tr a n s l a te d   u s i n g   th e   G o og l e   T r a n s l a te   A P I ,   a l on g   wi t h   a d di t i on a l   T y Di QA   d e v   d a ta .   T h e   p r op os e d   m e th o d   u ti l i z e s   a   s e q u e n c e - to - s e q u e n c e   a p p r oa c h   a n d   i m pl e m e n ts   B i G R U ,   B i L S T M ,   a n d   T r a n s f or m e r   m od e l s .       3.   M E T HO D   T hi s   s t udy   a im s   to  e n ha n c e   t h e   s t a t e - of - t h e - a r I n do B A R T   m o de l   f o r   t h e   Que s t i o n   An s w e r   G e n e r a t i o n   t a s k.   T hi s   e nh a nc e m e n t   i nv o l v e s   t h e   s ub s t i t ut i o n   o f   I n do B AR T   s e l f - a tt e n t i o n   m e c h a ni s m   w i t h   a   s l i d i ng  w i n do a tt e n t i o n   i n s p i r e by   L o n g f o r m e r   [ 21] .   T h e   r e s e a r c h   i s   o r ga ni z e i n t t h r e e   s e que n t i a l   s t a ge s Da t a   P r e p r o c e s s i ng,   M o de l   M o di f i c a t i o n ,   a n d   T r a i ni ng  a n d   E v a l ua t i o n .   T h e   h o l i s t i c   wo r kf l o i s   vi s ua ll de p i c t e i n   F i gur e   1.   C o l l e c t i n da t a :   B a s e o n   F i gur e   1,   S QuA V2   [ 10]   a n T y D i Q A   [ 23]   publ i c   da t a t s e w o ul be   c o l l e c t e f r o m   publi c   we b s i t e   s uc h   a s   ka gg l e   o r   h ugg i nf a c e .   S QuA D   v c o n s i s t   o f   130. 000  t r a i n   a nd  11. 900   v a li da t i o n   que s t i o n - a ns we r   da t a ,   T y D i Q A   o n   t h e   ot h e r   h a n c o n s i s t   o f   151. 000  tr a i n   a n 18. 700  v a l i da t i o que s t i o n - a ns we r   da t a .   S QuA v da t a s e t   i s   a n   e ng l i s h   da t a s e t ,   t h e r e f o r e   tr a n s l a t i o n   t I n do n e s i a   l a n gua ge   is   co m p l e t l y   n e e de d.   I n   c o n t r a s T y D i Q A   i s   a   m u l t il li ngua l   da t a s e t   t h a c o n s i s t   o f   11  l a n gua ge s   ( t e l ugu ,   a r a bi c ,   s wa hil i ,   j a p a n e s e ,   f i nn i s h ,   I n do n e s i a ,   r us s i a n ,   t h a i ,   ko r e a n ,   b e n ga li ,   e n g l i s h) .   T h e   pe r c e n t a ge   o f   I n do n e s i a   l a n gua ge   i n   t y d i qa   i s   9% ,   a ppr o xi m a t e l y   13. 000   t r a i n   a n d   1683  e v a l ua t i o n .   He n c e ,   f o r   T y D i Q da t a s e t r a n s l a t i o n   s t e a r e   o m mi t e a n o nl y   I n do n e s i a n   da t a s e b e i n us e d.     T r a n s l a t i n e n g l i s h   d a t a :   S QuA v da t a s e t   w o ul b e   t r a n s l a t e us i n goo gl e   t r a n s l a t e   A P I .   S i nc e   t h e   da t a s e t   que s t i o n ,   a n s w e r   a n c o n t e x t   pa r a gr a ph   a t t r i b ut e   a r e   t r a n s l a t e s e pe r a t e l y ,   s o m e   o f   t h e   q ue s t i o n - a ns we r   c o n t e x t s   we r e   m i s s i ng.   T h a b e i n t h e   c a s e ,   a n s we r   c o n t e x t   m a t c hi ng  m e c h a ni s m   [ 24]   a r e   a pp l i e a s   s e e n   i n   F i gur e   2.   F uz z y   s t r i n m a t c hi ng  a r e   be i n us e to   f i n t h e   t r a n s l a t e a ns we r   o n   t h e   tr a n s l a t e c o n t e x pa r a gr a ph ,   unm a t c h   a ns we r   wo ul b e   r e p l a c e   wi t h   e m pt y   s t r i n a n - v a l u e   a r e   a ppe n to  t h e   t r a n s l a t e d_a n s we r _s t a r t _p o s i t i o n   ke y ,   m a t c a n s we r   l o c a t i o n   wo u l b e   a ppe n d e d   to   t h e   t r a n s l a t e d_a n s we r _s t a r t _p o s i t i o n   ke y .   Da t a   pr e pr o c e s s i n g :   I n   da t a   pr e pr o c e s s i n g,   b o t h   T y D i Q A   a n t r a n s l a t e S QuA v w i t h o ut   a n   a ns we r   o r   h a vi ng  - v a l ue   o n   a n s w e r   s t a r t   p o s i t i o n   wo u l b e   r e m o v e d.   S pe c i a l   t o ke n   wo ul b e   a dd e to   a dd   m o r e   c o n t e x t   b e f o r e   t h e   tr a i ni ng,   < B OS>  to ke n   wa s   us e to   m a r b e g i nn i ng  o f   s e n t e n c e ,   < E OS>  token   wa s   us e to  m a r e n o f   s e n t e n c e ,   < S E P >   token   wa s   us e to  s e pe r a t e   e a c h   c o n t e x o n   t h e   s e n t e n c e .   T he   o v e r a l s t r uc t ur e   o f   t h e   i n put   t e x t   wa s   < B OS>  [ pa r a gr a ph   c o n t e x t ]   < S E P >   [ que s t i o n ]   < E OS>.   I n put  wo ul b e   t r un c a t e i f   t h e   l e n gt h   e x c e e ds   m a x _ l e n gt h   hy pe r pa r a m e t e r ,   o n   t h e   ot h e r h a n pa dd i ng  wo ul b e   a d de w i t h   to  ke e c o n s i s t e n t   l e n gt h   o f   t h e   i n put   us i n m a x _ len gt h   s t r a t e g y   to  t h e   r e s o f   t h e   da t a s e t .   P r o c c e s s e da t a s e wo ul b e   t o ke ni z e o n   wo r uni t   us i n I n do NL to ke ni z e r   ( i ndo B A R T   t o ke ni z e r ) .   F i gur e   i ll u s t r a t e   t h e   da t a   p r o c e s s i ng  o f   m o de l   i nput .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it longf or me r   att e nti on   ( P e ter   A ndr e w )   481       F i gur e   1.   R e s e a r c h   f l o d i a gr a m           F i gur e   2 .   A ns we r - c o n t e x t   m a t c hi ng  f l o w   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   478 - 487   482       F i gur e   3 .   Da t a   pr o c e s s i n e xa m p l e       L o n g f or m e r     s l i d i n g   w i n d o w   a t t e n t i o n :   O n   th i s   s te p ,   s l i di n g   wi n d ow   a t te n ti on   m odi f i c a t i on   w e r e   i m pl e m e n te b a s e d   on   L on gf or m e r   [ 1 ] .   C on v e n t i on a l   tr a n s f or m e r   s e l f - a t te n ti on   [ 2 5 ]   e m pl o y s   th e   m a tr i x   d o t   p r od u c t   c om p u ta ti on ,   d e pi c te d   i n   ( 1 ) ,   r e s ul ti n g   i n   O ( n 2 )   c om pu ta ti on   c om pl e x i t y   f or   e a c h   l a y e r .   I n   ( 1 )   a t te n ti on   s c or e .      ( , , ) =   ( )       C o n ve r s e ly ,   t h e   s li d i ng  w i n do ws   a tt e n t i o n   pa t t e r n   c o m put e s   o nl y   n e i g hb o r i n t o ke n s   w i t h   t h e   f i xe d - s i z e   w i n do ( w ) ,   r e s ul t i n i n   O( n   w)   or   O( n )   c om put a t i o n   c o m p l e xi t y .   T hi s   f i xe d - s i z e   w i ndo s c a l e   do wn   f r o m   hi g h e r   l a y e r   t o   l o we r   l a y e r .   F o r   t hi s   pa r t i c u l a r   r e s e a r c h ,   t h e   w i ndo s i z e   wa s   h a l ve ( 1/2  w)   w i t h   e a c de s c e n t   i n   l a y e r .   I n   t h e   hi g h e r   l a y e r s ,   a   l a r ge r   w i n d o s i z e   wa s   a pp ly   t o   c a p t ur e   hi g h - l e ve l   i n f o r m a t i o n ,   while   t h e   l o we r   l a y e r s   f o c us e o n   c a pt u r i n l o c a l   c o n t e x t ua l   i nf o r m a t i o n .   A dd i t i o n a ll y ,   T h e   r e duc t i o n   i n   w i n do s i z e   s e r v e s   to  m a i n t a i n   t h e   e qu i li br i u m   be t we e e f f i c i e n c y   a n pe r f o r m a n c e ,   s m a ll e r   w i n do s i z e s   i n c ur   l o we r   c o m put a t i o n a l   c o s t   b e c a us e   t h e y   c o n t a i n   f e we r   n o n z e r o   v a l ue s ,   t h us   e nh a n c i ng  e f f i c i e nc y ,   w hil e   l a r ge r   w i n do s i z e s   po s s e s s   gr e a t e r   r e pr e s e n t a t i o n   c a pa c i t y   a n o f t e n   r e s u l t   i n   pe r f o r m a n c e   im pr o v e m e n t s .   T h e   c o m put a t i o n   c o m pa r i s o n   b e t we e n   s e lf - a tt e n t i o n   a n s li d i ng  w i ndo a tt e n t i o n   c o u l b e   s e e n   i F i gur e   4,   F i gur e   4 ( a )   i ll u s t r a t e   o pe r a t i o n   o n   c o m put i n a tt e n t i o n   us i n s e lf - a tt e n t i o n   w h e r e a s ,   F i gur e   4 ( b )   s h o wn  o pe r a t i o n   o n   c o m put i n a tt e n t i o n   us i ng  s li d i ng  w i ndo a tt e n t i o n .           ( a )   ( b )     F i gur e   4 .   A tt e n t i o n   m e c h a ni s m   c o m pa r i s o n   i ll u s t r a t i o n   ( a )   s e l f - a t t e n t i o n     n a n ( b )   s l e d i ng  w i ndo a tt e n t i o n     n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it longf or me r   att e nti on   ( P e ter   A ndr e w )   483   I n do B A R T   m o de l   m o d i f i c a t i o n :   I n do B A R T   c o n s is t   o f   s i l a y e r s   e a c h   f o r   t h e   e n c o de r   a n de c o de r ,   w i t h   e a c h   l a y e r   po s s e s s i ng  i t s   o wn   s e lf - a t t e n t i o n   m o du l e .   T h e r e f o r e ,   t h e   L o n g f o r m e r   s li d i ng   w i n do a tt e n t i o n   m o du l e   i s   e m p l o y e to   r e pl a c e   e a c h   o f   t h e s e   l a y e r s .   T o   pr e s e r v e   t h e   pr e - tr a i ne w e i g h t s   o f   t h e   I n do B A R T   s e lf - a tt e n t i o n   m o du l e ,   t h e   we i g h t   v a l u e s   a r e   c o pi e to   e a c h   L o n g f o r m e r   a tt e n t i o n   m o du l e   b e f o r e   t h e   r e pl a c e m e n t   o c c ur s .   B ot h   t h e   b a s e   m o de l   a n d   t h e   L o n g f o r m e r - m o d i f i e m o de l   a r e   f i ne - t un e u s i n t h e   pr o c e s s e da t a s e t ,   que s t i o n s   a n c o n t e x t   pa r a gr a ph s   s e r v e   a s   i n put ,   whi l e   a n s we r s   a r e   us e a s   o u t pu t.   F i ne - t un e   m o de l :   B ot h   t h e   b a s e   a n m o d i f i e m o de l s   a r e   b e i ng  f i ne - t un e s e pa r a t e l y   f o r   e a c da t a s e t.   Dur i n t h e   f i ne - t uni n p h a s e ,   t h e   t r a i ni n da t a s e i s   s p li t   w i t h   a n   80:20  r a t i o   b e t we e n   t r a i ni ng  a n t e s t i n da t a .   Da t a   h a s   a l r e a d y   b e e n   to ke ni z e i n   a   pr i o r   pr o c e s s   u t i li z i ng  I n do NL GT o ke ni z e r ,   m a k i n i t   r e a dy   to  b e   d i r e c t l y   us e a s   i nput   f o r   t h e   m o de l .   T h e   m o de l   ge n e r a t e s   to ke ni z e o ut pu t,   whi c h   u n d e r go e s   a   de to ke ni z a t i o n   pr o c e s s   us i n I n do N L to  c o n v e r i t   i n t s t r i n f o r m a t .   T e n s ur e   f a i r   b e nc hm a r k i n g,   b ot m o de l s   a r e   f i ne - t un e us i ng  t h e   s a m e   hy pe r pa r a m e t e r s   a s   pr e s e n t e i n   T a bl e   1.   T h e   L o n g f o r m e r - m o d i f i e d   m o de l   h a s   t h e   a ut or e gr e s s i v e   f e a t ur e   di s a bl e by   de f a u l t ,   whi l e   I n do B AR T   po s s e s s e s   t h e   a ut or e gr e s s i v e   f e a t ur e .   T h e r e f o r e ,   t hi s   r e s e a r c h   w i ll   c o n duc t   L o n g f o r m e r - m o d i f i e t r a i ni n t w i c e ,   o n c e   w i t h   a n o n c e   w i t h o ut  t h e   a uto r e g r e s s i ve   f e a t ur e ,   to  e n s ur e   t h o r ough   s t ud y .       T a bl e   1 .   Hy p e r pa r a m e t e r   H y p e r pa r a m e t e r   V a lu e   T o k e ni z e r   e mb e ddi ng s iz e   1024   L e a r ni ng  r a te   2e - 5   D r o p o ut   r a te   0.1   T r a in in g ba tc h   3   E v a lu a ti o n ba t c h   4   T r a in in g e p oc h   2       E val u at ion :   E a c h   m o de l   w il l   u n de r go   s e pa r a t e   t r a i ni ng  a n e v a l u a t i o n   u s i ng  t h e   r e s pe c t i v e   da t a s e t s .   M o de l   a c c ur a c y   w il l   be   a s s e s s e us i n F 1,   E x a c t   M a t c h ,   B L E U,   a n R OU GE   m e t r i c s .   T r a c k i n t r a i ni ng  t i m e   w i ll   b e   im p l e m e n t e to  b e nc hm a r t h e   o p t i m i z a t i o n   o f   a tt e n t i o n   l a y e r   c o m p l e xi t y .   F ur t h e r   e va l ua t i o n   de t a i l s   a r e   a v a il a bl e   i n   s e c t i o n   4. 3.       4.   R E S U L T   A N D   D I S C U S S I O N   4. 1.     Dat a   p r e p r o c e s s in g   T h e   S QuA v da t a s e t   a r e   t r a n s l a t e f r o m   e n g l is h   l a n gua g e   to   I n do n e s i a   l a n gua g e   us i ng  goo gl e   t r a n s l a t e   A P I ,   E x a m p l e   o f   t r a n s l a t e S QuA v a n T y D i Q A   c o u l b e   s e e n   i T a bl e   2.   T h e n   t r a n s l a t e to   m a ke   s ur e   tr a n s l a t e a n s we r   a n que s t i o n   h a v e   a   m a c t hi ng  c o n t e x o n   t h e   c o n t e x p a r a gr a ph ,   F uz z y   s t r i ng   m a t c hi ng  a r e   pe r f o r m e d,   to   c o m pa r e   t h e   a ns we r   w i t h   c o n t e x t   pa r a gr a ph .   W h e n   t h e   a n s w e r   do e s n t   m a t c h   a ny  s t r i n i t h e   c o n t e x t   pa r a gr a ph   t h e   da t a   r o a r e   de l e t e d.   Af t e r   pe r f o r m i ng  f uz z y   s t r i n m a t c hi ng,   t h e r e   i s   a   l o t   o f   da t a   p o i n t   t h a di d n’ t   h a ve   m a c t hi ng  a n s w e r   on   t h e   c o n t e x t   pa r a gr a ph ,   r e s u l t i n i n   da t a s e t   s i z e   r e duc t i o n   f r o m   130. 000  tr a i n   da t a   to   82 . 000  da t a   a n 11. 900   v a li da t i o n   da t a   to   10 . 900  da t a .   F o r   t h e   T y D i Q A   da t a s e t ,   o r i g i na l   da t a s e t   a l r e a d y   pr o vi de s o m e   da t a   i n   I n do n e s i a   l a n gu a ge ,   h e n c e   da t a s e t   t h a t   a r e   us e i n   t hi s   r e s e a r c h   o nly   t oo t h e   i ndo n e s i a n   l a n gu a ge   po r t i o n   o f   t h e   da t a s e t .   T h e   n u m be r   o f   da t a   i n   I n do ne s i a   l a n gua ge   a r e   13. 500  t r a i n   da t a   a n 1. 800  v a li da t i o n   da t a .   A ns we r   v a li da t i o n   a r e   p e r f o r m e d   to  m a ke   s ur e   e v e r y   da t a   p o i n t   h a v e   a n   a n s w e r   o n   th e   c o n t e x t   pa r a gr a ph .   Up o n   v a l i da t i n g,   t h e   n u m b e r   o f   da t a   t h a t   di d n t   ha a n   a n s w e r   a r e   a   l o t ,   r e s u l t i n in   qu i t e   h uge   da t a   r e duc t i o n   t o   5 . 700  t r a i n   da t a   a n 550   v a li da t i o n   da t a .   T h e n   t h e   da t a   a r e   b e i ng  f o r m a t t e to   s pe s i f i c   f o r m a t   to   m a k e   a   unif o r m   l e a r ni ng  p i pe li ne   w i t S QuA Da t a s e t .   E x a m p l e   o f   T y D i Q A   da t a s e t h a t   a r e   b e i ng  us e i n   t hi s   r e s e a r c h   c o u l b e   s e e n   i n   T a bl e   3.       T a bl e   2 .   T r a n s l a t e S QuA v e x a m p l e   T it l e   C o nt e x t   Q ue s ti o n   I ndo n e s ia n_a ns w e r   B e y on c e   B e y onc é  G is e ll e   K now le s - C ar te r  ( bi ːˈ ns e ɪ  /   be e - Y O N - s ay )  ( la hi r  4 Se pt e m be r  1981)  adalah  pe ny any i,  pe nul is  l agu, pr odu s e r  dan ak tr is   r e k am an A m e r i k a...   K apan B e y onc e  m ul ai  m e nj adi   popule r ?   { " ans w e r _s ta r t" :  291,  " te x t" :   " pada ak hi r  1990 - an"  }   K o ta  N e w   Y o r k   N e w  Y or k     s e r in g di s e but   N e w  Y or k  C it y  at au  K ot a N e w  Y or k  unt uk  m e m be dak anny a dar N e gar a B agi an N e w  Y or k ...   K ot a apa di A m e r ik a Se r ik at   y ang me m il ik populas te r ti nggi ?   { " ans w e r _s ta r t" :  0,  " te x t" :   " N e w   Y or k "  }   F r é r ic   C ho pi n   F r é r ic  F r anç oi s  C hopi n ( 22  F e br uar at au 1  M ar e 1810  -   17 O k to be r  1849) , k e la hi r an  F r y de r y k  F r anc is z e k  C hopi n ...   B agai m ana k e w ar gane gar aan  F r é r ic ?   { " ans w e r _s ta r t" :  201,  " te x t" :   " P ol andi a dan k om pos e r   P r anc is "  }   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   478 - 487   484   T a bl e   3 .   T y D i Q A   I n do n e s i a   e x a m p l e   T it l e   C o nt e x t   Q ue s ti o n   I ndo n e s ia n a ns w e r   F e r na nd o  d e   M a ge lh a e ns   Say angny a R aj a P or tu gi s  J ohn, te r bunuh  pada tahun 1495 da P ange r an M anue l,   y ang le bi h be r m in at  ak an ha r ta  s e bal ik ny dar ip ada pe nj e la ja han, naik  t ak ht a...   K apan pe r dagangan me la lu ar m ada mulai di la k uk an ole bang s a E r opa ?   { " ans w e r _s ta r t" :  453,  " te x t" :   " 1505 "  }   B a nda r  P a s ir   M a ndo ge A s a ha n   B andar  P as ir  M andoge  adalah s e buah  k e c am at an di K abupate n A s ahan, Sumate r U ta r a, I ndone s ia .   D imana le ta k  dae r ah  " P ar de m banan" ?   { " ans w e r _s ta r t" :  49,  " te x t" :   " K abupate A s ahan, Sumate r U ta r a, I ndone s ia "  }   G ur un  S a ha r a   Sahar a t e r le ta k  di  ut ar a A f r ik a dan b e r u s ia   2,5 j ut a t ahun.  P adang pas ir  i ni  m e m be nt ang  dar Sam udr a A tl ant ik  k e  L aut  M e r ah...   B e r apak ah L uas  G ur un  Sahar a ?   { " ans w e r _s ta r t" :  437,  " te x t" :   " 9.000.000k m 2"  }       4. 2 .     M od e l   f in e - t u n in g   T h e   i n put   a n o ut pu t   s a m p l e s   f o r   e a c h   m o de l   a r e   pr e s e n t e i n   T a bl e   f o r   t h e   S QuA v da t a s e t   a n d   T a bl e   f o r   t h e   T y D i Q A   da t a s e t .   I n   b ot h   i ns t a n c e s ,   t h e   i n put   c o m pr i s e s   t wo   pr i m a r y   a tt r i b ut e s t h e   " c o n t e x t   pa r a gr a ph "   a n t h e   " que s t i o n , "   w hi c h   a r e   de li ne a t e by   a   < s e p>   to ke n   to   f a c il i t a t e   s e pa r a t i o n .   C o nv e r s e ly ,   t h e   o u t pu pe r t a i ns   to  t h e   " a n s we r "   a t t r i b ut e .       T a bl e   4 .   S QuA v i n put ,   t a r ge t   a n d   o u t pu t   c o m p a r i s o n   e x a m p l e   M o de l   E x a mpl e   I nput   < B O S >   Se ge r a s e te la h N or m andi a m ul ai   m e m as uk I ta li a, m e r e k a m e m as u k K e k ai s ar an  B iz ant iu m  dan k e m udi an A r m e ni a, be r te m pu r  m e la w an P e c he ne g, B ul gar ia , dan te r ut am a T ur k Se lj uk . T e nt ar a bay ar an  N or m an pe r ta m a k al di dor ong untuk   dat ang k e  s e la ta n ol e h or ang - or ang L om bar d untuk  be r ti ndak  m e la w an B iz ant iu m , t e ta pi  m e r e k a s e ge r a b e r pe r ang dalam  di nas  B iz ant iu m  di  Si s il ia . M e r e k a m e nonj ol  di  s am pi ng  k ont in ge n V ar angi an dan L om bar di dal am  k am pany e  Si s il ia  G e o r ge  M ani ac e s  pada 1038 40. A da  pe r de bat an apak ah or ang  N or m andi a dalam dinas  Y unani s e be n ar ny a b e r as al  da r N or m an I ta li a, dan s e k ar ang tampak ny hany a s e di k it  y ang datang dar s ana. J uga ti dak  di k e ta hui  be r a pa bany ak  " k aum  F r ank " s e bagaimana or ang - or ang B iz ant iu m  m e n y e but ny a, adalah or a ng - or ang N or m andi a dan buk an  or ang P r anc is  l ai nny a.<SE P > Si apa y ang be r pe r ang me la w an N or m andi a di  I ta li a?< E O S >   T a r ge t   P e c he ne gs , par a B ul gar ia , dan te r ut am a or ang - or ang T ur k Se l ju k   I ndoB A R T - ba s e   o u tp ut   pe c he n e g, bulga r ia   L o ng f or m e r - I nd oB A R T   o ut put   pe c he n e g   L o ng f or m e r - I nd oB A R T     a ut o r e gr e s s iv e   o ut put   pe c he n e g, bulga r ia       T a bl e   5 .   T y D i Q A   i n put ,   t a r ge t ,   a n d   o u t pu c o m pa r is o n   e x a m p l e   M o de l   E x a mpl e   I nput   < B O S > H ir a ga na  ( K a na K a nj i:   平仮名 )  ada la h s uat u c ar a pe nul is an baha s a J e pang  dan me w ak il s e but an s uk uk at a. P ada mas a s il am , i a j uga dik e nal s e bagai  o nna  de  ( 女手 at au  ' tu li s an w ani ta '  k ar e na bias a di gunak an ol e h k aum  w ani ta . K aum  l e la k pada mas a i tu  m e nul is   m e nggunak an t ul is an K anj dan K at ak ana. Hi r agana mulai di gunak an s e c a r a l uas  pada abad k e - 10 M as e hi .< S E P > apak ah y ang dimak s ud d e ngan Hir ag ana ? < E O S >   T a r ge t   c ar a pe nul is an baha s a J e pang dan me w ak il s e but an  s uk uk at a   I ndoB A R T - ba s e   o u tp ut   pe nul is an abad k e - 10 m as e hi   L o ng f or m e r - I nd oB A R T   o ut put   c ar a pe nul is an baha s a j e pang   L o ng f or m e r - I nd oB A R T     a ut o r e gr e s s iv e   o ut put   c ar a pe nul is an baha s je pang       4. 3.     E val u at ion   T h e   e v a l ua t i o n   pha s e   we r e   b e n c hm a r us i n t h e   F 1 - s c o r e ,   E x a c M a t c h ,   B L E U,   a n R OU GE   e v a l ua t i o n   m e t r i c   f o r   e a c h   m o de l   a n da t a s e t .   E v a l ua t i o n   r e s u l t   c o u l be   s e e n   i T a bl e   f o r   S QuA da t a s e a n T a bl e   f o r   T y D i Q A   da t a s e t .   I n do B A R T   m o de l   b a s e   o n   m B A R T   m o de l   w hi c h   by   de f a u l t   we r e   us i n g   a uto - r e gr e s s i v e   f e a t ur e   o f   B A R T ,   On   t h e   o t h e r   h a n t h e   l o n g f o r m e r   a t t e n t i o n   h a t h e   o pt i o n   to   di s a bl e t h e   a uto - r e gr e s s i v e   o f   t h e   m o de l ,   t h e r e f o r e   a utor e gr e s s i ve   wo u l b e   o n   o f   t h e   v a r i a t i o n   o f   t h e   m o d i f i e mo de l .       T a bl e   6 .   S QuA V2  e v a l ua t i o n   r e s u l t   M o de na m e   E x a c ma t c h   F1   B L E U   R O U G E - L   R O U G E - 1   R O U G E - 2   I ndoB A R T - ba s e   35.06   54.04   0.054   0.529   0.53   0.282   L on gf o r m e r - I n d o B A R T   34.81   53.48   0.0531   0.524   0.525   0.277   L on gf o r m e r - I n d o B A R T   -   a u t o r e gr e s s iv e   34.91   53.68   0.0536   0.526   0.527   0.28   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it longf or me r   att e nti on   ( P e ter   A ndr e w )   485   T a bl e   7 .   T y D i Q A   e v a l ua t i o n   r e s u l t   M o de na m e   E x a c ma t c h   F1   B L E U   R O U G E - L   R O U G E - 1   R O U G E - 2   I ndoB A R T - ba s e   28.49   39.94   0.061   0.39   0.39   0.27   L on gf o r m e r - I n d o B A R T   34.69   48.92   0.081   0.48   0.48   0.31   L on gf o r m e r - I n d o B A R T   -   a u t o r e gr e s s iv e   34.86   50.81   0.1   0.50   0.50   0.34       B a s e o n   T a bl e   6,   b a s e - i n do B A R T   m o de l   pe r f o r m   s l i g h t l y   b e t t e r   t h a n   l o n g f o r m e r - i ndo B A R T   m o de l   a c r o s s   a l l   e v a l ua t i o n   m e t r i c   o n   t r a n s l a t e S QuA D   v da t a s e t ,   m o s t   s i g ni f i c a n t   d i f f e r e n c e   o f   0. s e e n   i n   F 1 - s c o r e .   W h e r e a s ,   l o n g f o r m e r - I n do B A R T   a c hi e v e o u t s t a n d i n r e s u l t   o n   T y D i Q A   da t a s e t   ( T a bl e   7)   i c o n t r a s t   to   b a s e - i n do B AR T .   L o n g f o r m e r - I n do B A R T   o u tm a t c h   b a s e - i n do B A R T   m o de l   o n   e v e r y   e v a l ua t i o n   m e t r i c ,   l o n g f o r m e r - I n do B A R T   m o s t   n ot a bl e   a d v a n c e m e n t   s h o wn   i n   F 1 - s c o r e ,   i t   o u t pe r f o r m   ba s e - i ndo B A R T   b 25% .   L o n g f o r m e r - i ndo B A R T   m o de l   w i t h   a uto r e g r e s s i ve   a ppe a r   to   pe r f o r m   b e t t e r   t h e wi t h o ut  a uto r e gr e s s i v e   o n   b ot h   da t a s e t,   I s h o wn   a uto r e gr e s s i ve   f e a t ur e   ge n e r a l ly   p e r f o r m   b e tt e r   o n   Que s t i o n   Ans we r i n t a s k.   T y D i Q A   ge n e r a ll y   h a l o n ge r   i n put   pa r a g r a ph   s e que n c e   a n o u t pu a n s we r   s e que n c e ,   i n   t h o s e   c o n d i t i o n   l o n g f o r m e r - i n do B AR T   m o de l   c o u l pe r f o r m   b e t t e r   t h a n   b a s e - i ndo B A R T   m o de l .   M o r e o v e r ,   s o m e   c o n t e x m i g h t   l o s t   i n   tr a n s l a t i o n   f o r   S QuA v da t a s e t .   I n   t h i s   c a s e s ,   b a s e - i ndo B AR T   f u ll   s e l f - a tt e n t i o pr e s u m a bly   h a v e   b e t t e r   c o n t e x t   un de r s t a n d i n th e n   s li d i ng - w i n do a tt e n t i o n   o n   l o n g f o r m e r - i nd o B A R T   m o de l ,   a s   i t   c h e c a l l   o f   t h e   s e que n c e s   c o m pa r e to   c h e c k i n o n   t h e   s l i d i ng  w i n do r a n ge .   T h e   gr a ph   i n   F i gur e s   a n 6   i ll us t r a t e s   a   c o m pa r i s o n   o f   t r a i ni ng  t i m e s   a c r o s s   a l l   m o de l s   f o r   e a c da t a s e t.   F i gur e   i n d i c a t e   t h e   t r a i ni ng  t i m e   f o r   t h e   S QuA da t a s e t ,   wh e r e   t h e   I n do B A R T - b a s e   m o de l   t r a i n e d   a ppr o xi m a t e l y   1. t i m e s   f a s t e r   t h a n   t h e   m o d i f i e L o n g f o r m e r - I n do B A R T   m o de l ,   t h e   a uto r e g r e s s i ve   f e a t ur e   i n   L o n g f o r m e r   i n c ur r e a   s l i g h t l y   l o n ge r   t r a i ni ng  ti m e   t h a n   i t s   n o n - a ut or e gr e s s i v e   c o un t e r pa r t .   T u r ni ng  to  F i gur e   5,   whi c h   il l u s t r a t e s   t h e   tr a i ni n t i m e   f o r   t h e   T y D i Q A   d a t a s e t ,   r e v e a l   t he   I n do B A R T - b a s e   m o de l   t r a i n e ne a r l y   t w i c e   a s   qu i c k ly   a s   t h e   L o n g f o r m e r - I n do B A R T   m o d i f i c a t i o n ,   w i t h   t h e   L o n g f o r m e r 's   a uto r e gr e s s i v e   f e a t ur e   t a k i n a   f r a c t i o n   o f   a   s e c o n d   l o n g e r   t h a n   i t s   n o n - a ut or e gr e s s i v e   c o un t e r pa r t.             F i gur e   5.   T y D i Q A   t r a i ni ng  t i m e   c o m pa r i s o n     F i gur e   6 .   S QuA tr a i ni ng  t i m e   c o m pa r i s o n       I n   t h e or y ,   t h e   L o n gf o r m e r   m o d i f i c a t i o n   b o a s t s   s upe r i o r   c o m put a t i o n a l   c o m p l e xi t y   o f   O( n)   c o m pa r e d   to   t h e   I n do B A R T - ba s e   s e l f - a t t e n t i o n ,   w hi c h   s t a n d s   a t   O( n 2 ) .   Ho we v e r ,   e m p i r i c a l   f i nd i ng s   f r o m   t r a i ni ng  t i m e   e v a l ua t i o ns   r e v e a l   t h a t   t h e   L o n gf o r m e r   m o d i f i c a t i o n   a c t ua l ly   t oo k   l o n ge r   t h a n   t h e   b a s e   I n do B AR T .   T hi s   d i s c r e pa n c y   c a n   b e   a t t r i b ut e to   t h e   o p t i mi z e im p l e m e n t a t i o n   o f   m a t r i x   do pr o duc t   c o m put a t i o n s   i t h e   I n do B A R T - b a s e ,   w hi c h   pr o v e t o   b e   f a s t e r   t h a n   t h e   u n o pt i mi z e s l i d i ng  w i n do ws   t e c hni que   ut i li z e i n   t h e   L o n g f o r m e r   m o d i f i c a t i o n .   T h us ,   whil e   t h e   L o n g f o r m e r   m o d i f i c a t i o n   i nde e i nv o l ve s   a   l o we r   n u m be r   o f   o pe r a t i o n s ,   i t s   u n o pt i m i z e i m p l e m e n t a t i o n   r e s u l t e i n   l o n ge r   t r a i ni ng  t i m e s   c o m pa r e t o   I n do B A R T   s e l f - a tt e n t i o n .       5.   CONC L USI ON   T c o n c l ude ,   i n   a c c o r da n c e   o f   t h e   e vi de n c e   pr e s e n t e i n   t hi s   r e s e a r c h ,   ut i li z a t i o n   o f   L o n g f o r m e r   a tt e n t i o n   m o d i f i c a t i o n   t o   i m pr o v e   I n do n e s i a - b a s e A QG   s y s t e m   m o de l s   i s   n ot a bly   be n e f i c i a l ,   e s pe c i a ll y   wh e n   h a n d li ng  l o n ge r   s e que n c e   c o n t e x t   i n put   a n o ut pu t.   T h r o ugh o u t hi s   r e s e a r c h ,   t h e   L o n g f o r m e r   -   I n do B A R T   m o de l   s h o wc a s e r e m a r ka bl e   pr e c i s i o n   a c r o s s   a l l   e v a l ua t i v e   m e t r i c s   o n   t h e   T y D i Q A   d a t a s e i c o n t r a s to  i t s   pr e de c e s s o r ,   t h e   I n do B A R T - ba s e   m o de l .   W hil e ,   t h e   L o n g f o r m e r - I n do B A R T   m o de l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   478 - 487   486   de m o ns t r a t e d   i m pr e s s i ve   pe r f o r m a n c e ,   i t   e x pe r i e n c e a   s l i g h t   s e t b a c wh e n   e v a l ua t e o n   t h e   tr a ns l a t e S QuA v da t a s e c o m pa r e to  t h e   I n do B AR T   m o de l ,   b e c a us e   o f   s o m e   c o n t e x t   we n m i s s i ng  i n   t r a n s l a t i o n .   F o r   f ut ur e   s t udi e s ,   i t   i s   a d vi s a bl e   to   c o n duc t   tr a i ni ng  w i t h   QG   a s   t h e   t a r ge i n s t e a o f   a ns we r   ge n e r a t i o n .   F ur t h e r m o r e ,   e m p l o yi ng  a n   uns upe r vi s e l e a r ni ng  a ppr o a c h   to   ge n e r a t e   b ot h   que s t i o n s   a nd   a ns we r s   f r o m   a   c o n t e x t ua l   pa r a gr a ph   c o ul s t r e a ml i ne   t h e   m a n ua l   pr o c e s s   o f   t e a c h e r - l e que s t i o n - a n s w e r   ge n e r a t i o n .   T h e   da t a s e t s   e m p l o y e i n   t hi s   s t ud y   we r e   s o ur c e f r o m   e i t h e r   m u l t i li ngua l   o r   E n g l i s da t a s e t s   t h a t   r e qui r e t r a n s l a t i o n .   T hi s   c o u l po s e   c h a ll e n g e s   a s   s o m e   c o n t e x t   m a y   b e   l o s t   i n   t r a ns l a t i o n   o r   t h e   da t a s e s i z e   m a y   b e   l im i t e d.   T h e r e f o r e ,   t h e   c r e a t i o n   o f   a n   I n do n e s i a n   l a n gu a ge   que s t i o n - a n s we r i ng  da t a s e t   i s   e s s e n t i a to  de v e l o m o r e   r o b us t   m o de l s   a n b e n c hm a r ks .         F UN DI NG  I N F ORM AT I ON   A ut h o r s   s t a t e   n f u n d i ng  i nv o l v e d.       AU T HO CONT RI B UT I ONS   S T AT E M E NT     Nam e   of   Aut h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   P e t e r   A n dr e w                               Abb a   S uga n da   G i r s a n g                                 C     C o n c e pt ua li z a ti o n   M     M e th o d o l o g y   So     So f twa r e   Va     Va li da ti o n   Fo     Fo r ma a na l y s is   I     I nve s ti ga ti o n   R     R e s o u r c e s   D   :   D a ta  C ur a ti o n   O   :   W r it in -   O r ig in a D r a f t   E   :   W r it in -   R e v i e w  &   E di ti ng   Vi     Vi s ua li z a ti o n   Su     Su pe r v is io n   P     P r o j e c a dmi ni s tr a ti o n   Fu     Fu ndi ng a c qui s it i o n         CONF L I CT   OF   I NT E RE S T   S T AT E M E NT   A ut h o r s   s t a t e   n c o nf li c t   o f   i n t e r e s t       DA T AV AI L AB I L I T Y   T h e   a ut h o r s   c o nf i r m   t h a t   t h e   da t a   s upp o r t i n g   t h e   f in d i ngs   o f   t hi s   s t ud y   a r e   a va i l a bl e   w i t hi n   t h e   a r t i c l e       RE F E R E NC E S   [ 1]   N T L e T K o ji r i,   a nd  N P in kw a r t,   A ut o ma ti c   qu e s ti o ge n e r a ti o f o r   e du c a ti o na a ppl ic a ti o ns   -   th e   s ta te   of   a r t,   in   A dv anc e s   in   I nt e ll ig e nt  Sy s te m s  and C om put in g , v o l.  282, S p r in ge r  I nt e r n a ti o na P ubl is hi ng, 2014, pp. 325 338.   [ 2]   R S mi th P S n o w T S e r r y a nd  L H a mm o nd,  T h e   R o le   of   ba c kgr o und  kn o w l e dg e   in   r e a di ng  c o mpr e he ns i o n:   a   c r it ic a l   r e v i e w ,”   R e adi ng  P s y c hol ogy , vo l.  42 , n o . 3, pp. 214 240,  F e b.  2021, do i:  10.1080/02702711. 2021.1888348.   [ 3]   E . B . M o j e , P . P . A f f le r ba c h,  P . E n c is o , a nd N K L e s a ux H an dbook  of   r e adi ng r e s e ar c h, v ol um e  V , v o l.  V . R o ut l e dg e , 2020.   [ 4]   M L e a s a A A be dn e g o a nd   J R B a tl o l o na P r o bl e m - ba s e le a r ni ng   ( P B L )   w it r e a di ng  qu e s ti o ni ng  a nd   a ns w e r in ( R Q A )   of   pr e s e r v i c e   e l e m e nt a r y   s c h oo t e a c h e r s ,”   I nt e r nat io nal   J our nal   of   L e a r ni ng,  T e ac hi ng  and  E duc at io nal   R e s e a r c h v o l.   22,  n o 6,  pp. 245 261, J un. 2023, do i:  10.26803/i jl t e r .22.6.14.   [ 5]   V R a ma da y a nt i   a nd  J a mi lu ddi n,  D e ve l o pi ng   s tu de nt s   r e a di ng  c o mp r e h e ns i o th r o ugh  qu e s ti o n   g e ne r a ti o s tr a t e g y ,”   E - J our nal   of  E ngl is h L anguage  T e ac hi ng Soc ie ty , v o l.  8, 2020.   [ 6]   X D u,  J .   S ha o a nd  C C a r di e L e a r ni ng  t o   A s k:   N e ur a Q ue s ti o G e ne r a ti o f o r   R e a di ng  C o mp r e he ns i o n,”   C o R R vo l.   a bs /1 705.00106, 2017, [ O nl in e ] . A v a il a bl e ht tp :/ /a r x i v . or g/ a bs /1 705.00106   [ 7]   D S uha r to n o ,   M R N M a ji id a nd  R F r e d y a n,  T o w a r ds   a ut o ma ti c   qu e s ti o ge n e r a ti o us in pr e - tr a in e m o d e in   a c a de mi c   f i e ld   f or   B a ha s a   I nd o n e s ia ,”   E duc at io and  I nf or m at io T e c hnol ogi e s v o l.   29,  n o 16,  pp.  21295 21330,  A pr 2024,  do i:   10.1007/s 10639 - 024 - 12717 - 9.   [ 8]   V H a r r is o a nd  M W a lk e r N e ur a ge ne r a ti o of   di ve r s e   qu e s ti o ns   us in a n s w e r   f oc us c o nt e xt ua a nd  li ngui s ti c   f e a tu r e s ,”   i I N L G   2018  -   11t h   I nt e r nat io nal   N at ur al   L anguage   G e ne r at io C onf e r e nc e P r oc e e di ngs   o f   th e   C on f e r e nc e 2018,  pp.  296 306,   do i:  10.18653/ v 1/ w 18 - 6536.   [9   T .   S ul ta na   a nd  S B a dugu,  A   r e v i e w   o di f f e r e nt   qu e s ti on  a ns w e r in s y s t e a ppr o a c h e s ,”   in   L e ar ni ng  and   A nal y ti c s   in   I nt e ll ig e nt  Sy s te m s , v o l.  4, S p r in g e r  I nt e r na ti o na P ubl is hi ng, 2020, pp. 579 586.   [ 10]   P .   R a j p u r k a r ,   J .   Z h a n g ,   K .   L o py r e v ,   a n d   P .   L i a n g ,   S Q u a d :   1 0 0 , 00 0 +   q u e s t i o n s   f o r   m a c h i ne   c o m p r e he n s i o n   o f   t e x t ,   i n   E M N L P   2 01 6   -   C o n fe r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   N a t u r a l   L a n g u a g e   P r o c e s s i n g ,   P r o c e e d i n g s , 2016, pp. 2383 2392, do i:  10.18653/ v 1/d16 - 1264.   [ 11]   A A s a K H a s hi mo t o H H a ji s hi r z i,   R S oc h e r a nd  C X io n g,  L e a r ni ng  t o   r e tr ie ve   r e a s o n in pa th s   ove r   w ik ip e di a   gr a ph  f or   que s ti o n a ns w e r in g,”   ar X iv . , 2019.   [ 12]   G I z a c a r a nd  E G r a ve L e ve r a gi ng  pa s s a ge   r e t r i e v a w it g e n e r a ti ve   m o d e ls   f o r   o p e d o ma in   qu e s ti o n   a ns w e r in g,”   in   E A C L   2021  -   16t C onf e r e n c e   o f   th e   E ur ope an  C hapt e r   o f   th e   A s s oc ia ti on  f o r   C om put at io nal   L in gui s ti c s P r oc e e di ngs   of   th e   C on f e r e nc e , 2021, pp. 874 880, do i:  10.18653/ v 1/ 2021. e a c l - m a in .74.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it longf or me r   att e nti on   ( P e ter   A ndr e w )   487   [ 13]   Q C a o H T r i ve di A B a la s ubr a ma ni a n,  a nd  N B a la s ubr a ma ni a n,  D e F o r m e r :   D e c o mp o s in pr e - tr a in e d   tr a ns f o r m e r s   f or   f a s te r   que s ti o a ns w e r in g,”   in   P r oc e e di ngs   of   th e   A nnual  M e e ti ng  of   th e   A s s oc ia ti on  f or   C o m put at io nal   L in gui s ti c s 2020,  pp.  4487 4497, do i:  10.18653/ v 1/ 2020.a c l - ma in .411.   [ 14]   S C a h y a w ij a y a   e a l. I nd o N L G b e n c hma r a nd  r e s o ur c e s   f o r   e v a lu a ti ng  in d o n e s ia na tu r a la ngua ge   ge n e r a ti o n,”   in   E M N L P   2021  -   2021  C onf e r e nc e   on  E m pi r ic al   M e th ods   in   N at ur al   L anguage   P r oc e s s in g,  P r oc e e di ngs 2021,  pp.  8875 8898,  do i:   10.18653/v 1/ 2021. e mnl p - ma in .699.   [ 15]   B W il ie   e al .,   I nd o N L U B e nc hma r a nd  r e s o ur c e s   f or   e v a lu a ti ng  I ndo n e s ia na tu r a la ngua ge   unde r s ta ndi ng,”   P r oc e e di ngs   o th e   1s C on f e r e nc e   o f   th e   A s ia - P ac if ic   C hapt e r   o f   th e   A s s oc ia ti on  f or   C om put at io nal   L in gui s ti c s   and  th e   10t I nt e r nat io nal   J oi nt   C onf e r e nc e  on N at ur al  L anguage  P r oc e s s in g , pp. 843 857, 2020.   [ 16]   K P a pi n e ni ,   S R o uk o s T .   W a r d,  a nd  W J Z hu,   B L E U :   A   me th o f o r   a ut o ma ti c   e v a lu a ti o of   ma c hi n e   tr a ns la ti o n,   in   P r oc e e di ngs   of   th e   A nnual  M e e ti ng  of   th e   A s s oc ia ti on  f or   C o m put at io nal   L in gui s ti c s 2002,  vo l.   2002 - J ul y ,   pp.  311 318,  do i:   10.3115/1073083.10 73135.   [ 17]   C. - Y L in R O U G E a   pa c ka g e   f or   a ut o ma ti c   e v a lu a ti o n   of   s umm a r ie s ,”   T e x Sum m ar iz at io B r anc he s   O ut B ar c e lo na,  Sp ai n:   A s s oc ia ti on f o r  C om put at io nal  L in gui s ti c s , pp. 74 81, 2019.   [ 18]   D S e al . G e n e r a li z in qu e s ti o a ns w e r in s y s te m   w it pr e - t r a in e la ngua g e   m o d e f in e - tu ni ng,”   in   M R Q A @ E M N L P   20 19  -   P r oc e e di ngs  of  t he  2nd W or k s hop on M ac hi ne  R e adi ng  f or  Q ue s ti on A ns w e r in g , 2019, pp. 203 211, do i:  10.18653/ v 1/ d19 - 582 7.   [ 19]   M L e w is   e al . B A R T D e n o is in s e que n c e - to - s e qu e n c e   pr e - t r a in in f o r   na tu r a la ngua ge   g e n e r a ti o n,  tr a ns la ti o n,  a nd  c o mpr e h e ns io n ,”   in   P r oc e e di ngs   of   th e   A nnual  M e e ti ng  o f   th e   A s s oc ia ti on  f or   C om put at io nal   L in gui s ti c s 2020,  pp.   7871 7 880,  do i:  10.18653/ v 1/ 2020.a c l - ma in .703.   [ 20]   H W .   C hung,  D G a r r e tt e K .   C T a n,  a nd   J R ie s a I mpr ovi ng  mul ti li ngua m o de ls   w i th   la ngua ge - c lu s te r e voc a bul a r i e s ,   in   E M N L P   2020   -   2020   C onf e r e nc e   on  E m pi r ic al   M e th ods   in   N at ur al   L anguage   P r oc e s s in g,  P r oc e e di ngs   of   th e   C on f e r e nc e 2020,   pp. 4536 4546, do i:  10.18653/ v 1/ 2020. e mnl p - ma in .367.   [ 21]   I . B e lt a g y , M . E . P e t e r s , a nd A . C o ha n, “ L o ng f o r me r th e  l o ng - doc um e nt  t r a ns f o r m e r ,”   ar X iv  pr e pr in ar X iv .   [ 22]   F J M ui s   a nd   A P ur w a r ia nt i,   S e que nc e - to - s e qu e n c e   l e a r ni ng  f o r   I nd o n e s ia a ut o ma ti c   que s ti o ge n e r a t or ,”   in   2020  7t h   I nt e r nat io nal   C onf e r e nc e   on  A dv anc e I nf or m at ic s :   C onc e pt s T he or y   and  A ppl ic at io ns I C A I C T A   2020 ,   S e p.  2020,   pp.  1 6,   do i:   10.1109/I C A I C T A 49861.2020.9429032.   [ 23]   J H C la r e al . ,   T y di   qa A   b e n c hma r f or   in f or ma ti o n - s e e ki ng  qu e s ti o a ns w e r in in   t y p o l o g ic a ll y   di v e r s e   la ngua g e s ,”   T r ans ac ti ons  o f  t he  A s s oc ia ti on f o r  C om put at io nal  L in gui s ti c s vo l.  8, pp. 454 470, D e c . 2020, d o i:  10.1162/t a c l_ a _00317.   [ 24]   K V in c e nt i o   a nd  D S uha r t o n o A ut o ma ti c   qu e s ti o n   ge n e r a ti o us in R N N - ba s e a nd  p r e - tr a in e tr a ns f o r m e r - ba s e m o d e l s   in   l o w  r e s o ur c e   in d o ne s ia n l a ngua ge ,”   I nf or m at ic a ( Sl ov e ni a) , vo l . 46, no . 7, pp. 103 118, N ov . 2022, d o i:  10.31449/i n f . v 46i 7.42 36.   [ 25]   A . V a s w a ni , “ A tt e nt i o n i s  a ll   y o u n e e d,”   A dv anc e s  i n N e ur al  I n f or m at io n P r oc e s s in g Sy s te m s , 2017.       B I OG RA P HI E S   OF   AU T HO RS       P eter  A n drew           i s   c u rr en t l y   fr eel an ce   d e v el o p e s p e ci al i zi n g   i n   w e b ,   m o b i l e ,   d e s k t o p ,   a n d   c ro s s - p l at fo rm   d e v el o p me n t   s i n ce  2 0 2 4 ,   H h o l d s   b ach el o r 's   d e g r ee   i n   i n fo r m at i c s   fr o m   Bi n N u s an t ara  U n i v e rs i t y   2 0 2 1 .   H h as   an   i n t e rn s h i p   at   t h e   A p p l D ev e l o p e r   A c a d emy   i n   2 0 1 9   as   an   i O d ev e l o p e r,   fo l l o w ed   b y   t ran s i t i o n   t o   F l as h   Co ff ee  i n   2 0 2 1 ,   w h e r h e   d em o n s t rat e d   p ro f i c i en cy   i n   mo b i l e ,   w e b ,   an d   b a c k en d   d e v el o p me n t ,   al o n g s i d ad e p t n e s s   i n   b u i l d   au t o m at i o n   a n d   d at re p o rt i n g .   h i s   ar e o i n t e r e s t   i s   m a ch i n e   l e ar n i n g   an d   d at s c i en ce .   H c an   b e   co n t a c t ed   at   em ai l :   p e t e r. a n d r ew @ b i n u s . a c . i d .         A bba   Su g a n da   G i rs a n g            i s   c u rr en t l y   l ec t u r e at   Mas t e i n   C o m p u t e r   S c i en ce ,   Bi n N u s an t ara  U n i v e rs i t y ,   J ak art a,   In d o n e s i Si n ce   2 0 1 5 .   H e   g o t   Ph . D .   d e g r ee   i n   2 0 1 5   at   t h e   I n s t i t u t o C o m p u t e r   an d   Co mmu n i c at i o n   E n g i n ee ri n g ,   D e p art men t   o E l ec t ri c a l   E n g i n ee ri n g ,   N at i o n a l   Ch en g   K u n g   U n i v e rs i t y ,   T ai n an ,   T ai w a n .   H g ra d u at e d   b ach e l o fr o m   t h D e p art men t   o E l ec t ri c a l   E n g i n ee ri n g ,   G ad j a h   Ma d U n i v e rs i t y   ( U G M),   Y o g y ak art a,   I n d o n e s i a,   i n   2 0 0 0 .   H e   t h en   c o n t i n u e d   h i s   m as t e r’s   d eg ree  i n   t h e   D e p art men t   o Co m p u t e Sci en ce   at   t h e   s ame   u n i v e rs i t y   i n   2 0 0 6 2 0 0 8 .   H e   w as   s t aff  c o n s u l t an t   p ro g ra mme i n   Be t h e s d a   H o s p i t al ,   Y o g y ak art a,   i n   2 0 0 1   an d   al s o   w o rk e d   as   a   w e b   d ev e l o p e r   i n   2 0 0 2 2 0 0 3 .   H t h e n   j o i n ed   t h e   fa cu l t y   o t h e   D e p art me n t   o f   In fo r m at i c s   E n g i n ee r i n g   i n   J an ab ad ra  U n i v e rs i t y   as   a   l ec t u r e r   i n   2 0 0 3 - 2 0 1 5 .   H i s   r e s e ar ch   i n t e r e s t s   i n c l u d s w ar m ,   i n t el l i g en ce,   c o m b i n at o ri a l   o p t i m i zat i o n ,   an d   d ec i s i o n   s u p p o rt   s y s t e m.   H e   c a n   b c o n t ac t e d   at   e m ai l :   ag i rs an g @ b i n u s . e d u .       Evaluation Warning : The document was created with Spire.PDF for Python.