I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 4 ,   N o .   2 ,  A ugus t   20 2 5 ,   pp.   478 ~ 487   I S S N:  2252 - 8776 ,  DO I :  10 . 11591/i ji c t . v 1 4 i 2 . pp 47 8 - 487             478       Jou r n al  h o m e page :  ht tp: // ij ict . iaes c or e . c om   In d oB A R T  o p t i m iz at io n  f or  q u e st io n  an sw e r  g e n e r at io n  s y st e m   w ith  l on gf or m e r  at t e n t io n       P e t e r   And r e w,   Abb a  S u gan d a   Gi r s an g   D e pa r tm e nt   of  C o mput e r  S c i e n c e ,  B in us   G r a dua te   P r o gr a m - M a s te r   of  C o mput e r  S c i e n c e ,  B in a  N us a nt a r a  U ni ve r s it y , J a ka r ta , I ndo n e s ia         Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d   A pr   30,   2024   R e vi s e d  De c   13,   2024   A c c e pt e d  J a n   19,   2025       T h e   I n co rp o rat i o n   o f  Q u e s t i o n   A n s w e r i n g   s y s t em   h o l d s   i mme n s e   p o t en t i al   fo r  ad d r e s s i n g   In d o n e s i a’s   e d u c at i o n al   d i s p ari t i e s   b e t w ee n   t h e   ab u n d an ce   o f   h i g h   s c h o o l   s t u d en t s   an d   t h e   l i mi t ed   n u m b e r  o f  t e a ch e rs   i n   I n d o n e s i a.   T h e s e  s t u d i e s   ai m   t o   e n h an ce  t h e   Q u e s t i o n   A n s w e r i n g   S y s t em  m o d el   t ai l o r ed   f o r   t h e   I n d o n e s i an   l an g u a g e   d at as e t   t h ro u g h   e n h an ceme n t s   t o   t h e   In d o n e s i a n   I n d o BA RT   m o d e l .   Im p ro v eme n t   w as   d o n e   b y   i n co rp o rat i n g   L o n g fo r me r’s   s l i d i n g   w i n d o w s   at t en t i o n   mec h a n i s m   i n t o   t h e   I n d o B A RT   m o d e l ,   i t   w o u l d   i n c r e as e  m o d e l   p ro fi ci e n cy   i n   m an a g i n g   e x t e n d ed   s e q u en ce   t as k s   s u c h   as   q u e s t i o n   a n s w e r i n g .   T h e   d at as e t   u s e d   i n   t h i s   r e s earc h   w as   T y D i Q A   mu l t i l i n g u al   d at as e t   an d   t ran s l at e d   t h e   SQ u A D v 2   d at as e t .   T h e   e v a l u at i o n   i n d i c at e s   t h at   t h e   L o n g fo r me r - In d o BA RT   m o d e l   o u t p e rf o rm s   i t s   p re d ece s s o r  o n   t h e   T y D i Q A   d at as e t ,   s h o w c as i n g   an   a v e rag e   2 6 %   e n h an cemen t   ac r o s s   F1 ,   E x ac t   Mat c h ,   BL E U ,   a n d   RO U G E   me t ri c s .   N e v e rt h e l e s s ,   i t   e x p e r i e n ced   a  mi n o r  s e t b ack   o n   t h e  SQ u A D   v 2   d at as e t ,   l e ad i n g   t o   a n   av e rag e   d ec r e as e   o f   0 . 6 %   ac ro s s   al l   me t ri c s .   K e y w o r d s :   F i ne - t uni n g   Na t ur a l   l a n gua ge   ge n e r a t i o n   Na t ur a l   l a n gua ge   pr o c e s s i n g   Que s t i o n   a ns we r   ge ne r a t i o n   T r a n s f o r m e r   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   P e t e r   A n dr e w   De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   B i n us   Gr a dua t e   P r o gr a m - M a s t e r   o f   C o m put e r   S c i e n c e   B i n a   Nu s a n t a r a   Uni v e r s i t y     J a ka r t a ,   I n do n e s i a ,   11480   E m a i l :  pe t e r . a n dr e w@b i nu s . a c . i d       1.   I NT RODU C T I ON   T h e r e   i s   a n   i m ba l a nc e   i n   t h e   t e a c h e r   a n d  s t ude nt  r a t i o   i n   I n do n e s i a .   B a s e d  o n   I n do n e s i a   C e n t r a l   S t a t i s t i c ,   i n   2021/2022,   t h e   n u m be r   o f   hi g h   s c hoo l   s t ude n t s   i n   I n do n e s i a   r e a c h e d  10, 063, 926.   W hil e   t h e   a v a il a bl e   n u m be r   o f   t e a c h e r s   wa s   o n l y   700, 742.   On e   t e a c h e r   h a s   to  o v e r s e e   a r o un d  14   s t ude n t s .   W i t h   t h e   a dv a nc e m e n t   o f   t e c h n o l o g y ,   i t   c o ul d  a s s i s t   t e a c h e r s   i n   t h e   l e a r ni ng  pr o c e s s   a n d  e ns ur e   t h e   e f f e c t i v e n e s s   o f   t he   t e a c h e r   e f f o r t  [ 1] .   I n   e duc a t i o n ,   r e a d i n g  i s   a n   i m po r t a n t   a c t i vi t y .   R e a d i n g  e na bl e s   s t ude n t s   to   un de r s t a n d  t h e   t e x t   or   r e a d i n g  m a t e r i a l   a n d  i s   a   c o gni t i ve   pr o c e s s   f o r   e x t r a c t i n g  i nf o r m a t i o n .   R e a d i ng  s t r a t e gi e s ,   i n t e r pr e t i ng  wor ds ,   a n d  r e a d i ng  t e c hni que s   a r e   a l s o   c r uc i a l   f o r   e f f e c t i v e   l e a r ni ng  [ 2] ,   [ 3 ] .   Due   to  t h e   i m po r t a n c e   o f   r e a d i n g,   t e a c hi n g  s t r a t e gi e s   h a v e   b e e n   de v e l o pe d  to  t e a c h   a n d  e va l u a t e   r e a di n g  [ 4] .   On e   o f   t h e   de v e l o pe d  s t r a t e gi e s   i s   que s t i o n   ge ne r a t i o n   ( QG ) .   Ho we v e r ,   t h e   pr o c e s s   o f   c r e a t i n g  que s t i o n s   i s   t i m e - c o n s u mi ng  [ 5] .   F r o m   t h i s   i s s ue ,   t h e   r e s e a r c h   o n   QG ,   a l s o   kn o wn   a s   a ut o m a t i c   qu e s t i o n   ge ne r a t i o n   ( A QG )   [ 6] ,   [ 7 ] ,   h a s   b e e n   d e ve l o pe d  a s   a   b r a n c h   o f   n a t ur a l   l a n gua ge   ge n e r a t i o n   ( NL G) .    QG   i s   t h e   pr o c e s s   o f   a uto m a t i n g  t h e   c r e a t i o n   o f   que s t i o ns   b a s e d  o n   t e x t ua l   i nput   i n   v a r i o us   f o r m s   s uc h   a s   s h o r t   a n s we r ,   o pe n - e n d e d  que s t i o n s ,   m u l t i p l e - c h o i c e ,   a n d  f il l - in - t h e - bl a n k   [ 8] .   T h e   a i m   o f   QG   i s   to  c r e a t e   n a t u r a l   que s t i o n s   t o  t e s t  t h e   kn o w l e dge   a c q u i r e d  f r o m   r e a d i n g.   Que s t i o n   An s w e r   Ge n e r a t i o n   wa s   f i r s t  i n t r o duc e d  i n   1999  a t   t h e   t e x t   r e tr i e va l   c o nf e r e n c e   ( T R E C )   a s   a   t e s t   f o r   s y s t e m   c a pa bil i t i e s   i n  f i nd i ng  s h o r t  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it h  longf or me r   att e nti on   ( P e ter   A ndr e w )   479   a n d  c o n c i s e   t e x t s   to  a n s we r   g i v e n   que s t i o n s .   T h e   t e s t i n g  y i e l de d  s a t i s f a c t or y   r e s u l t s   a s   t h e   s y s t e m   c o u l d   e x t r a c t   s pe c i f i c   t e x t s   t h a t   we r e   p r e di c t e d  to   b e s t   a ns we r   t h e   g i v e n   que s t i o n s .   Que s t i o n   a n s we r   r e s e a r c h   h a s   r a p i d ly   de ve l o pe d  a n d  c o m bi ne d  s e v e r a l   d if f e r e n t   b ut   r e l a t e d  r e s e a r c h   f i e l d s ,   i n c l ud i ng  i nf o r m a t i o n   e x t r a c t i o n  ( I E ) ,   n a t ur a l   l a n gua ge   pr o c e s s i ng  ( NL P ) ,   a n d  i nf o r m a t i o n   r e t r i e v a l   ( I R )   [ 9] .   T h e   A QG   s y s t e m   t y p i c a ll y   c o ns i s t s   o f   t h r e e   c o n c e pt ua l   pr o c e s s e s   [ 8] .   W hi c h   i s   t a r ge t  s e l e c t i o n ,   t h e   s t a ge   o f   i de n t i f yi ng  i m po r t a n t   s e n t e n c e s   a n d  ke y w o r ds .   Que s t i o n   r e pr e s e n t a t i o n   c o ns t r uc t i o n ,   de t e r m i n i ng  t h e   t y pe   a n d  s y n t a c t i c   f o r m   o f   que s t i o ns   b a s e d  o n   t h e   s e n t e n c e s   a n d  ke y wo r ds   c o n t a i ne d  i n  t h e   t e x t .   Que s t i o n  r e a l i z a t i o n ,   t h e   f i na l   s t a ge   o f   que s t i o n   c r e a t i o n .     Que s t i o n   a ns we r i ng  s y s t e m s   c a n   b e   d i vi de d  i n t o   two   t y pe s   [ 9] .   C l o s e d  d o m a i n,   t h e   s y s t e m   c a n   o nl y  h a n d l e   que s t i o n s   i n  s pe c if i c   f i e l ds   ( s po r t s ,   p o l i t i c s ,   a n d  h e a l t h ) .   I t  c a n   a l s o   b e   i n t e r pr e t e d  a s   a   c o n d i t i o n   wh e r e   t h e r e   a r e   l im i t a t i o n s   o n   que s t i o n   t y pe s ,   s uc h   a s   d e s c r i pt i v e   que s t i o ns .   T hi s   t y pe   c a n   b e   f a c i li t a t e d  by   us i ng   NL P   s y s t e m s   w i t h   t h e   e x p l o i t a t i o n   o f   s pe c i f i c   s c i e n t i f i c   f i e l d s   ( o n to l o g i e s ) .   Ope n   d o m a i n,   t h e   s y s t e m   c a n  h a n d l e   ge n e r a l   que s t i o n s   t h a t  a r e   n ot  l im i t e d  to  s pe c i f i c   f i e l ds   o f   kn o w l e dge .   S uc h   s y s t e m s   us ua ll y   r e qu i r e   a   l a r ge   a m o u n t   o f   da t a   to  o b t a i n   a c c ur a t e   a n s w e r s .   T h e r e   a r e   s e v e r a l   a pp r oa c h e s   to  q u e s t i o n - a n s we r i n g   s y s t e m s ,   i n c l udi n g   [ 9] ,   f r e q ue n t l y   a s ke d   que s t i o n s   a n d   a n s we r s   ( F A Qs ) ,   T h e   e a s i e s t  a p p r oa c h   i nv o l v e s   c o l l e c t i n g   a   da tas e t  of   q ue s t i o n - a n s we r   pa i r s   s tor e d   i n   t h e   s y s te m .   W h e n   a   q ue s t i o n   i s   gi v e n ,   t h e   s y s t e m   s e a r c h e s   f o r   t h e   a n s we r   f r o m   t h e   s tor e d   d a tas e t.   I n f or m a t i o n  R e tr i e v a l ,   t h i s   i s   t h e   m o s t  c o m m o nl y   us e d   a p p r oa c h ,   wh e r e   t h e   m a i n   c o n c e p t  i s   to  s e a r c h   f or   a c c ur a te   a n d  p r e c i s e   a n s we r s   f r o m   a   c o l l e c t i o n   o f   d oc um e n t s .   T h e   ge n e r a l   s te ps   us e d   i n   t h i s   a p pr oa c h   i n c l ude   pr e - p r oc e s s i n g ,   q ue s t i o n   a n a l y s i s ,   d oc um e n t  r e tr i e v a l ,   a n d   a n s we r   e x tr a c t i o n .   M a c hi n e   l e a r ni n g,   t hi s   a p p r oa c h   i s   s i m i l a r   to  I n f or m a t i o n   R e tr i e v a l ,   b u t  wi t h   t h e   a ddi t i o n   o f   c l a s s i f i c a t i o n   a l g or i t hm s   to   c l a s s i f y   qu e s t i o n   t y pe s .   S e v e r a l   de v e l o p m e n t s   i n   A QG   s y s t e m s   ha v e   b e e n   m a d e .   He r e   a r e   s o m e   r e l a t e d  A QG   r e s e a r c h  s t udi e s   s uc h   a s ,   t h e   de v e l o p m e n t   o f   t h e   s t a n f o r d  que s t i o n   a n s we r i ng  da t a s e t  ( S QuA D)   by   [ 10] .   T h e   da t a s e t  wa s   c o l l e c t e d  f r o m   W i k i pe d i a   a r t i c l e s ,   w i t h   c r o wds o ur c e d  que s t i o n - a n s we r   pa i r s .   T he   h u m a n - v a li d a t e d  t e s t  r e s u l t s   a c hi e v e d  a n   e x a c t   m a t c h   ( E M )   o f   77%   a n d  a n   F 1  S c o r e   o f   86. 8% .   T h e   de v e l o p m e n t   o f   a   d o c um e n t   r e tr i e va l   m e t h o d  us i n g  a   r e c ur r e n t   g r a ph - b a s e d  m o de l   by   [ 11] .   I t  wa s   de v e l o pe d  to  s o l v e   t h e   pr o bl e m   o f   e n t i t y - c e n t r i c   que s t i o ns   c a us e d  by   i n f o r m a t i o n   c o m pr e s s i o n .   T h e   m e t h o d  a c hi e v e d  a n   i m pr o v e d  F 1   s c or e   o f   2. 9  a n d  E M   o f   3. 5   us i n g  t h e   S QuA D  da t a s e t.   T h e   de ve l o p m e n t   o f   a   d o c um e n t   r e tr i e v a l   m e t h o d  ut i li z i ng   Ge n e r a t i v e   M o de l s   by   [ 12] .   I t  a i m e d  to   t e s t  t h e   c a pa bil i t y   o f   Ge n e r a t i v e   M o de l s   i n   s e a r c hi ng   f o r   t e x t  do c um e n t s   c o n t a i ni ng  e vi de nc e .   T h e   r e s u l t s   s h o we d  a n   F 1  s c o r e   o f   63. 2  a n d  E M   o f   56. 7  o n   t h e   S QuA D   da t a s e t,   a s   we l l   a s   a n   F 1  s c o r e   o f   56. 7  a n d  E M   o f   80. 1  o n   t h e   T r i vi a Q A   da t a s e t .   T h e   de v e l o p m e n t   o f   De c o m po s e d  P r e - T r a i n   T r a n s f o r m e r   by   [ 13] ,   wi t h  t h e   g o a l   o f   s pe e d i n g  up  t h e   pr o c e s s   by   4. 3 x   c o m pa r e d  to  pr e vi o us   t r a n s f o r m e r   m o de l s ,   w i t h   o nl y   a   1%   de c r e a s e   i n   a c c ur a c y .   I n   [ 14]   i n t r o duc e d  I n do NL G,   a   b e n c hm a r k  f o r   NL G   i n   t h r e e   c o m m o nly   u s e d  I ndo n e s i a n   l a n gua ge s :  B a h a s a   I n do n e s i a ,   S un da ,   a n d  J a wa .   I n do NL G  i n c l ude s   s i x   e v a l ua t i o n   t a s ks :  m a c hi ne   t r a n s l a t i o n   ( M T ) ,   QG ,  s u m m a r i z a t i o n ,   C hi t - c h a t ,   a n d  m o r e .   T h e   da t a s e t   I n do 4B - P l u s   [ 15]   i s   us e d  t o   p r e - t r a i n  t h e   I n do B A R T   a n d  I n do GPT   m o de l s ,   w hi c h  a c hi e v e   c o m pe t i t i v e   r e s u l t s   w i t h   1/5t h   o f   t h e   pa r a m e t e r s   c om pa r e d  to   m u l t i - li ngua l   m o de l s   li ke   m B AR T .   Am o n g  t h e   de v e l o pe d  A QG   s y s t e m s ,   o nl y   a   f e w  h a ve   f o c us e d  o n   t h e   I n do n e s i a n   l a n gua ge .   T h e r e f o r e ,   t hi s   a r t i c l e   a im s   im pr o vi n g  t h e   a c c ur a c y   o f   I n do n e s i a n - b a s e d  AQ G  s y s t e m s   m o de l   by   mo di f y i ng   t h e   a tt e n t i o n   l a y e r   o f   t h e   m o de l   us i ng  l o n g f o r m e r   –   s l i d i ng  w i n do ws   a tt e n t i o n .       2.   RE L AT E D  WORK S   B L E U  ( B i li ngua l   E v a l ua t i o n   U n de r s t ud y )   [ 16]   c o m pa r e s   MT   to   h u m a n   t r a n s l a t i o ns ,   a i mi ng  t o  c l o s e ly   mi r r o r   pr o f e s s i o n a l   h u m a n   t r a n s l a t i o n s .   B L E U  s c or e s   i n d i vi du a l   t r a n s l a t e d  s e g m e n t s   a ga i n s t   r e f e r e n c e   t r a n s l a t i o ns ,   t h e n   a v e r a ge s   s c o r e s   a c r o s s   t h e   c o r pus   to   ga uge   o v e r a l l   t r a n s l a t i o n   qua l i t y .   I t   p r i o r i t i z e s   pr e c i s i o n   o v e r   f a c t o r s   l i ke   i n t e ll i g i b il i t y   a n d  gr a m m a t i c a l   c o r r e c t n e s s   by   c o m put i n g  t h e   pr e s e n c e   o f   n - gr a m s   i n   t h e   c a n d i da t e   tr a n s l a t i o n   a l s o   f o un d  i n   r e f e r e n c e   tr a n s l a t i o n s .   B L E U  o f f e r s   v a r i a n t s   s uc h   a s   B L E U - 1  a n d   B L E U - 4,   wh e r e   n   va r i e s   f r o m   1  to   a   s pe c i f i e d  N  ( e . g. ,   1  or   4 ) ,   a n d  a ggr e ga t e s   s c o r e s   us i n g  a   ge o m e t r i c   m e a n .   R e c a ll - o r i e n t e d  un de r s t u dy   f o r   gi s t i n g  e va l ua t i o n   ( R OU GE )   [ 17]   i s   a   r o b us t  m e t r i c   us e d  i n   NL P   to  e v a l ua t e   a uto m a t i c   s u mm a r i z a t i o n   a n d  MT   s y s t e m s .   I t   c o m pa r e s   ge n e r a t e d  s u m m a r i e s   o r   tr a n s l a t i o n s   w i t h  h u m a n   r e f e r e n c e s ,   pr o vi d i ng  v a l ua bl e   i ns i g h t s .   N ot a bl y   c a s e - i ns e ns i t i ve .   R OU GE - L   v a r i a n t s ,   c o m put e s   i t s   s c o r e   b a s e d  o n   t h e   l o n ge s t   c o m m o n   s u b s e que n c e   ( L C S )   b e t we e n   r e f e r e n c e   a n d  c a n d i da t e   t e x t s ,   o f f e r i ng   f l e xi b i li t y   w i t h o u t   r e qui r i n g  a   pr e de f i ne d  n - gr a m   s ize .   S e v e r a l   que s t i o n - a n s w e r i n g  m o de l s   h a v e   b e e n   d e v e l o pe d  t o   e n h a n c e   a c c ur a c y   a n d  e f f i c i e nc y   i n   h a n d li ng  ge n e r a l   do m a i n  t a s ks ,   [ 18]   p r o p o s e d  u t i li z i ng  m u l t i p l e   f r a m e wo r ks   to  l e a r n   f r o m   r e pr e s e n t a t i o n s ,   whi c h   c a n   b e   d i vi de d  i n t o  s e v e r a l   pr o c e s s e s .   T h e   m o de l   i s   b a s e d  o n   t h e   pr e - t r a i n e d  m o de l   ( XL Ne t )     a n d  s u b s e qu e n t l y   f i ne - t un e d  us i ng  v a r i o us   da t a s e t s .   T h e   e x pe r i m e n t a l   r e s u l t s   f r o m   d i f f e r e n t   f r a m e wo r ks   yi e l de d  a n   a v e r a ge   E M   s c o r e   o f   56. 59  a n d  a n   F 1  s c o r e   o f   68. 98  ( f r o m   t e s t  da t a s e t s :  B i o P r o c e s s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 4 ,   N o.   2 ,  A ugus t   20 2 5 :   478 - 487   480   C o m p l e xW e b Que s t i o ns ,   M C T e s t ,   QA M R ,   QA S T ,   T R E C ) ,   i n d i c a t i n g  a n   i m pr o v e m e n t   i n   a c c ur a c y   c o m pa r e d   to  t h e   B E R T - l a r ge   b a s e l i ne   m o de l .   De c o m po s e d  t r a n s f o r m e r   m o de l   [ 13]   e nh a nc e s   t i m e   a n d  m e m o r y   e f f i c i e nc y ,   i n   o r de r   to   r e duc e   t h e   c o m p l e xi t y   o f   t h e   t r a n s f o r m e r   f u n c t i o n ,   i t   i s   de c o m po s e d  b a s e d  o n   i n put   s e g m e n t a t i o n .   E v a l u a t i o n   us i n g  t h e   S QuA D  v 1. 1,   R A C E ,   B oo l Q,   M NL I ,   a n d  QQ P   d a t a s e t s   de m o n s t r a t e   s i g ni f i c a n t   i m pr o v e m e n t   i n   s pe e d  a n d   m e m o r y   e f f i c i e n c y   up  t o   4x   i n c r e a s e s .   B A R T   pr e - tr a i ne d  m o de l   [ 19] ,   whi c h   c o m bi ne s   B i - d i r e c t i o n a l   a nd   A ut o - R e gr e s s i v e   T r a ns f o r m e r   m o de l s   i s   a   de n o i s i ng  a ut o e n c o de r   wi t h   a   s e qu e n c e - to - s e que n c e   m o de l .   T h e   m o de l   a c hi e ve s   t h e   hi g h e s t   pe r f o r m a n c e   o n   t h e   S QuA D  da t a s e t  us i n g  t e x t  i nf il li ng  de n o i s i ng  m e t h o d   wi t h  pr e c i s i o n   o f   90. 8  F 1  s c o r e .   C h u n g   e t  al .   [ 20]   pr o p o s e s   a   pr o c e dur e   f o r   c r e a t i n g  m u l t i li ngua l   v o c a b u l a r i e s   by   c o m bi n i ng   s e pa r a t e l y   t r a i ne d  v o c a b u l a r i e s   f r o m   m u l t i p l e   l a n g ua ge   c l us t e r   de r i v a t i o n s .   T hi s   a ppr o a c h   a i m s   t o  b a l a n c e   t h e   e x c ha n ge   b e t we e n   c r o s s - l i ngua l   s u b wo r ds   a n d  l a n gua ge - s p e c i f i c   v o c a b u l a r y .   T he   e v a l ua t i o n   r e s u l t s   o f   t hi s   m e t h o d  us i n g  t h e   T y D i Q A ,   XN L I ,   a n d  W i k i Ann  NE R   da t a s e t s   s h o w  v a r yi ng  pe r f o r m a n c e   s c o r e s   de pe n d i ng   o n   t h e   l a n gu a ge .   Ho we v e r ,   o n   a v e r a ge ,   t h e   m e t h o d  a c hi e v e s   a n   F 1  s c o r e   o f   70. 1,   whi c h   i s   2. 1  p o i n t s   hi g h e r   t h a n   t h e   i ni t i a l   j o i n t   m e t h o d' s   F 1  s c o r e   o f   68. 0.   Opt i mi z a t i o n   o n   t r a n s f o r m e r   s e l f   a t t e n t i o n   l a y e r   to   a c c o m m o da t e   l o n ge r   s e que n c e s   l e n gt h   by  c h a n g i ng  t h e   dot  pr o duc t  m e c h a ni s m   o n   t h e   s e l f   a tt e n t i o n   l a y e r   w i t h   s l i d i ng  w i ndo ws   t e c hni qu e   pr opo s e d  i n  L o n g f o r m e r   [ 21] .   T h e   s e l f   a t t e n t i o n   m e c h a ni s m   h a s   t h e   c o m p l e xi t y   o f   O( n 2) ,   whil e   t h e   pr o p o s e d  l o ng f o r m e r   m o de l   h a d  t h e   l i ne a r   c o m p l e xi t y   o f   O( n ) .   T h e   e v a l ua t i o n   s h o ws   a n   i m pr o v e m e n t   by   3  p o i n t s   o n   W i k i h o p,     1  po i n t   o n   T r i vi a Q A   a n d  Ho t p ot QA   c o m pa r e d  to  th e   R o B E R T a - b a s e   m o de l .   I n do NL G  [ 14] ,   a   b e n c hm a r k  f o r   NL G   i n   t h r e e   c o m m o nly   u s e d  I n do n e s i a n   l a n gua ge s :  B a h a s a   I n do n e s i a ,   S un d a ,   a n d  J a wa .   I n do NL G  i n c l ude s   s ix   e v a l ua t i o n   t a s ks :  MT ,  QG ,   S um m a r i z a t i o n ,   C hi t - c h a t ,   a n d  m o r e .   T h e   da t a s e t  I n do 4B - P l us   i s   us e d  to   p r e - t r a i n   t h e   I n do B AR T   a n d  I n do G P T   m o de l s ,   whi c h  a c hi e v e   c o m pe t i t i v e   r e s u l t s   w i t h   1/5t h   o f   t h e   pa r a m e t e r s   c om pa r e d  to   m u l t i - li ngua l   m o de l s   li ke   m B AR T .   A Q G   s y s tem   d e v e l opm e n t  f or   th e   I n d on e s i a n   l a n g u a g e   [ 2 2 ]   u s i n g   th e   S Q uA D   v 2   d a ta s e t,   w h i c h   h a s   b e e n  tr a n s l a te d   u s i n g   th e   G o og l e   T r a n s l a te   A P I ,   a l on g   wi t h   a d di t i on a l   T y Di QA   d e v   d a ta .   T h e   p r op os e d   m e th o d   u ti l i z e s   a   s e q u e n c e - to - s e q u e n c e   a p p r oa c h   a n d   i m pl e m e n ts   B i G R U ,   B i L S T M ,   a n d   T r a n s f or m e r   m od e l s .       3.   M E T HO D   T hi s   s t udy   a im s   to  e n ha n c e   t h e   s t a t e - of - t h e - a r t  I n do B A R T   m o de l   f o r   t h e   Que s t i o n   An s w e r   G e n e r a t i o n   t a s k.   T hi s   e nh a nc e m e n t   i nv o l v e s   t h e   s ub s t i t ut i o n   o f   I n do B AR T   s e l f - a tt e n t i o n   m e c h a ni s m   w i t h   a   s l i d i ng  w i n do w  a tt e n t i o n   i n s p i r e d  by   L o n g f o r m e r   [ 21] .   T h e   r e s e a r c h   i s   o r ga ni z e d  i n t o  t h r e e   s e que n t i a l   s t a ge s :  Da t a   P r e p r o c e s s i ng,   M o de l   M o di f i c a t i o n ,   a n d   T r a i ni ng  a n d   E v a l ua t i o n .   T h e   h o l i s t i c   wo r kf l o w  i s   vi s ua ll y  de p i c t e d  i n   F i gur e   1.   C o l l e c t i n g  da t a :   B a s e d  o n   F i gur e   1,   S QuA D  V2   [ 10]   a n d  T y D i Q A   [ 23]   publ i c   da t a t s e t  w o ul d  be   c o l l e c t e d  f r o m   publi c   we b s i t e   s uc h   a s   ka gg l e   o r   h ugg i nf a c e .   S QuA D   v 2  c o n s i s t   o f   130. 000  t r a i n   a nd  11. 900   v a li da t i o n   que s t i o n - a ns we r   da t a ,   T y D i Q A   o n   t h e   ot h e r   h a n d  c o n s i s t   o f   151. 000  tr a i n   a n d  18. 700  v a l i da t i o n  que s t i o n - a ns we r   da t a .   S QuA D  v 2  da t a s e t   i s   a n   e ng l i s h   da t a s e t ,   t h e r e f o r e   tr a n s l a t i o n   t o  I n do n e s i a   l a n gua ge   is   co m p l e t l y   n e e de d.   I n   c o n t r a s t  T y D i Q A   i s   a   m u l t il li ngua l   da t a s e t   t h a t  c o n s i s t   o f   11  l a n gua ge s   ( t e l ugu ,   a r a bi c ,   s wa hil i ,   j a p a n e s e ,   f i nn i s h ,   I n do n e s i a ,   r us s i a n ,   t h a i ,   ko r e a n ,   b e n ga li ,   e n g l i s h) .   T h e   pe r c e n t a ge   o f   I n do n e s i a   l a n gua ge   i n   t y d i qa   i s   9% ,   a ppr o xi m a t e l y   13. 000   t r a i n   a n d   1683  e v a l ua t i o n .   He n c e ,   f o r   T y D i Q A  da t a s e t  t r a n s l a t i o n   s t e p  a r e   o m mi t e d  a n d  o nl y   I n do n e s i a n   da t a s e t  b e i n g  us e d.     T r a n s l a t i n g  e n g l i s h   d a t a :   S QuA D  v 2  da t a s e t   w o ul d  b e   t r a n s l a t e d  us i n g  goo gl e   t r a n s l a t e   A P I .   S i nc e   t h e   da t a s e t   que s t i o n ,   a n s w e r   a n d  c o n t e x t   pa r a gr a ph   a t t r i b ut e   a r e   t r a n s l a t e d  s e pe r a t e l y ,   s o m e   o f   t h e   q ue s t i o n - a ns we r   c o n t e x t s   we r e   m i s s i ng.   T h a t  b e i n g  t h e   c a s e ,   a n s we r   c o n t e x t   m a t c hi ng  m e c h a ni s m   [ 24]   a r e   a pp l i e d  a s   s e e n   i n   F i gur e   2.   F uz z y   s t r i n g  m a t c hi ng  a r e   be i n g  us e d  to   f i n d  t h e   t r a n s l a t e d  a ns we r   o n   t h e   tr a n s l a t e d  c o n t e x t  pa r a gr a ph ,   unm a t c h   a ns we r   wo ul d  b e   r e p l a c e   wi t h   e m pt y   s t r i n g  a n d  - 1  v a l u e   a r e   a ppe n d  to  t h e   t r a n s l a t e d_a n s we r _s t a r t _p o s i t i o n   ke y ,   m a t c h  a n s we r   l o c a t i o n   wo u l d  b e   a ppe n d e d   to   t h e   t r a n s l a t e d_a n s we r _s t a r t _p o s i t i o n   ke y .   Da t a   pr e pr o c e s s i n g :   I n   da t a   pr e pr o c e s s i n g,   b o t h   T y D i Q A   a n d  t r a n s l a t e d  S QuA D  v 2  w i t h o ut   a n   a ns we r   o r   h a vi ng  - 1  v a l ue   o n   a n s w e r   s t a r t   p o s i t i o n   wo u l d  b e   r e m o v e d.   S pe c i a l   t o ke n   wo ul d  b e   a dd e d  to   a dd   m o r e   c o n t e x t   b e f o r e   t h e   tr a i ni ng,   < B OS>  to ke n   wa s   us e d  to   m a r k  b e g i nn i ng  o f   s e n t e n c e ,   < E OS>  token   wa s   us e d  to  m a r k  e n d  o f   s e n t e n c e ,   < S E P >   token   wa s   us e d  to  s e pe r a t e   e a c h   c o n t e x t  o n   t h e   s e n t e n c e .   T he   o v e r a l l  s t r uc t ur e   o f   t h e   i n put   t e x t   wa s   < B OS>  [ pa r a gr a ph   c o n t e x t ]   < S E P >   [ que s t i o n ]   < E OS>.   I n put  wo ul d  b e   t r un c a t e d  i f   t h e   l e n gt h   e x c e e ds   m a x _ l e n gt h   hy pe r pa r a m e t e r ,   o n   t h e   ot h e r h a n d  pa dd i ng  wo ul d  b e   a d de d  w i t h   to  ke e p  c o n s i s t e n t   l e n gt h   o f   t h e   i n put   us i n g  m a x _ len gt h   s t r a t e g y   to  t h e   r e s t  o f   t h e   da t a s e t .   P r o c c e s s e d  da t a s e t  wo ul d  b e   t o ke ni z e d  o n   wo r d  uni t   us i n g  I n do NL G  to ke ni z e r   ( i ndo B A R T   t o ke ni z e r ) .   F i gur e   3  i ll u s t r a t e   t h e   da t a   p r o c e s s i ng  o f   m o de l   i nput .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it h  longf or me r   att e nti on   ( P e ter   A ndr e w )   481       F i gur e   1.   R e s e a r c h   f l o w  d i a gr a m           F i gur e   2 .   A ns we r - c o n t e x t   m a t c hi ng  f l o w   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 4 ,   N o.   2 ,  A ugus t   20 2 5 :   478 - 487   482       F i gur e   3 .   Da t a   pr o c e s s i n g  e xa m p l e       L o n g f or m e r   –   s l i d i n g   w i n d o w   a t t e n t i o n :   O n   th i s   s te p ,   s l i di n g   wi n d ow   a t te n ti on   m odi f i c a t i on   w e r e   i m pl e m e n te d  b a s e d   on   L on gf or m e r   [ 1 ] .   C on v e n t i on a l   tr a n s f or m e r   s e l f - a t te n ti on   [ 2 5 ]   e m pl o y s   th e   m a tr i x   d o t   p r od u c t   c om p u ta ti on ,   d e pi c te d   i n   ( 1 ) ,   r e s ul ti n g   i n   O ( n 2 )   c om pu ta ti on   c om pl e x i t y   f or   e a c h   l a y e r .   I n   ( 1 )   a t te n ti on   s c or e .      ( , , ) =   ( √ )       C o n ve r s e ly ,   t h e   s li d i ng  w i n do ws   a tt e n t i o n   pa t t e r n   c o m put e s   o nl y   n e i g hb o r i n g  t o ke n s   w i t h   t h e   f i xe d - s i z e   w i n do w  ( w ) ,   r e s ul t i n g  i n   O( n   *  w)   or   O( n )   c om put a t i o n   c o m p l e xi t y .   T hi s   f i xe d - s i z e   w i ndo w  s c a l e   do wn   f r o m   hi g h e r   l a y e r   t o   l o we r   l a y e r .   F o r   t hi s   pa r t i c u l a r   r e s e a r c h ,   t h e   w i ndo w  s i z e   wa s   h a l ve d  ( 1/2  w)   w i t h   e a c h  de s c e n t   i n   l a y e r .   I n   t h e   hi g h e r   l a y e r s ,   a   l a r ge r   w i n d o w  s i z e   wa s   a pp ly   t o   c a p t ur e   hi g h - l e ve l   i n f o r m a t i o n ,   while   t h e   l o we r   l a y e r s   f o c us e d  o n   c a pt u r i n g  l o c a l   c o n t e x t ua l   i nf o r m a t i o n .   A dd i t i o n a ll y ,   T h e   r e duc t i o n   i n   w i n do w  s i z e   s e r v e s   to  m a i n t a i n   t h e   e qu i li br i u m   be t we e n  e f f i c i e n c y   a n d  pe r f o r m a n c e ,   s m a ll e r   w i n do w  s i z e s   i n c ur   l o we r   c o m put a t i o n a l   c o s t   b e c a us e   t h e y   c o n t a i n   f e we r   n o n z e r o   v a l ue s ,   t h us   e nh a n c i ng  e f f i c i e nc y ,   w hil e   l a r ge r   w i n do w  s i z e s   po s s e s s   gr e a t e r   r e pr e s e n t a t i o n   c a pa c i t y   a n d  o f t e n   r e s u l t   i n   pe r f o r m a n c e   im pr o v e m e n t s .   T h e   c o m put a t i o n   c o m pa r i s o n   b e t we e n   s e lf - a tt e n t i o n   a n d  s li d i ng  w i ndo w  a tt e n t i o n   c o u l d  b e   s e e n   i n  F i gur e   4,   F i gur e   4 ( a )   i ll u s t r a t e   o pe r a t i o n   o n   c o m put i n g  a tt e n t i o n   us i n g  s e lf - a tt e n t i o n   w h e r e a s ,   F i gur e   4 ( b )   s h o wn  o pe r a t i o n   o n   c o m put i n g  a tt e n t i o n   us i ng  s li d i ng  w i ndo w  a tt e n t i o n .           ( a )   ( b )     F i gur e   4 .   A tt e n t i o n   m e c h a ni s m   c o m pa r i s o n   i ll u s t r a t i o n   ( a )   s e l f - a t t e n t i o n   –   n 2  a n d  ( b )   s l e d i ng  w i ndo w  a tt e n t i o n   –   n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it h  longf or me r   att e nti on   ( P e ter   A ndr e w )   483   I n do B A R T   m o de l   m o d i f i c a t i o n :   I n do B A R T   c o n s is t   o f   s i x  l a y e r s   e a c h   f o r   t h e   e n c o de r   a n d  de c o de r ,   w i t h   e a c h   l a y e r   po s s e s s i ng  i t s   o wn   s e lf - a t t e n t i o n   m o du l e .   T h e r e f o r e ,   t h e   L o n g f o r m e r   s li d i ng   w i n do w  a tt e n t i o n   m o du l e   i s   e m p l o y e d  to   r e pl a c e   e a c h   o f   t h e s e   l a y e r s .   T o   pr e s e r v e   t h e   pr e - tr a i ne d  w e i g h t s   o f   t h e   I n do B A R T   s e lf - a tt e n t i o n   m o du l e ,   t h e   we i g h t   v a l u e s   a r e   c o pi e d  to   e a c h   L o n g f o r m e r   a tt e n t i o n   m o du l e   b e f o r e   t h e   r e pl a c e m e n t   o c c ur s .   B ot h   t h e   b a s e   m o de l   a n d   t h e   L o n g f o r m e r - m o d i f i e d  m o de l   a r e   f i ne - t un e d  u s i n g  t h e   pr o c e s s e d  da t a s e t ,   que s t i o n s   a n d  c o n t e x t   pa r a gr a ph s   s e r v e   a s   i n put ,   whi l e   a n s we r s   a r e   us e d  a s   o u t pu t.   F i ne - t un e   m o de l :   B ot h   t h e   b a s e   a n d  m o d i f i e d  m o de l s   a r e   b e i ng  f i ne - t un e d  s e pa r a t e l y   f o r   e a c h  da t a s e t.   Dur i n g  t h e   f i ne - t uni n g  p h a s e ,   t h e   t r a i ni n g  da t a s e t  i s   s p li t   w i t h   a n   80:20  r a t i o   b e t we e n   t r a i ni ng  a n d  t e s t i n g  da t a .   Da t a   h a s   a l r e a d y   b e e n   to ke ni z e d  i n   a   pr i o r   pr o c e s s   u t i li z i ng  I n do NL GT o ke ni z e r ,   m a k i n g  i t   r e a dy   to  b e   d i r e c t l y   us e d  a s   i nput   f o r   t h e   m o de l .   T h e   m o de l   ge n e r a t e s   to ke ni z e d  o ut pu t,   whi c h   u n d e r go e s   a   de to ke ni z a t i o n   pr o c e s s   us i n g  I n do N L G  to  c o n v e r t  i t   i n t o  s t r i n g  f o r m a t .   T o  e n s ur e   f a i r   b e nc hm a r k i n g,   b ot h  m o de l s   a r e   f i ne - t un e d  us i ng  t h e   s a m e   hy pe r pa r a m e t e r s   a s   pr e s e n t e d  i n   T a bl e   1.   T h e   L o n g f o r m e r - m o d i f i e d   m o de l   h a s   t h e   a ut or e gr e s s i v e   f e a t ur e   di s a bl e d  by   de f a u l t ,   whi l e   I n do B AR T   po s s e s s e s   t h e   a ut or e gr e s s i v e   f e a t ur e .   T h e r e f o r e ,   t hi s   r e s e a r c h   w i ll   c o n duc t   L o n g f o r m e r - m o d i f i e d  t r a i ni n g  t w i c e ,   o n c e   w i t h   a n d  o n c e   w i t h o ut  t h e   a uto r e g r e s s i ve   f e a t ur e ,   to  e n s ur e   t h o r ough   s t ud y .       T a bl e   1 .   Hy p e r pa r a m e t e r   H y p e r pa r a m e t e r   V a lu e   T o k e ni z e r   e mb e ddi ng s iz e   1024   L e a r ni ng  r a te   2e - 5   D r o p o ut   r a te   0.1   T r a in in g ba tc h   3   E v a lu a ti o n ba t c h   4   T r a in in g e p oc h   2       E val u at ion :   E a c h   m o de l   w il l   u n de r go   s e pa r a t e   t r a i ni ng  a n d  e v a l u a t i o n   u s i ng  t h e   r e s pe c t i v e   da t a s e t s .   M o de l   a c c ur a c y   w il l   be   a s s e s s e d  us i n g  F 1,   E x a c t   M a t c h ,   B L E U,   a n d  R OU GE   m e t r i c s .   T r a c k i n g  t r a i ni ng  t i m e   w i ll   b e   im p l e m e n t e d  to  b e nc hm a r k  t h e   o p t i m i z a t i o n   o f   a tt e n t i o n   l a y e r   c o m p l e xi t y .   F ur t h e r   e va l ua t i o n   de t a i l s   a r e   a v a il a bl e   i n   s e c t i o n   4. 3.       4.   R E S U L T   A N D   D I S C U S S I O N   4. 1.     Dat a   p r e p r o c e s s in g   T h e   S QuA D  v 2  da t a s e t   a r e   t r a n s l a t e d  f r o m   e n g l is h   l a n gua g e   to   I n do n e s i a   l a n gua g e   us i ng  goo gl e   t r a n s l a t e   A P I ,   E x a m p l e   o f   t r a n s l a t e d  S QuA D  v 2  a n d  T y D i Q A   c o u l d  b e   s e e n   i n  T a bl e   2.   T h e n   t r a n s l a t e d  to   m a ke   s ur e   tr a n s l a t e d  a n s we r   a n d  que s t i o n   h a v e   a   m a c t hi ng  c o n t e x t  o n   t h e   c o n t e x t  p a r a gr a ph ,   F uz z y   s t r i ng   m a t c hi ng  a r e   pe r f o r m e d,   to   c o m pa r e   t h e   a ns we r   w i t h   c o n t e x t   pa r a gr a ph .   W h e n   t h e   a n s w e r   do e s n ’ t   m a t c h   a ny  s t r i n g  i n  t h e   c o n t e x t   pa r a gr a ph   t h e   da t a   r o w  a r e   de l e t e d.   Af t e r   pe r f o r m i ng  f uz z y   s t r i n g  m a t c hi ng,   t h e r e   i s   a   l o t   o f   da t a   p o i n t   t h a t  di d n’ t   h a ve   m a c t hi ng  a n s w e r   on   t h e   c o n t e x t   pa r a gr a ph ,   r e s u l t i n g  i n   da t a s e t   s i z e   r e duc t i o n   f r o m   130. 000  tr a i n   da t a   to   82 . 000  da t a   a n d  11. 900   v a li da t i o n   da t a   to   10 . 900  da t a .   F o r   t h e   T y D i Q A   da t a s e t ,   o r i g i na l   da t a s e t   a l r e a d y   pr o vi de d  s o m e   da t a   i n   I n do n e s i a   l a n gu a ge ,   h e n c e   da t a s e t   t h a t   a r e   us e d  i n   t hi s   r e s e a r c h   o nly   t oo k  t h e   i ndo n e s i a n   l a n gu a ge   po r t i o n   o f   t h e   da t a s e t .   T h e   n u m be r   o f   da t a   i n   I n do ne s i a   l a n gua ge   a r e   13. 500  t r a i n   da t a   a n d  1. 800  v a li da t i o n   da t a .   A ns we r   v a li da t i o n   a r e   p e r f o r m e d   to  m a ke   s ur e   e v e r y   da t a   p o i n t   h a v e   a n   a n s w e r   o n   th e   c o n t e x t   pa r a gr a ph .   Up o n   v a l i da t i n g,   t h e   n u m b e r   o f   da t a   t h a t   di d n ’ t   ha d  a n   a n s w e r   a r e   a   l o t ,   r e s u l t i n g  in   qu i t e   h uge   da t a   r e duc t i o n   t o   5 . 700  t r a i n   da t a   a n d  550   v a li da t i o n   da t a .   T h e n   t h e   da t a   a r e   b e i ng  f o r m a t t e d  to   s pe s i f i c   f o r m a t   to   m a k e   a   unif o r m   l e a r ni ng  p i pe li ne   w i t h  S QuA D  Da t a s e t .   E x a m p l e   o f   T y D i Q A   da t a s e t  t h a t   a r e   b e i ng  us e d  i n   t hi s   r e s e a r c h   c o u l d  b e   s e e n   i n   T a bl e   3.       T a bl e   2 .   T r a n s l a t e d  S QuA D  v 2  e x a m p l e   T it l e   C o nt e x t   Q ue s ti o n   I ndo n e s ia n_a ns w e r   B e y on c e   B e y onc é  G is e ll e   K now le s - C ar te r  ( /  bi ːˈ jɒ ns e ɪ  /   be e - Y O N - s ay )  ( la hi r  4 Se pt e m be r  1981)  adalah  pe ny any i,  pe nul is  l agu, pr odu s e r  dan ak tr is   r e k am an A m e r i k a...   K apan B e y onc e  m ul ai  m e nj adi   popule r ?   { " ans w e r _s ta r t" :  291,  " te x t" :   " pada ak hi r  1990 - an"  }   K o ta  N e w   Y o r k   N e w  Y or k   —   s e r in g di s e but   N e w  Y or k  C it y  at au  K ot a N e w  Y or k  unt uk  m e m be dak anny a dar i  N e gar a B agi an N e w  Y or k ...   K ot a apa di A m e r ik a Se r ik at   y ang me m il ik i  populas i  te r ti nggi ?   { " ans w e r _s ta r t" :  0,  " te x t" :   " N e w   Y or k "  }   F r é dé r ic   C ho pi n   F r é dé r ic  F r anç oi s  C hopi n ( 22  F e br uar i  at au 1  M ar e t  1810  -   17 O k to be r  1849) , k e la hi r an  F r y de r y k  F r anc is z e k  C hopi n ...   B agai m ana k e w ar gane gar aan  F r é dé r ic ?   { " ans w e r _s ta r t" :  201,  " te x t" :   " P ol andi a dan k om pos e r   P r anc is "  }   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 4 ,   N o.   2 ,  A ugus t   20 2 5 :   478 - 487   484   T a bl e   3 .   T y D i Q A   I n do n e s i a   e x a m p l e   T it l e   C o nt e x t   Q ue s ti o n   I ndo n e s ia n a ns w e r   F e r na nd o  d e   M a ge lh a e ns   Say angny a R aj a P or tu gi s  J ohn, te r bunuh  pada tahun 1495 da n  P ange r an M anue l,   y ang le bi h be r m in at  ak an ha r ta  s e bal ik ny a  dar ip ada pe nj e la ja han, naik  t ak ht a...   K apan pe r dagangan me la lu i  ar m ada mulai di la k uk an ole h  bang s a E r opa ?   { " ans w e r _s ta r t" :  453,  " te x t" :   " 1505 "  }   B a nda r  P a s ir   M a ndo ge ,  A s a ha n   B andar  P as ir  M andoge  adalah s e buah  k e c am at an di K abupate n A s ahan, Sumate r a  U ta r a, I ndone s ia .   D imana le ta k  dae r ah  " P ar de m banan" ?   { " ans w e r _s ta r t" :  49,  " te x t" :   " K abupate n  A s ahan, Sumate r a  U ta r a, I ndone s ia "  }   G ur un  S a ha r a   Sahar a t e r le ta k  di  ut ar a A f r ik a dan b e r u s ia   2,5 j ut a t ahun.  P adang pas ir  i ni  m e m be nt ang  dar i  Sam udr a A tl ant ik  k e  L aut  M e r ah...   B e r apak ah L uas  G ur un  Sahar a ?   { " ans w e r _s ta r t" :  437,  " te x t" :   " 9.000.000k m 2"  }       4. 2 .     M od e l   f in e - t u n in g   T h e   i n put   a n d  o ut pu t   s a m p l e s   f o r   e a c h   m o de l   a r e   pr e s e n t e d  i n   T a bl e   4  f o r   t h e   S QuA D  v 2  da t a s e t   a n d   T a bl e   5  f o r   t h e   T y D i Q A   da t a s e t .   I n   b ot h   i ns t a n c e s ,   t h e   i n put   c o m pr i s e s   t wo   pr i m a r y   a tt r i b ut e s :  t h e   " c o n t e x t   pa r a gr a ph "   a n d  t h e   " que s t i o n , "   w hi c h   a r e   de li ne a t e d  by   a   < s e p>   to ke n   to   f a c il i t a t e   s e pa r a t i o n .   C o nv e r s e ly ,   t h e   o u t pu t  pe r t a i ns   to  t h e   " a n s we r "   a t t r i b ut e .       T a bl e   4 .   S QuA D  v 2  i n put ,   t a r ge t   a n d   o u t pu t   c o m p a r i s o n   e x a m p l e   M o de l   E x a mpl e   I nput   < B O S >   Se ge r a s e te la h N or m andi a m ul ai   m e m as uk i  I ta li a, m e r e k a m e m as u k i  K e k ai s ar an  B iz ant iu m  dan k e m udi an A r m e ni a, be r te m pu r  m e la w an P e c he ne g, B ul gar ia , dan te r ut am a T ur k i  Se lj uk . T e nt ar a bay ar an  N or m an pe r ta m a k al i  di dor ong untuk   dat ang k e  s e la ta n ol e h or ang - or ang L om bar d untuk  be r ti ndak  m e la w an B iz ant iu m , t e ta pi  m e r e k a s e ge r a b e r pe r ang dalam  di nas  B iz ant iu m  di  Si s il ia . M e r e k a m e nonj ol  di  s am pi ng  k ont in ge n V ar angi an dan L om bar di a  dal am  k am pany e  Si s il ia  G e o r ge  M ani ac e s  pada 1038 – 40. A da  pe r de bat an apak ah or ang  N or m andi a dalam dinas  Y unani s e be n ar ny a b e r as al  da r i  N or m an I ta li a, dan s e k ar ang tampak ny a  hany a s e di k it  y ang datang dar i  s ana. J uga ti dak  di k e ta hui  be r a pa bany ak  " k aum  F r ank " ,  s e bagaimana or ang - or ang B iz ant iu m  m e n y e but ny a, adalah or a ng - or ang N or m andi a dan buk an  or ang P r anc is  l ai nny a.<SE P > Si apa y ang be r pe r ang me la w an N or m andi a di  I ta li a?< E O S >   T a r ge t   P e c he ne gs , par a B ul gar ia , dan te r ut am a or ang - or ang T ur k i  Se l ju k   I ndoB A R T - ba s e   o u tp ut   pe c he n e g, bulga r ia   L o ng f or m e r - I nd oB A R T   o ut put   pe c he n e g   L o ng f or m e r - I nd oB A R T   –   a ut o r e gr e s s iv e   o ut put   pe c he n e g, bulga r ia       T a bl e   5 .   T y D i Q A   i n put ,   t a r ge t ,   a n d   o u t pu t  c o m pa r is o n   e x a m p l e   M o de l   E x a mpl e   I nput   < B O S > H ir a ga na  ( K a na :  ひ ら が な ;  K a nj i:   平仮名 )  ada la h s uat u c ar a pe nul is an baha s a J e pang  dan me w ak il i  s e but an s uk uk at a. P ada mas a s il am , i a j uga dik e nal i  s e bagai  o nna  de  ( 女手 )  at au  ' tu li s an w ani ta '  k ar e na bias a di gunak an ol e h k aum  w ani ta . K aum  l e la k i  pada mas a i tu  m e nul is   m e nggunak an t ul is an K anj i  dan K at ak ana. Hi r agana mulai di gunak an s e c a r a l uas  pada abad k e - 10 M as e hi .< S E P > apak ah y ang dimak s ud d e ngan Hir ag ana ? < E O S >   T a r ge t   c ar a pe nul is an baha s a J e pang dan me w ak il i  s e but an  s uk uk at a   I ndoB A R T - ba s e   o u tp ut   pe nul is an abad k e - 10 m as e hi   L o ng f or m e r - I nd oB A R T   o ut put   c ar a pe nul is an baha s a j e pang   L o ng f or m e r - I nd oB A R T   –   a ut o r e gr e s s iv e   o ut put   c ar a pe nul is an baha s a  je pang       4. 3.     E val u at ion   T h e   e v a l ua t i o n   pha s e   we r e   b e n c hm a r k  us i n g  t h e   F 1 - s c o r e ,   E x a c t  M a t c h ,   B L E U,   a n d  R OU GE   e v a l ua t i o n   m e t r i c   f o r   e a c h   m o de l   a n d  da t a s e t .   E v a l ua t i o n   r e s u l t   c o u l d  be   s e e n   i n  T a bl e   6  f o r   S QuA D  da t a s e t  a n d  T a bl e   7  f o r   T y D i Q A   da t a s e t .   I n do B A R T   m o de l   b a s e   o n   m B A R T   m o de l   w hi c h   by   de f a u l t   we r e   us i n g   a uto - r e gr e s s i v e   f e a t ur e   o f   B A R T ,   On   t h e   o t h e r   h a n d  t h e   l o n g f o r m e r   a t t e n t i o n   h a d  t h e   o pt i o n   to   di s a bl e d  t h e   a uto - r e gr e s s i v e   o f   t h e   m o de l ,   t h e r e f o r e   a utor e gr e s s i ve   wo u l d  b e   o n   o f   t h e   v a r i a t i o n   o f   t h e   m o d i f i e d  mo de l .       T a bl e   6 .   S QuA D  V2  e v a l ua t i o n   r e s u l t   M o de l  na m e   E x a c t  ma t c h   F1   B L E U   R O U G E - L   R O U G E - 1   R O U G E - 2   I ndoB A R T - ba s e   35.06   54.04   0.054   0.529   0.53   0.282   L on gf o r m e r - I n d o B A R T   34.81   53.48   0.0531   0.524   0.525   0.277   L on gf o r m e r - I n d o B A R T   -   a u t o r e gr e s s iv e   34.91   53.68   0.0536   0.526   0.527   0.28   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it h  longf or me r   att e nti on   ( P e ter   A ndr e w )   485   T a bl e   7 .   T y D i Q A   e v a l ua t i o n   r e s u l t   M o de l  na m e   E x a c t  ma t c h   F1   B L E U   R O U G E - L   R O U G E - 1   R O U G E - 2   I ndoB A R T - ba s e   28.49   39.94   0.061   0.39   0.39   0.27   L on gf o r m e r - I n d o B A R T   34.69   48.92   0.081   0.48   0.48   0.31   L on gf o r m e r - I n d o B A R T   -   a u t o r e gr e s s iv e   34.86   50.81   0.1   0.50   0.50   0.34       B a s e d  o n   T a bl e   6,   b a s e - i n do B A R T   m o de l   pe r f o r m   s l i g h t l y   b e t t e r   t h a n   l o n g f o r m e r - i ndo B A R T   m o de l   a c r o s s   a l l   e v a l ua t i o n   m e t r i c   o n   t r a n s l a t e d  S QuA D   v 2  da t a s e t ,   m o s t   s i g ni f i c a n t   d i f f e r e n c e   o f   0. 4  s e e n   i n   F 1 - s c o r e .   W h e r e a s ,   l o n g f o r m e r - I n do B A R T   a c hi e v e d  o u t s t a n d i n g  r e s u l t   o n   T y D i Q A   da t a s e t   ( T a bl e   7)   i n  c o n t r a s t   to   b a s e - i n do B AR T .   L o n g f o r m e r - I n do B A R T   o u tm a t c h   b a s e - i n do B A R T   m o de l   o n   e v e r y   e v a l ua t i o n   m e t r i c ,   l o n g f o r m e r - I n do B A R T   m o s t   n ot a bl e   a d v a n c e m e n t   s h o wn   i n   F 1 - s c o r e ,   i t   o u t pe r f o r m   ba s e - i ndo B A R T   b y  25% .   L o n g f o r m e r - i ndo B A R T   m o de l   w i t h   a uto r e g r e s s i ve   a ppe a r   to   pe r f o r m   b e t t e r   t h e n  wi t h o ut  a uto r e gr e s s i v e   o n   b ot h   da t a s e t,   I t  s h o wn   a uto r e gr e s s i ve   f e a t ur e   ge n e r a l ly   p e r f o r m   b e tt e r   o n   Que s t i o n   Ans we r i n g  t a s k.   T y D i Q A   ge n e r a ll y   h a d  l o n ge r   i n put   pa r a g r a ph   s e que n c e   a n d  o u t pu t  a n s we r   s e que n c e ,   i n   t h o s e   c o n d i t i o n   l o n g f o r m e r - i n do B AR T   m o de l   c o u l d  pe r f o r m   b e t t e r   t h a n   b a s e - i ndo B A R T   m o de l .   M o r e o v e r ,   s o m e   c o n t e x t  m i g h t   l o s t   i n   tr a n s l a t i o n   f o r   S QuA D  v 2  da t a s e t .   I n   t h i s   c a s e s ,   b a s e - i ndo B AR T   f u ll   s e l f - a tt e n t i o n  pr e s u m a bly   h a v e   b e t t e r   c o n t e x t   un de r s t a n d i n g  th e n   s li d i ng - w i n do w  a tt e n t i o n   o n   l o n g f o r m e r - i nd o B A R T   m o de l ,   a s   i t   c h e c k  a l l   o f   t h e   s e que n c e s   c o m pa r e d  to   c h e c k i n g  o n   t h e   s l i d i ng  w i n do w  r a n ge .   T h e   gr a ph   i n   F i gur e s   5  a n d  6   i ll us t r a t e s   a   c o m pa r i s o n   o f   t r a i ni ng  t i m e s   a c r o s s   a l l   m o de l s   f o r   e a c h  da t a s e t.   F i gur e   6  i n d i c a t e   t h e   t r a i ni ng  t i m e   f o r   t h e   S QuA D  da t a s e t ,   wh e r e   t h e   I n do B A R T - b a s e   m o de l   t r a i n e d   a ppr o xi m a t e l y   1. 5  t i m e s   f a s t e r   t h a n   t h e   m o d i f i e d  L o n g f o r m e r - I n do B A R T   m o de l ,   t h e   a uto r e g r e s s i ve   f e a t ur e   i n   L o n g f o r m e r   i n c ur r e d  a   s l i g h t l y   l o n ge r   t r a i ni ng  ti m e   t h a n   i t s   n o n - a ut or e gr e s s i v e   c o un t e r pa r t .   T u r ni ng  to  F i gur e   5,   whi c h   il l u s t r a t e s   t h e   tr a i ni n g  t i m e   f o r   t h e   T y D i Q A   d a t a s e t ,   r e v e a l   t he   I n do B A R T - b a s e   m o de l   t r a i n e d  ne a r l y   t w i c e   a s   qu i c k ly   a s   t h e   L o n g f o r m e r - I n do B A R T   m o d i f i c a t i o n ,   w i t h   t h e   L o n g f o r m e r 's   a uto r e gr e s s i v e   f e a t ur e   t a k i n g  a   f r a c t i o n   o f   a   s e c o n d   l o n g e r   t h a n   i t s   n o n - a ut or e gr e s s i v e   c o un t e r pa r t.             F i gur e   5.   T y D i Q A   t r a i ni ng  t i m e   c o m pa r i s o n     F i gur e   6 .   S QuA D  tr a i ni ng  t i m e   c o m pa r i s o n       I n   t h e or y ,   t h e   L o n gf o r m e r   m o d i f i c a t i o n   b o a s t s   s upe r i o r   c o m put a t i o n a l   c o m p l e xi t y   o f   O( n)   c o m pa r e d   to   t h e   I n do B A R T - ba s e   s e l f - a t t e n t i o n ,   w hi c h   s t a n d s   a t   O( n 2 ) .   Ho we v e r ,   e m p i r i c a l   f i nd i ng s   f r o m   t r a i ni ng  t i m e   e v a l ua t i o ns   r e v e a l   t h a t   t h e   L o n gf o r m e r   m o d i f i c a t i o n   a c t ua l ly   t oo k   l o n ge r   t h a n   t h e   b a s e   I n do B AR T .   T hi s   d i s c r e pa n c y   c a n   b e   a t t r i b ut e d  to   t h e   o p t i mi z e d  im p l e m e n t a t i o n   o f   m a t r i x   do t  pr o duc t   c o m put a t i o n s   i n  t h e   I n do B A R T - b a s e ,   w hi c h   pr o v e d  t o   b e   f a s t e r   t h a n   t h e   u n o pt i mi z e d  s l i d i ng  w i n do ws   t e c hni que   ut i li z e d  i n   t h e   L o n g f o r m e r   m o d i f i c a t i o n .   T h us ,   whil e   t h e   L o n g f o r m e r   m o d i f i c a t i o n   i nde e d  i nv o l ve s   a   l o we r   n u m be r   o f   o pe r a t i o n s ,   i t s   u n o pt i m i z e d  i m p l e m e n t a t i o n   r e s u l t e d  i n   l o n ge r   t r a i ni ng  t i m e s   c o m pa r e d  t o   I n do B A R T   s e l f - a tt e n t i o n .       5.   CONC L USI ON   T o  c o n c l ude ,   i n   a c c o r da n c e   o f   t h e   e vi de n c e   pr e s e n t e d  i n   t hi s   r e s e a r c h ,   ut i li z a t i o n   o f   L o n g f o r m e r   a tt e n t i o n   m o d i f i c a t i o n   t o   i m pr o v e   I n do n e s i a - b a s e d  A QG   s y s t e m   m o de l s   i s   n ot a bly   be n e f i c i a l ,   e s pe c i a ll y   wh e n   h a n d li ng  l o n ge r   s e que n c e   c o n t e x t   i n put   a n d  o ut pu t.   T h r o ugh o u t  t hi s   r e s e a r c h ,   t h e   L o n g f o r m e r   -   I n do B A R T   m o de l   s h o wc a s e d  r e m a r ka bl e   pr e c i s i o n   a c r o s s   a l l   e v a l ua t i v e   m e t r i c s   o n   t h e   T y D i Q A   d a t a s e t  i n  c o n t r a s t  to  i t s   pr e de c e s s o r ,   t h e   I n do B A R T - ba s e   m o de l .   W hil e ,   t h e   L o n g f o r m e r - I n do B A R T   m o de l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 4 ,   N o.   2 ,  A ugus t   20 2 5 :   478 - 487   486   de m o ns t r a t e d   i m pr e s s i ve   pe r f o r m a n c e ,   i t   e x pe r i e n c e d  a   s l i g h t   s e t b a c k  wh e n   e v a l ua t e d  o n   t h e   tr a ns l a t e d  S QuA D  v 2  da t a s e t  c o m pa r e d  to  t h e   I n do B AR T   m o de l ,   b e c a us e   o f   s o m e   c o n t e x t   we n t  m i s s i ng  i n   t r a n s l a t i o n .   F o r   f ut ur e   s t udi e s ,   i t   i s   a d vi s a bl e   to   c o n duc t   tr a i ni ng  w i t h   QG   a s   t h e   t a r ge t  i n s t e a d  o f   a ns we r   ge n e r a t i o n .   F ur t h e r m o r e ,   e m p l o yi ng  a n   uns upe r vi s e d  l e a r ni ng  a ppr o a c h   to   ge n e r a t e   b ot h   que s t i o n s   a nd   a ns we r s   f r o m   a   c o n t e x t ua l   pa r a gr a ph   c o ul d  s t r e a ml i ne   t h e   m a n ua l   pr o c e s s   o f   t e a c h e r - l e d  que s t i o n - a n s w e r   ge n e r a t i o n .   T h e   da t a s e t s   e m p l o y e d  i n   t hi s   s t ud y   we r e   s o ur c e d  f r o m   e i t h e r   m u l t i li ngua l   o r   E n g l i s h  da t a s e t s   t h a t   r e qui r e d  t r a n s l a t i o n .   T hi s   c o u l d  po s e   c h a ll e n g e s   a s   s o m e   c o n t e x t   m a y   b e   l o s t   i n   t r a ns l a t i o n   o r   t h e   da t a s e t  s i z e   m a y   b e   l im i t e d.   T h e r e f o r e ,   t h e   c r e a t i o n   o f   a n   I n do n e s i a n   l a n gu a ge   que s t i o n - a n s we r i ng  da t a s e t   i s   e s s e n t i a l  to  de v e l o p  m o r e   r o b us t   m o de l s   a n d  b e n c hm a r ks .         F UN DI NG  I N F ORM AT I ON   A ut h o r s   s t a t e   n o  f u n d i ng  i nv o l v e d.       AU T HO R  CONT RI B UT I ONS   S T AT E M E NT     Nam e   of   Aut h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   P e t e r   A n dr e w                               Abb a   S uga n da   G i r s a n g                                 C   :    C o n c e pt ua li z a ti o n   M   :    M e th o d o l o g y   So   :    So f twa r e   Va   :    Va li da ti o n   Fo   :    Fo r ma l  a na l y s is   I   :    I nve s ti ga ti o n   R   :    R e s o u r c e s   D   :   D a ta  C ur a ti o n   O   :   W r it in g  -   O r ig in a l  D r a f t   E   :   W r it in g  -   R e v i e w  &   E di ti ng   Vi   :    Vi s ua li z a ti o n   Su   :    Su pe r v is io n   P   :    P r o j e c t  a dmi ni s tr a ti o n   Fu   :    Fu ndi ng a c qui s it i o n         CONF L I CT   OF   I NT E RE S T   S T AT E M E NT   A ut h o r s   s t a t e   n o  c o nf li c t   o f   i n t e r e s t       DA T A  AV AI L AB I L I T Y   T h e   a ut h o r s   c o nf i r m   t h a t   t h e   da t a   s upp o r t i n g   t h e   f in d i ngs   o f   t hi s   s t ud y   a r e   a va i l a bl e   w i t hi n   t h e   a r t i c l e       RE F E R E NC E S   [ 1]   N .  T .  L e ,  T .  K o ji r i,   a nd  N .  P in kw a r t,   “ A ut o ma ti c   qu e s ti o n  ge n e r a ti o n  f o r   e du c a ti o na l  a ppl ic a ti o ns   -   th e   s ta te   of   a r t, ”   in   A dv anc e s   in   I nt e ll ig e nt  Sy s te m s  and C om put in g , v o l.  282, S p r in ge r  I nt e r n a ti o na l  P ubl is hi ng, 2014, pp. 325 – 338.   [ 2]   R .  S mi th ,  P .  S n o w ,  T .  S e r r y ,  a nd  L .  H a mm o nd,  “ T h e   R o le   of   ba c kgr o und  kn o w l e dg e   in   r e a di ng  c o mpr e he ns i o n:   a   c r it ic a l   r e v i e w ,”   R e adi ng  P s y c hol ogy , vo l.  42 , n o . 3, pp. 214 – 240,  F e b.  2021, do i:  10.1080/02702711. 2021.1888348.   [ 3]   E . B . M o j e , P . P . A f f le r ba c h,  P . E n c is o , a nd N .  K .  L e s a ux ,  H an dbook  of   r e adi ng r e s e ar c h, v ol um e  V , v o l.  V . R o ut l e dg e , 2020.   [ 4]   M .  L e a s a ,  A .  A be dn e g o ,  a nd   J .  R .  B a tl o l o na ,  “ P r o bl e m - ba s e d  le a r ni ng   ( P B L )   w it h  r e a di ng  qu e s ti o ni ng  a nd   a ns w e r in g  ( R Q A )   of   pr e s e r v i c e   e l e m e nt a r y   s c h oo l  t e a c h e r s ,”   I nt e r nat io nal   J our nal   of   L e a r ni ng,  T e ac hi ng  and  E duc at io nal   R e s e a r c h ,  v o l.   22,  n o .  6,  pp. 245 – 261, J un. 2023, do i:  10.26803/i jl t e r .22.6.14.   [ 5]   V .  R a ma da y a nt i   a nd  J a mi lu ddi n,  “ D e ve l o pi ng   s tu de nt s ’   r e a di ng  c o mp r e h e ns i o n  th r o ugh  qu e s ti o n   g e ne r a ti o n  s tr a t e g y ,”   E - J our nal   of  E ngl is h L anguage  T e ac hi ng Soc ie ty , v o l.  8, 2020.   [ 6]   X .  D u,  J .   S ha o ,  a nd  C .  C a r di e ,  “ L e a r ni ng  t o   A s k:   N e ur a l  Q ue s ti o n  G e ne r a ti o n  f o r   R e a di ng  C o mp r e he ns i o n,”   C o R R ,  vo l.   a bs /1 705.00106, 2017, [ O nl in e ] . A v a il a bl e :  ht tp :/ /a r x i v . or g/ a bs /1 705.00106   [ 7]   D .  S uha r to n o ,   M .  R .  N .  M a ji id ,  a nd  R .  F r e d y a n,  “ T o w a r ds   a ut o ma ti c   qu e s ti o n  ge n e r a ti o n  us in g  pr e - tr a in e d  m o d e l  in   a c a de mi c   f i e ld   f or   B a ha s a   I nd o n e s ia ,”   E duc at io n  and  I nf or m at io n  T e c hnol ogi e s ,  v o l.   29,  n o .  16,  pp.  21295 – 21330,  A pr .  2024,  do i:   10.1007/s 10639 - 024 - 12717 - 9.   [ 8]   V .  H a r r is o n  a nd  M .  W a lk e r ,  “ N e ur a l  ge ne r a ti o n  of   di ve r s e   qu e s ti o ns   us in g  a n s w e r   f oc us ,  c o nt e xt ua l  a nd  li ngui s ti c   f e a tu r e s ,”   i n  I N L G   2018  -   11t h   I nt e r nat io nal   N at ur al   L anguage   G e ne r at io n  C onf e r e nc e ,  P r oc e e di ngs   o f   th e   C on f e r e nc e ,  2018,  pp.  296 – 306,   do i:  10.18653/ v 1/ w 18 - 6536.   [9   T .   S ul ta na   a nd  S .  B a dugu,  “ A   r e v i e w   o n  di f f e r e nt   qu e s ti on  a ns w e r in g  s y s t e m  a ppr o a c h e s ,”   in   L e ar ni ng  and   A nal y ti c s   in   I nt e ll ig e nt  Sy s te m s , v o l.  4, S p r in g e r  I nt e r na ti o na l  P ubl is hi ng, 2020, pp. 579 – 586.   [ 10]   P .   R a j p u r k a r ,   J .   Z h a n g ,   K .   L o py r e v ,   a n d   P .   L i a n g ,   “ S Q u a d :   1 0 0 , 00 0 +   q u e s t i o n s   f o r   m a c h i ne   c o m p r e he n s i o n   o f   t e x t , ”   i n   E M N L P   2 01 6   -   C o n fe r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   N a t u r a l   L a n g u a g e   P r o c e s s i n g ,   P r o c e e d i n g s , 2016, pp. 2383 – 2392, do i:  10.18653/ v 1/d16 - 1264.   [ 11]   A .  A s a ,  K .  H a s hi mo t o ,  H .  H a ji s hi r z i,   R .  S oc h e r ,  a nd  C .  X io n g,  “ L e a r ni ng  t o   r e tr ie ve   r e a s o n in g  pa th s   ove r   w ik ip e di a   gr a ph  f or   que s ti o n a ns w e r in g,”   ar X iv . , 2019.   [ 12]   G .  I z a c a r d  a nd  E .  G r a ve ,  “ L e ve r a gi ng  pa s s a ge   r e t r i e v a l  w it h  g e n e r a ti ve   m o d e ls   f o r   o p e n  d o ma in   qu e s ti o n   a ns w e r in g,”   in   E A C L   2021  -   16t h  C onf e r e n c e   o f   th e   E ur ope an  C hapt e r   o f   th e   A s s oc ia ti on  f o r   C om put at io nal   L in gui s ti c s ,  P r oc e e di ngs   of   th e   C on f e r e nc e , 2021, pp. 874 – 880, do i:  10.18653/ v 1/ 2021. e a c l - m a in .74.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         I ndoB A R T   opti miz ati on  f or   que s ti on  ans w e r   ge ne r ati on  s y s tem   w it h  longf or me r   att e nti on   ( P e ter   A ndr e w )   487   [ 13]   Q .  C a o ,  H .  T r i ve di ,  A .  B a la s ubr a ma ni a n,  a nd  N .  B a la s ubr a ma ni a n,  “ D e F o r m e r :   D e c o mp o s in g  pr e - tr a in e d   tr a ns f o r m e r s   f or   f a s te r   que s ti o n  a ns w e r in g,”   in   P r oc e e di ngs   of   th e   A nnual  M e e ti ng  of   th e   A s s oc ia ti on  f or   C o m put at io nal   L in gui s ti c s ,  2020,  pp.  4487 – 4497, do i:  10.18653/ v 1/ 2020.a c l - ma in .411.   [ 14]   S .  C a h y a w ij a y a   e t  a l. ,  “ I nd o N L G :  b e n c hma r k  a nd  r e s o ur c e s   f o r   e v a lu a ti ng  in d o n e s ia n  na tu r a l  la ngua ge   ge n e r a ti o n,”   in   E M N L P   2021  -   2021  C onf e r e nc e   on  E m pi r ic al   M e th ods   in   N at ur al   L anguage   P r oc e s s in g,  P r oc e e di ngs ,  2021,  pp.  8875 – 8898,  do i:   10.18653/v 1/ 2021. e mnl p - ma in .699.   [ 15]   B .  W il ie   e t  al .,   “ I nd o N L U :  B e nc hma r k  a nd  r e s o ur c e s   f or   e v a lu a ti ng  I ndo n e s ia n  na tu r a l  la ngua ge   unde r s ta ndi ng,”   P r oc e e di ngs   o f  th e   1s t  C on f e r e nc e   o f   th e   A s ia - P ac if ic   C hapt e r   o f   th e   A s s oc ia ti on  f or   C om put at io nal   L in gui s ti c s   and  th e   10t h  I nt e r nat io nal   J oi nt   C onf e r e nc e  on N at ur al  L anguage  P r oc e s s in g , pp. 843 – 857, 2020.   [ 16]   K .  P a pi n e ni ,   S .  R o uk o s ,  T .   W a r d,  a nd  W .  J .  Z hu,   “ B L E U :   A   me th o d  f o r   a ut o ma ti c   e v a lu a ti o n  of   ma c hi n e   tr a ns la ti o n, ”   in   P r oc e e di ngs   of   th e   A nnual  M e e ti ng  of   th e   A s s oc ia ti on  f or   C o m put at io nal   L in gui s ti c s ,  2002,  vo l.   2002 - J ul y ,   pp.  311 – 318,  do i:   10.3115/1073083.10 73135.   [ 17]   C. - Y .  L in ,  “ R O U G E :  a   pa c ka g e   f or   a ut o ma ti c   e v a lu a ti o n   of   s umm a r ie s ,”   T e x t  Sum m ar iz at io n  B r anc he s   O ut ,  B ar c e lo na,  Sp ai n:   A s s oc ia ti on f o r  C om put at io nal  L in gui s ti c s , pp. 74 – 81, 2019.   [ 18]   D .  S u  e t  al . ,  “ G e n e r a li z in g  qu e s ti o n  a ns w e r in g  s y s te m   w it h  pr e - t r a in e d  la ngua g e   m o d e l  f in e - tu ni ng,”   in   M R Q A @ E M N L P   20 19  -   P r oc e e di ngs  of  t he  2nd W or k s hop on M ac hi ne  R e adi ng  f or  Q ue s ti on A ns w e r in g , 2019, pp. 203 – 211, do i:  10.18653/ v 1/ d19 - 582 7.   [ 19]   M .  L e w is   e t  al . ,  “ B A R T :  D e n o is in g  s e que n c e - to - s e qu e n c e   pr e - t r a in in g  f o r   na tu r a l  la ngua ge   g e n e r a ti o n,  tr a ns la ti o n,  a nd  c o mpr e h e ns io n ,”   in   P r oc e e di ngs   of   th e   A nnual  M e e ti ng  o f   th e   A s s oc ia ti on  f or   C om put at io nal   L in gui s ti c s ,  2020,  pp.   7871 – 7 880,  do i:  10.18653/ v 1/ 2020.a c l - ma in .703.   [ 20]   H .  W .   C hung,  D .  G a r r e tt e ,  K .   C .  T a n,  a nd   J .  R ie s a ,  “ I mpr ovi ng  mul ti li ngua l  m o de ls   w i th   la ngua ge - c lu s te r e d  voc a bul a r i e s , ”   in   E M N L P   2020   -   2020   C onf e r e nc e   on  E m pi r ic al   M e th ods   in   N at ur al   L anguage   P r oc e s s in g,  P r oc e e di ngs   of   th e   C on f e r e nc e ,  2020,   pp. 4536 – 4546, do i:  10.18653/ v 1/ 2020. e mnl p - ma in .367.   [ 21]   I . B e lt a g y , M . E . P e t e r s , a nd A . C o ha n, “ L o ng f o r me r :  th e  l o ng - doc um e nt  t r a ns f o r m e r ,”   ar X iv  pr e pr in t  ar X iv .   [ 22]   F .  J .  M ui s   a nd   A .  P ur w a r ia nt i,   “ S e que nc e - to - s e qu e n c e   l e a r ni ng  f o r   I nd o n e s ia n  a ut o ma ti c   que s ti o n  ge n e r a t or ,”   in   2020  7t h   I nt e r nat io nal   C onf e r e nc e   on  A dv anc e d  I nf or m at ic s :   C onc e pt s ,  T he or y   and  A ppl ic at io ns ,  I C A I C T A   2020 ,   S e p.  2020,   pp.  1 – 6,   do i:   10.1109/I C A I C T A 49861.2020.9429032.   [ 23]   J .  H .  C la r k  e t  al . ,   “ T y di   qa :  A   b e n c hma r k  f or   in f or ma ti o n - s e e ki ng  qu e s ti o n  a ns w e r in g  in   t y p o l o g ic a ll y   di v e r s e   la ngua g e s ,”   T r ans ac ti ons  o f  t he  A s s oc ia ti on f o r  C om put at io nal  L in gui s ti c s ,  vo l.  8, pp. 454 – 470, D e c . 2020, d o i:  10.1162/t a c l_ a _00317.   [ 24]   K .  V in c e nt i o   a nd  D .  S uha r t o n o ,  “ A ut o ma ti c   qu e s ti o n   ge n e r a ti o n  us in g  R N N - ba s e d  a nd  p r e - tr a in e d  tr a ns f o r m e r - ba s e d  m o d e l s   in   l o w  r e s o ur c e   in d o ne s ia n l a ngua ge ,”   I nf or m at ic a ( Sl ov e ni a) , vo l . 46, no . 7, pp. 103 – 118, N ov . 2022, d o i:  10.31449/i n f . v 46i 7.42 36.   [ 25]   A . V a s w a ni , “ A tt e nt i o n i s  a ll   y o u n e e d,”   A dv anc e s  i n N e ur al  I n f or m at io n P r oc e s s in g Sy s te m s , 2017.       B I OG RA P HI E S   OF   AU T HO RS       P eter  A n drew           i s   c u rr en t l y   fr eel an ce   d e v el o p e r  s p e ci al i zi n g   i n   w e b ,   m o b i l e ,   d e s k t o p ,   a n d   c ro s s - p l at fo rm   d e v el o p me n t   s i n ce  2 0 2 4 ,   H e  h o l d s   a  b ach el o r 's   d e g r ee   i n   i n fo r m at i c s   fr o m   Bi n a  N u s an t ara  U n i v e rs i t y   2 0 2 1 .   H e  h as   an   i n t e rn s h i p   at   t h e   A p p l e  D ev e l o p e r   A c a d emy   i n   2 0 1 9   as   an   i O S  d ev e l o p e r,   fo l l o w ed   b y   a  t ran s i t i o n   t o   F l as h   Co ff ee  i n   2 0 2 1 ,   w h e r e  h e   d em o n s t rat e d   p ro f i c i en cy   i n   mo b i l e ,   w e b ,   an d   b a c k en d   d e v el o p me n t ,   al o n g s i d e  ad e p t n e s s   i n   b u i l d   au t o m at i o n   a n d   d at a  re p o rt i n g .   h i s   ar e a  o f  i n t e r e s t   i s   m a ch i n e   l e ar n i n g   an d   d at a  s c i en ce .   H e  c an   b e   co n t a c t ed   at   em ai l :   p e t e r. a n d r ew @ b i n u s . a c . i d .         A bba   Su g a n da   G i rs a n g            i s   c u rr en t l y   a  l ec t u r e r  at   Mas t e r  i n   C o m p u t e r   S c i en ce ,   Bi n a  N u s an t ara  U n i v e rs i t y ,   J ak art a,   In d o n e s i a  Si n ce   2 0 1 5 .   H e   g o t   Ph . D .   d e g r ee   i n   2 0 1 5   at   t h e   I n s t i t u t e  o f  C o m p u t e r   an d   Co mmu n i c at i o n   E n g i n ee ri n g ,   D e p art men t   o f  E l ec t ri c a l   E n g i n ee ri n g ,   N at i o n a l   Ch en g   K u n g   U n i v e rs i t y ,   T ai n an ,   T ai w a n .   H e  g ra d u at e d   b ach e l o r  fr o m   t h e  D e p art men t   o f  E l ec t ri c a l   E n g i n ee ri n g ,   G ad j a h   Ma d a  U n i v e rs i t y   ( U G M),   Y o g y ak art a,   I n d o n e s i a,   i n   2 0 0 0 .   H e   t h en   c o n t i n u e d   h i s   m as t e r’s   d eg ree  i n   t h e   D e p art men t   o f  Co m p u t e r  Sci en ce   at   t h e   s ame   u n i v e rs i t y   i n   2 0 0 6 – 2 0 0 8 .   H e   w as   a  s t aff  c o n s u l t an t   p ro g ra mme r  i n   Be t h e s d a   H o s p i t al ,   Y o g y ak art a,   i n   2 0 0 1   an d   al s o   w o rk e d   as   a   w e b   d ev e l o p e r   i n   2 0 0 2 – 2 0 0 3 .   H e  t h e n   j o i n ed   t h e   fa cu l t y   o f  t h e   D e p art me n t   o f   In fo r m at i c s   E n g i n ee r i n g   i n   J an ab ad ra  U n i v e rs i t y   as   a   l ec t u r e r   i n   2 0 0 3 - 2 0 1 5 .   H i s   r e s e ar ch   i n t e r e s t s   i n c l u d e  s w ar m ,   i n t el l i g en ce,   c o m b i n at o ri a l   o p t i m i zat i o n ,   an d   d ec i s i o n   s u p p o rt   s y s t e m.   H e   c a n   b e  c o n t ac t e d   at   e m ai l :   ag i rs an g @ b i n u s . e d u .       Evaluation Warning : The document was created with Spire.PDF for Python.