I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.  1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 ,   p p .   8 3 4 ~ 8 43   I SS N:  2252 - 8 8 1 4 ,  DOI :  1 0 . 1 1 5 9 1 /ijaas . v 1 3 . i 4 . pp 834 - 8 43           834       J o ur na l ho m ep a g e :  h ttp : //ij a a s . ia esco r e. co m   Ba tak To ba  lang ua g e - Indo nesia n ma chine t ra nsla tio n wit h   trans fer  l ea rning   using  no la ng ua g e lef t  behin d       Cev in Sa m uel,  I rsa n T a ufik   Ali   D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   F a c u l t y   o f   En g i n e e r i n g ,   U n i v e r s i t a s  R i a u ,  P e k a n b a r u ,  I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   1 6 ,   2 0 2 3   R ev is ed   J u n   3 ,   2 0 2 4   Acc ep ted   J u n   1 9 ,   2 0 2 4       Th is  stu d y   fo c u se s  o n   n e u ra l  m a c h in e   tran sla ti o n   (NMT )  f o r  l o w - re so u rc e   lan g u a g e s  (LRL s)  p a ir,   Ba tak   T o b a - In d o n e sia n   ( b b c ↔in d ).   T h e   B a tak   To b a   lan g u a g e   is  a   c rit ica ll y   e n d a n g e r e d   d iale c t  o f  a n   In d o n e sia n   e th n ic  g ro u p ,   Ba tak .   Re c e n t  a d v a n c e s  in   m a c h i n e   tran sla ti o n   o ffe r  p o ten t ial  so lu t io n s,  wit h   tran sfe r  lea rn in g   e m e rg in g   a s  a   p ro m isin g   a p p r o a c h   fo r  t h is  lan g u a g e   p a ir.   We  u se d   a   p u b li c l y   a v a il a b le  b b c ↔in d   p a ra ll e l  c o rp o ra   fro m   th e   Hu g g i n g   F a c e   d a tas e ts  h u b   a n d   e m p lo y e d   th e   NLLB - 2 0 0 ' s  d isti ll e d   6 0 0 M   v a rian t   m o d e l  a s  t h e   b a se li n e   m o d e l.   Ou r  m o d e ls  a c h iev e d   sa c re BLE U   sc o re s  a s   fo ll o ws :  i)  f o r  b b c →in d ,   it   a c h iev e d   a   sc o re   o f  3 7 . 1 0   (+ 2 5 . 6 7 ,   u p   fro m   1 1 . 4 3 )   a n d   ii )  f o r  i n d → b b c ,   it   a c h iev e d   a   sc o re   o f  3 0 . 8 4   (+ 2 5 . 8 2 ,   u p   fro m   5 . 0 2 ).   Th e se   re su lt s  o u t p e rfo rm   a ll   p re v i o u s   wo r k s  i n   th e   tas k   b b c ↔in d   m a c h in e   tran sla ti o n   a n d   p r o v e   t h e   v a li d i ty   o f  o u r  a p p r o a c h .   K ey w o r d s :   B atak   T o b a  lan g u ag e   L o w - r eso u r ce   la n g u a g es   Neu r al  m ac h in e  tr a n s latio n   NL L B - 2 0 0   m o d el   s ac r eBLE U   s co r e   T r an s f er   lear n i n g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   C ev in   Sam u el   Dep ar tm en t o f   E lectr ical  E n g i n ee r in g ,   Facu lty   o f   E n g in ee r in g ,   Un iv er s itas   R iau   B in a  W id y a   C am p u s   KM .   1 2 . 5 ,  Pek an b a r u   2 8 2 9 3 ,   I n d o n esia   E m ail: c ev in . s am u el3 7 7 8 @ s tu d en t.u n r i.a c. id       1.   I NT RO D UCT I O N   Am o n g   th e   d iv er s e  lin g u is tic  lan d s ca p e  o f   I n d o n esia,  h o m e   to   an   in c r ed ib le  a r r ay   o f   lan g u ag es  an d   d ialec ts ,   th e  B atak   T o b a  la n g u ag e,   s p o k e n   b y   m illi o n s   i n   No r th   Su m atr a,   is   in   tr o u b le.   C lass if ied   as   en d an g e r ed   o n   th e  UNE SC O  lis t  o f   en d an g e r ed   lan g u a g es  [ 1 ] ,   th e   p r eser v atio n   o f   th e  lan g u a g e  is   o f   p ar ticu lar   im p o r tan ce   in   th e  f ac e  o f   d ec lin in g   n u m b e r s   o f   s p ea k er s   an d   r eso u r ce s .   An   ess en tial  s tep   to war d s   m ain tain in g   s u ch   a  la n g u a g e   is   o p en in g   d o o r s   f o r   co m m u n icatio n   th r o u g h   th e  m o d er n   ag e,   allo win g   t h e  lan g u ag e  t o   r em ain   r elev an t a n d   ac ce s s ib le  to   y o u n g er   g en e r atio n s   in   th e  f ac e  o f   th e   d o m i n an t la n g u ag es  [ 2 ] .   C u ltu r al  an d   h is to r ical  s ig n if ican ce ,   h er e  ar e  s o m e  s ig n if ican t  f ea tu r es  o f   its   im p o r tan ce :  i)   B atak   T o b a  is   an   ess en tial  co m p o n e n t  o f   th e  B atak   p eo p le' s   cu ltu r al  id en tity .   I t  is   u tili ze d   in   tr ad itio n al  ce r em o n ies,  m u s ic,   s to r ies,  an d   d aily   life ,   r ep r esen tin g   th eir   d is tin ct  c u ltu r al  leg ac y   an d   h is to r y ;   ii)  B atak   T o b a   is   an   Au s tr o n esian   lan g u ag e ,   co n tr i b u tin g   to   I n d o n esia' s   an d   th e  wo r ld ' s   lin g u is tic  v ar ie ty .   L o s in g   it  wo u ld   d ev alu e   th is   u n iq u e  lin g u is tic  h er itag e;   an d   iii)  B atak   T o b a  p r o v id es  in s ig h ts   in to   th e  B atak   p eo p le' s   h is to r ical  ev o lu tio n   a n d   c o n tacts with   o th er   cu ltu r es.   Po ten tial  im p ac t  o f   th is   wo r k ,   th er e  ar e  s ev er al  way s   in   wh i ch   th is   r esear ch   m ig h t  co n tr ib u te  to   th e  p r eser v atio n   a n d   r esto r atio n   o f   th e   lan g u ag e.   T h e  m o d el  ca n   s er v e   s ev er al  p u r p o s es:  i)   p r o m o tin g   ac ce s s ib ilit y   is   b y   f ac ilit atin g   co m m u n icatio n   b etwe en   B atak   T o b a   s p ea k er s   a n d   I n d o n esian   s p ea k er s ,   it  c an   ex p an d   th e  r eso u r ce s   an d   k n o w led g e  av ailab ilit y   in   b o t h   la n g u ag es;  ii)  d ev elo p in g   e d u ca tio n al  m ater ials   an d   r eso u r ce s   in   b o th   B atak   T o b a  an d   I n d o n esian ,   en h an cin g   ed u ca tio n   f o r   B atak   T o b a  co m m u n ities ;  iii)  s u s tai n   th e  cu ltu r e  is   th e  m o d el  ca n   b e  in teg r ated   in to   o th er   d i g ital  p latf o r m s   an d   ap p licatio n s ,   f u r th er   p r o m o tin g   B atak   T o b a;  an d ,   iv )   co n d u cti n g   ad d itio n al  r esear ch ,   t h is   s tu d y   p av es  th e  way   f o r   f u t u r e  r e s ea r ch   in   th e  B atak   T o b a  lan g u ag e,   e n co u r ag in g   s cien tis ts   an d   d ev elo p er s   to   c o n tr ib u te  to   its   ad v an ce m en t a n d   p r eser v atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       B a ta k  To b a   la n g u a g e - I n d o n es ia n   ma ch in e   tr a n s la tio n   w ith   tr a n s fer lea r n in g   u s in g   n o   …  ( C ev in   S a mu el)   835   T r an s f er   lear n i n g ,   a   s tr aig h tf o r war d   y et  e f f ec tiv e  a p p r o ac h   t o   im p r o v in g   m o d el   p er f o r m a n ce   o f   lo w - r eso u r ce   n eu r al  m ac h in e  tr a n s latio n   ( NM T ) ,   o f f er s   a  p r o m is in g   ap p r o ac h   f o r   B atak   T o b a  lan g u ag e   r esto r atio n .   B y   u s in g   ex is tin g   p r e - tr ain ed   m ac h in e  tr an s latio n   m o d e ls   lik e  NL L B - 2 0 0 ,   we   ca n   ac ce ler ate  th e  d ev elo p m e n t  o f   B atak   T o b a  t r an s latio n   m o d els,  ev en   with   lim ited   d ata.   T h is   ap p r o ac h   c an   em p o wer   B atak   T o b a  s p ea k er s   to   ac ce s s   in f o r m atio n   an d   co n n ec t  with   b r o ad er   co m m u n ities ,   u ltima tely   co n tr ib u tin g   to   th e   lan g u ag e' s   r esto r atio n   ef f o r ts   [ 3 ] .   Fo r   i n s tan ce ,   a  p er s o n   lear n in g   B atak   T o b a  ca n   u tili ze   th is   m o d el  to   f in d   tr an s latio n s   th ey   n ee d ,   m ak in g   it a   p r ac tical  to o l f o r   lan g u ag e   lear n in g .   T h is   p ap er   f ills   th is   g ap   b y   u ti lizin g   tr an s f er   lear n in g ,   a  tech n iq u e  th at   is   p er f ec t  f o r   t r ain i n g   m o d els  with   lim ited   d ata.   W e   in ten d   to :  i)   cr ea te  a  B atak   T o b a - I n d o n esian   ( b b c↔in d )   m ac h i n e  tr an s latio n   m o d el  u s in g   tr an s f er   lear n in g ,   d em o n s tr atin g   its   f ea s ib ilit y   f o r   lo w - r eso u r ce   lan g u ag es  ( L R L s ) ;  ii)  ev alu ate  th e  m o d el' s   p er f o r m an ce   to   ass ess   it s   p o ten tial  f o r   r ea l - wo r l d   ap p licatio n s   an d   f u t u r e  d e v elo p m en t;  an d   iii)  co n tr ib u te   to   B atak   T o b a   p r eser v atio n   b y   p r o v id in g   a  t o o l  f o r   cu lt u r al,   c o m m u n icatio n ,   a n d   ed u ca tio n   p r o m o ti o n .   B y   f u lf illi n g   th ese   g o als,  we  in ten d   to   p a v e  th e  p ath   f o r   f u tu r e  s tu d y   an d   d ev elo p m en t  in   B atak   T o b a  m ac h i n e  tr an s latio n ,   e v e n tu ally   co n tr i b u tin g   t o   th e  lan g u ag e' s   s u r v iv al  an d   r esil ien ce   in   th e  d ig ital e r a .       2.   RE L AT E D  WO RK   2 . 1 .     L o w - re s o urce   la ng ua g e s   R esear ch er s   h av e  b ee n   ac tiv ely   wo r k in g   to   im p r o v e  th e  tr an s latio n   q u ality   f o r   L R L s ,   aim in g   to   b r id g e   th e   g ap   with   h ig h   an d   m ed i u m - r eso u r ce   la n g u a g e s .   On e  p o s s ib le  ap p r o ac h   in v o lv es  tr an s f e r r in g   k n o wled g e   f r o m   a  h ig h - r eso u r ce   lan g u a g e  to   th e   L R L s   v ia  a  tech n iq u e  k n o w n   as  tr an s f er   lear n in g   [ 4 ] .   T h is   m eth o d   u s es  cu r r e n t  k n o wled g e  to   in cr ea s e  tr an s latio n   ac c u r ac y   in   L R L s .   An o th er   im p o r tan t  m eth o d   is   d ata   au g m en tatio n .   Un lik e  p ar allel  d ata  ( wh er e  s en ten ce s   ex is t  in   b o th   lan g u a g es),   L R L s   ty p ically   h av e  m u ch   m o r e  r ea d ily   av aila b le  m o n o l in g u al  d ata   ( tex t  in   o n ly   th e   tar g et  lan g u ag e) .   T h is   ad v an t ag e  allo ws  f o r   th e  cr ea tio n   o f   s y n th etic  p ar allel  d ata  p air s ,   wh ich   h a v e  b ee n   s h o wn   to   en h a n ce   tr an s latio n   ac c u r ac y   [ 5 ] .   Fo r   in s tan ce ,   a   s tu d y   f o cu s in g   o n   Fin n o - Ug r ic   lan g u a g es  d em o n s tr ated   th at  tr ain i n g   a   m u ltil in g u al  m o d el  in co r p o r atin g   o th er   la n g u ag es  with in   th e  s am e  f am ily   led   to   s ig n if ican t  im p r o v em en ts   in   E s to n ian   tr an s latio n   q u ality   [ 6 ] .   I t   is   n o tab ly   s h o wn   in   [ 7 ]   th at  th e   clo s er   th e  r elatio n s h ip   b etwe en   t h e  h ig h   o r   m e d iu m - r eso u r ce   l an g u ag es  u s ed   in   tr ain in g   an d   th e  L R L s ,   th e  g r ea ter   th e  tr an s latio n   ac cu r ac y .   W h ile  tr an s f er   lear n in g   h as  p r o v en   v alu ab le  f o r   L R L s   with   lim ited   p ar allel  r eso u r ce s   [ 8 ] ,   th e  s tu d y   also   r ev ea led   in s tan ce s   wh er e  u s in g   an   u n r elate d   h ig h - r eso u r ce   lan g u ag e   r esu l ted   in   ev en   b etter   tr a n s latio n s .     2 . 2 .     NL L B - 200   NL L B - 2 0 0   is   a   lar g e - s ca le  m u ltil in g u al  m ac h i n e  tr a n s latio n   m o d el  ca p a b le  o f   tr a n s latin g   b etwe en   2 0 2   lan g u ag es,  in clu d in g   m a n y   L R L s   as   id en tifie d   in   [ 9 ] .   Ho wev er ,   B atak   T o b a  is   o n e  o f   th e  lan g u ag es  cu r r en tly   n o t  s u p p o r te d .   T h e   m o d el  was  tr ain e d   o n   1 8   b illi o n   p ar allel  s en ten ce s   co v er in g   o v er   4 0 , 0 0 0   tr an s latio n   d ir ec tio n s .   T h e   tr a in in g   d ata  was  cr ea ted   u s in g   a  co m b i n atio n   o f   h u m a n - tr an s lated   b en ch m a r k s   ( FLORES - 2 0 0 )   an d   a  n ew  to x icity   b en ch m ar k   en co m p ass in g   all  FLO R E S - 2 0 0   lan g u ag es,  en s u r in g   tr an s latio n   q u ality   an d   s af ety .   As  d escr ib ed   in   [ 1 0 ] ,   th e   NL L B   team   em p lo y ed   b itex t   m in in g   an d   b ac k - tr an s lati o n   tech n iq u es  to   co n s tr u ct  th e  n o n - E n g lis h - ce n tr ic  tr ain in g   d ataset.   C o m p ar ed   to   p r ev io u s   s tate - of - th e - ar t m o d els lik e  Dee p n et  [ 1 1 ]   an d   M2 M - 1 0 0   [ 1 0 ] ,   NL L B - 2 0 0   ac h iev es a   4 4 % B L E U  s co r e  im p r o v em e n t.    As  r ep o r ted   in   [ 9 ] ,   b y   h av i n g   ex ten s iv e  tr ain in g   d ata,   b r o ad   lan g u ag e   s u p p o r t,  an d   p r o m is in g   ev alu atio n   r esu lts ,   th e  NL L B - 2 0 0   m o d el  co u l d   s er v e  a s   a  s tr o n g   f o u n d atio n   f o r   tr ain in g   a  b b c↔in d   tr an s latio n   s y s tem .   Fo r   th e   ex p er im en ts   in   th is   s tu d y ,   we   u s ed   th e  d is till ed   6 0 0 M   v a r ian t  o f   th e   NL L B - 2 0 0   m o d el  as  th e  b aselin e  f o r   b o t h   o u r   b ilin g u al  u n id ir ec tio n al   m o d els,  i)   b b c→in d   a n d   ii)  in d →b b c.   Fo r   th e   co m p lete  d etails o n   h o w  we  b u ilt an d   tr ain ed   th ese  m o d els,  p lease  r e f er   to   th e   p r o v id ed   c o d e  h er e  [ 1 2 ] .       3.   E XP E R I M E N T A L   SE T T I N G S   3 . 1 .    Da t a s et   a nd   prepro ce s s i ng   W e  u s ed   th e  Nu s aX   d ataset,   a   p ar allel  co r p u s   th at  co n tain s   b b c↔in d   [ 1 3 ]   lan g u a g e  p air   c r ea ted   b y   I n d o n esian   n atu r al  lan g u ag e  p r o ce s s in g   ( I n d o NL P).   T h e  I n d o NL P tea m   cr ea ted   th e  d ataset   [ 1 4 ]   b y   tr a n s latin g   Sm SA  [ 1 5 ] ,   a  r ec o g n ized   I n d o n esian   s en tim en t  an aly s is   d ataset  th at  co n s is t s   o f   r ev iews  an d   co m m e n ts   f r o m   th e  I n d o NL U  b en c h m ar k   [ 1 6 ] .   C o m p eten t  b ilin g u al  s p ea k er s   wer e  r esp o n s ib le  f o r   th e  tr an s latio n .   I t  wen t   th r o u g h   r e f in em en t   with   h u m an - ass is ted   q u ality   ass u r an ce .   W e  r ef er   th e  r ea d er   to   [ 1 4 ]   f o r   m o r e   o n   th e   co n s tr u ctio n   p r o ce s s es o f   th e  d ataset.   At  p r ep r o ce s s in g   tim e,   we  u s ed   th e  tr ain   an d   test   s u b s ets   o f   th e  Nu s aX  d ataset   a s   th e  tr a in in g   an d   ev alu atio n   d atasets ,   r esp ec tiv ely .   T ab le  1   p r e s en ts   th e  in f o r m atio n   d etailin g   th e  n u m b e r   o f   p ar allel  s en ten ce s   with in   th e  s u b s ets  we   u s ed .   A f ter   lo ad in g   u p   th e  d ataset,   as id e  f r o m   u s in g   th e  p r e - tr ain ed   b u ilt - in   to k en ize r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :   834 - 8 4 3   836   an d   d ata  c o llato r   f r o m   th e  NL L B - 2 0 0   m o d el,   we  ch o s e  n o t  to   p e r f o r m   an y   ad d iti o n al   n o r m aliza tio n   p r ep r o ce s s in g   ( e. g . ,   co llap s in g   p u n ctu atio n ,   r em o v in g   s p ec ia l c h ar ac ter s )   o n t o   th e  d ataset.       T ab le  1 .   Nu m b er   o f   p a r allel  s en ten ce s   in   th e  ( b b c↔in d )   d ata s et   S u b s e t   #   P a r a l l e l   se n t e n c e s   t r a i n   6 , 6 0 6   t e st   2 , 0 0 0       W h ile  r em o v in g   p u n ctu atio n   an d   s p ec ial  ch ar ac ter s   is   a  co m m o n   p r ep r o ce s s in g   s tep   in   s o m e  NL P   task s ,   we  o p ted   t o   r etain   th e m   in   th is   in s tan ce   f o r   th e  f o l lo win g   r ea s o n s :  i)   p r eser v i n g   p o ten tially   u s ef u l  in f o r m atio n :  Pu n ctu atio n   m ar k s   ca n   co n v ey   im p o r tan t  in f o r m atio n   s u ch   a s   s en ten ce   en d i n g s ,   q u esti o n   ty p es,   an d   s p ea k e r   em o tio n s .   Similar ly ,   s p ec ial  ch a r ac ter s   lik e   cu r r en cy   s y m b o ls   o r   m ath e m atica l  n o tatio n s   ca n   h o l d   s p ec if ic  m ea n in g s   with in   th e   co n tex t.  R em o v in g   th ese  ele m en ts   co u ld   p o ten tially   lead   t o   m is in ter p r etatio n s   d u r i n g   t h e  tr an s latio n   p r o ce s s   an d   ii)  Do m ain - s p ec if ic  co n s id er atio n s :  B atak   T o b a  m ig h t  u tili ze   p u n ctu atio n   an d   s p ec ial  ch ar ac ter s   in   u n i q u e  way s   ess en tial  f o r   ac cu r ate  tr an s latio n .   I t  is   a  r elativ ely   u n d er - r eso u r ce d   lan g u ag e,   s o   k ee p i n g   th ese  elem en ts   m ig h t  b e  cr u cial  to   ca p tu r in g   th e  lan g u ag e  n u a n ce s .   I t  is   im p o r tan t  to   n o te  th at  th e  d ec is io n   to   m ai n tain   o r   r e m o v e   p u n ctu atio n   a n d   s p ec ial  ch ar ac ter s   v ar ies  b as ed   o n   t h e  lan g u ag e   p air ,   th e  tr an s latio n   m o d el' s   in ten d ed   ap p licatio n ,   an d   th e  d a taset ' s   f ea tu r es.  Fu r th er   r esear ch   m ig h t  b e   n ee d e d   to   d is co v er   th e   b est p r ep r o ce s s in g   ap p r o ac h   f o r   s u b s eq u en t it er atio n s   o f   th is   m o d el.   T h e  m ax i m u m   s eq u en ce   len g t h   is   s et  to   6 4   to k e n s   f o r   b o th   th e  en co d er   an d   d ec o d er .   T h i s   v alu e  is   ch o s en   b ased   o n   th e  o b s er v ed   d is tr ib u tio n   o f   s en ten ce   len g t h s   in   th e  d ataset.   Settin g   th e  m ax im u m   s eq u e n ce   len g th   to o   lo w  co u ld   tr u n ca te  in f o r m ativ e  p a r ts   o f   th e  s en ten ce s   wh ile  s ettin g   it  to o   h ig h   co u l d   lead   to   ex ce s s iv e  co m p u tatio n al  c o s t  an d   p o ten tial  m em o r y   is s u es.  An aly zin g   th e   d ataset  r e v ea led   th at   th e  v ast  m ajo r ity   o f   s en ten ce s   f all  we ll  with in   th e  6 4 - to k e n   lim it,  s tr ik in g   a  b ala n ce   b etwe en   c ap tu r in g   n ec ess ar y   in f o r m atio n   an d   co m p u tatio n a l e f f icien cy .   T ab les  2   an d   3   s h o w  th at  t h e  s ec o n d   co lu m n ,   te x t,  in   o u r   d ataset  co n tain s   s en t en ce s   wr itten   in   in d ,   wh ile  th e  th ir d   c o lu m n ,   th e   la b el  co n tain s   s en ten ce s   wr itten   in   b b c.   An d   s in ce   o u r   ap p r o a ch   in   th is   s tu d y   is   to   em p lo y   two   c o m p letely   s ep ar ate  an d   d is tin ct  b ilin g u al   u n id ir ec tio n al  m o d els,  n a m ely   b b c→in d   a n d   in d →b b c;  we  s im p ly   s witch e d   th e  s o u r ce   a n d   tar g et  lan g u ag es.  Sp ec if ically ,   f o r   b b c →in d ,   we  s et  th e  s en ten ce s   f r o m   th e  tex t  c o lu m n   as  th e  tar g et  lan g u ag e,   a n d   co n v er s ely ,   f o r   in d →b b c,   we  s et  it  as  th e  s o u r ce   lan g u ag e.     3 . 2 .     I m ple m ent a t io n a nd   ev a lua t io n   W e  u s ed   th e  Hu g g in g   Face   T ra n s f o r m er s   li b r ar y   an d   th e   G o o g le  C o lab o r ato r y   s er v ice   p l atf o r m   f o r   all  o f   o u r   tr ain in g   a n d   im p l em en tatio n .   Go o g le  C o lab o r ato r y   is   u s ed   to   cr ea te,   s h ar e,   an d   r u n   ju p y ter   n o teb o o k s   o n lin e ,   wh ich   ar e  d ig ital  d o cu m e n ts   th at  ca n   in te g r ate  ex ec u tab le  co d e,   im a g e s ,   an d   te x t   in   o n e  f ile   [ 1 7 ] .   G o o g le  C o lab o r ato r y   s e r v es  as  a  p latf o r m   f o r   r u n n in g   an d   s h ar in g   ea s ily   r ep licab le  an d   m o d i f iab le   co d e,   it  is   also   w id ely   u tili ze d   in   m ac h in e   lear n in g   r esear c h .   Hu g g in g   F ac e  tr an s f o r m er s   lib r ar y   is   an   o p en - s o u r ce   lib r ar y   t h at  p r o v id es  a  co m p r eh e n s iv e,   latest  tr an s f o r m er   ar ch itectu r e  t h r o u g h   a  u n if ied   API   [ 1 8 ]   to   s u p p o r t  a  r an g e  o f   m ac h i n e  lear n in g   task s .   W e  th en   ev alu ate  b o th   o u r   b ilin g u al  u n id ir ec ti o n al  m o d els  b ased   on  th e  s ac r eBLE U   s co r es  m etr ic;  an   en h an ce d   v er s io n   o f   th e  B L E U  m etr ic  d esig n ed   to   ad d r ess   th e  in co n s is ten cy   in   r ep o r tin g   s c o r es   f r o m   th e  B L E U  m etr ic.   T h e  m ain   d if f e r en ce   b etwe e n   s ac r eBLE U   an d   B L E U  is   th at  s ac r eBLE U   p r o v id es  a  s tan d a r d ized   way   o f   co m p u tin g   B L E U   s co r es,  m ak in g   it   ea s ier   to   co m p ar e  s co r es a cr o s s   d if f er e n t p ap er s   [ 1 9 ] .       T ab le  2 .   Par allel  s en ten ce   ex a m p les f r o m   th e   tr ain   s u b s et   Id   Te x t   La b e l   Eq u i v a l e n t   t r a n sl a t i o n   i n   E n g l i s h   0   H o b i   b a n g e t   n g a p a i n ?   se l f i e ,   s a m a   m a i n a n   h p   w k w k   b e l a j a r  j u g a   si h   t a p i   g a k   k e ser i n g a n   b g t   w k w   h t t p : / / a sk. f m / a / c 0 d m q f l l   H o b i   d o m a   m a n g u a ?   s e l f i e ,   r a p   m a r   h p   wkw k   m a rsi a j a r  j u o   s i h   t a i   i n d a   n a   j o t j o t   t u   w k w   h t t p : / / a sk . f m / a / c 0 d m q f l l   Y o u   re a l l y   l i k e   d o i n g   i t   w h a t   a re   y o u   d o i n g ?   s e l f i e ,   a n d   p l a y i n g   w i t h   m y   p h o n e   w k w k   a n d   s t u d y i n g   t o o   b u t   n o t   t h a t   f re q u e n t l y   t h o u g h   w k w   h t t p : / / a sk. f m / a / c 0 d m q f l l   1   T h a n k s ,   b a b e s ,   f o r   c o m i n g   @ FN H a z i q a h _   @ Ft i n At i g h a h   @ _ _ _ szr.  b a j u   d h   s a n t e k   m a i   p o si n g   h a n c o q ?   # H a s n o l A n i s S o l e m n i z a t i o n   Ma u l i a t e   b a b e s  f o r   c o m i n g   @ FN H a z i q a h _   @ Ft i n At i g h a h   @ _ _ _ szr.  p a h e a n   n u n g g a   b a g a k   d o n g a n   p o s i n g   h a n c o q ?   # H a s n o l A n i s S o l e m n i z a t i o n   T h a n k s ,   b a b e s,   f o r   c o m i n g   @ F N H a z i q a h _   @ Ft i n At i g h a h   @ _ _ _ sz r.  m y   c l o t h e s   w e r e   so   g o o d   w h e n   I   w a n t e d   t o   p o se ,   t h e y   g o t   ru i n e d ?   # H a s n o l A n i s S o l e m n i za t i o n   2   L u m a y a n   n y a m a n ,   c u m a   a c   k u r a n g   d i n g i n   d a n   k e b e rs i h a n   p e r l u   d i t i n g k a t k a n   Me n a k   d o   n i a n ,   a l a i   a c   d a n g   n g a l i   j a l a   h a i s o n   p o rl u   d i t i n g k a t h o n   I t ' s  q u i t e   c o m f o rt a b l e ,   b u t   t h e   a c   i s n ' t   c o l d   e n o u g h   a n d   t h e   c l e a n l i n e ss  n e e d s  t o   b e   i m p r o v e d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       B a ta k  To b a   la n g u a g e - I n d o n es ia n   ma ch in e   tr a n s la tio n   w ith   tr a n s fer lea r n in g   u s in g   n o   …  ( C ev in   S a mu el)   837   T ab le  3 .   Par allel  s en ten ce   ex a m p les f r o m   th e   test   s u b s et   Id   Te x t   La b e l   Eq u i v a l e n t   t r a n sl a t i o n   i n   E n g l i s h   0   Re c e p t i o n i st   k u ra n g   r a m a h ,   l i f t   k o t o r   d a n   b a u ,   a i r   k a m a r  m a n d i   k u r a n g   l a n c a r  t a p i   a i r  p a n a s  d a ri   sh o w e r  m a n t a b ,   k e b e rsi h a n   b a n t a l   d a n   s p r e i   p e r l u   d i e v a l u a si   l a g i .   Am a t   d i s a y a n g k a n   p o t e n s i   y g   s a n g a t   b a i k   t i d a k   d i d u k u n g   p r o f e si o n a l i sm e   S D M  n y a ,   f u n g s i   k o n t r o l n y a   p e r l u   d i t i n g k a t k a n   Re v e p s i o n i s  h u r a n g   r a m a ,   l i f t   d u rs u n   ra p   b a u ,   a e k   k a m a r   m a r i d i   h u r a n g   l a n c a r  t a i   a e k   m i l a s  n g e n   p a c c u r   m a n t a b ,   k a i a sa n   b a t t a l   ra p   s i p e re  p o r l u   d i e v a l u a s i   b u se.   a m a n a   d i s a y a n g k o n   p o t e n s i   n a   sa t t a k   b u r j u   i n d a   d i d u k u n g   p r o f e si o n a l i sm e   S D M  n a ,   f u n g si   k o n t r o l n a   p o r l u   d i   t i n g k a t k o n   T h e   r e c e p t i o n i st   i s   n o t   f r i e n d l y ,   t h e   e l e v a t o r   i s  d i r t y   a n d   s mel l y ,   t h e   b a t h r o o m   w a t e r   i s   n o t   smo o t h   b u t   t h e   h o t   w a t e r   f r o m   t h e   s h o w e r   i s   g o o d ,   t h e   c l e a n l i n e ss  o f   p i l l o w s  a n d   b e d   l i n e n   n e e d s  t o   b e   e v a l u a t e d   a g a i n .   I t   i s  a   p i t y   t h a t   t h e   e x c e l l e n t   p o t e n t i a l   i s   n o t   su p p o r t e d   b y   t h e   p r o f e ssi o n a l i sm  o f   i t s   h u m a n   r e so u r c e s ,   t h e   c o n t r o l   f u n c t i o n   n e e d s  t o   b e   i mp r o v e d   1   Bi a r   p u l p e n   i t u   m e n j a d i   k e n a n g a n   d a n   i n g a t a n   b a h w a   s a y a   p e rn a h   d a t a n g   u n t u k   b e r t a m u   d a n   b e r c e r i t a   h i n g g a   m e n u l i s.  s e n y u m   y a n g   t i d a k   a k a n   p e r n a h   h i l a n g   d a n   t a w a   y a n g   s e l a l u   a k a n   sa y a   i n g a t ,   t e r i m a   k a si h .   m a r i   k i t a   m e n u t u p   h a l   i t u   d e n g a n   l a g u   i n i :   [U RL]   An s o   p u l p e n   i   m a n j a d i   k e n a n g a n   r a p   i n g o t a n   b a h w a   a u   u j u n g   r o   g i o t   m a rt a m u   r a p   m a rc a r i t o   sa m p e   m a n u l i s,  m i k i m   n a   i n d a   n a k k a n   u n j u n g   m a g o   r a p   t a t a   n a   sa l a l u   a u   i n g o t ,   t a r i m o   k a s i h .   m a r i   h i t a   m a n u t u p   h a l   i  ra p   l a g u   o n :   [U RL]   Le t   t h a t   p e n   b e   a   mem o r y   a n d   a   r e mi n d e r   t h a t   I   o n c e   c a me   t o   v i si t   a n d   t e l l   st o r i e s  t o   w r i t e .   a   s mi l e   t h a t   w i l l   n e v e r   d i sa p p e a r   a n d   a   l a u g h   t h a t   I   w i l l   a l w a y s  r e mem b e r ,   t h a n k   y o u .   l e t 's  c l o se   i t   w i t h   t h i s   s o n g :   [ U R L]   2   K a r t o s o e w i ry o   i t u   b e r a g a m a   d a n   m a u   b u n u h   S o e k a r n o .   Y a n g   b u n u h   S a y y i d i n a   Al i   k e t i k a   s o l a t   s u b u h   i t u   seo r a n g   H a f i d z   Q u r a n ,   I b n u   Mu l j a m .   S a m p a i   d i s i n i   s u d a h   j e l a s  b e l u m ,   b r o ?   [U RL]   K a r t o s o e w i ry o   m a r a g a m a   ra p   g i o t   m a m b u n u h   so e k a rn o . n a   m a m b u n u h   sa y y i d i n a   A l i   h a t i a   su m b a y a n g   s u b u h   i   seo r a n g   H a f i d z  Q u ra n ,   i b n u   m u l j a m .   sa m p e   d i s o n   m a d u n g   j e l a s  sa n g a   n a p e d o ,   b r o ?   [U RL]   K a r t o s o e w i r y o   w a s  r e l i g i o u s  a n d   w a n t e d   t o   k i l l   S o e k a r n o .   Th e   o n e   w h o   k i l l e d   S a y y i d i n a   A l i   d u r i n g   t h e   d a w n   p r a y e r   w a s  a   Q u r a n   H a f i d z ,   I b n   M u l j a m .   I s  i t   c l e a r   y e t ,   b r o ?   [ U R L]       4.   RE SU L T S AN D  D I SCU SS I O N   4 . 1 .     Z er o - s ho t   c a pa bil it ies o f   NL L B - 200   W e  f ir s t  as s es s ed   th e  b aselin e  p er f o r m an ce   o f   th e  NL L B - 2 0 0   m o d el  with o u t  an y   tr ain in g .   T h is   in v o lv ed   m ea s u r in g   its   e v alu a tio n   lo s s   an d   s ac r eBLE U   s co r es  o n   t h e  test   s u b s et  i n   T a b le  4 ,   f o llo wed   b y   a n   ev alu atio n   o f   its   ze r o - s h o t  tr a n s latio n   ca p ab ilit ies  f o r   b b c→ in d   an d   i n d →b b c  la n g u a g e  p a ir s   ( T ab les  5   an d   6 )   Ou r   f in d in g s   u p o n   lo o k i n g   at  th e  lo w  s ac r eBLE U   s co r es  ( 0 . 0   to   1 2 . 4 4 )   an d   c o d e - m ix ed   tr an s latio n s   ( E n g lis h /en g   in s tead   o f   b b c )   in   T ab les  5   an d   6   in d icate   th at  em p lo y in g   a  p r e - tr ain e d   lan g u a g e  m o d el,   p ar ticu lar ly   th e  NL L B - 2 0 0   m o d el,   is   n o t  a  u s ab le  s tr ateg y   f o r   ze r o - s h o t  tr an s latio n   in   th e  ca s e  o f   n ew,   u n s ee n   lan g u ag e.   T h e y   also   h ig h lig h t  th at  th e   ab s en ce   o f   b b c   lab els  in   th e  NL L B - 2 0 0   m o d el   p o s es  a  ch allen g e,   ca u s in g   th e   m o d el  to   d ef au lt   to   e n g   wh en   b b c   is   n o t  r e co g n ized   as  a   lab el  o p tio n   i n   th e   s o u r ce /tar g et  lan g u ag e.   E v en   w h en   b b c  is   s et  as a n   o p tio n ,   th e  m o d el  f ails   to   r ec o g n ize  it a n d   d ef au lts   to   en g .   C o n s eq u en tly ,   in   th e  b b c→in d   d ir ec tio n ,   wh e r e  th e  s o u r ce   s en ten ce s   ar e  f illed   with   u n r ec o g n ized   en g   tex t   ( wh ic h   is   ac tu ally   i n   b b c) ,   th ey   ca n n o t  alig n   wi th   th e   in d   co r p u s ,   ca u s in g   th e  m ajo r ity   o f   t h e   p r ed ictio n s   to   r em ai n   in   b b c   ( T ab le  5 ) .   O n   th e  o th e r   h a n d ,   in   th e  i n d →b b c  d ir ec tio n ,   wh er e  b b c  is   n o t  r ec o g n ized   as  a  tar g et  lab el,   t h e  task   b ec o m es  in d →en g   d i r ec tio n ,   r esu ltin g   in   all  p r ed ic tio n s   b ein g   in   en g   ( T ab le  6 ) .   T h ese  f i n d in g s   a r e  i n   lin e  with   [ 2 0 ] ,   wh er e   it  is   n o ted   th at  wh ile  lar g e   p r e - tr ain e d   lan g u ag e  m o d els  ca n   g en er ate  co r r ec t  tr an s latio n s   in   ze r o - s h o t  s ce n ar io s ,   th e y   ar e  also   p r o n e  to   p r o d u ci n g   tr an s latio n s   in   t h e  wr o n g   lan g u ag e .     4 . 2 .     T ra ini ng   W e  lev er ag e  th e  NL L B - 2 0 0   m o d el  f o r   b b c↔in d   tr an s latio n   t h r o u g h   tr an s f e r   lear n in g .   Fro m   T ab le  4 ,   we  ca n   d ep ict  f r o m   th e  h i g h   e v alu atio n   lo s s   as  well  as  th e  l o w  s ac r eBLE U   s co r es  th at  th e  NL L B - 2 0 0   m o d el   n ee d s   f u r th e r   tu n in g   o r   a d j u s tm en ts   to   ac h iev e  o p tim a l  p er f o r m an ce .   Her e,   we  d etail  th e  s elec ted   h y p er p ar am eter s   an d   th eir   ju s t if icatio n s   d u r in g   tr ain in g :   i)   B atch   s ize   W e  em p lo y   an   in itial  b atch   s ize  o f   4   f o r   th e  tr ain in g   s u b s et  an d   1 6   f o r   th e  test   s u b s et.   T h ese  v alu es  ar e  ch o s e n   b ased   o n   th e  av ai lab le  GPU  m em o r y   o n   th e  em p lo y ed   p latf o r m   ( NVI DI A  T esla  T 4   3 2   GB ) .   Sm aller   b atch   s izes  allo w  f o r   m o r e  f r e q u en t  p a r am eter   u p d ates  d u r in g   tr ain in g ,   p o te n tially   lead in g   to   f aster   co n v er g en ce .   Ho we v er ,   e x ce s s iv ely   s m all  b atch es  ca n   also   in cr ea s e  tr ain in g   tim e  d u e  to   th e  o v er h ea d   ass o ciate d   with   p r o ce s s in g   in d iv id u al  b atch es.  T h e  ch o s en   b atch   s izes  r ep r esen t  a  co m p r o m is e  b etwe en   th ese  co n s id er atio n s ,   allo win g   f o r   ef f icien t  u tili za tio n   o f   th e   a v ailab le  m em o r y   wh ile  m ai n tain in g   r ea s o n ab le  tr ain i n g   s p ee d .   ii)   Op tim izer   W e  ap p ly   th e  Ad a m W   ( Ad a m   with   weig h t  d ec a y   [ 2 1 ] )   o p tim izer   with   s p ec if ic  h y p er p ar am eter s :  1 = 0 . 9 ,   2 = 0 . 999 ,   = 10 − 8 ,    ℎ _   = 0 . 3 .   Ad am W   is   a  wid ely   u s ed   o p tim izer   in   d ee p   lear n in g   k n o wn   f o r   its   ef f icien cy   an d   s tab ilit y   in   h an d lin g   lar g e  m o d els.  T h e  ch o s en   h y p er p a r am et er   v alu es  ar e  b ased   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :   834 - 8 4 3   838   o n   b est  p r ac tices  an d   e m p ir ica l  f in d in g s   f r o m   p r ev io u s   s tu d i es  o n   f in e - tu n in g   p r e - tr ain e d   m o d els  f o r   m ac h in e   tr an s latio n   task s .   iii)   W eig h t d ec ay   W e  ap p ly   weig h t  d ec ay   to   all  p ar am ete r s   ex ce p t   th e   b ias  a n d   L a y er No r m   weig h ts   with   a  v alu e   o f   0 . 3 .   T h is   tech n iq u e   h elp s   in   p r ev en tin g   o v e r f itti n g   b y   p e n al izin g   lar g e  p ar am eter   v alu es  d u r in g   tr ai n in g .   T h e   ch o s en   v alu e   b alan ce s   th e   n e ed   f o r   r eg u lar izatio n   t o   av o id   o v er f itti n g   an d   th e  n ee d   to   a llo w  th e  m o d el  to   lear n   ef f ec tiv ely .   iv )   L ea r n in g   r ate  s ch ed u ler   W e  ad o p t   a  lin ea r   lear n in g   r ate  s ch ed u ler   with   a  war m u p   p h ase  ( Fig u r e  1 ) ,   as  im p lem en ted   in   [ 2 2 ] .  T h e  in itial  lear n in g   r ate  is   s et   to   5 × 10 − 5 .   T h e  war m u p   p h ase  last s   f o r   8 2 5   s tep s ,   wh er e  th e   lear n in g   r at e   in cr ea s es  lin ea r ly   f r o m   0   to   5 × 10 − 5 .   Fo r   th e  r em ain in g   s tep s   ( 7 , 4 2 5 ) ,   th e  lear n in g   r ate  lin ea r ly   d ec r ea s es   f r o m   5 × 10 − 5   to   0 .   T h is   ap p r o ac h   all o ws  th e  m o d el  to   in itially   ex p lo r e  th e  p ar am eter   s p ac e  m o r e  f r ee ly ,   f o llo wed   b y   a  g r ad u al  d ec r ea s e  in   th e  lear n in g   r ate  to   f in e - tu n e  th e  p ar a m eter s   f o r   o p tim al  p er f o r m an ce .   v)   Mix ed   p r ec is io n   tr ai n in g   T o  o p tim ize  tr ain in g   ef f icien c y   an d   r e d u ce   m em o r y   u s ag e ,   we  em p lo y   m ix ed   p r ec is io n   tr ain in g   with   FP 1 6   as  im p lem en ted   in   th e  F air s eq   lib r ar y   [ 2 3 ] .   T h is   tech n iq u e  allo w s   th e  m o d el  to   p e r f o r m   co m p u tatio n s   u s in g   a  lo wer   p r ec is io n   f o r m a t  ( 1 6 - b it)  wh ile  m ain tain in g   th e  g r ad ien ts   in   a  h ig h er   p r ec is io n   f o r m at  ( 3 2 - b it) .   T h is   ap p r o ac h   r ed u ce s   m em o r y   u s ag e  with o u t  r ed u ci n g   th e  m o d el' s   ac cu r ac y .   v i)   T o tal  tr ain in g   tim e   T h e  tr ain in g   p r o ce s s   to o k   a p p r o x im ately   1   h o u r ,   5 1   m in u tes   f o r   th e   b b c→in d   d ir ec tio n ,   an d   2   h o u r s ,   2 1   m i n u tes  f o r   th e   in d →b b c  d ir ec tio n .   T h ese  d u r atio n s   ar e   i n f lu en ce d   b y   f ac t o r s   lik e  t h e  d ataset  s ize,   ch o s en   h y p er p ar am eter s ,   an d   av ailab l e  h ar d war e  r eso u r ce s .   T h e  tr ai n in g   lo s s   an d   s ac r eBLE U   u   s c o r es  g r ap h s   f o r   o u r   two   tr ain in g s   ar e  p r esen ted   in   Fig u r e  2 ,  esp ec ially   in   Fig u r e s   2 ( a)   a n d   ( b ) .       T ab le  4 .   E v alu atio n   lo s s   an d   s ac r eBLE U   s co r es o f   th e  m o d e l o n   th e  test   s u b s et  b ef o r e  tr ain in g   D i r e c t i o n   Ev a l u a t i o n   l o ss (l o w e r   i s  b e t t e r )   S a c r e B LEU   ( h i g h e r   i s  b e t t e r )   b b c → i n d   7 . 9 5   1 1 . 4 3   i n d → b b c   8 . 3 7   5 . 0 2       T ab le  5 .   E v alu atio n   o f   ze r o - s h o t c ap ab ilit y   in   b b c→in d   d ir ec tio n   No   S o u r c e   Ta r g e t   P r e d i c t i o n   S a c r e B LEU   ( h i g h e r   i s   b e t t e r )   Eq u i v a l e n t   t r a n s l a t i o n   o f   t a r g e t   i n   En g l i s h   1   Ad o n g   n a   b o i   h u   u r u p i ?   Ad a   y a n g   b i s a   a k u   b a n t u ?   Ap a k a h   An d a   t a k u t   d e n g a n   o rg a n i s a si ?   8 . 1 2   I s  t h e r e   a n y t h i n g   I   c a n   h e l p   y o u   w i t h ?   2   U b a t   n i   s u d e   s a h i t   r o h a   n a   so n a n g .   O b a t   s e g a l a   p e n y a k i t   a d a l a h   h a t i   y a n g   g e m b i r a .   U b a t   a d a l a h   b a g i a n   sel a t a n   d a r i   s a h i t   ro h a   d a n   so n a n g .   4 . 9 9   Th e   c u r e   f o r   a l l   d i s e a se s  i s   a   j o y f u l   h e a r t .   3   T e ra t u r   m a n g a n   d o h o t   c u k u p   p a rm o d o m   m u   d a h ,   a sa   u n a n g   m a rs a h i t   b e   m u se.   Ma k a n   t e r a t u r  d a n   i st i ra h a t   y a n g   c u k u p   y a ,   b i a r  g a   s a k i t   l a g i .   T e ra t u r   m a n g a n   d o h o t   c u k u p   p a rm o d o m   m u   d a h ,   a sa   u n a n g   m a rs a h i t   m e n j a d i   m u s e .   3 . 7 4   Ea t   r e g u l a r l y   a n d   g e t   e n o u g h   r e st ,   so   y o u   d o n 't   g e t   si c k   a g a i n .   4   J o l m a   n a   t a r b e r e n g   so n a n g   d i j o l o n i   n a t o ro p ,   d a n g   t e n t u   j o l m a   n a so   a d o n g   m a s a l a h n a ,   a l a i   i m a   j o l m a   n a   t a n g i s   d i s i h a b u n i a n .   O ra n g   y a n g   b a h a g i a   d i   d e p a n   o r a n g   b a n y a k ,   b u k a n l a h   o r a n g   y a n g   t i d a k   p u n y a   m a s a l a h ,   t e t a p i   d i a l a h   o ra n g   y a n g   m e n a n g i s   d i k a l a   o r a n g   t i d a k   a d a .   J o l m a   d a n   t a r b e r e n g   so n a n g   d i j o l o n i   n a t o ro p ,   d a n g   t e n t u   j o l m a   n a so   a d o n g   m a s a l a h n a ,   a l a i   i m a   j o l m a   d a n   t a n g i s   d i s i h a b u n i a n .   1 . 9 8   Th e   p e r s o n   w h o   i s   h a p p y   i n   f r o n t   o f   p e o p l e   i s  n o t   t h e   o n e   w h o   h a s  n o   p r o b l e ms,  b u t   h e   i s   t h e   o n e   w h o   c r i e s   w h e n   p e o p l e   a r e   n o t   a r o u n d .   5   Al e   T u h a n ,   l e a n   m a   h a s a b a r o n   t u   k e l u a rg a   n a   d i b a g a s  p a rm a r a a n .   Al a n a   t a k k a s  d o   h u b o t o   n a m i ,   s u d e   n a   m a r h o sa   d o h o t   n a   m a n g g u l m i t   d i   p o r t i b i   o n   t o   s a a t   t u j o l o M u   d o   u j u n g n a .   An g g i a t   m a   H o   a l e   J a h o w a   m a n j a l o   t o d d i   n i   k e l u a rg a   n a m i   o n ,   sa h a t   ro   d i   t a n g a n Mu   m a   i b a n a ,   j a l a   p a h u d d u l   m a   i   d i   i n g a n a n   n a   so n a n g .   Y a   T u h a n ,   t a b a h k a n l a h   k e l u a rg a   y a n g   s e d a n g   d i l a n d a   m u si b a h .   K a r e n a ,   se m u a   m a k h l u k   d i   d u n i a   p a s t i   a k a n   a d a   sa a t n y a   m e n e m u i   S a n g   P e n c i p t a .   S e m o g a   En g k a u   m e n e r i m a   a rw a h   s a u d a ra   k a m i   d e n g a n   t a n g a n M u   y a n g   t e r b u k a   l e b a r   m e n y a m b u t n y a   d a n   m e n e m p a t k a n n y a   d i   t e m p a t   y a n g   t e ri n d a h .   Y a   T u h a n ,   l e a n   m a   h a s a b a r o n   t u   k e l u a rg a   d a n   d i b a g a s   p a r m a r a a n .   Al a n a   t a k k a s  d o   h u b o t o   d e n g a n k u ,   sel a t a n   d a n   m a rh o s a   d o h o t   d a n   m a n g g u l m i t   d i   p o r t i b i   p a d a   s a a t   i t u   a k u   p e rg i   k e   m u   a k h i rn a .   A n g g i a t   m a   h o   a l e   j e h o v a   d a n   k e l u a r g a   k u   p a d a   sa a t   i n i ,   s a h a t   k a m i   b e r a d a   d i   t a n g a n M u   d a n   i b a n a ,   j a l a   p a h u d d u l   d a n   d i   s i n i   s a m a   d e n g a n   so n a n g .   3 . 1 0   O   G o d ,   b e   s t r o n g   f o r   t h e   f a mi l y   t h a t   i s   b e i n g   h i t   b y   d i sas t e r .   B e c a u s e ,   a l l   c r e a t u r e s  i n   t h e   w o r l d   w i l l   d e f i n i t e l y   h a v e   t h e i r   t i m e   t o   mee t   t h e   C r e a t o r .   M a y   Y o u   a c c e p t   o u r   b r o t h e r 's  sp i r i t   w i t h   Y o u r   a r ms  w i d e   o p e n   t o   w e l c o me   h i m   a n d   p l a c e   h i m   i n   t h e   mo st   b e a u t i f u l   p l a c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       B a ta k  To b a   la n g u a g e - I n d o n es ia n   ma ch in e   tr a n s la tio n   w ith   tr a n s fer lea r n in g   u s in g   n o   …  ( C ev in   S a mu el)   839   T ab le  6 .   E v alu atio n   o f   ze r o - s h o t c ap ab ilit y   in   in d →b b c  d ir ec tio n   No   S o u r c e   Ta r g e t   P r e d i c t i o n   S a c r e B LEU   ( h i g h e r   i s   b e t t e r )   Eq u i v a l e n t   t r a n sl a t i o n   o f   t a r g e t   i n   E n g l i sh   1   T u ru n   d i s i n i   l a h   k i t a .   T u ru n   d i s o n   m a   h i t a .   G e t   d o w n   h e r e .   1 2 . 4 4   G e t   d o w n   h e r e .   2   I n i   p e n g a l a m a n   p e r t a m a k u .   O n   m a   p e n g a l a m a n k u   n a   p a r j o l o .   Th i s  i s  m y   f i r st   e x p e r i e n c e .   8 . 1 2   Th i s   i s  my   f i r st   e x p e r i e n c e .   3   J i k a   k a m u   p e r g i ,   h a t i k u   a k a n   p e r g i   b e rsa m a m u .   Mo l o   l a o   h o ,   ro h a k k u   d o h o t   m a i   l a o .   I f   y o u   g o ,   my   h e a r t   w i l l   g o   w i t h   y o u .   4 . 4 6   I f   y o u   g o ,   my   h e a r t   w i l l   g o   w i t h   y o u .   4   K e t i k a   m e n g h a d a p i   m a s a l a h   a p a p u n   d a l a m   k e h i d u p a n   i n i   m a k a   t e r i m a l a h   d e n g a n   h a t i   y a n g   s a b a r  d a n   i m a n   y a n g   k u a t .   Ba h e n m a   d i ri m u   s o n g o n   l a u t   n a l u a s ,   m a n a n g   s o n g o n   d i a   p e   m a s a l a h   n a r o h   t u n g o l u m u ,   j a l o   m a   d o h o t   ro h a   n a s e re p   d o h o t   i m a n   n a   g o g o .   N / A   0 . 0   W h e n   f a c i n g   a n y   p r o b l e m  i n   l i f e ,   a c c e p t   i t   w i t h   a   p a t i e n t   h e a r t   a n d   st r o n g   f a i t h .   5   Bi a r l a h   o r a n g   l a i n   m e m u j i   e n g k a u   d a n   b u k a n   m u l u t m u ,   o ra n g   y a n g   t i d a k   k a u   k e n a l   d a n   b u k a n   b i b i rm u   s e n d i ri .   Ba t u   a d a l a h   b e r a t   d a n   p a si r   p u n   a d a   b e r a t n y a ,   t e t a p i   l e b i h   b e ra t   d a r i   k e d u a - d u a n y a   a d a l a h   s a k i t   h a t i   t e r h a d a p   o r a n g   b o d o h .   H a l a k   n a   a si n g   t a g o n a n   m a m u j i   h o ,   u n a n g   t u n g   p a m a n g a n m u   sa n d i r i ,   h a l a k   si l e b a n   t a g o n a n ,   u n a n g   b i b i rm u   s a n d i ri .   D o k d o k   d o   b a t u ,   j a l a   b o r a t   h o rsi k ,   a l a i   d u m o k d o k   s i a n   d u a n sa   d o   a n g g o   h a m u r h i n g o n   n i   h a l a k   n a   o t o .   Le t   a n o t h e r   p r a i se   t h e e ,   a n d   n o t   t h y   mo u t h ;   a   s t r a n g e r ,   a n d   n o t   t h y   o w n   l i p s.  Th e   st o n e   i s   h e a v y ,   a n d   t h e   san d   h e a v y ;   b u t   mo r e   t h a n   t h e s e   i s   t h e   so r r o w   o f   t h e   f o o l.   1 . 3 7   Le t   a n o t h e r   p r a i s e   t h e e ,   a n d   n o t   t h y   m o u t h ;   a   st r a n g e r ,   a n d   n o t   t h y   o w n   l i p s.  T h e   st o n e   i s   h e a v y ,   a n d   t h e   sa n d   h e a v y ;   b u t   m o r e   t h a n   t h e se   i s   t h e   s o r r o w   o f   t h e   f o o l .   6   J a m a n   d a h u l u   h i d u p l a h   seo r a n g   ra j a   y a n g   Be rn a m a   Ra j a   R a h a t   y a n g   b e rk u a s a   d i   S a m o si r .   R a j a   Ra h a t   a d a l a h   ra j a   y a n g   d i k e n a l   r a k y a t n y a   seb a g a i   ra j a   y a n g   b i j a k s a n a   d a n   a d i l .   Pa r a   ra k y a t n y a   p u n   sen a n g   m e m i l i k i   r a j a   se p e r t i   Ra j a   R a h a t .   R a j a   Ra h a t   j u g a   m e m i l i k i   p e rm a i s u ri   y a n g   b a i k   h a t i   d a n   m e m i l i k i   a n a k   sa t u   y a n g   b e r i   n a m a   Ma n g g a l e .   N a   j o l o   a d o n g   m a   r a j a   n a   m a rg o a r  R a j a   Ra h a t   n a   m a rh u t a   i   S a m o si r .   R a j a   Ra h a t t a k k a s   d o   i   t a n d a   a k k a   ra i a t n a   r a j a   n a b i s u k   j a l a   n a t i g o r.  S o n a n g   d o   a k k a   ra i a t n a   m a n g i d a   ra j a   R a h a t   o n .   R a j a   Ra h a t   o n   m a n g a ri h o n   p a r so n d u k   b o l o n   n a   t o n g   m a r b a s a   ro h a   j a l a   m a n g a ri h o n   s a d a   i a n a k h o n   n a   m a r g o a r   M a n g g a l e .   N / A   0 . 0   Lo n g   a g o   t h e r e   l i v e d   a   k i n g   n a m e d   K i n g   R a h a t   w h o   r u l e d   i n   S a m o si r .   K i n g   R a h a t   w a s   k n o w n   b y   h i s  p e o p l e   a s  a   w i se   a n d   j u st   k i n g .   H i s   p e o p l e   w e r e   h a p p y   t o   h a v e   a   k i n g   l i k e   K i n g   R a h a t .   K i n g   R a h a t   a l so   h a d   a   q u e e n   w h o   w a s   k i n d   a n d   h a d   o n e   c h i l d   n a m e d   M a n g g a l e .           Fig u r e  1 .   L ea r n in g   r ate  s ch ed u le  with   war m u p   p h ase  f o r   t r ain in g   th e  NL L B - 2 0 0   m o d el  o n   th e  b b c↔in d   d ataset       4 . 3 .     Resul t s   I n   Fig u r e  2 ,   we  illu s tr ate  th e   r esu lts   ac h iev ed   b y   tr ain in g   th e  NL L B - 2 0 0   m o d el  o n   L R L s   p ar allel  co r p o r a  f o r   b o t h   in d →b b c  an d   b b c→in d   lan g u a g e  d ir ec tio n s .   Ou r   an aly s is   o f   th ese  f in d in g s   s u g g ests   th at  lev er ag in g   L R L s   p ar allel  co r p o r a  f o r   p r e - tr ain ed   lan g u ag e   m o d el  tr ain in g   is   a  p r o m is in g   ap p r o ac h ,   e v en   f o r   s ce n ar io s   in v o lv in g   n ew,   u n s ee n   lan g u ag es,  Fig u r e  2 ( a)   s h o ws  T r ain in g   lo s s   an d   Fig u r e  2 ( b )   s h o ws  s ac r eBLE U   s co r es.  T h is   ap p r o ac h   ca n   allev iate  th e   lim itatio n s   ass o ciate d   with   th e  s ca r ci ty   o f   d ata  in   L R L s .   I n   co m p ar is o n   to   th e  s ac r eBLE U   s co r es  o f   th e  m o d el  b ef o r e  tr ain in g   ( T ab le  4 ) ,   th e  m o d el  d em o n s tr ated   a   s ig n if ican t  im p r o v em en t,   ac h i ev in g   s ac r eBLE U   s co r es  o f   u p   to   3 7 . 1 0   ( + 2 5 . 6 7 ,   u p   f r o m   1 1 . 4 3 )   in   b b c→in d   an d   3 0 . 8 4   ( +2 5 . 8 2 ,   u p   f r o m   5 . 0 2 )   in   i n d →b b c.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :   834 - 8 4 3   840     ( a)     ( b )     Fig u r e  2 .   Mo d el  af ter   tr ai n in g   in   in d →b b c  a n d   b b c→in d   d ir e ctio n s   ( lo wer   tr ain in g   lo s s   is   b etter ,   h ig h er   s ac r eBLE U   s co r e  is   b etter )   o f   ( a)   T r ain in g   lo s s   an d   ( b )   s ac r e B L E U   s co r es       T h e  r esu lts   d em o n s tr ate  th at  NL L B - 2 0 0   is   s u ited   to   p r o d u cin g   h ig h - q u al ity   tr a n s latio n s ,   ev en   f o r   a  n ew  an d   u n s ee n   L R L s   p air .   T h is   ca p ab ilit y   is   d em o n s tr ated   b y   its   p r o f icien cy   in   tr ain i n g   with   o n ly   6 , 6 0 0   p ar allel  s en ten ce s   f r o m   th e  t r ain in g   s u b s et,   wh ich   wer e  p r ev io u s ly   n ew  an d   u n s ee n   b y   th e  m o d el  b e f o r e   tr ain in g .   Fo r   m o r e  e x am p les,  we  ca n   co m p ar e  th e  s ac r eBL E U   s co r es  o n   th e  test   s u b s et  in   T ab les  5   an d   6 .   Af ter   th e  t r ain in g   in   T ab les  7   an d   8 ,   th e   im p r o v em e n t  in   s ac r eBLE U   s co r es  r an g es  f r o m   +0 . 6 3   ( Par allel   s en ten ce   ex am p le  n o .   2   o f   T a b les  6   a n d   8 )   u p   to   +4 6 . 7 8   p o in ts   ( Par allel   s en ten ce   e x am p l e  n o .   3   o f   T a b les  6   an d   8 ) .       T ab le  7 .   E v alu atio n   o f   th e  m o d el  af ter   tr ain in g   in   b b c→in d   d ir ec tio n   No   S o u r c e   Ta r g e t   P r e d i c t i o n   S a c r e B LEU   ( h i g h e r   i s   b e t t e r )   Eq u i v a l e n t   t r a n s l a t i o n   o f   t a r g e t   i n   En g l i s h   1   Ad o n g   n a   b o i   h u   u r u p i ?   Ad a   y a n g   b i s a   a k u   b a n t u ?   Ad a   y a n g   b i s a   s a y a   b a n t u ?   3 7 . 9 9   I s  t h e r e   a n y t h i n g   I   c a n   h e l p   y o u   w i t h ?   2   U b a t   n i   s u d e   sa h i t   r o h a   n a   so n a n g .   O b a t   s e g a l a   p e n y a k i t   a d a l a h   h a t i   y a n g   g e m b i ra .   O b a t   sem u a   s a k i t   h a t i   y g   b a h a g i a .   6 . 7 7   Th e   c u r e   f o r   a l l   d i s e a se s  i s  a   j o y f u l   h e a r t .   3   T e ra t u r   m a n g a n   d o h o t   c u k u p   p a rm o d o m   m u   d a h ,   a sa   u n a n g   m a rsa h i t   b e   m u se .   Ma k a n   t e r a t u r   d a n   i st i ra h a t   y a n g   c u k u p   y a ,   b i a r   g a   s a k i t   l a g i .   T e ra t u r   m a k a n   d a n   c u k u p   t i d u r   y a ,   b i a r   g a   s a k i t   l a g i .   5 0 . 5 2   Ea t   r e g u l a r l y   a n d   g e t   e n o u g h   r e s t ,   so   y o u   d o n ' t   g e t   si c k   a g a i n .   4   J o l m a   n a   t a r b e r e n g   so n a n g   d i j o l o n i   n a t o r o p ,   d a n g   t e n t u   j o l m a   n a s o   a d o n g   m a s a l a h n a ,   a l a i   i m a   j o l m a   n a   t a n g i s   d i s i h a b u n i a n .   O ra n g   y a n g   b a h a g i a   d i   d e p a n   o ra n g   b a n y a k ,   b u k a n l a h   o r a n g   y a n g   t i d a k   p u n y a   m a s a l a h ,   t e t a p i   d i a l a h   o r a n g   y a n g   m e n a n g i s   d i k a l a   o r a n g   t i d a k   a d a .   O ra n g   y a n g   t e r l i h a t   b a h a g i a   d i   k a m p u n g   h a l a m a n ,   b u k a n   t e n t u   o r a n g   y a n g   t i d a k   p u n y a   m a sa l a h ,   t a p i   a d a l a h   o r a n g   y a n g   m e n a n g i s  d i se b u a h   ru m a h .   2 8 . 6 3   Th e   p e r so n   w h o   i s   h a p p y   i n   f r o n t   o f   p e o p l e   i s n o t   t h e   o n e   w h o   h a s   n o   p r o b l e ms,   b u t   h e   i s   t h e   o n e   w h o   c r i e s   w h e n   p e o p l e   a r e   n o t   a r o u n d .   5   Al e   T u h a n ,   l e a n   m a   h a s a b a r o n   t u   k e l u a rg a   n a   d i b a g a s   p a rm a ra a n .   Al a n a   t a k k a s  d o   h u b o t o   n a m i ,   s u d e   n a   m a r h o s a   d o h o t   n a   m a n g g u l m i t   d i   p o r t i b i   o n   t o   s a a t   t u j o l o M u   d o   u j u n g n a .   An g g i a t   m a   H o   a l e   J a h o w a   m a n j a l o   t o d d i   n i   k e l u a rg a   n a m i   o n ,   sa h a t   ro   d i   t a n g a n M u   m a   i b a n a ,   j a l a   p a h u d d u l   m a   i   d i   i n g a n a n   n a   so n a n g .   Y a   T u h a n ,   t a b a h k a n l a h   k e l u a rg a   y a n g   se d a n g   d i l a n d a   m u s i b a h .   K a re n a ,   semu a   m a k h l u k   d i   d u n i a   p a s t i   a k a n   a d a   s a a t n y a   m e n e m u i   S a n g   Pe n c i p t a .   S e m o g a   E n g k a u   m e n e r i m a   a rw a h   s a u d a ra   k a m i   d e n g a n   t a n g a n M u   y a n g   t e r b u k a   l e b a r   m e n y a m b u t n y a   d a n   m e n e m p a t k a n n y a   d i   t e m p a t   y a n g   t e ri n d a h .   Y a   T u h a n ,   b e ri l a h   k e s a b a ra n   k e p a d a   k e l u a rg a   y a n g   b e r a d a   d i   d a l a m   su r g a .   K a r e n a   k a m i   p a st i   t a h u ,   b a h w a   sem u a   y a n g   b e rd o s a   d a n   m e n g i k h l a s k a n   d i r i   d i   d u n i a   i n i   a k a n   d a t a n g   m e n j e l a n g Mu   p a d a   a k h i rn y a .   S e m o g a   En g k a u   t e t a p i   j u g a   Y a   Al l a h   m e n e ri m a   se l u ru h   k e l u a rg a   k a m i ,   sa m p a i   m e rek a   sa m p a i   d i   t a n g a n M u ,   d a n   m e n d u d u k k a n   m e re k a   d i   t e m p a t   y a n g   m e n y e n a n g k a n .   7 . 4 6   O   G o d ,   b e   s t r o n g   f o r   t h e   f a mi l y   t h a t   i s   b e i n g   h i t   b y   d i sas t e r .   B e c a u s e ,   a l l   c r e a t u r e s   i n   t h e   w o r l d   w i l l   d e f i n i t e l y   h a v e   t h e i r   t i me  t o   mee t   t h e   C r e a t o r .   M a y   Y o u   a c c e p t   o u r   b r o t h e r 's  s p i r i t   w i t h   Y o u r   a r ms   w i d e   o p e n   t o   w e l c o me   h i m   a n d   p l a c e   h i m   i n   t h e   m o st   b e a u t i f u l   p l a c e .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       B a ta k  To b a   la n g u a g e - I n d o n es ia n   ma ch in e   tr a n s la tio n   w ith   tr a n s fer lea r n in g   u s in g   n o   …  ( C ev in   S a mu el)   841   T ab le  8 .   E v alu atio n   o f   th e  m o d el  af ter   tr ain in g   in   in d →b b c  d ir ec tio n   No   S o u r c e   Ta r g e t   P r e d i c t i o n   S a c r e B LEU   ( h i g h e r   i s   b e t t e r )   Eq u i v a l e n t   t r a n sl a t i o n   o f   Ta r g e t   i n   E n g l i s h   1   T u ru n   d i s i n i   l a h   k i t a .   T u ru n   d i s o n   m a   h i t a .   T u ru n   t u s o n   m a   h i t a .   4 2 . 7 3   G e t   d o w n   h e r e .   2   I n i   p e n g a l a m a n   p e r t a m a k u .   O n   m a   p e n g a l a m a n k u   n a   p a r j o l o .   o n   p e n g a l a m a n   p e rt a m a   k u .   8 . 7 5   Th i s   i s   m y   f i r st   e x p e r i e n c e .   3   J i k a   k a m u   p e r g i ,   h a t i k u   a k a n   p e r g i   b e r sa m a m u .   Mo l o   l a o   h o ,   r o h a k k u   d o h o t   m a i   l a o .   Mo l o   l a o   h o ,   r o h a k u   l a h o   ra p   d o h o t   h o .   2 9 . 0 7   I f   y o u   g o ,   m y   h e a r t   w i l l   g o   w i t h   y o u .   4   K e t i k a   m e n g h a d a p i   m a sa l a h   a p a p u n   d a l a m   k e h i d u p a n   i n i   m a k a   t e ri m a l a h   d e n g a n   h a t i   y a n g   s a b a r  d a n   i m a n   y a n g   k u a t .   Ba h e n m a   d i r i m u   so n g o n   l a u t   n a l u a s,   m a n a n g   so n g o n   d i a   p e   m a s a l a h   n a r o h   t u n g o l u m u ,   j a l o   m a   d o h o t   ro h a   n a ser e p   d o h o t   i m a n   n a   g o g o .   H a t i a   m a n g a d o p i   m a sa l a h   a h a   p e   d a l a m   h i d u p   o n   m a k a   t e ri m a   m a   ra p   h a t i   n a   s a b a r   r a p   i m a n   n a   g o g o .   1 1 . 2 9   W h e n   f a c i n g   a n y   p r o b l e m  i n   l i f e ,   a c c e p t   i t   w i t h   a   p a t i e n t   h e a r t   a n d   s t r o n g   f a i t h .   5   Bi a r l a h   o r a n g   l a i n   m e m u j i   e n g k a u   d a n   b u k a n   m u l u t m u ,   o ra n g   y a n g   t i d a k   k a u   k e n a l   d a n   b u k a n   b i b i rm u   se n d i r i .   B a t u   a d a l a h   b e ra t   d a n   p a si r   p u n   a d a   b e r a t n y a ,   t e t a p i   l e b i h   b e ra t   d a r i   k e d u a - d u a n y a   a d a l a h   s a k i t   h a t i   t e r h a d a p   o r a n g   b o d o h .   H a l a k   n a   a s i n g   t a g o n a n   m a m u j i   h o ,   u n a n g   t u n g   p a m a n g a n m u   s a n d i ri ,   h a l a k   si l e b a n   t a g o n a n ,   u n a n g   b i b i rm u   s a n d i ri .   D o k d o k   d o   b a t u ,   j a l a   b o ra t   h o rs i k ,   a l a i   d u m o k d o k   si a n   d u a n s a   d o   a n g g o   h a m u r h i n g o n   n i   h a l a k   n a   o t o .   Asa   d i   p u j i   h o   j o l m a   n a   a si n g   j a l a   d a n g   d i   su n g k u n   m u ,   j o l m a   n a   d a n g   d i   b o t o   h o   j a l a   d a n g   d i   b i b i rm u   s a n d i r i .   B a t u   n a   b o r a t   j a l a   p a s i r  p e   a d o n g   b o r a t n a ,   a l a i   l o b i   b o r a t   si a n   n a d u a - d u a   i   i m a   h a t c i t   r o h a   t u   j o l m a   o t o .   5 . 4 4   Le t   a n o t h e r   p r a i s e   t h e e ,   a n d   n o t   t h y   mo u t h ;   a   s t r a n g e r ,   a n d   n o t   t h y   o w n   l i p s .   Th e   st o n e   i s  h e a v y ,   a n d   t h e   san d   h e a v y ;   b u t   m o r e   t h a n   t h e se   i s  t h e   so r r o w   o f   t h e   f o o l .   6   J a m a n   d a h u l u   h i d u p l a h   seo r a n g   ra j a   y a n g   Be rn a m a   Ra j a   Ra h a t   y a n g   b e r k u a s a   d i   S a m o s i r.  R a j a   Ra h a t   a d a l a h   r a j a   y a n g   d i k e n a l   ra k y a t n y a   se b a g a i   ra j a   y a n g   b i j a k s a n a   d a n   a d i l .   Pa r a   r a k y a t n y a   p u n   sen a n g   m e m i l i k i   r a j a   sep e rt i   R a j a   R a h a t .   R a j a   Ra h a t   j u g a   m e m i l i k i   p e rm a i s u ri   y a n g   b a i k   h a t i   d a n   m e m i l i k i   a n a k   s a t u   y a n g   b e ri   n a m a   M a n g g a l e .   N a   j o l o   a d o n g   m a   r a j a   n a   m a rg o a r  R a j a   R a h a t   n a   m a rh u t a   i   S a m o s i r.  R a j a   Ra h a t t a k k a s  d o   i   t a n d a   a k k a   ra i a t n a   r a j a   n a b i s u k   j a l a   n a t i g o r .   S o n a n g   d o   a k k a   r a i a t n a   m a n g i d a   r a j a   Ra h a t   o n .   R a j a   R a h a t   o n   m a n g a ri h o n   p a rs o n d u k   b o l o n   n a   t o n g   m a r b a s a   ro h a   j a l a   m a n g a r i h o n   s a d a   i a n a k h o n   n a   m a r g o a r   Ma n g g a l e .   Z a m a n   n a j o l o   m a n g o l u   m a   sa d a   r a j a   n a   m a r g o a r   Ra j a   R a h a t   n a   m a rk u a sa   d i   S a m o si r.   R a j a   Ra h a t   i m a   ra j a   n a   d i   b o t o   ra k y a t n a   s e b a g a i   r a j a   n a   b i j a k   j a l a   a d i l .   Pa ra   ra k y a t n a   p e   s o n a n g   p u n a   ra j a   so n g o n   Ra j a   R a h a t .   Ra j a   Ra h a t   p e   p u n a   p e rm a i s u ri   n a   b u r j u   r o h a   j a l a   p u n a   a n a k   sa d a   n a   m a n g a l e a n   g o a r   Ma n g g a l e .   1 5 . 1 2   Lo n g   a g o   t h e r e   l i v e d   a   k i n g   n a m e d   K i n g   R a h a t   w h o   r u l e d   i n   S a mo s i r .   K i n g   R a h a t   w a s  k n o w n   b y   h i s   p e o p l e   a s  a   w i se   a n d   j u s t   k i n g .   H i s   p e o p l e   w e r e   h a p p y   t o   h a v e   a   k i n g   l i k e   K i n g   R a h a t .   K i n g   R a h a t   a l s o   h a d   a   q u e e n   w h o   w a s  k i n d   a n d   h a d   o n e   c h i l d   n a m e d   M a n g g a l e .       4 . 4 .     B enchm a r k ing   o ur  re s ults a g a ins t   prio r  s t a t e - of - t he - ar t   B a t a k   T o ba - I nd o nes ia n t ra ns la t io n   On e  o f   o u r   m o s t  im p o r tan t  a ch iev em en ts   is   th at,   in   co m p ar is o n   to   p r ev io u s   s tu d ies  o n   b b c↔in d   m ac h in e  tr a n s latio n ,   s p ec if ica lly   r ef er e n cin g   [ 1 4 ] ,   [ 2 4 ] ,   o u r   ap p r o ac h   ac h iev es  th e  b est  r esu lt  in   s ac r eBLE U   s co r es.  As  s ee n   in   T ab le  9 ,   o u r   m o d els  h av e  a  s ac r eBLE U   o f   i)   3 7 . 1 0   f o r   b b c→in d   an d   ii)  3 0 . 8 4   f o r   in d →b b c;  b o t h   ar e  h ig h er   co m p ar ed   to   [ 1 4 ] ’ s   s ac r eBLE U   o f   i)   2 0 . 9 4   f o r   b b c→in d   an d   ii )   1 8 . 4 1   f o r   in d →b b c ;   [ 2 4 ] ’ s   s ac r eBLE U   o f   i)   2 0 . 4 8   f o r   b b c→in d   an d   ii)  1 8 . 4 1   f o r   in d →b b c.   I t ’ s   wo r th   n o t in g   th at  wh ile  [ 2 4 ]   em p lo y ed   th e   s am e  b aselin e   m o d el  as  o u r s   t h e  NL L B - 2 0 0 ’ s   d is till ed   6 0 0 M   v ar ia n t  m o d el   in   o n e   o f   th eir   ex p er im en ts ,   th e y   d i d n ’ t  i n tr o d u ce   it  to   th e  b b c↔in d   lan g u ag e  p air .   T h is   lim itatio n   ar is e s   f r o m   th e   f ac t  th at   th e  NL L B - 2 0 0   m o d el  is   n o t  tr ain ed   o n   t h e  b b c↔in d   lan g u ag e  p air   [ 9 ] ,   wh ich   is   p r ec is e ly   th e  f o cu s   o f   o u r   wo r k .   T o   v iew  th e  r esu lts   as  liv e  m o d els,  ac ce s s   th ese:  in d →b b c  [ 2 5 ] ,   b b c→in d   [ 2 6 ] .   T h e  co d e  in clu d in g   th e   im p lem en tatio n   d etails ca n   b e  f o u n d   at  [ 1 2 ] .       T ab le  9 .   C o m p a r is o n   o f   o u r   m o d el  in   b b c↔in d   with   p r ev io u s   s tu d ies   S t u d y   b b c → i n d   S a c r e B LEU   ( h i g h e r   i s   b e t t e r )   i n d → b b c   S a c r e B LEU   ( h i g h e r   i s   b e t t e r )   Th e   b a se l i n e   mo d e l   u se d   w h i c h   a c h i e v e s   t h e   h i g h e st   S a c r e B LEU   ( b b c → i n d )   Th e   b a se l i n e   mo d e l   u se d   w h i c h   a c h i e v e s   t h e   h i g h e st   S a c r e B LEU   ( i n d → b b c )   [ 1 4 ]   2 0 . 9 4   1 8 . 4 1   P B S M T   I n d o B A R T v 2   [ 2 4 ]   2 0 . 4 8   1 8 . 4 1   mT5   I n d o B A R T v 2   O u r s   3 7 . 1 0   3 0 . 8 4   N LLB - 200   N LLB - 200       5.   CO NCLU SI O N   B ased   o n   o u r   f in d in g s ,   u s in g   a  lar g e  p r e - tr ai n ed   lan g u ag e  m o d el  lik e  th e  NL L B - 2 0 0   as  a  b aselin e   p r o v es  to   b e  ef f ec tiv e  f o r   L R L s   tr an s latio n ,   s p ec if icall y   f o r   b b c↔in d   p air s ,   ev e n   f o r   en tire ly   u n s ee n   lan g u ag es.  Fo r   ex am p le,   s o m e  o f   o u r   ev alu atio n s   s h o w  im p r e s s iv e  g ain s   in   s ac r eBLE U   s co r es,  r ea ch in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :   834 - 8 4 3   842   +4 6 . 7 8   ( b b c→in d )   an d   + 3 0 . 2 9   ( in d →b b c ) .   Ho wev er ,   tr a n s latin g   to /f r o m   en tire ly   u n s ee n   lan g u ag es  in   ze r o - s h o t  s ettin g s   r ev ea led   a  cr u cial  lim itatio n   o f   th e  NL L B - 2 0 0   m o d el:  g e n er atin g   c o r r ec t   tr an s latio n s   in   th e  wr o n g   lan g u ag e.   W h ile  p r e - tr ain ed   m o d els  h o ld   p r o m is e  f o r   ze r o - s h o t  tr an s latio n ,   ch allen g es  r em ain ,   esp ec ially   f o r   u n s ee n   lan g u ag es  an d   d o m ain s .   Fu r th er   r esear ch   is   n ec ess ar y   to   o v er co m e  th ese  h u r d les  an d   en h an ce   p r e - tr ain e d   m o d el  ef f ec tiv en ess   in   ze r o - s h o t tr a n s latio n .       RE F E R E NC E S   [ 1 ]   U N E S C O   W A L ,   “ B a t a k   T o b a , ”   U N E S C O .   A c c e s s e d :   F e b .   2 5 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / e n . w a l . u n e s c o . o r g / l a n g u a g e s / b a t a k - t o b a   [ 2 ]   H .   V .   S ,   S u mars i h ,   a n d   R .   H u se i n ,   “ T o b a   B a t a k   l a n g u a g e   s h i f t   i n   R a n t a u   S e l a t a n , ”   i n   Pro c e e d i n g s  o f   T h e   4 t h   An n u a l   I n t e r n a t i o n a l   S e m i n a r  o n   T ra n s f o rm a t i v e   E d u c a t i o n   a n d   Ed u c a t i o n a l   L e a d e rs h i p   ( AI S T E EL) ,   M e d a n :   EPr i n t s,   2 0 1 9 .     [ 3 ]   E.   S i n a m b e l a   a n d   L .   L.   H u t a g a o l ,   “ I d i o m a t i c   t r a n s l a t i o n   o f   u m p a s a   i n   d e l i v e r i n g   u l o s   i n   T o b a   B a t a k   w e d d i n g   c e r e m o n y , ”   Ex p l o ra ,   v o l .   9 ,   n o .   1 ,   p p .   6 7 – 8 7 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 5 1 6 2 2 / e x p l o r a . v 9 i 1 . 1 2 4 3 .   [ 4 ]   J.  G u ,   H .   H a ssa n ,   J .   D e v l i n ,   a n d   V .   O .   K .   L i ,   “ U n i v e r sa l   n e u r a l   ma c h i n e   t r a n s l a t i o n   f o r   e x t r e me l y   l o w   r e s o u r c e   l a n g u a g e s, ”   i n   Pro c e e d i n g s  o f   t h e   2 0 1 8   C o n f e re n c e   o f   t h e   N o r t h   Am e r i c a n   C h a p t e r  o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s,   V o l u m e   1   ( L o n g   Pa p e rs) ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o mp u t a t i o n a l   Li n g u i s t i c s,  2 0 1 8 ,   p p .   3 4 4 – 3 5 4 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 8 - 1 0 3 2 .   [ 5 ]   R .   S e n n r i c h   a n d   B .   Zh a n g ,   “ R e v i s i t i n g   l o w - r e s o u r c e   n e u r a l   mac h i n e   t r a n sl a t i o n :   a   c a s e   s t u d y , ”   i n   Pr o c e e d i n g s   o f   t h e   5 7 t h   A n n u a l   Me e t i n g   o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o mp u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 9 ,   p p .   2 1 1 – 2 2 1 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / P 1 9 - 1 0 2 1 .   [ 6 ]   M .   Ta r s ,   T.   P u r a so n ,   a n d   A .   Tä t t a r ,   “ Te a c h i n g   u n s e e n   l o w - r e s o u r c e   l a n g u a g e s   t o   l a r g e   t r a n sl a t i o n   mo d e l s, ”   i n   P ro c e e d i n g s   o f   t h e   S e v e n t h   C o n f e r e n c e   o n   Ma c h i n e   T ra n s l a t i o n   ( WM T ) ,   A b u   D h a b i ,   U n i t e d   A r a b   Emi r a t e s :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   Li n g u i s t i c s,  2 0 2 2 ,   p p .   3 7 5 – 3 8 0 .   [ 7 ]   M .   Ta r s,  A .   Tä t t a r ,   a n d   M .   F i še l ,   “ Ex t r e me l y   l o w - r e so u r c e   ma c h i n e   t r a n s l a t i o n   f o r   c l o sel y   r e l a t e d   l a n g u a g e s , ”   i n   Pro c e e d i n g s  o f   t h e   2 3 rd   N o r d i c   C o n f e re n c e   o n   C o m p u t a t i o n a l   L i n g u i s t i c s  ( N o D a L i D a ) ,   R e y k j a v i k ,   I c e l a n d :   Li n k ö p i n g   U n i v e r si t y   E l e c t r o n i c   P r e ss,  S w e d e n ,   2 0 2 1 ,   p p .   4 1 – 52 .   [ 8 ]   T.   K o c mi   a n d   O .   B o j a r ,   “ Tr i v i a l   t r a n sf e r   l e a r n i n g   f o r   l o w - r e s o u r c e   n e u r a l   m a c h i n e   t r a n sl a t i o n , ”   i n   Pr o c e e d i n g s  o f   t h e   T h i rd   C o n f e re n c e   o n   M a c h i n e   T r a n s l a t i o n :   Re se a rc h   Pa p e rs ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 1 8 ,   p p .   2 4 4 – 2 5 2 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 8 - 6 3 2 5 .   [ 9 ]   N LLB   T e a m  e t   a l . ,   “ N o   l a n g u a g e   l e f t   b e h i n d :   sc a l i n g   h u ma n - c e n t e r e d   mac h i n e   t r a n sl a t i o n , ”   Ju l .   2 0 2 2 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 2 0 7 . 0 4 6 7 2   [ 1 0 ]   A .   F a n   e t   a l . ,   “ B e y o n d   E n g l i sh - c e n t r i c   mu l t i l i n g u a l   m a c h i n e   t r a n sl a t i o n , ”   J o u r n a l   o f   M a c h i n e   L e a rn i n g   R e se a rc h ,   v o l .   2 2 ,   p p .   1 – 4 8 ,   2 0 2 1 .   [ 1 1 ]   H .   W a n g ,   S .   M a ,   L.   D o n g ,   S .   H u a n g ,   D .   Z h a n g ,   a n d   F .   W e i ,   “ D e e p N e t :   sca l i n g   t r a n sf o r mers   t o   1 , 0 0 0   La y e r s, ”   i n     I E EE   T ra n s a c t i o n s  o n   P a t t e r n   A n a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   2 0 2 4 ,   p p .   1 – 14 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 2 4 . 3 3 8 6 9 2 7 .   [ 1 2 ]   G i t H u b ,   “ B a t a k   T o b a   l a n g u a g e - I n d o n e si a n   mac h i n e   t r a n sl a t i o n   w i t h   t r a n sf e r   l e a r n i n g   u s i n g   N o   La n g u a g e   Le f t   B e h i n d , ”   G i t H u b ,   I n c .   A c c e sse d :   F e b .   2 5 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / g i t h u b . c o m/ c a f f e i n e e e e / b a t a k _ t o b a _ i n d o n e si a n _ n mt   [ 1 3 ]   H u g g i n g   F a c e ,   “ D a t a s e t s :   i n d o n l p / n u s a t r a n s l a t i o n _ m t , ”   H u g g i n g   F a c e .   A c c e ss e d :   F e b .   2 4 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / h u g g i n g f a c e . c o / d a t a s e t s / i n d o n l p / n u sat r a n s l a t i o n _ m t   [ 1 4 ]   G .   I .   W i n a t a   e t   a l . ,   “ N u s a X :   mu l t i l i n g u a l   p a r a l l e l   s e n t i me n t   d a t a set   f o r   1 0   I n d o n e s i a n   l o c a l   l a n g u a g e s , ”   i n   Pr o c e e d i n g s o f   t h e   1 7 t h   C o n f e re n c e   o f   t h e   E u r o p e a n   C h a p t e r   o f   t h e   Asso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s ,   S t r o u d sb u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,  2 0 2 3 ,   p p .   8 1 5 – 8 3 4 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 3 . e a c l - mai n . 5 7 .   [ 1 5 ]   A .   P u r w a r i a n t i   a n d   I .   A .   P .   A .   C r i s d a y a n t i ,   “ I mp r o v i n g   B i - LSTM   p e r f o r m a n c e   f o r   I n d o n e si a n   s e n t i me n t   a n a l y s i s  u s i n g   p a r a g r a p h   v e c t o r , ”   i n   2 0 1 9   I n t e rn a t i o n a l   C o n f e r e n c e   o f   A d v a n c e d   I n f o rm a t i c s:   C o n c e p t s ,   T h e o ry   a n d   A p p l i c a t i o n s  ( I C AI C T A) ,   I EEE,   S e p .   2 0 1 9 ,   p p .   1 – 5 .   d o i :   1 0 . 1 1 0 9 / I C A I C TA . 2 0 1 9 . 8 9 0 4 1 9 9 .   [ 1 6 ]   B .   W i l i e   e t   a l . ,   “ I n d o N L U :   b e n c h m a r k   a n d   r e s o u r c e s   f o r   e v a l u a t i n g   I n d o n e s i a n   n a t u r a l   l a n g u a g e   u n d e r s t a n d i n g , ”   i n   P r o c e e d i n g s   o f   t h e   1 s t   C o n f e r e n c e   o f   t h e   A s i a - P a c i f i c   C h a p t e r   o f   t h e   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s   a n d   t h e   1 0 t h   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   N a t u r a l   L a n g u a g e   P r o c e s s i n g ,   S u z h o u ,   C h i n a :   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 0 ,   p p .   8 4 3 – 8 5 7 .    [ 1 7 ]   L.   C .   T i mp e ,   “ A n   o n l i n e   G o o g l e   C o l a b   p r o j e c t   f o r   e x p l o r i n g   t h e   S A R S   C o V - 2   g e n o m e   a n d   mRNA   v a c c i n e s, ”   Bi o c h e m i s t ry   a n d   Mo l e c u l a r   Bi o l o g y   E d u c a t i o n ,   v o l .   5 1 ,   n o .   2 ,   p p .   2 0 9 – 2 1 1 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 2 / b mb . 2 1 7 1 1 .   [ 1 8 ]   T.   W o l f   e t   a l . ,   “ Tr a n sf o r m e r s:   s t a t e - of - t h e - a r t   n a t u r a l   l a n g u a g e   p r o c e ssi n g , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 2 0   C o n f e re n c e   o n   Em p i r i c a l   Me t h o d s  i n   N a t u ra l   L a n g u a g e   Pr o c e ssi n g :   S y s t e m   D e m o n s t ra t i o n s ,   S t r o u d s b u r g ,   P A ,   U S A :   A ss o c i a t i o n   f o r   C o m p u t a t i o n a l   Li n g u i s t i c s,  2 0 2 0 ,   p p .   3 8 – 4 5 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . e m n l p - d e m o s. 6 .   [ 1 9 ]   M .   P o s t ,   “ A   c a l l   f o r   c l a r i t y   i n   r e p o r t i n g   B L E U   s c o r e s , ”   i n   P r o c e e d i n g s   o f   t h e   T h i r d   C o n f e r e n c e   o n   M a c h i n e   T r a n s l a t i o n :   R e s e a r c h   P a p e r s ,   S t r o u d s b u r g ,   P A ,   U S A :   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 8 ,   p p .   1 8 6 – 1 9 1 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 8 - 6 3 1 9 .   [ 2 0 ]   K .   G u p t a ,   “ M A L M :   mi x i n g   a u g m e n t e d   l a n g u a g e   m o d e l i n g   f o r   z e r o - sh o t   m a c h i n e   t r a n s l a t i o n , ”   i n   Pr o c e e d i n g s   o f   t h e   2 n d   I n t e r n a t i o n a l   W o rks h o p   o n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g   f o r   D i g i t a l   H u m a n i t i e s ,   T a i p e i ,   Ta i w a n :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   Li n g u i s t i c s,  2 0 2 2 ,   p p .   5 3 – 58 .   [ 2 1 ]   I .   Lo sh c h i l o v   a n d   F .   H u t t e r ,   “ D e c o u p l e d   w e i g h t   d e c a y   r e g u l a r i z a t i o n , ”   N o v .   2 0 1 7 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 1 7 1 1 . 0 5 1 0 1 .   [ 2 2 ]   E.   A .   P l a t a n i o s,   O .   S t r e t c u ,   G .   N e u b i g ,   B .   P o c z o s,  a n d   T.   M .   M i t c h e l l ,   “ C o m p e t e n c e - b a se d   c u r r i c u l u m   l e a r n i n g   f o r   n e u r a l   mac h i n e   t r a n sl a t i o n , ”   M a r .   2 0 1 9 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 1 9 0 3 . 0 9 8 4 8   [ 2 3 ]   S .   S a msi ,   M .   J o n e s,   a n d   M .   M .   V e i l l e t t e ,   “ C o m p u t e ,   t i me  a n d   e n e r g y   c h a r a c t e r i z a t i o n   o f   e n c o d e r - d e c o d e r   n e t w o r k s  w i t h   a u t o m a t i c   m i x e d   p r e c i si o n   t r a i n i n g , ”   i n   2 0 2 0   I EE E  H i g h   P e rf o rm a n c e   Ex t re m e   C o m p u t i n g   C o n f e r e n c e   ( H PE C ) ,   I EEE,   S e p .   2 0 2 0 ,   p p .   1 – 6 .   d o i :   1 0 . 1 1 0 9 / H P E C 4 3 6 7 4 . 2 0 2 0 . 9 2 8 6 2 4 1 .   [ 2 4 ]   W .   W o n g s o ,   A .   J o y o a d i k u su mo ,   B .   S .   B u a n a ,   a n d   D .   S u h a r t o n o ,   “ M a n y - to - man y   mu l t i l i n g u a l   t r a n sl a t i o n   mo d e l   f o r   l a n g u a g e s   o f   I n d o n e si a , ”   I EEE   A c c e ss ,   v o l .   1 1 ,   p p .   9 1 3 8 5 – 9 1 3 9 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 3 0 8 8 1 8 .   [ 2 5 ]   C .   S a m u e l ,   “ i n d o n e s i a n _ t o _ b a t a k n e se_ t r a n sl a t i o n _ m o d e l , ”   H u g g i n g   F a c e .   A c c e ss e d :   F e b .   2 4 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / h u g g i n g f a c e . c o / k e p i n sa m/ i nd - to - b b c - n mt - v1   [ 2 6 ]   C .   S a m u e l ,   “ b a t a k n e s e _ t o _ i n d o n e si a n _ t r a n s l a t i o n _ m o d e l , ”   H u g g i n g   F a c e .   A c c e ss e d :   F e b .   2 4 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / h u g g i n g f a c e . c o / k e p i n sa m/ b b c - to - i n d - n m t - v1   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       B a ta k  To b a   la n g u a g e - I n d o n es ia n   ma ch in e   tr a n s la tio n   w ith   tr a n s fer lea r n in g   u s in g   n o   …  ( C ev in   S a mu el)   843   B I O G RAP H I E S O F   AUTH O RS        Ce v in   S a m u e l          is  a n   In f o r m a ti c s  u n d e rg ra d u a te  stu d e n t  fr o m   De p a rtme n t  o f   El e c tri c a l  En g in e e rin g ,   F a c u l ty   o f  En g i n e e rin g ,   Un iv e rsitas   Riau ,   P e k a n b a ru ,   In d o n e sia .   He   is  sk il led   in   f u ll - sta c k   we b   d e v e l o p m e n t  a n d   h a s  a   re se a rc h   in tere st  in   d e e p   lea rn in g ,   p a rti c u larly   lan g u a g e   m o d e ls.  He   c a n   b e   c o n tac ted   a t  e m a il :  c e v in . sa m u e l3 7 7 8 @s t u d e n t. u n ri. a c . i d   a n d   c e v in . sa m u e l@y a h o o . c o m .         Ir sa n   Ta u fi k   Ali          is  a   lec tu re r  a t  th e   De p a rtme n t  o f  E lec tri c a l  En g i n e e rin g ,   F a c u lt y   o f  E n g i n e e rin g ,   Un i v e rsitas   Riau ,   P e k a n b a ru ,  I n d o n e sia .   He   o b tain e d   h is  Do c to ra te  i n   In fo rm a ti c s  fro m   Un i v e rsitas   I n d o n e sia   (UI),   In d o n e sia ,   M a st e r’s  d e g re e   i n   I n fo rm a ti o n   Tec h n o l o g y   fr o m   U n iv e rsitas   G a d jah   M a d a   (UG M ),   In d o n e sia ,   a n d   Ba c h e lo r’s   d e g re e   in   In fo rm a ti c s  fr o m   Un i v e rsitas   Isla m   In d o n e sia   ( UII) ,   I n d o n e sia .   Hi s  re se a rc h   in tere st  i n c lu d e s  m a c h in e   lea rn in g ,   d e e p   lea rn in g ,   a n d   i n fo rm a ti o n   tec h n o l o g y .   He   c a n   b e   c o n tac ted   a t  e m a il :   irsa n . a li @le c tu re r. u n ri. a c . id .       Evaluation Warning : The document was created with Spire.PDF for Python.