I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 ,   pp.   344 ~ 356   I S S N:  2 502 - 4 7 52 ,   DO I 10 . 11591/ i j e e cs .v 3 8 . i 1 . pp 344 - 356             344     Jou r n al  h o m e page ht tp: // ij e e cs . iaes c or e . c om   A  c om p r e h e n si v e  ove r v ie w  of   L L M - b ase d  ap p r oac h e s f or   m ac h in e  t r an sl at io n       B h u van e s war K u m ar 1 ,   Var al a k s h m M u r u ge s a n 2   1 S c h oo of  C o mput e r  S c i e n c e   E ngi n e e r in g a nd I n f o r ma ti o n S y s te ms V e ll or e   I ns ti tu t e   of   T e c hn o l o g y T a mi N a du, I nd ia   2 S c h oo of  C o mput e r  S c i e n c e  a nd E ng in e e r in g, V e ll or e   I ns ti tu t e   of   T e c hn o l o g y T a m il  N a du, I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve J u l   18,   2024   R e vi s e Oc t   21,   2024   A c c e pt e Oc t   30 ,   2024       St at i s t i c al   m a ch i n e   t ran s l at i o n   (SMT u s ed   p aral l e l   co rp o ra  an d   s t at i s t i c al   mo d e l s ,   t o   i d e n t i f y   t ran s l at i o n   p at t e rn s   an d   p ro b ab i l i t i e s .   A l t h o u g h   t h i s   me t h o d   h a d   ad v an t ag e s ,   i t   h a d   t ro u b l e   w i t h   i d i o m at i c   e x p re s s i o n s ,   co n t e x t - s p e c i f i c   s u b t l e t i e s ,   an d   i n t ri c at l i n g u i s t i c   s t ru c t u r e s .   T h e   s u b s e q u en t   i n t ro d u c t i o n   o d ee p   n eu ral   n e t w o r k s   s u c h   as   recu rr e n t   n e u ra l   n e t w o r k s   (RN N s ),   l o n g   s h o rt - t e r m   memo r y   ( L ST Ms ),   t ran s fo rme rs   w i t h   at t e n t i o n   mec h a n i s m s ,   an d   t h e   eme r g e n ce  o l arg l a n g u ag m o d e l   ( L L M)   framew o rk s   h as   m ar k e d   p arad i g m   s h i ft   i n   m a ch i n e   t ran s l at i o n   i n   r e cen t   y e ars   an d   h as   en t i r e l y   r e p l a ced   t h e   t rad i t i o n al   s t at i s t i c al   ap p ro a c h e s .   T h L L Ms   ar e   ab l e   t o   c ap t u re   co m p l e x   l a n g u ag e   p at t e rn s ,   s em an t i c s ,   an d   c o n t e x t   b e c a u s e   t h ey   h av e   b ee n   t rai n ed   o n   e n o r m o u s   v o l u m e s   o f   t e x t   d at a.   O u s t u d y   s u mm ari z e s   t h e   mo s t   s i g n i f i c an t   co n t ri b u t i o n s   i n   t h l i t e rat u r r e l at e d   t o   L L p ro m p t i n g ,   f i n e - t u n i n g ,   r e t ri e v a l   a u g men t ed   g e n e rat i o n ,   i m p ro v e d   t ran s fo rme v ar i an t s   fo fas t e t ran s l at i o n ,   m u l t i l i n g u a l   L L Ms ,   an d   q u a l i t y   e s t i m at i o n   w i t h   L L Ms .   T h i s   n ew   r e s e ar ch   d i r ec t i o n   g u i d e s   t h d ev e l o p men t   o m o r e   e ffi ci e n t   an d   i n n o v at i v e   s o l u t i o n s   t o   ad d r e s s   t h e   c u rr en t   ch al l e n g e s   o L L Ms ,   i n cl u d i n g   h a l l u c i n at i o n s ,   t ran s l at i o n   b i as ,   i n f o rm at i o n   l e a k ag e,   an d   i n a cc u ra cy   d u e   t o   l a n g u ag e   i n co n s i s t e n c i e s .   K e y w o r d s :   L a r ge   l a n gua g e   m o de l s   L o w - r e s o u r c e   l a n gua g e s   M a c hi ne   t r a n s l a t i o n   P r o m pt i n g   Qua l i t y   e s t i m a t i o n   T uni n g   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   Va r a l a k s hm i   M ur uge s a n   S c h o o l   o f   C o m put e r   S c i e n c e   a n E n g i ne e r i ng,   Ve l l o r e   I n s t i t ut e   o f   T e c hn o l o g y   T a m i l   Na du,   I n d i a   E m a i l m va r a l a ks hmi @v i t . a c . i n       1.   I NT RODU C T I ON     A   t e c hni que   t h a us e s   a l go r i t hm s   t t r a n s l a t e   t e x f r o m   o n e   l a n gua g e   to   a n ot h e r   a u to m a t i c a l ly   i s   r e f e r r e to   a s   m a c hi ne   t r a n s l a t i o n   ( M T ) .   E a r l i e r   M T   m o de l s   r e l i e o n   s t a t i s t i c a l   a ppr o a c he s   i m p le m e n t e w i t h   l a r ge   pa r a l l e l   c o r por a   o f   t e x t   [ 1] .   S t a t i s t i c a l   mo de l s   a n i n t r i c a t e   f e a t ur e   e n g i n e e r i n we r e   t h e   f o un da t i o o f   t h e   s t a t i s t i c a l   m a c hi ne   t r a n s l a t i o n   ( S M T )   s y s t e m ,   w hi c h   e m p l o y e s y n t a x - ba s e o r   ph r a s e - ba s e m o de l s   in  t r a n s l a t i n s o ur c e   s e n t e n c e s   i n t t a r ge t   s e n t e n c e s .   S M T   e n s ur e s   t h a t   e v e r y   wo r d   i n   t h e   s o ur c e   s e n t e n c e   i s   t r a n s l a t e i n t a   s e m a n t i c a ll y   r e l e v a n t   t a r ge t   ph r a s e   [ 2] .   T h e   de ve l o p m e n t   o f   t r a n s l a t i o n   r u l e s ,   d i c t i o n a r i e s ,   a n pa r a ll e l   c o r por a   f o r   S M T   s y s t e m s   r e qu i r e a   s i g nif i c a n t   a m o un t   o f   h u m a n   i n t e r ve n t i o n .   I n   S M T ,   a ll   t r a n s l a t i o ns   a r e   di s t i nc t l y   m e m o r i z e d,   whi c h   i n c ludes   r a r e   w o r ds ,   a n e v e r y   wo r i s   t r e a t e a s   a   di s c r e t e   s y m b o l   [ 3] De s p i t e   t h e s e   m e r i t s ,   S M T   s y s t e m s   s t r uggl e to  pr o duc e   f l ue n t   tr a n s l a t i o n s   a n h a n d l e   l o n g - r a n ge   de pe n d e n c i e s .   I n   o r de r   to   o v e r c o m e   t h e   l im i t a t i o n s   o f   S M T ,   n e ur a l   m a c hi ne   t r a n s l a t i o n   ( N M T )   s y s t e m s   e m p l o y   s e que n c e - to - s e que n c e   ( s e q2s e q)   m o de l s   t h a t   a r e   b a s e o n   t h e   e n c o de r - de c o de r   a r c hi t e c t ur e .   T h e   e n c o de r   n e ur a l   ne t wor k   c o n v e r t s   t h e   s o u r c e   s e n t e n c e   i n t a   v e c to r   r e pr e s e n t a t i o n ,   a n t hi s   e n c o de v e c t o r   i s   f e i n t t h e   de c o de r   t h a a ppl i e s   t e a c h e r - f o r c i n t us e   t h e   gr o un t r u t h   i n s t e a o f   pr e vi o us ly   de c o de w o r ds   a n ge n e r a t e s   o n e   wo r a a   t i m e   dur i n t h e   t a r ge tr a n s l a t i o n .   W i t h   t h e   a dve n t   o f   t r a n s f o r m e r s   w i t h   a tt e n t i o Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         A   c ompr e he ns ive   ov e r v ie w   of   L L M - bas e appr oac he s   f or   …  ( B huv ane s w a r K umar )   345   m e c h a ni s m s   [ 4] ,   t h e   m o de l s   t r a i n e w i t h   l a r ge   pa r a l l e l   c o r po r a   l e a r n e to  m a xim i z e   t h e   pr o b a bil i t y   o f   pr o duc i n t h e   c or r e c t   t a r ge t r a n s l a t i o n s   f o r   t h e   g i v e n   s o ur c e   s e n t e n c e .   NM T   m o de l s   l e a r n   f r o m   da t a   di r e c t l to  ge n e r a t e   m o r e   a c c ur a t e   a n c o h e r e n t   t r a n s l a t i o n s   w i t h   a n   i m pr o v e a bil i t y   t m a n a ge   l o n g - d i s t a nc e   de pe n d e n c i e s   [ 5] ,   c a p t ur e   c o n t e x t ua l   i nf o r m a t i o n ,   a n a da pt   to  n e l a n gua g e   pa i r s   o r   d o m a i ns   w he n   f i ne - t un e d.   T h o ugh   a tt e n t i o n   m e c h a ni s m s ,   t r a n s f o r m e r   a r c hi t e c t ur e s ,   a n m u l t i - s o ur c e   NM T   m o de l s   h a ve   s ur pa s s e t r a d i t i o na l   S M T   m e t h o ds   i n   e nh a n c i ng   t h e   qua l i t y   o f   m a c hi ne - t r a n s l a t e da t a ,   t h e y   s t i l s t r uggl e   wi t h   r a r e   w or ds ,   p r ope r   n oun s ,   ou t - of - v oc a b u l a r y   te r m s ,   tr a i ni n g   r e s ou r c e - l i m i t e d   l a n gua ge   pa i r s ,   a n ou t - of - d o m a i n   da ta;   f u r t h e r m or e ,   i i s   c o m pu ta t i o n a l l y   e x pe n s i v e   to  tr a i n   w i t h   l a r ge   d a tas e ts   a n d   d e pl o y   l a r ge r   m ode l s .     L a r ge   l a n gua ge   m o de l s ,   a s   t h e i r   n a m e   s ugge s t s ,   a r e   pr e - tr a i ne t r a n s f o r m e r   m o de l s   t r a i n e o h uge   v o l u m e s   o f   da t a   f o r   v a r i o us   t a s ks   s uc h   a s   t e x s u m m a r i z a t i o n ,   t r a n s l a t i o n ,   que s t i o n   a ns we r i n g,   a nd   s e n t i m e n t   a na l y s i s .   T h e s e   m o de l s   a r e   f ur t h e r   f i ne - t un e o r   pr o m pt - t un e w i t h   s m a ll e r ,   t a s k - s pe c i f i c   da t a s e t s   to   m e e t   t h e   t a i l o r e r e qu i r e m e n t s   o f   s t a ke h o l de r s .   L a n gua ge   m o de l s   h a ve   e v o l ve s u b s t a n t i a ll y   f r o m   r u l e - b a s e s y s t e m s   to   ge n e r a t i v e   a r t i f i c i a l   i n t e ll i ge nc e   ( A I )   m o de l s   l i ke   GPT - 3,   a n bi d i r e c t i o n a l   e n c o de r   r e pr e s e n t a t i o ns   f r o m   t r a n s f o r m e r s   ( B E R T ) .   T h e   a v a il a bil i t y   o f   v o l u mi n o us   da t a ,   i nn o v a t i v e   a r c hi t e c t ur a l   de s i g n s ,   a n t e c hn o l o g i c a l   e nh a n c e m e n t s   e n r i c he f ur t h e r   b r e a kt h r o ugh s   i ge n e r a t i v e   m o de l s .   T h r o ugh   un s up e r vi s e t r a i ni ng  o n   v a s t   a m o un t s   o f   da t a ,   pr e - tr a i n e l a r ge   l a n gu a ge   m o de l s   ( L L M s )   c a n   c a p t ur e   a   wi de   r a n ge   o f   k n o w l e dge ,   i d e n t i f y   t h e   s t a t i s t i c a l   pa t ter n s   a n r e l a t i o ns hi ps   i n   t he   t r a i ni ng  da t a ,   a n i m pr o v e   l a n gua ge   c o m pr e h e n s i o n   to  pr o duc e   h u m a n - l i k e   t e x t .   L L M s   r e duc e   c o m put a t i o n a l   c o s t s   a n r e s o ur c e   r e qu i r e m e n t s   to   ge n e r a t e   m o r e   a c c ur a t e   a n d   c o h e r e n t   tr a n s l a t i o n s .   T h e   r a p i a d v a nc e m e n t   o f   L L M s   ha s   l e to   a   s i g nif i c a n t   pa r a d i g m   s hif t   i n   M T   due   t o   t h e i r   ge ne r a t i o n   c a pa bil i t i e s ,   c o n t e x t ua l   u n de r s t a n d i ng,   f l ue n c y ,   a n d   a c c ur a c y .   L L M s   c a n   r e s ha pe   t h e   M T   r e s e a r c h   by   i n t e gr a t i n w i t h   d if f e r e n t   NL P   a p p l i c a t i o ns ,   s uc h   a s   s u m m a r i z a t i o n   a n que s t i o n - a n s w e r i n g,   e x p l o r i n g   r a r e ,   un s e e n   l a n gua ge s ,   a n m a k i ng  w i d e r   r oo m   f o r   t h e   r e s e a r c h   c o m m u ni t y .   I n   t h e   e f f o r t s   to   a dv a n c e   M T   wi t h   L L M s   [ 6] - [ 11] ,   r e s e a r c h e r s   h a v e   e x p l o r e d   e f f i c i e n t   f i ne - t uni n s t r a t e gi e s ,   pr o m p t i n a ppr o a c h e s ,   m u l t i - li ngua l   m o de l s ,   l o w - r e s o ur c e   s e tt i n g s ,   a nd  d o m a i n   a da pt a t i o n   t e c hni que s   to  ge m o r e   f l ue n t   a n qua l i t y   t r a n s l a t i o n s .   Ga ps   i de n t i f i e -   t h e   e xi s t i n li t e r a t ur e   r e vi e ws   f o c us   o nl y   o n   S M T   a n N M T   t h a i nve s t i ga t e   s e v e r a l   a ppr o a c h e s   f o r   e n ha n c i ng  t r a n s l a t i o n   qua li t y   [ 12] - [ 16]   b ut  t h e y   f a il   t o   a n a l y z e   t h e   n u m e r o us   wo r ks   publi s h e o n   e m p l o y i ng  L L M s   f o r   M T .   S e n s i ng  thi s   s i g nif i c a n t   ga i n   t h e   l i t e r a t ur e   due   to  t h e   a bs e n c e   o f   a   c o m pr e h e ns i ve   s ur ve y   o n   L L M - b a s e M T ,   t hi s   pa pe r   pr e s e n t s   a n   i n - d e pt h   r e vi e o f   t h e   l a t e s t   a ppr oa c he s   in  L L M   t r a n s l a t i o n .   I t   a i m s   t s e r v e   a s   a   p i v o t a l   r e s o ur c e   f o r   r e s e a r c h e r s   s e e k i ng  t de e pe n   t h e i r   u n de r s t a n d i n g   a n k n o w l e dge   i n   t hi s   do m a i n.   T h e   e xh a u s t i ve   s ur v e y   s pe a r h e a d s   d i ve r s e   L L M   r e s e a r c h   do m a i ns   ge a r e to wa r ds   a ddr e s s i n t h e   i nh e r e n t   c h a ll e n ge s   o f   L L M s   i nc l ud i n h a ll uc i na t i o ns ,   tr a n s l a t i o n   bi a s ,   i nc o ns i s t e n c i e s   i n   t h e   l a n gua ge s   t h a i m pa c t   tr a ns l a t i o n   a c c ur a c y ,   a n i nf o r m a t i o n   l e a k a ge   l e a d i ng  to   da t a   s e c ur i t y   b r e a c h e s .   I n   t h e   a pp l i c a t i o n   s i d e ,   t hi s   r e view   i s   o f   gr e a h e l to  t h e   r e s e a r c h   gr o ups   t h a e x pl o r e   t h e   po s s i bil i t i e s   o f   us i n L L M s   f o r   t h e   tr a n s l a t i o n   o f   r e a l   t i m e   c o nv e r s a t i o n   t h a t   s upp o r t s   s e a m l e s s   i n t e r a c t i o a n r e a l   t i m e   t r a n s l a t i o n   o f   s o c i a l   m e d i a   po s t s   i n   m u l t i p l e   l a n gua ge s ,   m u l t il i ngua l   g e n e r a t i o n   o f   s ub t i t l e s ,   c a pt i o ns   a n dubb e a ud i o   f o r   vi de o s   w i t h o u t r a d i ng  o f f   t h e   or i g i na l   e m o t i o ns ,   t r a n s l a t i o n   o f   l i t e r a r y   wo r ks   a n l e ga l   do c u m e n t s   w i t h   hi g h   a c c ur a c y ,   i m pr o ve t r a n s l a t i o n   o f   s i g n   l a n gu a ge   a n s po ke n   l a n gu a ge s   a n d   m u l t i li ngu a l   c h a t b o t   to  i n t e r a c wi t h   c us t o m e r s   i n   th e i r   pr e f e r r e l a n gua ge s .     T hi s   r e vi e pa pe r   pr e s e n t s   a   tot a l   o f   80  e xi s t i ng  s c h o l a r l y   a r t i c l e s   o n   L L M s   f o r   M T ,   publ i s he d   dur i n t h e   pe r i o 2017  to   2024.   T h e   a r t i c l e s   a r e   gr o upe i n t o   f i ve   m a j o r   s e c t i o n s   ba s e o n   t h e i r   ke y   r e s e a r c f o c us   a n c o n tr i b ut i o n s     pi o ne e r i n r e s e a r c h   o n   L L M - b a s e M T ,   L L M   pr o m pt i n g,   L L M   f i ne - t uni n g,   L L M s   f o r   l o w - r e s o u r c e   l a n gu a ge s ,   a n qua l i t y   e s t i m a t i o n   w i t h   L L M .   F i gur e   de p i c t s   h o L L M s   f o r   M T   c a n   b e   c a t e g o r i z e b a s e o n   t h e i r   r e s e a r c h   a r e a s .           F i gur e   1 .   M a j o r   c a t e g o r i e s   i n   t hi s   r e vi e pa pe r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   344 - 356   346   2.   P I ONE E RI NG   RE S E A RC ON  L L M - B ASE M T   2. 1.     S e q u e n c e - to - s e q u e n c e   m od e l s   I n   M T ,   L L M s   a r e   t y p i c a ll y   t r a i n e o n   a   pa r a l l e l   c o r pus   o f   t r a n s l a t i o n   da t a   us i n s e q2 s e q   m o de l s .   S o m e   o f   t h e   e a r l i e s t   a n m o s i nf l ue n t i a l   wo r ks   i n   t hi s   a r e a   i n c l ude   a   c o m pr e h e ns i ve   too l k i t   de s i gn e f o r   s e que n c e   m o de li ng  t a s ks   s uc h   a s   M T ,   a b s t r a c t i v e   do c u m e n t   s u m m a r i z a t i o n ,   s t or y   ge n e r a t i o n ,   e r r or   c o r r e c t i o n ,   a n m u l t il i ngua l   e m be dd i ng s   t h a t   c a n   b e   a pp l i e t r e s e a r c h   s e t t i n g s .   T hi s   too l k i t   h a s   e n a bl e d   r a p i i nf e r e n c e   f o r   n o n - r e c ur r e n t   m o de l s   by   i nc r e a s i ng  pr e d i c t i o n   r a t e s   t h r o ugh   i n c r e m e n t a l   de c o d i n a n d   m o de l   s t a t e   c a c hi ng  [ 17] .   A   tr a n s l a t i o n   m o de l   f o r   l o w - r e s o u r c e   l a n gua ge s   u s e s   a   m u l t il i ngu a l   N M T   m o de l   b a s e o n   tr a n s f e r   l e a r ni ng  to  f i nd  s h a r e pa tt e r n s ,   s tr uc t ur e s ,   a n f e a t ur e s   i n   hi g h - r e s o ur c e   l a n gua g e s .   T hi s   r e s o l v e s   t h e   pr o b l e m   o f   da t a   s c a r c i t y   i s s ue s   i n   l o w - r e s o ur c e   l a n gua ge s   [ 18] .     2. 2.     Non au t or e g r e s s ive  m od e ls   W hil e   s e q2 s e m o de l s   h a v e   b e e n   s uc c e s s f u l   i n   N M T ,   t h e y   s u f f e r   f r o m   s l o i nf e r e n c e   s pe e a s   t h e y   ge n e r a t e   t r a n s l a t i o ns   t o ke n - by - t o ke n .   I n   o r de r   t o   a ddr e s s   t hi s   i s s ue ,   a n   e d i t - b a s e t r a n s f o r m e r   m o de l ,   " E DI T OR ,   wa s   de v e l o pe a n t r a i n e t h r o ugh   r e i nf o r c e m e n t   l e a r ni ng  [ 19] .   T hi s   m o de l   a im s   t o   i m pr o v e   t r a n s l a t i o n   qua l i t y   by   e n a bli ng  s o ur c e   to ke n   r e pos i t i o ni ng  dur i n t r a n s l a t i o n   a n i n c o r por a t i n s o f l e xi c a c o n s t r a i n t s   t a i l o r e to   t h e   us e r ' s   pr e f e r e n c e s ,   whic h   h e l ps   de a l   w i t h   wo r c h o i c e   a n c o m p l e x   r e o r de r i n g   pr o bl e m s .   U nl i k e   c o n s t r a i n e b e a m   s e a r c h   m e t h o ds ,   t hi s   e d i t - b a s e m o de l   a c c e l e r a t e s   de c o d i n c o n s i de r a bl y   by   e na bl i ng  pa r a l l e l   e d i t i n dur i n t h e   de c o di ng  pr o c e s s ,   r e s u l t i n i n   f a s t e r   t r a n s l a t i o n   s pe e ds   wi t h o ut  s a c r i f i c i ng  t r a n s l a t i o n   qua li t y .   T h e   L e v e ns h t e i n   t r a n s f o r m e r   [ 20]   e nh a n c e s   s e qu e n c e   ge n e r a t i o n   by   i nc o r por a t i n i ns e r t i o n   a n de l e t i o n   o pe r a t i o n s .   T hi s   a ppr o a c h   o f f e r s   ve r s a t i l i t y ,   e f f i c i e nc y ,   a n a da pt a bi li t y   i v a r i o us   t a s ks ,   i n c l ud i ng  M T ,   t e x s u m m a r i z a t i o n ,   a n r e f i ne m e n t   pr o c e s s e s .   T h e   m o de l   de m o n s t r a t e s   i t s   a da pt a bi li t y   t h r o ugh   i t s   a bi li t y   t a ppl y   a   M T - t r a i n e L e v e ns h t e i n   tr a n s f o r m e r   d i r e c t l y   t a u to m a t i c   po s t - e d i t i n t a s ks   w i t h o ut   a ny   c h a n ge s .   T h e s e   m o de l s   i n t r o duc e   t e c h ni que s   li ke   i t e r a t i v e   r e f i ne m e n t   a n s e que nc e - l e v e l   d i s t i ll a t i o n   to  e n a bl e   n o n - a ut o r e gr e s s i v e ,   r a p i t r a n s l a t i o n   whil e   m a i n t a i ni ng  hi g h   qua l i t y .     2. 3.     Re t r ieval - au gm e n t e d   m od e l s   R e s e a r c h e r s   e x p l o r e   f uz z y   m a t c hi ng  t e c hni que s   t i de n t i f y   s im il a r   t r a n s l a t i o n s   a n i nc o r p o r a t e   t h e m   i n t o   tr a i ni ng  da t a .   Xu   e al.   [ 21 ]   c o m pa r e s   t h e   r e s u l t s   o f   t h e s e   t e c hni que s   w i t h   a   b a s e li ne   m o de l   t h a t   do e s   n ot   us e   a ug m e n t a t i o n .   F ur t h e r m o r e ,   h e   f o c us e s   o n   a ug m e n t i n m o de l s   by   e x p li c i t ly   r e t r i e vi ng  i nf o r m a t i o n   f r o m   a   t r a n s l a t i o n   m e m o r y   o r   a   da t a b a s e   o f   t r a n s l a t i o e x a m p l e s .   T h e   r e t r i e v e - e d i t - r e r a n f r a m e wo r a i m s   t im pr o v e   t h e   qua l i t y   o f   f i na l   o ut pu t s   i n   t e x t   ge n e r a t i o n   t a s ks .   T hi s   a ppr o a c h   i nv o l ve s   r e t r i e vi ng  po t e n t i a ll y   r e l e v a n t   o u tpu t s   f o r   e a c h   i n put ,   m o d i f yi ng  e a c h   c a n d i da t e   i n d i vi dua ll y ,   a n t h e n   r e r a n k i ng  t he   e d i t e c a n d i da t e s   to  de t e r m i ne   t h e   b e s t   o u t pu b a s e on   po s t - ge n e r a t i o n   r a n k i ng  [ 22] .   T h e   f r a m e wo r k   t r a i n s   a   t r a n s f o r m e r - b a s e s e q2s e e d i t i ng  m o de l   by   c o n c a t e n a t i n t h e   i n put   wi t h   t h e   r e tr i e ve o u t pu t.   T hi s   m e t h o de m o ns t r a t e s   e nh a n c e pe r f o r m a nc e   o n   t e x t   ge n e r a t i o n   w h e n   t e s t e o n   M T   da t a s e t s   a n pa r ti c u l a r l y   im pr o v e s   t r a n s l a t i o n   qua l i t y   f o r   r e s o u r c e - l im i t e l a n gua ge   pa i r s   o r   d o m a i n - s pe c if i c   t e r m i n o l o g y .     2. 4.     M u l t il in gu al   L L M s   R e s e a r c h e r s   e x p l o r e   m u l t il i ngu a l   M T   by   l e ve r a g i n t h e   m a s s i ve ly   m u l t i li ngua l   n a t ur e   o f   s o m e   L L M s   l i ke   m T a n m u l t il i ngu a l   bi d i r e c t i o n a l   a n a uto - r e g r e s s i ve   tr a n s f o r m e r   ( m B A R T ) .   T hi s   a ppr o a c h   a l l o w s   a   s i n g l e   m o de l   to   t r a n s l a t e   b e t we e n   m u l t i p l e   l a n gu a ge   pa i r s .   T h e   m B AR T   m o de l ,   a   s e q2s e q   a r c hi t e c t ur e ,   i s   pr e - t r a i n e o n   e x t e n s i ve   m o n o l in gua l   c o r po r a   i n   v a r i o us   l a n gu a ge s .   I t   us e s   w o r d - s pa m a s k i n a n s e n t e n c e   pe r m ut a t i o n   t e c hni qu e s   to   e nh a nc e   de n o i s i n a n t r a n s l a t i o n   a c c ur a c y   [ 23] .   T f i ne - t un e   t h e   m o de l   f o r   t r a n s l a t i o n   t a s ks ,   r e s e a r c he r s   f e e s o ur c e   s e n t e nc e s   i n t o   a n   e nc o de r   a n de c o de   e a c h   t a r ge s e n t e n c e .   T h e   m o de l 's   pe r f o r m a n c e   i s   e v a l ua t e o n   s e n t e n c e - l e ve l   a n do c u m e n t - l e v e l   M T   t a s ks .   R e c e n t   s t udi e s   o n   M T   s t r i v e   to   e l im i na t e   l a n gua ge   b a r r i e r s   g l o b a ll y .   Ho we ve r ,   de s p i t e   s uc h   e f f o r t s ,   m a ny   r e s o ur c e - li mi t e l a n gua g e s   r e m a i u n de r s e r v e d.   I n   o r de r   to   a ddr e s s   t hi s   c h a ll e n ge ,   r e s e a r c h e r s   a r e   de v e l o p i ng  a   s pa r s e ly   ga t e m i x t ur e   o f   e x p e r c o n d i t i o n a l   m o d e l s   f o r   l o w - r e s o ur c e   l a n gua ge   da t a s e t s .   T h e s e   da tas e t s   a r e   c r e a t e us i n n o v e l   mi n i ng  too l s   [ 24] .   T h e   a ppr o a c h   r e duc e s   t h e   pe r f o r m a n c e   ga b e t we e n   hi g h - r e s o ur c e   a n l o w - r e s o ur c e   l a n gua ge s .   B y   im p l e m e n t i n va r i o us   a r c hi t e c t ur a l   a n t r a i ni ng  e nh a nc e m e n t s ,   t h e s e   m o de l s   o u t pe r f o r m   pr e vi o us   s t a t e - of - t h e - a r t   s y s t e m s .   T hi s   pr o gr e s s i o n   pa v e s   t h e   wa y   f o r   t h e   de ve l o p m e n t   o f   a   uni ve r s a l   t r a n s l a t i o n   s y s t e m .       3.   LLM   P ROM P T I NG   L L M   pr o m pt i n i nv o l v e s   c r a f t i n s o ur c e   t e x to  e l i c i t   de s i r e o u t pu f r o m   l a n gua ge   m o de l s .   E f f e c t i v e   pr o m pt i n c a n   e f f e c t i v e ly   e nh a n c e   L L M   pe r f o r m a nc e   w i t h o ut  f ur t h e r   t r a i ni ng.   T h e   C ha t C i t e   f r a m e wo r [ 25 ]   i n c o r por a t e s   h u m a n   wo r kf l o gui da n c e   a n r e f l e c t i ve   i n c r e m e n t a l   m e c h a ni s m s .   I e x t r a c t s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         A   c ompr e he ns ive   ov e r v ie w   of   L L M - bas e appr oac he s   f or   …  ( B huv ane s w a r K umar )   347   s a l i e n t   e l e m e n t s   f r o m   t h e   r e l a t e l i t e r a t ur e   a n ge n e r a t e s   c o m pr e h e ns i ve   s u m m a r i e s .   B y   ut i l i z i ng  c a r e f u ll y   c r a f t e pr o m pt s ,   r e s e a r c h e r s   a n pr a c t i t i o n e r s   c a n   gu i de   L L M s   to  pr o duc e   m o r e   a c c ur a t e ,   r e l e va n t ,   a n t a r ge t e d   r e s po n s e s .   T h e   kn o w l e dge - pr o m pt e e s t i m a t o r   m e t h o [ 26]   e n h a nc e s   s e g m e n t - l e v e l   e s t i mat i o n   i M T   by   i n t e gr a t i n v a r i o us   pr o m pt i n t e c h ni qu e s .   T hi s   a ppr o a c h   c o m bi ne s   t h r e e   o n e - s t e p   pr o m pt i n g   t e c h ni que s pe r p l e xi t y ,   to ke n - l e v e l   s i mi l a r i t y ,   a n s e n t e n c e - l e v e l   s im il a r i t y .   A dd i t i o na l ly ,   i t   i n c o r po r a t e s   t w c h a i n - of - t h o ugh t   ( C oT )   p r o m pt i n e v a l ua t i o n s :   pe r pl e xi t y - t o ke n   pr o m pt i n a n pe r p l e xi t y - t oke n - s e n t   pr o m pt i n g.   T e v a l u a t e   M T   qua l i t y   a t   t h e   s e g m e n t   l e v e l ,   r e s e a r c h e r s   e m p l o y   d if f e r e n t   s c o r i n m e t h o ds .   T h e s e   i nc l ud e   s c a l a r   s c o r i n g,   5 - s t a r   s c o r i n g,   a n d   5 - c a t e g o r y   s c o r i n g.   T h e s e   s c o r i n m e t h o ds   a l l o f o r   a   c o m pa r i s o n   o f   t h e   pe r f o r m a n c e s   o f   d if f e r e n t   pr om pt i n t e c hni que s ,   po t e n t i a ll y   l e a d i ng  t m o r e   e f f e c t i v e   t r a n s l a t i o n   s y s t e m s   a n e v a l u a t i o n   m e t h o ds .   R e s e a r c h e r s   i n v e s t i g a t e   t h e   e f f i c a c y   o f   i n - c o n t e x t   l e a r ni ng   w i t hi L L M s   f o r   M T   t a s ks .   I t   i n c l ude s   e x pe r i men t i n w i t h   v a r i o us   t y p e s   o f   t a s i n s t r uc t i o n s ,   e x a mi n i ng   pe r t u r b a t i o ns   w i t hi n   i n - c o n t e x t   de m o ns t r a t i o ns ,   a n a ly z i ng  d i r e c t i o n a li t y   e f f e c t s ,   a n s t ud y i ng  m i s a li g nm e n t   s us c e pt i bil i t y   [ 27] .   T o   e n h a nc e   t h e   c u l t ur a l   a wa r e n e s s   a n a c c ur a c y   o f   M T   s y s t e m s ,   r e c e n t   s t udi e s   e x p l o r e   t h e   i m po r t a n c e   o f   l e v e r a g i ng  i nn o v a t i v e   m e t r i c s ,   c u l t ur a l l y   s p e c i f i c   da t a s e t s ,   a n pr o m pt i n s t r a t e gi e s   [ 28] .     T h e   c o nv e r s a t i o n a l   S I M U L M T   f r a m e wo r [ 29]   e nh a n c e s   t h e   e f f i c i e nc y   o f   L L M - ba s e t r a n s l a t i o n .   T hi s   f r a m e wo r de m o ns t r a t e s   s t r o n pe r f o r m a n c e   by   o pt i mi z i ng  t h e   i nf e r e n c e   pr o c e s s ,   r e duc i ng  l a t e n c y ,   a n d   m a i n t a i n i ng  tr a n s l a t i o n   qua l i t y   i n   r e a l - t i m e   s im u l t a n e o us   tr a n s l a t i o n   t a s ks .   R e s e a r c he r s   s ugge s t   t h e   De c o M T   a ppr o a c h   [ 30] ,   a   de c o m po s e pr o m pt i n s t r a t e gy   t o   e n h a n c e   t h e   M T   b e t we e n   r e l a t e l a n gua ge s .   I t   l e v e r a ge s   m o n o to ni c   a l i g nm e n t   a n i n c o r po r a t e s   c o n t e x t - a wa r e   tr a n s l a t i o n ,   r e s u l t i n i n   m o r e   pr e c i s e   a nd  r o b us t r a n s l a t i o ns   t h a n   t r a d i t i o n a l   M T   m e t h o ds .   T h e   s t udy   [ 31]   i nv e s t i ga t e s   ge n de r   bi a s   i t r a n s l a t i o n s   us i n L L M s   a n c o m pa r e s   t h e m   t t r a di t i o n a l   N M T   m o de l s .   B y   l e v e r a g i ng  s pe c i f i c   pr o m pt   t e m p l a t e s   a n r e l e v a n t   i n - c o n t e x e x a m p l e s   ( I C E s ) ,   L L M s   pr o duc e   t a i l o r e o u t pu t s   t h a a r e   m o r e   pr e c i s e   a n r o b us t.   T h e   L L M s   de m o ns t r a t e   i m pr o v e pe r f o r m a n c e   w i t h o ut  r e q u i r i n a dd i t i o n a l   t r a i ni ng  o r   f i ne t uni ng.   T hi s   i s   a c hi e ve us i n de e s y n t a x - l e v e l   k n o w l e dge   dur i ng  t h e   i n - c o n t e x t   e x a m p l e   s e l e c t i o n   pr o c e s s .   T h e   t o p - s y n t a c t i c a l ly  s i mi l a r   e x a m p l e s   a r e   c h o s e n   ba s e o n   a   p o l y n o mi a l   d i s t a n c e   m e t r i c   a n a n   e ns e m b l e   s t r a t e gy   t h a t   i n t e gr a t e s   wo r d - l e ve l   c l o s e ne s s   a n s y n t a x - l e v e l   s i mi l a r i t y   [ 32] .   C h a t GPT ' s   t r a n s l a t i o n   c a pa bil i t i e s   a r e   e n ha n c e by  i nc o r por a t i n t r a n s l a t i o n   t a s i nf o r m a t i o n ,   c o n t e x t   do m a i n   i n f o r m a t i o n ,   a n d   pa r t - of - s pe e c h   ( P OS)   t a g   c o m po n e n t s   [ 33] .   S ub s e que n t l y ,   C ha t GPT   o u t pe r f o r m s   Go o gl e   T r a ns l a t e   a n De e p L   T r a ns l a t e   i n   M T   t a s ks .   A   pr e - e d i t   s c h e m e   a n a   t w o - s t e p r o m pt   s t r a t e g y   a r e   i n t r o duc e d   to  i n c o r por a t e   l i ngu i s t i c   kn o w l e dge   a n d   c us t o m i z e pr o m pt s .   I t   gu i de s   t h e   C h a t GPT   m o de l   i e f f e c t i v e ly   h a n d li ng  t h e   c o m p l e xi t i e s   o f   t r a ns l a t i n g   a tt r i b ut i v e   c l a us e s   i n   l o w - r e s o ur c e   s c e n a r i o s   [ 34] .   W hil e   L L M s   a n tr a n s f e r   l e a r ni ng  p l a y   a   vi t a l   r o l e   i n   a dv a nc i n l o w - r e s o ur c e   M T ,   c h a l l e n ge s   s uc h   a s   da t a   s c a r c i t y ,   do m a i m i s m a t c h e s ,   a n d i f f i c u l t i e s   w i t d i s t a n t   l a n gu a ge   pa i r s   r e m a i n .   O n go i n e f f o r t s   f o c us   o n   de v e l o p i ng  m o r e   r o b us a n e f f i c i e n t   m o de l s ,   ut i li z i ng  da t a   a ugm e n t a t i o n   t e c hni que s ,   a n a pp lyi ng  l i ngu i s t i c   k n o w l e dge   t f ur t h e r   e nh a n c e   pe r f o r m a n c e .   W i t h   t h e   a dv e n t   o f   m o r e   a dv a n c e pr o m pt i n s t r a t e gi e s   a n too l s ,   L L M   pr o m pt i n c a n   e f f e c t i v e ly   lev e r a ge   t h e   po we r   o f   L L M s   i t h e   f ut ur e .   T a bl e   i n   A ppe n d i li s t s   s o m e   pa pe r s   o n   L L M   pr o m pt i n w i t h   t h e i r   c o r r e s po n d i n da t a s e t s ,   m o de l s ,   m e t h o ds ,   a n l a n g ua ge   pa i r s   us e i n   e a c h   pa pe r .       4.   LLM   T UN I NG   L L M s   t r a i n e o n   v a s t   da t a s e t s   r e qui r e   t uni n to   pe r f o r m   s pe c if i c   t a s ks   e f f i c i e n t l y .   T uni ng  e na bl e s   m o de l s   t a da p to  s pe c i a li z e a pp l i c a t i o n s ,   r e s u l t i ng  i n   i m pr o v e pe r f o r m a nc e .   E f f e c t i ve   t uni n t e c hni que s   ut i li z e   l im i t e c o m put a t i o n a l   r e s o ur c e s   a n da t a .   L L M s   t r a i n e o n   e x t e n s i ve   da t a s e t s   r e qui r e   tuni ng  to   e f f i c i e n t l y   p e r f o r m   s pe c if i c   t a s ks .   T hi s   t uni ng  a l l o ws   m o de l s   t o   a da p t   to   s pe c i a li z e a pp li c a t i o n s ,   l e a d i n t e nh a nc e pe r f o r m a n c e .   E f f e c t i v e   t uni n t e c h ni qu e s   ut i l i z e   l i mi t e c o m put a t i o n a l   r e s o ur c e s   a n d a t a .   T h e   B i gT r a n s l a t e   m o de l   [ 35] ,   a   m u l t il i ngua l   t r a n s l a t i o n   m o de l ,   b e g i ns   by   t r a i ni n o n   a   l a r ge   v o l u m e   o f   m o n o l i ngua l   C hi ne s e   da t a ,   f o l l o we by   a   v a s t   pa r a l l e l   da t a s e t .   T hi s   pr o c e s s   i n c o r po r a t e s   a n   i n c r e m e n t a l   da t a   s a m p l i ng  s t r a t e gy   w i t h   1, 000  pa r a l l e l   s e n t e n c e   pa i r s   f o r   e a c h   l a n gua ge   pa i r .   B y   a ddr e s s i ng  t h e   i s s u e   o f   unb a l a n c e l a n gua g e   pr o f i c i e n c y ,   t h e   m o de l   a c hiev e s   m a s t e r y   a c r o s s   102  l a n gua g e s   dur i n i t s   m u l t il i ngu a l   l e a r ni ng  j o ur n e y .   M L 50  b e nc hm a r ks   a r e   de v e l o p e to   c r e a t e   m u l t i li ngua l   t r a n s l a t i o n   m o de l s   by   c o m bi n i ng  m u l t i li ngu a l   pr e t r a i ni ng  w i t h   m o n o l i ngua l   da t a ,   pa r t i c u l a r l y   f o r   l a n gu a ge s   w i t h   l im i t e bi t e x t   r e s o ur c e s .   T h e s e   m o de l s   a r e   l a t e r   f i ne - t un e w i t h   pa r a l l e l   d a t a   [ 36 ] .   A   t w o - s t a ge   f i ne - t uni n a l go r i t hm   [ 37]   e nh a nc e s   t h e   a bil i t y   o f   L L M s   t o   f o l l o i ns t r uc t i o ns .   A t   f i r s t,   t h e   L L M   i s   f i ne - t un e o n   a   t r a n s l a t i o n   d a t a s e t   u s i n t h e   m a xim u m   li ke l i h o o e s t i m a t i o n   l o s s .   T h e   s e c o n d   s t a ge   i n t r o duc e s   a n   e x t r a   unli ke li h o o l o s s   to   l e a r n   f r o m   i ns t r uc t i o n - c o nf li c t i n e x a m p l e s ,   whe r e   c o r r e c t   t r a ns l a t i o n s   a r e   r a n do m ly   r e p l a c e w i t h   i nc o r r e c t   on e s .   T h e   L L M s - b a s e E - c o m m e r c e   m a c hi ne   t r a n s l a t i o n   ( L E M T )   a ppr o a c h   [ 38]   f o c us e s   o n   u t i li z i ng  L L M s ,   ga t h e r i n g   e - c o m m e r c e   r e s o ur c e s   ( i n c l ud i ng  a   pa r a ll e l   c o r pus   f o r   e - c o m m e r c e   do m a i ns   a n s pe c i a li z e d   t e r m   pa i r s ) ,   o p t i mi z i ng  t h e   to ke ni z e r ,   a n i m p l e m e n t i n a   r i go r o us   t w o - s t a ge   f i n e - t uni ng  a n s e l f - c o n t r a s t i v e   e nh a nc e m e n t   pr o c e s s .   T hi s   a ppr o a c h   e n a bl e s   t h e   m o de l   t l e a r n   e - c o m m e r c e   t r a n s l a t i o n   f e a t ur e s   e f f e c t i v e ly .   A   m u l t i - s t e a ppr o a c h   l e v e r a ge s   L L M s   f o r   ge n e r a t i n s y n t h e t i c   bi li ngua l   t e r m i n o l o g y   da t a .   T hi s   pr o c e s s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   344 - 356   348   i n t e gr a t e s   t e c hni c a l   t e r m s   i n t o   t h e   tr a n s l a t i o n   m o de l .   L a t e r ,   a   ge n e r i c   e n c o de r - de c o de r   M T   m o de l   un de r go e s   f i ne - t uni n by   c o m bi n i ng  t h e   s y n t h e t i c   t e r m i n o l o g y   w i t h   t h e   or i g i na l   t r a i ni ng  da t a .   T hi s   c o m bi na t i o n   a l l o w s   t h e   m o de l   t o   ge n e r a t e   hi g h - qua l i t y   t r a n s l a t i o ns   t h a t   a r e   s pe c i f i c a ll y   we ll - s u i t e f o r   s pe c i a li z e do m a in s   [ 39] .   T h e   s i m u l t a n e o us   tr a n s l a t i o n   ( S i m u l M T )   de m o ns t r a t e s   i m pr e s s i ve   pe r f o r m a nc e   dur i n S i m u l M T   i nf e r e n c e   by   e m p l o y i ng  m o r e   i n t r i c a t e   de c o di n t e c h ni qu e s   a n v a r i o us   pr o m pt i n a ppr o a c h e s   [ 40] .   P r e - t r a i n e L L M s   f i ne - t un e o n   a   r e s o ur c e - c o n s t r a i n e da t a s e t   c a n   pe r f o r m   b o t h   s i m u l t a n e o us   t r a n s l a t i o n   a nd  i n put   s e g m e n t a t i o n   [ 41] .     T hi s   a ppr o a c h   e ns ur e s   t h a t   s o ur c e   w o r ds   a r e   c a us a l   r e l a t i v e   to   t h e i r   c o r r e s po n d i n t a r ge t   w or ds ,   pr o vi d i n a   hi g hly   e f f e c t i v e   a n e f f i c i e n t   m e t h o f o r   d i r e c t   s upe r vi s i o n .   S i L L M ,   a n   i n t e gr a t e L L M ,   u t i li z e s   t h e   c o r r e l a t i o n   b e t we e n   t r a n s l a t i o n   a n po l i c y - de c i s i o n   a ge n t s   to   a c hi e ve   S i M T .   I t   h e l p s   t o   o v e r c o m e   t h e   v o c a b u l a r y   mi s m a t c h   pr o bl e m   [ 42] .   T hi s   a ppr o a c l e v e r a ge s   t h e   s t r e n gt h s   o f   L L M s   i u n de r s t a n d i ng   c o n t e x a n ge n e r a t i n c o h e r e n t   tr a n s l a t i o n s   w hil e   a ddr e s s i ng  t h e   s pe c if i c   c h a ll e n g e s   o f   s im u l t a n e o us   t r a n s l a t i o n ,   s uc h   a s   l a t e n c y   a n a c c ur a c y   t r a de - o f f s .   F i n e - t uni n M i s t r a l   7B   c a n   e nh a n c e   i t s   i n - c o n t e x t   l e a r ni ng  c a pa bil i t y   t h r o ugh   a   c o m bi na t i o n   o f   z e r o - s h ot   a n o n e - s h o t   p r o m pt s   f o r   a da pt i v e   M T   [ 43] .   T hi s   a ppr o a c h   s h o ws   n o t a bl e   im pr o v e m e n t s   i n   t r a n s l a t i o n   qua li t y   w h e n   t e s t e d   o n   s pe c i f i c   do m a i ns   w i t h   l i mi t e t r a n s l a t i o n   pa i r s .   F o r   do m a i n - s pe c if i c   M T   t a s ks ,   L l a m a I T   us e s   l o nf   r a n ge   ( L o R A )   pr o m pt - t uni n o n   t h e   L l a m a 2 - 7B   mo de l .   B y   i n t e gr a t i n do m a i n - s pe c i f i c   bil i ngua l   v o c a b u l a r y   in t o   t h e   i n put   s o ur c e   s e n t e n c e ,   i t   r e duc e s   t h e   n e e f o r   po s t - pr o c e s s i n o r   i n - c o n t e x t   e x a m p l e s   [ 44] .   T w t r a n s l a t i o n   a ppr o a c h e s   us e   d i f f e r e n t   i n s t r uc t i o n   f o r m a t s .   T h e   f i r s t   us e s   bil i ngua l   pa i r s   a n t h e   Al p a c a   da t a s e t   f o r   f i ne - t uni n g.   T h e   s e c o n d,   L l a m a 2 - 7B ,   unde r go e s   c o n t i n uo us   pr e t r a i ni ng  o n   c o n c a t e n a t e t r a n s l a t i o n   pa i r s   a n i s   f i ne - t un e us i ng  t h e   Al pa c a   da t a s e t.   T h e s e   m e t h o ds   l e v e r a ge   e xi s t i n da t a s e t s   a n f i ne - t u ni ng  t h e m   t o   e n h a n c e   t r a n s l a t i o n   c a p a bi li t i e s   [ 45] .   T h e   c o n t r a s t i v e   pr e f e r e n c e   o p t i m i z a t i o n   ( C P O)   a ppr o a c h   [ 46]   de v e l o ps   hi g h - qua li t y   pr e f e r e n c e   da t a   f o r   M T   m o de l s .   T hi s   e n a bl e s   t h e   m o de l s   to   ge n e r a t e   hi g h - r a n k i ng  t r a n s l a t i o n s   a n r e j e c t   f l a we o n e s ,   h e l p i ng  to  a v o i i na de qua t e   tr a n s l a t i o n s   a n o v e r c o m e   t h e   l i mi t a t i o ns   o f   s upe r vi s e f i ne - t uni n g.   F i ne - t unin w i t h   a da pt e r s   pr o v e s   to   b e   a n   e f f e c t i v e   m e t h o f o r   gu i d i ng  l a n gua ge   m o de l s   ( L L M s )   i n   e nha n c i ng  t r a ns l a t i o n   t a s ks .   B y   a dd i ng  a   f e w - s h o e x a m p l e s   dur i n t h e   f i ne - t uni ng  pr o c e s s ,   t hi s   a ppr o a c h   n o t   o nl y   m a t c h e s   t h e   pe r f o r m a n c e   o f   t r a di t i o n a l   f i ne - t uni n b ut   a l s o   r e d uc e s   c o m put a t i o n a l   c o s t s   [ 47 ] .   A   f i ne - t un e L L M   c r e a t e s   a   da t a s e f r o m   c y be r c r i m e   c h a t s   by   e m p l o yi ng  e i g h t   L L M   m o de l s   t tr a n s l a t e   m e s s a g e s .   T hi s   m e t h o a c hi e ve s   qu i c k,   m o r e   pr e c i s e   t r a n s l a t i o n s   by   e n c a p s u l a t i n t h e   s u b t l e t i e s   o f   t h e   l a n gua ge ,   y i e l d i n hi g h - qua li t y   t r a n s l a t i o ns   a t   c o n s i de r a bly   l o we r   c o s t s   t h a n   a   h u man   t r a n s l a t o r   [ 48 ] .   A   m u l t i p li c a t i v e   j o i n t   s c a l i ng  l a pr o p o s e s   a   s y s t e m a t i c   s t ud y   o f   v a r i o us   s c a l i ng  f a c t or s   by   s e l e c t i n g   t h e   b e s t   f i ne - t uni n s t r a t e gi e s   t h a t   i m pa c t   t h e   pe r f o r m a n c e   o f   f i ne - t uni n L L M s   i n   r e s o ur c e - l im i t e s c e n a r i o s   [ 49] .   T h e   o p t i m a l   f i ne - t uni n m e t h o i s   hi g hly   t a s k -   a n da t a - de pe n de n t ,   wh e r e a s   pa r a m e t e r - e f f i c i e nt   tuni ng   f o s t e r s   b e t t e r   z e r o - s h ot   t r a n s f e r   t h a n   f u ll   m o de l   t uni ng.   F o r   do c um e n t - l e v e l   m a c hi ne   t r a n s l a t i o n   ( DO C M T )   t a s ks   a c r o s s   m u l t i p l e   l a n gua ge s ,   L L M s   s h o b e t t e r   ge n e r a l i z a t i o n   to   o u t - of - do m a i n   t e x t   a n d   c o n t e x a wa r e ne s s   t h r o ugh   we ll - d e s i g n e pr o m pt - e f f i c i e n t   f i ne - t uni ng,   c o n t e x t   s tr uc t ur e ,   a n na t ur a l   i ns t r uc t i o n s   [ 50] .   A   n e ge n e r a t i v e   pa r a d i g m   c a ll e " G e n T r a n s l a t e "   l e v e r a ge s   t h e   s t r o n r e a s o ni n a bil i t i e s   o f   L L M s   t i n t e gr a t e   di v e r s i f i e t r a n s l a t i o n   v a r i a n t s   f r o m   th e   N - be s t   l i s t   to  pr o duc e   h i g h - qua li t y   o ut pu t s   [ 51] .   T ge n e r a t e   d i f f e r e n t   r e s po n s e s   t o   i ns t r uc t i o n s ,   a i n s t r uc t i o n - t un e L L M   i s   c o n s t r uc t e t h a t   e f f e c t i v e ly  d i s t i n gu i s he s   qua li t y   t r a n s l a t i o n s   a n l e a r ns   f r o m   c o n t r a s t i n e x a m p l e s   by   f i ne - t uni ng  L L M s   [ 52] .   Us i n a   r e s o ur c e - c o n s t r a i n e pa r a l l e l   c o r pus   to  ge n e r a t e   hi g h - qua li t y   t r a n s l a t i o n   da t a ,   t h e   L L M s   a r e   f e wi t e x a m p l e s   o f   c o r r e c a n i nc o r r e c t r a n s l a t i o n s   f o r   t h e   s a m e   i n put   a n e m p l o y   pr e f e r e n c e   c o m p a r i s o n   f o r   b e t t e r   r e gul a r i z a t i o n .   L L M   t uni n h a r n e s s e s   t h e   po we r   o f   a dv a nc e m o de l s   f o r   s pe c i f i c   t a s ks .   A s   t h e   f i e l d   a dv a nc e s ,   m o r e   e f f i c i e n t   a n e f f e c t i v e   t uni n m e t h o ds   s t r i ke   a   b a l a nc e   b e t we e n   t a s k - s pe c i f i c   pe r f o r m a n c e   a n ge ne r a l   pot e n t i a l i t i e s .   L i s t e i n   T a bl e   i A ppe n d i x   a r e   a   f e pa pe r s   a b o ut  L L M   t uni ng,   wi t c o r r e s po n d i n da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gua g e   pa i r s ,   a n m e t r i c s .       5.   L L M S   F OR  L OW - RE S OURC E   L AN GUAGE S   P r e s e r vi ng  g l o ba l   m u l t il i ngu a l i s m   a n e ns ur i n t e c hn o l o g i c a l   i nc l us i o n   i s   im pe r a t i ve   i n   de v e l o p i ng   L L M s   f o r   l o w - r e s o u r c e   l a n gua ge s   w i t h   c o n s t r a i n e t e x da t a .   I n n o v a t i v e   m e t h o ds   a n a ppr o a c h e s   a r e   m a k i n g   s t r i de s   i n   t hi s   a r e a   to  o v e r c o m e   c h a ll e n ge s   s uc h   a s   de v e l o p i ng  e f f i c i e n t   pr e - t r a i ni ng  m e t h o ds ,   c r o s s - l i ngua l   kn o w l e dge   t r a n s f e r ,   m u l t im o da l   i n t e gr a t i o n ,   a n i n c o r p o r a t i n li ngu i s t i c   k n o w l e dge   i n t o   m o de l   a r c hi t e c t ur e s .   A   c r o s s - s e a r c h   a ppr o a c h   c o m pr i s e s   a n t a go ny - c r o s s   s e a r c h   a n s im il a r i t y - c r o s s   s e a r c h   t e c h ni qu e s .   T h e   a n t a go ny - c r o s s   s e a r c h   us e s   to ke n - l e ve l   c o n t r o l   t pr o duc e   m o n o l i n gu a l   da t a   c l o s e l y   a l i g ne w i t h   th e   t a r ge do m a i n .   S im il a r i t y - c r o s s   s e a r c h   ge n e r a t e s   t a r ge t   l a n gua ge   c o n t e n t   t h a t   i s   m o r e   s e m a n t i c a l ly   r e l a t e to   t h e   s o ur c e   l a n gua ge .   I e m p l o y s   a   s i mi l a r i t y   s c o r e   i n   b a c t r a n s l a t i o n   to  m a i n t a i n   a li g nm e n t   b e t we e n   s our c e   a n t a r ge t   s e n t e n c e s   [ 53] .   L L M s   e nh a n c e   Ge 'e z   t r a n s l a t i o n   qua li t y   a n c o ns i s t e n c y   t h r o ugh   do m a i n - s pe c i f ic   v o c a b u l a r y ,   us e r   f e e d b a c i n t e gr a t i o n ,   a n s im il a r i t y - ba s e s e n t e n c e   r e t r i e v a l   f r o m   a   pa r a l l e l   c o r pus .   T h e s e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         A   c ompr e he ns ive   ov e r v ie w   of   L L M - bas e appr oac he s   f or   …  ( B huv ane s w a r K umar )   349   s e n t e n c e s   a r e   us e a s   c o n t e x s a m p l e s   w i t h   L L M s   to  c r e a t e   tr a n s l a t i o n s   f o r   n e s o ur c e   s e n t e n c e s   f r om   Ge 'e z   [ 54] .   A   pr o b a bil i t y - dr i v e n   m e t a - gr a ph   pr o m pt e r   ( P OM P )   e nh a n c e s   L L M s '   a bi li t y   t o   tr a n s l a t e   l o w - r e s o ur c e   l a n gua ge s   by   s a m p li ng  t h e   l a n gu a ge - s pe c if i c   d i r e c t e a c y c li c   m e t a - gr a ph   to   ge n e r a t e   m u l t i p l e   t r a ns l a t i o n   pa t h s   [ 55] .   I pr o m pt s   L L M s   to   ge n e r a t e   t a r ge t   s e n t e n c e s   a n upda t e s   t h e   l i ke li h o o o f   a uxil i a r y   l a n g ua ge s   in  d i f f e r e n t   di r e c t i o ns   b a s e o n   b a c kpr o pa ga t e r e wa r d   s c o r e s .   C o n t r a s t i ve   a l i g nm e n t   i n s t r uc t i o n s   ( Ali g n I ns t r uc t )   o n   L L M s   e f f e c t i v e ly   t r a ns l a t e   un s e e n   l a n gua ge s   us i ng  M T I n s t r uc t   ( m o de l   f i ne - t uni n g   vi a   M T   i ns t r uc t i o n s ) .   I t s   f o c a l   po i n t   i s   c r o s s - l i ngua l   s u pe r vi s i o n ,   whi c h   e m p l o y s   a   c r o s s - l i ngua l   d i s c r im i na t o r   c o n s t r uc t e f r o m   s t a t i s t i c a l   wo r a l i g nm e n t s   [ 56] .   M u l t i - li ngua l   l a r ge   l a n gua ge   m o de l s   ( M L L M s )   de m o ns t r a t e   i m pr o v e pe r f o r m a n c e   by   f i ne - t uni ng   a da pt M L L M ,   whi c h   i s   t r a i n e o n   t w o   l o w - r e s o ur c e ,   i n - do m a i n   l a n gua ge   pa i r s   [ 57] .   I t   s i m p li f i e s   t h e   pr o c e s s   o f   o p t i m i z i ng  m u l t i li ngua l   l a ngua ge   m o de l s   by   de s i g ni ng  a   t a i l o r e d,   us e r - f r i e n d ly   w e b   i n t e r f a c e   f o r   h a r n e s s i ng  m o de l s   a s   a   t r a n s l a t i o n   s e r vi c e   w i t hi n   t h e   a ppl i c a t i o n .   T h e   DI P M T   a ppr o a c h   s i m p li f i e s   t r a n s l a t i o ns   f o r   l a n gu a ge s   w i t h   l im i t e r e s o ur c e s   by   e f f e c t i v e ly   i nc o r po r a t i n d i c t i o n a r y   k n o w l e dge   i n t t h e   pr o m pt   a n a dd i ng  a   f e w - s h o t   i l l u s t r a t i o n   t o   a c q ua i n t   t h e   m o de l   w i t h   a   s pe c i f i c   f r a m e wo r [ 58] .   A   n e w   pr o g r a m m e r - i n t e r pr e t e r   t e c hni que   i m pr o v e s   L L M   pe r f o r m a n c e s   by   h a r n e s s i ng  t h e   i n t e r pr e t e r ' s   d o m a i n   ge n e r a li z a t i o n   e x pe r t i s e   a n e n c o d i n t a s k - s pe c i f ic  kn o w l e dge   t h r o ugh   t h e   pr o gr a m m e r ' s   c o m p e t e nc e   [ 59] .   L L M s   t r a n s l a t e   Ukr a i ni a n   f o l kt a l e s   i n t E n gl i s h   whil e   pr e s e r vi n t h e i r   m e a ni ng  a n l i t e r a r y   s t y l e   by   i nc l ud i ng  a n   a dd i t i o n a l   l a y e r   o f   c u l t ur a l ly   r e l e v a n t   da t a   a n t e s t i n d i f f e r e n t   pr o m pt   t e c h ni que s   o n   t h e   L L M s   [ 60] .   I n   or de r   to  o v e r c o m e   o f f - t a r ge t r a n s l a t i o n s   a n h a ll uc i na t i o n s ,   s o ur c e - c o n t r a s t i v e   a n l a n gua ge - c o n t r a s t i v e   de c o d i n m e t h o ds   a r e   i n t r o duc e d   by   pr o vi d i ng  t h e   c or r e c i n put   a n l a n gua g e   i n d i c a to r   [ 61] .   F i gur e s   a n i ll u s t r a t e   t h e   pr o m pt   f o r   z e r o - s hot   r e f e r e n c e - l e s s   t r a n s l a t i o n   e v a l ua t i o n   a n t h e   pr o m pt   f o r   e x a m p l e - b a s e i n - c o n t e x t   l e a r ni ng  w i t h   L L M   [ 62 ] .   T a bl e   i n   A ppe n d i s h o ws   s o m e   pa pe r s   i n   L L M s   f o r   l o w - r e s o ur c e   l a n gua ge s   t h a t   h a v e   b e e n   t a b u l a t e w i t h   t h e i r   d a t a s e t s ,   m o de l s ,   m e t h o ds ,   a n l a n gua g e   pa i r s ,   a s   we l l   a s   t h e   r e s u l t s   f r o m   t h e i r   r e s e a r c h .             F i gur e   2.   P r o m pt   f o r   z e r o - s h o r e f e r e n c e - l e s s   t r a n s l a t i o n   e v a l ua t i o n   [ 62]     F i gur e   3.   P r o m pt   f o r   e x a m p l e - b a s e i n - c o n t e x t   l e a r ni ng  w i t h   L L M   [ 62]       6.   QUAL I T Y   E S T I M AT I ON  WI T L L M   Hu m a n   l a n gu a ge   i s   c o m p l e x   a n n ua n c e d,   m a k i ng   i t   c h a l l e n g i ng  to  e s t i m a t e   t h e   qua l i t y   o f   M T .   M T   qua l i t y   e s t i m a t i o n   f o c us e s   o n   t h e   m o de l   r a t h e r   t h a n   i t s   o u t pu t .   LLM - b a s e M T   s y s t e m s   a r e   o f t e n   b e n c hm a r ke u s i n a ut o m a t e m e t r i c s   li ke   B L E a n h u m a n   e v a l ua t i o n ,   whi c h   t y p i c a ll y   m e a s ur e   a de qua c y   a n f l ue nc y .   QE   t e c h ni que s   h a v e   c h a n g e o v e r   t i m e   a n a r e   c r uc i a l   f o r   e v a l u a t i n t h e   qua l i t y   o f   m a c hi ne - t r a n s l a t e c o n t e n a t   v a r i o us   gr a n u l a r i t i e s ,   r a n g in f r o m   wo r ds   to  e n t i r e   do c um e n t s .   A   c o m pr e h e ns i ve   a n a ly s i s   o f   M T   qua l i t y   e s t i m a t i o n   ( M T QE )   r e s e a r c h   t h r o ws   l i g h t   o n   di f f e r e n t   m e t h o do l o g i e s   w i t h a n dc r a f t e f e a t ur e s   f o r   de e l e a r ni ng  a n L L M s   i n   QE   [ 63 ] .   R e s e a r c he r s   c o n s t r uc c h a ll e n ge   s e t s   c on t a i ni ng   wo r d   s wa p,   h a l l uc i na t i o n ,   c o r e f e r e n c e ,   a n u ni t   c o n v e r s i o n   e r r o r s   to  e v a l u a t e   t h e   a bil i t y   o f   M T   m e t r i c s   t d i s t i n gu i s h   b e t we e n   a c c ur a t e   a n i na c c ur a t e   tr a n s l a t i o ns   [ 64] .   R e s e a r c h e r s   e x a mi ne   t h e   i mpa c t   o f   m u l t i li ngu a l   e m be dd i ngs ,   m e t r i c   s e n s i t i v i t y ,   a n th e   n e e to  i n t e gr a t e   l a n gua ge - s pe c i f i c   i nf o r m a t i o i n t t h e   e v a l ua t i o n   pr o c e s s .   T h e s e   a s s e s s m e n t s   a r e   c o n duc t e d   a t   b ot h   t h e   ph e n o m e n o n   a n l a n gua ge   l e v e l s   to  ga uge   t h e   c a pa bil i t y   o f   M T   m e t r i c s .   T ge n e r a t e   a c c u r a t e   t r a n s l a t i o ns   b e t we e n   m a ny   l a n gu a ge   pa i r s ,   t h e   K G - B E R T S c or e   ( a   r e f e r e n c e - f r e e   m e t r i c )   a n t h e   H W T S C - EE - M e tr i c   ( a   r e f e r e n c e - b a s e m e t r i c )   o f f e r   s e g m e n t - Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   344 - 356   350   l e v e l   a n s y s t e m - l e ve l   s c o r i n f o r   qu i c e v a l ua t i o n   a n c o m pa r i s o n   o f   M T   s y s t e m s   o n   l a r ge   c o r por a   [ 65] .   r e f e r e n c e - f r e e   a ppr o a c h ,   E v L P   ( e v a l u a t i o n   vi a   L L M s   po l i s hi ng) ,   wh e r e   L L M s   a r e   pr o m pt e a n us e a s   a nn o t a to r s   to  " po l i s h "   t h e   t r a n s l a t e t e x by   pos t - e di t i n g.   T h e   p ot e n t i a l   bi a s   o f   L L M   i s   i nve s t i ga t e d   to  e nh a nc e   t h e   a s s e s s m e n t   o f   M T   qua l i t y   f o l l o w i ng  hu m a n   i n t e r v e n t i o n   a n r e f i ne m e n t   [ 66] .   A   pe r t ur b a t i o n - ba s e QE   t e c hni qu e   i s   m a k i ng  M T   s y s t e m   o u t pu t s   m o r e   f l e xi b l e ,   a da pt i ve ,   a n do m a i n - i nde pe n de n t   a c r o s s   di f f e r e n t   l a n gu a ge   pa i r s   a n d i r e c t i o n s .   T hi s   i s   a c hi e v e by   pe r t ur bi ng  s o u r c e   s e n t e n c e s   a n a s s e s s i ng  h o di f f e r e n t   s o ur c e   w or ds   i nf l ue n c e   t h e   ge n e r a t i o n   o f   t r a n s l a t e wor ds   [ 67] .   t un e e n c o de r - b a s e m o de l   pr o duc e s   b e tt e r   r e s ul t s   t h a n   a   t un e de c o de r - b a s e m o de l .   I c a p t ur e s   c o n t e x a n s ur f a c e   wo r s e que n c e s   i n   M T   a n s e m a n t i c   t e x t ua l   s im i l a r i t y   t a s ks   [ 68] .   GPT S C OR E ,   a n   e v a l ua t i o f r a m e wo r k,   s c o r e s   t h e   f l ue nc y   a n a c c ur a c y   o f   t r a ns l a t e t e x t s   by   l e v e r a g i ng  ge n e r a t i v e   pr e - t r a i n e m o de l s   li ke   GPT - 3.   Us i n i ns t r uc t i o n   pr o m pt   t e m p l a t e s   w i t h   a nn o t a t e e x a m p l e s ,   t h e s e   m o de l s   c a l c u l a t e   t h e   c o n d i t i o n a l   pr o b a bil i t y   o f   pr o duc i n hi g h - qua li t y   t r a n s l a t e t e x [ 69 ] .   R e s e a r c h e r s   c r e a t e   s pe c i f i c   pr om pt s   f o r   t h e   L L M   pe r f o r m a n c e   pr e d i c t o r   ( L L M - P P )   to  e v a l ua t e   h o w   we l l   de e n e ur a l   n e t wo r k   a r c hi t e c t ur e s   pe r f o r m   i M T   t a s ks   [ 70] .   T h e y   u s e   t hi s   i n f o r m a t i o n   t o   b u i l a   m u l t il a y e r   pe r c e pt r o n   ( M L P )   r e gr e s s i o n   mo de l   t h a r e m a i ns   e f f e c t i v e   w hil e   a l s o   r e duc i n c o s t s .   C o a r s e - gr a i n e a n f i ne - gr a i ne pr o m pt s   a r e   us e t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   d if f e r e n t   L L M s   i f o ur   d i s t i nc t   i n put   m o de s .   T hi s   a ppr o a c h   e x a mi ne s   h o L L M s   ut i li z e   s o ur c e   a n r e f e r e nc e   i nf o r m a t i o n   t a s s e s s   t r a n s l a t i o n s   [ 71] .   A   D i v - r e f   m e t h o i s   s ugg e s t e to  e v a l ua t e   ge n e r a t e t e x t s   a n i m pr o v e   t h e   c or r e l a t i o n   be t we e n   a ut o m a t i c   m e t r i c s   a n h u m a n   e v a l ua t i o n   r e s u l t s .   I i nc o r por a t e s   d i v e r s i f i e r e f e r e n c e   s e n t e nc e s   in t o   di f f e r e n t   e x pr e s s i o ns   whil e   m a i n t a i n i ng  s e m a n t i c   c o n s i s t e n c y   t o   e l im i na t e   bi a s   a n i ns u f f i c i e nc y   a s s o c i a t e w i t h   s i ng l e   r e f e r e n c e s   [ 72] .   T h e   o pt i m i z e L L M s   pr e d i c t   t h e   n e e f o r   po s t - e di t i n i n   M T   t a s ks   a n de t e c t   t h e   b e s t   m o de l   c o nf i gur a t i o n   a n d   s i z e .   T hi s   a i m s   to   pr o vi de   a c c ur a t e   a n pr o duc t i ve   o u t c o m e s   i n   e va l ua t i n M T   qua l i t y   [ 73] .   A UT O m a t i c   m u l t i d im e ns i o n a l   qua l i t y   m e t r i c s   ( AU T OM QM )   i s   de v e l o pe t o   l e ve r a ge   L L M s '   r e a s o ni ng  a n i n - c o n t e x t   l e a r ni n s k il l s .   T hi s   t e c h ni que   a s s e s s e s   t h e   qua li t y   o f   M T   s y s t e m s   by   p r o duc i n m o r e   a c c ur a t e   a n c o n t e x t ua l ly   r e l e v a n t   f e e dba c t h a n   h u m a n   e x pe r t s ,   w i t h o u t   t h e   n e e f o r   f ur t h e r   t r a i ni ng  o r   f i ne - t uni n [ 74] .   L L M s   n o pe r f o r m   m o r e   i n - de pt h   t r a n s l a t i o n   a na l y s i s ,   i n c l ud i ng  l o c a t i n s pe c i f i c   e r r o r   s pa n s   a n c a t e go r i z i n f a u l t s   a c c o r di ng  to  t h e   M QM   f r a m e wo r k.   A n   uns upe r vi s e QE   f r a m e wo r i s   b e i ng  de v e l o pe t h a t   r e l i e s   o n   L L M ' s   z e r o - s hot  a bi li t y   f o r   M T   qua l i t y   e s t i m a t i o n .   T hi s   f r a m e wo r e l im in a t e s   t h e   n e e f o r   e x t e n s i ve   t r a i ni ng  da t a ,   s upe r vi s i o n ,   o r   r e f e r e n c e s   a n c l o s e ly   a li g ns   w i t h   h u m a n   a s s e s s m e n t s   [ 75] .   A   de e i n t e r a c t i o n - b a s e e v a l ua t i o n   pa r a d i g m   e n a bl e s   t h e   a s s e s s m e n t   o f   L L M s   i n   d y na m i c   r e a l - wo r l s c e n a r i o s .   L L M s   a do pt  t h e   wr i t e r   a n e d i t o r   r o l e s   a n d   pa r t a ke   i n   a   wr i t i n g - po l i s h i ng  pr o c e s s   wh e r e   t h e   r e s ul t s   a r e   c o m pa r e a n a s s e s s e f o r   t h e   s i m u l t a n e o us   e v a l ua t i o n   o f   wr i t i n a n po l i s hi ng  s k il l s .   B a s e d   o n   s e m a n t i c   c o n s i s t e n c y   a n po l i s h i ng  a c c ur a c y ,   a   j udg e   m o de l   a s s e s s e s   t h e   L L M s '   t r a n s l a t i o n   a n pr oo f r e a d i n e f f e c t i v e n e s s   i n   t h e   M T   t a s k   [ 76 ] .   L l a m a   2   L L M   e m p l o y s   r i c h   s e m a n t i c   e m be dd i n g s   to  c o m put e   t h e   c o s i n e   s i mi l a r i t y   b e t we e n   s e m a n t i c   e m be dd i n g s   us i n t h e   E m be d_L l a m a   m e t r i c   [ 77] .   I t   s ugge s t s   t h a a d d i n m o r e   l a y e r s   t t h e   L l a m a   m o de l   m a h e l to   c o m pr e h e n wo r ds   b e t t e r   a n e v a l ua t e   t r a n s l a t i o n s   m o r e   e f f e c t i v e ly .   A   " QE - f us i o n"   a ppr o a c h   us e s   c o m put a t i o n a ll y   e f f i c i e n t   qua l i t y   e s t i m a t i o n   m e t r i c s   to  f us e   t r a n s l a t i o n   c a n d i da t e s   i n t a   s y n t h e s i z e o u t pu t.   T hi s   a ppr o a c h   de m o n s t r a t e s   s ub s t a n t i a l   im pr o v e men t s   i n   ge n e r a t i n d i v e r ge n t   o u t pu t s   f r o m   L L M s   c o m pa r e d   to  NM T   s y s t e m s   [ 78] .   An   I NST R UC T S C OR E   f r a m e wo r pr o vi de s   a   n u m e r i c a l   s c o r e   a n a   de t a i l e qua li t a t i ve   d i a g n o s t i c   r e por t   o n   t h e   ge ne r a t e t e x t   [ 79] .   T h r o ugh   f i ne - t u ni ng  f e e d b a c m e c ha ni s m s ,   t hi s   m e t r i c   a l i g ns   w i t h   h u m a j udg m e n t s   a n i s   b e i ng  t e s t e d   a c r o s s   m u l t i p l e   d om a i ns   a n t a s ks ,   r e s ul t i n i n   a   m o r e   a c c ur a t e   a s s e s s m e n t   o f   t e x t   ge n e r a t i o n   qua l i t y .   R e s e a r c h e r s   a r e   e x pe r i m e n t i n w i t h   d i ve r s e   pr o m pt   t e m p l a t e s   o n   v a r i o us   GPT   m o de l s   a n e v a l ua t i n t h e m   us i n t h e   GPT   e s t i m a t i o n   m e t r i c - ba s e a s s e s s m e n t   ( GE M B A )   too l   [ 80] .   G E M B A   i s   c o m pa r e w i t h   ot h e r   qua l i t y   e s t i m a t i o n   m e t r i c s ,   wh e r e   t h e   GPT - 4   m o de l   us i ng  GE M B A   o u t pe r f o r m s   ot h e r   m e t r i c s   a t   t h e   s e g m e n t   l e v e l   a n e f f e c t i v e ly   a na l y s e s   t r a n s l a t i o n   qua l i t y .   R e c e n t   r e s e a r c h   e x a mi ne s   t h e   b e n e f i t s   a n dr a wba c ks   o f   L L M s   f o r   M T   us i n g   t e s s e t s   de s i g n e to   i nv e s t i ga t e   s pe c i f i c   l a n gua ge   p h e n o m e n a ,   do m a i r e s il i e n c e ,   a n ot h e r   s k i ll s .   Que s t i o n s   r e m a i a b o ut   o p t i m i z i ng  pr e - t r a i n e L L M s   f o r   M T   a n d   pr e c i s e l y   c a l c u l a t i n t h e   a m o u n t   o f   i n - do m a i n   t r a i ni ng  da t a   r e qui r e to   a c hi e ve   hi g h - qua li t y   o ut c o m e s   i s pe c i a li z e f i e l ds   li ke   t e c hni c a l ,   m e d i c a l ,   o r   l e ga l   t r a n s l a t i o n .   L L M s   ha v e   d i f f i c u l t i e s   w i t h   c o n s i s t e n t ly   t r a n s l a t i n pr o n o un s ,   un de r s t a n d i ng  c o l l o qu i a l   i d io m s ,   a n pr e s e r vi ng  c o n t e x t   dur i n l e n gt hy   t e x t   pa s s a ge s .   T h e s e   c h a l l e n ge s   h i ghl i gh a r e a s   f or   f u r t h e r   i m pr ov e m e n i n   L L M - b a s e MT   s y s te m s .   T a bl e   4   i n   Ap pe n dix   o u t l i ne s   t h e   da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gu a ge   pa i r s   us e d,   a n r e s u l t s   o f   a   f e pa pe r s   i n   qua li t y   e s t i m a t i o w i t h   L L M s .       7.   RE S UL T S   AN DI S CU S S I ON   T hi s   s t udy   r e v e a l s   t h a t   L L M s   r e pr e s e n t   a   s i g nif i c a n t   a dv a n c e m e n t   i n   t h e   f i e l o f   M T ,   o f f e r i ng  m o r e   v e r s a t i l e ,   c o m pr e he n s i ve ,   a n hi g h - qua li t y   t r a ns l a t i o n   c a pa bil i t i e s .   Ho we v e r ,   t h e   e xi s t i n l i t e r a t ur e   i s   l i mi t e d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         A   c ompr e he ns ive   ov e r v ie w   of   L L M - bas e appr oac he s   f or   …  ( B huv ane s w a r K umar )   351   to   o n l y   S M T   a n NM T   a ppr o a c h e s   f o r   e nh a n c in t r a n s l a t i o n   qua l i t y   a n f a l l s   s h o r o f   i nve s t i g a t i n t h e   e x t e ns i ve   wo r ks   o n   e m p l o y i ng  L L M s   f o r   M T .   Our   w o r k   a tt e m pt s   to  c l o s e   t h i s   ga by   pr e s e n t i n a   c o m pr e h e ns i ve   a na l y s i s   o f   L L M - b a s e a ppr o a c h e s   f o r   M T .     T hi s   pa pe r   s ugge s t s   t h a L L M s   c a n   b e   t r a i n e o n   da t a   f r o m   m u l t i p l e   l a n gua g e s   s im u l t a n e o us l w i t h o ut  h a vi ng  to   b u i l s e pa r a t e   m o de l s .   Ow i n to   t h e i r   c o n t e x t   a wa r e n e s s ,   t h e y   de m o ns t r a t e   a n   e nh a n c e d   c a pa bi li t y   f o r   o pe n - v o c a b u l a r y   t r a n s l a t i o n   i n   h a n d li ng  n e o l o g i s m s   a n r a r e   a n un s e e n   wo r ds .   L L M s '   s t r o n l a n gua ge   m o de l li ng  a b i li t i e s   c o n tr i b ut e   to  e nh a n c e f l ue n c y ,   pr o duc i n m o r e   a c c ur a t e ,   n a t ur a l - s o un d i ng,   a n d   f l ue n t   o u t pu t s   c o m pa r e to   ph r a s e - b a s e S M T   a ppr o a c h e s .     T h e   f i n d i ng s   o f   t hi s   r e vi e a r e   di s t i n c t   f r o m   t h e   e xi s t i n l i t e r a t ur e   t h a pr e d o m i na n t l y   a ddr e s s e s   S MT   a n NM T   a ppr o a c h e s .   T h e   c ur r e n t   l i t e r a t ur e   pa y s   n o   a tt e n t i o n   to  L L M - b a s e M T   wo r ks .   T hi s   s t ud y   e n c a ps u l a t e s   t h e   m o s t   n ot e wor t hy   r e c e n t   c o n t r i but i o n s   i t h e   l i t e r a t ur e   r e l a t e to   L L M   pr o m pt i n g,   f i ne - t uni n g,   r e tr i e va l   a ug m e n t e ge ne r a t i o n ,   i m pr o v e tr a n s f o r m e r   v a r i a n t s   f o r   f a s t e r   t r a n s l a t i o n ,   m u lt i li ngua l   L L M s ,   a n qua li t y   e s t i m a t i o n   w i t h   L L M s .     L L M s   f a c e   s e v e r a l   c h a ll e n ge s   a n li m i t a t i o ns   i M T   t a s ks   r e ga r d l e s s   o f   t h e i r   b e f i t t i n o ut c o m e s .   Not a bl y ,   t h e   l a c o f   e x p l i c i t   wo r d   o r   ph r a s e   a l i g nm e n t s   b e t we e n   l a n gua ge s   m a y   im pa c t   a c c ur a c y ,   i n   c o n t r a s to   S M T   a ppr o a c h e s .   F ur t h e r m o r e ,   L L M s   m a y   ge n e r a t e   f a c t ua l ly   i nc o n s i s t e n t   t r a n s l a t i o ns   a n a r e   pr o n e   to   " ha l l u c i na t i n g "   f a c t s   di s c o r da n t   wi t h   t h e   i nput .   I t   i s   a   s i g nif i c a n t   c o n c e r n   f o r   hi g h - s t a ke s   do m a i ns   r e qu i r i ng  pr e c i s e   t r a n s l a t i o ns .   A dd i t i o na l ly ,   t h e   c o m put a t i o na l   r e qu i r e m e n t s   o f   h ug e   L L M s   m a y   r e s t r i c t   s c a l a bil i t y   f o r   pr o duc t i o n   M T   de p l o y m e n t s .   F i n a ll y ,   L L M s   r e qu ir e   e x t e n s i ve   m u l t il i ngua l   t r a i ni ng  da t a s e t s ,   whi c h   m a y   n o b e   r e a d il y   a v a il a bl e   f o r   a l l   l a n gua ge   pa i r s ,   l e a vi ng   t h e m   " da t a   h u n gr y "   a n li mi t i n t h e i r   po t e n t i a l .   T hi s   da t a   s c a r c i t y   c a n   li m i t   t h e   m o de l s '   e f f e c t i v e n e s s   a c r o s s   d i v e r s e   l a n gua ge s   w i t h   l im i t e r e s o ur c e s   a n do m a i ns .   Our   c o l l e c t i o n   o f   c h o i c e s t   L L M   a r t i c l e s   i s   a   h a nd y   r e s o ur c e   f o r   qui c r e f e r e n c e   f o r   f ut ur e   L L r e s e a r c h e r s .   I s e r v e s   a s   a   be a c o n ,   gu i d i ng  t h e   de v e l o p m e n t   o f   m o r e   e f f i c i e n t   a n i nn o v a t i v e   s o l ut i o n s   f o r   f ut ur e   w or ks   to  a ddr e s s   t h e   c ur r e n c h a ll e n ge s   o f   L L M s   t h a t   i nc l ude   h a ll uc i na t i o n s ,   t r a n s l a t i o n   bi a s ,   i n f o r m a t i o n   l e a ka ge ,   a n i n a c c ur a c y   du e   to   l a n gua ge   i n c o n s i s t e n c i e s .   F ut ur e   s t udi e s   s h o u l a dva n c e   to wa r ds   t h e   a pp l i c a t i o n - b a s e r e s e a r c h   wo r ks   w i t h   L L M s   in c l ud i ng,   b ut   n o t   l i mi t e t o   us i n L L M s   f o r   t h e   tr a ns l a t i o o f   r e a l - t i m e   c o nv e r s a t i o n   t h a t   s uppo r t s   s e a m l e s s   i n t e r a c t i o n ,   r e a l - t i m e   t r a ns l a t i o n   o f   s o c i a l   m e d i a   po s t s   i m u l t i p l e   l a n gua ge s ,   m u l t il i ngua l   ge ne r a t i o n   o f   s ub t i t l e s ,   c a pt i o ns ,   a n dubb e a ud i o   f o r   vi de o s   wi t h o ut  t r a di n o f f   t h e   o r i g i n a l   e m o t i o n s ,   tr a n s l a t i o n   o f   li t e r a r y   wo r ks   a n do m a i n - s pe c if i c   do c um e n t s   wi t h   hi g a c c ur a c y ,   i m pr o v e t r a n s l a t i o n   o f   s i g n   l a n gu a ge   a nd  s po ke n   l a n gua ge s   a n m u l t i li ngua l   c h a t b o t s .       8.   CONC L USI ON   T hi s   r e vi e i s   a   m a i de n   a tt e m pt   to wa r ds   p r o vi d in a   de t a i l e a n c o m pr e h e ns i ve   a n a ly s i s   o f   t h e   e xi s t i n li t e r a t ur e   o n   e m p l o y i ng  L L M s   f o r   M T .   T o   t h e   b e s t   o f   o ur   kn o wl e dge ,   L L M   b a s e t r a n s l a t i o n   wor ks   h a v e   n o t   b e e n   r e vi e we i t h e   li t e r a t ur e ,   to   da t e .   O ur   s t udy   hi g hl i g h t s   t h e   m o s t   s i g nif i c a n t   c o n tr i b ut i o n s   m a d e   i L L M   pr o m pt i n a n f i ne - t uni ng  t h a t   a r e   r e ga r de a s   t h e   t w o   p o we r f u l   t e c hni que s   f o r   L L M   pe r f o r m a n c e   e nh a nc e m e n t .   I a l s o   c o v e r s   t h e   ot h e r   m a j o r   wo r ks   r e l a t e to  L L M s   i nc l ud i ng  r e t r i e v a l   a ug m e n t e ge ne r a t i o n ,   im pr o v e tr a n s f o r m e r   v a r i a n t s   f o r   f a s t e r   tr a n s l a t i o n ,   m u l t il i ngua l   L L M s ,   a n a uto m a t i c   pr e d i c t i o n   o f   t h e   qua l i t y   o f   m a c hi ne   t r a n s l a t e o u t pu t .       AP P E ND I X       T a bl e   1.   Da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gua ge   pa i r s ,   a n m e t r i c s   o f   a   f e pa pe r s   i n   L L M   pr o m pt i n g   P a pe r   D a ta s e t   M o de ls   L a ngua g e  pa ir s   M e th o d / p r o mpt s   S c o r e   [ 28]   O P U S   S a ma na nt a r v 0.2   N L L B   N L L B - A   N L L B - R   L L A M A 2   L L A M A 2 - A   L L A M A 2 - R   C H A T G P T     G O O G L E   EN - Z H , Z H - EN   EN - F R FR - EN   EN - E S E S - EN   EN - H I H I - EN   EN - T A T A - EN   EN - T E T E - EN   Z e r o - pr o mpt s   T w o - s ho p r o mpt s   C ul tu r e S p e c i f i c I t e ms - C S I - M a tc h [ N L L B - R]   78.7, 79.8   92.6,92.1   94.0,95.2   83.6, 98.3   81.6, 97.9   89.8,94.7   [ 30]   F L O R E S   B L O O M   7.1B   m T 5 3.7B   X G L M  7.5B   hi n↔ma l,   hi n↔ma r hi n↔guj,  hi n↔t e l,   in d↔z s m,   r us ↔ukr   F e w - s h o pr o mpt in g   S P B l e u[ m T 5]   3.0   3.6   3.2   3.6   4.9   4.5   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   1 A pr i l   20 2 5 :   344 - 356   352   T a bl e   1.   Da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gua ge   pa i r s ,   a n m e t r i c s   o f   a   f e pa pe r s   i n   L L M   pr o m pt i n g   ( C onti nue d)   P a pe r   D a ta s e t   M o de ls   L a ngua g e  pa ir s   M e th o d /p r o mpt s   S c o r e   [ 31]   L I N G U A L H O L I S T I C B I A S   F L o R e s s  t e s s e t   W in o M T  &  B U G   N L L B   L L a M a   A r a bi c , C y r il li c   L a ti n,  T a mi l,   G r e e k,  T ha D e v a na ga r i   In - c o n te x e x a mpl e s   ( I C E - 5,16,32)   B L E U  [ a v g]   0.31 [ 5 - I C E ]   0.63 [ 16 - I C E ]   1.02 [ 32 - I C E ]   [ 32]   F L O R E S +   W ik iM a tr ix   v 1   X G L M 7.5B   D E ↔E N   E S ↔E N   F R ↔E N   J A ↔E N   R U ↔E N   Z H E N   In - c o n te x e x a mpl e s   ( I C E - 2,4,16)   P o l y n o m ia l,   B M 25 +  P o l y n o mi a l,   P o l y n o m ia +  B M 25   B L E U  [ a v g i nt o  E N ]   30.09   30.98   30.79   [ a v o ut   of  E N ]   23.31   24.35   24.39   [ 33]   F lo r e s - 101   G oo gl e   D e e p L   E n↔ E s     E n↔F r   E s ↔F r   F e w - s h o pr o mpt s   [ 0,1,5   s ho ts ]   B L E U [ G oo gl e ]   23.49, 25.32   54.75, 49.66   26.89, 22.48       T a bl e   2 .   Da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gua ge   pa i r s ,   a n m e t r i c s   o f   a   f e pa pe r s   i n   L L M   t uni n g   P a pe r   D a ta s e t   M o de ls   L a ngua g e  pa ir s   M e th o d / p r o mpt s   S c o r e   [ 37]   F L O R E S - 200   W M T 21  W M T 22  W M T 23   A L M A - 13 B - L o R A   G P T - 4     c s ↔e n, d e e n,  is ↔e n, z h↔ e n,  r u↔e n   F in e - tu ni ng   c o nt r a s ti v e   r e f e r e nc e   o pt im i z a ti o n+   A v g   [ E n - XX]   83.34 [ K I W I - 22]     85.74 [ K I W I - X X L ]   94.05 [ X C O M E T ]     [ 42]   O P U S     N L L B  3.3 B   gpt - 3.5 - tu r b o   M is tr a 7B   M is tr a l7 B + F in e - tu n e d   S pa ni s h→E ngl is h   z e r o - s h o t   o n e - s h o t   F in e - tu ne   B L E U   [1 - s h o t]   47.42   48.34   47.35   49.69   [ 43]   F lo r e s - 101   O P U S - 100   I T     X F I T 24   L la ma 2 - 7B   L la ma I T   C hi ne s e →E ngl is a nd   E ngl is h→C hi ne s e   f in e - tu ni ng w it h   L o R A   z e r o - s h o pr o mpt in g   di c ti o na r y - ba s e d pr o mpt   B L E U   [ L la ma I T ]   22.04,32.60   35.91,37.79   36.24,40.41   55.16,63.76   [ 46]   O P U S   F lo r e s - 200   W M T 22   L L a M A  7B  a nd   L L a M A  13B     nl ↔ e n   f r ↔ e n   de e n   pt ↔e n   r u↔e n   F in e - tu ni ng   Z e r o - s hot   F e w - s h o t   B L E U  [ z h↔e n ]   32.44 [ F o r ma t1 ]   32.62 [ F o r ma t2 ]   32.39   [ F o r ma t3 ]   [ 52]   F L O R E S - 200   B L O O M Z - 7b - mt   L L a M A - 2 - 7b   A lp a c a   MT   T I M     Zh E n E n Z De E n E n De   T un in g w it h l o w - r a nk  ma tr ic e s   T un in g w it h e mbe ddi ng  f i xe d.   T un in f ul pa r a m e t e r s   B L E U   [ M T - F i xE mb]   26.41   33.80   42.14   32.23       T a bl e   3 .   Da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gua ge   pa i r s ,   a n m e t r i c s   o f   a   f e pa pe r s   i n   L L M s   f o r   l o w - r e s o ur c e   l a n gua ge s   P a pe r   D a ta s e t   M o de l   L a ngua g e  pa ir   M e th o d /p r o mpt s   S c o r e   [ 54]   O pus  c or pus  a nd t he   A A U  E th io pi a L a ngua g e s  c o r pus   B il in gua l,   M ul ti li ngua l,   N L L B - 200,   G P T - 3.5 t e x t - da v in c i - 003   en - g e z , ge z - en   -   -   F in e - tu ni ng   F e w - s h o   B L E U   4.1, 9.91    13.07, 16.67   0.2, 3.8   9.2   [ 55]   O P U S , W M T - N e w s - v 2019, C C A li gne d,  w mt 19t e s t   a nd F lo r e s - 200  T e s ts e t   C r o s s - li ngua t r a ns f e r  N M T   m o d e l,   L a ngua g e - s pe c i f ic  M e ta - G r a ph   Gu - E n,   Kk - E n,   Si - En   P O M P  +   In - C o nt e x L e a r ni ng   B L E U R T   75.20    71.84     70.17   [ 56]   O P U S - 100,    F lo r e s - 200   B L O O M Z - 7b1   O P U S  e n - xx   O P U S  xx - en   F L O R E S   e n - xx   F L O R E S   xx - en   F in e - tu ni ng   M T + A li gn+ H in t+ R e v is e     B L E U   12.00    19.68   3.40    11.67    [ 57]   L o R e s M T 2021   a da pt M L L M   mr - en - tu n e d   en - mr - tu n e d   en - ga - tu n e d   ga - en - tu n e d   F in e - tu ni ng   B L E U   52.6   26.4   41.2   75.1   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52         A   c ompr e he ns ive   ov e r v ie w   of   L L M - bas e appr oac he s   f or   …  ( B huv ane s w a r K umar )   353   T a bl e   3 .   Da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gua ge   pa i r s ,   a n m e t r i c s   o f   a   f e pa pe r s   i n   L L M s   f o r   l o w - r e s o ur c e   l a n gua ge s   ( C onti nue d)     P a pe r   D a ta s e t   M o de l   L a ngua g e  pa ir   M e th o d /p r o mpt s   S c o r e   [ 61]   M 2M - 100   S M a L L - 100   L la ma  2   mo d e f a mi l y   X - br a nc h [ C   s r c + l a n g ]   M 2M - 100   S M a L L - 100   s o ur c e - c o n tr a s ti ve   de c o di ng,   la ngua ge -   c o n tr a s ti ve   de c o di ng   s pB L E U   9.3   11.2   [ 6 2 ]   L la ma - 2 - 13b - A dpt   B ha r a pa r a ll e c or pus   c o ll e c ti o n ( B P C C )   E ngl is h t o  4  I ndi a L a ngua g e s   ( H in di G uj a r a ti , M a r a th i,   T a mi l,  a nd  T e lu gu)   F in e - tu ne L L M  a nd  C O M E T - Q E  w it r e f e r e n c e  l e s s  t r a ns la ti o e v a lu a ti o n t a s k   0.4574 [ S pe a r ma n’ s   R a nk]   0.53744 [ P e a r s o R a nk]   0.3437   [ K e nda ll s   R a nk]       T a bl e   4 .   Da t a s e t s ,   m o de l s ,   m e t h o ds ,   l a n gua ge   pa i r s ,   a n m e t r i c s   o f   a   f e pa pe r s   i n   qua l i t y   e s t i m a t i o w i t h   L L M s   P a pe r   D a ta s e t   M o de ls   L a ngua g e  pa ir s   M e th o d / p r o mpt s   S c o r e   [ 64]   W M T 20,    W M T 21,     S T S - B,   S I C K   R o B E R T a - la r ge ,   C e r e br a s - G P T   E ngl is h t o  J a pa ne s e   R o B E R T a   f in e - tu ni ng,   L L M   L oR A - tu ni ng,    I n - c o n te x l e a r ni ng   [ K e nda ll s   c o r r e la ti o n]   0.699, 0.663    0.391, 0.383   0.737, 0.625   0.658, 0.483   [ 65]   M Q M - 2020   G P T 3,   G P T 2,   F T 5 - s ma ll ,   O P T   C hi ne s e  t o  E ng li s h   F e w - s h o w it d e m o ns tr a ti o n   [ S pe a r ma n c o r r e la ti o n - A v g]   31.0   [ V a ni ll a ]     32.1   [ I ns tr uc ti o n]   33.3   [ I ns t+ de m o ]   [ 69]   W M T 22   gpt - 3.5 - tu r b o - in s tr uc t   Z h→E n, E n→D e E n→R u   s in gl e  r e f e r e n c e   di ve r s i f i e d r e f e r e n c e   G E M B A   [ s in gl e /d i v ]   36.3/37.0   29.5/29.7   32.1/33.9   [ 72]   W M T 22   W M T 19   P a L M  a nd  P a L M - 2   e n→d e , z h→ e n,  e n→r u,   e n↔gu,  e n↔kk   A U T O M Q M   pr o mp ti ng   In - c o n te x l e a r ni ng   f in e - tu ni ng   s e gme nt - le ve p r o mpt   0.275   [ uni c or n]   0.252   [ uni c or n]   0.209   [ uni c or n]   0.523,   0.334   [ uni c or n]   0.536,   0.433   [ uni c or n]   [ 79]   W M T 22   W e bN L G 20   F li c k e r 3 K - CF   C o mm o ng e n   B A G E L   G P T - 4   L L a M A - 7B   G e r ma n t o  E ngl is h   F in e - tu ne     F in e - tu ne + r e f in e m e nt   I ns tr uc tS c or e   [ K e nda ll  a nd  P e a r s o n]   40.3/51.9   39.5/59.0   30.1/34.6   58.2   25.6/34.2       RE F E R E NC E S   [ 1]   P K oe hn,  F J O c h,  a nd  D M a r c u,  S ta ti s ti c a phr a s e - ba s e tr a ns la ti o n,”   in   P r oc e e di ngs   of   th e   2003  C onf e r e n c e   o f   th e   N or th   A m e r ic an  C hapt e r   o f   th e   A s s oc ia ti on  f o r   C om put at io nal   L in gui s ti c s   on  H um an  L anguage   T e c hnol ogy   -   N A A C L   03 2003,  vo l 1,  pp. 48 54, do i:  10.3115/1073445.1 073462.   [ 2]   X W a ng,  Z T u,  a nd  M Z ha ng,  I n c o r p o r a ti ng   s ta ti s ti c a ma c hi ne   t r a ns la ti o n   w or kn o w l e dg e   in t n e ur a ma c hi n e   t r a ns la ti o n,”   I E E E /A C M   T r ans ac ti ons   on  A udi Spe e c and  L anguage   P r oc e s s in g vo l.   26,  no 12,  pp.  2255 2266,  D e c 2018,  do i:   10.1109/ T A S L P .2018. 2860287.   [ 3]   X . W a ng, Z L u, Z T u,  H L i,  D . X i o ng, a nd M . Z ha ng, “ N e ur a ma c hi n e  t r a ns la ti o n a d v is e d b y  s ta ti s ti c a ma c hi n e  t r a ns la ti o n,  i n   P r oc e e di ngs   of   th e   A A A I   C onf e r e nc e   on  A r ti f ic ia I nt e ll ig e nc e F e b.  2017,   vo l.   31,   n o 1,   pp.  3330 3336,   do i:   10. 1609/a a a i. v 31i 1.10975.   [ 4]   C P a r k,  Y Y a ng,  K P a r k,  a nd  H L im D e c o d in s tr a te gi e s   f or   im pr ov in l o w - r e s o ur c e   ma c hi n e   tr a ns la ti o n,”   E le c tr oni c s   vo l.  9, n o . 10, p. 1562, S e p. 2020, d o i:  10.3390/ e l e c tr o ni c s 9101 562.   [ 5]   D B a hda na u,  K H C ho a nd  Y B e ngi o N e ur a ma c h in e   t r a ns la ti o b y   j o in tl y   l e a r ni ng  t o   a li gn  a nd  tr a ns la te ,”   ar X iv   pr e pr in ar X iv : 1409.0473 , 2014, do i:  10.48550 /a r X i v .1409.0473.   [ 6]   Y W a ng,  J Z ha ng,  T S hi D D e ng,  Y T ia n,  a nd  T M a ts umo t o R e c e nt   a dv a n c e s   in   in te r a c ti ve   ma c h in e   t r a ns la ti o w it l a r ge   la ngua ge  mo d e ls ,”   I E E E   A c c e s s , v o l.  12, pp. 179353 179382,  2024, do i:  10.1109/AC C E S S .2024.3487352.   [ 7]   K . C he e al . , “ G e ne r a l2 S p e c ia li z e L L M s  t r a ns la ti o f o r  e - c omm e r c e ,”  i C om pani on  P r oc e e di ngs  o f  t he  A C M  W e b C onf e r e nc e   2024 , M a y  2024, pp. 670 673, d o i 10.1145/3589335.36 51510.   [ 8]   B Z ha ng,   B .   H a ddo w ,   a nd  A B ir c h,  P r o mpt in la r g e   la ngua ge   m o d e f or   ma c hi n e   t r a ns la ti o n:   a   c a s e   s tu d y ,”   P r oc e e di ngs   of   M ac hi ne  L e ar ni ng R e s e ar c h , v ol . 202, pp. 41092 41110, 2023.   [ 9]   Q L u o W Z e ng,  M C he n,  G P e ng,  X Y ua n,  a nd   Q Y in ,   S e l f - a tt e nt i o a nd  tr a ns f o r m e r s dr i v in th e   e vo lu ti o of   la r ge   la ngua ge   m o de ls ,”   in   2023  I E E E   6t I nt e r nat io na C onf e r e nc e   on  E le c tr oni c   I nf o r m at io and  C om m uni c at io T e c hnol ogy I C E I C T  2023 , J ul . 2023, pp. 401 405, do i 10.1109/I C E I C T 57 916.2023.10245906.   [ 10]   P J B a r c la y   a nd  A S a mi I nv e s ti ga ti ng  ma r k e r s   a nd  dr iv e r s   of   g e nde r   bi a s   in   ma c hi ne   tr a ns la ti o ns ,”   in   2024  I E E E   I nt e r nat io nal   C onf e r e nc e   on  Sof tw ar e   A nal y s is E v ol ut io and  R e e ngi ne e r in ( SA N E R ) ,   M a r 2024,  pp.  455 464,   do i 10.1109/S A N E R 60148.2024.00054.   Evaluation Warning : The document was created with Spire.PDF for Python.